大家好，這是一個(gè)樹(shù)莓派和OpenCV的連載專(zhuān)題。

使用樹(shù)莓派與OpenCV實(shí)現(xiàn)姿態(tài)估計(jì)和面部特征點(diǎn)追蹤

使用樹(shù)莓派與OpenCV實(shí)現(xiàn)面部和運(yùn)動(dòng)追蹤的云臺(tái)系統(tǒng)

使用樹(shù)莓派和OpenCV實(shí)現(xiàn)手部識(shí)別與手指識(shí)別

使用樹(shù)莓派和OpenCV實(shí)時(shí)掃描并存儲(chǔ)二維碼

使用樹(shù)莓派和OpenCV實(shí)現(xiàn)物體與動(dòng)物識(shí)別

使用樹(shù)莓派、攝像頭和OpenCV進(jìn)行速度檢測(cè)

用樹(shù)莓派 + OpenCV 打造人臉識(shí)別技術(shù)！

今天是第二部分：使用樹(shù)莓派與OpenCV實(shí)現(xiàn)面部和運(yùn)動(dòng)追蹤的云臺(tái)系統(tǒng)

如果大家對(duì)這個(gè)專(zhuān)題感興趣，記得關(guān)注樹(shù)莓派開(kāi)發(fā)者，這樣你將會(huì)第一時(shí)間收到我們的內(nèi)容更新通知。

本文將介紹如何使用樹(shù)莓派單板計(jì)算機(jī)控制一個(gè)云臺(tái)系統(tǒng)，使其將你的面部保持在畫(huà)面中心。本文不僅旨在創(chuàng)建一個(gè)易于使用的帶云臺(tái)帽的面部追蹤系統(tǒng)，還希望以一種便于擴(kuò)展的方式來(lái)實(shí)現(xiàn)，無(wú)論你選擇使用何種系統(tǒng)或添加何種代碼。此外，我還將演示如何控制旋轉(zhuǎn)速度，使其非常平滑或非?？?。

完成上述步驟后，下一步是為云臺(tái)系統(tǒng)編寫(xiě)一個(gè)巡邏階段代碼。因此，當(dāng)它沒(méi)有看到任何面部時(shí)，它會(huì)在其自由度范圍內(nèi)進(jìn)行邏輯移動(dòng)以搜索面部。然后，為了進(jìn)一步輔助這個(gè)巡邏階段，我們可以在代碼中添加自動(dòng)轉(zhuǎn)向任何識(shí)別到的移動(dòng)物體的功能。

本頁(yè)面廣泛使用了Pimironi Picade云臺(tái)帽，它可以讓你將云臺(tái)模塊安裝在樹(shù)莓派掌上電腦的頂部。

你需要準(zhǔn)備什么

Open-CV和其他必需的軟件包

功能性面部追蹤代碼

從巡邏到運(yùn)動(dòng)追蹤再到面部追蹤

接下來(lái)做什么

在樹(shù)莓派“Buster”操作系統(tǒng)上安裝Open-CV

下載內(nèi)容

本設(shè)置將使用Open-CV來(lái)識(shí)別面部和運(yùn)動(dòng)。這是一個(gè)強(qiáng)大的資源庫(kù)，有助于解決實(shí)時(shí)計(jì)算機(jī)視覺(jué)和圖像處理問(wèn)題。下圖是攝像頭正確追蹤我的面部的畫(huà)面。

現(xiàn)在，我們始終將動(dòng)作保持在畫(huà)面中！運(yùn)行此系統(tǒng)的代碼可以從本頁(yè)底部的鏈接下載。一如既往，如果你有任何問(wèn)題、疑問(wèn)或希望看到新增的內(nèi)容，請(qǐng)告訴我們你的想法！

你需要準(zhǔn)備什么

以下是讓本系統(tǒng)快速運(yùn)行所需的組件列表。硬件構(gòu)建過(guò)程可以在我之前發(fā)布的Pimoroni Picade云臺(tái)帽指南中找到，該指南將為你提供組裝此帽和樹(shù)莓派所需的所有知識(shí)。

https://core-electronics.com.au/guides/raspberry-pi/pan-tilt-hat-raspberry-pi/

樹(shù)莓派4B（這款樹(shù)莓派提供的額外計(jì)算能力對(duì)這項(xiàng)任務(wù)非常有幫助）

樹(shù)莓派官方攝像頭模塊V2（但也可以與任何具有類(lèi)似外形尺寸的攝像頭一起使用，廣角攝像頭模塊在這里效果很好）

Pimoroni云臺(tái)帽

Micro SD卡（已安裝樹(shù)莓派操作系統(tǒng)，連接到互聯(lián)網(wǎng)，并在配置設(shè)置中啟用了攝像頭）

電源

顯示器

HDMI線

鼠標(biāo)和鍵盤(pán)

Open-CV和其他必需的軟件包

要使本系統(tǒng)正常運(yùn)行，你需要幾個(gè)軟件包。重要的是，為了實(shí)現(xiàn)這一功能，我們將利用Open-CV軟件包的強(qiáng)大功能，為我們的面部追蹤系統(tǒng)創(chuàng)建更簡(jiǎn)單的代碼。要安裝它，我們將在終端中輸入在“在樹(shù)莓派操作系統(tǒng)上安裝Open-CV”部分中找到的命令行。

https://core-electronics.com.au/guides/raspberry-pi/face-tracking-raspberry-pi/#Setting

使用屏幕左上角的黑色按鈕打開(kāi)一個(gè)新終端。下面你可以看到在樹(shù)莓派“Buster”桌面上打開(kāi)終端的樣子，圖中有一個(gè)大箭頭指向用鼠標(biāo)點(diǎn)擊打開(kāi)終端的圖標(biāo)。

如果提示，請(qǐng)輸入 | Y | 并按回車(chē)鍵繼續(xù)安裝過(guò)程。安裝每個(gè)軟件包可能需要一些時(shí)間。進(jìn)一步往下看，你可以看到正在下載第二行的圖像。這里的每一行大多用于將當(dāng)前軟件包更新和安裝到當(dāng)前設(shè)置中，并以 | sudo | 命令開(kāi)頭。以 | sudo | 開(kāi)頭的每一行都將以管理員權(quán)限運(yùn)行。

你還需要像之前一樣在終端中輸入以下兩行命令。這將使我們的Pimoroni Picade云臺(tái)帽能夠與樹(shù)莓派高效配合工作。有關(guān)此軟件包的更多信息，請(qǐng)點(diǎn)擊此處。

https://core-electronics.com.au/guides/raspberry-pi/pan-tilt-hat-raspberry-pi/

完成這些步驟后，你就可以使用本應(yīng)用程序所需的所有軟件包了?？焖僦貑⑾到y(tǒng)以鎖定所有這些更改。

sudo apt-getupdate && sudo apt-getupgradecurl https://get.pimoroni.com/pantilthat | bashsudo apt-getinstall python-opencv python3-opencv opencv-data

功能性面部追蹤代碼

以下是我們將用于運(yùn)行Pimoroni Picade帽面部追蹤系統(tǒng)的代碼。它將識(shí)別面部，并嘗試通過(guò)伺服電機(jī)進(jìn)行平移和傾斜，使面部保持在捕捉視頻的中心。代碼有完整的注釋?zhuān)虼四憧梢岳斫饷總€(gè)部分的作用和目的。

#!/usr/bin/env python#Below we are importing functionality to our Code, OPEN-CV, Time, and Pimoroni Pan Tilt Hat Package of particular note.importcv2, sys, time, osfrompantilthatimport*# Load the BCM V4l2 driver for /dev/video0. This driver has been installed from earlier terminal commands. #This is really just to ensure everything is as it should be.os.system('sudo modprobe bcm2835-v4l2')# Set the framerate (not sure this does anything! But you can change the number after | -p | to allegedly increase or decrease the framerate).os.system('v4l2-ctl -p 40')# Frame Size. Smaller is faster, but less accurate.# Wide and short is better, since moving your head up and down is harder to do.# W = 160 and H = 100 are good settings if you are using and earlier Raspberry Pi Version.FRAME_W =320FRAME_H =200# Default Pan/Tilt for the camera in degrees. I have set it up to roughly point at my face location when it starts the code.# Camera range is from 0 to 180. Alter the values below to determine the starting point for your pan and tilt.cam_pan =40cam_tilt =20# Set up the Cascade Classifier for face tracking. This is using the Haar Cascade face recognition method with LBP = Local Binary Patterns. # Seen below is commented out the slower method to get face tracking done using only the HAAR method.# cascPath = 'haarcascade_frontalface_default.xml' # sys.argv[1]cascPath ='/usr/share/opencv/lbpcascades/lbpcascade_frontalface.xml'faceCascade = cv2.CascadeClassifier(cascPath)# Start and set up the video capture with our selected frame size. Make sure these values match the same width and height values that you choose at the start.cap = cv2.VideoCapture(0)cap.set(cv2.CAP_PROP_FRAME_WIDTH, 320);cap.set(cv2.CAP_PROP_FRAME_HEIGHT,200);time.sleep(2)# Turn the camera to the Start position (the data that pan() and tilt() functions expect to see are any numbers between -90 to 90 degrees).pan(cam_pan-90)tilt(cam_tilt-90)light_mode(WS2812)# Light control down here. If you have a LED stick wired up to the Pimoroni HAT it will light up when it has located a face.deflights(r,g,b,w): forxinrange(18): set_pixel_rgbw(x,rifxin[3,4]else0,gifxin[3,4]else0,b,wifxin[0,1,6,7]else0) show()lights(0,0,0,50)#Below we are creating an infinite loop, the system will run forever or until we manually tell it to stop (or use the "q" button on our keyboard)whileTrue: # Capture frame-by-frame ret, frame = cap.read() # This line lets you mount the camera the "right" way up, with neopixels above frame = cv2.flip(frame, -1)
ifret ==False: print("Error getting image") continue # Convert to greyscale for easier faster accurate face detection gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) gray = cv2.equalizeHist( gray ) # Do face detection to search for faces from these captures frames faces = faceCascade.detectMultiScale(frame,1.1,3,0, (10,10))
# Slower method (this gets used only if the slower HAAR method was uncommented above. '''faces = faceCascade.detectMultiScale( gray, scaleFactor=1.1, minNeighbors=4, minSize=(20, 20), flags=cv2.cv.CV_HAAR_SCALE_IMAGE | cv2.cv.CV_HAAR_FIND_BIGGEST_OBJECT | cv2.cv.CV_HAAR_DO_ROUGH_SEARCH )'''
lights(50iflen(faces) ==0else0,50iflen(faces) >0else0,0,50) #Below draws the rectangle onto the screen then determines how to move the camera module so that the face can always be in the centre of screen. for(x, y, w, h)infaces: # Draw a green rectangle around the face (There is a lot of control to be had here, for example If you want a bigger border change 4 to 8) cv2.rectangle(frame, (x, y), (x w, y h), (0,255,0),4) # Track face with the square around it
# Get the centre of the face x = x (w/2) y = y (h/2) # Correct relative to centre of image turn_x =float(x - (FRAME_W/2)) turn_y =float(y - (FRAME_H/2)) # Convert to percentage offset turn_x /=float(FRAME_W/2) turn_y /=float(FRAME_H/2) # Scale offset to degrees (that 2.5 value below acts like the Proportional factor in PID) turn_x *=2.5# VFOV turn_y *=2.5# HFOV cam_pan = -turn_x cam_tilt = turn_y print(cam_pan-90, cam_tilt-90) # Clamp Pan/Tilt to 0 to 180 degrees cam_pan =max(0,min(180,cam_pan)) cam_tilt =max(0,min(180,cam_tilt)) # Update the servos pan(int(cam_pan-90)) tilt(int(cam_tilt-90)) break #Orientate the frame so you can see it. frame = cv2.resize(frame, (540,300)) frame = cv2.flip(frame,1)
# Display the video captured, with rectangles overlayed # onto the Pi desktop cv2.imshow('Video', frame) #If you type q at any point this will end the loop and thus end the code. ifcv2.waitKey(1) &0xFF==ord('q'): break# When everything is done, release the capture information and stop everythingvideo_capture.release()cv2.destroyAllWindows()

現(xiàn)在，讓我們?cè)赥honny IDE中打開(kāi)上面的代碼。你可以通過(guò)將上面的代碼復(fù)制、粘貼并保存到Thonny IDE中，然后右鍵單擊 | facetracker.py | Python代碼并在Thonny IDE中打開(kāi)它。然后，只要你運(yùn)行它（通過(guò)按下那個(gè)大的綠色運(yùn)行按鈕），它就會(huì)啟動(dòng)面部追蹤。它會(huì)保持靜止，直到找到面部，然后它會(huì)嘗試將該面部保持在畫(huà)面中心，即使你試圖讓它離開(kāi)畫(huà)面。請(qǐng)參見(jiàn)下圖。

對(duì)于那些看過(guò)《樹(shù)莓派面部識(shí)別》指南的人來(lái)說(shuō)，你會(huì)注意到這里用于識(shí)別面部的系統(tǒng)與該指南中使用的系統(tǒng)不同。這里的面部檢測(cè)使用的是一種稱(chēng)為Haar級(jí)聯(lián)的系統(tǒng)。Haar級(jí)聯(lián)檢測(cè)是最古老但功能強(qiáng)大的人臉檢測(cè)算法之一。該算法由Viola和Jones于2001年首次發(fā)表，遠(yuǎn)在深度學(xué)習(xí)獲得廣泛關(guān)注之前。這個(gè)系統(tǒng)無(wú)法識(shí)別不同的面部，但作為交換，它在尋找人臉?lè)矫嬉斓枚?。這里使用的是Haar級(jí)聯(lián)的一種變體，稱(chēng)為L(zhǎng)BP（局部二值模式），它比原始的Haar級(jí)聯(lián)方法更快，但略不準(zhǔn)確。由于這個(gè)速度原因，它被有效地應(yīng)用在我們的單板面部追蹤系統(tǒng)中。下面顯示的是你運(yùn)行上述代碼時(shí)在桌面上看到的內(nèi)容。

值得編輯代碼的地方。在代碼中，你會(huì)找到一個(gè)名為“將偏移量縮放為角度”的部分（你也可以在上面的圖像中看到這個(gè)部分）。默認(rèn)的縮放偏移量值為2.5，但在這里你可以降低該值以使伺服操作更平滑，或者增加該值以使攝像頭調(diào)整得更遠(yuǎn)。在這里進(jìn)行微小的更改可以產(chǎn)生很大的不同。在同一部分中，你還可以更改 | turn_x | 和 | turn_y | 值的正負(fù)號(hào)。這將使攝像頭變得非常害羞，永遠(yuǎn)不會(huì)盯著人看。這段代碼還有很多LED燈條控制功能，你可以輕松利用并根據(jù)自己的喜好進(jìn)行編輯。

巡邏和運(yùn)動(dòng)感應(yīng)

另一個(gè)值得添加到系統(tǒng)中的功能是當(dāng)它沒(méi)有看到任何面部時(shí)的巡邏設(shè)置。更進(jìn)一步的是，如果你看到任何運(yùn)動(dòng)，就將攝像頭轉(zhuǎn)向該運(yùn)動(dòng)方向。然后，如果你看到面部，就鎖定該面部并忽略前兩個(gè)階段。好吧，在下面的下載內(nèi)容中，正是提供了實(shí)現(xiàn)這一功能的代碼。

https://core-electronics.com.au/media/kbase/507/Face-Tracking-Pimoroni-Codes.zip

非常感謝Claude Pageau，因?yàn)槲一谒暗墓ぷ鳎ㄌ貏e是面部追蹤演示）編寫(xiě)了下面的很多代碼。有很多設(shè)置你可以調(diào)整，值得查看 | config.py | 文件以了解你可以更改的內(nèi)容。因此，以下面的方式下載并運(yùn)行 | Face-Track-Pan-Tilt-HAT-Pimoroni.py | 代碼。請(qǐng)參見(jiàn)下圖，了解伺服電機(jī)在哨兵模式下將執(zhí)行的默認(rèn)位置。在每個(gè)位置，它會(huì)暫停一秒鐘，然后再進(jìn)入下一個(gè)位置。這完全可定制，并且每當(dāng)它無(wú)法看到人或運(yùn)動(dòng)時(shí)都會(huì)發(fā)生。

然后，當(dāng)識(shí)別到運(yùn)動(dòng)時(shí)，它會(huì)使用平移和傾斜功能將攝像頭畫(huà)面的中心對(duì)準(zhǔn)運(yùn)動(dòng)方向。你可以看到，當(dāng)我側(cè)身走過(guò)（不向攝像頭展示我的面部）時(shí)，它始終將我保持在畫(huà)面中。每當(dāng)它看到運(yùn)動(dòng)時(shí)，它會(huì)在視頻畫(huà)面上放置一個(gè)綠色圓圈，以指示它估計(jì)的運(yùn)動(dòng)中心位置。

然后，當(dāng)它找到面部時(shí)，它會(huì)迅速對(duì)準(zhǔn)面部，在視頻流上圍繞面部繪制一個(gè)藍(lán)色方框，并盡一切可能緊緊鎖定該面部，使你的面部始終保持在畫(huà)面中心。請(qǐng)參見(jiàn)下圖。一旦它找不到面部，它就會(huì)返回哨兵模式。這段代碼的運(yùn)行方式非常類(lèi)似于《傳送門(mén)》中的哨兵炮塔（沒(méi)有危險(xiǎn)和聲音）。

https://theportalwiki.com/wiki/Turrets

接下來(lái)做什么

這有很多優(yōu)秀的拓展方向。例如，當(dāng)你看到多個(gè)面部時(shí)該怎么辦？根據(jù)特定參數(shù)將偏好設(shè)置給一個(gè)面部而不是另一個(gè)面部將是一個(gè)值得添加的代碼功能。想象這樣一個(gè)場(chǎng)景：你感興趣的人戴著口罩。在這種情況下，也許我們可以不運(yùn)行面部檢測(cè)，而是運(yùn)行一個(gè)對(duì)象檢測(cè)層，僅搜索人員。

有很多種云臺(tái)方法，我試圖使這些方法能夠成功集成到代碼中。許多云臺(tái)系統(tǒng)使用緩慢移動(dòng)的無(wú)刷直流電機(jī)，有些使用步進(jìn)電機(jī)。稍微修改一下代碼，你就可以成功地運(yùn)行任何云臺(tái)系統(tǒng)。

另一個(gè)值得一提的點(diǎn)是PID（比例積分微分）控制。我們的系統(tǒng)正在全速運(yùn)行，因此一旦它識(shí)別到面部，它就會(huì)在面部周?chē)L制一個(gè)方框，并立即確定移動(dòng)角度。目前代碼中沒(méi)有編程的PID控制器層（但我認(rèn)為從硬件、軟件及其限制的組合中自然會(huì)產(chǎn)生一個(gè)PID）。這里已經(jīng)有一些PID控制了，例如，如果你在第一個(gè)代碼中增加縮放偏移量值，你就是在增加P值。然而，通過(guò)在代碼中加入特定的PID層，完全有可能使云臺(tái)帽以平滑的弧線和掃動(dòng)方式運(yùn)行。然而，添加這種額外的復(fù)雜性會(huì)使系統(tǒng)運(yùn)行速度變慢，但我已經(jīng)看到有人在樹(shù)莓派上實(shí)現(xiàn)了這一點(diǎn)。

https://www.pyimagesearch.com/2019/04/01/pan-tilt-face-tracking-with-a-raspberry-pi-and-opencv/

在樹(shù)莓派“Buster”操作系統(tǒng)上安裝Open-CV

以下是在樹(shù)莓派上安裝Open-CV以使其適用于對(duì)象識(shí)別的計(jì)算機(jī)視覺(jué)的詳細(xì)流程。很快，我將創(chuàng)建一個(gè)腳本/單獨(dú)的教程來(lái)簡(jiǎn)化此流程。打開(kāi)一臺(tái)運(yùn)行著全新樹(shù)莓派“Buster”操作系統(tǒng)并連接到互聯(lián)網(wǎng)的樹(shù)莓派4B。

使用屏幕左上角的按鈕打開(kāi)終端。將每個(gè)命令復(fù)制并粘貼到樹(shù)莓派的終端中，按Enter鍵，并等待其完成后再執(zhí)行下一個(gè)命令。如果提示“你想繼續(xù)嗎？（y/n）”，請(qǐng)按Y鍵，然后按Enter鍵繼續(xù)。

sudo apt-getupdate&&sudo apt-getupgrade

在運(yùn)行下一組命令之前，我們必須先擴(kuò)展交換文件。為此，在終端中輸入以下行。

sudo nano /etc/dphys-swapfile

將 CONF_SWAPSIZE = 100 更改為 CONF_SWAPSIZE=2048。完成此操作后，按Ctrl-X、Y，然后按Enter鍵保存這些更改。此更改只是暫時(shí)的，完成此操作后你應(yīng)該將其改回。為了使這些更改生效，我們必須通過(guò)向終端輸入以下命令來(lái)重啟交換文件。然后，我們將像往常一樣繼續(xù)輸入終端命令。

sudo apt-get install build-essential cmake pkg-configsudo apt-get install libjpeg-dev libtiff5-dev libjasper-dev libpng12-devsudo apt-get install libavcodec-dev libavformat-dev libswscale-dev libv4l-devsudo apt-get install libxvidcore-dev libx264-devsudo apt-get install libgtk2.0-dev libgtk-3-devsudo apt-get install libatlas-base-dev gfortransudo pip3 install numpywget -O opencv.zip https://github.com/opencv/opencv/archive/4.4.0.zipwget -O opencv_contrib.zip https://github.com/opencv/opencv_contrib/archive/4.4.0.zipunzip opencv.zipunzip opencv_contrib.zipcd~/opencv-4.4.0/mkdirbuildcdbuildcmake -D CMAKE_BUILD_TYPE=RELEASE \ -D CMAKE_INSTALL_PREFIX=/usr/local \ -D INSTALL_PYTHON_EXAMPLES=ON \ -D OPENCV_EXTRA_MODULES_PATH=~/opencv_contrib-4.4.0/modules \ -D BUILD_EXAMPLES=ON ..make -j $(nproc)

此 | make | 命令將需要超過(guò)一個(gè)小時(shí)來(lái)安裝，并且不會(huì)有任何關(guān)于還需多長(zhǎng)時(shí)間的指示。它也可能會(huì)凍結(jié)顯示器。請(qǐng)耐心等待，它會(huì)正常工作的。一旦完成，你就完成了大部分工作。如果它在任何時(shí)候失敗，你會(huì)收到類(lèi)似 | make: *** [Makefile all] Error 2 | 的消息，只需重新輸入并執(zhí)行上面的 | make -j $(nproc) | 行。不要害怕，它會(huì)記住已經(jīng)完成的所有工作，并從停止的地方繼續(xù)。一旦完成，我們將繼續(xù)輸入終端命令。

sudomake install && sudo ldconfigsudo reboot

下載內(nèi)容

以下是運(yùn)行上述示例所需的所有代碼。這些代碼都有完整的注釋?zhuān)虼四憧梢暂p松理解并修改它們，以滿足你的需求。

https://core-electronics.com.au/media/kbase/507/Face-Tracking-Pimoroni-Codes.zip