陳歡　柯春艷

關(guān)鍵詞：RTMP；樹莓派；C/S架構(gòu)；流媒體服務(wù)

中圖分類號：TP368 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2023）03-0012-04

1 引言

自2019年末開始，做好疫情防控工作已經(jīng)在人們的生活中缺一不可了。為了更好地進(jìn)行疫情防控工作，可以對人流量進(jìn)出多的地方進(jìn)行實(shí)時(shí)監(jiān)控和消殺作業(yè)。因此能做一個(gè)監(jiān)控和消殺兩者結(jié)合的智能設(shè)計(jì)，不僅能實(shí)時(shí)監(jiān)控人們佩戴口罩的情況，還能對疫情防控區(qū)域進(jìn)行消殺作業(yè)。節(jié)省人力的同時(shí)，在疫情防控方面的效果也能達(dá)到最優(yōu)化。

隨著網(wǎng)絡(luò)的快速發(fā)展，流媒體服務(wù)也快速崛起，可以通過客戶端例如手機(jī)或者PC電腦隨時(shí)點(diǎn)播服務(wù)器端的大量媒體資源，為生活帶來了極大的便捷。將流媒體服務(wù)[1]和可移動(dòng)式小車結(jié)合在一起組成的智能防疫輔助的設(shè)計(jì)，不僅在疫情監(jiān)控方面能達(dá)到良好的效果，在疫情防控區(qū)域所在的環(huán)境下也具有很大的優(yōu)勢。樹莓派嵌入式開發(fā)板能將兩者良好地結(jié)合起來[2]，它能完成復(fù)雜的任務(wù)與調(diào)度，支持更上層的應(yīng)用和開發(fā)，可以用作數(shù)據(jù)采集、小型控制、物聯(lián)網(wǎng)網(wǎng)關(guān)和邊緣計(jì)算機(jī)應(yīng)用等方面，在物聯(lián)網(wǎng)應(yīng)用研究上價(jià)值深遠(yuǎn)。

2 總體方案設(shè)計(jì)

為了實(shí)現(xiàn)對疫情防控區(qū)域內(nèi)人流的口罩監(jiān)控和自動(dòng)巡邏消殺的功能，利用樹莓派4代B型搭建了一個(gè)簡易的系統(tǒng)。系統(tǒng)主要由視頻處理前端、FFmpeg+nginx+RTMP流媒體搭建[2]、云服務(wù)器、用戶、語音播報(bào)和巡邏消殺幾部分組成，系統(tǒng)架構(gòu)圖如圖1所示。樹莓派將攝像頭采集到的視頻內(nèi)容進(jìn)行圖像識別處理，采用FFmpeg流媒體音視頻處理方法對視頻進(jìn)行編碼封裝。為了讓用戶能夠觀測到所監(jiān)控疫情防控區(qū)域的實(shí)時(shí)畫面采用了C/S架構(gòu)，關(guān)于流媒體的傳輸協(xié)議本設(shè)計(jì)使用的是RTMP協(xié)議，將識別處理后的視頻推送至RTMP云服務(wù)器上，用戶可以通過登錄客戶端來訪問云服務(wù)器的地址查看所監(jiān)控疫情防控區(qū)域的視頻，同時(shí)樹莓派本地對檢測到?jīng)]有佩戴口罩的情況進(jìn)行語音播報(bào)提示。在實(shí)現(xiàn)了監(jiān)控功能后，小車也可以切換至地面消殺作業(yè)模式，通過利用超聲波在較為平坦的地面上進(jìn)行智能避障完成自動(dòng)巡邏，同時(shí)對該地域噴灑消毒液完成消毒工作。

3 硬件設(shè)計(jì)

本設(shè)計(jì)硬件主要包括樹莓派4代B型嵌入式開發(fā)板、視頻圖像采集模塊和自動(dòng)避障、消殺模塊三部分組成。樹莓派4代B型開發(fā)板是整個(gè)系統(tǒng)的核心模塊，一方面需要對采集到的視頻進(jìn)行圖像識別處理完成口罩檢測的功能；另一方面需要搭建支持流媒體的服務(wù)器對處理后的視頻流進(jìn)行編碼推送。視頻采集模塊則是攝像頭通過USB接口和樹莓派4代B型開發(fā)板直接相連，從而完成視頻圖像采集。自動(dòng)避障和消殺模塊是利用超聲波傳感器和水泵搭配樹莓派4代B型開發(fā)板的GPIO口進(jìn)行工作。硬件結(jié)構(gòu)框圖如圖2所示。

3.1 核心控制模塊

樹莓派是一款小型嵌入式開發(fā)板，因其能搭載基于Linux的樹莓派Debian系統(tǒng)，也被稱為微型電腦，擴(kuò)展性強(qiáng)，開放性好。本設(shè)計(jì)采用的是樹莓派4代B型開發(fā)板，它具有多個(gè)USB接口多個(gè)以太網(wǎng)接口，還具備HDMI高清視頻輸出接口可以直接連接屏幕進(jìn)入到操作系統(tǒng)界面，具備所有PC機(jī)的基本功能，功能強(qiáng)大。相較于樹莓派3代B+型開發(fā)板，它擁有更好的CPU構(gòu)建，采用的是BCM2711型號，包含了性能更好的核散熱器，時(shí)鐘頻率更精準(zhǔn)的同時(shí)能更準(zhǔn)確地監(jiān)控芯片的溫度，同時(shí)它的寬帶吞吐量也是樹莓派3代B+的五倍，最大可接近千兆。硬件整體各種性能完善，核心運(yùn)行速度快，優(yōu)點(diǎn)非常明顯。

3.2 視頻采集模塊

在本設(shè)計(jì)中視頻圖像采集模塊直接用的USB免驅(qū)動(dòng)直插式攝像頭，能夠進(jìn)行AD智能自動(dòng)對焦，畫面清晰穩(wěn)定，同時(shí)對人臉的捕捉更為精準(zhǔn)。內(nèi)置8米全指向吸音降噪麥克風(fēng)，擁有720萬像素和超大廣角，能夠上下120度旋轉(zhuǎn)鏡頭，不僅能呈現(xiàn)出高清畫質(zhì)，還能很容易在疫情防控區(qū)域里找到適合的監(jiān)控角度。這款攝像頭性價(jià)比很高，和樹莓派的Raspbian嵌入式系統(tǒng)兼容性強(qiáng)，對于輸出的畫面也很流暢清晰。

3.3 避障消殺模塊

對于小車的智能避障模塊本設(shè)計(jì)采用了HCSR04超聲波傳感器來測量距離[3]，用其來控制電機(jī)。它能感測到的距離范圍為2cm-4m，它能測量的最大精度為3mm，對于本設(shè)計(jì)來說已經(jīng)綽綽有余。超聲波傳感器是由超聲波發(fā)射器、超聲波接收器和控制電路三部分組成，支持電壓是5V，電流能達(dá)到15mA，是一個(gè)集成度良好的傳感器模塊，體積小價(jià)格便宜，在市場上以及很多測距項(xiàng)目中經(jīng)常見其身影。對于消殺模塊本設(shè)計(jì)采用的是微型水泵搭配繼電器一塊兒來使用，水泵的工作電壓范圍在3.5～12V，為了讓水泵正常工作就加了一個(gè)繼電器和6V的外接電源單獨(dú)給其供電，另外再添加一個(gè)噴頭，就能達(dá)到很好的噴水效果。這種小型水泵不僅可以用作噴灑消毒水應(yīng)用在醫(yī)療輔助領(lǐng)域，而且在智能農(nóng)業(yè)灌溉系統(tǒng)上也是很常見的。

超聲波模塊的TRIG口和ECHO口分別連接的是樹莓派23號和24號GPIO引腳口，繼電器的信號觸發(fā)端連接樹莓派22號GPIO引腳口，繼電器的VCC 和GND則分別連接樹莓派的5V和GND GPIO引腳口。而水泵的正極連接到繼電器的常開端，負(fù)極連接到電源負(fù)極，繼電器的公共端則連接到電源正極。主要的電路連接示意圖如圖3所示。

4 軟件設(shè)計(jì)

為了實(shí)現(xiàn)口罩檢測以及視頻監(jiān)控的功能，軟件設(shè)計(jì)是它們的核心。這里包括了如何對采集到的視頻圖像進(jìn)行檢測處理，即如何選擇人臉識別的核心網(wǎng)絡(luò)模型能達(dá)到最好的效果，能讓口罩檢測的準(zhǔn)確率能保證的同時(shí)讓視頻流每秒傳送的幀的數(shù)量達(dá)到能傳輸?shù)募墑e。在此之外，還有流媒體服務(wù)器的搭建，能讓樹莓派和云服務(wù)器之間建立聯(lián)系，從而完成視頻圖像的采集和傳輸。同時(shí)，對于小車的軟件控制主要是對直流電機(jī)進(jìn)行PWM輸入來控制它的運(yùn)動(dòng)，同時(shí)需要搭配超聲波傳感器模塊來對其巡邏路線做一個(gè)固定。在此基礎(chǔ)上，還會加一個(gè)定時(shí)噴灑消毒水的程序，主要是對繼電器的輸入信號引腳進(jìn)行高低電平的控制，邏輯也比較簡單。本設(shè)計(jì)采用的核心控制器是基于ARM Cortex-A72，樹莓派的官網(wǎng)上能下載到基于樹莓派的Linux系統(tǒng)，安裝簡單，操作易懂，與用戶的交互性比其他的Linux系統(tǒng)要強(qiáng)很多，優(yōu)點(diǎn)很多，此處不再過多贅述。

4.1 口罩檢測

口罩檢測主要分為兩部分來執(zhí)行，一是通過選擇適合的人臉檢測的深度學(xué)習(xí)網(wǎng)絡(luò)模型對攝像頭采集到的人臉圖像進(jìn)行人臉檢測處理，判斷其是否是一張人臉；二是通過對檢測后的人臉進(jìn)行覆蓋面積運(yùn)算來確認(rèn)其是否戴了口罩。二者均能實(shí)時(shí)將相應(yīng)的檢測結(jié)果顯示在屏幕上，能讓用戶實(shí)時(shí)觀測到檢測結(jié)果。對于選擇人臉識別的深度學(xué)習(xí)網(wǎng)絡(luò)模型也做了很多的測試，最開始使用的是深度神經(jīng)網(wǎng)絡(luò)DNN 模型，它是一個(gè)典型的感知機(jī)模型，擁有多個(gè)輸入但只有一個(gè)輸出的網(wǎng)絡(luò)模型，只能用于二元分類，非常符合本設(shè)計(jì)的要求，判斷的結(jié)果只有是人臉和非人臉兩種。但是由于它的網(wǎng)絡(luò)算法過于復(fù)雜，導(dǎo)致圖像檢測起來處理速度特別慢，從而影響我們的傳輸效果，傳輸幀率特別低。因而又選擇了Harr算法[4]來處理采集到的視頻圖像，它主要是對邊緣特征、對角線特征、中心特征和線性特征，多個(gè)特征聯(lián)合進(jìn)行圖像檢測處理的。它在CPU上幾乎是實(shí)時(shí)工作的，處理速度很快，能達(dá)到傳輸幀率的要求，但其可調(diào)整性很弱，但在本設(shè)計(jì)中能滿足運(yùn)行要求。除此之外，還嘗試過Lbp算法來對圖像進(jìn)行處理，雖然處理運(yùn)行速度非?？?，但對光線和方向信息要求非常高，所以它在處理效果上也并不理想，所以就舍棄了，最終我們在本設(shè)計(jì)還是選擇了Harr算法來進(jìn)行人臉檢測。DNN、Harr、Lbp算法測試對比結(jié)果如圖4人臉檢測模型分析所示。在此說明以上網(wǎng)絡(luò)模型皆是采用已訓(xùn)練好的網(wǎng)絡(luò)模型來對采集到的人臉圖像進(jìn)行檢測的。

4.2 流媒體服務(wù)器監(jiān)控

流媒體的意思是將連續(xù)的音頻媒體數(shù)據(jù)經(jīng)壓縮處理后，通過網(wǎng)絡(luò)進(jìn)行分段式發(fā)送媒體數(shù)據(jù)，在網(wǎng)絡(luò)上實(shí)時(shí)傳輸音視頻以供客戶查看的一種技術(shù)和過程，經(jīng)過了這樣處理后的音視頻數(shù)據(jù)包以流的形式進(jìn)行發(fā)送。相較于傳統(tǒng)的查看媒體的方式，它不需要把整條音視頻下載完畢后才能觀看，非常具有實(shí)時(shí)性，方便快捷。在如今網(wǎng)絡(luò)快速發(fā)展的大環(huán)境下，流媒體可以運(yùn)用到很多場景中，例如醫(yī)療、軍事、安全和娛樂等方面，現(xiàn)如今大熱的直播行業(yè)就是個(gè)很典型的例子。本設(shè)計(jì)采用FFmpeg視頻服務(wù)器，將USB攝像頭采集到的視頻圖像轉(zhuǎn)為視頻流，同時(shí)采用RTMP協(xié)議[5]將獲取到并處理后的視頻流發(fā)送出去。為了不讓視頻流的傳輸查看拘于同一局域網(wǎng)之內(nèi)，我們在此基礎(chǔ)上添加了云服務(wù)器和nginx反向代理web服務(wù)器來作為中間橋梁，讓服務(wù)器也參與流媒體的搭建之中，從而讓我們?nèi)魏我粋€(gè)網(wǎng)段都可以通過登錄客戶端來訪問服務(wù)器地址查看監(jiān)控視頻。

在樹莓派4代B型開發(fā)板上支持搭建流媒體服務(wù)的協(xié)議獲取USB攝像頭采集的圖像，并以流的形式將捕獲的圖像進(jìn)行口罩檢測處理，然后推送至云服務(wù)器，整體搭建使用過程如下：

（1） 在樹莓派上的Respbian pi系統(tǒng)終端上安裝所需要的依賴sudo apt-get install build-essential libp?cre3 libpcre3-dev libssl-dev。

（2） 分別下載nginx和rtmp到樹莓派的某一路徑下，并將兩個(gè)包都解壓到同一個(gè)目錄里；

（3） 進(jìn)入安裝nginx 目錄下，添加with-http_ssl_module 模塊，并進(jìn)行編譯，分別依次執(zhí)行以下三個(gè)命令：

①/configure --with-http_ssl_module --addmodule=../nginx-rtmp-module-master

②make

③sudo make install

（4） 執(zhí)行sudo nano /usr/local/nginx/conf/nginx.conf修改nginx配置的文件，包括端口號，傳輸格式和方式等。

（5） 啟動(dòng)nginx和rtmp的流媒體服務(wù)器，執(zhí)行以下命令：

sudo /usr/local/nginx/sbin/nginx

（6） 安裝FFmpeg，執(zhí)行以下命令：

sudo apt install ffmpeg

（7） 進(jìn)行視頻流推流，然后再啟動(dòng)nginx+ffmpeg視頻流服務(wù)器，推流視頻的格式為flv，利用程序?qū)⒁曨l流傳輸至云服務(wù)器，分別依次執(zhí)行以下命令：

①sudo /usr/local/nginx/sbin/nginx

②ffmpeg -ss -i /dev/video0 -f flvrtmp：//樹莓派IP地址/live/livestream

（8） 客戶端在PC電腦上安裝VLC視頻播放軟件，進(jìn)入軟件后順次點(diǎn)擊“媒體”和“打開網(wǎng)絡(luò)串流”，網(wǎng)絡(luò)URL輸入：rtmp：//云服務(wù)器IP地址/live/a接收相應(yīng)的視頻流。

啟用流媒體服務(wù)器在此用到了兩個(gè)很重要的組件，分別是nginx和FFmpeg。nginx是一個(gè)性能比較高的HTTP和反向代理web服務(wù)器，而FFmpeg是一個(gè)非常好的音視頻獲取方案，再加上RTMP協(xié)議，它們?nèi)芙M合搭建一個(gè)功能比較完備的支持流媒體的服務(wù)器。具體的流媒體傳輸流程圖如圖5所示。

4.3 小車控制和定時(shí)消殺

本設(shè)計(jì)采用了L298N驅(qū)動(dòng)來驅(qū)動(dòng)電機(jī)，L298N的輸入用PWM脈寬調(diào)制來調(diào)整電機(jī)運(yùn)轉(zhuǎn)的速度，通過對速度和時(shí)間的測試結(jié)果來固定小車巡邏的路線。至于小車避障功能，我們首先需要分別獲取到發(fā)出超聲波和接收到超聲波時(shí)的時(shí)間，再對其進(jìn)行時(shí)間差計(jì)算，通過公式計(jì)算從而獲取距離，最后通過在代碼里設(shè)置距離閾值來完成超聲波避障功能。超聲波測距公式如公式（1） 所示。而本設(shè)計(jì)的消殺功能只需要控制繼電器的控制引腳輸入端的電平，高電平則水泵運(yùn)作，低電平時(shí)水泵停止運(yùn)作。

小車控制部分最重要的是PWM脈寬調(diào)制的工作原理。它主要是通過調(diào)整高電平的占空比大小來控制輸入，我們通過這個(gè)原理便能控制電機(jī)的轉(zhuǎn)速，高電平占空比給的低時(shí)轉(zhuǎn)速就慢，反之，給的高時(shí)轉(zhuǎn)速就快，因而本設(shè)計(jì)通過控制PWM也就能讓小車進(jìn)行左轉(zhuǎn)和右轉(zhuǎn)，再搭配上時(shí)間給的持續(xù)時(shí)長的控制就能固定小車的巡邏路線了。

5 測試與結(jié)論

5.1 功能測試

整體設(shè)計(jì)完成之后，需要分為兩個(gè)部分來進(jìn)行測試。

（1） 首先是口罩檢測模式時(shí)，我們在給設(shè)計(jì)上電后進(jìn)入測試，在給樹莓派連上網(wǎng)絡(luò)后，執(zhí)行相應(yīng)的程序，整個(gè)模塊便開始運(yùn)行。首先是樹莓派本地在開啟視頻流服務(wù)器后進(jìn)行實(shí)時(shí)圖像的采集、處理和傳輸，樹莓派本地測試結(jié)果如圖6所示?？蛻舳穗娔XVLC軟件網(wǎng)絡(luò)流媒體輸入rtmp：//180.76.xxxxx/live/a，客戶端測試結(jié)果如圖7所示。其中180.76.xxxxx是云服務(wù)器的地址，live表示實(shí)時(shí)視頻流。

（2） 巡邏消殺模式時(shí)，將視頻采集用到的攝像頭從樹莓派上拔掉，給小車整體上電，執(zhí)行程序，小車開始運(yùn)行。消毒水噴灑測試結(jié)果如圖8所示。

5.2 結(jié)論

防疫輔助機(jī)器人，通過人臉檢測技術(shù)、實(shí)時(shí)監(jiān)控技術(shù)和嵌入式開發(fā)的應(yīng)用，實(shí)現(xiàn)了機(jī)器人巡邏執(zhí)行消殺作業(yè)以及實(shí)時(shí)監(jiān)控場所人們是否佩戴口罩的功能。此外，任何一個(gè)客戶端都可以通過訪問服務(wù)器地址來調(diào)取場所實(shí)時(shí)監(jiān)控畫面，查看當(dāng)前場所人們佩戴口罩的情況。關(guān)于外形設(shè)計(jì)和價(jià)格方面，體積也很小巧方便，成本低廉，集成度高，充分展現(xiàn)了物聯(lián)網(wǎng)技術(shù)的靈活性和多功能性。產(chǎn)品不僅可以應(yīng)用于醫(yī)院，還可以應(yīng)用于學(xué)校、商場等人流量密集，需要每天進(jìn)行場所消殺的地方，充分體現(xiàn)了本設(shè)計(jì)的靈活性和適用性。