基于計算機視覺的網(wǎng)約車車載智能監(jiān)控系統(tǒng)研究

鐘建勇 沈哲 孫何濤

關鍵詞：計算機視覺;網(wǎng)約車;車載監(jiān)控;人臉檢測

1緒論

隨著網(wǎng)約車數(shù)量劇增，覆蓋時段、覆蓋區(qū)域也大大增加，乘車安全問題逐漸涌現(xiàn)，這告訴我們，現(xiàn)有的安全措施只能“亡羊補牢”，真正的安全是要做到“未雨綢繆”，將傷害控制在危險發(fā)生之前。然而某網(wǎng)約車軟件內(nèi)置的一鍵報警、添加緊急聯(lián)系人等防范措施在一些受限環(huán)境下并不能有效阻止傷害的發(fā)生，同時，現(xiàn)階段的車載監(jiān)控系統(tǒng)往往只起到事后查證的作用，對正在發(fā)生的危險并不能進行智能預警。因而我們亟須一種網(wǎng)約車智能安防監(jiān)控系統(tǒng)，來對車內(nèi)發(fā)生的異常行為進行實時的智能研判，從而避免安全事故的發(fā)生。

基于上述分析，本文開發(fā)了一種基于計算機視覺的網(wǎng)約車車載智能監(jiān)控系統(tǒng)，處理不同條件下的異常行為，包括背景變化、主體數(shù)量（個人、兩個人或更多人）以及一系列不同的異常人類活動，通過視頻圖像采集，結合人工智能算法對車內(nèi)高度異常行為進行實時監(jiān)控，當有危險發(fā)生可迅速進行人工干預并自動報警，及時避免危險，有效保障網(wǎng)約車司機和乘客的人身財產(chǎn)安全。

2系統(tǒng)概述

針對網(wǎng)約車智能監(jiān)控系統(tǒng)缺失，現(xiàn)有監(jiān)控設備僅有記錄功能，并不能有效保障乘車和駕駛員行車安全的問題，本文開發(fā)了一種基于計算機是覺得網(wǎng)約車車載智能監(jiān)控系統(tǒng)，通過一個基于嵌入式技術的車載終端實時采集網(wǎng)約車車內(nèi)數(shù)據(jù)，利用4G/5G網(wǎng)絡上傳至數(shù)據(jù)中心服務器進行匯聚和分析，在服務器中，自主研發(fā)并部署了人臉檢測、車內(nèi)異常行為檢測等計算機視覺技術模塊，可以實時可靠的對網(wǎng)約車內(nèi)的異常行為進行分析預警，從而有效保障司機和乘客的人身安全。系統(tǒng)總體設計框架如圖1所示。

3系統(tǒng)設計與開發(fā)

3.1系統(tǒng)硬件設計

在車載數(shù)據(jù)采集終端的設計上，采用四代RaspherryPi，其中，主控芯片使用的是博通BCM2711（四核1.5GHz，Cortex A72架構），通信采用SIM7600CE通信模塊，上行最大速率50Mbps，下行最大速率150Mbps，支持TCP/IP、PPP通信協(xié)議。SIM7600CE和處理器的USB2口直接相連，工作電壓4.2V，借助4G無線通信模塊強大的數(shù)據(jù)傳輸能力實時的和數(shù)據(jù)中心服務器進行通信。北斗定位模塊采用NEO-M8T模塊，該模塊同時支持北斗、GPS獨立定位和多系統(tǒng)聯(lián)合定位，選用串口通信的方式和BCM2711處理器進行通信，車載終端實物如圖2所示。

3.2系統(tǒng)軟件設計

3.2.1人臉檢測模塊

人臉檢測模塊采用了經(jīng)典的Harr-like特征+Adaboost分類器的解決方案，并針對車內(nèi)環(huán)境增加了人臉正負樣本數(shù)據(jù)集，通過對候選區(qū)域進行積分圖計算，快速計算Har-like特征，并利用AdaBoost算法將Hat-like特征生成的弱分類器疊加成為強分類器，再將多個強分類器級聯(lián)組成更強有力的人臉檢測分類器。同時，為了保證人臉檢測的實時性，本文僅采用如圖3所示的一維Haar-like特征。

級聯(lián)結構人臉檢測分類器的每一級都采用AdaBoost算法進行訓練。通過AdaBoost習算法將Harr-like特征生成的弱分類器疊加成為強分類器，使之具有很強的泛化能力。

具體訓練算法如下：

（1）給定n個樣本圖像（x，y），（x2，y2），…，（x，yn），x是輸入樣本圖像，y是類別標志。其中，y=0，1分別表示為非人臉樣本和人臉樣本。

（2）初始化權重：

3.2.2異常行為檢測模塊

考慮到算法的實時性和準確性，本文采用幀問差分結合單個像素點平均變化值對兩幀問的異常行為進行監(jiān)控，同時引入自適應閾值算法，當幀間單個像素點變化值大于畫面的像素平均變化值時，就認為該像素點為異常像素點。當異常像素點大于全部圖像像素點的1/2時，觸發(fā)異常行為預警。若行車途中未發(fā)生異常行為，則不觸發(fā)異常行為預警，始終為正常狀態(tài)（Normal）。若行車途中發(fā)生異常行為，異常行為預警自動觸發(fā)（Abnormal），位置、圖像等數(shù)據(jù)發(fā)送至數(shù)據(jù)中心服務器進行后續(xù)處理。

3.2.3上位機圖形界面設計

本文上位機圖形界面采用Qt和c++使用QT Creator進行開發(fā)，主要包含登錄數(shù)據(jù)中心服務器、實時查看當前車載終端隋況以及一鍵報警燈功能。上位機圖形界面設計如圖4所示。

4實驗結果與分析

為了驗證本文所述方法的效果，使用python作為開發(fā)語言，結合OpenCV以及sldearn等模塊，對攝像頭采集到的普通光照下的人臉數(shù)據(jù)進行實時跟蹤實驗。操作系統(tǒng)為Windows10，CPU為Intel 17 7700，3.6GHz，16GB DDR4 2666內(nèi)存，攝像頭為500萬像素ov5647型號，采集分辨率為2592x1944像素。系統(tǒng)采用OpenCV+sklearn技術方案重新訓練了人臉檢測器，無論是車內(nèi)有幾人都可以較好的檢出人臉，在只有駕駛員一人時，系統(tǒng)為監(jiān)控狀態(tài)（Monitoring mode），當有乘客上車，系統(tǒng)會自動切換為預警狀態(tài)（Alert mode），對車內(nèi)情況進行實時分析，如圖5所示。

5結論

針對當前網(wǎng)約車車載監(jiān)控系統(tǒng)只能事后回溯，無法實時處理數(shù)據(jù)的問題，本文提出了一種基于計算機視覺的網(wǎng)約車車載智能監(jiān)控系統(tǒng)。首先使用基于Haar-like特征的人臉檢測器遍歷圖像，記錄車內(nèi)人員數(shù)量，然后使用幀間差分算法對車內(nèi)異常行為進行智能識別。實驗結果表明，本文所提方法能準確檢測人臉并輸出車內(nèi)異常情況，有力保障了網(wǎng)約車行車安全。