文/王剛、于麗麗
隨著農(nóng)村公路里程的增長,人們對公路養(yǎng)護(hù)管理的需求也越來越高,由此存在“養(yǎng)護(hù)難度大,養(yǎng)護(hù)資金不足,技術(shù)力量薄弱”等問題,需引入新技術(shù)、新方法,充分且合理地結(jié)合現(xiàn)有方法形成自動化、智能化、便捷化、高效化的先進(jìn)手段[1]。但目前農(nóng)村公路道路巡查方式大多還處于人工巡查階段,其自動化、信息化、智能化水平較低。另外,現(xiàn)有的道路檢測設(shè)備以道路檢測車為主,存在需要人員跟蹤檢測、檢測成本高、檢測范圍小、檢測效率受交通狀況制約等缺陷。而隨著多目視覺技術(shù)的發(fā)展,其應(yīng)用領(lǐng)域越來越多,將多目視覺用于道路檢測已成為道路檢測的新的發(fā)展方向[2]。
基于多目視覺的農(nóng)村公路視頻巡查采用卷積神經(jīng)網(wǎng)絡(luò)技術(shù)結(jié)合高性能的顯卡技術(shù)、分布式架構(gòu)和大數(shù)據(jù)等信息化手段,其方案的落地實(shí)施可以解決目前區(qū)域面積大、道路里程長和管養(yǎng)經(jīng)費(fèi)較低的農(nóng)村公路的道路監(jiān)測、管樣難等問題??傮w來看,本方案的道路巡檢采用便攜式的多目攝像頭,應(yīng)用高性能GPU服務(wù)器進(jìn)行數(shù)據(jù)視頻分析,并結(jié)合分布式架構(gòu)搭建基于多目視覺的農(nóng)村公路視頻巡查系統(tǒng),將巡查分析結(jié)果通過多種形式直觀的展現(xiàn)在用戶面前,形成方便的巡檢、智能的分析、直觀的展示等農(nóng)村公路道路巡檢服務(wù)[3]。系統(tǒng)總體規(guī)劃如圖1 所示。
圖1 多目視覺的農(nóng)村公路視頻巡查系統(tǒng)規(guī)劃圖
多目攝像頭的視頻通過4G、5G 傳輸技術(shù)將視頻回傳到視頻分析平臺進(jìn)行巡檢視頻分析,然后通過文件服務(wù)器和Web 服務(wù)器將分析結(jié)果展示到用戶界面上。另外,目前分布式服務(wù)和分布存儲技術(shù)的發(fā)展也為系統(tǒng)的搭建部署提供了技術(shù)支撐,縮短了系統(tǒng)開發(fā)時間,保障了系統(tǒng)研發(fā)質(zhì)量[4]。
該多目視覺系統(tǒng)硬件系統(tǒng)主要由中央控制系統(tǒng)和其附屬系統(tǒng)組成,其組成架構(gòu)關(guān)系如下圖所示:
圖2 目視覺系統(tǒng)組成架構(gòu)圖
3.1.1 存儲系統(tǒng):支持雙SD 卡槽,單卡最大支持256GB,對沒有5G/4G 信號的偏遠(yuǎn)地區(qū)進(jìn)行巡檢視頻實(shí)地存儲,巡檢完畢后將存儲視頻上傳到視頻分析平臺進(jìn)行病害和軌跡等信息的分析。
3.1.2 電源系統(tǒng):支持供電時長為24h 正常工作的電池、車載點(diǎn)煙器供電線和12V 輸入的座充設(shè)備等。
3.1.3 WIFI 模 塊:采 用802.11a/b/g/n 標(biāo) 準(zhǔn),支持WIFI 熱點(diǎn),設(shè)備連接就近WIFI 后可通過電腦和移動設(shè)備對設(shè)備進(jìn)行控制。
3.1.4 5G/4G 模塊:安裝SIM 卡槽,支持中國電信、中國移動、中國聯(lián)通三家運(yùn)營商的六種移動通信制式。
3.1.5 中央控制系統(tǒng):中央系統(tǒng)采用實(shí)時操作系統(tǒng),完成所有的控制功能。控制系統(tǒng)負(fù)責(zé)和各個外設(shè)模塊,如WIFI 模塊、定位模塊、存儲模塊等的通信交互和控制,同時支持用戶的軟件接口,設(shè)備也支持GPS 和北斗的雙模定位模塊等[5]。
農(nóng)村公路視頻巡檢系統(tǒng)需要對農(nóng)村公路的病害信息、地理位置信息進(jìn)行分析采集。在分析農(nóng)村公路的病害信息和附屬設(shè)施時,相關(guān)工作人員需要對病害(坑槽、橫縫、縱縫等)的面積、長度和深度等情況進(jìn)行分析,以便獲得道路病害的確切分析數(shù)據(jù)。
基于以上需求,巡檢設(shè)備攝像頭采用深度攝像頭。深度攝像頭除了能夠獲取平面圖像以外,還可以獲得拍攝對象的深度信息(三維位置和尺寸信息)。目前,深度攝像頭主要分為TOF、結(jié)構(gòu)光和多目視覺技術(shù)。其中,TOF 技術(shù)其傳感器芯片成本高,結(jié)構(gòu)光技術(shù)通過分析結(jié)構(gòu)光投射器投射的光點(diǎn)、光條信息構(gòu)建物體的深度信息,容易受戶外的光照影響。經(jīng)過成本分析和戶外巡檢等需求分析,設(shè)備的深度攝像頭采用多目視覺技術(shù)。利用雙目立體視覺成像原理,在巡檢設(shè)備上安裝多個攝像頭,獲取同一時鐘下的多個畫面,使用多目視覺的成像原理對多個畫面進(jìn)行深度分析。多目視覺的方案不容易受到環(huán)境光線的干擾,適合室外環(huán)境,且成本較低,適合農(nóng)村公路巡檢需求[6]。
視頻分析平臺首先將巡檢視頻逐幀分割為圖片,然后對每幀圖片使用目標(biāo)檢測算法找到存在的橫向裂縫、縱向裂縫、網(wǎng)狀裂縫和坑槽等公路病害,結(jié)合GPS 定位系統(tǒng)的經(jīng)緯度信息和公路里程樁號對病害位置進(jìn)行定位,最后將檢測出的包含病害的圖片和經(jīng)緯度信息等上傳服務(wù)器,實(shí)現(xiàn)對農(nóng)村公路路況巡檢視頻的自動化分析。本方案的路況檢測分為兩個關(guān)鍵的子任務(wù):
4.1.1 目標(biāo)的識別和分類。目標(biāo)的識別和分類基于深度學(xué)習(xí)模型,采用mmdetection 框架的Faster R-CNN 網(wǎng)絡(luò)的目標(biāo)檢測算法來實(shí)現(xiàn)。目標(biāo)檢測算法分別兩個階段:第一個階段首先對目標(biāo)進(jìn)行識別和定位,即識別出目標(biāo)和目標(biāo)大概位置信息;第二個階段識別出目標(biāo)的類別和精準(zhǔn)位置信息。能識別的常見路面病害一般為路面坑槽、網(wǎng)狀裂縫、縱向裂縫和橫向裂縫等[7]。
4.1.2 目標(biāo)的三維尺寸計算。通過對多目攝像頭同一時鐘下采集的多幅視頻圖片進(jìn)行深度分析,獲取目標(biāo)的面積、長度和深度信息。
Web 應(yīng)用服務(wù)平臺面向用戶,其包含的主要功能如下:
4.2.1 病害管理模塊
實(shí)現(xiàn)病害上報和病害的處置,待養(yǎng)護(hù)完成后由養(yǎng)護(hù)人員將養(yǎng)護(hù)結(jié)果包括其養(yǎng)護(hù)圖片信息進(jìn)行反饋,查看病害的養(yǎng)護(hù)情況閉合度。
4.2.2 巡檢管理模塊
通過DFS(分布式文件系統(tǒng))實(shí)現(xiàn)對巡檢視頻上傳和存儲,并通過web 接口實(shí)現(xiàn)與視頻分析平臺的交互。視頻分析平臺采用深度學(xué)習(xí)和多目視覺技術(shù)對巡檢視頻進(jìn)行分析,識別農(nóng)村公路里程、空間地理信息和病害信息等(包括病害的類別、位置信息尺寸信息)。模塊通過和視頻分析平臺的業(yè)務(wù)交互獲取農(nóng)村公路巡檢分析結(jié)果,通過地圖信息等對農(nóng)村公路的空間位置信息、視頻信息、里程信息和病害信息等進(jìn)行多維度展示[8]。
4.2.3 統(tǒng)計模塊管理
在統(tǒng)計模塊中實(shí)現(xiàn)對農(nóng)村公路里程信息、病害信息和養(yǎng)護(hù)信息的多維度統(tǒng)計,方便農(nóng)村公路養(yǎng)護(hù)和監(jiān)管人員從宏觀上完成農(nóng)村公路路資路產(chǎn)盤點(diǎn)和病害養(yǎng)護(hù)情況監(jiān)管[9]。
4.2.3.1 道路信息的規(guī)劃數(shù)據(jù)和巡查數(shù)據(jù)的對比統(tǒng)計,實(shí)現(xiàn)對農(nóng)村公路規(guī)劃數(shù)據(jù)和巡查數(shù)據(jù)里程偏差統(tǒng)計。
4.2.3.2 從時間維度上對農(nóng)村道路病害上報信息進(jìn)行統(tǒng)計,以便相關(guān)人員查看農(nóng)村公路病害信息。
4.2.3.3 從時間維度上對農(nóng)村養(yǎng)護(hù)信息進(jìn)行統(tǒng)計,以便相關(guān)人員查看農(nóng)村公路的養(yǎng)護(hù)維護(hù)情況。
通過應(yīng)用本研究成果可較大程度地提高農(nóng)村公路養(yǎng)護(hù)巡檢工作效率,節(jié)約成本。其與傳統(tǒng)人工檢測相比較,效率提高3 倍以上;與專業(yè)檢測車比較,節(jié)約成本超過50%,無論是工作效率、工作質(zhì)量、工作成本都有了大幅度的提高[10]。另外,由于研究采用人工智能技術(shù),隨著巡檢視頻采樣本的增多,其病害識別準(zhǔn)確率也會大幅度提高。