基于機器視覺的車載式智能巡查裝備及系統(tǒng)研究

楊有輝, 鄧力珩, 姜 烊, 劉 力, 王吉龍, 張 朋, 陳 卓

(1.招商局重慶公路工程檢測中心有限公司, 重慶 400067; 2.重慶交通大學(xué) 機電與車輛工程學(xué)院, 重慶 400074)

截至2022年底,我國高速公路建成運營總里程已超過17.7萬km,同比上一年度增長4.73%,在這種超大規(guī)模和復(fù)雜環(huán)境下的高速公路運維管理面臨著嚴(yán)峻的技術(shù)挑戰(zhàn)。傳統(tǒng)的道路養(yǎng)護數(shù)據(jù)主要通過人工采集和輸入,數(shù)據(jù)更新速度慢,且不便于調(diào)用[1]。高速公路巡查主要依靠技術(shù)人員使用便攜式儀器輔助進行現(xiàn)場測量、記錄、整理,現(xiàn)場工作存在一定的風(fēng)險[2-4],檢測效率低且主觀性強,對公路養(yǎng)護的指導(dǎo)作用十分有限,很難滿足超大規(guī)模道路養(yǎng)護的需求[5-7]。吳勇往[8]曾提出采用地質(zhì)雷達的無損檢測技術(shù),對運營高速公路各種病害進行檢測,但存在多次波及其它雜波干擾嚴(yán)重的問題,且一直沒有好的消除辦法,影響檢測結(jié)果;袁洋冰等[9]提出基于GIS和GPS等多系統(tǒng)聯(lián)合定位檢測,提高風(fēng)險源位置信息的精確性,但仍需大量人員進行現(xiàn)場操作;中公高科研發(fā)的CiCS道路檢測車[10]采用高分辨率線陣相機采集公路路面圖像,總體檢測精度較低;李清娟、楊明、李永勝等[11-13]提出目前的道路巡檢車具有檢測快速、準(zhǔn)確、完整的優(yōu)點,但周邊環(huán)境對檢測結(jié)果影響較大。機器視覺作為一種現(xiàn)代化的檢測方法,以其快速、準(zhǔn)確、非接觸等優(yōu)點越來越受到人們的重視[14],因此考慮引入基于機器視覺的人工智能技術(shù),以形成科學(xué)先進、高效統(tǒng)一的行車風(fēng)險源自動識別和智能巡查系統(tǒng),提升高速公路巡查的安全性與高效性,服務(wù)于高速路網(wǎng)的智能化、信息化建設(shè)和升級改造。

本文針對高速公路行車風(fēng)險源自主發(fā)現(xiàn)和識別這一難題,利用機器視覺來替代傳統(tǒng)的人眼巡查的方法,使車載式智能巡檢裝備能夠做到路面病害的自動識別,智能分析,實時上傳,并建立一體化的管養(yǎng)系統(tǒng),實現(xiàn)巡查過程的自動化、直觀化、實時化、數(shù)字化,從而減輕道路巡查人員的工作負擔(dān),既提高工作的質(zhì)量和效率,又便于數(shù)據(jù)調(diào)用。

1 系統(tǒng)總體框架

1.1 系統(tǒng)構(gòu)成

本文設(shè)計的車載式智能巡查裝備及系統(tǒng)主要由車載綜合數(shù)據(jù)采集裝置、“云”數(shù)據(jù)庫、智能巡查系統(tǒng)3大板塊組成。其中,數(shù)據(jù)采集裝置負責(zé)風(fēng)險源圖像采集、處理以及車輛實時定位,包括雙目視覺路況影像采集、行車輔助、信息傳輸模塊、視頻存儲和在線計算單元;“云”數(shù)據(jù)庫負責(zé)整理采集數(shù)據(jù)以及圖像特征的進一步處理,采用深度學(xué)習(xí)算法識別出該圖像特征的行車風(fēng)險源類型,如路面異物(拋灑物等)、重度病害(裂縫、坑槽等)、交通異常(行人等)及路測異常等;“云”數(shù)據(jù)庫處理的結(jié)果流轉(zhuǎn)進入智能巡查系統(tǒng),實現(xiàn)前端的人機交互以及后端的數(shù)據(jù)存儲與處理,風(fēng)險源數(shù)據(jù)整理及自動識別算法對該系統(tǒng)形成了有力的支撐。總體框架如圖1所示。

圖1 總體框架

1.2 系統(tǒng)功能

利用智能巡查車進行高速公路行車風(fēng)險源巡查,養(yǎng)護巡查人員通過手持APP開啟巡查任務(wù),車載巡查終端自動采集路面圖像及位置數(shù)據(jù),融合自主研發(fā)的深度學(xué)習(xí)算法,自動識別路面病害、異常事件,同時可通過手持APP輔助人工手動上報巡查情況,Web端平臺自動輸出巡查報告,巡查數(shù)據(jù)與養(yǎng)護平臺進行對接,為養(yǎng)護運營管理提供數(shù)據(jù)支撐。巡查車現(xiàn)場工作情況、巡查管理系統(tǒng)如圖2、圖3所示。系統(tǒng)主要功能如下:

1) 路產(chǎn)管理模塊

路產(chǎn)管理主要包括路線管理和路產(chǎn)管理,路線管理模塊提供巡查路線的新增、編輯以及刪除操作,能可視化展示各條路線的名稱、編碼、等級、起始樁號、終止樁號、路線長度以及車道數(shù)等信息,并可完成對各類信息的編輯和刪除操作;路產(chǎn)管理模塊提供各個路線在地圖上的可視化展示,并提供輸入名稱和樁號進行查詢的功能。

2) 日常巡查模塊

日常巡查主要包括日巡任務(wù)、日巡設(shè)備、日巡結(jié)果模塊。日巡任務(wù)模塊提供巡查車巡查任務(wù)的具體細節(jié)展示,包括巡查時間、巡查狀態(tài)、經(jīng)過路段、上報點數(shù)、病害點數(shù)、設(shè)施數(shù)、天氣、巡查人員以及車輛車牌的信息,以及對該巡查任務(wù)的增刪改查的操作,同時在地圖上提供實時巡查路線的可視化展示;日巡設(shè)備模塊提供巡查車輛的信息,包括車輛類型、車牌號、流量卡號、流量使用情況、品牌型號、所屬單位、所屬部門以及當(dāng)前狀態(tài)等信息;日巡結(jié)果模塊提供各個路段的病害顯示,包括每個病害的名稱、參數(shù)以及病害標(biāo)度,同時提供任務(wù)查詢、詳情查詢、病害確認以及刪除操作。

3) APP模塊

APP提供巡檢任務(wù)管理功能,巡查人員根據(jù)工作需求,可進行日巡查、夜巡查、經(jīng)常檢查、坐標(biāo)采集等,可操作病害審核,對巡查異常狀態(tài)進行展示,同時提供交通基礎(chǔ)設(shè)施巡檢知識庫,巡查人員可根據(jù)巡查的對象及其病害類型進行點選式上傳巡查情況。

圖2 智能巡檢車

圖3 巡查信息系統(tǒng)

2 高速公路風(fēng)險源采集裝置硬件方案

高速公路車載綜合監(jiān)測的硬件方案如圖4所示。

2.1 雙目視覺路況影像采集模塊

1) 車載雙目視覺系統(tǒng)硬件集成

為了實現(xiàn)輕量化檢測并使系統(tǒng)不依賴于特定載車,在系統(tǒng)集成時將雙目攝影測量模塊和定位定姿系統(tǒng)POS(Position and Orientation System)模塊統(tǒng)一安裝在一個剛性平臺內(nèi)部,即系統(tǒng)主機。所有系統(tǒng)核心傳感器都集成在一個統(tǒng)一的剛性平臺上,因此只需進行一次標(biāo)定,后續(xù)在使用過程中,只需拆裝系統(tǒng)主機而不會影響主機內(nèi)部傳感器之間的相對位置關(guān)系,這使得系統(tǒng)可安裝在多種類型的汽車上,如轎車、皮卡車、越野車和吉普車等。通信供電模塊由系統(tǒng)配套的電池箱實現(xiàn),電池箱內(nèi)部集成了鉛蓄電池、電源模塊、空開、逆變器和路由器等,可通過載車電源給電池箱供電。系統(tǒng)主機通過一根帶有直流電源和千兆網(wǎng)信號的航插線纜與電池箱相連。其中,千兆網(wǎng)信號線接入路由器,使系統(tǒng)可通過網(wǎng)線或Wifi使用筆記本電腦或平板電腦操控與拷貝數(shù)據(jù)。系統(tǒng)的硬件組成及內(nèi)部接線如圖5所示。

圖4 公路車載綜合監(jiān)測硬件方案

圖5 系統(tǒng)硬件組成

2) 雙目視覺結(jié)合POS模塊標(biāo)定

雙目相機標(biāo)定需先通過張氏標(biāo)定法分別獲取左右相機的內(nèi)外參數(shù)和畸變參數(shù);后提取雙目視覺相機所獲取圖像中的特征點,通過匹配同一時刻左右目圖像的特征點進行立體校準(zhǔn)和對齊,以確定2個相機的相對位置關(guān)系;再與POS模塊組合標(biāo)定確定2個相機和POS模塊的相對位置關(guān)系。

2.2 行車輔助和信息傳輸模塊

行車輔助系統(tǒng)是車輛上安裝的智能設(shè)備和傳感器系統(tǒng)通過不同的傳感器(如攝像頭、雷達、激光等),獲取車輛周圍的信息,并通過信息處理和算法分析來進行決策和控制,巡查車采用高清防抖攝像頭,以實現(xiàn)信息的獲取。信息傳輸模塊則是連接車輛和外部網(wǎng)絡(luò)的重要組成部分,可將車輛內(nèi)的數(shù)據(jù)傳輸?shù)皆贫嘶蚱渌O(shè)備上,以實現(xiàn)車輛與互聯(lián)網(wǎng)的連接。信息傳輸模塊包括移動通信模塊、GPS模塊等,以實現(xiàn)車輛位置追蹤、車況監(jiān)測等功能。

2.3 視頻存儲和在線計算單元

視頻存儲和在線計算單元用于存儲和管理視頻數(shù)據(jù),采用嵌入式視覺計算單元接收來自攝像頭采集到的圖像,并利用圖像處理單元執(zhí)行目標(biāo)檢測算法,通過存儲器接口連接工業(yè)計算機,將處理后的圖像數(shù)據(jù)傳輸?shù)焦I(yè)計算機中,以實現(xiàn)數(shù)據(jù)的存儲。

3 高速公路行車風(fēng)險源的自動識別算法

3.1 基于Faster R-CNN的公路路面風(fēng)險源檢測與定位

基于Faster R-CNN模型對公路路面的風(fēng)險源進行檢測與定位,其算法模型如圖6所示。本文將公路路面風(fēng)險源定位和屬性識別有機結(jié)合,實現(xiàn)風(fēng)險源集合粗分類、精細定位和屬性識別的多任務(wù)路面病害精細化檢測,以對路面風(fēng)險源(包括坑槽、裂縫、行人、拋灑物等)進行實時、準(zhǔn)確檢測。

圖6 Faster R-CNN模型

Faster R-CNN由特征提取網(wǎng)絡(luò)、區(qū)域生成網(wǎng)絡(luò)RPN(Region Proposal Network)、感興趣區(qū)域池化RoI Pooling以及分類和回歸層(Classification and Regression)4個模塊組成。各模塊作用如下:1) 特征提取層用于提取輸入圖像特征,得到的特征圖用于后續(xù)的RPN層生成proposal輸出框;2) 區(qū)域候選層用于生成候選框,該操作分為2部分:一是分類,判斷所有預(yù)設(shè)的anchors是屬于背景還是目標(biāo),二是邊界框回歸,用于初步修正anchors,以得到較為準(zhǔn)確目標(biāo)的位置,RPN網(wǎng)絡(luò)相當(dāng)于提前做了一部分檢測,即判斷是否有目標(biāo)以及修正anchors,使框選得更準(zhǔn)一些;3) 感興趣區(qū)域池化用于收集RPN生成proposals框的坐標(biāo),并根據(jù)坐標(biāo)將其從特征提取網(wǎng)絡(luò)模塊中提取相應(yīng)圖像特征,生成proposals feature maps送入后續(xù)全連接層,并繼續(xù)做細分類和回歸;4) Classification and Regression是利用proposals feature maps計算出具體類別,同時再做一次邊界框回歸,以獲得檢測框最終的精確位置。

本文在Faster R-CNN基礎(chǔ)上,引入FPN(特征金字塔網(wǎng)絡(luò))模塊,利用CNN網(wǎng)絡(luò)天然的特征金字塔特點,使得FPN和Faster R-CNN可在多個尺度級別的特征圖上分別預(yù)測不同尺寸的對象,這大大提高了Faster R-CNN的檢測能力,其結(jié)構(gòu)如圖7所示。

3.2 公路路面風(fēng)險源檢測與定位結(jié)果

本文使用Faster R-CNN模型對公路路面風(fēng)險源中的16類風(fēng)險源識別進行模型訓(xùn)練,其中訓(xùn)練集、驗證集和測試集分別為12 492張、3 569張和1 785張,比例為7∶2∶1。該模型在測試集上對單類型病害檢測的平均精度AP(Average Precision)結(jié)果如表1所示,全類平均精度mAP(mean Average Precision)為80.5%。

圖7 Faster R-CNN+FPN結(jié)構(gòu)

Faster R-CNN模型對路面風(fēng)險源的檢測和定位結(jié)果如圖8所示,不同線型方框代表不同類型風(fēng)險源。圖8(a)展示了檢測到的路面中的橫向裂縫(中間實線框)和縱向拼接縫(右下方實線框);圖8(b)展示了檢測到的路面中的拋灑物(左下方實線框);圖8(c)展示了檢測到的路面中的坑槽(中間實線框)和縱向裂縫(右下方實線框);圖8(d)展示了檢測到的路面中的橫向裂縫(右側(cè)4個細長實線框)和修補塊(最右側(cè)實線框);圖8(e)展示了檢測到的路面中的行人(左側(cè)實線框)和井蓋(右側(cè)實線框);圖8(f)展示了檢測到的路面中的修復(fù)裂縫(中間橫向和右邊縱向?qū)嵕€框)和縱向裂縫(左測縱向?qū)嵕€框)。

4 高速公路行車風(fēng)險源智能巡查系統(tǒng)

4.1 基于邊緣計算和云存儲的后端數(shù)據(jù)處理與存儲

1) 后端數(shù)據(jù)存儲

后端數(shù)據(jù)服務(wù)通過云-邊架構(gòu)技術(shù)分別實現(xiàn)對風(fēng)險源報警、風(fēng)險源處理管理、風(fēng)險源位置和現(xiàn)場信息查詢、風(fēng)險源綜合統(tǒng)計以及大數(shù)據(jù)技術(shù)的風(fēng)險源關(guān)聯(lián)關(guān)系分析。系統(tǒng)通過5G/4G移動通信方式將風(fēng)險源的感知數(shù)據(jù)、識別結(jié)果、風(fēng)險源定位等信息傳輸?shù)皆破脚_,云平臺對這些數(shù)據(jù)采用關(guān)系型和非關(guān)系型相結(jié)合的方式對其進行統(tǒng)一存儲和管理。

表1 路面風(fēng)險源檢測與定位各分類的精準(zhǔn)率

(a) 橫向裂縫和縱向拼接縫

(b) 拋灑物

(c) 坑槽和縱向裂縫

(d) 橫向裂縫和修補塊

(e) 行人和井蓋

2) 后端計算服務(wù)

后端計算服務(wù)依托于數(shù)據(jù)服務(wù)接口,在高性能并行計算服務(wù)器中集成高速公路場景語義分析、關(guān)鍵安全標(biāo)識等設(shè)備設(shè)施定位識別、行車風(fēng)險源視覺辨識等核心技術(shù)方法,建立高速公路行車監(jiān)測的數(shù)據(jù)管理、試驗方案和測試方法,并逐步迭代完善。在此試驗驗證通過基礎(chǔ)上,使用Caffe2等工業(yè)級模型框架代替原有的PyTorch研究型模型框架,應(yīng)用C++等靜態(tài)語言代替腳本語義對行車風(fēng)險源感知算法進行封裝和部署,建立行車風(fēng)險狀態(tài)智能認知的示范應(yīng)用方法,支撐高速公路智能檢養(yǎng)技術(shù)體系。

4.2 風(fēng)險源識別的人機交互前端系統(tǒng)

1) 前端系統(tǒng)拓撲

利用PC電腦終端與手持APP實現(xiàn)巡檢過程的記錄以及風(fēng)險源的記錄、跟蹤和管理,實現(xiàn)人機交互。通過行車安全風(fēng)險源AI分析模塊對前端記錄的風(fēng)險源信息進行分類,對各類風(fēng)險源采用不同的主動監(jiān)測策略,結(jié)合相應(yīng)支撐環(huán)境實現(xiàn)數(shù)據(jù)控制、數(shù)據(jù)處理、數(shù)據(jù)分析。系統(tǒng)功能擴展接口,使開發(fā)者可擴展核心功能模塊,以滿足市場的需求。同時,核心功能模塊也可通過系統(tǒng)功能擴展接口來實現(xiàn)一些可插拔的功能,以提高系統(tǒng)的靈活性和可擴展性。系統(tǒng)管理和前端開發(fā)需密切協(xié)作。系統(tǒng)管理需確保服務(wù)器和網(wǎng)絡(luò)基礎(chǔ)設(shè)施的穩(wěn)定性和安全性,以便前端開發(fā)可在可靠的環(huán)境中進行開發(fā)和部署。同時,前端開發(fā)需了解服務(wù)器和數(shù)據(jù)庫等基礎(chǔ)設(shè)施的相關(guān)知識,以便能夠設(shè)計出更高效和可擴展的前端應(yīng)用程序。系統(tǒng)管理結(jié)合相應(yīng)運行環(huán)境實現(xiàn)數(shù)據(jù)輸出,系統(tǒng)數(shù)據(jù)接口需與系統(tǒng)管理密切協(xié)作,以確保系統(tǒng)之間的數(shù)據(jù)交換和通信安全可靠,如圖9所示。

2) 前端系統(tǒng)開發(fā)

為貫通風(fēng)險源采集分析軟硬件子系統(tǒng),聯(lián)合后端數(shù)據(jù)及計算服務(wù)和前端業(yè)務(wù)邏輯請求,研發(fā)風(fēng)險源管控的人機交互前端軟件系統(tǒng),并基于Java開發(fā)平板端上位機采集、處理和交互功能模塊,以嵌入日常巡查移動終端APP,實現(xiàn)在日常巡查移動終端APP軟件中集成圖像采集與硬件控制、圖像處理和風(fēng)險源辨識結(jié)果交互驗證等關(guān)鍵功能,減少人工識別風(fēng)險源的工作量和降低風(fēng)險源漏判、錯判的概率。針對多類風(fēng)險源持續(xù)漸變或偶發(fā)突變的特點以及它們不同的危害程度,重點突破人機交互、多源協(xié)同的行車風(fēng)險源主動監(jiān)測策略,使巡檢設(shè)備自主關(guān)注風(fēng)險高、變化快的區(qū)域。利用線路監(jiān)測歷史記錄,結(jié)合地理位置、里程樁號等信息輔助,再通過人機協(xié)同宏觀優(yōu)化,使監(jiān)測設(shè)備有針對性地定點定向主動檢測重點關(guān)注區(qū)域,形成重點疑點區(qū)域的持續(xù)監(jiān)視記錄。

5 裝備及系統(tǒng)應(yīng)用

5.1 工程概況

目前,該裝備及系統(tǒng)在重慶、西藏部分高速公路的運用中已具有較好的使用效果。以成渝高速的日常檢測為例,成渝高速設(shè)計時速為80 km,雙向4車道。此路段總體車流量較大,重載車輛來往頻繁,路面受車輛載荷的影響較大,且正式通車時間較久,目前表觀可見路面開始出現(xiàn)大量損壞。為了能夠排查道路的安全隱患,對該段道路運用車載式智能巡檢裝備開展路面檢測,采集道路病害信息服務(wù)于后續(xù)道路養(yǎng)護工作。

圖9 公路巡檢的人機交互前端系統(tǒng)拓撲結(jié)構(gòu)示意

5.2 檢測流程

1) 巡檢開始前對車載裝備進行檢查,確保設(shè)備能夠滿足檢測需求;2) 準(zhǔn)備完畢后,由巡查人員在手機APP上填寫巡檢信息以開始巡檢任務(wù),當(dāng)車輛到達目標(biāo)路段時,開始自動檢測;3) 巡檢過程中,車輛需在同一車道上保持時速80 km行駛,確保圖像采集穩(wěn)定,也不影響高速公路正常行車;4) 隨著車輛前進,前置的雙目攝像頭采集路面實時影像并自動識別病害,檢測到的數(shù)據(jù)傳至車中的電子數(shù)據(jù)處理工作站,經(jīng)過分項實時和自動處理,生成檢測報告,同時巡查人員也可通過手持APP手動上報巡查情況,后臺工作人員也可通過Web端觀看巡檢實時影像,減少病害遺漏;5) 車輛駛出設(shè)定的巡檢路段后,檢測自動停止。

5.3 應(yīng)用效果

對成渝高速公路重慶段進行日常巡檢,全長114.2 km,檢測生成的報告如圖10所示。

報告中詳細記錄了每次巡查過程所檢測到的病害具體信息,為后續(xù)養(yǎng)護工作提供數(shù)據(jù)信息。結(jié)合案例檢測與定位對各類病害的精準(zhǔn)率進行分析,該設(shè)備能準(zhǔn)確獲取各類型病害的參數(shù)信息,其中對橫向裂縫和縱向裂縫識別最為靈敏,坑槽和塊狀裂縫次之,后續(xù)還需進一步提升。除了路面本身的病害,對一些交通異常情況如行人、動物、拋灑物也能有效識別,并能及時給出相應(yīng)處理方案。因此,該設(shè)備能滿足目前高速公路安全、快捷、直觀的日常巡檢需求。

日巡查記錄表 編號:CYGSYHYZ-JCRW-2311220001A

6 結(jié)束語

基于機器視覺的車載式智能巡查裝備作為一種新型的道路檢測方式,與傳統(tǒng)的人工檢測方式相比,具備更大的優(yōu)勢:在實際的工作中能降低檢測人員壓力,保證人員安全;能在正常路況中進行實時檢測,無需對被檢路段進行封堵,保證交通通暢;對各類風(fēng)險源準(zhǔn)確識別,保證較高的準(zhǔn)確率;結(jié)合處理、交互系統(tǒng)實現(xiàn)檢測過程、數(shù)據(jù)采集、數(shù)據(jù)分析的一體化。此外,該車載式智能巡檢裝備在重慶、西藏部分高速公路得到運用,實現(xiàn)了利用車載式系統(tǒng)的路面病害智能檢測,具有良好的社會經(jīng)濟效益及運用前景。