水下機(jī)器人視頻智能識別分析系統(tǒng)

王國強(qiáng)

（上海市城市排水有限公司，上海 200000）

地下管道作為城市發(fā)展的命脈，是城市的重要基礎(chǔ)設(shè)施，是城市生存和發(fā)展的動(dòng)脈，被喻為城市的“生命線”?？茖W(xué)、準(zhǔn)確及完整的城市地下管道信息以及管道健康管理與維護(hù)是城市地下管道安全、高效運(yùn)行的必須保障。目前相對于城市地下管道建設(shè)的飛速發(fā)展，國家對已有管道的養(yǎng)護(hù)管理比較忽視，養(yǎng)護(hù)工作水平落后，缺乏必要的檢測手段，尚未形成科學(xué)、系統(tǒng)、穩(wěn)定的管理及修復(fù)機(jī)制，管道養(yǎng)護(hù)技術(shù)十分落后。由于管道病害的存在，以及缺乏地下管道數(shù)字?jǐn)?shù)據(jù)導(dǎo)致的工程項(xiàng)目挖斷管道的事件頻頻發(fā)生，不僅給行人帶來危險(xiǎn)，給廣大居民造成不便，相應(yīng)造成較大的經(jīng)濟(jì)損失?；诂F(xiàn)有人工方式對水下機(jī)器人所拍攝視頻信息進(jìn)行缺陷提取的如下弊端，必須構(gòu)建水下機(jī)器人視頻智能識別分析系統(tǒng)以為排水管網(wǎng)的運(yùn)行養(yǎng)護(hù)管理提供有效數(shù)據(jù)支撐：

（1）水下機(jī)器人所拍攝視頻數(shù)據(jù)量極大，造成人工缺陷提取勞動(dòng)強(qiáng)度大，且易因人員讀取過程中的疏漏而造成缺陷，導(dǎo)致無法及時(shí)被獲悉。

（2）管道缺陷識別對于人員經(jīng)驗(yàn)要求極高，讀取人員需具備足夠的管道內(nèi)部知識以及對缺陷的判定能力，如人員經(jīng)驗(yàn)不足，易造成缺陷提取的遺漏。

（3）相關(guān)人工所讀取缺陷無法集中化、數(shù)據(jù)化進(jìn)行管理，造成相關(guān)歷史數(shù)據(jù)應(yīng)用、查詢及分析手段缺失。

故所構(gòu)建的水下機(jī)器人視頻智能識別分析系統(tǒng)在具備管道視頻缺陷自動(dòng)提取的基礎(chǔ)上，需具備管線管理、缺陷管理、缺陷查詢和統(tǒng)計(jì)分析等各類應(yīng)用功能。

1 技術(shù)背景

1.1 圖像預(yù)處理

結(jié)合水下機(jī)器人拍攝視頻的特點(diǎn)，固定時(shí)間間隔提取幀圖片，調(diào)用算法保留相對清晰的圖片，利用訓(xùn)練的模型去除沒有管道的圖片，按照圖片所在的時(shí)間點(diǎn)進(jìn)行命名保存。

1.2 特征值提取

圖像目標(biāo)區(qū)域的特征提取，是整個(gè)算法的核心，關(guān)系到算法的最終結(jié)果好壞。從圖像中提取出目標(biāo)區(qū)域，并得到目標(biāo)區(qū)域的特征參數(shù)，作為該圖像的特征參數(shù)向量。本項(xiàng)目擬定采用Roberts、Sobel和Prewitt等算子先對目標(biāo)區(qū)域的邊緣進(jìn)行檢測，而后在此基礎(chǔ)上提取管道缺陷的幾何特征。

1.3 深度學(xué)習(xí)

根據(jù)管道內(nèi)部圖片的復(fù)雜度情況，采用神經(jīng)網(wǎng)絡(luò)YOLO V5模型技術(shù)對圖片進(jìn)行目標(biāo)檢測方式識別，從圖片中抽取統(tǒng)計(jì)特征或結(jié)構(gòu)信息，再與訓(xùn)練的模型進(jìn)行模式識別，進(jìn)而達(dá)到對各缺陷的分類。

2 系統(tǒng)構(gòu)成

水下機(jī)器人視頻智能識別分析系統(tǒng)應(yīng)用架構(gòu)設(shè)計(jì)，如圖1所示。

圖1 軟件總體架構(gòu)圖

系統(tǒng)業(yè)務(wù)層主要包括基礎(chǔ)信息管理、工作平臺、缺陷智能分析管理、查詢統(tǒng)計(jì)分析功能。

2.1 基礎(chǔ)信息管理

基本信息管理功能主要包括干線/區(qū)域管理、管線管理、日志管理及用戶管理。

2.1.1 干線/區(qū)域管理

干線/區(qū)域管理可維護(hù)信息包括名稱、類型（干線、區(qū)），此信息將作為后續(xù)管線維護(hù)的一個(gè)字段。

2.1.2 管線管理

管線管理用于對管線信息新增、修改和刪除，管線信息包括名稱、所屬干線/區(qū)、起始路名、終止路名以及備注等等信息內(nèi)容。

2.1.3 日志管理

可對本系統(tǒng)相關(guān)日志進(jìn)行查詢、管理和分析。

2.1.4 用戶管理

可根據(jù)不同的組織架構(gòu)設(shè)定、管理不同的系統(tǒng)登錄賬號，信息維護(hù)包括姓名、聯(lián)系方式、所屬部門、所屬角色、登錄名、登錄密碼以及是否允許登錄等。

2.2 工作平臺功能

工作平臺功能主要包括視頻資源管理、缺陷分類管理、缺陷管理、疑似缺陷管理和人工缺陷排查等。

2.2.1 視頻資源管理

（1）視頻資源上載

對需分析的視頻資源進(jìn)行上傳，上傳視頻同時(shí)可維護(hù)視頻的基本信息，包括所屬干線/區(qū)、所屬管線、所屬分段、視頻長度、拍攝管線長度（視頻長度與拍攝管線長度進(jìn)行結(jié)合，可為后續(xù)楨圖片提取提供時(shí)間間隔基礎(chǔ)計(jì)算）和備注等各類信息，如圖2所示。

圖2 資源管理圖

（2）視頻分析

上載視頻后，系統(tǒng)自動(dòng)生成視頻圖片的保存路徑、缺陷圖片路徑和疑似缺陷圖片路徑，生成視頻分析任務(wù)記錄，記錄包括視頻路徑、圖片文件夾路徑、缺陷圖片文件夾路徑、疑似缺陷圖片文件夾路徑、狀態(tài)（待分析、分析中、分析完成）、創(chuàng)建時(shí)間、開始分析時(shí)間以及結(jié)束分析時(shí)間等各類信息。

2.2.2 缺陷分類管理

缺陷分類管理包括分類及等級管理，分類包括名稱、代碼、所屬類型、是否有效和備注等信息，通過分類管理功能模塊可為后續(xù)對分類增減及名稱的調(diào)整提供支撐。

2.2.3 缺陷管理

缺陷圖片來源于人工智能分析程序所輸出的缺陷圖片、人工排查并確認(rèn)缺陷圖片后，疑似缺陷圖片將正式轉(zhuǎn)換為缺陷圖片。

（1）缺陷查詢

經(jīng)由分類、所屬干線/區(qū)、所屬管線、所屬分段、視頻時(shí)間及類型等條件進(jìn)行組合查詢，可篩選滿足條件的缺陷記錄。

（2）缺陷分類變更

可由人工對人工智能分析程序所輸出缺陷圖片的分類進(jìn)行調(diào)整，并且增加一條分類修改過程日志，便于后續(xù)的統(tǒng)計(jì)和分析（用于分析系統(tǒng)識別準(zhǔn)確率）。

（3）缺陷移除

人工智能分析程序?qū)⒄D片識別為缺陷圖片后，由人工進(jìn)行核實(shí)轉(zhuǎn)為正常圖片，系統(tǒng)將記錄相關(guān)信息用于識別準(zhǔn)確率分析，并為后續(xù)人工智能算法優(yōu)化提供基礎(chǔ)支撐。

2.2.4 疑似缺陷管理

人工智能分析程序除了對已定義缺陷分類進(jìn)行識別外，分析過程中將對疑似缺陷圖片進(jìn)行識別（即目前尚未定義故障缺陷，因相關(guān)故障樣本缺失），并獨(dú)立存儲(chǔ)于一個(gè)文件夾內(nèi)。

通過人工對此圖片辨別后進(jìn)行相應(yīng)故障去除或類別設(shè)定，并為后續(xù)故障識別算法提升提供基礎(chǔ)支撐。

2.2.5 人工缺陷排查

人工智能分析程序除了缺陷圖片和疑似缺陷圖片外，針對正常的圖片顯示在隊(duì)列中，可由人工對其二次進(jìn)行核實(shí)，避免缺陷的遺漏，如圖3所示。

圖3 人工缺陷排查圖

2.3 缺陷智能分析管理

人工智能分析程序可根據(jù)視頻資源管理模塊所提交視頻素材執(zhí)行相關(guān)的分析任務(wù)，分析程序?qū)Ψ治龅娜蝿?wù)進(jìn)行圖片提取，并保存至指定目錄，后續(xù)根據(jù)序號順序命名圖片。

對各張圖片與模型進(jìn)行匹配、比對和分析，存在缺陷則對缺陷位置進(jìn)行標(biāo)記及分類，并存儲(chǔ)至相應(yīng)的缺陷表單中，具體流程如圖4所示。

圖4 缺陷分析流程圖

2.3.1 幀圖片提取功能

視頻上載后可對視頻中的圖片進(jìn)行提取，因水下機(jī)器人移動(dòng)速度比較慢，為提高分析程序效率，可以每間隔1 s提取一張圖片。

一個(gè)視頻任務(wù)存儲(chǔ)到一個(gè)文件夾內(nèi)，文件夾細(xì)分為圖片文件夾、缺陷文件夾、疑似文件夾以及正常圖片文件夾，提取圖片程序提取的圖片將默認(rèn)存儲(chǔ)至圖片文件夾中。

2.3.2 特征匹配功能

特征匹配程序?yàn)榛谏疃葘W(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行構(gòu)建，采用遷移學(xué)習(xí)的技術(shù)，可以更高效地使用訓(xùn)練樣本，達(dá)到更好的缺陷識別效果。

人工智能算法模型根據(jù)不同缺陷分類進(jìn)行分開訓(xùn)練，并分別保存為不同的算法模型，為后續(xù)根據(jù)識別準(zhǔn)確率對各算法模型進(jìn)行獨(dú)立優(yōu)化提供基礎(chǔ)支撐，避免各算法模型間互相干擾，圖片打標(biāo)后如圖5所示。

圖5 缺陷圖片打標(biāo)圖

2.3.3 缺陷深度學(xué)習(xí)功能

缺陷深度學(xué)習(xí)程序可基于管理人員所反饋的管道缺陷類型信息（即根據(jù)人工判斷與系統(tǒng)判斷樣本差異性分析）對后端算法進(jìn)行修正及優(yōu)化，以不斷提升缺陷分類準(zhǔn)確性，并實(shí)現(xiàn)人工經(jīng)驗(yàn)的有效積累，如圖6所示。

圖6 缺陷深度學(xué)習(xí)流程圖

2.4 統(tǒng)計(jì)查詢功能

2.4.1 分析準(zhǔn)確性統(tǒng)計(jì)

通過所屬干線、管線和統(tǒng)計(jì)類型（年、月）時(shí)間范圍對識別準(zhǔn)確率進(jìn)行統(tǒng)計(jì)分析，如圖7所示。

圖7 分析準(zhǔn)確統(tǒng)計(jì)圖

2.4.2 缺陷分類統(tǒng)計(jì)

通過所屬干線、所屬管線及時(shí)間范圍統(tǒng)計(jì)各類型缺陷的數(shù)量，用柱狀圖方式呈現(xiàn)，用于對管道質(zhì)量進(jìn)行有效性評價(jià)。

3 結(jié)束語

水下機(jī)器人視頻智能識別分析技術(shù)可提高水下機(jī)器人所拍攝視頻的處理能力，有效提升管道缺陷信息獲取效率，實(shí)現(xiàn)人工管線缺陷識別經(jīng)驗(yàn)的系統(tǒng)化積累，為排水管線的日常養(yǎng)護(hù)提供有效數(shù)據(jù)支撐，提高管線管理質(zhì)量和提升運(yùn)行效率。