王 珊，馮燕青，游振州

（1.南京市江寧區(qū)水務(wù)局，江蘇 南京 211100；2.南京市水利規(guī)劃設(shè)計(jì)院股份有限公司，江蘇 南京 210001）

視覺(jué)AI 中臺(tái)是基于人工智能和大數(shù)據(jù)分析技術(shù)的一項(xiàng)創(chuàng)新性中臺(tái)產(chǎn)品，旨在幫助用戶通過(guò)圖像和視頻分析實(shí)現(xiàn)對(duì)世界的了解和認(rèn)知。計(jì)算機(jī)視覺(jué)是計(jì)算機(jī)科學(xué)學(xué)科的一個(gè)新興領(lǐng)域，也稱之為視覺(jué)AI，通過(guò)計(jì)算機(jī)的訓(xùn)練和學(xué)習(xí)識(shí)別圖像和視頻，使計(jì)算機(jī)復(fù)制人類視覺(jué)系統(tǒng)，具有感知能力。這使得前端感知數(shù)字設(shè)備（如視頻監(jiān)控?cái)z像機(jī)、人臉識(shí)別攝像機(jī)、ORC 識(shí)別攝像機(jī)等）能夠如人類和動(dòng)物一樣，識(shí)別和處理圖像或視頻中的實(shí)體。機(jī)器視覺(jué)是基于使用智能相機(jī)和圖像捕獲技術(shù)的“照相機(jī)機(jī)器人”，能夠利用視覺(jué)自動(dòng)進(jìn)行檢查，最終實(shí)現(xiàn)利用機(jī)器來(lái)代替人眼進(jìn)行測(cè)量和判斷，從而實(shí)現(xiàn)智能化［1］。通過(guò)視覺(jué)AI，硬件設(shè)備和軟件系統(tǒng)可以表現(xiàn)出智能行為。

在水利工程監(jiān)管領(lǐng)域，視覺(jué)AI也具有廣闊的應(yīng)用場(chǎng)景。目前各大視頻監(jiān)控設(shè)備的原廠商（如?？低?、大華股份、天地偉業(yè)等），針對(duì)通用場(chǎng)景（如人、車、船等）的AI 識(shí)別都積累了一些成熟的算法，甚至將這些成熟的通用算法集成到邊緣側(cè)，方便安裝、調(diào)試和使用。目前視覺(jué)AI技術(shù)并沒(méi)有涵蓋水利工程監(jiān)管領(lǐng)域的全場(chǎng)景，當(dāng)水利工程管理者提出個(gè)性化需求時(shí)，很難在AI算法市場(chǎng)上找到訓(xùn)練成熟的算法對(duì)其進(jìn)行個(gè)性化開(kāi)發(fā)，很難滿足項(xiàng)目資金的需求和研發(fā)周期的要求。為解決以上難點(diǎn)，本文討論視覺(jué)AI中臺(tái)的設(shè)計(jì)方案與應(yīng)用實(shí)踐。

1 視覺(jué)AI中臺(tái)的建設(shè)目標(biāo)

目標(biāo)是形成一套工具體系，把視頻圖像接入、算法配置、結(jié)果集輸出、API 接口進(jìn)行模塊化封裝，降低應(yīng)用系統(tǒng)使用視覺(jué)AI算法的技術(shù)門檻；針對(duì)水利工程監(jiān)管的應(yīng)用領(lǐng)用通過(guò)配置訓(xùn)練成熟的算法（如混凝土運(yùn)輸車識(shí)別、渣土車識(shí)別、安全帽識(shí)別、煙霧識(shí)別、抽煙識(shí)別等），具有一鍵導(dǎo)入成熟行業(yè)算法的能力；針對(duì)個(gè)性化研發(fā)的算法具有配置功能。

2 技術(shù)架構(gòu)

視覺(jué)AI 中臺(tái)的架構(gòu)設(shè)計(jì)參考了T/CESA1037—2019《信息技術(shù)人工智能面向機(jī)器學(xué)習(xí)的系統(tǒng)框架和功能要求》，總體架構(gòu)如圖1所示。

圖1 視覺(jué)AI中臺(tái)技術(shù)架構(gòu)

本文提出的視覺(jué)AI中臺(tái)是將視頻、圖片分析中共用的AI相關(guān)中間件整合，形成服務(wù)于業(yè)務(wù)的體系結(jié)構(gòu)，從硬件基礎(chǔ)到上層應(yīng)用，主要分為基礎(chǔ)設(shè)施、視覺(jué)處理、算法倉(cāng)庫(kù)、對(duì)外服務(wù)及運(yùn)維管理。在基礎(chǔ)設(shè)施層，既能部署各類通用物理計(jì)算設(shè)備，也能基于虛擬化的設(shè)備設(shè)施運(yùn)行；在視覺(jué)處理層，主要實(shí)現(xiàn)圖像識(shí)別、視覺(jué)解析、行為檢測(cè)，以及基于規(guī)則的視覺(jué)認(rèn)知；算法倉(cāng)庫(kù)主要包含算法管理和算法調(diào)度2 項(xiàng)功能；對(duì)外服務(wù)提供標(biāo)準(zhǔn)的API 接口服務(wù)和管理，以及原生的SDK 服務(wù)組件；運(yùn)維管理主要實(shí)現(xiàn)系統(tǒng)的運(yùn)行監(jiān)管和統(tǒng)一管理。

3 流式處理引擎

視頻流、視頻文件、圖片作為輸入的數(shù)據(jù)源，視覺(jué)中樞會(huì)進(jìn)行數(shù)據(jù)預(yù)處理，然后將處理后的數(shù)據(jù)傳輸給視覺(jué)認(rèn)知，通過(guò)調(diào)用算法倉(cāng)庫(kù)的算法，視覺(jué)認(rèn)知會(huì)根據(jù)配置的算法進(jìn)行數(shù)據(jù)計(jì)算分析，通過(guò)對(duì)外服務(wù)將視覺(jué)認(rèn)知的處理結(jié)果輸出給上層業(yè)務(wù)應(yīng)用，見(jiàn)圖2。

圖2 流式處理引擎

4 算法倉(cāng)庫(kù)

參考T/CESA1037—2019 算法服務(wù)的標(biāo)準(zhǔn)化概念，算法倉(cāng)庫(kù)是一個(gè)可以執(zhí)行算法管理和算法調(diào)度的AI算法集合。算法管理具有提供生命周期管理、運(yùn)行管理、評(píng)價(jià)管理等功能。算法調(diào)度屏蔽底層異構(gòu)計(jì)算資源的差異，靈活服務(wù)不同類型的算法，并為這些算法任務(wù)的執(zhí)行提供高效的任務(wù)分解和調(diào)度。

4.1 算法調(diào)度

算法與大數(shù)據(jù)具有“天然緊密性”，算法倉(cāng)庫(kù)在算法的調(diào)度框架上，選擇業(yè)界主流的基于HadoopYarn分布式任務(wù)調(diào)度框架，通過(guò)設(shè)計(jì)任務(wù)框架、整合資源池，提升計(jì)算執(zhí)行效率和資源利用率。Client（TFClient）：負(fù)責(zé)啟動(dòng)作業(yè)及獲取作業(yè)執(zhí)行狀態(tài)；ApplicationMaster（TFAM）：負(fù)責(zé)輸入數(shù)據(jù)分片、啟動(dòng)及管理Container、執(zhí)行日志保存等；Container（Worker）：作業(yè)的實(shí)際執(zhí)行者，負(fù)責(zé)啟動(dòng)深度學(xué)習(xí)框架的Worker 或ParameterServer 進(jìn)程，監(jiān)控并向AM匯報(bào)進(jìn)程狀態(tài)、端口信息、上傳作業(yè)的輸出等。具體見(jiàn)圖3。

圖3 基于Yarn的算法調(diào)度

圖4 混凝土運(yùn)輸車識(shí)別

圖5 渣土車識(shí)別

圖6 安全帽識(shí)別

圖7 火焰識(shí)別

圖8 抽煙識(shí)別

4.2 算法管理

視覺(jué)AI中臺(tái)通過(guò)配置集成業(yè)界成熟的算法，如混凝土運(yùn)輸車識(shí)別、渣土車狀態(tài)識(shí)別（滿載、空載）、安全帽識(shí)別、火焰識(shí)別、抽煙識(shí)別等智能算法輔助工程的安全監(jiān)管監(jiān)督，通過(guò)AI技術(shù)在水利工程管理上的應(yīng)用，實(shí)現(xiàn)水利工程實(shí)時(shí)在線監(jiān)管。

4.2.1 混凝土運(yùn)輸車識(shí)別

混凝土運(yùn)輸車識(shí)別是基于車型識(shí)別功能，系統(tǒng)利用車輛動(dòng)態(tài)視頻或靜態(tài)圖像進(jìn)行數(shù)據(jù)分析識(shí)別車型。系統(tǒng)進(jìn)行視頻車輛的檢測(cè)，通過(guò)預(yù)訓(xùn)練的算法，在不掉幀的情況下實(shí)現(xiàn)圖像采集并處理。

4.2.2 渣土車識(shí)別（滿載、空載、半載）

渣土車識(shí)別（滿載、空載、半載）是基于車型識(shí)別功能+貨箱檢測(cè)功能，系統(tǒng)利用車輛動(dòng)態(tài)視頻或靜態(tài)圖像進(jìn)行數(shù)據(jù)分析識(shí)別車型。同時(shí)系統(tǒng)對(duì)貨箱進(jìn)行檢測(cè)，通過(guò)預(yù)訓(xùn)練的貨箱檢測(cè)算法，在不掉幀的情況下實(shí)現(xiàn)圖像采集并處理。

4.2.3 安全帽識(shí)別

安全帽識(shí)別，系統(tǒng)利用人員的動(dòng)態(tài)視頻或靜態(tài)圖像進(jìn)行數(shù)據(jù)分析，通過(guò)成熟的深度學(xué)習(xí)的目標(biāo)檢測(cè)算法，對(duì)提取到的圖像采用二分類方法，判斷工人是否佩戴安全帽已經(jīng)成為安全帽佩戴檢測(cè)的落地應(yīng)用場(chǎng)景之一。

4.2.4 火焰識(shí)別

火焰識(shí)別，系統(tǒng)利用采集的動(dòng)態(tài)視頻或靜態(tài)圖像進(jìn)行數(shù)據(jù)分析，通過(guò)深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)技術(shù)，實(shí)時(shí)對(duì)監(jiān)控區(qū)域內(nèi)的火焰進(jìn)行識(shí)別，可動(dòng)態(tài)識(shí)別出火焰從無(wú)到有，從小到大的狀態(tài)轉(zhuǎn)變。

4.2.5 抽煙識(shí)別

抽煙識(shí)別，系統(tǒng)利用采集的動(dòng)態(tài)視頻或靜態(tài)圖像進(jìn)行數(shù)據(jù)分析，通過(guò)深度學(xué)習(xí)結(jié)合人體姿態(tài)方式，既能識(shí)別香煙實(shí)物，又支持吸煙動(dòng)作行為識(shí)別。

5 應(yīng)用案例

在秦淮河流域，通過(guò)部署覆蓋水利工程的多維度感知體系，結(jié)合視頻監(jiān)控、智能AI、BIM等技術(shù)手段，研發(fā)了基于視覺(jué)AI 中臺(tái)的數(shù)字孿生工程管理平臺(tái)，該平臺(tái)利用高空鐵塔視頻監(jiān)控及工程配套的視頻攝像機(jī)，實(shí)時(shí)采集視頻和圖像。數(shù)字孿生工程管理平臺(tái)依靠視覺(jué)AI 中臺(tái)提供的視頻和圖像分析能力，形成一些具有水利工程特色的智慧場(chǎng)景應(yīng)用。

人員管理通過(guò)人臉識(shí)別算法賦能人員的進(jìn)出場(chǎng)登記、考勤。在工程建設(shè)期施工階段，實(shí)現(xiàn)對(duì)安全員、施工員、材料員、預(yù)算員、質(zhì)量員、資料員、監(jiān)理員、勞務(wù)員的到崗管理；在工程運(yùn)行期，輔助工程管理人員的日常考勤，日常巡查運(yùn)維。

設(shè)備管理，在工程建設(shè)期施工階段，通過(guò)配置特種設(shè)備的智能識(shí)別算法，實(shí)現(xiàn)特種設(shè)備的進(jìn)出場(chǎng)自動(dòng)登記和現(xiàn)場(chǎng)作業(yè)規(guī)范的遠(yuǎn)程監(jiān)控提醒；在工程運(yùn)行期，通過(guò)圖像獲取設(shè)備的儀表參數(shù)，運(yùn)行狀態(tài)，實(shí)現(xiàn)對(duì)設(shè)備的智能監(jiān)控。

進(jìn)度管理，通過(guò)車型和裝載貨物識(shí)別算法，通過(guò)關(guān)聯(lián)分析粗略估計(jì)工程進(jìn)度和施工量，與工程的形象進(jìn)度進(jìn)行比對(duì)分析。

安全管理，通過(guò)安全帽、火焰、抽煙等危險(xiǎn)源識(shí)別算法賦能工程的安全管理巡查，自動(dòng)派發(fā)自動(dòng)巡檢工單督促整改。

通過(guò)新技術(shù)的運(yùn)用，實(shí)現(xiàn)了對(duì)工程入場(chǎng)人員的實(shí)時(shí)監(jiān)管、設(shè)備的遠(yuǎn)程智能監(jiān)控、工程進(jìn)度和質(zhì)量的智能評(píng)估以及安全的專項(xiàng)稽察。滿足了各級(jí)水行政主管部門對(duì)秦淮河流域典型水利工程在建設(shè)期和運(yùn)行期的信息化、智能化、精細(xì)化管理要求。

6 應(yīng)用成果介紹

視覺(jué)AI 中臺(tái)在水利工程領(lǐng)域的應(yīng)用場(chǎng)景還有待探索創(chuàng)新，目前已經(jīng)形成應(yīng)用成果的主要有如下幾點(diǎn)：

（1）AI 視頻監(jiān)測(cè)，全面提升預(yù)報(bào)預(yù)警能力。關(guān)注河道水位、周邊有無(wú)洪澇災(zāi)害，及時(shí)通報(bào)周邊汛情，也需要及時(shí)檢測(cè)河道重點(diǎn)區(qū)域的水位變化、降水量及水位異常情況，提供及時(shí)準(zhǔn)確的汛情預(yù)警，避免山洪災(zāi)害的發(fā)生。傳統(tǒng)人力巡檢和人工排查需要耗費(fèi)大量人力精力［2-3］。通過(guò)在工程的重點(diǎn)部位部署視頻自動(dòng)監(jiān)測(cè)設(shè)備，在滿足基本視頻監(jiān)控的同時(shí)通過(guò)采用先進(jìn)的AI視覺(jué)智能水位分析、流速流量分析、報(bào)警聯(lián)動(dòng)等技術(shù)，對(duì)河湖水面、河湖岸線等進(jìn)行24h實(shí)時(shí)AI智能監(jiān)測(cè)。

（2）多功能預(yù)警，自動(dòng)觸發(fā)多種警情預(yù)報(bào)。水利工程管理監(jiān)測(cè)站安全警戒功能能夠在全天候、全方位實(shí)時(shí)監(jiān)控基礎(chǔ)上，設(shè)置閾值，自動(dòng)觸發(fā)報(bào)警信息，同時(shí)可通過(guò)設(shè)備的語(yǔ)音提示及時(shí)發(fā)現(xiàn)報(bào)警畫面，并可以遠(yuǎn)程喊話處理警情。

（3）算法的更替和創(chuàng)新。算法是圖像識(shí)別技術(shù)得以應(yīng)用的核心依據(jù)，同時(shí)也是視覺(jué)AI中臺(tái)在水利工程監(jiān)管領(lǐng)域發(fā)揮功能的最重要保障。綜合當(dāng)前實(shí)際情況來(lái)看，在部分環(huán)境下算法的精準(zhǔn)性還未能達(dá)到最高的標(biāo)準(zhǔn)，對(duì)人以及車的識(shí)別精準(zhǔn)率較低，在未來(lái)發(fā)展的過(guò)程中，關(guān)鍵任務(wù)是全面提升圖像識(shí)別算法的準(zhǔn)確率。

另外，為進(jìn)一步提升視覺(jué)AI 中臺(tái)的服務(wù)價(jià)值，還需要及時(shí)地聯(lián)動(dòng)用戶打造更具實(shí)用性的產(chǎn)品。行業(yè)用戶可以建立在自身發(fā)展需求的基礎(chǔ)上不斷落實(shí)算法及性能的研究，通過(guò)行業(yè)的共同努力能夠切實(shí)反饋視覺(jué)AI中臺(tái)實(shí)際應(yīng)用情況，也可以進(jìn)一步總結(jié)具有創(chuàng)造性和建設(shè)性的意見(jiàn)［4-6］。

7 結(jié) 語(yǔ)

視覺(jué)AI 中臺(tái)建設(shè)為后續(xù)水利工程管理中人工智能的發(fā)展搭建了堅(jiān)實(shí)的設(shè)施基礎(chǔ)和能力基礎(chǔ)。在未來(lái)的建設(shè)中，進(jìn)一步實(shí)現(xiàn)面向水利工程管理的視覺(jué)AI智能應(yīng)用的算法接入和能力開(kāi)放標(biāo)準(zhǔn)，為水利工程管理業(yè)務(wù)提供豐富的、可自主調(diào)用的、可基于場(chǎng)景的和數(shù)據(jù)監(jiān)控的人工智能能力和資源，提供多來(lái)源算法沉淀、數(shù)據(jù)集服務(wù)、能力迭代閉環(huán)的開(kāi)放平臺(tái)，供各水利工程管理業(yè)務(wù)單位使用。