馬斌 徐海軍 陳嘉靖
摘 要:現(xiàn)有卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)方法不能滿足高檢測(cè)精度和速度的要求。針對(duì)此不足,利用卷積神經(jīng)網(wǎng)絡(luò)選取目標(biāo)檢測(cè)算法,以DarkNet53 網(wǎng)絡(luò)模型為基礎(chǔ),結(jié)合黃河流域違采事件特點(diǎn),對(duì)模型加入并行化設(shè)計(jì),以檢測(cè)速度和檢測(cè)精度為評(píng)價(jià)指標(biāo),利用對(duì)比實(shí)驗(yàn)驗(yàn)證并行化后的HO-DarkNet 網(wǎng)絡(luò)模型的加速效果。結(jié)果表明:并行化前HO-DarkNet 模型的精確率約75%、召回率約96%、mAP@ 0.5 為98.58%、mAP@ 0.5 ∶ 0.95 為64.25%,與DarkNet53 模型相比,并行化前HO-DarkNet 模型的mAP@ 0.5、mAP@ 0.5 ∶ 0.95 值分別提升了7.98%、8.79%;與并行處理前HO-DarkNet 模型相比,并行處理后HO-DarkNet 模型的mAP 精度值未發(fā)生太大變化,但其加速比提高了2.32,對(duì)于視頻圖像的處理速度為21 fps/ s,達(dá)到視頻圖像處理速度標(biāo)準(zhǔn)。
關(guān)鍵詞:HO-DarkNet 模型;水利監(jiān)管;違采事件檢測(cè);并行化;黃河
中圖分類號(hào):TV853;TV882.1 文獻(xiàn)標(biāo)志碼:A doi:10.3969/ j.issn.1000-1379.2023.10.022
引用格式:馬斌,徐海軍,陳嘉靖.面向水利監(jiān)管的違采事件檢測(cè)并行化方法研究[J].人民黃河,2023,45(10):122-125.
近年來(lái),頻繁發(fā)生的黃河違規(guī)采砂事件對(duì)流域生態(tài)系統(tǒng)造成了嚴(yán)重破壞。為此,相關(guān)部門提出開展黃河河道采砂專項(xiàng)整治行動(dòng),通過(guò)強(qiáng)化法治管理,維護(hù)河道采砂秩序,促進(jìn)黃河流域生態(tài)系統(tǒng)平穩(wěn)發(fā)展[1] 。在眾多檢測(cè)技術(shù)中,目標(biāo)檢測(cè)算法在水文檢測(cè)、水位信息智能識(shí)別、砂石檢測(cè)[2] 等方面發(fā)揮著重要作用,其中基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法應(yīng)用尤其廣泛[3] 。深度學(xué)習(xí)是在卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上,通過(guò)增加網(wǎng)絡(luò)深度提高計(jì)算機(jī)提取數(shù)據(jù)特征的能力[4] 。然而,增加網(wǎng)絡(luò)深度會(huì)加大運(yùn)算量,影響檢測(cè)效率。采用數(shù)據(jù)并行、模型并行等方法對(duì)多模型進(jìn)行優(yōu)化,可以加速運(yùn)算。數(shù)據(jù)并行是指在完整模型基礎(chǔ)上,通過(guò)把數(shù)據(jù)劃分為若干份,實(shí)現(xiàn)多批次數(shù)據(jù)同時(shí)訓(xùn)練。此時(shí)并行設(shè)備數(shù)量會(huì)受到批數(shù)據(jù)大小的限制,當(dāng)批數(shù)據(jù)過(guò)大時(shí),達(dá)到相同收斂精度所需的迭代次數(shù)會(huì)大幅度增加。模型并行是指將模型按層或者其他方式分解為若干份來(lái)進(jìn)行訓(xùn)練,這種方法通常用于拆分大型模型,以加速訓(xùn)練過(guò)程,但其擴(kuò)展性較差。目前,PyTorch 和TensorFlow 等主流深度學(xué)習(xí)框架都采用數(shù)據(jù)并行方式。
本文以面向水利監(jiān)管的違采事件為研究對(duì)象,首先改進(jìn)檢測(cè)算法模型,減少梯度信息量,再采用并行運(yùn)算提高模型訓(xùn)練速度和檢測(cè)速度,最后基于違采事件監(jiān)管數(shù)據(jù)集驗(yàn)證模型并行后的加速效果,以期為快速、準(zhǔn)確地檢測(cè)違采事件提供新技術(shù)。
1 理論方法
1.1 卷積神經(jīng)網(wǎng)絡(luò)
卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)模型[5]結(jié)構(gòu)分為卷積層、池化層和全連接層。卷積層從輸入特征圖像通道提取特征信息[6] ;池化層對(duì)提取的特征信息進(jìn)行下采樣,減輕網(wǎng)絡(luò)模型的過(guò)擬合程度;全連接層連接提取的特征圖像,使用分類器得到最終分類結(jié)果。在卷積神經(jīng)網(wǎng)絡(luò)模型中,通常會(huì)在若干個(gè)卷積層和池化層之后引入全連接層,池化層伴隨卷積層交替顯示。
1.2 目標(biāo)檢測(cè)算法
one?stage 和two?stage 算法是基于深度學(xué)習(xí)的主要目標(biāo)檢測(cè)算法[7-8] 。two?stage 算法先通過(guò)某種方式生成一些候選框,再通過(guò)卷積神經(jīng)網(wǎng)絡(luò)對(duì)候選框進(jìn)行分類。常見的two?stage 目標(biāo)檢測(cè)算法有Faster-RC?NN[9] 、R-FCN[10] 算法,此類算法要進(jìn)行多次檢測(cè)和分類,運(yùn)行較慢。而one?stage 目標(biāo)檢測(cè)算法只需將數(shù)據(jù)一次傳送進(jìn)網(wǎng)絡(luò),就可以預(yù)測(cè)出所有的邊界框。常見的one?stage 目標(biāo)檢測(cè)算法有SSD 和YOLO v3 算法,此類算法沒有單獨(dú)的候選區(qū)域提取過(guò)程,不需要產(chǎn)生候選框,僅一個(gè)前饋CNN 網(wǎng)絡(luò)就可以完成目標(biāo)的位置檢測(cè)和分類預(yù)測(cè)任務(wù),因此one?stage 目標(biāo)檢測(cè)算法簡(jiǎn)便快捷、運(yùn)行較快。one?stage 目標(biāo)檢測(cè)算法中DarkNet53網(wǎng)絡(luò)模型作為基于殘差網(wǎng)絡(luò)結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)模型,被廣泛應(yīng)用于目標(biāo)檢測(cè)領(lǐng)域。本文基于DarkNet53 網(wǎng)絡(luò)模型展開違采事件檢測(cè)研究。
2 違采事件檢測(cè)模型構(gòu)建與并行化分析
2.1 違采目標(biāo)群選取
通過(guò)調(diào)查黃河流域違規(guī)采砂事件發(fā)現(xiàn),違采人通常利用手推車、裝載車、挖掘機(jī)等進(jìn)行采砂,再進(jìn)行非法售賣。因此,本文主要選取違采人、采砂工具等作為特定的違采目標(biāo)群來(lái)進(jìn)行模型設(shè)計(jì)。2.2 違采事件檢測(cè)模型構(gòu)建DarkNet53 網(wǎng)絡(luò)模型由卷積層和殘差層組成,使用大量殘差跳層連接,其包含的梯度信息數(shù)量多、重復(fù)率高。針對(duì)此問題,提出改進(jìn)的HO-DarkNet 網(wǎng)絡(luò)模型來(lái)構(gòu)建違采事件檢測(cè)模型。在HO-DarkNet 網(wǎng)絡(luò)模型中,把基礎(chǔ)層次的特征圖劃分成2 個(gè)部分,再使用跨階段的層次結(jié)構(gòu)將它們合并,可以減少網(wǎng)絡(luò)模型中大量重復(fù)的梯度信息,提高網(wǎng)絡(luò)模型的處理速度。HODarkNet網(wǎng)絡(luò)模型單個(gè)模塊(HO_X)結(jié)構(gòu)見圖1,圖中CBL 為Conv(卷積)、BN(批量歸一化)、Leaky_relu 激活函數(shù)三者結(jié)合的組件;Res unit 組件借鑒Resnet 網(wǎng)絡(luò)中的殘差結(jié)構(gòu),可以增加網(wǎng)絡(luò)深度;Concat 組件的作用是張量拼接,會(huì)擴(kuò)大維度的張量。
3 數(shù)據(jù)獲取與預(yù)處理
數(shù)據(jù)獲取方式有實(shí)地拍攝和網(wǎng)上圖像爬取。本研究通過(guò)實(shí)地拍攝獲?。?000 張圖像,通過(guò)網(wǎng)絡(luò)爬蟲技術(shù)獲得35 000 張圖像,共獲?。矗?000 張圖像作為實(shí)驗(yàn)數(shù)據(jù)集。由于采集的數(shù)據(jù)集會(huì)受到圖像尺寸、圖像清晰度、目標(biāo)受遮擋程度等因素的影響,因此需要對(duì)采集圖像進(jìn)行數(shù)據(jù)清洗、人工篩選。采用Labelimg 軟件對(duì)數(shù)據(jù)集進(jìn)行標(biāo)注,制作成VOC 格式的數(shù)據(jù)集,在An?notation 文件路徑下生成與標(biāo)注圖像相對(duì)應(yīng)的xml 文件。對(duì)采集的圖像進(jìn)行處理后,得到違規(guī)采砂數(shù)據(jù)集分類數(shù)量如下:違采人圖像3 142 張,鏟車圖像2 812張,灰斗車圖像2 746 張,鏟子圖像2 600 張,挖掘機(jī)圖像3 068 張,汽車圖像2 750 張,拉砂車圖像3 352 張。
4 確定評(píng)價(jià)指標(biāo)
采用精確率、召回率和平均精確度(mAP)對(duì)模型效果進(jìn)行評(píng)估。精確率是指正確預(yù)測(cè)的正例個(gè)數(shù)占所有預(yù)測(cè)為正例的樣本個(gè)數(shù)的比率[11] 。召回率是指所有被正確識(shí)別的目標(biāo)數(shù)量占所有被識(shí)別目標(biāo)數(shù)量的比率[12] 。mAP 表示一個(gè)模型在多個(gè)類別上的檢測(cè)準(zhǔn)確性,用mAP@ 0.5 表示IoU(Intersection over Union)閾值為0.5 時(shí)的平均精確度,用mAP@ 0.5 ∶ 0.95 表示IoU 閾值為0.5~0.95時(shí)的平均精確度。
衡量并行算法性能的指標(biāo)有加速比和并行效率[13] 。加速比反映系統(tǒng)運(yùn)行并行程序時(shí)發(fā)揮并行能力的程度,其與硬件、軟件都有關(guān)系。并行效率是衡量并行計(jì)算系統(tǒng)利用多個(gè)處理單元或計(jì)算資源時(shí)的有效性和性能提升程度的指標(biāo),反映實(shí)際執(zhí)行時(shí)間與理論最佳執(zhí)行時(shí)間之間的差異。
5 實(shí)驗(yàn)結(jié)果分析
采用HO-DarkNet 網(wǎng)絡(luò)模型對(duì)違采事件進(jìn)行實(shí)驗(yàn),使用獲取的違規(guī)采砂數(shù)據(jù)集進(jìn)行訓(xùn)練和測(cè)試,批處理大小設(shè)置為32,訓(xùn)練次數(shù)為5 000 次,測(cè)試次數(shù)為1 000次,初始學(xué)習(xí)率設(shè)為0.001,在測(cè)試第2 000 次和第4 000 次后各設(shè)置學(xué)習(xí)率為0.000 1、0.000 01 進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)效果見圖3 和表1。
閾值為50 時(shí)可以實(shí)現(xiàn)精確率和召回率的平衡,此時(shí)HO-DarkNet 網(wǎng)絡(luò)模型的精確率在75%附近波動(dòng),召回率在96% 附近波動(dòng)。與DarkNet53 模型相比,HO-DarkNet模型的mAP@ 0.5、mAP@ 0.5 ∶ 0.95 值分別提升了7.98%、8.79%,HO-DarkNet 網(wǎng)絡(luò)模型性能有所提高。
在處理速度方面,標(biāo)準(zhǔn)的視頻圖像處理速度為24~30 fps/ s。經(jīng)過(guò)多次實(shí)驗(yàn)發(fā)現(xiàn),HO-DarkNet 網(wǎng)絡(luò)模型對(duì)于視頻圖像的處理速度為6 fps/ s,不能達(dá)到實(shí)際應(yīng)用需求。因此,采用并行方法進(jìn)一步對(duì)HO-DarkNet網(wǎng)絡(luò)模型進(jìn)行改進(jìn),以提高處理速度。
為驗(yàn)證并行化設(shè)計(jì)的有效性,本實(shí)驗(yàn)繼續(xù)采用上述違規(guī)采砂數(shù)據(jù)集,設(shè)置數(shù)據(jù)集為20 000 張圖像,其中:16 000 張為訓(xùn)練圖像,4 000 張為驗(yàn)證圖像,參數(shù)設(shè)置保持不變。并行處理前HO-DarkNet 網(wǎng)絡(luò)模型的加速比為1.00,并行處理后HO-DarkNet 網(wǎng)絡(luò)模型的mAP @ 0. 5 值為90. 40%, mAP @ 0. 5 ∶ 0. 95 值為55.39%,加速比為3.32。并行處理后HO-DarkNet 網(wǎng)絡(luò)模型的mAP 精度值未發(fā)生太大變化,而檢測(cè)速度有了大幅度提升。同時(shí)經(jīng)過(guò)多次檢測(cè)發(fā)現(xiàn),并行處理后HO-DarkNet 網(wǎng)絡(luò)模型對(duì)于視頻圖像的處理速度為21 fps/ s,達(dá)到視頻圖像處理速度標(biāo)準(zhǔn)。
6 結(jié)論
本文圍繞黃河流域違規(guī)采砂事件,對(duì)面向水利監(jiān)管的違采事件檢測(cè)方法進(jìn)行并行化研究。通過(guò)分析DarkNet53 網(wǎng)絡(luò)模型基本結(jié)構(gòu),結(jié)合檢測(cè)背景、需求和目標(biāo)等特點(diǎn),對(duì)卷積計(jì)算過(guò)程進(jìn)行并行化分析,構(gòu)建并行化HO-DarkNet 網(wǎng)絡(luò)模型。相比于DarkNet53 網(wǎng)絡(luò)模型,并行化的HO-DarkNet 網(wǎng)絡(luò)模型可以顯著提高檢測(cè)速度。
參考文獻(xiàn):
[1] 孫運(yùn)鋒.踐行治水思路錨定“兩個(gè)確?!?深入推動(dòng)河南水利高質(zhì)量發(fā)展[J].河南水利與南水北調(diào),2022,51(1):1-6.
[2] SIT M,DEMIRAY B Z,XIANG Z R,et al.A ComprehensiveReview of Deep Learning Applications in Hydrology andWater Resources[J].Water Science and Technology,2020,82(12):2635-2670.
[3] REN S Q,HE K M,GIRSHICK R,et al.Faster R?CNN:To?wards Real?Time Object Detection with Region Proposal Net?works[J].IEEE Transactions on Pattern Analysis & MachineIntelligence,2017,39(6):1137-1149.
[4] DONG S,WANG P,ABBAS K.A Survey on Deep Learningand Its Applications[J].Computer Science Review,2021,40(1):100379.
[5] BHATT D,PATEL C,TALSANIA H,et al.CNN Variants forComputer Vision:History,Architecture,Application,Challengesand Future Scope[J].Electronics,2021,10(20):2470.
[6] Wang Z J,TURKO R,SHAIKH O,et al.CNN Explainer:Learning Convolutional Neural Networks with Interactive Visu?alization[J].IEEE Transactions on Visualization and ComputerGraphics,2020,27(2):1396-1406.
[7] 張苗,李璞,楊漪,等.基于目標(biāo)檢測(cè)卷積神經(jīng)網(wǎng)絡(luò)的圖像型火災(zāi)探測(cè)算法[J].消防科學(xué)與技術(shù),2022,41(6):807-811.
[8] 張海濤,張夢(mèng).引入通道注意力機(jī)制的SSD 目標(biāo)檢測(cè)算法[J].計(jì)算機(jī)工程,2020,46(8):264-270.
[9] MANSOUR R F,ESCORCIA?GUTIERREZ J,GAMARRA M,et al.Intelligent Video Anomaly Detection and ClassificationUsing Faster RCNN with Deep Reinforcement Learning Model[J].Image and Vision Computing,2021,112:104229.
[10] CEN H.Target Location Detection of Mobile Robots Basedon R?FCN Deep Convolutional Neural Network[J].Interna?tional Journal of System Assurance Engineering and Man?agement,2021:14(2):728-737.
[11] 田喬鑫,孔韋韋,滕金保,等.基于并行混合網(wǎng)絡(luò)與注意力機(jī)制的文本情感分析模型[J].計(jì)算機(jī)工程,2022,48(8):266-273.
[12] 劉萬(wàn)軍,王鳳,曲海成.融合多尺度特征的目標(biāo)檢測(cè)模型[J].激光與光電子學(xué)進(jìn)展,2019,56(23):123-133.
[13] 王之元,楊學(xué)軍.并行計(jì)算系統(tǒng)度量指標(biāo)綜述[J].計(jì)算機(jī)工程與科學(xué),2010,32(10):44-48.
【責(zé)任編輯 栗 銘】