基于卷積神經(jīng)網(wǎng)絡(luò)的多場(chǎng)景施工質(zhì)檢應(yīng)用研究

馮強(qiáng)中

（科大國(guó)創(chuàng)云網(wǎng)科技有限公司 安徽省合肥市 230088）

在施工任務(wù)中，施工質(zhì)量和規(guī)范成為評(píng)價(jià)工程質(zhì)量的重要標(biāo)準(zhǔn)，然而施工現(xiàn)場(chǎng)的質(zhì)檢存在很多不便因素：施工場(chǎng)景多，全面質(zhì)檢困難，通過(guò)抽查的方式檢查范圍小，覆蓋率低；質(zhì)檢人員在對(duì)抽查的照片與質(zhì)檢標(biāo)準(zhǔn)進(jìn)行對(duì)比時(shí)，工作重復(fù)枯燥，消耗大量人力；由于施工場(chǎng)景質(zhì)檢具有一定的滯后性，因此從出現(xiàn)問(wèn)題、發(fā)現(xiàn)問(wèn)題，到整改的周期較長(zhǎng)。要保證工程規(guī)范管理及質(zhì)量, 必須快速并且準(zhǔn)確地識(shí)別出施工現(xiàn)場(chǎng)所需質(zhì)檢的物體，越早開(kāi)始檢測(cè)質(zhì)檢，所需時(shí)間也越短，可以增加容錯(cuò)性，提高效率。因此本文針對(duì)施工場(chǎng)景中所產(chǎn)生的大量施工圖像數(shù)據(jù)，提出一種基于卷積神經(jīng)網(wǎng)絡(luò)和無(wú)監(jiān)督數(shù)據(jù)增強(qiáng)技術(shù)的多場(chǎng)景施工質(zhì)檢，通過(guò)多次的迭代后模型對(duì)施工場(chǎng)景進(jìn)行預(yù)測(cè)，結(jié)果表明我們提出的算法能夠準(zhǔn)確和高效的完成質(zhì)檢任務(wù)。

1 相關(guān)工作

近年來(lái)，人類正試圖通過(guò)減少和自動(dòng)化人力來(lái)在數(shù)字系統(tǒng)上完成日常生活中的所有操作。這種自動(dòng)化要求使智能系統(tǒng)的創(chuàng)建成為可能，并為被稱為人工智能和機(jī)器學(xué)習(xí)的系統(tǒng)的應(yīng)用提供了環(huán)境。許多關(guān)于深度學(xué)習(xí)的研究已經(jīng)完成并在繼續(xù)進(jìn)行。深度學(xué)習(xí)是一種模擬人腦結(jié)構(gòu)的方法。該方法是一系列算法，通過(guò)模擬人類大腦在任何時(shí)候都能接觸到的一組感觀數(shù)據(jù)中重要信息的模式，從而得到輸入數(shù)據(jù)的表示方式。深度學(xué)習(xí)基礎(chǔ)的思想出現(xiàn)在1950年代，定義為感知器，感知器是第一臺(tái)具有學(xué)習(xí)能力的機(jī)器。在 1980年代，多層感知器結(jié)構(gòu)被確定。但是感知器的學(xué)習(xí)能力有限。因此，在 2000年代出現(xiàn)了多層神經(jīng)網(wǎng)絡(luò)的提議，與此提議一起的結(jié)構(gòu)具有更好的學(xué)習(xí)能力。

卷積神經(jīng)網(wǎng)絡(luò)在對(duì)圖像的各種研究中顯示出高性能和成就，被認(rèn)為是一種能夠提供增強(qiáng)結(jié)果的深度學(xué)習(xí)模型。深度學(xué)習(xí)模型通過(guò)圖像中的特征來(lái)識(shí)別目標(biāo)、人臉和場(chǎng)景，該模型具有多層結(jié)構(gòu)，每層結(jié)構(gòu)含有多個(gè)二維平面和每個(gè)平面的多個(gè)神經(jīng)元。具體可分為輸入層、隱藏層和輸出層三部分。學(xué)習(xí)所需要的復(fù)雜過(guò)程都發(fā)生在隱藏層中，數(shù)據(jù)輸入到系統(tǒng)由輸入層接收，結(jié)果由輸出層獲得。此外，在經(jīng)典機(jī)器學(xué)習(xí)中，標(biāo)簽一般只有1或0兩種，而在研究卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的輸出中，輸出結(jié)果可為0到1之間的任何值，這增加了網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)的成功率。

2 基于CNN的多場(chǎng)景施工質(zhì)檢建模

2.1 整體建模思路

對(duì)于多場(chǎng)景施工質(zhì)檢任務(wù)，利用深度學(xué)習(xí)檢測(cè)的步驟代替人工檢測(cè)，可以有效快速的進(jìn)行圖片識(shí)別。在圖片檢測(cè)建模中，主要分為圖片數(shù)據(jù)標(biāo)注、數(shù)據(jù)增強(qiáng)，模型訓(xùn)練和模型優(yōu)化三個(gè)階段。對(duì)于圖片數(shù)據(jù)處理，不同的場(chǎng)景有不同的數(shù)據(jù)處理，例如光交箱安裝場(chǎng)景中對(duì)數(shù)據(jù)進(jìn)行分類處理，分光纖盒安裝、光纜接續(xù)和架空光纜場(chǎng)景中對(duì)數(shù)據(jù)進(jìn)行目標(biāo)標(biāo)注處理，在標(biāo)注完后利用對(duì)抗生成網(wǎng)絡(luò)進(jìn)行無(wú)監(jiān)督的數(shù)據(jù)增強(qiáng)，提高模型的性能；模型訓(xùn)練階段應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型；模型優(yōu)化階段主要是通過(guò)后續(xù)數(shù)據(jù)集的收集持續(xù)對(duì)模型進(jìn)行優(yōu)化。

多場(chǎng)景施工質(zhì)檢構(gòu)建思路如圖1所示。

圖1：整體質(zhì)檢模型構(gòu)建流程圖

（1）輸入施工現(xiàn)場(chǎng)收集的圖片；

（2）將圖片數(shù)據(jù)集分別進(jìn)行分類與標(biāo)注，并且對(duì)標(biāo)注后的數(shù)據(jù)進(jìn)行增強(qiáng)處理。對(duì)于光交箱安裝場(chǎng)景利用InceptionV4算法進(jìn)行分類訓(xùn)練，得到訓(xùn)練模型；對(duì)于光交箱安裝、分光纖盒安裝及光纜接續(xù)場(chǎng)景利用YoloV3場(chǎng)景進(jìn)行目標(biāo)檢測(cè)訓(xùn)練，得到訓(xùn)練模型；然后在質(zhì)檢模塊嵌入AI訓(xùn)練模型；

（3）通過(guò)AI模塊中質(zhì)檢模型進(jìn)行在線自動(dòng)判別得到結(jié)果，設(shè)置置信度為0.5，當(dāng)預(yù)測(cè)圖片置信度小于0.5時(shí)，圖片存入質(zhì)檢系統(tǒng)以便后期模型優(yōu)化，完成模型的多次迭代升級(jí)。

2.2 場(chǎng)景數(shù)據(jù)處理

場(chǎng)景數(shù)據(jù)處理分為兩個(gè)流程，第一場(chǎng)景數(shù)據(jù)標(biāo)注，完成對(duì)于圖像類別標(biāo)簽的確定和目標(biāo)檢測(cè)算法的標(biāo)注，第二，由于數(shù)據(jù)的數(shù)量過(guò)少，需要對(duì)數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)，本文采用的算法是基于對(duì)抗生產(chǎn)網(wǎng)絡(luò)的無(wú)監(jiān)督生成算法。

圖2：質(zhì)檢場(chǎng)景不規(guī)范或標(biāo)注處理示例

圖3：GAN網(wǎng)絡(luò)結(jié)構(gòu)示意圖

圖4：InceptionV4網(wǎng)絡(luò)結(jié)構(gòu)示意圖

2.2.1 場(chǎng)景數(shù)據(jù)標(biāo)注

在多場(chǎng)景質(zhì)檢中包括兩大類四個(gè)場(chǎng)景，分別為光網(wǎng)類光交箱安裝、分光分纖盒安裝及光纜接續(xù)三個(gè)場(chǎng)景以及光纜類架空光纜場(chǎng)景。前期場(chǎng)景圖片數(shù)據(jù)集偏少，利用無(wú)監(jiān)督的數(shù)據(jù)增強(qiáng)技術(shù)完善數(shù)據(jù)集，強(qiáng)化數(shù)據(jù)的規(guī)模，提高后期模型準(zhǔn)確率。

在不同的場(chǎng)景中首先需要相關(guān)專家確定對(duì)應(yīng)的規(guī)范要求，通過(guò)規(guī)范要求對(duì)原始數(shù)據(jù)進(jìn)行標(biāo)注。

在光交箱安裝場(chǎng)景中主要是識(shí)別光交箱體防雷接地保護(hù)裝置與黃綠色地線是否連接，數(shù)據(jù)處理是將場(chǎng)景分為兩類：光交箱體防雷接地保護(hù)裝置與黃綠色地線連接、光交箱體防雷接地保護(hù)裝置與黃綠色地線沒(méi)有連接。分光纖盒安裝場(chǎng)景、光纜接續(xù)場(chǎng)景、架空光纜場(chǎng)景中數(shù)據(jù)處理主要利用labelImg軟件進(jìn)行圖像標(biāo)注。其中分光纖盒安裝場(chǎng)景主要是識(shí)別箱體四角是否有固定的穿釘或螺栓，將場(chǎng)景目標(biāo)分類兩類：箱體四角是有固定的穿釘或螺栓、箱體四角是無(wú)固定的穿釘或螺栓。

在架空光纜場(chǎng)景中主要是識(shí)別光纜加強(qiáng)芯是否通過(guò)黃綠色線纜與光交防雷接地裝置連接并且鐵絲部分是否穿過(guò)光交防雷接地裝置，將場(chǎng)景目標(biāo)分類兩類：光纜加強(qiáng)芯通過(guò)黃綠色線纜與光交防雷接地裝置連接并且鐵絲部分穿過(guò)光交防雷接地裝置、光纜加強(qiáng)芯沒(méi)有通過(guò)黃綠色線纜與光交防雷接地裝置連接并且鐵絲部分沒(méi)有穿過(guò)光交防雷接地裝置。在光纜接續(xù)場(chǎng)景中主要是識(shí)別引上鋼管是否存在，將場(chǎng)景目標(biāo)分類一類：引上鋼管存在。

2.2.2 場(chǎng)景數(shù)據(jù)增強(qiáng)

生成式對(duì)抗網(wǎng)絡(luò)框架由生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)構(gòu)成，已廣泛用于計(jì)算機(jī)視覺(jué)和人工智能領(lǐng)域的數(shù)據(jù)生成和分類。對(duì)于可以通過(guò)在訓(xùn)練數(shù)據(jù)集中添加新的圖像來(lái)提高圖像分類器的精度，利用了無(wú)監(jiān)督學(xué)習(xí)的數(shù)據(jù)增強(qiáng)方法GAN。

在生成網(wǎng)絡(luò)中，輸入隨機(jī)噪聲并得到輸出圖像。判別網(wǎng)絡(luò)對(duì)生成的圖像樣本進(jìn)行推理，判別其真假，并輸出一個(gè)概率分布。生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)同時(shí)進(jìn)行訓(xùn)練，參數(shù)根據(jù)優(yōu)化損失和改變進(jìn)行隨機(jī)性進(jìn)行調(diào)整。隨著判別器產(chǎn)生的誤差和損失，生成器的隨機(jī)性被更新，使得生成的圖像為真實(shí)的。生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)相互對(duì)立，通過(guò)不斷迭代訓(xùn)練，使得最終生成網(wǎng)絡(luò)生成的圖像和實(shí)際場(chǎng)景圖像接近，人眼和機(jī)器都無(wú)法判別真假，以達(dá)到擴(kuò)增數(shù)據(jù)集的目的。

訓(xùn)練GAN所需的兩個(gè)主要因素是判別器和生成器的神經(jīng)網(wǎng)絡(luò)架構(gòu)，架構(gòu)遵循非線性映射函數(shù)，為簡(jiǎn)單的感知器模型或卷積模型。

圖3是GAN網(wǎng)絡(luò)的圖解表示，判別器網(wǎng)絡(luò)中最常用的激活函數(shù)是sigmoid 函數(shù)，其用于圖像分類器得最終預(yù)測(cè)。真實(shí)數(shù)據(jù)被發(fā)送到判別器，且判別器網(wǎng)絡(luò)為一個(gè)卷積神經(jīng)網(wǎng)絡(luò)模型。

2.3 施工質(zhì)檢圖片識(shí)別建模

圖片識(shí)別建模可以分為兩個(gè)大類建模：場(chǎng)景分類和場(chǎng)景檢測(cè)。場(chǎng)景分類為光交箱安裝的需求，即將場(chǎng)景光交箱體防雷接地保護(hù)裝置與黃綠色地線是否連接分為兩類，主要利用Inception V4算法進(jìn)行模型建模；場(chǎng)景檢測(cè)為分光纖盒安裝、光纜連接和架空光纜，即指不僅要識(shí)別圖像中是否包含待檢測(cè)物, 還要具體定位出待檢測(cè)物的位置，主要利用Yolo V3算法進(jìn)行模型建模。這兩大類場(chǎng)景建模都是基于CNN的不同深度和不同層次結(jié)構(gòu)的深度學(xué)習(xí)網(wǎng)絡(luò)實(shí)現(xiàn)的。

InceptionV4是在InceptionV3的基礎(chǔ)上發(fā)展得來(lái)的，在利用了部分InceptionV3網(wǎng)絡(luò)結(jié)構(gòu)，同時(shí)使用了更多的Inception模塊。這種網(wǎng)絡(luò)結(jié)構(gòu)表現(xiàn)得測(cè)試性能更優(yōu)秀，而且在某些方面得性能相比于InceptionV3也有一定的提高。其可以應(yīng)用在圖像場(chǎng)景預(yù)分類、翻拍檢測(cè)等。

在YOLO的目標(biāo)檢測(cè)中，引入特征網(wǎng)絡(luò)Darknet-53結(jié)構(gòu)，其功能為對(duì)輸入數(shù)據(jù)進(jìn)行圖像特征提取，同時(shí)參考特征金字塔網(wǎng)絡(luò)(FPN)，利用網(wǎng)絡(luò)種的特征圖對(duì)目標(biāo)進(jìn)行檢測(cè)。Darknet-53由若干個(gè)DBL模塊和殘差結(jié)構(gòu)組成，其中DBL模塊能夠有效解決在訓(xùn)練過(guò)程中遇到的梯度消失以及過(guò)擬合等問(wèn)題。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)介紹

在建模前將標(biāo)注好的樣本數(shù)據(jù)按照2：1的比例，劃分為訓(xùn)練集和測(cè)試集。由于數(shù)據(jù)集中數(shù)據(jù)量較少，利用數(shù)據(jù)增強(qiáng)操作方便網(wǎng)絡(luò)訓(xùn)練。

本文施工場(chǎng)景包括2大類四個(gè)場(chǎng)景，其中光交箱安裝場(chǎng)景數(shù)據(jù)集為1209張圖像，分光纖盒安裝數(shù)據(jù)集為300張圖像，光纜連接數(shù)據(jù)集為500張圖像，架空光纜數(shù)據(jù)集為530張圖像。服務(wù)器為GTX1080，模型訓(xùn)練參數(shù)如表1所示。

表1：場(chǎng)景模型訓(xùn)練參數(shù)

3.2 模型部署與測(cè)試

模型以docker鏡像形式部署到服務(wù)器，集成為API服務(wù)。模型置信度設(shè)置為0.5，當(dāng)場(chǎng)景圖片預(yù)測(cè)置信度小于0.5時(shí)會(huì)將圖片存入質(zhì)檢系統(tǒng)進(jìn)行收集處理，以便后期進(jìn)行持續(xù)優(yōu)化。在光交箱安裝場(chǎng)景中是對(duì)場(chǎng)景采用分類算法InceptionV4進(jìn)行訓(xùn)練，得到訓(xùn)練模型。通過(guò)輸入場(chǎng)景圖片，返回一個(gè)場(chǎng)景結(jié)果描述值。最后通過(guò)模型的準(zhǔn)確性和推理時(shí)間來(lái)評(píng)價(jià)模型的性能。

在分光纖盒安裝、光纜接續(xù)以及架空光纜場(chǎng)景是采用YoloV3算法進(jìn)行AI模型訓(xùn)練，數(shù)據(jù)集越豐富模型準(zhǔn)確率越高，通過(guò)模型得到每個(gè)場(chǎng)景中需要檢測(cè)得目標(biāo)。模型的性能分析如表2所示，其中圖6(a)為分光纖盒預(yù)測(cè)后的圖像，其中bolt表示有固定的穿釘或螺栓，nobolt表示沒(méi)有固定的穿釘或螺栓；圖6(b)為光纜接續(xù)預(yù)測(cè)后的圖像，其中yes表示連接并穿過(guò)光交防雷接地裝置，no表示沒(méi)有連接也沒(méi)有穿過(guò)光交防雷接地裝置；圖6(c)為架空光纜預(yù)測(cè)后的圖像，得到引上保護(hù)管安裝情況，其中tube表示引上保護(hù)管存在。

表2：場(chǎng)景模型性能分析

圖5：YoloV3網(wǎng)絡(luò)架構(gòu)示意圖

圖6：部分模型推理示例

4 總結(jié)與展望

針對(duì)施工現(xiàn)場(chǎng)人工審核目標(biāo)數(shù)量多、定位困難及審核準(zhǔn)確率低等問(wèn)題，本文提出基于YoloV3與InceptionV4提出的多場(chǎng)景質(zhì)檢構(gòu)建，通過(guò)對(duì)多場(chǎng)景圖像數(shù)據(jù)的標(biāo)注以及基于CNN模型的訓(xùn)練，可以有效時(shí)間內(nèi)提升人工審核的效率與精度，以滿足實(shí)際生產(chǎn)應(yīng)用需求，還可以規(guī)范和驗(yàn)證現(xiàn)場(chǎng)施工作業(yè)行為，促進(jìn)施工質(zhì)量的提升，實(shí)現(xiàn)工程建設(shè)數(shù)字化、智慧化。