基于全景成像的斜拉橋拉索表面缺陷檢測(cè)研究

楊增祥,陳 琳,陳 悅

(國網(wǎng)浙江省電力有限公司臺(tái)州供電公司 臺(tái)州市 318000)

0 引言

我國地域遼闊、地形復(fù)雜、水系密布、橋梁眾多,斜拉橋因跨度大、承載力強(qiáng)、造型優(yōu)美,在我國道路交通中發(fā)揮著重要作用。拉索作為斜拉橋重要組成部分和主要受力構(gòu)件[1],長期暴露于自然環(huán)境、經(jīng)受日曬風(fēng)吹雨淋。同時(shí),拉索在周期和非周期載荷作用下產(chǎn)生復(fù)雜動(dòng)態(tài)形變,建設(shè)在江河湖泊或海上的斜拉橋,拉索表面易受潮濕環(huán)境腐蝕,導(dǎo)致外部聚乙烯(PE)保護(hù)套形成翹皮、孔洞、縫隙等缺陷[2-3],如果不及時(shí)檢測(cè)和修復(fù),將引起內(nèi)部鋼絲束腐蝕,甚至生銹斷裂,嚴(yán)重威脅斜拉橋安全[4]。

目前拉索表面缺陷檢測(cè)主要采用兩種人工方法:一是檢測(cè)人員在地面通過望遠(yuǎn)鏡遠(yuǎn)距離觀察拉索表面,判斷是否存在缺陷,容易漏檢;二是檢測(cè)人員搭升降機(jī)或吊籃,肉眼檢查拉索表面狀況,效率低、安全性差[5]。因此,拉索表面缺陷自動(dòng)化檢測(cè)水平亟待提高。其中,利用拉索機(jī)器人搭載視頻采集設(shè)備獲取拉索表面圖像,采用圖像處理技術(shù)實(shí)現(xiàn)拉索表面缺陷自動(dòng)檢測(cè)是普遍認(rèn)可的技術(shù)方案。

在拉索表面缺陷檢測(cè)方面,王建林等[6]研究了拉索表面缺陷分割方法,通過Lab顏色空間預(yù)處理獲得圖像背景掩膜,完成圖像分割,效率高、結(jié)果準(zhǔn)確,但依賴圖像二值化結(jié)果,僅適用于前景與后景灰度變化大的場(chǎng)合。喬湘洋等[7]通過改進(jìn)加權(quán)平均的權(quán)重系數(shù),并與灰度相似函數(shù)相乘得到空間鄰近函數(shù),避免圖像畸變。采用自適應(yīng)窗口去除噪聲,對(duì)缺陷邊緣平滑處理進(jìn)而提取缺陷,算法簡(jiǎn)單,準(zhǔn)確率高。

傳統(tǒng)圖像處理難以區(qū)分特征相似缺陷,易受光照影響,魯棒性差、檢測(cè)精度低。隨著深度學(xué)習(xí)技術(shù)的發(fā)展,其檢測(cè)精度、速度和可靠性大幅提高[8]。許多學(xué)者利用深度學(xué)習(xí)方法檢測(cè)斜拉橋拉索表面缺陷。

余朝陽[9]將Faster R-CNN深度學(xué)習(xí)模型用于拉索表面缺陷檢測(cè),相對(duì)于傳統(tǒng)圖像處理,檢測(cè)速度提高了3倍。但Faster R-CNN為典型的兩階段模型,精度高但處理速度慢、耗時(shí)長。李運(yùn)堂等[10]在常規(guī)YOLOV3模型的基礎(chǔ)上,在特征提取網(wǎng)絡(luò)中引入SPP結(jié)構(gòu),豐富不同尺度缺陷信息;利用CIOU作為損失函數(shù),提高預(yù)測(cè)框精度,改進(jìn)后的網(wǎng)絡(luò)精度更高,速度更快。

文章利用與拉索表面材質(zhì)相近的PVC管模擬拉索表面,在管材上構(gòu)造孔洞、損傷、縫隙三種常見缺陷,搭建數(shù)據(jù)集,利用YOLOX網(wǎng)絡(luò)實(shí)現(xiàn)缺陷檢測(cè),具有速度快、精度高、魯棒性好等優(yōu)點(diǎn)。

1 YOLOX網(wǎng)絡(luò)

YOLOX網(wǎng)絡(luò)由主干特征提取網(wǎng)絡(luò)CSPDarknet、加強(qiáng)特征提取網(wǎng)絡(luò)PAFPN、分類回歸器YOLO Head組成。在圖像輸入部分,YOLOX采用Mosaic和MixUp進(jìn)行數(shù)據(jù)增強(qiáng),Mosaic通過隨機(jī)裁剪、縮放、排布等方式拼接圖像,大幅提高小目標(biāo)的檢測(cè)精度。

在主干特征提取網(wǎng)絡(luò)CSPDarknet中,Focus結(jié)構(gòu)采用單像素間隔取值,堆疊四個(gè)特征層信息,將輸入圖像通道數(shù)擴(kuò)充4倍。dark2、dark3、dark4、dark5均包含CBS和CSP結(jié)構(gòu)。CBS由卷積層(Conv)、歸一層(BN)和SiLU激活函數(shù)組成,實(shí)現(xiàn)卷積標(biāo)準(zhǔn)化操作。CSP將輸入圖像主干部分通過殘差塊進(jìn)行堆疊,另一部分經(jīng)過卷積后與主干部分繼續(xù)堆疊并卷積化處理。dark5在CBS和CSP之間增加了SPP結(jié)構(gòu),SPP將輸入信息經(jīng)過CBS處理后一部分通過5×5、9×9、13×13最大池化核處理,與未經(jīng)處理的輸入信息堆疊后再進(jìn)行CBS操作。SPP可最大程度提升CSPDarknet的感受野,從而學(xué)習(xí)更完善的拉索表面缺陷特征。CSPDarknet最后輸出三個(gè)有效特征層,分別為Y1、Y2和Y3。

加強(qiáng)特征提取網(wǎng)絡(luò)采用PAFPN結(jié)構(gòu)。其中,Y1、Y2、Y3三個(gè)特征層經(jīng)過上采樣、下采樣、堆疊、CBS,CSP提取特征完成特征融合,分別輸出至三個(gè)分類回歸器YOLO Head。相對(duì)于其它YOLO算法,YOLOX的YOLO Head采用解耦頭(Decoupled Head)對(duì)預(yù)測(cè)分支進(jìn)行解耦,從而提高網(wǎng)絡(luò)收斂速度。

在解耦過程中,YOLO Head首先對(duì)PAFPN輸出的每個(gè)特征層進(jìn)行CBS操作,將通道數(shù)減少至256;然后,添加兩個(gè)并行分支,分別用于分類和回歸,每個(gè)分支進(jìn)行兩次CBS操作進(jìn)行降維;同時(shí),YOLOX采用無錨框(Anchor free)檢測(cè)器,減少參數(shù)量,提高檢測(cè)速度。

2 數(shù)據(jù)集搭建

利用拉索爬升裝置搭載四個(gè)均勻分布的攝像頭沿拉索爬行,獲取拉索表面全景圖像,由于攝像頭拍攝角度以及鏡頭存在廣角,無法規(guī)避拉索周圍背景,如圖1所示。

圖1 環(huán)境背景示意圖

環(huán)境背景影響缺陷檢測(cè)準(zhǔn)確性,導(dǎo)致誤檢、漏檢,并且降低檢測(cè)精度。因此,需通過圖像預(yù)處理去除背景。由于攝像頭與拉索表面距離相同,拉索表面區(qū)域在整個(gè)圖像中的坐標(biāo)固定,環(huán)境背景出現(xiàn)在圖像左右兩側(cè),運(yùn)用圖像掩膜去除環(huán)境背景。

按幀提取采集的視頻數(shù)據(jù)獲得圖像,得到2000張隨機(jī)包含孔洞、損傷、縫隙三種不同缺陷圖像數(shù)據(jù)集,并利用LabelImg標(biāo)注數(shù)據(jù)集,將缺陷類型、坐標(biāo)等信息保存在xml文件中。

3 實(shí)驗(yàn)

3.1 評(píng)價(jià)指標(biāo)

利用精度P、召回率R、平均精確率AP、F1分?jǐn)?shù)和均精確度mAP五個(gè)指標(biāo)評(píng)價(jià)缺陷檢測(cè)結(jié)果。

目前，關(guān)于生物炭對(duì)土壤理化性質(zhì)的研究，大多屬于定性分析生物炭對(duì)土壤相關(guān)參數(shù)的影響，很少從定量方面研究生物炭施加于參數(shù)變化的關(guān)系。因此本文研究施加生物炭后的土壤水分特征曲線，通過在土壤中添加不同含量的生物炭，利用離心機(jī)測(cè)定其土壤水分特征曲線，定量描述土壤水分特征曲線在不同生物炭施加條件下的變化情況，對(duì)比分析得出生物炭對(duì)土壤水分特征曲線的影響規(guī)律。

(1)精度P:所有缺陷結(jié)果中正確的比例

P=TP/(TP+FP)

(1)

式中:TP為屬于該類型缺陷且被正確檢測(cè)為該類型的數(shù)量,FP為屬于其它類型缺陷但被錯(cuò)誤檢測(cè)為該類型的數(shù)量。

(2)召回率R:檢測(cè)正確的缺陷占所有檢測(cè)結(jié)果比例

R=TP/(TP+FN)

(2)

式中:FN為屬于該類型缺陷但被檢測(cè)為其它類型的數(shù)量。

(3)F1分?jǐn)?shù):精度P和召回率R的調(diào)和平均數(shù)

F1=2P·R/(P+R)

(3)

(4)平均精確率AP:P-R曲線面積

AP=F(P,R)

(4)

(5)均精確度mAP:所有缺陷類型AP的平均值

(5)

式中:N為缺陷類型數(shù)。

3.2 網(wǎng)絡(luò)訓(xùn)練

將已標(biāo)注的2000張數(shù)據(jù)集按照9:1劃分為訓(xùn)練集和測(cè)試集,載入YOLOX網(wǎng)絡(luò),利用GPU進(jìn)行訓(xùn)練。訓(xùn)練采用SGD優(yōu)化器,共訓(xùn)練300個(gè)世代(Epoch)。計(jì)算機(jī)硬件環(huán)境:CPU為Intel i7 9700k;GPU為NVIDIA GEFORCE 1660,顯存6G;內(nèi)存32G。軟件環(huán)境:Pycharm編譯器,Python3.6,Pytorch1.2。網(wǎng)絡(luò)訓(xùn)練參數(shù)如表1所示。

表1 網(wǎng)絡(luò)訓(xùn)練參數(shù)

其中,Batch_size為單次訓(xùn)練所使用的樣本;Init_lr為學(xué)習(xí)率;Weight_decay為權(quán)值衰減系數(shù);Epoch為訓(xùn)練世代。

網(wǎng)絡(luò)損失值隨訓(xùn)練世代增加變化如圖2所示?？梢钥闯?前50個(gè)訓(xùn)練世代損失值快速減小,表明網(wǎng)絡(luò)能夠較好地適應(yīng)數(shù)據(jù)集特征;隨后損失值開始緩慢降低,在250個(gè)訓(xùn)練世代左右收斂至0.35,表明YOLOX網(wǎng)絡(luò)訓(xùn)練過程有效。

圖2 損失值變化曲線

3.3 網(wǎng)絡(luò)測(cè)試對(duì)比

將YOLOX與YOLOV3、YOLOV4在測(cè)試集上進(jìn)行對(duì)比實(shí)驗(yàn),結(jié)果如圖3所示。其中,類圓形表示孔洞,貫穿拉索表面;細(xì)長條形表示縫隙,貫穿拉索表面。圖3中,YOLOV3和YOLOV4不僅出現(xiàn)漏檢、檢測(cè)框定位不準(zhǔn)確問題,而且YOLOV3在縫隙缺陷處存在重復(fù)檢測(cè),YOLOVX能夠完整的識(shí)別出所有缺陷且缺陷分類準(zhǔn)確。所有對(duì)比實(shí)驗(yàn)中,YOLOX檢測(cè)結(jié)果均優(yōu)于YOLOV3和YOLOV4,能夠達(dá)到拉索表面缺陷自動(dòng)化實(shí)時(shí)檢測(cè)要求。

圖3 檢測(cè)結(jié)果對(duì)比

以mAP和幀率FPS作為評(píng)價(jià)指標(biāo)定量分析YOLOX性能,FPS表征視頻檢測(cè)速度。將YOLOX與YOLOV3、YOLOV4以及Faster R-CNN進(jìn)行對(duì)比實(shí)驗(yàn),結(jié)果如表2所示。

表2 網(wǎng)絡(luò)對(duì)比結(jié)果

結(jié)果表明,Faster R-CNN準(zhǔn)確率與YOLOX相近,但Faster R-CNN屬于兩階段檢測(cè)模型,結(jié)構(gòu)復(fù)雜、耗時(shí)長,檢測(cè)速度遠(yuǎn)低于其它網(wǎng)絡(luò)。YOLO系列屬于單階段目標(biāo)檢測(cè)模型,檢測(cè)速度快高、效率高。

YOLOX準(zhǔn)確率和檢測(cè)速度均優(yōu)于YOLOV3,雖然YOLOV4檢測(cè)速度較YOLOX快,但其準(zhǔn)確率較低。因此,YOLOX綜合性能最優(yōu)。

4 結(jié)語

文章利用全景成像實(shí)現(xiàn)斜拉橋拉索表面缺陷檢測(cè),包括主干特征提取網(wǎng)絡(luò)CSPDarknet、加強(qiáng)特征提取網(wǎng)絡(luò)PAFPN和分類回歸器YOLO Head。利用同拉索表面材質(zhì)相近的PVC管構(gòu)造的損傷、縫隙、孔洞三種常見表面缺陷,通過拉索爬升裝置搭載攝像頭獲取拉索表面全景圖像,采用掩膜法去除環(huán)境背景,搭建數(shù)據(jù)集。將數(shù)據(jù)集載入YOLOX網(wǎng)絡(luò)進(jìn)行訓(xùn)練測(cè)試,并與YOLOV3、YOLOV4、Faster R-CNN等主流目標(biāo)檢測(cè)方法進(jìn)行對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明:YOLOX的mAP和FPS分別為92.77%和18,綜合實(shí)驗(yàn)效果最佳,滿足拉索表面缺陷檢測(cè)工作需求。