基于無(wú)人機(jī)影像深度學(xué)習(xí)算法的輸電線路缺陷智能識(shí)別技術(shù)研究

許文濤

（中國(guó)南方電網(wǎng)有限責(zé)任公司超高壓輸電公司柳州局，廣西 柳州 545000）

0 引言

無(wú)人機(jī)遙感技術(shù)的興起，為輸電線路巡檢帶來(lái)了新的機(jī)遇。無(wú)人機(jī)遙感具有便捷、靈活、低成本、多角度、高時(shí)空分辨率的特點(diǎn)，能大幅降低地面人工巡檢的勞動(dòng)強(qiáng)度和作業(yè)風(fēng)險(xiǎn)，顯著降低數(shù)據(jù)獲取成本[1-2]。但是如何從海量數(shù)據(jù)中快速提取有價(jià)值的信息，成為擺在我們面前亟需解決的問(wèn)題。

隨著人工智能新時(shí)代的開(kāi)啟，深度學(xué)習(xí)為計(jì)算機(jī)視覺(jué)領(lǐng)域帶來(lái)了革命性的進(jìn)步，為解決該問(wèn)題提供了方案[3]。

深度學(xué)習(xí)不需要人工設(shè)計(jì)提取特征，可以較好地應(yīng)對(duì)背景復(fù)雜、場(chǎng)景多變、目標(biāo)特征多樣化的電力巡檢可見(jiàn)光圖像，高度契合電力巡檢中海量可見(jiàn)光圖像智能化處理的需求，通過(guò)引入深度學(xué)習(xí)方法，可以實(shí)現(xiàn)目標(biāo)的智能識(shí)別，進(jìn)而實(shí)現(xiàn)線路設(shè)備的缺陷檢測(cè)[4]。

因此，研發(fā)基于無(wú)人機(jī)遙感與深度學(xué)習(xí)算法的輸電線路智能巡檢平臺(tái)，不僅是“新基建”的迫切要求，而且將使老舊線路煥發(fā)出新的活力，因而具有重要意義和巨大的市場(chǎng)潛力。

根據(jù)國(guó)網(wǎng)（運(yùn)檢/4）305—2014《國(guó)家電網(wǎng)公司架空輸電線路運(yùn)維管理規(guī)定》，架空線路設(shè)備缺陷管理系統(tǒng)規(guī)定了878種缺陷。由于部分類(lèi)型的缺陷根據(jù)危害等級(jí)被劃分為3種（如絕緣子自爆缺陷根據(jù)損壞程度不同被分為一般、嚴(yán)重、危急3種），統(tǒng)計(jì)出包括基礎(chǔ)、桿塔、導(dǎo)地線、絕緣子、金具、接地裝置、通道環(huán)境、附屬設(shè)施等在內(nèi)的8類(lèi)共499種缺陷，分布如表1所示[5]。

表1 線路巡檢常見(jiàn)缺陷統(tǒng)計(jì)

從表1缺陷類(lèi)型分布看，桿塔、金具、絕緣子類(lèi)缺陷較多，占缺陷總量的68%。基于可見(jiàn)光圖像，使用圖像處理的方法進(jìn)行架空線路的缺陷檢測(cè)可以覆蓋約90%的缺陷[5]，僅有30余種缺陷難以根據(jù)可見(jiàn)光圖像確定。隨著無(wú)人機(jī)遙感技術(shù)和深度學(xué)習(xí)算法的發(fā)展，國(guó)內(nèi)外在輸電線路缺陷檢測(cè)領(lǐng)域已經(jīng)開(kāi)展了大量的研究，取得了不少研究成果。

1 Yolov5目標(biāo)檢測(cè)算法原理

Yolo系列模型經(jīng)過(guò)不斷改進(jìn)，已推出多個(gè)版本，但其結(jié)構(gòu)均是由輸入層、Backbone、Neck（自Yolov3增加該層）、Head和Prediction（輸出層）組成[6]。

在Yolov5 的官方代碼中，給出了Yolov5s.pt、Yolov5m.pt、Yolov5l.pt、Yolov5x.pt四個(gè)權(quán)重模型，其中，Yolov5s網(wǎng)絡(luò)是Yolov5系列中深度最小、特征圖寬度最小的網(wǎng)絡(luò)，其檢測(cè)速度最快，但精度也相對(duì)較低[7]；其他三種結(jié)構(gòu)則是對(duì)網(wǎng)絡(luò)加深加寬，精度提升的同時(shí)速度降低。用戶(hù)可以根據(jù)需要選擇合適的模型。

在輸入層，Yolov5首先對(duì)圖像進(jìn)行Mosaic增強(qiáng)，通過(guò)隨機(jī)縮放、裁剪、排布等方式，豐富了數(shù)據(jù)集，提升了小目標(biāo)的檢測(cè)效果。

其次，Yolov5將初始錨框的計(jì)算嵌入到代碼中，使得在每次訓(xùn)練時(shí)，程序可以自適應(yīng)地計(jì)算不同訓(xùn)練集中的最佳錨框值。

最后，Yolov5改進(jìn)了圖像填充算法，算法根據(jù)圖片的長(zhǎng)寬比自適應(yīng)地計(jì)算需要添加的像素?cái)?shù)，從而縮減了黑邊的范圍，降低了信息冗余，提高了推理速度。

在Backbone層中，Yolov5首先采用切片操作，即Focus結(jié)構(gòu)，在減小圖像長(zhǎng)寬的同時(shí)增加了圖像通道個(gè)數(shù)[8]。

進(jìn)而，Yolov5繼承了Yolov4的CSPDarknet53 結(jié)構(gòu)，但分別在Backbone和Neck中使用兩種不同的CSP結(jié)構(gòu)。在Backbone中引入殘差組件，而在Neck中，則使用Convolution-Batch Normalization-LeakyReLU組件。

在Neck層中，一方面，Yolov5采用了CSP結(jié)構(gòu)，加強(qiáng)了網(wǎng)絡(luò)特征融合的能力；另一方面，采用了FPN（Feature Pyramid Network）+PAN結(jié)構(gòu)，F(xiàn)PN層自頂向下傳達(dá)強(qiáng)語(yǔ)義特征，而特征金字塔則自底向上傳達(dá)強(qiáng)定位特征，兩兩聯(lián)手，從不同的主干層對(duì)不同的檢測(cè)層進(jìn)行參數(shù)聚合。

與之前的版本類(lèi)似，Yolov5最終輸出為三個(gè)不同尺度的特征圖，對(duì)于不同尺寸的目標(biāo)識(shí)別具有較好的魯棒性。Yolov5采用GIOU_Loss作為定位損失函數(shù)，采用加權(quán)nms的方式，提高了被遮擋物體的檢出率。

2 數(shù)據(jù)獲取與預(yù)處理

基于2020年7月至9月無(wú)人機(jī)巡檢獲取的500 kV輸電線路共362張缺陷照片開(kāi)展研究，照片像素?cái)?shù)為5 472×3 078，這些照片已經(jīng)過(guò)專(zhuān)業(yè)檢修人員和同類(lèi)缺陷識(shí)別軟件的篩選。由于無(wú)人機(jī)影像較大，考慮到硬件配置和計(jì)算效率，將影像進(jìn)行四等分裁剪，裁剪后獲得1 448張圖像。

本文利用lableImg軟件對(duì)這些照片進(jìn)行了樣本的標(biāo)注，共獲取絕緣子類(lèi)缺陷樣本1 056個(gè)，導(dǎo)線類(lèi)缺陷260個(gè)，金具類(lèi)缺陷328個(gè)，桿塔上有鳥(niǎo)巢圖片471個(gè)。為擴(kuò)充樣本數(shù)量，增強(qiáng)特征學(xué)習(xí)能力，使用Mosaic增強(qiáng)模塊對(duì)樣本進(jìn)行了旋轉(zhuǎn)、顏色空間變換、模糊和鏡像變換。通過(guò)上述數(shù)據(jù)預(yù)處理，剔除沒(méi)有目標(biāo)信息的圖像，得到了共3 696張缺陷圖片，用于后續(xù)模型的訓(xùn)練和預(yù)測(cè)。

3 平臺(tái)構(gòu)建

本文采用的運(yùn)行環(huán)境為Windows10系統(tǒng)，64位，處理器為Intel（R）Xeon（R）Silver 4210 CPU@2.20 GHz/2.19 GHz，內(nèi)存32 GB，主頻3.0 GHz，顯卡為GPU NVIDIA GeForce RTX 2080Ti，顯存11 GB。本文缺陷檢測(cè)算法研究選用的CUDA版本是10.2，集成開(kāi)發(fā)環(huán)境是VSCode，使用Python3.7和Pytorch深度學(xué)習(xí)框架開(kāi)發(fā)。

輸電線路主要缺陷智能識(shí)別軟件為網(wǎng)絡(luò)版，系統(tǒng)采用B/S架構(gòu)和分用戶(hù)管理的方式，基于Cesium開(kāi)源三維可視化引擎、PostgreSQL數(shù)據(jù)庫(kù)管理系統(tǒng)和Pytorch深度學(xué)習(xí)框架構(gòu)建基于無(wú)人機(jī)影像深度學(xué)習(xí)算法的輸電線路主要缺陷智能識(shí)別軟件。系統(tǒng)具有無(wú)人機(jī)光學(xué)圖像樣本制作、模型分布式訓(xùn)練、模型測(cè)試、缺陷診斷和確認(rèn)以及檢測(cè)報(bào)告生成等功能，可識(shí)別桿塔、絕緣子、金具等主要缺陷[9]。

平臺(tái)架構(gòu)如圖1所示。系統(tǒng)同時(shí)具備三維GIS功能（如三維可視化、數(shù)據(jù)庫(kù)管理系統(tǒng)、空間分析等）和無(wú)人機(jī)遙感圖像處理功能（如數(shù)據(jù)預(yù)處理、基于深度學(xué)習(xí)算法的輸電線路缺陷檢測(cè)），可以生成訓(xùn)練報(bào)告、測(cè)試報(bào)告和缺陷識(shí)別結(jié)果評(píng)估報(bào)告。

圖1 系統(tǒng)架構(gòu)圖

4 算法驗(yàn)證

4.1 模型訓(xùn)練

平臺(tái)選擇Yolo5s模型進(jìn)行輸電線路缺陷檢測(cè)，訓(xùn)練數(shù)據(jù)和驗(yàn)證數(shù)據(jù)的比例為9:1，每次輸入網(wǎng)絡(luò)中圖像的數(shù)量為16，初始學(xué)習(xí)參數(shù)為0.01，迭代次數(shù)為500次，IoU閾值設(shè)為0.5。絕緣子自爆類(lèi)缺陷訓(xùn)練結(jié)果如圖2所示。

圖2 絕緣子自爆類(lèi)缺陷訓(xùn)練結(jié)果

4.2 缺陷檢測(cè)

采用前述模型和軟件識(shí)別出的缺陷結(jié)果如圖3所示。其中絕緣子類(lèi)缺陷包括絕緣子自爆、傘裙損壞和放電燒傷；金具類(lèi)缺陷包括防振錘銹蝕、損壞，線夾銹蝕，接線管彎曲；導(dǎo)線類(lèi)缺陷包括導(dǎo)線跳股、纏繞不合格等。

圖3 不同類(lèi)型缺陷識(shí)別結(jié)果

4.3 模型驗(yàn)證

本文對(duì)不同缺陷類(lèi)型的識(shí)別精度進(jìn)行了分析。表2列出了不同類(lèi)型缺陷的識(shí)別精度和識(shí)別召回率。

表2 缺陷檢測(cè)結(jié)果

從表2可以看出，整體缺陷平均識(shí)別精度均值達(dá)93%，鳥(niǎo)巢識(shí)別精度最高，為96%，絕緣子類(lèi)缺陷識(shí)別精度為90%，略低于金具類(lèi)缺陷和導(dǎo)線類(lèi)缺陷的識(shí)別精度，這是因?yàn)榻^緣子缺陷相對(duì)較小，在進(jìn)行多尺度特征提取的過(guò)程中容易漏掉，因此提高絕緣子自爆、燒傷等小目標(biāo)缺陷識(shí)別精度是后續(xù)的重要工作。

5 結(jié)束語(yǔ)

本文基于Yolov5目標(biāo)檢測(cè)算法和無(wú)人機(jī)巡檢獲取的可見(jiàn)光照片，實(shí)現(xiàn)了輸電線路絕緣子、金具、導(dǎo)線等主要缺陷的智能識(shí)別。研究表明，使用文中模型對(duì)輸電線路主要缺陷識(shí)別的平均精度均值可達(dá)93%，平均召回率96%。

本文提出了可泛化的輸電線路多缺陷檢測(cè)模型，研發(fā)了基于無(wú)人機(jī)影像深度學(xué)習(xí)算法的輸電線路主要缺陷智能識(shí)別軟件，為開(kāi)展輸電線路的快速智能巡檢、缺陷檢測(cè)模型的擴(kuò)展和優(yōu)化提供了基礎(chǔ)平臺(tái)。

Yolov5是一種輕量級(jí)的深度學(xué)習(xí)算法，在今后的工作中，可以將訓(xùn)練好的模型嵌入到移動(dòng)端，乃至無(wú)人機(jī)平臺(tái)，實(shí)現(xiàn)邊緣計(jì)算，以進(jìn)一步提高檢測(cè)效率?；诳梢?jiàn)光圖像開(kāi)展深度學(xué)習(xí)缺陷檢測(cè)算法研究，在實(shí)際工程應(yīng)用中，激光點(diǎn)云數(shù)據(jù)對(duì)于通道類(lèi)缺陷（如樹(shù)障等）檢測(cè)具有優(yōu)勢(shì)，紅外圖像對(duì)于溫度異常更為敏感，采用無(wú)人機(jī)搭載多種傳感器，同步獲取多源遙感數(shù)據(jù)，研發(fā)相應(yīng)的缺陷檢測(cè)算法，有望實(shí)現(xiàn)一站式輸電線路智能缺陷檢測(cè)。