唐小煜，黃進(jìn)波，馮潔文，陳錫和

(廣東省量子調(diào)控工程與材料重點實驗室∥廣東省光電檢測儀器工程技術(shù)研究中心∥物理國家級實驗教學(xué)示范中心∥華南師范大學(xué)物理與電信工程學(xué)院，廣州 510006)

絕緣子是一種特殊的絕緣部件，實現(xiàn)電氣絕緣和機械固定，保證輸電線路的可靠運行，在架空輸電線路中起到重要作用. 近年來，無人機技術(shù)已被廣泛應(yīng)用于電力設(shè)施及線路的巡檢任務(wù)中，但由于無人機拍攝圖像數(shù)目多，人工標(biāo)注工作量大、效率低，且人眼的疲勞容易導(dǎo)致漏標(biāo)或錯標(biāo). 鑒于此，開展對絕緣子采集圖像進(jìn)行自動化識別與缺陷檢測的研究具有重要意義.

在復(fù)雜背景絕緣子串的分割方面，黃新波等[1]提出基于紅藍(lán)色差和改進(jìn)K-means算法的航拍絕緣子分類識別方法；劉永權(quán)等[2]提出一種結(jié)合顏色特征和形狀特征的支持向量機圖像處理方法，實現(xiàn)了對絕緣子的分割. 上述基于傳統(tǒng)分割技術(shù)采用特征提取器結(jié)合分類器的方法，不僅識別速度較慢，而且精度較低. 梁耀等[3]針對復(fù)雜背景下的圖像分割問題，利用模糊高斯混合模型和樹葉圖像的顏色信息提出Grab Cut算法實現(xiàn)自動分割，但不適合對多張獨立目標(biāo)的圖像分割. 近年來，深度學(xué)習(xí)已被應(yīng)用于圖像分割領(lǐng)域，高金峰等[4]使用Faster R-CNN[5]模型實現(xiàn)對絕緣子串的語義分割，該方法提高了識別精度，但由于網(wǎng)絡(luò)參數(shù)冗余，導(dǎo)致訓(xùn)練時間長，圖像分割精度仍有待提升.

在自爆絕緣子缺陷的檢測方面，陳文浩等[6]基于傳統(tǒng)的目標(biāo)檢測算法，將圖像RGB的顏色空間轉(zhuǎn)換為LAB的顏色空間來避免光照影響，采用最大類間方差法進(jìn)行閾值分割，然后進(jìn)行形態(tài)學(xué)運算，通過獲取絕緣子對應(yīng)位置的像素值來定位絕緣子自爆點的坐標(biāo). 在深度學(xué)習(xí)方面，王夢[7]通過訓(xùn)練基于vgg16和Resnet-101的Faster R-CNN模型，采用基于連通區(qū)域、直線擬合、形態(tài)學(xué)圖像處理方法，實現(xiàn)了對絕緣子定位和自爆缺陷的檢測，缺陷檢出率為0.89，檢測精度有待提高.

進(jìn)一步探究更優(yōu)的絕緣子分割提取和缺陷檢測方案十分必要. U-net[8]模型常被用于醫(yī)學(xué)圖像的語義分割，特征融合算法因而具有很高的分割精度. 而航拍絕緣子的圖像與醫(yī)學(xué)影像的圖像特點有一定的相似性，因此U-net模型可被用于絕緣子的高精度提取. 在目標(biāo)檢測領(lǐng)域中，YOLO模型[9]因具有較高的檢測速度、良好的檢測精度和兼容多種硬件平臺等優(yōu)點而備受青睞. 航拍自爆絕緣子的實時檢測對檢測速度提出了很高的要求，因此，本文采用YOLOv4[10]模型實現(xiàn)了對自爆絕緣子缺陷的高精度自動檢測.

1 基于U-net的絕緣子分割算法

1.1 U-net基本原理

基于深度學(xué)習(xí)的圖像分割算法主要有2種核心框架：一種是基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)特征編碼對圖象進(jìn)行特征提取的框架；另一種是基于全卷積網(wǎng)絡(luò)(FCN)的上采樣/反卷積分割框架. 前者在卷積和池化過程中易丟失圖像細(xì)節(jié)，且采用全連接層獲取類別概率的方式導(dǎo)致不能標(biāo)識每個像素類別，因此無法做到精確分割；而后者在CNN基礎(chǔ)上把全連接層改為卷積層，在多次池化操作前加入了上采樣，解決了精確分割問題，但邊緣提取效果不佳.

U-net借鑒了FCN網(wǎng)絡(luò)，該網(wǎng)絡(luò)結(jié)構(gòu)包括收縮路徑和擴展路徑2個對稱部分：收縮路徑的網(wǎng)絡(luò)與普通卷積網(wǎng)絡(luò)相同，使用3×3的卷積和池化下采樣，得到淺層特征和深層特征，捕捉像素間的關(guān)系；擴展路徑的網(wǎng)絡(luò)則與收縮路徑網(wǎng)絡(luò)基本對稱，使用3×3卷積和上采樣，上采樣時通過級聯(lián)的方式將深層特征和淺層特征結(jié)合起來，以實現(xiàn)對圖像中待分割部分進(jìn)行精準(zhǔn)定位的目的. 這種特征融合操作充分利用了淺層特征和深層特征，可達(dá)到更好的分割效果(圖1).

圖1 U-net模型框架

1.2 U-net訓(xùn)練和優(yōu)化

1.2.1 絕緣子分割評價指標(biāo) 對絕緣子串珠分割精度采用 Dice系數(shù)進(jìn)行評價. Dice系數(shù)是一種集合相似度的度量函數(shù)，如果Dice接近1則說明預(yù)測結(jié)果與專業(yè)人士標(biāo)注的結(jié)果相符. 計算公式如下：

(1)

其中，A為專業(yè)人士標(biāo)注的區(qū)域，B為算法分割所得到的區(qū)域.

1.2.2 模型訓(xùn)練框架及參數(shù)設(shè)置 網(wǎng)絡(luò)模型參數(shù)的設(shè)置影響網(wǎng)絡(luò)的性能以及訓(xùn)練速度. U-net模型采用pytorch框架搭建. 參數(shù)設(shè)置：訓(xùn)練批量大小為4，學(xué)習(xí)率為10×10-6，網(wǎng)絡(luò)分辨率為512×512，最大批數(shù)為50.

1.2.3 模型訓(xùn)練優(yōu)化 實驗中的絕緣子航拍圖像目標(biāo)小，背景復(fù)雜，邊界模糊，為了獲取較多的高分辨率信息，對圖像進(jìn)行優(yōu)化調(diào)整：

(1)在每次卷積計算后進(jìn)行批規(guī)范化(Batch Normalization)，以避免梯度彌散，提高模型的泛化能力，使網(wǎng)絡(luò)允許更高的學(xué)習(xí)速率從而加速收斂.

(2)采用二元交叉熵?fù)p失函數(shù)(BCEWithLogitsLoss)，以提高損失數(shù)值的穩(wěn)定性. 計算公式：

(2)

ln=-Wn[yn·lgσn+(1-yn)·lg(1-σn)],

(3)

其中，n為批量大小，xn為輸入矩陣，yn為目標(biāo)矩陣，Wn為權(quán)重矩陣，ln為損失輸出值.

(3)采用RMSprop優(yōu)化器，用以修正擺動幅度，提高網(wǎng)絡(luò)函數(shù)的收斂速度.

(4)為充分利用高分辨率圖像的像素信息，實驗中通過滑動窗口將一張完整圖像切分為若干子圖，采樣后將子圖送入U-net模型進(jìn)行預(yù)測,然后對預(yù)測的子圖進(jìn)行形態(tài)學(xué)濾波，最后合并子圖，實現(xiàn)更高精度的分割(圖2).

圖2 絕緣子串珠分割的流程圖

1.2.4 “過擬合”問題的改進(jìn) (1)對輸入圖像進(jìn)行歸一化處理，即利用圖像的不變矩陣尋找一組參數(shù)，使其能夠消除其他函數(shù)對圖像變換的影響，轉(zhuǎn)換成唯一的標(biāo)準(zhǔn)形式以抵抗仿射變換，歸納統(tǒng)一樣本的統(tǒng)計分布性. (2)在神經(jīng)網(wǎng)絡(luò)中添加丟棄機制(dropout)，dropout是指在網(wǎng)絡(luò)訓(xùn)練期間根據(jù)一定的概率將神經(jīng)單元暫時從網(wǎng)絡(luò)中失活. 實驗發(fā)現(xiàn)，當(dāng)dropout 概率等于0.5時的擬合效果最好. (3)為數(shù)據(jù)集增加負(fù)樣本，其作用是提高模型的糾錯能力，將引入負(fù)樣本和不含負(fù)樣本的數(shù)據(jù)集分別送入模型訓(xùn)練. 測試集輸出結(jié)果(圖3)表明：在引入負(fù)樣本后的模型在測試集中表現(xiàn)良好，但不含負(fù)樣本的模型在測試集中表現(xiàn)不佳，出現(xiàn)“過擬合”問題.

圖3 不同數(shù)據(jù)集的分割結(jié)果

2 基于YOLOv4的絕緣子缺陷檢測

2.1 YOLOv4基本原理

基于深度學(xué)習(xí)的目標(biāo)檢測算法分為兩大類：一類是two-stage檢測算法(R-CNN)；另一類是one-stage檢測算法(YOLO系列). 前者在檢測精度上占優(yōu)勢，后者則在檢測速度上占優(yōu)勢. YOLO的核心思想是將目標(biāo)檢測視為單一的回歸問題，直接在輸出層回歸邊框坐標(biāo)和所屬類別. 將輸入圖像統(tǒng)一成448 px×448 px的尺寸后送入CNN網(wǎng)絡(luò)進(jìn)行特征提取和目標(biāo)預(yù)測. 另外，以往的目標(biāo)檢測多采用滑動窗口技術(shù)，將圖像目標(biāo)檢測問題轉(zhuǎn)化為圖像分類問題，缺點是窗口尺寸不一致且數(shù)量大，運算量龐大. 而YOLO則將輸入圖像分成S×S個網(wǎng)格，每個網(wǎng)格用于預(yù)測物體中心落入該網(wǎng)格的物體，該做法大大減少了模型的運算量，進(jìn)一步提高模型的檢測速度.

YOLOv4相較YOLO以往版本更新了眾多改進(jìn)方法(圖4)，其骨干網(wǎng)絡(luò)采用CSPDarknet53[11]，并在CSPDarknet53上增加了深卷積網(wǎng)絡(luò)的空間金字塔池(SPP)塊[12]，共包含72個卷積層和1個全連接層，采用3×3卷積核. 針對不同級別的檢測器，挑選PAN[13]作為對不同骨干層進(jìn)行參數(shù)聚合的方法，并將PAN快捷連接的相加改為串聯(lián). 優(yōu)化方法還包括馬賽克數(shù)據(jù)增強、提出了自對抗訓(xùn)練，即讓神經(jīng)網(wǎng)絡(luò)反向更新圖像，對圖像進(jìn)行改變擾動后繼續(xù)訓(xùn)練、采用Mish激活函數(shù)和優(yōu)化損失函數(shù)等操作，使其在目標(biāo)檢測中具有更好的表現(xiàn)能力.

圖4 YOLOv4 框架

2.2 YOLOv4訓(xùn)練和檢測

2.2.1 絕緣子缺陷檢測評價指標(biāo) 采用平均重疊度IOU 評價模型預(yù)測邊界框的精度. IOU的意義是候選框C與原標(biāo)記框G的重疊度，IOU越接近1表示預(yù)測結(jié)果越接近正確結(jié)果. 計算公式：

(4)

2.2.2 模型訓(xùn)練及參數(shù)設(shè)置 YOLOv4模型采用基于darknet框架. 本文訓(xùn)練均使用GPU為NVIDIA GTX 1080Ti，CPU為Intel i7-7800X，內(nèi)存為16 G的硬件環(huán)境. 訓(xùn)練參數(shù)設(shè)置如下：訓(xùn)練批尺寸為64，學(xué)習(xí)率為10×10-3，最大迭代次數(shù)為4 000. 選取分辨率864 px×864 px的訓(xùn)練網(wǎng)絡(luò). 同時在訓(xùn)練時引入與正樣本相當(dāng)?shù)呢?fù)樣本，一定程度提高了模型的魯棒性，訓(xùn)練過程如圖5所示.

圖5 訓(xùn)練過程損失值和均值平均精度曲線

均值平均精度(Mean Average Precision,MAP)是目標(biāo)檢測領(lǐng)域的一個重要衡量指標(biāo)，表示對目標(biāo)檢測中每個類別的平均精確率求和后再取平均. 結(jié)果表明：采用YOLW4模型可使數(shù)據(jù)集的訓(xùn)練損失迅速收斂,map達(dá)到較高水平.

2.2.3 檢測優(yōu)化 針對無人機航拍的絕緣子圖像分辨率高、背景復(fù)雜、目標(biāo)小等特點，本文提出“切分-識別-合成”檢測方案(圖6)，以解決預(yù)測圖像直接輸入YOLOv4模型時被嚴(yán)重壓縮的問題，以及特征提取效果不理想導(dǎo)致目標(biāo)檢測精度低的問題. 選擇適合模型檢測的滑窗尺寸，對高分辨圖像進(jìn)行切分操作，滑窗移動步長為窗口邊長的一半，即相鄰滑窗重疊率(Overlap Rate)為0.5，確保特征出現(xiàn)在切割邊緣時,缺陷絕緣子能在某個鄰接滑窗被完整保留，從而避免因切割被破壞而無法識別的情況. 將切分的子圖分別送入模型進(jìn)行檢測，可識別自爆絕緣子區(qū)域，并獲得對應(yīng)的預(yù)測邊界框坐標(biāo). 通過保留置信度在0.8以上的邊界框，對每個子圖預(yù)測的結(jié)果進(jìn)行篩選，再根據(jù)預(yù)測邊界框的相對位置、大小等信息，

圖6 絕緣子缺陷檢測流程圖

對邊界框回歸和坐標(biāo)修正，剔除屬于同一缺陷絕緣子的重復(fù)邊界框，保留最優(yōu)預(yù)測結(jié)果，將結(jié)果邊界框標(biāo)記在原圖中.

3 實驗結(jié)果分析

3.1 數(shù)據(jù)集處理結(jié)果

本文數(shù)據(jù)來源于第八屆泰迪杯全國大學(xué)生數(shù)據(jù)挖掘挑戰(zhàn)賽，由廣州智能裝備研究院有限公司提供(https:∥www.tipdm.org/bdrace/tzbstysj/20200228/1637.html). 數(shù)據(jù)包含無人機航拍原圖、對應(yīng)的絕緣子掩模圖和絕緣子自爆標(biāo)簽. 對源數(shù)據(jù)進(jìn)行如下操作，以獲取訓(xùn)練樣本.

(1)對源數(shù)據(jù)集進(jìn)行2次不同尺度的滑窗切分，切分示意圖如圖7所示. 滑動窗口大小分別為1 024 px×1 024 px與2 048 px×2 048 px，相鄰滑窗重疊率為0.5. 一方面擴充數(shù)據(jù)集，另一方面在訓(xùn)練時充分利用圖像的像素信息.

圖7 滑動窗口切分示意圖

(2)對切分后的掩模圖進(jìn)行連通域計算，對切分后的絕緣子自爆標(biāo)簽進(jìn)行自爆區(qū)邊界完整性的檢測，剔除因滑窗切割而導(dǎo)致絕緣子自爆區(qū)域結(jié)構(gòu)破壞的圖像，同時將篩選后的切割圖像、掩模圖和絕緣子自爆標(biāo)簽對應(yīng)保存.

(3)將上述得到的切割圖像、掩模圖和絕緣子自爆標(biāo)簽，對圖像進(jìn)行隨機縮放、平移、翻折、旋轉(zhuǎn)以及亮度調(diào)節(jié)等基本變換，進(jìn)行數(shù)據(jù)的增強、數(shù)據(jù)集的擴充操作.

(4)對增強后的圖像進(jìn)行正樣本和負(fù)樣本數(shù)量的均衡操作，將得到的照片劃分為訓(xùn)練集、驗證集和測試集.

通過數(shù)據(jù)分析和處理，累計獲得了總計4 337的樣本數(shù)據(jù)，將其用于絕緣子的語義分割訓(xùn)練，其中包含2 311個正樣本(包含絕緣子區(qū)域的圖像)和2 026個負(fù)樣本(不包含絕緣子區(qū)域的圖像)；獲得總計4 296的樣本數(shù)據(jù)，將其用于絕緣子的自爆缺陷識別，其中包含2 372個正樣本和1 924個負(fù)樣本.

3.2 優(yōu)化U-net的絕緣子分割結(jié)果

在基本模型訓(xùn)練參數(shù)相同的情況下，模型優(yōu)化前和優(yōu)化后訓(xùn)練過程如圖8所示. 經(jīng)算法改進(jìn)和增強后，數(shù)據(jù)集訓(xùn)練損失曲線震蕩減輕并得到較好的收斂. 為評估優(yōu)化后U-net模型的性能，本文在包含缺陷自爆區(qū)和復(fù)雜場景的圖像中，將FCN模型與優(yōu)化后的U-net模型實驗結(jié)果進(jìn)行對比(表1)，得到兩者的分割結(jié)果(圖9).

當(dāng)缺陷區(qū)域背景較復(fù)雜、光線較暗時，F(xiàn)CN對絕緣子區(qū)域不能較好響應(yīng)，而U-net能精確地完成分割；當(dāng)圖像出現(xiàn)復(fù)雜的前景與背景時，U-net能較好地完成對絕緣子的分割，而FCN模型對復(fù)雜區(qū)域的邊界分割結(jié)果較差. 與FCN模型的性能相比，U-net模型能較好地應(yīng)對不同環(huán)境(光線、復(fù)雜的前景與背景)，具有較強的泛化能力.

圖8 訓(xùn)練損失曲線與測試Dice系數(shù)曲線

表1 FCN和優(yōu)化后U-net的效果對比Table 1 The comparison of results between the FCN model and the optimized U-net model

圖9 FCN模型與優(yōu)化后U-net模型的分割效果對比

3.3 優(yōu)化YOLOv4的絕緣子缺陷檢測結(jié)果

為驗證優(yōu)化后YOLOv4的有效性，將其與優(yōu)化前的YOLOv4和Faster-RCNN進(jìn)行對比(表2). 復(fù)雜背景下YOLOv4部分檢測效果如圖10所示，紅色框為預(yù)測結(jié)果，綠色框為正確結(jié)果.

表2 檢測優(yōu)化前后的性能

圖10 優(yōu)化后測試的效果圖

從表2的識別準(zhǔn)確率和平均IOU可見，經(jīng)過檢測優(yōu)化后的YOLOv4在識別精度上大幅提升，且檢測速度遠(yuǎn)遠(yuǎn)快于Faster-RCNN；檢測優(yōu)化后的YOLOv4也能很好應(yīng)對復(fù)雜背景的絕緣子圖像的檢測(圖10)，進(jìn)一步驗證了本文模型的可靠性與實用性.

4 結(jié)論

針對高分辨率航拍圖像中絕緣子的分割提取和自爆缺陷檢測的問題，提出了基于深度學(xué)習(xí)模型的解決方案. 該方案包括：(1)采用優(yōu)化后的基于U-net模型獲取絕緣子區(qū)域掩模圖像，實現(xiàn)絕緣子的識別與提??；(2)構(gòu)建基于YOLOv4模型獲取缺陷絕緣子的位置信息，實現(xiàn)自爆絕緣子的檢測. 結(jié)果表明：本方案識別精度和模型魯棒性良好，采用第八屆泰迪杯全國大學(xué)生數(shù)據(jù)挖掘挑戰(zhàn)賽的測試數(shù)據(jù)集驗證，本模型具有可靠性和實用性. 該成果獲得了2020年第八屆泰迪杯數(shù)據(jù)挖掘挑戰(zhàn)賽全國一等獎. 該方案對實現(xiàn)電力系統(tǒng)運維的智能化、保證電力系統(tǒng)的安全和穩(wěn)定提供了參考，具有較高的應(yīng)用價值.