基于Cycle-GAN的絕緣子圖像生成方法

王金娜，蘇杰，楊凱，翟永杰，劉洪吉

(1.華北電力大學 自動化系，河北 保定 071003;2.國網(wǎng)河北省電力有限公司檢修分公司，河北 石家莊 050070)

絕緣子是高壓輸電線路重要絕緣控件與支撐部件，同時也是故障多發(fā)部件，其安全性關乎整個電網(wǎng)的安全，因此絕緣子檢測任務至關重要。伴隨智能電網(wǎng)建設的全面推進及電網(wǎng)規(guī)模的不斷擴大，檢測任務量日益龐大，在線檢測技術(shù)需求隨之加大。深度學習作為圖像識別和目標檢測的技術(shù)手段在智能電網(wǎng)建設中具有重要應用研究價值，而在絕緣子檢測中的瓶頸之一就是訓練樣本缺少問題。近年深度學習模型在絕緣子等電力部件檢測領域的成果[1-3]普遍在私有數(shù)據(jù)集上取得，極少或沒有公開數(shù)據(jù)集可供學術(shù)研究，很大程度限制了研究進展，樣本缺少問題不可忽視。

樣本不足是當前深度學習在眾多領域應用中面臨的難題之一，如何在少量樣本基礎上訓練出良好的學習模型是未來重點研究方向之一[4-5]。當前主要以遷移學習、度量學習以及人工樣本數(shù)據(jù)擴充的方式緩解樣本不足問題。其中，遷移學習[6]要求以關聯(lián)大型數(shù)據(jù)集作為輔助提升小數(shù)據(jù)集學習效果，對不易尋求關聯(lián)數(shù)據(jù)集的應用領域存在限制；度量學習[7]從少量樣本學習到一個嵌入空間，容易導致過擬合且運算過程復雜；人工樣本擴增指對現(xiàn)有樣本進行一定人工操作得到新的樣本，較前2種方法，人工樣本更簡單可控，且適用領域較廣，具有重要應用價值。文獻[8]提出采用人工虛擬樣本擴充真實樣本集，結(jié)合平行執(zhí)行可有效優(yōu)化學習模型，同時指出人工樣本用于擴增數(shù)據(jù)具有較高可行性及廣闊應用前景。

基礎人工圖像樣本擴增是對原始圖像進行幾何變換，例如通過平移、翻轉(zhuǎn)及彈性形變等操作獲取新樣本以緩解樣本不足[9-10]和過擬合現(xiàn)象[11]等問題，后衍生出矩形擦除[12]、圖像融合[13-16]以及生成對抗網(wǎng)絡(generative adversarial networks, GANs)生成[17]等獲取新樣本的方式。其中：幾何變換具有操作簡單、易于實現(xiàn)的特點，但不能有效擴增樣本特征多樣性；圖像融合多采用圖像處理算法對原圖進行微小變動或?qū)⒛繕伺c背景合成為新樣本，相較于GANs，在樣本生成前期工作量大且樣本多樣性依賴人工設定；較前2種方法，具備強大生成圖像潛力的GANs對人工樣本擴增技術(shù)具有重要研究價值。

當前，由于GANs在圖像生成中表現(xiàn)仍未成熟，較復雜的圖像生成仍舊依賴龐大數(shù)據(jù)量和較高硬件計算水平[18]，因此無需大量一對一樣本訓練的循環(huán)一致性生成對抗網(wǎng)絡[19](Cycle-GAN)成為生成復雜圖像樣本可供選擇的重要模型之一。在Cycle-GAN的應用中，文獻[20-21]采用Cycle-GAN有效緩解了樣本類別不平衡問題；在輸電線路部件檢測應用中，文獻[22]采用Cycle-GAN輔助探究了遷移學習的有效性，但并未對Cycle-GAN生成的圖像用于擴充的樣本要求、生成樣本是否篩選及其用于擴充的具體效果進行進一步探究。同時Cycle-GAN在絕緣子等輸電線路部件樣本問題中的研究也極少，對于當前絕緣子檢測存在的樣本問題，Cycle-GAN在樣本擴增應用方面的應用探究十分必要。

針對上述問題及分析，本文首先對Cycle-GAN原理進行介紹；隨后分析絕緣子圖像樣本特點，提出基于Cycle-GAN生成絕緣子圖像樣本的方法，通過設計樣本替代和樣本擴充實驗，進一步探究了基于Cycle-GAN生成的絕緣子圖像樣本用于數(shù)據(jù)集擴增的具體效果，證明了本文方法的可行性并分析了采用不同生成圖像擴充量對網(wǎng)絡性能的影響；最后針對Cycle-GAN用于樣本擴充存在的問題進行了分析并對下一步研究工作進行了展望。

1 循環(huán)一致性生成對抗網(wǎng)絡

Cycle-GAN是基于GANs的衍生模型，相較于初始的GAN[23]模型，將輸入的噪聲數(shù)據(jù)改為了圖片數(shù)據(jù)；相較于pix2pix[24]模型，在實現(xiàn)對應風格域之間圖像風格轉(zhuǎn)換時不需要準備成對圖像，結(jié)構(gòu)簡單且對樣本要求相對較低，適用于當前樣本集條件。其對抗思想基于初始的GAN模型對抗訓練策略，Cycle-GAN的提出是用于實現(xiàn)圖像的風格遷移。

最初提出的GAN模型主要由1個生成器和1個判別器構(gòu)成。生成器通過學習真實數(shù)據(jù)和來自判別器的反饋信息，由自由噪聲生成“偽”圖像輸入到判別器以騙過判別器；判別器則通過學習不斷提升判別真?zhèn)蔚哪芰?，以區(qū)分來自生成器的偽圖像；二者經(jīng)過反復對抗學習，直到判別器難以區(qū)分生成器生成的偽圖像和真實圖像，即視為達到納什均衡，此時可認為生成器生成了真假難辨的圖像數(shù)據(jù)。其網(wǎng)絡模型結(jié)構(gòu)如圖1所示，損失函數(shù)L為

(lnPD(x))+Ez～Pz(z)[ln(1-PD(G(z)))].

(1)

式中：z為隨機噪聲，x為真實數(shù)據(jù)，G和D分別為生成模型和判別模型;G(z)為生成模型生成的數(shù)據(jù);PD(x)為輸入到判別模型的數(shù)據(jù)為真實數(shù)據(jù)的概率；x～Pdata(x)表征x服從真實數(shù)據(jù)分布；z～Pz(z)則為z服從隨機噪聲分布；E(·)為期望值。

圖1 GAN模型結(jié)構(gòu)Fig.1 GAN model structure

在初始GAN模型的基礎上，Cycle-GAN首先以給定圖像作為輸入，在保證生成圖像質(zhì)量的同時改善GAN的不穩(wěn)定問題；其次，Cycle-GAN采用1對GAN模型構(gòu)成循環(huán)訓練與生成結(jié)構(gòu)，網(wǎng)絡模型結(jié)構(gòu)如圖2所示，損失函數(shù)為式(5)，其中式(2)和式(3)分別為網(wǎng)絡框架中GAN結(jié)構(gòu)的損失函數(shù)LGAN1和LGAN2。

圖2 Cycle-GAN模型結(jié)構(gòu)Fig.2 Cycle-GAN model structure

LGAN1(G,PY,X,Y)=EY～Pdata(Y)(lnPY)+

EX～Pdata(X)[ln(1-PY(G(X)))].

(2)

LGAN2(F,PX,X,Y)=EX～Pdata(X)(lnPX)+

EY～Pdata(Y)[ln(1-PX(F(Y)))].

(3)

式中：G(X)和F(Y)分別為生成器G和F的生成圖像函數(shù)；DX和DY為分別屬于X域和Y域的判別器函數(shù)，且PX和PY分別為DX和DY判斷圖像來自X域和Y域的概率(其他依次類推)。

循環(huán)一致?lián)p失分別由生成器G和F生成的圖像經(jīng)互相重建，獲取其生成圖像的重建圖像和真實圖像的一致性損失，采用L1距離作為度量，即

Lcyc(G,F)=Lcyc1(G,F)+Lcyc2(G,F)=

EX～P data (X)[‖F(xiàn)(G(X))-X‖L1]+

EY～P data (Y)[‖G(F(Y))-Y‖L1].

(4)

式中Lcyc、Lcyc1、Lcyc2為損失函數(shù)。

最后，將上述損失函數(shù)加權(quán)求和，得到Cycle-GAN損失函數(shù)，即

(5)

式中λ為大于零的實數(shù)，作為一致性損失項的權(quán)值。式(5)前2項為內(nèi)部GAN結(jié)構(gòu)損失，由于二者網(wǎng)絡結(jié)構(gòu)完全相同、權(quán)重相同，因此可將其權(quán)重設置為1，損失函數(shù)僅需調(diào)整λ值來控制重建一致性重視程度。

2 基于Cycle-GAN的絕緣子圖像生成方法

2.1 方法流程

根據(jù)對某省公司提供的無人機航拍絕緣子局部圖像樣本分析可知：絕緣子種類多樣并且角度多變，受光照影響較大，絕緣子本身顏色變化范圍較大，無鮮明風格，從絕緣子著手進行樣本分析不但會加大風格劃分難度，多樣的背景也會削弱風格特征；而絕緣子圖像樣本中，背景占比大且主要以天空和地面為主，風格鮮明，因此可從絕緣子背景入手進行風格域的劃分,進而實現(xiàn)后續(xù)圖像生成。航拍絕緣子圖像的背景可主要分為4個風格域：植被稀少的黃色調(diào)地面背景、植被豐富的綠色調(diào)背景、以天空為背景的藍色背景以及在氣候條件較差的情況下采集到的以灰色調(diào)為主的天空背景。以此為基礎，采用Cycle-GAN完成絕緣子樣本的生成。

本文絕緣子圖像生成方法流程示意如圖3所示，其中圖3(a)為Cycle-GAN生成器訓練階段，圖3(b)為絕緣子圖像生成階段。結(jié)合Cycle-GAN在風格遷移中的循環(huán)一致性特點，將絕緣子圖像樣本分為4個域，使用Cycle-GAN分別對4個域進行不同域間的風格遷移以生成新的絕緣子圖像，不同域間絕緣子樣本可互相遷移。本文以藍、灰、綠和黃色調(diào)背景分別遷移為例進行后續(xù)闡釋與實驗。

2.2 風格域劃分

如圖3(a)所示，在訓練Cycle-GAN前，首先要對絕緣子圖像數(shù)據(jù)集進行不同圖像域的劃分，根據(jù)絕緣子圖像背景特征進行分類，獲取用于圖像域轉(zhuǎn)換的訓練數(shù)據(jù)集。由于絕緣子圖像中背景在圖像中區(qū)域占比較大且色彩特點鮮明，因此基于不同色調(diào)背景訓練樣本域的創(chuàng)建，選擇以圖像顏色特征作為分類依據(jù)，以圖像檢索[25-26]的方式實現(xiàn)絕緣子圖像域的劃分。

圖像處理中較常用的顏色空間是RGB和HSV， HSV色彩空間相較RGB更符合人類對色彩的認知，因此本文采用HSV色彩空間。色彩直方圖作為圖像特征，其算法簡單，運算速度快，且具有尺度、平移和旋轉(zhuǎn)不變性等優(yōu)勢，故采用HSV顏色直方圖，結(jié)合相似性度量對4種色調(diào)背景的絕緣子圖像進行域的劃分。HSV顏色空間的3個分量分別代表顏色H(hue)、飽和度S(saturation)和值(value)，本文中絕緣子圖像主要依據(jù)背景色調(diào)進行域的劃分,故選取色彩分量H值的色彩直方圖作為圖像特征，可有效提升運算速度和抗噪聲能力。

圖3 絕緣子圖像生成流程Fig.3 Insulator image generation process

圖像間相似性度量采用直方圖間歐式距離，通過設置合理的直方圖劃分區(qū)間數(shù)目bins，從4種背景色調(diào)選取具代表性的圖像作為中心樣本，其余圖像則通過色彩直方圖相似性度量判斷其所屬類別實現(xiàn)分類。設圖像A和圖像B，相似性度量為

(6)

式中hAn、hBn分別為圖像A和圖像B在色彩分量直方圖中第n個劃分區(qū)間的值，且n=bins。所獲取fsim值越小，表明圖像相似性較高。對絕緣子圖像進行4種域的分類,創(chuàng)建用于Cycle-GAN生成圖像訓練的子樣本集。參與分類的絕緣子圖像共 2 000張,bins設置為10，經(jīng)分類分別得到黃色調(diào)背景樣本284張、綠色調(diào)樣本668張、藍色調(diào)背景樣本313張以及灰色調(diào)背景樣本735張，對應錯誤率分別為0、0、0.96%及0.40%。當增大bins時，分類錯誤率隨之降低，而運算速度也會隨之下降。

2.3 Cycle-GAN結(jié)構(gòu)

本文采用模型參考ZHU等提出的Cycle-GAN網(wǎng)絡結(jié)構(gòu)，生成器編碼部分由3組卷積層構(gòu)成，轉(zhuǎn)換部分采用9層殘差塊，解碼部分由3組微步幅卷積層構(gòu)成。網(wǎng)絡結(jié)構(gòu)細節(jié)如圖4所示，其中每層網(wǎng)絡下方的結(jié)構(gòu)及運算細節(jié)介紹文字中，字母C表示卷積層，本文卷積層結(jié)構(gòu)采用Convolution-InstanceNorm-ReLU結(jié)構(gòu)；殘差塊由字母R表示，結(jié)構(gòu)采用文獻[27-29]提出的Resnet結(jié)構(gòu)；微步幅卷積層則由U代表，采用fractional-srtided-Convolution-InstanceNorm-ReLU結(jié)構(gòu)。字母后首位數(shù)字表征該層采用的卷積核尺寸，s-x表示步幅為x，末尾的數(shù)字則代表卷積核數(shù)目，例如C3s-2-64表示該組卷積層卷積核尺寸為3×3，卷積核數(shù)目為64，步幅為2。判別器第一組卷積層不采用InstanceNorm運算層。

生成器網(wǎng)絡結(jié)構(gòu)如圖4(a)所示，輸入絕緣子圖像尺寸為256×256×3，經(jīng)3組卷積層運算，輸出尺寸為64×64×128，通過轉(zhuǎn)換部分9層殘差塊運算，最后經(jīng)由3組微步幅卷積層，得到256×256×3的生成圖像。判別器由5組卷積層構(gòu)成，真實圖像和生成圖像作為輸入，尺寸固定為256×256×3，經(jīng)由5組卷積層運算，最后輸出圖像判定為真實圖像的概率值，網(wǎng)絡結(jié)構(gòu)如圖4(b)所示。

圖4 本文Cycle-GAN結(jié)構(gòu)Fig.4 Cycle-GAN structureproposed in this paper

2.4 分類網(wǎng)絡

分類網(wǎng)絡對含絕緣子的圖像和不含絕緣子的圖像進行分類，分類網(wǎng)絡結(jié)構(gòu)如圖5所示。其中，卷積層采用結(jié)構(gòu)為Convolution-BatchNorm- LeakyReLU-Dropout，由字母C代表。網(wǎng)絡由4組卷積層和1層全連接層構(gòu)成，輸入的圖像尺寸恒為256×256×3，輸出為類別標簽1和2，1即判定圖像含絕緣子，2即判定圖像不含絕緣子。

圖5 分類網(wǎng)絡結(jié)構(gòu)Fig.5 Classification network architecture

3 方法驗證與分析

3.1 數(shù)據(jù)集

實驗所用絕緣子圖像樣本共2 500張，含玻璃、陶瓷和復合絕緣子等3類圖像，其中500張作為測試樣本，2 000張用于訓練Cycle-GAN及分類網(wǎng)絡。

參照圖3(a)所示的訓練流程，隨機選取子樣本集中10%作為測試集，其余樣本用于訓練。當2組Cycle-GAN迭代15 000次時，測試圖像生成效果較佳，保存生成器參數(shù)用于絕緣子圖像生成。參照圖3(b)所示的生成流程，對4種色調(diào)背景的絕緣子圖像進行風格域轉(zhuǎn)換。經(jīng)訓練Cycle-GAN，共生成絕緣子圖像2 000張，生成圖像用于樣本擴充。4種不同色調(diào)背景絕緣子生成圖像如圖6所示，其中第1列和第3列為真實圖像，第2列和第4列為對應域生成圖像。

圖6 部分生成圖像示例Fig.6 Some examples of generated images

對于分類網(wǎng)絡訓練和測試部分，將含絕緣子的圖像作為正樣本，不含絕緣子的圖像作為負樣本，正、負樣本比例始終保持1比1。

3.2 驗證環(huán)境及驗證內(nèi)容

驗證實驗平臺的硬件為GPU-GTX1080Ti，操作系統(tǒng)為64位ubuntu18，算法基于Tensorflow框架，版本為1.10.0，編程語言為Python3.5.2。

實驗旨在驗證和探究采用本文方法生成的絕緣子圖像樣本對網(wǎng)絡性能的具體影響，分2部分內(nèi)容：①樣本替換實驗。以2 000為正樣本量基數(shù)，按基數(shù)的10%逐次遞減真實圖像占比分別訓練分類網(wǎng)絡，獲取網(wǎng)絡測試準確率及常用網(wǎng)絡性能評價指標Fmeasure值，測得結(jié)果作為無替換組；作為對照，以2 000為正樣本量基數(shù)，按基數(shù)的10%逐次遞減真實圖像占比的同時，采用生成圖像替換真實正樣本，使訓練網(wǎng)絡的正樣本量始終保持2 000，獲取測試準確率和Fmeasure值，測得結(jié)果為替換組。②擴充實驗。分別以1 000、1 250、1 500為真實正樣本量基數(shù)，按基數(shù)的10%逐次擴增生成圖像用于訓練網(wǎng)絡獲取測試準確率和Fmeasure值，得到3組實驗結(jié)果以分析不同擴充比例對網(wǎng)絡性能的影響。最后采用3個經(jīng)典分類網(wǎng)絡進行擴充實驗進一步驗證實驗結(jié)果。迭代1 000次后獲取網(wǎng)絡測試準確率及Fmeasure進行對比分析。測試準確率和Fmeasure均取后200次迭代結(jié)果平均值，其中

(7)

式中:P為準確率，表征分類的有效性；R為召回率，表征對正樣本測試的完整性。

3.3 實驗結(jié)果與分析

3.3.1 樣本替換實驗

選取樣本最高替換比例為50%，確保網(wǎng)絡訓練真實樣本占主導。數(shù)據(jù)結(jié)果保留2位小數(shù)，見表1。

表1 替換實驗結(jié)果Tab.1 Substitution experiment results

從表1結(jié)果可得:隨著真實樣本占比的減小， 無替換和替換數(shù)據(jù)的網(wǎng)絡性能均隨之下降,其中無替換組結(jié)果表明訓練樣本量會直接影響網(wǎng)絡性能；替換組數(shù)據(jù)則表明生成圖像并不能完全替換真實圖像，準確率均不低于無替換組的準確率；Fmeasure則在真實樣本占比不低于55%時，替換組的Fmeasure均不低于無替換組的Fmeasure，表明適量擴增生成樣本能夠緩解真實樣本不足帶來的性能損失。將數(shù)據(jù)結(jié)果繪制成折線圖，如圖7所示。

圖7橫坐標表示樣本量以2 000為基數(shù)的真實正樣本占比，圖7(a)顯示在真實樣本占比為60%左右時，替換樣本對網(wǎng)絡性能下降緩解幅度較大；圖7(b)顯示在真實樣本占比約55%以上時，替換樣本組的Fmeasure值都有提升。

綜上所述，生成圖像可一定程度上替代真實圖像用于樣本擴充具有可行性，但生成圖像不能完全替代真實圖像，不同生成圖像和真實圖像數(shù)量之比對網(wǎng)絡性能好壞有不同影響。

3.3.2 樣本擴充實驗

擴充實驗的設置旨在探究生成圖像擴充比例對網(wǎng)絡性能的影響，實驗結(jié)果保留4位有效數(shù)字，結(jié)果如圖8所示。圖8(a)和圖8(b)分別給出了3組初始測試數(shù)據(jù)比例，3組數(shù)據(jù)測試結(jié)果與真實正樣本基數(shù)1 000、1 250、1 500一一對應。

圖7 替換實驗結(jié)果Fig.7 Substitution experimental results

圖8 擴充實驗結(jié)果Fig.8 Expanded experimental results

由圖8(a)可知：隨著擴充比例的增大，準確率呈現(xiàn)先減小再增大再減小的趨勢。生成樣本擴充比例在20%至50%時，測試準確率均有提升；擴充比例從30%到40%階段準確率提升幅度較大，3組峰值均在這一范圍，其中基數(shù)為1 000和1 250的峰值均超過基數(shù)為1 500的峰值；比例低于20%或高于50%時，測試準確率存在下降趨勢。由圖8(b)可知：Fmeasure呈現(xiàn)先增大后減小趨勢，性能提升峰值在30%到50%；隨著基數(shù)增加，F(xiàn)measure提升幅度隨之增加。因此，在確保Fmeasure不下降的情況下，擴充比例設定在40%～50%時，網(wǎng)絡性能提升效果較佳。

為進一步驗證結(jié)果，分別采用ResNet50、Inception_v3及DenseNet121以真實正樣本基數(shù)1 000進行樣本擴充實驗，實驗結(jié)果如圖9所示。

圖9 經(jīng)典網(wǎng)絡擴充實驗結(jié)果Fig.9 Expanded experimental results of classic models

由圖9(a)可看出:隨著生成樣本擴充比例的增大，3個網(wǎng)絡的測試準確率均呈現(xiàn)先降低后提升最后再呈現(xiàn)下降的趨勢。其中，擴充比例在30%～60%時，ResNet50和DenseNet121測試準確率均高于未擴充初值;Inception_v3測試準確率則在擴充比例超過約45%時超過初值,且3種網(wǎng)絡準確率測試峰值均落于40%～50%范圍內(nèi)。圖9(b)則顯示：3種經(jīng)典網(wǎng)絡的Fmeasure值變化趨勢較緩，呈現(xiàn)出同測試準確率類似趨勢；擴充比例在40%～70%時，F(xiàn)measure均較初值有所提升，且擴充比例在40%～60%之間時Fmeasure值較高。綜上，若采用Cycle-GAN生成的絕緣子圖像樣本直接用于樣本擴充，當擴充比例在40%～50%時可緩解樣本不足問題，且可以有效提升網(wǎng)絡性能。

4 結(jié)論

本文將視角從絕緣子本身轉(zhuǎn)變到背景色彩特征，對絕緣子圖像進行了4種色調(diào)風格域的劃分， 利用訓練過的Cycle-GAN實現(xiàn)了絕緣子圖像樣本的生成，并對生成圖像的具體擴充效果進行了驗證與探究。實驗表明：本文方法用于絕緣子樣本擴增具有可行性，當擴充比例在40%～50%時，擴充效果較佳，生成樣本對真實樣本的可替代性能夠一定程度上緩解輸電線路絕緣子樣本缺乏問題；但難以避免的不逼真生成圖像及GAN生成過程中添加的噪聲信息均可能對特征學習產(chǎn)生負面影響。不合理的生成樣本擴充量不但會增加運算負荷，也可能對網(wǎng)絡訓練產(chǎn)生反效果，目前GAN生成圖像篩選并無統(tǒng)一標準；因此，下一步工作將針對絕緣子生成圖像的篩選方式進行進一步探究，避免人為篩選造成的主觀因素影響，提升生成圖像整體質(zhì)量，為后續(xù)遠距離航拍絕緣子標注數(shù)據(jù)的生成和工程應用奠定基礎，有效緩解絕緣子樣本不足問題。