改進(jìn)ESRGAN的電力設(shè)備紅外圖像超分辨率重建方法

韓 龍, 劉凱雷, 左 超, 王超群, 蘇勛文

(黑龍江科技大學(xué) 電氣與控制工程學(xué)院, 哈爾濱 150022)

0 引 言

在電力設(shè)備檢修運(yùn)維中,利用紅外成像儀器對(duì)被測(cè)設(shè)備進(jìn)行故障診斷是一種非常有效的方法[1]。但紅外成像儀器受外界環(huán)境及自身器件等因素影響,采集得到的電力設(shè)備紅外圖像存在分辨率低、目標(biāo)設(shè)備與背景對(duì)比度差等缺點(diǎn),使得基于紅外圖像的電力設(shè)備故障診斷結(jié)果可信度較低。

為了提高紅外圖像質(zhì)量,需要將低分辨率圖像進(jìn)行超分辨重建為高分辨率圖像[2-3]。早期的圖像超分辨率重建以插值和重構(gòu)方法為主,這些方法重建之后的高分辨率圖像輪廓不夠明顯、邊緣比較模糊、設(shè)備的紋理信息得不到很好地體現(xiàn) 。

隨著深度學(xué)習(xí)技術(shù)的迅速發(fā)展,利用深度學(xué)習(xí)進(jìn)行圖像重建已經(jīng)成為當(dāng)前研究的熱點(diǎn)。Dong等[4]提出了超分辨率卷積神經(jīng)網(wǎng)絡(luò)算法重建超分辨率,采用3層卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行超分辨率重建,提高了重建圖像的質(zhì)量。但SRCNN算法在網(wǎng)絡(luò)訓(xùn)練過(guò)程中需要學(xué)習(xí)圖像的完整信息,隨著網(wǎng)絡(luò)的加深,網(wǎng)絡(luò)變的不易收斂,伴有梯度消失的危險(xiǎn)[5]。He等[6]提出了深度殘差收縮網(wǎng)絡(luò)(ResNet)算法,解決了隨著網(wǎng)絡(luò)模型層數(shù)的不斷加深而出現(xiàn)的梯度消失問(wèn)題。Kim等[7]提出了深度遞歸卷積網(wǎng)絡(luò)(DRCN)算法,使用深度遞歸的方法,在卷積層共享參數(shù),克服了遞歸卷積網(wǎng)絡(luò)收斂困難的缺點(diǎn)。但這些基于深度卷積神經(jīng)網(wǎng)絡(luò)技術(shù)在復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)中并不能很好地還原出紅外圖像的細(xì)節(jié)信息。

隨著生成式對(duì)抗網(wǎng)絡(luò)(GAN)技術(shù)的普及,諸多學(xué)者將GAN技術(shù)應(yīng)用于紅外圖像的超分辨率重建中[8-11]。Denton等[12]提出了拉普拉斯生成對(duì)抗網(wǎng)絡(luò)(LAPGAN),在拉普拉斯網(wǎng)絡(luò)金字塔結(jié)構(gòu)上進(jìn)行卷積運(yùn)算生成高分辨率圖像,該方法大幅度降低了生成網(wǎng)絡(luò)直接生成高分辨率圖像的難度。Ledig等[13]給出了超分辨率生成對(duì)抗網(wǎng)絡(luò)(SRGAN),通過(guò)判別網(wǎng)絡(luò)和生成網(wǎng)絡(luò)不斷交替對(duì)抗訓(xùn)練,引入感知損失函數(shù),提高了重建圖像的紋理細(xì)節(jié)清晰度。高偉等[14]利用SRGAN算法重建絕緣子缺陷高分辨率圖像,突出了圖像中的細(xì)節(jié)特征,使目標(biāo)物體的紋理更為清晰。SRGAN算法雖然較好地還原出圖像中的細(xì)節(jié),使其更接近于人的視覺(jué)觀感,但是在生成高分辨率圖像上會(huì)產(chǎn)生偽影,影響圖像質(zhì)量。Wang等[15]在SRGAN算法基礎(chǔ)上提出增強(qiáng)的超分辨率生成對(duì)抗網(wǎng)絡(luò)(ESRGAN),ESRGAN算法在其生成網(wǎng)絡(luò)的結(jié)構(gòu)上進(jìn)行改進(jìn),以去除BN層的RRDB作為基本框架,加入知覺(jué)損失函數(shù),從而提高了圖像的超分辨率。但ESRGAN算法還存在重建的細(xì)節(jié)紋理模糊、偽影、與實(shí)際內(nèi)容不符等缺點(diǎn)。

針對(duì)ESRGAN的不足,筆者對(duì)ESRGAN算法模型結(jié)構(gòu)進(jìn)行改進(jìn),將改進(jìn)ESRGAN應(yīng)用于電力設(shè)備紅外圖像重建中,以期得到較好的主觀和客觀評(píng)價(jià)效果。

1 ESRGAN算法模型

ESRGAN對(duì)SRGAN的每個(gè)關(guān)鍵組成部分進(jìn)行研究,發(fā)現(xiàn)SR圖像與HR圖像相比缺少的是高頻信息,而且在細(xì)節(jié)信息上存在偽影,所以在SRGAN網(wǎng)絡(luò)結(jié)構(gòu)上進(jìn)行如下改進(jìn)。

整體的網(wǎng)絡(luò)結(jié)構(gòu)采用SRResNet結(jié)構(gòu),移除網(wǎng)絡(luò)單元的BN層,如圖1所示。在網(wǎng)絡(luò)結(jié)構(gòu)上引入了RRDB來(lái)代替SRGAN中的resblock,增加了residual scaling,消除部分因移除BN層對(duì)深度網(wǎng)絡(luò)訓(xùn)練穩(wěn)定性的影響,更加有利于恢復(fù)紋理、去除噪聲,ESRGAN生成器結(jié)構(gòu),如圖2所示。

圖1 移除BN層Fig. 1 Remove BN layer

圖2 ESRGAN生成器結(jié)構(gòu)Fig. 2 ESRGAN generator structure

對(duì)抗網(wǎng)絡(luò)的判別器引入了真實(shí)圖像和生成圖像間的相對(duì)距離,由標(biāo)準(zhǔn)二分類的分類器改為相對(duì)分類器。

感知損失使用VGG網(wǎng)絡(luò)激活層前的特征圖,為紋理恢復(fù)和亮度一致性提供有效的約束。

為了消除偽影并平衡感知質(zhì)量和PSNR等評(píng)價(jià)值,使用網(wǎng)絡(luò)插值技術(shù)。

2 改進(jìn)的ESRGAN算法

ESRGAN算法重建后的紅外高分辨率圖像仍然存在高頻細(xì)節(jié)放大后模糊、重建后的圖像存在鋸齒狀的邊緣、有偽影和振鈴現(xiàn)象和客觀評(píng)價(jià)指標(biāo)低的問(wèn)題。針對(duì)以上問(wèn)題,文中對(duì)ESRGAN算法進(jìn)行以下幾方面改進(jìn)。

2.1 構(gòu)架數(shù)據(jù)集方法

利用High-order降級(jí)模型來(lái)解決高頻細(xì)節(jié)放大后圖像模糊問(wèn)題,High-order降級(jí)模型是對(duì)First-order進(jìn)行多次重復(fù)操作,First-order降級(jí)模型為

(1)

式中:x——降級(jí)后的圖像;

D——降級(jí)函數(shù);

y——原始圖像;

k——模糊核;

r——縮小比例;

n——加入的噪聲;

JPEG——進(jìn)行壓縮。

First-order降級(jí)模型其實(shí)就是常規(guī)的降級(jí)模型,First-order由于使用相對(duì)單調(diào)的降級(jí)方法,在現(xiàn)實(shí)中很難模擬出低清晰度的圖像況。文中提出的High-order實(shí)際上就是要利用更加復(fù)雜的降級(jí)方式來(lái)更好地模擬現(xiàn)實(shí)中的低清晰度模糊性問(wèn)題,以提高學(xué)習(xí)效率。

進(jìn)階降級(jí)模型為

x=Dn(y)=(Dn…D2D1)(y)。

(2)

式(2)是對(duì)First-order進(jìn)行多次重復(fù)操作,也就是每一個(gè)D都是執(zhí)行一次完整的First-order降級(jí)。通過(guò)實(shí)驗(yàn)得出,當(dāng)執(zhí)行2次First-order時(shí)生成的數(shù)據(jù)集訓(xùn)練效果最好,High-order的pipeline結(jié)構(gòu),如圖3所示。

在構(gòu)建降級(jí)模型中增加sinc filter的操作,可以通過(guò)sinc filter設(shè)置不同的因子人工模仿圖像的過(guò)沖偽影和振鈴現(xiàn)象。sinc filter在兩個(gè)位置進(jìn)行設(shè)置:一是在每一階的模糊核k的處理中,也就是在各項(xiàng)同性和各項(xiàng)異性的高斯模糊之后,設(shè)置sinc filter;二是在最后一階的JPEG壓縮時(shí),設(shè)置sinc filter,其中最后一階的JPEG和sinc filter執(zhí)行先后順序是隨機(jī)的。

2.2 生成模型的設(shè)計(jì)

生成網(wǎng)絡(luò)依舊使用ESRGAN的生成網(wǎng)絡(luò),在其基礎(chǔ)上,增強(qiáng)了2倍數(shù)的分辨率,在4倍的超高分辨率重建時(shí),整個(gè)網(wǎng)絡(luò)都是由 ESRGAN的生成器來(lái)完成的。在放大因子為2時(shí),網(wǎng)絡(luò)首先進(jìn)行pixel-unshuffle(pixel-shuffle)的反操作,pixel-shuffle可理解為通過(guò)壓縮圖像通道而對(duì)圖像尺寸進(jìn)行放大),在減少圖像分辨率的前提下,擴(kuò)大了圖像通道數(shù),并將處理后的圖像輸入到模型中進(jìn)行超分辨率重建。模型的生成網(wǎng)絡(luò)結(jié)構(gòu),如圖4所示。

圖4 生成模型網(wǎng)絡(luò)結(jié)構(gòu)Fig. 4 Generative model networks structure

2.3 判別模型結(jié)構(gòu)

文中使用U-Net判別器從像素的角度對(duì)單個(gè)像素做出真假判別,這樣既能確保產(chǎn)生的圖像的整體真實(shí)性,又能對(duì)生成后圖像的細(xì)節(jié)保留更多。加入了光譜標(biāo)準(zhǔn)正則化,可以緩和由于復(fù)雜數(shù)據(jù)集合復(fù)雜網(wǎng)絡(luò)帶來(lái)的訓(xùn)練不穩(wěn)定問(wèn)題。

2.4 損失函數(shù)設(shè)計(jì)

MS-SSIM損失函數(shù)容易導(dǎo)致顏色的偏差和亮度的改變,但它能保留圖像的邊緣和細(xì)節(jié),而L1損失函數(shù)能較好地保持亮度和顏色不變化,所以文中所使用的損失函數(shù)為MS-SSIM+L1損失函數(shù)。MS-SSIM+L1損失函數(shù)為

LML=αLM+(1-α)GσLL1,

(3)

式中:LML——MS-SSIM+L1損失函數(shù);

LM——MS-SSIM損失函數(shù);

LL1——L1損失函數(shù);

α——權(quán)重系數(shù),經(jīng)實(shí)驗(yàn)取0.84;

Gσ——高斯分布參數(shù)。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)軟硬件平臺(tái)

實(shí)驗(yàn)的軟件環(huán)境為:CPU采用Intel Core i9-990X@3.46GHz 32G內(nèi)存,圖形處理器為NVIDIA RTX3060,操作系統(tǒng)為64位Ubuntu20.04,深度學(xué)習(xí)框架PyTorch1.7;環(huán)境所依賴安裝包有python 3.8、Numpy、OpenCV,為了加速訓(xùn)練,加速運(yùn)算平臺(tái)為CUDA10.0,CUDNN7.6.5、Nvidia的TensorRT。

實(shí)驗(yàn)硬件平臺(tái)由上海FOTRIC公司628C-L25型熱像儀、筆記本電腦和移動(dòng)電源搭建,利用實(shí)驗(yàn)硬件平臺(tái)在校園內(nèi)采集電力變壓器圖像,采集現(xiàn)場(chǎng),如圖5所示。

圖5 電力變壓器紅外圖像采集現(xiàn)場(chǎng)Fig. 5 Infrared image acquisition site of power transformer

其中熱像儀物理像素不低于640×480像素,波長(zhǎng)范圍為7.5～14 μm,測(cè)溫精度±2 ℃,測(cè)溫范圍-20～+650 ℃。628C-L25型熱像儀可以支持實(shí)時(shí)在線監(jiān)測(cè)和分析功能,拍攝的熱像照片在系統(tǒng)軟件里面可以進(jìn)行二次分析。

筆記本電腦的配置由處理器Intel Core i9-990X@3.46GHz 32G內(nèi)存,圖形處理器為NVIDIA RTX3060等組成。628C-L25型熱像儀通過(guò)RJ45網(wǎng)線和電腦連接實(shí)現(xiàn)通信,使用12 V鋰離子移動(dòng)電源為熱成像儀供電,利用PyQT設(shè)計(jì)了電力設(shè)備紅外圖像目標(biāo)檢測(cè)軟件。

3.2 數(shù)據(jù)集組成

文中所使用的電力設(shè)備紅外圖像數(shù)據(jù)集由兩部分組成:一部分為電網(wǎng)公司利用紅外熱像儀對(duì)變電站現(xiàn)場(chǎng)拍攝的電力設(shè)備圖像;另一部分為作者使用上海FOTRIC公司628C-L25型熱像儀對(duì)校園變壓器及周邊小型變電站現(xiàn)場(chǎng)拍攝的電力設(shè)備圖像。得到的紅外圖像由電力變壓器、互感器和絕緣子三類電力設(shè)備組成,共計(jì)18 360張,其中,11 016張作為訓(xùn)練圖像、3 672張作為測(cè)試圖像,3 672張作為驗(yàn)證圖像,電力設(shè)備紅外圖像樣本,如圖6所示。

3.3 結(jié)果分析

為了驗(yàn)證文中所提出算法模型的性能,將改進(jìn)ESRGAN算法與SRGAN算法和ESRGAN算法對(duì)電力設(shè)備紅外圖像數(shù)據(jù)集的重建效果進(jìn)行對(duì)比,通過(guò)主觀和客觀評(píng)價(jià)指標(biāo)量化進(jìn)行分析。

3.3.1 主觀評(píng)價(jià)指標(biāo)分析

變壓器、互感器和絕緣子三類電力設(shè)備的原圖,如圖7所示。使用SRGAN算法、ESRGAN算法和改進(jìn)ESRGAN算法對(duì)圖7三種電力設(shè)備分別重建,截取部分區(qū)域效果圖進(jìn)行放大,如圖8～10所示。

圖7 三種電力設(shè)備原圖Fig. 7 Three kinds of power equipment original diagram

圖8 電力變壓器紅外圖像超分辨率重建效果Fig. 8 Power transformer infrared image super resolution reconstruction effect

圖9 互感器紅外圖像超分辨率重建效果Fig. 9 Mutual transformer infrared image super resolution reconstruction effect

從圖7可以看出,原圖較為模糊,邊緣細(xì)節(jié)不明顯,無(wú)法清晰地呈現(xiàn)出高頻細(xì)節(jié),其在主觀評(píng)價(jià)指標(biāo)上的表現(xiàn)最差;SRGAN算法相比于原圖像雖然在一定程度上恢復(fù)了一些高頻細(xì)節(jié),但還是邊緣細(xì)節(jié)不明顯,圖像模糊;ESRGAN算法重建圖像輪廓較清晰,但對(duì)比度較高;改進(jìn)ESRGAN算法的重建效果在人眼主觀視覺(jué)感受上與ESRGAN算法相比,高頻細(xì)節(jié)上保留更多,更能清晰地分辨出變壓器中間突出部分的棱角。

從圖8可以看出,互感器邊緣會(huì)出現(xiàn)嚴(yán)重的殘影和模糊現(xiàn)象,SRGAN和ESRGAN算法相比于原圖,減少了一些殘影和模糊,但邊緣棱角處較為模糊;改進(jìn)ESRGAN算法重建效果,從圖8可以看出,在邊緣細(xì)節(jié)處有明顯的輪廓,保留了更多的高頻信息。尤其在圖10中絕緣子的重建效果要明顯優(yōu)于其他算法。

圖10 絕緣子紅外圖像超分辨率重建效果Fig. 10 Insulator infrared image super resolution reconstruction effect

3.3.2 客觀評(píng)價(jià)指標(biāo)

主觀評(píng)價(jià)指標(biāo)對(duì)圖像的分析是存在有一定的偏差,因此,還需要客觀評(píng)價(jià)指標(biāo)峰值信噪比(PSNR)和結(jié)構(gòu)相似度(SSIM)來(lái)分析各算法的重建質(zhì)量。

對(duì)三種電力設(shè)備紅外圖像數(shù)據(jù)集分別進(jìn)行實(shí)驗(yàn)和分析,來(lái)驗(yàn)證文中算法紅外圖像超分辨率重建具有的優(yōu)勢(shì)。基于硬件算力和放大倍數(shù)過(guò)大導(dǎo)致的內(nèi)存不足問(wèn)題的考慮,實(shí)驗(yàn)過(guò)程中分別進(jìn)行2倍放大,通過(guò)評(píng)價(jià)指標(biāo)來(lái)反映其重建效果,實(shí)驗(yàn)結(jié)果,如表1所示。

表1 不同方法重建結(jié)果定量指標(biāo)對(duì)比Table 1 Comparison of quantitative indicators of reconstruction results by different methods

由表1可知,文中提出改進(jìn)ESRGAN算法在三種電力設(shè)備紅外圖像重建中,客觀評(píng)價(jià)指標(biāo)PSNR和SSIM都優(yōu)于SRGAN和ESRGAN算法,具有較好的重建效果。

4 結(jié) 論

(1)通過(guò)改進(jìn)ESRGAN的結(jié)構(gòu)構(gòu)建了一個(gè)適用于電力設(shè)備紅外圖像超分辨率重建的網(wǎng)絡(luò)模型,在構(gòu)建High-order降級(jí)模型中增加sinc filter的操作,選用MS-SSIM+L1損失函數(shù),引入光譜標(biāo)準(zhǔn)正則化和U-Net判別器優(yōu)化整個(gè)網(wǎng)絡(luò)。

(2)文中方法獲得重建的電力設(shè)備紅外圖像可以取得良好的視覺(jué)效果和更高的圖像分辨率,與SRGAN算法及ESRGAN算法相比,PSNR分別提高了4.56和2.03 dB,SSIM分別提高了0.111和0.098