基于改進(jìn)型循環(huán)生成對抗網(wǎng)絡(luò)的霧天圖像生成算法

喻 駿 王曉峰 孫志恒 孫賈夢 秦 浩 蘇盈盈

(1. 重慶科技學(xué)院 電氣工程學(xué)院， 重慶 401331；2. 重慶科技學(xué)院 數(shù)理與大數(shù)據(jù)學(xué)院， 重慶 401331)

0 前 言

霧天環(huán)境下的圖像采集和標(biāo)注工作往往比較困難，因此深度學(xué)習(xí)下的立體視覺任務(wù)中霧天場景圖像較為缺乏[1]。無霧環(huán)境下的數(shù)據(jù)集制作相對簡單，將正常圖像轉(zhuǎn)化為霧天圖像是獲取霧天數(shù)據(jù)集的有效途徑[2]。

研究人員曾基于大氣散射模型，采用人工合成的方法為正常圖像添加霧天特征[3-4]。但實(shí)際上，霧天場景不止受到大氣散射的影響，依靠人工添加的霧天特征難以真實(shí)地反映霧天圖像退化的情況。近年來，基于生成對抗思想的深度學(xué)習(xí)模型在圖像生成技術(shù)領(lǐng)域備受關(guān)注。目前，成熟的生成對抗網(wǎng)絡(luò)有Pix2pix[5]、CycleGAN(循環(huán)生成對抗網(wǎng)絡(luò))[6]、 DCGAN[7]等。與DCGAN網(wǎng)絡(luò)相比，CycleGAN網(wǎng)絡(luò)具有更好的圖像轉(zhuǎn)換能力，所生成圖像具有一定的可控性；與Pix2pix相比，CycleGAN無須對數(shù)據(jù)集進(jìn)行訓(xùn)練，且對數(shù)據(jù)集的要求也較低。本次研究將以主流立體視覺KITTI2015數(shù)據(jù)集為例，對真實(shí)的霧天圖像加以訓(xùn)練，在改進(jìn)CycleGAN的基礎(chǔ)上構(gòu)建可以生成霧天圖像的場景轉(zhuǎn)換模型。

1 霧天圖像生成方法設(shè)計(jì)

1.1 數(shù)據(jù)集的獲取

KITTI2015數(shù)據(jù)集為公開數(shù)據(jù)集[2]，在此取其中汽車行駛過程中的真實(shí)街景圖像400個(gè)組成數(shù)據(jù)集A。由于KITTI2015數(shù)據(jù)集中無相應(yīng)的霧天場景圖像，故從網(wǎng)絡(luò)上獲取霧天圖片共425張組成數(shù)據(jù)集B。

1.2 圖像的預(yù)處理

采集的真實(shí)霧天圖片有時(shí)會出現(xiàn)動(dòng)態(tài)模糊現(xiàn)象，需先對霧天圖像數(shù)據(jù)集進(jìn)行去模糊化預(yù)處理。

建立圖像退化模型，如式(1)所示：

g(x,y)=f(x,y)?h(x,y)+n(x,y)

(1)

式中：g(x,y)為模糊函數(shù)圖像；f(x,y)為清晰圖像函數(shù)；h(x,y)為退化模型的點(diǎn)擴(kuò)散函數(shù)；n(x,y)為隨機(jī)噪聲函數(shù)。

假設(shè)拍攝過程中保持勻速直線運(yùn)動(dòng)狀態(tài)，則h(x,y)與運(yùn)動(dòng)模糊角度(θ)、模糊長度(L)有關(guān)，其關(guān)系如式(2)所示：

(2)

忽略噪聲的影響，對圖像進(jìn)行運(yùn)動(dòng)模糊消除處理，其流程如圖1所示。

根據(jù)圖像頻譜中暗條紋與運(yùn)動(dòng)模糊紋理相垂直的特征，初步估計(jì)出模糊方向[8]。此外，在頻譜圖的水平方向求取自相關(guān)系數(shù)，相關(guān)中心點(diǎn)左右兩側(cè)最低值之間的距離即為模糊長度(L)[9]。根據(jù)模糊圖像制作原圖像的傅里葉頻譜圖，如圖2所示。局部放大并調(diào)整對比度，使暗條紋顯現(xiàn)，大致估計(jì)模糊角度(θ)為30°～40°。同時(shí)，計(jì)算頻譜水平方向上的自相關(guān)系數(shù)，利用Matlab程序計(jì)算出模糊長度(L=47 px)。

圖2 圖像的模糊角度和模糊長度估計(jì)

利用初步估計(jì)和計(jì)算所得的模糊角度、模糊長度，應(yīng)用式(1)和式(2)對圖像進(jìn)行動(dòng)態(tài)模糊去除處理。在模糊長度為47 px的情況下，比較模糊角度為30°～40°時(shí)的去模糊處理效果(見圖3)。結(jié)果表明，當(dāng)模糊角度為30°、模糊長度為47 px時(shí)，去模糊處理的效果最佳。

圖3 不同模糊角度下的去模糊處理效果

1.3 霧天圖像的生成過程

基于CycleGAN的思想，完成霧天圖像生成模型訓(xùn)練，如圖4 所示。首先，將數(shù)據(jù)集A、B輸入CycleGAN的生成器G中，獲得合成圖像；然后，利用判別器D判別霧天圖像，輸出判別結(jié)果；最后，根據(jù)生成的圖像及判別結(jié)果，計(jì)算損失函數(shù)，更新生成器G和判別器D的參數(shù)，進(jìn)而獲得最優(yōu)模型。

圖4 霧天圖像模型訓(xùn)練過程

將數(shù)據(jù)集B作為測試集，其測試過程如圖5 所示。首先，加載預(yù)訓(xùn)練模型，并輸入測試集；然后，驗(yàn)證改進(jìn)上采樣結(jié)構(gòu)后的霧天圖像生成效果；最后，調(diào)整損失函數(shù)，獲得霧天圖像生成結(jié)果。

圖5 霧天圖像模型測試過程

2 網(wǎng)絡(luò)模型設(shè)計(jì)

2.1 生成器模塊設(shè)計(jì)

根據(jù)圖像生成任務(wù)，通過卷積操作形成生成器的主干網(wǎng)絡(luò)。以像素大小128 px×128 px的圖像為例形成生成器的網(wǎng)絡(luò)結(jié)構(gòu)，如圖6所示。

首先，在下采樣階段，圖像依次經(jīng)過3個(gè)步長分別為1、2、2 px 且大小為3 px×3 px的卷積核進(jìn)行下采樣操作。在下采樣操作過程中，特征感受野逐層增大，特征圖尺度逐層減小，原始圖像的高維特征映于低維空間，因此減少了網(wǎng)絡(luò)計(jì)算量。

然后，低維特征圖進(jìn)入多層殘差網(wǎng)絡(luò)中，經(jīng)過 9層殘差網(wǎng)絡(luò)學(xué)習(xí)將圖像由正常場景分布轉(zhuǎn)換到霧天場景分布。多層殘差塊既可以提高模型的學(xué)習(xí)效率，又能加大網(wǎng)絡(luò)的學(xué)習(xí)深度、強(qiáng)化模型特征的表達(dá)能力。

最后，經(jīng)過多層上采樣操作，使圖像逐漸恢復(fù)到原始像素128 px×128 px，進(jìn)而生成轉(zhuǎn)換后的圖像。

傳統(tǒng)的生成器模型通常采用反卷積操作，但在將相鄰的低分辨率特征像素映射到高分辨率空間時(shí)有可能出現(xiàn)信息重疊現(xiàn)象。在上采樣改進(jìn)之前，通過反卷積將前一層4個(gè)區(qū)域的分辨率擴(kuò)大到與后一層的4個(gè)區(qū)域相同，導(dǎo)致重疊區(qū)域顏色加深，形成圖6上的Q點(diǎn)。不同空間位置的像素相互交疊，最終出現(xiàn)棋盤效應(yīng)。

圖6 生成器的網(wǎng)絡(luò)結(jié)構(gòu)示意圖

針對這個(gè)問題，本次研究將采用雙線性插值與卷積組合的結(jié)構(gòu)操作來改進(jìn)反卷積的上采樣方式。首先，低分辨率圖像通過雙線性插值后獲得高分辨圖像，雙線性插值通過計(jì)算周圍信息來更新未知像素點(diǎn)，從而獲得更好的連續(xù)性和穩(wěn)定性。然后，通過3 px×3 px的卷積聚合局部區(qū)域像素特征對插值后的圖像精細(xì)化，經(jīng)上采樣操作后得到高分辨率圖像。最后，通過改進(jìn)的上采樣方式，在保證生成圖像質(zhì)量的情況下有效地緩解棋盤效應(yīng)，使得生成的圖像更加真實(shí)可靠。

2.2 判別器模塊設(shè)計(jì)

假設(shè)分辨率為128 px×128 px的圖像進(jìn)入判別器,其網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示。首先，原始圖像經(jīng)過3個(gè)步長為2 px的3 px×3 px卷積核進(jìn)行連續(xù)下采樣操作，獲得像素為16 px×16 px的特征圖，逐層提高像素點(diǎn)的感受野。然后，通過2次步長為1 px的卷積操作對特征圖進(jìn)行線性變換，進(jìn)而輸出14 px×14 px的圖像判別結(jié)果。在判別結(jié)果中，每個(gè)像素點(diǎn)均包含其對應(yīng)感受野的圖像區(qū)域真實(shí)性置信度。置信度越接近于0，則圖像為假的可能性越大；置信度越接近于1，則圖像為真的可能性越大。

圖7 判別器網(wǎng)絡(luò)結(jié)構(gòu)示意圖

2.3 損失函數(shù)設(shè)計(jì)

本次研究的CycleGAN為有效訓(xùn)練，其中損失函數(shù)如式(3)所示：

L=LDx+LDy+LGx→y+LGy→x+λLcycle

(3)

式中：LDx為判別器Dx(判別正常場景x)訓(xùn)練中的損失函數(shù);LDy為判別器Dy(判別霧天場景y)的損失函數(shù);LGx→y為生成器Gx→y(由正常圖像x生成霧天圖像y)的損失函數(shù)；LGy→x為生成器Gy→x(由霧天圖像y生成正常圖像x)的損失函數(shù)；Lcycle為衡量循環(huán)一致性的損失函數(shù)；λ為循環(huán)一致性損失的比重。

LDy損失函數(shù)的計(jì)算如(4)所示：

LDy=y～pdata(y)[‖1-DY(y)‖2]+

(4)

式(4)中第一項(xiàng)代表判別器判別真實(shí)霧天場景圖片y時(shí)真實(shí)霧天圖像為真，故Dy(y)分?jǐn)?shù)應(yīng)接近于1。式(4)中第二項(xiàng)代表判別器判別生成的霧天場景圖片Gx→y(x)時(shí)生成的霧天圖像為假，故Dy(Gx→y(x))分?jǐn)?shù)應(yīng)接近于0 。由此，可以區(qū)別真實(shí)霧天圖像和生成的霧天圖像。

LGx→y損失函數(shù)如式(5)所示：

LGx→y=x～pdata(x)[‖1-DY(Gx→y(x))‖2]

(5)

式中Dy(Gx→y(x))分?jǐn)?shù)應(yīng)接近于1，使得生成的圖片足以騙過判別器。

同理，根據(jù)式(4)可得LDx，如式(6)所示：

LDy=x～pdata(x)[‖1-Dx(x)‖2]+

(6)

同理，根據(jù)式(5)可得LGy→x，如式(7)所示：

LGy→x=y～pdata(y)[‖1-Dx(Gy→x(y))‖2]

(7)

此外，循環(huán)一致性損失Lcycle用于約束重構(gòu)后圖像間的相似性，如式(8)所示：

Lcycle=x～pdata(x)[‖Gy→x(Gx→y(x))-x‖1]+

(8)

在式(8)中第一項(xiàng)的約束下，正常圖像x經(jīng)Gx→y生成霧天圖像，再經(jīng)Gy→x重構(gòu)為正常圖像后，應(yīng)與原圖像x越接近越好。在式(8)中第二項(xiàng)的約束下，霧天圖像經(jīng)Gy→x生成正常圖像，再經(jīng)Gx→y重構(gòu)為霧天圖像后，應(yīng)與原圖像y越接近越好，循環(huán)一致性損失函數(shù)可以使轉(zhuǎn)換后的圖像保留原始圖像的細(xì)節(jié)信息。

3 實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)環(huán)境

為避免實(shí)驗(yàn)環(huán)境對圖像生成效果的影響，所有實(shí)驗(yàn)均采用相同的配置。軟硬件配置如下：操作系統(tǒng)為Windows10，開發(fā)環(huán)境為python3.6.6、pycharm2019，深度學(xué)習(xí)框架為pytorch1.7，迭代次數(shù)為60，學(xué)習(xí)速率為0.000 2，顯卡型號為GTX1650，優(yōu)化器為Adam。

3.2 損失函數(shù)的參數(shù)設(shè)置

CycleGAN生成的霧天圖像對原始圖像的細(xì)節(jié)信息還原程度主要受到循環(huán)一致性損失的影響，故所得霧天圖像的信息有效性在訓(xùn)練過程中受到循環(huán)一致性損失系數(shù)(λ)的影響。在此主要考察不同λ的影響，實(shí)驗(yàn)結(jié)果如圖8所示。

圖8 不同循環(huán)一致性損失系數(shù)的影響

在系數(shù)λ依次為1.0、1.5、3.0的變化過程中，霧氣特征越來越淡，同時(shí)多出了一些原圖像沒有的特征。分析認(rèn)為，隨著λ增大，Lcycle訓(xùn)練時(shí)這些特征的比重不斷增加，網(wǎng)絡(luò)更傾向于復(fù)現(xiàn)原始圖像而忽略霧天特征，為圖像額外添加了不必要的信息。當(dāng)λ=1.5時(shí)，圖中虛線方框部分出現(xiàn)了與車尾燈同色的區(qū)域，這是因?yàn)殄e(cuò)誤地學(xué)習(xí)了霧天圖像中的車尾燈特征；當(dāng)λ=3.0時(shí)，圖中實(shí)線方框部分出現(xiàn)了高亮區(qū)域，這是因?yàn)殄e(cuò)誤地學(xué)習(xí)了一些強(qiáng)光照特征。

綜上所述，將λ設(shè)置為1.0時(shí)霧天場景的轉(zhuǎn)化效果最好。

3.3 實(shí)驗(yàn)效果

為驗(yàn)證改進(jìn)后生成器上采樣方式的優(yōu)勢，對改進(jìn)前后的霧天圖像生成效果進(jìn)行了對比，結(jié)果如圖9 所示。

圖9 改進(jìn)前后的效果對比

改進(jìn)前，采用基于反卷積的上采樣方式，部分霧天圖像出現(xiàn)了明顯的棋盤效應(yīng)。改進(jìn)后，采用插值和卷積相結(jié)合的上采樣方式，改善了棋盤效應(yīng)，圖像生成效果更好。

采用衡量相似度的客觀指標(biāo) —— 峰值信噪比(PSNR)和結(jié)構(gòu)相似性(SSIM)，對生成的霧天圖像進(jìn)行定性對比分析，結(jié)果如表1所示。

表1 改進(jìn)前后霧天圖像的客觀指標(biāo)對比

PSNR和SSIM的值越大，說明轉(zhuǎn)換后的圖像與原圖像越接近。 在同樣為原圖添加了霧天特征后，改進(jìn)后模型的PSNR約提高了1.6，SSIM提高了0.02。這說明改進(jìn)后的霧天圖像保留了更多的原圖細(xì)節(jié)信息，失真更少，轉(zhuǎn)換效果更好。

3.4 霧天圖像生成效果評價(jià)

基于改進(jìn)的CycleGAN模型，利用已調(diào)整過參數(shù)的損失函數(shù)進(jìn)行訓(xùn)練。以KITTI2015數(shù)據(jù)集為例進(jìn)行霧天場景轉(zhuǎn)化，主要結(jié)果如圖10所示。

與原始圖像相比，生成的圖像中添加了一些霧天特征，顯著減少了圖像信息。需注意的是，霧天圖像中的霧氣隨著景物距離的拉大而逐漸加深，這與真實(shí)霧天場景的特征相同。此外，針對圖10中的圖像按從左到右、從上到下的順序計(jì)算其客觀指標(biāo)(PSNR和SSIM)，定量對比去霧前后的處理效果，結(jié)果如表2所示。

圖10 模型生成效果展示

表2 圖像去霧前后的客觀指標(biāo)對比

圖像去霧的PSNR和SSIM指標(biāo)顯著提高，這代表霧天圖像能夠恢復(fù)大部分原始圖像信息。因此，正常圖像經(jīng)改進(jìn)的方法轉(zhuǎn)換為霧天場景后，其細(xì)節(jié)信息只是發(fā)生了質(zhì)量的變化(如改變、降低等)，而不是隨著霧天場景的生成而消失。此變化過程與真實(shí)霧天場景對圖像帶來的影響相似，說明本次改進(jìn)方法可靠有效。

4 結(jié) 語

針對立體視覺技術(shù)應(yīng)用中人工制作霧天場景數(shù)據(jù)集較困難的問題，提出了基于改進(jìn)CycleGAN的霧天圖像生成算法。首先，對收集的真實(shí)霧天場景圖片進(jìn)行預(yù)處理，去除實(shí)際拍攝過程中產(chǎn)生的動(dòng)態(tài)模糊部分。其次，利用改進(jìn)CycleGAN緩解反卷積的棋盤效應(yīng)，并學(xué)習(xí)真實(shí)霧天場景數(shù)據(jù)分布情況。最后，將立體視覺任務(wù)公開數(shù)據(jù)集KITTI2015輸入已建立模型，生成霧天場景數(shù)據(jù)集，實(shí)現(xiàn)已有數(shù)據(jù)集轉(zhuǎn)換為霧天場景的目的。實(shí)驗(yàn)結(jié)果表明，本算法可靠有效，能轉(zhuǎn)換生成可準(zhǔn)確模擬真實(shí)霧天場景的圖像。