• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      一種改進(jìn)條件生成對(duì)抗網(wǎng)絡(luò)的圖像去霧算法

      2023-06-09 07:05:48薛子豪王忠美伍宣衡龍永紅
      關(guān)鍵詞:損失卷積函數(shù)

      薛子豪,王忠美,伍宣衡,李 敏,龍永紅

      (湖南工業(yè)大學(xué) 軌道交通學(xué)院,湖南 株洲 412007)

      1 研究背景

      電子設(shè)備在室外采集圖像的過(guò)程中,經(jīng)常會(huì)遇到霧霾天氣,導(dǎo)致采集到的圖像存在顏色偏移、模糊和失真等問(wèn)題,限制了目標(biāo)識(shí)別、視頻監(jiān)控、自動(dòng)駕駛等技術(shù)的發(fā)展。因此,研究圖像去霧技術(shù)具有重要的現(xiàn)實(shí)意義。

      近年來(lái),涌現(xiàn)出許多圖像去霧算法,大致可以分為基于圖像增強(qiáng)的去霧算法、基于大氣散射模型的去霧算法和基于深度學(xué)習(xí)的去霧算法。

      基于圖像增強(qiáng)的去霧算法主要是從人眼視覺(jué)出發(fā),增強(qiáng)圖像的色彩、亮度和對(duì)比度,以改善圖像的整體效果[1]。當(dāng)前典型的基于圖像增強(qiáng)的算法有直方圖均衡化[2]、Retinex 理論算法[3]、同態(tài)濾波[4]和小波變換[5]等。

      基于大氣散射模型的去霧算法主要是研究霧霾圖像成像過(guò)程和去霧的本質(zhì),從霧霾圖中推導(dǎo)出對(duì)應(yīng)的無(wú)霧圖像,該類算法包括暗通道先驗(yàn)算法及基于偏微分方程的算法。其中,He K. M.等[6]提出了暗通道先驗(yàn)的去霧算法,即先依據(jù)大氣散射模型求出暗原色圖像后粗略估計(jì)透射率,再細(xì)化透射率,最后估計(jì)出大氣光值逆向復(fù)原無(wú)霧圖像。由于暗通道先驗(yàn)算法無(wú)須借助額外的信息約束,所以后續(xù)大量研究人員[7-9]在此基礎(chǔ)上進(jìn)行改進(jìn)。

      隨著卷積神經(jīng)網(wǎng)絡(luò)取得了較為明顯的進(jìn)展,許多學(xué)者開(kāi)始研究基于深度學(xué)習(xí)的去霧算法。如Cai B. C. 等[10]提出了端到端的網(wǎng)絡(luò)DehazeNet,它基于傳統(tǒng)的大氣散射模型,但是首次利用卷積神經(jīng)網(wǎng)絡(luò)估計(jì)透射率。Li B. Y.等[11]設(shè)計(jì)的AOD-Net(all-in-one network)通過(guò)一個(gè)輕量級(jí)的神經(jīng)網(wǎng)絡(luò)聯(lián)合估算透光率和大氣光。Chen D. D.等[12]在網(wǎng)絡(luò)中采用了平滑擴(kuò)張技術(shù),消除了由膨脹卷積引起的網(wǎng)格偽影,無(wú)需先驗(yàn),建立了GCANet(gated context aggregation network) 模 型 去 霧。I. J. Goodfellow等[13]提出的生成對(duì)抗網(wǎng)絡(luò)(generative adversarial network,GAN)被用于圖像生成中,取得了很大的突破,在GAN 的基礎(chǔ)上涌現(xiàn)了一些端到端的去霧算法[14-15]。但這些去霧算法存在去霧不完全、去霧圖像和真實(shí)圖像色差較大,以及存在偽影等問(wèn)題。

      基于上述研究,本文提出一種基于條件生成對(duì)抗網(wǎng)絡(luò)(conditional GAN,CGAN)的去霧算法。首先,設(shè)計(jì)了新的生成器結(jié)構(gòu),主要采用含對(duì)稱層跳躍連接的深度卷積網(wǎng)絡(luò),實(shí)現(xiàn)了輸入輸出圖像特征的共享,同時(shí)保留了圖像的底層紋理信息和高級(jí)語(yǔ)義信息,并用卷積層和反卷積層代替池化層,實(shí)現(xiàn)降采樣和上采樣操作;其次,引入了L1 損失函數(shù)和感知損失函數(shù)對(duì)網(wǎng)絡(luò)加以約束,減少了生成圖像的色差,使生成圖像更加接近真實(shí)圖像。

      2 基于改進(jìn)條件生成對(duì)抗網(wǎng)絡(luò)的去霧算法

      條件生成對(duì)抗網(wǎng)絡(luò)(CGAN)[16]是GAN 的擴(kuò)展,是在原始GAN 上添加條件變量來(lái)生成想要的特定數(shù)據(jù),使得網(wǎng)絡(luò)能夠更好地被應(yīng)用于跨模態(tài)問(wèn)題。所添加的條件變量可以是任何信息,比如圖像、類別信息,以及其他模態(tài)的數(shù)據(jù)。

      利用CGAN 進(jìn)行去霧處理時(shí),先將霧霾圖像輸入生成器,生成器處理后輸出去霧圖像,之后將霧霾圖像與去霧圖像一起輸入判別器,得到一組判斷結(jié)果。判別結(jié)果中只包含0~1 的值,表示判別器認(rèn)為去霧圖像是真實(shí)的無(wú)霧圖像的概率。然后將有霧圖像與真實(shí)的無(wú)霧圖像一起輸入判別器,輸出另一組結(jié)果。將前后兩組結(jié)果進(jìn)行比較,用它們的差優(yōu)化生成器與判別器的參數(shù),幫助網(wǎng)絡(luò)訓(xùn)練。

      本文在CGAN 網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行了改進(jìn),引入了含對(duì)稱層跳躍連接結(jié)構(gòu)的生成器,并且設(shè)計(jì)了新的損失函數(shù),以解決現(xiàn)有圖像去霧方法存在的信息失真和去霧效果不自然等問(wèn)題,圖1 為本文設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)示意圖。

      2.1 生成器

      生成器的功能是從輸入的有霧圖像中直接生成一個(gè)清晰圖像,而無(wú)需估計(jì)中間參數(shù)。為了實(shí)現(xiàn)這一目標(biāo),生成器應(yīng)該保存圖像內(nèi)容,并盡可能多地恢復(fù)細(xì)節(jié),同時(shí)消除霧霾。本文設(shè)計(jì)的生成器中,引入了含對(duì)稱層的跳躍連接打破解碼過(guò)程中的信息瓶頸。

      生成器的結(jié)構(gòu)如圖1 所示,其包含一個(gè)編碼過(guò)程和一個(gè)解碼過(guò)程,編碼過(guò)程利用卷積實(shí)現(xiàn)降采樣操作,圖像尺寸不斷變小,可以使訓(xùn)練速度加快,但是仍然保留了大部分信息。解碼過(guò)程主要基于反卷積操作,在解碼過(guò)程中圖像的尺寸不斷恢復(fù)。每一個(gè)卷積和反卷積操作后還有批量歸一化(batch normalization,BN)和LeakyReLU 激活函數(shù)。

      另外,為了能更好地保留輸入圖像的結(jié)構(gòu),并且能夠在淺層和深層特征之間共享信息,在編解碼過(guò)程中引入了跳躍連接,向解碼過(guò)程的對(duì)稱層提供特征映射,兩層特征信息做相加運(yùn)算。跳躍連接一般在深層CNN 中使用,主要解決反向傳播中梯度消失的問(wèn)題,本文設(shè)計(jì)的生成器有11 層,加入跳躍連接可以使梯度傳播更方便。編解碼過(guò)程中每層卷積核的大小為4×4,padding 為0,步長(zhǎng)為2。

      2.2 判別器

      判別器用于判斷輸入圖像的真假。本文判別器的結(jié)構(gòu)一共5 層,前4 層中每層的基礎(chǔ)操作是卷積、BN 和LeakyReLU 激活函數(shù)。加入BN 層可以避免梯度消失和爆炸,為了增加網(wǎng)絡(luò)的非線性,強(qiáng)化學(xué)習(xí)能力,在BN 層后加入了LeakyReLU 激活函數(shù)。圖像輸入后先經(jīng)過(guò)4 次卷積提取特征,在最后一層將提取的特征輸入Sigmoid 函數(shù),使結(jié)果可以映射到0~1 之間。前4 層中每個(gè)卷積核的大小為4×4,步長(zhǎng)為2。

      2.3 損失函數(shù)

      本文的損失函數(shù)由原始CGAN 損失、L1 損失和VGG(visual geometry group)感知損失組成。LCGAN為原始CGAN 損失,可寫(xiě)為

      式中:y為有霧圖像;G(y,z)為生成圖像。

      CGAN 是學(xué)習(xí)將輸入的y和噪聲z映射到輸出G(y,z),每次迭代都會(huì)更新生成器和判別器。

      L1 損失能捕捉圖像的低頻信息,減少圖像模糊,因此為了減少生成圖像上產(chǎn)生的偽影和顏色失真,在原始CGAN 損失的基礎(chǔ)上引入了L1 回歸損失,目標(biāo)圖像x和生成圖像G(y,z)之間的L1 損失為

      J. Johnson 等[17]發(fā)現(xiàn)CNN 深層特征之間的差異最小化可以使輸出圖像更加接近真實(shí)圖像,有助于保留生成圖像的細(xì)節(jié)和語(yǔ)義信息,這種損失被稱為感知損失。VGG 的網(wǎng)絡(luò)結(jié)構(gòu)較深,可以提取更加豐富的細(xì)節(jié)與高級(jí)特征,為了幫助恢復(fù)生成圖像的細(xì)節(jié)信息,引入了基于預(yù)訓(xùn)練VGG 網(wǎng)絡(luò)的感知損失:

      式中φ(x)為預(yù)訓(xùn)練VGG 網(wǎng)絡(luò)的第19 層特征圖。

      綜上所述,本文網(wǎng)絡(luò)的總體損失函數(shù)為

      式中a、b、c分別為各個(gè)損失的權(quán)重。

      3 實(shí)驗(yàn)

      3.1 數(shù)據(jù)集

      真實(shí)單圖像去霧(real single image defogging,RESIDE)[18]數(shù)據(jù)集由合成霧圖和真實(shí)霧霾圖像組成,包括室內(nèi)訓(xùn)練集(indoor training set,ITS)、混合主觀測(cè)試集(hybrid subjective testing set,HSTS)、綜合目標(biāo)測(cè)試集(synthetic objective testing set,SOTS)、戶外訓(xùn)練集(outdoor training set,OTS)和現(xiàn)實(shí)世界任務(wù)驅(qū)動(dòng)測(cè)試集(Real-world task-driven testing set,RTTS)5 個(gè)子集,本實(shí)驗(yàn)選擇ITS 作為訓(xùn)練集,ITS 包含1 399 張清晰圖像和13 990 張霧圖,霧圖由相應(yīng)的清晰圖像利用大氣散射模型合成。測(cè)試集選擇HSTS 和SOTS。SOTS 從NYU2 數(shù)據(jù)集中選擇了500 張室內(nèi)圖像,同樣通過(guò)大氣散射模型合成有霧圖像,大氣光A從[0.7, 1.0]之間均勻地選擇,beta從[0.6, 1.8]之間均勻地選擇。HSTS 采用同樣的方式合成了10 張室外霧圖,同時(shí)包含10 張真實(shí)世界的霧霾圖像,兩者結(jié)合進(jìn)行主觀評(píng)價(jià)。

      3.2 實(shí)驗(yàn)設(shè)定和評(píng)價(jià)指標(biāo)

      本實(shí)驗(yàn)的軟件和硬件詳細(xì)配置信息如表1 所示。實(shí)驗(yàn)參數(shù)設(shè)置:學(xué)習(xí)率設(shè)為1e-3,batchsize設(shè)為4,采用Adam 優(yōu)化器,epoch設(shè)為100。根據(jù)損失函數(shù)權(quán)重,對(duì)比試驗(yàn)設(shè)置a為2、b為100、c為10。

      表1 軟硬件版本配置信息Table 1 Hardware and software version configuration information

      本文選擇峰值信噪比(peak signal to noise ratio,PSNR) 和結(jié)構(gòu)相似性指數(shù)(structure similarity index,SSIM)作為去霧效果的有參評(píng)價(jià)指標(biāo),以及A. Mittal 等[19]提出的自然圖像質(zhì)量評(píng)估器(natural image quality evaluator,NIQE)作為無(wú)參評(píng)價(jià)指標(biāo)。PSNR 是目前使用最普遍的一種圖像客觀評(píng)價(jià)指標(biāo),值越大代表圖像質(zhì)量越好,其計(jì)算公式為

      式中:MSE為圖像的均方差;MAX1為圖像的最大像素值。

      SSIM 用于判斷圖像之間的相似度,值越大說(shuō)明圖像保留了越多的細(xì)節(jié)信息,其計(jì)算公式為

      式中:L為圖像之間的亮度比較;C為圖像之間的對(duì)比度比較;S為圖像之間的結(jié)構(gòu)比較。

      NIQE 的值越低,去霧圖像的生成質(zhì)量越好。

      3.3 實(shí)驗(yàn)結(jié)果

      首先通過(guò)實(shí)驗(yàn)選擇出損失函數(shù)的權(quán)重,其次為了驗(yàn)證本文算法的有效性,設(shè)計(jì)了3 組實(shí)驗(yàn),選擇暗通道先驗(yàn)去霧(dark channel prior,DCP)、多尺度視網(wǎng)膜增強(qiáng)算法(multi-scale retinex with color restoration,MSRCR)、GCANet 和AOD-Net 作為對(duì)比算法,在SOTS 和HSTS 數(shù)據(jù)集上進(jìn)行測(cè)試,從主觀評(píng)價(jià)和客觀評(píng)價(jià)兩個(gè)角度分析;再次針對(duì)提出的損失函數(shù)做消融實(shí)驗(yàn),分為3 組驗(yàn)證損失函數(shù)的有效性;最后通過(guò)YOLOv3(you only look once)驗(yàn)證去霧前后的檢測(cè)精度是否有提升。

      3.3.1 損失函數(shù)權(quán)重對(duì)比

      為了選擇合適的損失函數(shù)權(quán)重,針對(duì)不同權(quán)重做對(duì)比實(shí)驗(yàn),所得結(jié)果如表2 所示。由此可以設(shè)置權(quán)重a為2、b為100、c為10。

      表2 損失函數(shù)權(quán)重對(duì)比Table 2 Loss function weight comparison

      3.3.2 主觀評(píng)價(jià)和客觀評(píng)價(jià)結(jié)果對(duì)比

      表3 和表4 為不同算法對(duì)合成霧圖的去霧結(jié)果,由兩表中圖片可以看到,經(jīng)過(guò)MSRCR 算法處理后,圖像的顏色存在嚴(yán)重的偏移現(xiàn)象,同原圖相比,是所有算法中去霧效果最差的。

      表3 合成室外霧圖的去霧結(jié)果Table 3 Results of synthetic outdoor haze images

      從表3 中的第二行可以看出,當(dāng)場(chǎng)景對(duì)象與大氣光相似時(shí),DCP 算法處理的結(jié)果會(huì)存在一些顏色畸變和偽影現(xiàn)象。同時(shí)該算法依賴顏色信息,容易造成圖像整體偏暗、局部飽和度過(guò)高等現(xiàn)象。從表4中第二行可以看出,AOD-Net 去霧后還是會(huì)殘留薄霧,并且顏色發(fā)生了一定的偏移。在室內(nèi)場(chǎng)景下,GCANet 的去霧效果比前3 種都要好,和原圖非常接近,但是在室外場(chǎng)景下還是有一些顏色異常,對(duì)天空的處理有些過(guò)曝。相比之下,本文提出的算法可以產(chǎn)生更自然的結(jié)果,同時(shí)具有更清晰的紋理和更好的顏色保真度,在視覺(jué)上更接近原圖。

      圖2 是真實(shí)霧圖及不同算法處理后的實(shí)驗(yàn)結(jié)果,由圖可見(jiàn):DCP 對(duì)天空的處理最差,圖像上產(chǎn)生了網(wǎng)格和偽影,并且物體邊緣會(huì)有光暈;MSRCR 處理植物時(shí)會(huì)出現(xiàn)顏色失真;GCANet 去霧后的圖像會(huì)殘留一些薄霧;AOD-Net 去霧后植物整體顏色偏暗。綜合來(lái)看本文所提出算法的效果最好。

      不同算法去霧結(jié)果的客觀評(píng)價(jià)如表5 所示。

      表5 PSNR 和SSIM 結(jié)果對(duì)比Table 5 Comparison between PSNR and SSIM results

      可以看出MSRCR 和DCP 在兩個(gè)數(shù)據(jù)集上的所有指標(biāo)都表現(xiàn)較差,AOD-Net 的結(jié)果略好于GCANet的,相比之下,本文提出算法不論是有參評(píng)價(jià)指標(biāo)(PSNR、SSIM)還是無(wú)參評(píng)價(jià)指標(biāo)(NIQE)都優(yōu)于其他算法的對(duì)應(yīng)值,在SOTS 和HSTS 數(shù)據(jù)集上都有較好的表現(xiàn),從而驗(yàn)證了所提出算法的有效性。

      3.3.3 損失函數(shù)消融結(jié)果對(duì)比

      為了證明所提出損失函數(shù)的有效性,對(duì)涉及的損失函數(shù)進(jìn)行消融實(shí)驗(yàn),在CGAN 損失的基礎(chǔ)上逐步添加L1 損失和感知損失,并比較其性能,為了進(jìn)行公平地比較,除了對(duì)損失函數(shù)進(jìn)行修改,其余都保持了相同的網(wǎng)絡(luò)架構(gòu)和訓(xùn)練設(shè)置。不同損失函數(shù)的消融結(jié)果對(duì)比如表6 所示,從表中數(shù)據(jù)可以得出,加入L1 損失后可以產(chǎn)生更高的PSNR值,感知損失可以改善圖像的SSIM值,從NIQE值也可以看出,采用復(fù)合損失函數(shù)可以使3 個(gè)指標(biāo)均有所提升。

      表6 不同損失函數(shù)的消融結(jié)果對(duì)比Table 6 Comparison of ablation results of different loss functions

      3.3.4 去霧前后對(duì)目標(biāo)檢測(cè)的影響

      為了判斷本文所提出的算法是否可以提升霧天環(huán)境下目標(biāo)檢測(cè)的精度,在RTTS 數(shù)據(jù)集上進(jìn)行了檢測(cè)實(shí)驗(yàn),RTTS 是一個(gè)已經(jīng)標(biāo)注的真實(shí)霧天數(shù)據(jù)集,包含4 322 幅自然霧天圖像,標(biāo)注了5 個(gè)類別,分別是人、自行車(chē)、汽車(chē)、公共汽車(chē)和摩托車(chē)。采用提出算法進(jìn)行去霧后,基于YOLOv3 算法進(jìn)行檢測(cè),驗(yàn)證提出算法的有效性。

      去霧前后檢測(cè)的mAP和召回率對(duì)比結(jié)果如表7所示,可知經(jīng)過(guò)去霧預(yù)處理后,YOLOv3 的mAP提升了2.51%,召回率提升了4.31%,從而驗(yàn)證了提出算法在霧天環(huán)境下目標(biāo)檢測(cè)的有效性。

      表7 去霧前后目標(biāo)檢測(cè)結(jié)果對(duì)比Table 7 Comparison of the target detection results before and after defogging

      4 結(jié)語(yǔ)

      為了解決現(xiàn)有去霧算法效果不好的問(wèn)題,提出了一種帶跳躍連接的CGAN 網(wǎng)絡(luò)去霧算法。首先設(shè)計(jì)了含對(duì)稱層跳躍連接結(jié)構(gòu)的生成器,可以在特征圖中更好地保留結(jié)構(gòu)和紋理信息,實(shí)現(xiàn)特征共享;其次引入VGG 感知損失和L1 損失對(duì)網(wǎng)絡(luò)進(jìn)行約束,改善了生成圖像顏色偏移和細(xì)節(jié)丟失的問(wèn)題。最后通過(guò)實(shí)驗(yàn),主觀和客觀地比較了提出算法和現(xiàn)有去霧算法的處理結(jié)果,并采用YOLOv3 驗(yàn)證了提出算法在提升霧天環(huán)境下目標(biāo)檢測(cè)精度上的有效性。實(shí)驗(yàn)結(jié)果表明:相比其他算法,提出算法在合成有霧圖像和真實(shí)霧霾圖像上均有較為優(yōu)秀的結(jié)果,生成的圖像具有更好的視覺(jué)效果和更少的顏色失真。但是,生成器采用了深度神經(jīng)網(wǎng)絡(luò),在訓(xùn)練上耗費(fèi)時(shí)間較多,如何設(shè)計(jì)出參數(shù)量少并且高效的網(wǎng)絡(luò)是下一步要思考的問(wèn)題。

      猜你喜歡
      損失卷積函數(shù)
      少問(wèn)一句,損失千金
      二次函數(shù)
      基于3D-Winograd的快速卷積算法設(shè)計(jì)及FPGA實(shí)現(xiàn)
      第3講 “函數(shù)”復(fù)習(xí)精講
      胖胖損失了多少元
      二次函數(shù)
      函數(shù)備考精講
      從濾波器理解卷積
      電子制作(2019年11期)2019-07-04 00:34:38
      玉米抽穗前倒伏怎么辦?怎么減少損失?
      基于傅里葉域卷積表示的目標(biāo)跟蹤算法
      临高县| 芒康县| 开江县| 宁都县| 高阳县| 贡山| 恩平市| 利辛县| 广东省| 东宁县| 神农架林区| 茌平县| 绍兴市| 辰溪县| 乌拉特后旗| 封开县| 新晃| 晋中市| 东安县| 台北市| 抚宁县| 满城县| 五家渠市| 巴里| 炉霍县| 普兰县| 尖扎县| 喜德县| 大冶市| 道孚县| 龙泉市| 凉山| 皮山县| 长武县| 万山特区| 汕头市| 鸡泽县| 乐昌市| 米林县| 黄山市| 繁峙县|