閆碧玉　殷雅茹　于匯欣

摘? 要：在雨天所拍攝的圖像不僅影響人類視覺輸入和判斷，還使許多計算機視覺算法的有效性和穩(wěn)定性降低，如檢測、識別、跟蹤等等。國內(nèi)外對處理視頻上的雨滴的干擾已經(jīng)有了廣泛而深入的研究，取得了很好的去除效果。然而在單幅圖像去雨雪中，由于不能利用視頻上的時域信息，單幅圖像去雨研究變得非常的困難，不但在起步晚，而且效果也差。本文針對單幅圖像去雨算法展開研究，闡述了去雨算法的研究，重點講述了三種不同類型的去雨算法，分別為深度學(xué)習(xí)去雨算法、RESCAN去雨算法、深度細(xì)節(jié)網(wǎng)絡(luò)去雨等。

關(guān)鍵詞：圖像去雨;深度學(xué)習(xí);算法研究

1引言

在信息時代，計算機技術(shù)的發(fā)展越來越智能化。人類信息的主要來源是通過視覺和聽覺，其中視覺獲取的信息遠(yuǎn)遠(yuǎn)大于聽覺獲取的信息。通過視覺獲取的信息占80%以上，而人類通過聽覺獲取的信息僅占10%左右。計算視覺是一種通過攝像機和計算機模擬人類視覺的計算機智能。計算機視覺廣泛應(yīng)用于智能交通、目標(biāo)跟蹤檢測、遠(yuǎn)程監(jiān)控、體育報道、公安、軍事防御等諸多領(lǐng)域。然而，計算機視覺系統(tǒng)容易受到室外惡劣天氣的影響。其主要性能是惡劣天氣下采集的圖像會產(chǎn)生干擾和降質(zhì)，降低計算機視覺處理算法的性能，如目標(biāo)跟蹤、目標(biāo)檢測、圖像檢索等。為了提高人類的視覺效果和計算機視覺系統(tǒng)的性能，本文將對雨天的圖像復(fù)原進(jìn)行系統(tǒng)的闡述，特別是針對單個圖像的去雨算法研究。

2圖像去雨算法

由于在一幅圖像中沒有可用的時域信息，因此更難去除雨雪。在某些情況下，我們只能使用單個圖像（例如，相機拍攝的雨水圖像、從網(wǎng)絡(luò)下載的雨水圖像）。此外，在某些情況下，有必要從單個圖像中刪除雨水。例如，為了提高圖像檢索的精度，需要對圖像進(jìn)行預(yù)處理以去除雨水。此外，單個圖像可以消除動態(tài)背景和運動對象的影響。由于雨水在空間的隨機分布，使得單個圖像中沒有時間域的信息，這使得國內(nèi)外單個圖像中雨水去除的開始速度太慢，方法也很少，去除效果也比較差。

2.1深度學(xué)習(xí)去雨算法

Fu等人（2016）基于深度學(xué)習(xí)技術(shù)，提出了圖像去雨算法。聯(lián)合雨條檢測和去除的卷積神經(jīng)網(wǎng)絡(luò)。文中首先根據(jù)雨條堆積形成的霧和不同的雨條形狀和方向建模。為了解決難以區(qū)分圖像的紋理和雨條，導(dǎo)致平滑解的問題，網(wǎng)絡(luò)設(shè)計檢測雨條的部分，用于抑制無雨區(qū)域的圖像紋理被去除的問題。為了增大圖像的感受野，獲得圖像的全局信息，網(wǎng)絡(luò)設(shè)計了一個上下文空洞卷積網(wǎng)絡(luò)來增大感受野，獲取圖像的全局信息。由于雨條的堆積，網(wǎng)絡(luò)設(shè)計循環(huán)復(fù)原的方式，通過多次的復(fù)原，從而解決了雨條去除不徹底的問題。

2.2深度細(xì)節(jié)網(wǎng)絡(luò)去雨算法

Yang等人（2016）提出了基于深度學(xué)習(xí)的單幅圖像去雨算法，建立卷積神經(jīng)網(wǎng)絡(luò)從雨條的退化圖像中復(fù)原清晰圖像。文章在去除雨條時創(chuàng)新點主要體現(xiàn)在兩個方面：1）提出Negative Residual Mapping（Neg-mapping），用于刻畫清晰圖像和退化圖像間的區(qū)別，使得網(wǎng)絡(luò)學(xué)習(xí)的過程更為簡單2）將輸入圖像進(jìn)行分解為高頻成分用于圖像復(fù)原。

普通的卷積神經(jīng)網(wǎng)絡(luò)設(shè)計時最小化損失函數(shù)

加入Neg-mapping后，修訂的損失函數(shù)為

文中進(jìn)而分別對比了普通的卷積神經(jīng)網(wǎng)絡(luò)、殘差網(wǎng)絡(luò)、加入Neg-mapping的卷積神經(jīng)網(wǎng)絡(luò)、加入Neg-mapping的殘差網(wǎng)絡(luò)和文中最終的方法在圖像去雨上的實現(xiàn)結(jié)果。文中通過實驗結(jié)果圖1，經(jīng)驗式的給出加入Neg-map 可以有效的降低解空間，實現(xiàn)更好的復(fù)原效果。

2.3 RESCAN單圖去雨

通過卷積神經(jīng)網(wǎng)絡(luò)以及循環(huán)神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，提出了一種新的神經(jīng)網(wǎng)絡(luò)架構(gòu)RESCSN來處理單圖雨滴。去雨問題的建模也是將問題進(jìn)行分解，稍有不同的是將雨的影響進(jìn)行了細(xì)分，認(rèn)為R是由多種雨的紋路組成的。

文章提出了一種稱REcurrentSE Context Aggregation Net（RESCAN）的框架，整個過程是多階段的，逐步得到R。每個階段使用一種稱為SCAN的結(jié)構(gòu)，這個結(jié)構(gòu)主要有以下幾個特點：第一是使用空洞卷積快速擴大感知野，因為在去雨中更多的上下文信息是比較關(guān)鍵的。第二個特點是使用SE模塊，作者認(rèn)為特征圖的每個頻道都可以看為某種Ri的表示（embedding），每個Ri都有一個對應(yīng)的系數(shù)αi，通過引入SE模塊，可以顯式地為不同Ri賦值不同的系數(shù)。這樣每個階段都能得到某些雨的條紋，也就是說每個階段都能去除某些雨的條紋由于一個階段不可能將所有的雨的條紋都去除，因此需要多階段逐步地進(jìn)行，這個過程通過RNN的結(jié)構(gòu)來建模。

3.結(jié)論

通過對三種去雨算法的具體綜述，本文對圖像去雨算法有了深入的介紹。由于篇幅有限，對于不同算法的效果還需要更進(jìn)一步的驗證。

參考文獻(xiàn)

[1]? Fu X，Huang J，Zeng D，et al. Removing Rain from Single Images via a Deep Detail Network[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）. IEEE Computer Society，2017.

[2]? Cai B，Xu X，Jia K，et al. DehazeNet：An End-to-End System for Single Image Haze Removal[J]. IEEE Transactions on Image Processing，2016，25（11）：5187-5198.