基于深度殘差網(wǎng)絡(luò)的圖像去雨霧算法研究

臧景峰 安彥霖

摘要：目前視頻去雨霧技術(shù)只在去霧或去雨、去模糊、圖像配準(zhǔn)等某一個特定任務(wù)中表現(xiàn)很好，具有一定的局限性。而卷積神經(jīng)網(wǎng)絡(luò)的堆疊和利用可以同時實現(xiàn)視頻圖像增強(qiáng)所需的多種功能。本文基于卷積神經(jīng)網(wǎng)絡(luò)對含有雨霧的視頻圖像進(jìn)行處理，采用深度殘差網(wǎng)絡(luò)實現(xiàn)視頻圖像去雨霧。本文靈活運用深度學(xué)習(xí)，得到了一種優(yōu)化的視頻去霧雨算法，具有重要的研究意義和實用價值。

關(guān)鍵詞：圖像增強(qiáng);圖像去霧雨;深度學(xué)習(xí);深度殘差網(wǎng)絡(luò)

引言

近年來，視頻圖像成了人們獲取信息的必要途徑。霧、雨、雪等惡劣天氣為圖片帶來的噪聲和污染，常常會導(dǎo)致后續(xù)的分類和識別不準(zhǔn)等影響，因此圖像去雨霧的研究對于需要在惡劣天氣下進(jìn)行圖像處理的具有極大的應(yīng)用價值?，F(xiàn)有的方法有實時性低、處理過程計算量大的缺點。本文在卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，提出了一種基于深度殘差學(xué)習(xí)的視頻去雨霧網(wǎng)絡(luò)，對圖像去霧去雨研究具有重要意義。

1 深度學(xué)習(xí)基礎(chǔ)

1.1深度殘差網(wǎng)絡(luò)原理

深度殘差網(wǎng)絡(luò)采用跳躍連接的方式，直接將輸入信息繞道傳到輸出，整個網(wǎng)絡(luò)只需要學(xué)習(xí)輸入、輸出差別的部分，簡化學(xué)習(xí)目標(biāo)和難度，解決了由于網(wǎng)絡(luò)層數(shù)加深產(chǎn)生的梯度消失和爆炸的問題。

假設(shè)網(wǎng)絡(luò)輸入X，希望輸出H（X），那么網(wǎng)絡(luò)就只需要學(xué)習(xí)輸出一個殘差F（X）。令殘差函數(shù)F（x）=H（x）-x，則原函數(shù)變?yōu)镕（x）+x，于是直接在原網(wǎng)絡(luò)的基礎(chǔ)上加上一個跨層連接，這里的跨層連接也很簡單，就是將X恒等映射（Identity Mapping）傳遞過去。

1.2 注意力機(jī)制與深度學(xué)習(xí)

注意力機(jī)制指神經(jīng)網(wǎng)絡(luò)具有將注意力集中于所需要的特征的能力。計算能力是深度神經(jīng)網(wǎng)絡(luò)發(fā)展的瓶頸，引入注意力機(jī)制，可以有效的減少運用的運算資源。

本文將注意力機(jī)制加入深度殘差網(wǎng)絡(luò)，形成了殘差注意力模塊，更好的提取所需要的特征，并通過殘差學(xué)習(xí)的方式將噪聲與干凈的背景圖分離，從而得到清晰的圖片。

2 深度殘差去雨霧算法

2.1 深度殘差去雨霧網(wǎng)絡(luò)模型

本文選擇動態(tài)場景采集的視頻圖像，經(jīng)過特征提取器，提取我們所關(guān)注的雨、霧特征并進(jìn)行去除。本文提供了訓(xùn)練本網(wǎng)絡(luò)所用的數(shù)據(jù)集和網(wǎng)絡(luò)的性能測試方案。

2.2 特征提取模塊

輸入的特征圖先經(jīng)過卷積層、批歸一化層、帶有激活函數(shù)為Relu的卷積層，構(gòu)造了9個殘差注意力聚集模塊（Res-ABlock）通過堆疊的方式，進(jìn)行高維特征的提取和變換，既能夠提取更豐富的高維特征，又通過引入注意力模塊避免了殘差聚集網(wǎng)堆疊而造成的計算效率低。

2.3 殘差注意力模塊（Res-ABlock）

注意力模塊通常是在通道和空間兩個維度上進(jìn)行建立。與通道注意力機(jī)制不同的是，空間注意力機(jī)制是基于每一個特征圖的空間像素值的相關(guān)性程度不同而建立的。利用特征的內(nèi)在相關(guān)性，讓網(wǎng)絡(luò)集中于關(guān)鍵特征的位置。

3 實驗方法及結(jié)論分析

3.1 數(shù)據(jù)集選擇

選擇合適的數(shù)據(jù)集，可以在測試性能過程中得到更具說服力的結(jié)果。將數(shù)據(jù)集分為訓(xùn)練集和測試集兩部分，訓(xùn)練集用于網(wǎng)絡(luò)學(xué)習(xí)獲得提取和去除雨霧特征的性能，測試集用于測試網(wǎng)絡(luò)性能的優(yōu)點和局限性。去霧采用RESIDE數(shù)據(jù)集，去雨采用Rain100L和Rain100H數(shù)據(jù)集。

3.2 訓(xùn)練環(huán)境及參數(shù)

使用隨機(jī)梯度下降法，其動量參數(shù)為0.85，權(quán)重衰減參數(shù)為5e-4。隨機(jī)梯度下降的批處理數(shù)量為128。我們一共將全部樣本訓(xùn)練了10個周期，在開始訓(xùn)練時將學(xué)習(xí)率設(shè)置為0.01，在第5，7，9個周期時將學(xué)習(xí)率乘上0.1。

3.3實驗結(jié)果及分析

本文采取不同濃度圖片分別進(jìn)行測試，應(yīng)用經(jīng)典和最新算法對比進(jìn)行對比，測試指標(biāo)采用PSNR（峰值信噪比），每種類型圖片應(yīng)用了兩組不同的測試樣本，每組有十張照片，所得的結(jié)果為測試樣本的平均值。

由實驗結(jié)果可以看出，本文算法在薄霧中雨、中霧無雨、中雨濃霧圖片上效果明顯優(yōu)于其他三種算法，在薄霧中雨的條件下效果最為顯著。

4 結(jié)語

本文提出了一種基于深度殘差學(xué)習(xí)的視頻去雨霧網(wǎng)絡(luò)，針對含有雨霧的視頻圖像，既可以達(dá)到良好的去除雨霧的效果，又能夠保證圖像的細(xì)節(jié)不被損壞，保護(hù)視頻圖像的完整性，改善過于平滑的問題。引入注意力模塊與殘差網(wǎng)絡(luò)相結(jié)合，有利于堆疊成深度模型來提高網(wǎng)絡(luò)性能，能在一定程度上彌補卷積操作的固有缺陷。作為計算機(jī)視覺中圖像分析必不可少的前序步驟，本文算法在去霧、去雨任務(wù)上達(dá)到良好的效果，能更好的實現(xiàn)視頻圖像的去雨霧，使視頻圖像清晰化。

參考文獻(xiàn)

[1]汪昱東，郭繼昌，王天保.一種改進(jìn)的霧天圖像行人和車輛檢測算法[J].西安電子科技大學(xué)學(xué)報，2020，47（04）：70-77.

[2]張杰，隋陽，李強(qiáng)，李想，董瑋.基于卷積神經(jīng)網(wǎng)絡(luò)的火災(zāi)視頻圖像檢測[J].電子技術(shù)應(yīng)用，2019，45（04）：34-38+44.

[3]Mostafa M.El-Hashash，Hussein A.Aly.High-speed video haze removal algorithm for embedded systems[J].Journal of Real-Time Image Processing.2016-06-04.

[4]Sibaji Gaj，Anoop Kumar Rathore，et al.A robust watermarking scheme against frame blending and projection attacks[J].Multimedia Tools and Applications.2016-10-07.

[5]Wang M，Mai J，et al.A component-driven distributed framework for real-time video dehazing[J].Multimedia Tools and Applications.2017-12-27，77（9）.

基金項目：JJKH20210839KJ，雨霧場景中基于卷積神經(jīng)網(wǎng)絡(luò)的視頻圖像增強(qiáng)方法研究，吉林省教育廳科學(xué)研究項目