牛宏俠，王春智

（蘭州交通大學(xué)a.自動(dòng)化與電氣工程學(xué)院，b.甘肅省高原交通信息工程及控制重點(diǎn)實(shí)驗(yàn)室，c.光電技術(shù)與智能控制教育部重點(diǎn)實(shí)驗(yàn)室，蘭州 730070）

由于沙塵顆粒對(duì)光線的反射，會(huì)對(duì)成像設(shè)備獲取清晰的圖像產(chǎn)生很大干擾，進(jìn)而影響到行人檢測(cè)、目標(biāo)識(shí)別等領(lǐng)域.因此研究沙塵圖像的清晰化算法對(duì)于計(jì)算機(jī)設(shè)備提取圖像目標(biāo)信息具有很強(qiáng)的現(xiàn)實(shí)意義和價(jià)值.

目前處理沙塵圖像的方法主要是基于圖像增強(qiáng)和圖像復(fù)原的方法，近年來也有一些學(xué)者研究基于深度學(xué)習(xí)的處理方法來解決霧霾問題.

基于圖像增強(qiáng)的方法沒有從物理成像的方式考慮，重在提升圖像的視覺效果.文獻(xiàn)［1］提出先利用高斯模型進(jìn)行偏色校正，再利用改進(jìn)的基于奇異值分解增強(qiáng)算法提升圖像對(duì)比度.該算法對(duì)于圖像清晰度恢復(fù)有較好效果，但是對(duì)于圖像的偏色問題處理效果欠佳，會(huì)呈現(xiàn)前景偏藍(lán)的現(xiàn)象.文獻(xiàn)［2］提出在藍(lán)色通道補(bǔ)償和白平衡校正色差的基礎(chǔ)上，利用導(dǎo)向?yàn)V波提升圖像對(duì)比度和邊緣精度，在算法效率方面提升顯著，但是解決圖像的偏色問題仍存在不足.文獻(xiàn)［3］提出利用綠色分量補(bǔ)償其他通道的方式進(jìn)行偏色校正，并基于最大直方圖的顏色像素進(jìn)而移動(dòng)直方圖重疊達(dá)到沙塵圖像增強(qiáng)的目的，該算法能較好地解決圖像偏色問題，但是處理后存在薄霧的干擾，導(dǎo)致圖像清晰度恢復(fù)效果仍有待提升.

基于圖像復(fù)原的方法通?；诖髿馍⑸淠Ｐ瓦M(jìn)行反推得到清晰圖像.該類算法在處理沙塵圖像時(shí)，基本都是在校正色偏的基礎(chǔ)上，利用暗通道先驗(yàn)［4］求取大氣光值并優(yōu)化透射率，進(jìn)而去除霧霾的影響.文獻(xiàn)［5］在Lab 空間顏色校正的基礎(chǔ)上，提出基于光暈還原的暗通道先驗(yàn)算法來恢復(fù)沙塵圖像，該方法提升對(duì)比度效果顯著，但是處理后容易產(chǎn)生過度曝光問題，對(duì)于降質(zhì)較為嚴(yán)重的沙塵圖像，也難以有效解決色偏問題.文獻(xiàn)［6］在基于高斯模型色偏校正的基礎(chǔ)上，再利用明暗通道相結(jié)合的方式，優(yōu)化透射圖和大氣光值，得到清晰的去沙塵圖像，但是該算法對(duì)于對(duì)比度的提升效果仍有待提高.文獻(xiàn)［7］利用容差機(jī)制來優(yōu)化天空區(qū)域估計(jì)的透射率并使用自適應(yīng)顏色校正因子來解決色彩偏移問題，該算法對(duì)于圖像的遠(yuǎn)景細(xì)節(jié)處理能力還需進(jìn)一步加強(qiáng).對(duì)于降噪方面的圖像復(fù)原方法，文獻(xiàn)［8］提出基于自相似性和低秩表示的圖像盲復(fù)原算法，該算法對(duì)于模糊圖像去噪具有較好效果.

雖然目前也提出不少基于深度學(xué)習(xí)的處理方法，但是多用來處理霧霾天氣圖像，如果針對(duì)沙塵圖像進(jìn)行設(shè)計(jì)，還需重點(diǎn)解決圖像偏色問題.文獻(xiàn)［9］提出一種基于雙域分解的卷積神經(jīng)網(wǎng)絡(luò)去霧模型，可以直接實(shí)現(xiàn)端到端去霧，處理后具有較好的測(cè)評(píng)效果.文獻(xiàn)［10］設(shè)計(jì)了多尺度深度學(xué)習(xí)網(wǎng)絡(luò)用來去除霧霾影響，該網(wǎng)絡(luò)通過融合高頻子霧網(wǎng)絡(luò)與低頻子霧網(wǎng)絡(luò)學(xué)習(xí)到的透射率，再根據(jù)大氣散射模型得到恢復(fù)后的清晰圖像.文獻(xiàn)［11］針對(duì)沙塵圖像設(shè)計(jì)了一種色彩恢復(fù)網(wǎng)絡(luò)，先通過偽彩色特征映射設(shè)計(jì)卷積網(wǎng)絡(luò)進(jìn)行偏色校正，再利用基于編碼解碼器的網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)進(jìn)行圖像增強(qiáng)，該網(wǎng)絡(luò)模型對(duì)于合成沙塵圖像恢復(fù)效果顯著，但是應(yīng)用在真實(shí)的沙塵圖像中，清晰度恢復(fù)效果仍需進(jìn)一步提高.

針對(duì)上述算法中存在的問題，本文作者在文獻(xiàn)［3］的基礎(chǔ)上進(jìn)行改進(jìn)，提出一種基于HSI（Hue，Saturation，Intensity）空間的沙塵圖像增強(qiáng)算法.

1 HSI 空間算法

HSI 空間算法是基于圖像增強(qiáng)的設(shè)計(jì)方法，主要從偏色校正和后處理增強(qiáng)兩部分處理圖像.偏色校正方面先在RGB 空間利用綠色通道補(bǔ)償其他顏色通道，再利用綠色通道均值拉伸調(diào)整直方圖分布，從而得到三通道分布集中的無色偏圖像；后處理增強(qiáng)方面利用HSI 通道間互不干擾的特性，將校正后的RGB 圖像轉(zhuǎn)到HSI 空間，H（色調(diào)）分量保持不變，分別對(duì)S（飽和度）分量進(jìn)行自適應(yīng)飽和度調(diào)整和I（亮度）分量進(jìn)行限制對(duì)比度自適應(yīng)直方圖均衡化（CLAHE）算法處理.最后，合并通道轉(zhuǎn)到RGB 空間，得到最終的清晰去沙塵圖像.本文算法流程如圖1 所示.

圖1 基于HSI 空間的沙塵圖像增強(qiáng)算法流程框圖Fig.1 Block diagram of sand-dust image enhancement algorithm based on HSI space

1.1 色彩平衡算法

1.1.1 初始化偏色校正

由于沙塵圖像具有通道偏離的特性［12］，首先對(duì)于圖像各通道采取加權(quán)綠色通道的方式進(jìn)行補(bǔ)償，可有效調(diào)整圖像的紅色通道和藍(lán)色通道，使藍(lán)色通道的平均值和標(biāo)準(zhǔn)差得到一定增強(qiáng)，紅色通道的平均值和標(biāo)準(zhǔn)差得到一定程度的減弱.其基本實(shí)現(xiàn)如下

式中：Ic(x)表示原始各通道的像素值；(x)表示經(jīng)過補(bǔ)償后各通道對(duì)應(yīng)的像素值；Δc表示綠色通道的權(quán)重因子，為3 個(gè)權(quán)重系數(shù)分量的乘積，如下

式中：是基于平均值的全局權(quán)重系數(shù)；是基于標(biāo)準(zhǔn)差的全局權(quán)重系數(shù)(x)是基于像素的局部加權(quán)因子.各權(quán)重系數(shù)的具體計(jì)算公式為

式中：m(Ic)表示求各通道的像素均值；σ(Ic)是求取各通道的標(biāo)準(zhǔn)差；r，g，b 則分別代表紅、綠、藍(lán)三顏色通道.

經(jīng)上述公式計(jì)算補(bǔ)償后，實(shí)現(xiàn)結(jié)果如圖2 所示.

圖2 初始化色彩校正結(jié)果Fig.2 Initial color correction results

從圖2 處理結(jié)果可以看出，經(jīng)初始化偏色校正算法處理后，并不能完全去除色偏影響，該步驟主要是以綠色通道作為補(bǔ)償量，對(duì)圖像的紅色通道和藍(lán)色通道進(jìn)行調(diào)整，圖像調(diào)整后具體參數(shù)如表1 所示，綠色通道的平均值和標(biāo)準(zhǔn)差基本不變，紅色通道的平均值和標(biāo)準(zhǔn)差減小，相對(duì)的藍(lán)色通道平均值和標(biāo)準(zhǔn)差增大.經(jīng)該步驟處理后為后續(xù)顏色歸一化提供基礎(chǔ).

表1 初始化色彩校正處理前后圖像參數(shù)對(duì)比Tab.1 Comparison of image parameters before and after initial color correction processing

1.1.2 綠色通道保持顏色歸一化

在初始化調(diào)整紅藍(lán)通道的基礎(chǔ)上，進(jìn)一步根據(jù)綠色分量的均值拉伸其他通道，達(dá)到有效校正色偏的目的，具體實(shí)現(xiàn)為

最終色彩平衡結(jié)果如圖3 所示，處理后圖像三通道直方圖集中分布，色偏問題已基本解決，而且從視覺效果來看，也具有很好的色彩保真度，但是圖像整體的對(duì)比度和飽和度提升不明顯，仍需進(jìn)一步處理獲得更為清晰的去沙塵圖像.

圖3 色彩校正處理后圖像與直方圖對(duì)比結(jié)果Fig.3 Comparison of image and histogram results before and after color correction processing

1.2 HSI 空間增強(qiáng)算法

文獻(xiàn)［3］在上述色彩平衡算法的基礎(chǔ)上，在RGB 空間基于最大直方圖重疊的顏色像素偏移和最終的像素調(diào)整算法進(jìn)行處理，經(jīng)大量實(shí)驗(yàn)驗(yàn)證發(fā)現(xiàn)，后續(xù)步驟對(duì)提升圖像對(duì)比度效果不明顯，而且難以保證很高的算法效率.因此本文對(duì)該算法進(jìn)行改進(jìn)，由于在RGB 顏色空間調(diào)整圖像對(duì)比度會(huì)產(chǎn)生通道間的相互影響，可能會(huì)進(jìn)一步導(dǎo)致色偏問題，而轉(zhuǎn)到HSI 空間分離各通道進(jìn)行調(diào)整能較好地避免該問題，因此本文設(shè)計(jì)的改進(jìn)算法是在文獻(xiàn)［3］色彩平衡的基礎(chǔ)上，對(duì)于圖像后處理部分取代原本在RGB 空間進(jìn)行的顏色像素偏移和像素調(diào)整算法，轉(zhuǎn)而在HSI 空間中進(jìn)行自適應(yīng)飽和度調(diào)整和利用CLAHE算法調(diào)整圖像對(duì)比度.

其中RGB 空間各顏色分量和HSI 空間相應(yīng)分量的轉(zhuǎn)換實(shí)現(xiàn)過程為

利用上述公式轉(zhuǎn)換分離各通道，由于前續(xù)算法中已校正沙塵圖像的偏色問題，所以本文保持H分量不變，僅對(duì)S分量和I分量分別進(jìn)行增強(qiáng)處理.對(duì)于S分量提出自適應(yīng)飽和度增強(qiáng)的方式，I分量采取CLAHE 算法提升對(duì)比度.

1.2.1 自適應(yīng)飽和度增強(qiáng)

飽和度補(bǔ)償對(duì)圖像的視覺效果提升有重要作用.文獻(xiàn)［13］利用飽和度補(bǔ)償因子進(jìn)行調(diào)整飽和度，雖然通過各通道像素最大值進(jìn)行限制，但是處理后仍會(huì)呈現(xiàn)飽和度過度增強(qiáng)的問題.本文針對(duì)色彩平衡算法處理后圖像整體飽和度偏低的問題，在S通道對(duì)于飽和度分量提出自適應(yīng)補(bǔ)償?shù)姆绞?設(shè)初始圖像的飽和度分量為S(i，j)，經(jīng)調(diào)整后的飽和度分量為S＇(i，j)，調(diào)整過程為

式中：Smax為飽和度分量的最大值；Smin為飽和度分量的最小值.S 通道經(jīng)該式處理后，可以實(shí)現(xiàn)全局自適應(yīng)調(diào)整圖像飽和度，不會(huì)產(chǎn)生飽和度過度增強(qiáng)的現(xiàn)象，從而展現(xiàn)更好的視覺效果.

1.2.2 CLAHE 算法提高對(duì)比度

沙塵圖像經(jīng)偏色校正后，由于霧霾的干擾圖像對(duì)比度較低，此處在保證圖像清晰度的同時(shí)，采用圖像增強(qiáng)的方式進(jìn)一步提升圖像對(duì)比度，淡化霧霾的影響.本文利用限制對(duì)比度自適應(yīng)直方圖均衡化算法（CLAHE）在I 通道進(jìn)行進(jìn)一步提升.

文獻(xiàn)［14］提出在Lab 顏色空間使用歸一化冪律校正的CLAHE 算法處理沙塵圖像，改進(jìn)后對(duì)于對(duì)比度提升有一定作用，但是容易導(dǎo)致圖像過增強(qiáng)而呈現(xiàn)出圖像過曝的現(xiàn)象.文獻(xiàn)［15］是在RGB 顏色空間使用該算法處理水下圖像，由于水下圖像本身偏暗，處理后不會(huì)有明顯的過增強(qiáng)問題，但是算法耗時(shí)會(huì)有相應(yīng)增加.相比于在RGB 空間針對(duì)三通道分別進(jìn)行CLAHE 算法處理，在HSI 空間處理能在不改變整體直方圖分布變化的基礎(chǔ)上進(jìn)行對(duì)比度的提升，而且單通道的處理效率相比三通道整體處理，算法效率也會(huì)明顯提高.

針對(duì)傳統(tǒng)直方圖均衡化是在全局范圍進(jìn)行調(diào)整容易導(dǎo)致圖像過增強(qiáng)和突出背景噪聲的問題，CLAHE 算法通過分塊處理圖像各部分并將截取的像素通過插值的方式重新分配，從而得到對(duì)比度高的增強(qiáng)圖像.該算法的具體實(shí)現(xiàn)過程為

1）獲取到I 通道的亮度分布圖像.

2）將該分布圖像分割成若干大小相同的非重疊區(qū)域并分別計(jì)算其累積直方圖.

3）重新分配直方圖的灰度值，設(shè)置直方圖重新分布的閾值，閾值的確定通過β值計(jì)算.

式中：M×N表示每一分割區(qū)域的大?。籐代表灰度值；α表示裁剪閾值；Smax表示最大斜率，通常設(shè)置為1～4 范圍內(nèi).本文設(shè)置α為1.0，每塊分割區(qū)域?yàn)?×8大小.

4）直方圖均衡化處理.將超過β閾值的灰度分布均衡化處理，使其分散至概率密度分布上.在重構(gòu)像素點(diǎn)分布時(shí)，采用雙線性插值的方式計(jì)算灰度值，由此得到灰度值重新分布的高對(duì)比度圖像.

沙塵圖像經(jīng)所提算法處理后對(duì)比結(jié)果如圖4所示.

圖4 HSI 空間增強(qiáng)算法處理對(duì)比Fig.4 Comparison of HSI spatial enhancement algorithm processing

圖4（b）、4（c）展示出經(jīng)本文提出的HSI 空間增強(qiáng)算法處理后，圖像整體飽和度和對(duì)比度相比原算法都有相應(yīng)提升，而且從圖4（e）、4（f）細(xì)節(jié)對(duì)比可以看出，經(jīng)本文算法處理后圖像的清晰度恢復(fù)效果也更具優(yōu)勢(shì).

2 實(shí)驗(yàn)結(jié)果分析

本文基于大量沙塵圖像進(jìn)行實(shí)驗(yàn)，圖像數(shù)據(jù)均來源于相關(guān)論文、百度圖片.實(shí)驗(yàn)在Intel?CoreTM i7-10750H CPU＠2.60GHz，16.00GB 內(nèi)存，安裝有win10 操作系統(tǒng)的計(jì)算機(jī)設(shè)備上進(jìn)行運(yùn)行，編程語言為Python 和Matlab.為驗(yàn)證本文算法的有效性和先進(jìn)性，將本文算法與其他主流的去沙塵算法進(jìn)行對(duì)比，如Fu 算法［16］、Pan 算法［12］、Shi 算法［5］和Park算法［3］.本文選取部分實(shí)驗(yàn)數(shù)據(jù)進(jìn)行定性和定量分析.

2.1 定性分析

本文算法與其他算法對(duì)比的實(shí)現(xiàn)效果如圖5所示.

圖5 展示了在不同降質(zhì)程度的沙塵天氣圖像中各算法處理后的效果，從實(shí)驗(yàn)中可以看出經(jīng)Fu 算法處理后，能一定程度校正色偏，但圖像清晰度恢復(fù)較差；經(jīng)Pan 算法處理后，清晰度有很大提升，但是對(duì)于降質(zhì)較為嚴(yán)重的沙塵圖像，如圖5（b2）、圖5（b3），處理后仍存在一定偏色問題，并且處理圖5（b5）后藍(lán)色偽影問題也較為嚴(yán)重；經(jīng)Shi 算法處理后，圖像整體清晰度和對(duì)比度顯著提高，但是對(duì)于降質(zhì)嚴(yán)重的沙塵圖像如圖5（b3）、圖5（b4）也無法有效校正色偏，而且存在過度曝光的問題，恢復(fù)圖像視覺效果上不自然；經(jīng)Park 算法處理后，色彩平衡和清晰度恢復(fù)效果都有一定提升，但是受霧霾影響，清晰度仍有待提高；本文算法在圖像清晰度和對(duì)比度恢復(fù)方面進(jìn)一步提升，色彩恢復(fù)自然，已基本看不出有霧霾的影響，如圖中紅色框選部分細(xì)節(jié)對(duì)比所示.

圖5 本文算法與其他去沙塵算法處理對(duì)比Fig.5 Comparison of images processed by the algorithm of this paper with other dedust algorithms

2.2 定量分析

由于目前專門針對(duì)沙塵圖像的圖像質(zhì)量評(píng)價(jià)指標(biāo)沒有統(tǒng)一標(biāo)準(zhǔn)，本文選取了幾個(gè)通用的評(píng)價(jià)指標(biāo)：平均梯度、信息熵和對(duì)比度進(jìn)行分析.平均梯度是反映圖像灰度特征的變化率，可表征圖像的相對(duì)清晰程度，平均梯度越大，圖像層次越多，圖像越清晰；信息熵反映圖像灰度分布的信息量，信息熵越大，圖像細(xì)節(jié)越豐富；對(duì)比度則是衡量圖像灰度反差大小，圖像對(duì)比度越高，圖像各色階的色彩表現(xiàn)更為突出.

從表2 參數(shù)信息熵、對(duì)比度、平均梯度來看，相比其他先進(jìn)算法，本文算法的信息熵基本相差不多或優(yōu)于其他算法，表明經(jīng)本文算法處理后，細(xì)節(jié)信息恢復(fù)能力較強(qiáng).對(duì)比參數(shù)平均梯度和對(duì)比度，除去Shi 算法，與其他對(duì)比算法相比，本文算法參數(shù)表現(xiàn)最為突出，表明本文算法可以獲得去沙塵效果明顯，對(duì)比度高的恢復(fù)圖像.而Shi 算法利用伽馬函數(shù)改進(jìn)的CLAHE 算法提升對(duì)比度，所以參數(shù)表現(xiàn)優(yōu)異，但是從圖像的恢復(fù)能力來說，圖像保真度效果較差，并且結(jié)合大量實(shí)驗(yàn)的主觀視覺效果來看，Shi 算法仍存在圖像色彩過度曝光的問題，色彩校正方面也需要進(jìn)一步改善.因此，綜合各算法的定量和定性表現(xiàn)，本文算法對(duì)于恢復(fù)后的沙塵圖像細(xì)節(jié)表現(xiàn)能力良好，而且在保證圖像保真度的同時(shí)，還具有更好的對(duì)比度和清晰度提升效果.

表2 不同去沙塵方法處理后的定量分析結(jié)果Tab.2 Quantitative analysis results after processing by different dedust methods

續(xù)表

從表3 各算法運(yùn)行時(shí)間和圖6 統(tǒng)計(jì)的各算法平均運(yùn)行時(shí)間不難看出，對(duì)于不同分辨率的圖像，相比于其他主流算法，本文算法的運(yùn)行速度最快，而且本文算法在基于Park 算法的改進(jìn)上，平均時(shí)間效率提升77%左右.這說明本文算法在算法效率上提升顯著，已基本達(dá)到算法設(shè)計(jì)實(shí)時(shí)性的要求.

圖6 各算法平均運(yùn)行時(shí)間統(tǒng)計(jì)Fig.6 Average running time statistics of each algorithm

表3 各算法運(yùn)行時(shí)間比較Tab.3 Comparison of the running time for each algorithm

3 結(jié)論

1）針對(duì)現(xiàn)有去沙塵算法存在的圖像恢復(fù)對(duì)比度不足和算法效率較低的問題，設(shè)計(jì)了基于HSI 空間的沙塵圖像增強(qiáng)算法，在偏色校正的基礎(chǔ)上，轉(zhuǎn)至HSI 顏色空間，分別在飽和度通道和亮度通道進(jìn)行自適應(yīng)飽和度調(diào)整和CLAHE 算法處理.

2）實(shí)驗(yàn)證明，本文算法不僅在原有算法的基礎(chǔ)上，保證了足夠的清晰度和對(duì)比度，而且算法效率提升明顯，具有更好的應(yīng)用價(jià)值.而且相比其他主流算法.本文算法在保證色彩保真度的同時(shí)，圖像細(xì)節(jié)體現(xiàn)更為清晰，在客觀評(píng)價(jià)指標(biāo)中也具有明顯優(yōu)勢(shì)，證明了本文算法的先進(jìn)性.但是對(duì)于大片天空區(qū)域，經(jīng)本文算法處理后仍會(huì)產(chǎn)生光暈現(xiàn)象，未來將對(duì)此問題進(jìn)一步研究.