范郁鋒,曹永鋒
(貴州師范大學數(shù)學與計算機科學學院,貴陽 550000)
基于暗原色先驗的無人機遙感圖像去霧算法
范郁鋒,曹永鋒
(貴州師范大學數(shù)學與計算機科學學院,貴陽550000)
無人機測繪、航拍等技術(shù)以其分辨率高、時效性強、成本低廉和方便快捷等優(yōu)點,得到越來越廣泛的應(yīng)用。然而,部分地區(qū)由于天氣條件或空氣污染等因素,霧、霾天較多,使得采集的圖像對比度下降、顏色失真,極大影響了后續(xù)處理。因此,對無人機遙感圖像去霧問題的研究具有重要的實際意義。當前國內(nèi)外對去霧算法的研究根據(jù)是否依賴大氣散射模型分為兩大類:其一是基于物理模型的算法[1-7]。模型認為含霧圖像是由無霧圖像和空氣光(atmospheric light)按照透射率確定的比例疊加而成的。此類算法通過反推成像過程,從而達到去霧目的,能夠取得不錯的效果;其二是基于非物理模型的算法[8-10],這種方法旨在提高霧圖的對比度,突出圖像中的某些細節(jié),但由于沒有考慮霧圖的成像過程,適用范圍較窄。本文算法屬于前者。
無人機遙感圖像相對于普通景物圖像有自身的特點:①相機從高空向地面取景,當方向近似垂直向下時,場景透射率差別不大,場景中各景物受霧、霾影響的程度大體相同;②城區(qū)類圖像中常存在較大比例的灰色屬性區(qū)域如白色建筑物頂或立面、路面、裸露土地和荒山等);③圖像中幾乎不可能存在天空區(qū)域?,F(xiàn)有基于物理模型的去霧算法多針對普通景物圖像,并不能完全適應(yīng)無人機遙感圖像的去霧問題。He等人[2-4]的算法在霧圖滿足暗原色先驗條件下,有很好的效果。但是,一方面,不滿足暗原色先驗規(guī)律的灰色屬性區(qū)域易造成過去霧;另一方面,因圖像中沒有天空等遠景區(qū)域,估計的空氣光往往存在誤差,致使去霧圖像存在不同程度的色移。Fattal等人[5-7]去霧算法對空氣光矢量方向估計精度很高,然而其對空氣光矢量模和透射率的估計是以暗原色先驗為基礎(chǔ)的,故色彩效果也不太理想。針對以上問題,本文結(jié)合無人機遙感圖像的特色和以上去霧算法的優(yōu)點,提出一種適應(yīng)無人機遙感圖像去霧的新算法。
在霧、霾天氣條件下,大氣粒子會引起光散射。光在粒子間多次散射形成了一層空氣光,這層光降低了中遠程攝影的能見度,減小了圖像對比度。多數(shù)去霧算法基于以下物理模型:
其中,I(x)指輸入圖像,即觀察到的含霧圖像;J(x)指場景輻射度,即清晰無霧圖像;t(x)為透射率,描述無霧圖像在含霧圖像中保留的程度。A指空氣光矢量(簡稱空氣光),它對輸入圖像貢獻的總和稱為大氣光矢量(airlight,簡稱大氣光),即(1-t(x))A部分;x表示像素坐標,I(x)和J(x)都是RGB圖像。根據(jù)式(1),為了將圖象I(x)去霧并恢復(fù)到J(x),必須估計出透射率t(x)和空氣光矢量A或大氣光矢量(1-t(x))A。
Fattal等人[5-7]的算法。一方面,以暗原色先驗為基礎(chǔ)計算大氣光矢量模和透射率分布。另一方面,提出一個平滑小圖像塊的成像模型 (用來計算大氣光矢量方向),如下:
其中,t為小圖像塊各像素的透射率,l'為像素x的亮度;R是由小圖像塊中的景物自身顏色決定的反射率;l=t l'(x),c=(1-t)。符合式(2)的小圖像塊內(nèi)的像素在RGB空間呈直線分布(稱為圖像塊直線),直線和原點構(gòu)成的平面包含了大氣光矢量所在的直線。兩個這樣的平面的交線即可估計出大氣光矢量方向。
He等人[2]基于式(1)物理模型去霧,以暗原色為基礎(chǔ)計算大氣光矢量和透射率。暗原色圖像計算使用式(3)
其中,Jc代表清晰無霧圖像J(x)的某一個顏色通道,Ω(x)是以x為中心的方形區(qū)域。
通過上述分析,本文將霧、霾條件下無人機遙感圖像成像的物理模型表述如下:
其中,Y為大氣光矢量,t為全局透射率,兩者皆適用于所有像素。則去霧、霾過程可表示為:
大氣光矢量Y和全局透射率t的計算算法分別在2.1和2.2節(jié)詳細討論。
2.1估計大氣光矢量Y
大氣光矢量Y可以表示為以下兩個部分:
其中,|Y|為大氣光矢量模,V為大氣光矢量方向。這里首先使用使用文獻[5]中的算法計算大氣光矢量方向V;然后利用取得的大氣光矢量方向V與文獻[2]中的暗原色算法相結(jié)合計算大氣光矢量模|Y|;最后把兩者組合成為最終的大氣光矢量。
下面分別說明|Y|和V計算的算法。
(1)計算大氣光矢量方向V
選取滿足式(2)的小圖像塊。以霧圖的每個像素為中心取若干10×10的圖像塊,僅保留不包含邊緣(通過Canny邊緣檢測實現(xiàn))的圖像塊。分別對這些圖像塊內(nèi)所有像素的顏色矢量做PCA處理得到三個特征值和對應(yīng)的特征向量。根據(jù)下面的三個指標對圖像塊分別倒序排序,通過迭代修正指標閾值,最終選出三個指標都較大的前10個圖像塊用于估計大氣光矢量方向。選取指標為:①最大特征值λ1;②最大、次大特征值的比值λ1/λ2;③圖像塊直線到原點的距離d(圖像塊直線的計算方法為:將該圖像塊的最大特征值λ1對應(yīng)的特征向量作為圖像塊直線的方向,圖像塊內(nèi)各像素顏色矢量的均值作為直線上一點,通過點法式方程即得圖像塊直線)。
計算大氣光矢量方向。通過選出的10個小圖像塊可得10條圖像塊直線,由這10條圖像塊直線可構(gòu)造10個含大氣光矢量的平面(參見1.背景),這些平面兩兩相交可得45條候選直線,分別計算每條候選直線到10條圖像塊直線的歐式距離并求和,將最小的距離和對應(yīng)的候選直線的方向作為大氣光矢量方向。
但是,直接以上面算法[5]處理大圖像時間代價太大,本文從兩個方面做了改進:其一,直接將圖像劃分為大小是10×10的若干圖像塊,圖像塊總數(shù)減少到原來的1%(對于大圖像,1%的圖像塊也能保證結(jié)果的精度);其二,使用單個條件函數(shù)替代多個條件函數(shù)迭代搜索。提出一個圖像塊權(quán)值函數(shù),見式(7),計算每個圖像塊的權(quán)值,選取權(quán)值最大的10個圖像塊即可。
其中,pos(λ1)表示圖像塊在以λ1為關(guān)鍵字的降序序列中的索引值λ1相同的圖像塊取最小的索引值),pos(λ1/λ2),pos(d)的意義類似。
(2)計算大氣光矢量模|Y|
首先,利用求得的大氣光矢量方向?qū)斎雸D像做如下校正,
校正的實質(zhì)的對輸入圖像中的大氣光部分做白平衡,處理后的圖像I1(x)中大氣光矢量三個通道的分量值相等,且大小等于大氣光矢量模的值。然后,根據(jù)式(3)計算圖像I1(x)的暗原色,則暗原色中最小亮度值即可作為大氣光矢量模的估計。為了使估計的值更具魯棒性,取暗原色中亮度最低的前1%個像素的亮度均值作為大氣光矢量模。
(2)估計全局透射率t
利用He的算法可以得到像素級精度的透射率分布。然而,由于空氣光矢量估計誤差圖像中不存在天空區(qū)域),以及一定比例灰色屬性區(qū)域影響會造成對應(yīng)區(qū)域透射率分布t(x)低估),對于無人機遙感圖像,這個透射率分布圖并不準確。
考慮無人機遙感圖像中各像素的透射率變化不大的特點,這里計算一個相對準確的全局透射率t作為各像素的透射率。
在暗原色Jdark(x)中,僅取亮度值最小的20%的像素,這部分像素能夠更好的符合暗原色先驗,從而這些像素的透射率t(x)就會有更高的準確性。對這些像素的透射率求平均值,將這個平均值作為全局透射率t,表示如下:
其中,percent20表示取暗原色暗原色Jdark(x)中亮度最小的20%像素,P為滿足條件像素構(gòu)成的集合;t為估計的全局透射率。
為了驗證本文算法的實際性能,將文獻[2]、[5]中的算法與本文算法在兩幅真實無人機霧圖上做了對比實驗。從去霧結(jié)果(圖1)可以看出,文獻[2]的處理結(jié)果有較好的細節(jié),但部分區(qū)域有較明顯的色移(白色橢圓標定區(qū)域);文獻[5]處理后的圖像有更好的細節(jié),但某些區(qū)域(白色橢圓標定區(qū)域)也有不同程度的色移;本文算法因能夠獲得更好的大氣光矢量和相對準確的全局透射率,結(jié)果圖像在細節(jié)和色彩真實性上都有較好的表現(xiàn)。
表1 霧圖定量評價
為了進一步說明去霧后圖像的質(zhì)量,采用亮度均值、對比度,信息熵[10]和點銳度[11]作為評價指標,對三種算法進行定量評價。四種算法的評價指標值見表1??梢钥闯?,本文算法在四個指標上都有較好的表現(xiàn)。相對于文獻[2]和[5]的算法,本文算法在反映圖像細節(jié)的對比度和點銳度兩個指標上較差。主要原因是[2]和[5]以像素為單位進行去霧,相對于本文以整幅圖像為單位,能更好反映圖像的細節(jié),同時兩算法的過去霧問題也會放大這兩個指標。
圖1 無人機霧圖的去霧結(jié)果(圖d和e中橢圓標記的是色移較明顯的區(qū)域)
本文結(jié)合無人機遙感圖像的特點,并綜合現(xiàn)有一些去霧算法的優(yōu)點,提出了一種新的基于暗原色先驗的無人機遙感圖像去霧算法。通過將文獻[2]和[5]算法結(jié)合,估計出更準確的大氣光矢量;以文獻[2]中的暗原色先驗為基礎(chǔ),給出計算全局透射率的方法。最終結(jié)合大氣散射物理模型,對圖像進行去霧處理。實驗表明,本文算法得到的圖像清晰度較高,色彩真實自然,去霧效果明顯。但本文算法也有一定的局限性,當輸入圖像中的霧不均勻時,去霧效果會受一定程度的影響。將本文算法和圖像分區(qū)技術(shù)結(jié)合,可作為該問題的一個研究方向。
[1]Oakley J P,Bu H.Correction of Simple Contrast Loss in Color Images[J].IEEE Transactions on Image Processing,2007,16(2):511-522
[2]He K M,Sun J,Tang X O.Single Image HAZE Removal Using Dark Channel Prior[J].IEEE Transactions on Pattern Analysis and Machine,2011,33(12):2341-2353
[3]He K M,Sun J,Tang X O.Guided Image Filtering[J].IEEE Transactions on Pattern Analysis and MA,2013,35(6):1397-1409[DOI: 10.1109/TPAMI.2012.213]
[4]He K M,Sun J.Fast Guided Filter[EB/OL].(2015-05-05)[2015-06-21].http://arxiv.org/pdf/1505.00996v1.pdf
[5]Sulami M,Glatzer I,Fattal R,Werman M.Automatic Recovery of the Atmospheric Light in Haze Images[C].Computational Photography
(ICCP),2014 IEEE Intern.Santa Clara,CA,2014:1-11
[6]Fattal R.Single Image Dehazing[J].ACM Transactions on Graphics,2008,27(3):1-9[DOI:10.1145/1360612.1360671]
[7]Fattal R.Dehazing Using Color-Lines[J].ACM Transactions on Graphics,2009,28(4):1-14
[8]Zhu R,Wang L J.Improved Wavelet Transform Algorithm for Single Image Dehazing[J].Optik-International Journal for Light&Electron,2014,125(13):3064-3306
[9]李菊霞,余雪麗.霧天條件下的多尺度Retinex圖像增強算法[J].計算機科學,2013,40(3):299-301.
[10]陳炳權(quán),劉宏立.基于全變分Retinex及梯度域的霧天圖像增強算法[J].通信學報,2014,35(6):139-147.
[11]張宇,劉雨東,計釗.向量相似度測度方法[J].聲學技術(shù),2009,26(4):532-536.
[12]王鴻南,鐘文,汪靜,等.圖像清晰度評價方法研究[J].中國圖象圖形學報:A輯,2004,9(7):828-831.
Dehazing;UVA Remote Sensing Image;Airlight Orientation;Airlight Magnitude;Transmission
UAV Remote Sensing Image Dehazing Algorithm Based on the Dark-Channel
FAN Yu-feng,CAO Yong-feng
(School of Mathematics and Computer Science,Guizhou Normal University,Guiyang 550000)
國家自然科學基金項目(No.41161065)、貴州省科學技術(shù)廳、貴州師范大學聯(lián)合科技基金資助項目(黔科合J字LKS [2013]28號)
1007-1423(2015)32-0046-04
10.3969/j.issn.1007-1423.2015.32.012
范郁鋒(1982-),男,碩士研究生,研究方向為遙感圖像計算機處理與解譯
2015-11-02
2015-11-12
無人機航拍、測繪等技術(shù)以其諸多優(yōu)點,得到越來越廣泛的應(yīng)用。但在部分地區(qū)因天氣條件或大氣污染等因素霧、霾天較多,使得采集的圖像嚴重降質(zhì)。針對該問題,提出一種基于物理模型的無人機遙感圖像去霧算法。首先,通過比較無人機遙感圖像和普通景物圖像,歸納無人機遙感圖像的主要特點,根據(jù)這些特點并結(jié)合現(xiàn)有一些去霧算法的優(yōu)點,給出了大氣光矢量的模、大氣光矢量的方向、全局透射率等去霧參數(shù)的計算方法。實驗結(jié)果顯示,該算法能夠在多個指標上取得較好的效果。這表明該算法有效可行。
去霧;無人機遙感圖像;大氣光矢量方向;大氣光矢量模;全局透射率
曹永鋒(1976-),男,教授,研究方向為圖像分析與模式識別、SAR圖像解譯等
UAV aerial photography,mapping and other technologies,are being more and more widely used for their specific advantages.But in some areas,more fog or haze days severely degrade the images because of weather conditions or atmospheric pollution or other factors.For this problem,proposes the UAV remote sensing image dehazing algorithm based on the dark-channel.First,by compared the UAV remote sensing image with the general scene image,summarizes the main features of the UAV remote sensing image.Then,according to these features and combining the advantages of these algorithms,gets the methods of computing the airlight orientation,airlight magnitude and global transmission.The results show that,the proposed algorithm can achieve nice effect on multiple indicators.It means that our algorithm is effective and feasible.