葉曉杰,趙巨峰,2,公曉麗,2,朱禮堯,崔光茫

(1.杭州電子科技大學(xué)電子信息學(xué)院,浙江 杭州 310018; 2.杭州電子科技大學(xué)射頻電路與系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室,浙江 杭州 310018)

1 引 言

隨著經(jīng)濟(jì)的發(fā)展,如何實(shí)時(shí)監(jiān)控海洋等水面環(huán)境成為保障安全、發(fā)展海洋經(jīng)濟(jì)的重要一環(huán)。由于海面復(fù)雜環(huán)境的影響,尤其是大范圍濃厚水霧等惡劣天氣影響,紅外成像的目標(biāo)對(duì)比度急劇下降。硬件器件受限,只能依賴(lài)復(fù)原增強(qiáng)技術(shù)提升對(duì)比,為探測(cè)識(shí)別奠定基礎(chǔ)。

為了提升圖像的視覺(jué)效果,便于觀察或機(jī)器識(shí)別,需要對(duì)紅外圖像進(jìn)行增強(qiáng)[1]。近年來(lái),研究紅外圖像增強(qiáng)的算法很多,包括直方圖均衡化(Histogram Equalization,HE)[2]、對(duì)比度自適應(yīng)直方圖均衡化(Contrast Limited Adaptive Histogram Equalization,CLAHE)增強(qiáng)[3]、分層圖像增強(qiáng)、子帶分解多尺度的圖像增強(qiáng)[4]、頂帽變換(Multi Scale &Top-Hat,MSTH)圖像增強(qiáng)[5]、基于雙峰高斯函數(shù)規(guī)定化的變分增強(qiáng)[6]等。劉軼彤等通過(guò)Kinect立體相機(jī)獲取紅外圖像的深度信息,根據(jù)景深來(lái)分離船舶目標(biāo)區(qū)域和背景區(qū)域,通過(guò)設(shè)定初始閾值,進(jìn)行冗余灰度壓縮、冪指數(shù)拉伸和直方圖均衡,實(shí)現(xiàn)了紅外圖像的增強(qiáng)[7]。曹慧等采用類(lèi)似可見(jiàn)光去霧的暗原色算法提高了紅外圖像對(duì)比度[8],凸顯細(xì)節(jié)信息,并提高了信噪比。平臺(tái)直方圖均衡化方法是通過(guò)選取合適的平臺(tái)閾值來(lái)抑制對(duì)紅外圖像中背景和噪聲的過(guò)度增強(qiáng),但閾值選取依賴(lài)經(jīng)驗(yàn),限制了算法的應(yīng)用[9]。為了更好凸顯圖像中的目標(biāo),將脈沖耦合神經(jīng)網(wǎng)絡(luò)(PCNN)分割和模糊集理論相結(jié)合,也可實(shí)現(xiàn)紅外圖像的增強(qiáng)[10]。

為將紅外復(fù)原增強(qiáng)方法應(yīng)用于實(shí)際系統(tǒng),一是效率要求,即運(yùn)行速度快,參數(shù)適應(yīng)性強(qiáng)；二是效果要求,即增強(qiáng)效果好。統(tǒng)籌相關(guān)算法的優(yōu)勢(shì)與不足,本文提出一種水面環(huán)境下的紅外圖像增強(qiáng)算法,效果好,速度快,參數(shù)適應(yīng)性強(qiáng)。該方法在分析水面環(huán)境紅外成像退化機(jī)理的基礎(chǔ)上,結(jié)合暗通道先驗(yàn)[11]粗略估計(jì)透過(guò)率,結(jié)合邊緣權(quán)重分析估計(jì)精細(xì)透過(guò)率與路徑輻射,針對(duì)性地增強(qiáng)細(xì)節(jié)亮度,快速提升降質(zhì)紅外圖像的視覺(jué)效果。

2 基本理論與輻射分析

在水面環(huán)境下成像,一方面是來(lái)自于場(chǎng)景與物體的輻射Eradiation；由于水汽的影響,路徑輻射能量Epath也相對(duì)較大。因此,紅外傳感器獲取的能量Esensor可以表示為:

Esensor=Eradiation+Epath

(1)

一方面,場(chǎng)景輻射隨著傳輸距離而迅速衰減。根據(jù)衰減規(guī)律,到達(dá)傳感器的輻射結(jié)果為:

(2)

E0(λ)是場(chǎng)景在波段λ1～λ2上的輻射;τ(λ)是大氣透過(guò)系數(shù);D表示場(chǎng)景各處到相機(jī)的實(shí)際距離。為運(yùn)算方便,用波段均值E0代替波段的積分均值,用大氣平均透過(guò)率T代替e-τ(λ)D積分。E0為場(chǎng)景本身的輻射,即我們待求的原始輻射。

另一方面,路徑輻射隨著實(shí)際距離D的增大而增大。距離積分得到有效路徑輻射:

Epath=I∞(1-e-τ(λ)D)=I∞(1-T)

(3)

式中,當(dāng)D無(wú)窮大時(shí),T=0,路徑輻射最大即I∞,它代表大氣的光強(qiáng)程度。

結(jié)合公式(1)～(3),原始輻射E0可推導(dǎo)得到:

(4)

為防止病態(tài),分母趨近于0時(shí),一般由較小的常數(shù)代替。從原理上看,Esensor、E0都是輻射,而通常所獲取的是紅外的灰度圖像,因此最佳的策略是先對(duì)相機(jī)進(jìn)行輻射標(biāo)定。在近似情況下,可用圖像代替輻射。因此,上式中,Esensor即觀測(cè)圖像,E0即待求清晰圖。若能較好獲取I∞與T,即可實(shí)現(xiàn)增強(qiáng)獲取原始清晰圖像。

3 結(jié)合邊緣分析與參數(shù)估計(jì)的紅外增強(qiáng)

3.1 紅外圖的邊緣分析

水面紅外圖像中,景物是有限的局部區(qū)域,利用邊緣矩陣M可以分析局部區(qū)域的灰度狀況。M一般在N×N窗口內(nèi)計(jì)算,對(duì)像素(x,y)處的Mxy有:

(5)

(6)

α可以決定M中值的范圍,其具體可由下式確定:

(7)

n=c-c×s

(8)

由此獲取的M矩陣,可以歸一化到[0,1],表征灰度相對(duì)強(qiáng)弱變化的程度。

3.2I∞與T的估計(jì)

為防止零星噪點(diǎn)的影響,在M>th(閾值)的對(duì)應(yīng)區(qū)域,搜尋觀測(cè)圖像的前5個(gè)最大值的平均值作為I∞值。一方面由于局部方差是N×N窗口內(nèi)的,克服了噪點(diǎn)的影響,另一方面,觀測(cè)當(dāng)前圖c的灰度值較大值也分布于M值較大的附近,可以有效防止盲目搜尋。

對(duì)透過(guò)率T的求解,借鑒可見(jiàn)光暗通道去霧透過(guò)率的求解方式,使用局部區(qū)域的最小值的相關(guān)函數(shù),來(lái)表征透射率。于是,某N×N鄰域內(nèi)的透過(guò)率為:

(9)

公式的透過(guò)率t是粗糙的,N×N鄰域內(nèi)都是相同的,需要像素級(jí)別上的細(xì)化。對(duì)于水面環(huán)境下的紅外圖像,感興趣的目標(biāo)或者像素是有限的,細(xì)化的過(guò)程中,只需要對(duì)那些潛在目標(biāo)區(qū)域進(jìn)行更好的細(xì)化,而其他區(qū)域相對(duì)平滑即可。這里,使用結(jié)合邊緣矩陣M的導(dǎo)向?yàn)V波細(xì)化,其細(xì)化在r×r的局部空間內(nèi)操作,在任何像素(x,y)處,有透過(guò)率:

(10)

式中,Kxy即濾波器;對(duì)于此變異公式的導(dǎo)向?yàn)V波輸入,包括c以及經(jīng)邊緣矩陣約束的粗糙透過(guò)率(Mt),由此可獲得適合此應(yīng)用場(chǎng)景的較為精細(xì)的透過(guò)率圖。導(dǎo)向?yàn)V波的具體解釋可參見(jiàn)文獻(xiàn)[12]。

4 實(shí)驗(yàn)與分析

4.1 實(shí)驗(yàn)說(shuō)明

本實(shí)驗(yàn)采用的臺(tái)式機(jī)配置為雙核CPU(1.7 GHz),運(yùn)行平臺(tái)為Matlab R2010b。采用了三幅圖(圖1)來(lái)驗(yàn)證算法的效果,并且選用了三種常用及出色的紅外圖像增強(qiáng)算法進(jìn)行對(duì)比,包括直方圖均衡化法(HE)[2],對(duì)比度自適應(yīng)直方圖均衡化法(CLAHE)[3]和頂帽變換法(MSTH)[5]。圖2～4是本文方法與三種對(duì)比方法對(duì)圖1進(jìn)行紅外增強(qiáng)后的視覺(jué)效果比較。

圖1 原始紅外圖像實(shí)例

圖2 用四種方法的算法對(duì)圖1

圖3 用四種方法的算法對(duì)圖1(b)進(jìn)行紅外 圖像增強(qiáng)后的比較示意圖

圖4 用四種方法的算法對(duì)圖1(c)進(jìn)行紅外 圖像增強(qiáng)后的比較示意圖

4.2 主觀評(píng)價(jià)

圖像質(zhì)量評(píng)價(jià)的方式包含人眼主觀評(píng)價(jià)和算法客觀評(píng)估。通常,主觀評(píng)價(jià)為最佳方式。

圖1(a)是一艘輪船的紅外圖像,圖2(a),(b),(c)和(d)分別是用本文算法、HE方法、CLAHE方法和 MSTH方法的增強(qiáng)結(jié)果。通過(guò)觀察,HE方法和CLAHE方法導(dǎo)致了較多區(qū)域的過(guò)度增強(qiáng),引入了噪聲,視覺(jué)效果甚至比原圖更差；而圖2(d)中視覺(jué)效果相對(duì)更好,但圖2(a)視覺(jué)效果最佳,實(shí)現(xiàn)了輪船目標(biāo)特征區(qū)域增強(qiáng)及背景雜波、噪聲抑制的平衡,這說(shuō)明本文算法在紅外圖像增強(qiáng)方面的優(yōu)勢(shì)。

圖1(b)是水面環(huán)境中有兩艘艦船的紅外圖,艦船比較模糊,不易分辨。圖3(a),(b),(c)和(d)分別為本文算法、HE方法、CLAHE方法和 MSTH方法的增強(qiáng)結(jié)果。圖3(b)中幾乎看不到艦船,視覺(jué)效果不佳；圖3(c)中CLAHE方法增大了整幅圖的亮度,無(wú)法確定目標(biāo)區(qū)域；圖3(d)的主觀評(píng)價(jià)比圖3(b)和(c)高,然而,與其他效果圖相比,圖3(a)中艦船這一目標(biāo)區(qū)域更亮,達(dá)到了更好的視覺(jué)效果,主觀評(píng)價(jià)更好。

圖1(c)是兩艘游艇的紅外圖,海中的兩艘游艇非常模糊。圖4(a),(b),(c)和(d)是四種方法的增強(qiáng)視覺(jué)圖。從圖4(b)中可以看出一些圖像信息,但圖像整體偏亮,對(duì)比度低,較難分辨目標(biāo)信息；圖4(c)中目標(biāo)區(qū)域無(wú)法得到有效增強(qiáng)；圖4(d)的視覺(jué)效果好,但背景上出現(xiàn)了較為明顯的偽信息；相比之下,圖4(a)中游艇這一目標(biāo)區(qū)域更亮,雜波與噪聲得到相對(duì)抑制,說(shuō)明本文算法比HE、CLAHE和MSTH等方法更能有效實(shí)現(xiàn)紅外圖像的增強(qiáng)。

從圖1～4的視覺(jué)效果角度觀察,HE、CLAHE方法不能有效地增強(qiáng)這些紅外圖像,非目標(biāo)區(qū)域被過(guò)度增強(qiáng),其視覺(jué)效果與原始圖像相比甚至變差；MSTH方法的主觀評(píng)價(jià)比HE方法和CLAHE方法高,但有時(shí)會(huì)引入背景雜波；本文方法能夠有效增強(qiáng)目標(biāo)區(qū)域,抑制背景雜波,視覺(jué)效果更佳。

4.3 客觀評(píng)價(jià)方法

客觀評(píng)價(jià)方法使用模糊線性指標(biāo)(LIF)方法[13-14],該方法廣泛應(yīng)用于圖像增強(qiáng)的客觀評(píng)價(jià)。LIF的度量標(biāo)準(zhǔn)γ指標(biāo)定義為:

(11)

(12)

其中,f(x,y)和max(f)表示(x,y)處的灰度值和圖像f的最大灰度值;W、H即f的寬度、高度。γ值越小說(shuō)明增強(qiáng)質(zhì)量越好。圖2～4都用γ值進(jìn)行了評(píng)估,表1列出了四種算法的γ指標(biāo)值。根據(jù)表1,三幅原圖的γ值是最大的,說(shuō)明四種算法都能增強(qiáng)原圖；其中本文算法的γ值最小,表明本文算法在紅外圖像增強(qiáng)上的優(yōu)勢(shì)。

表1 對(duì)圖2～4的結(jié)果使用LIF方法計(jì)算的γ指標(biāo)

此外,運(yùn)行速度是衡量圖像算法性能的重要指標(biāo)之一。實(shí)驗(yàn)中,圖像的尺寸大約為256×210,四種方法的處理時(shí)間如表2所示。由表2可知,本文方法和HE方法及CLAHE方法的處理時(shí)間相近,遠(yuǎn)遠(yuǎn)小于MSTH方法。但HE方法和CLAHE方法的主、客觀評(píng)價(jià)差。

根據(jù)實(shí)驗(yàn)結(jié)果可以看出,本文方法主客觀評(píng)價(jià)一致,都比HE方法、CLAHE方法和MSTH方法高,計(jì)算速度快,效率高。因此,本文方法總體表現(xiàn)最為優(yōu)異。

表2 使用四種方法對(duì)圖2～4進(jìn)行計(jì)算的時(shí)間 (單位:秒)

5 總 結(jié)

本文提出了一種基于大氣傳輸模型及加入權(quán)重分析的紅外圖像增強(qiáng)方法。通過(guò)輻射理論分析獲得了原始場(chǎng)景關(guān)于透射率與路徑輻射光的函數(shù)表達(dá)；通過(guò)暗通道先驗(yàn)、邊緣權(quán)重分析與導(dǎo)向?yàn)V波,獲取精細(xì)透過(guò)率；并在邊緣分析基礎(chǔ)上,確定了路徑輻射。觀測(cè)實(shí)驗(yàn)證明本文增強(qiáng)結(jié)果的潛在目標(biāo)區(qū)域的局部對(duì)比好,突出了邊緣與紋理特征。相比于其他方法,此方法對(duì)于在水面環(huán)境下的紅外增強(qiáng)有著許多的優(yōu)點(diǎn):權(quán)重的分析增強(qiáng)模型極大地提高了視覺(jué)效果；算法運(yùn)行速度快,實(shí)時(shí)性較好。

在今后的研究中,一是參數(shù)自動(dòng)化,即更加注重于如何自動(dòng)設(shè)置參數(shù)來(lái)達(dá)到最好的實(shí)驗(yàn)效果；二是進(jìn)一步的提升運(yùn)行速度,比如綜合光路、加速算法等思路進(jìn)行開(kāi)拓。

[1] LIU Rang, WANG Dejiang,JIA Ping,et al.Overview on small target detection technology in infrared image[J].Laser & Optoelectronics Progress,2016,(5):050004.(in Chinese)

劉讓,王德江,賈平,等.紅外圖像弱小目標(biāo)探測(cè)技術(shù)綜述[J].激光與光電子學(xué)進(jìn)展,2016,(5):050004.

[2] J A Stark. Adaptive image contrast enhancement using generalizations of histogram equalization[J].IEEE Transactions on Image Processing,2000,9(5):889-896.

[3] S Mohan, M Ravishankar.Modified contrast limited adaptive histogram equalization based on local contrast enhancement for mammogram images[J].Mobile Communication and Power Engineering Communications in Computer and Information Science 2013,296:397-403.

[4] ZHOU Yuren, GENG Aihui,WANG Ying,et al.Contrast enhanced fusion of infrared and visible images[J].Chinese Journal of Lasers,2014,41(9):0909001.(in Chinese)

周渝人,耿愛(ài)輝,王瑩,等.基于對(duì)比度增強(qiáng)的紅外與可見(jiàn)光圖像融合[J].中國(guó)激光,2014,41(9):0909001.

[5] X Bai, F Zhou,B Xue.Image enhancement using multi scale image features extracted by top-hat transform[J].Optics & Laser Technology,2012,44(2)：328-336.

[6] ZHAO Wenda, ZHAO Jianm,ZHAO Fan,et al.Variable infrared image enhancement of bimodalgaussian function specification[J].Chinese Journal of Lasers,2014,41(3):0309002.

趙文達(dá),趙建,趙凡,等.雙峰高斯函數(shù)規(guī)定化的變分紅外圖像增強(qiáng)[J].中國(guó)激光,2014,41(3):0309002.

[7] LIU Yitong. Enhancement algorithm of infrared images based on Kinect and histogram equalization[J].Ship Science and Technology,2015,37(3):173-176.(in Chinese)

劉軼彤.基于Kinect和直方圖均衡化的紅外圖像增強(qiáng)算法[J].艦船科學(xué)技術(shù) 2015,37(3):173-176.

[8] CAO Hui,ZHANG Baohui,CHEN Lei,et al.Research of infrared images enhancement technique based on pseudo dark channel prior[J].Infrared Technology,2016,38(6):476-480.(in Chinese)

曹慧,張寶輝,陳磊,等.基于偽暗原色的紅外增強(qiáng)技術(shù)研究[J].紅外技術(shù),2016,38(6):476-480.

[9] K Liang, Y Ma,Y Xie,et al.A new adaptive contrast enhancement algorithm for infrared images based on double plateaus histogram equalization[J].Infrared Physics & Technology,2012,55(4):309-315.

[10] SU Juan, LI Bing,WANG Yanzhao.Infrared image enhancement based on PCNN segmentation and fuzzy set theory[J].Acta Optica Sinica,2016,36(9):0910001.(in Chinese)

蘇娟,李冰,王延釗.結(jié)合PCNN分割和模糊集理論的紅外圖像增強(qiáng)[J].光學(xué)學(xué)報(bào),2016,36(9):0910001.

[11] K He, J Sun,X Tang.Single image haze removal using dark channel prior[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(12):2341-2353.

[12] K He, J Sun,X Tang.Guided image filtering[J].IEEE Transaction on Pattern Analysis and Machine Intelligence,2013,35(6):1397-1409.

[13] J Zhao, Y Chen,H Feng,et al.Fast image enhancement using multi-scale saliency extraction in infrared imagery[J].Optik-International Journal for Light and Electron Optics,2014,125(15):4039-4042.

[14] A Kaufmann, D L Swanson.Introduction to the theory of fuzzy subsets[M].New York:Academic Press,1975.