朱家乙,楊宏雙,何 偉,王偉男,沙怡中,黃曉江,許楨杰
(1.江蘇北方湖光光電有限公司,江蘇 無錫 214000;2.北京富吉瑞光電科技股份有限公司,北京 順義 101300)
近年來,紅外熱成像設(shè)備應(yīng)用越來越廣泛,對其成像質(zhì)量要求也越來越高。紅外熱成像設(shè)備的探測器采樣位寬一般都是14~16 bit,而且原始的紅外圖像對比度低、細節(jié)模糊、信噪比也比較低[1]。為了能夠?qū)崟r顯示,得到更好的圖像效果,需要將原始的14~16 bit 數(shù)據(jù)轉(zhuǎn)換成8 bit,并做一些圖像增強處理。數(shù)據(jù)轉(zhuǎn)換的常用方法包括線性變換、傳統(tǒng)直方圖均衡、平臺直方圖均衡等[2]。
直方圖均衡算法是一種常用的圖像灰度變換和增強的方法。根據(jù)圖像的直方圖分布信息來調(diào)整圖像灰度,使得調(diào)整后的圖像的直方圖分布更均勻,增大圖像的灰度級范圍,使整體圖像的對比度和清晰度更強。由于紅外圖像自身的特點灰度級較少,使用傳統(tǒng)直方圖均衡增強后會造成背景噪聲的對比度提高,某些細節(jié)不能體現(xiàn)出來,對于有些場景會有高灰度區(qū)域過亮或者低灰度過暗,對比度不自然的現(xiàn)象。
平臺直方圖均衡可以通過調(diào)節(jié)平臺值來限制直方圖的峰值,從而限制部分噪聲,同時保留部分灰度級統(tǒng)計的差異性使圖像對比度得到增強,且實時處理下不會出現(xiàn)明顯亮度抖動。近年來,又提出許多的改進的直方圖算法[3-9],包括自適應(yīng)直方圖均衡化[5-7]、抑制背景的局部直方圖均衡[8]、限制對比度自適應(yīng)直方圖均衡化[9]等。但這些算法都是基于全局直方圖處理,圖像的局部細節(jié)得不到提升,本文提出了一種基于區(qū)域分割的直方圖均衡算法,有效提升了圖像的局部細節(jié)。
直方圖均衡化是一種增強圖像對比度的方法,其主要思想是將一幅圖像的直方圖分布變成近似均勻分布,重新分配圖像的像素值,從而增強圖像的對比度。
灰度直方圖是指圖像中每一個灰度級與其出現(xiàn)頻數(shù)間的統(tǒng)計關(guān)系。對于數(shù)字圖像,由于圖像空間坐標和灰度值都已離散化,可以很容易統(tǒng)計出灰度等級的分布狀況:
式中:p(k)為第k個灰度級的概率密度;L為該幅圖像中的灰度等級數(shù);nk為第k個灰度級中包含的像素數(shù);n為該幅圖像中的總像素數(shù)?;叶戎狈綀D可以看成是一個隨機分布密度函數(shù)。
直方圖的形態(tài)分布反映出圖像的質(zhì)量,根據(jù)直方圖形態(tài)的分布可以看出圖像亮度過亮或者過暗或者灰度是否太過于集中對比度太弱等。如圖1所示,列出各種直方圖的形態(tài)分布。
圖1 各種灰度直方圖形態(tài)分布示意圖Fig.1 Distribution of various gray level histograms schemes
第1 幅圖中直方圖靠近低灰度區(qū)域,表明整幅圖像亮度偏暗,該圖像屬于低亮圖像。
第2 幅圖中直方圖靠近高灰度區(qū)域,表明整幅圖像亮度偏亮,該圖像屬于高亮圖像。
第3 幅圖中直方圖灰度分布比較集中,標準差較小,表明整幅圖像對比度較低,該圖像屬于低反差景物圖像。
第4 幅圖中直方圖灰度分布比較寬,標準差較大,表明整幅圖像對比度高,該圖像屬于高反差景物圖像。
將L級灰度圖像變換到M級灰度圖像的直方圖均衡算法原理如下:
①統(tǒng)計各灰度級的像素個數(shù)nk,k=0,1,2,…,L-1;
②計算原始圖像直方圖各灰度級的頻數(shù),見公式(1);
式中:n為原始圖像像素總數(shù)。
③計算累積分布函數(shù)F,見公式(2);
④應(yīng)用公式(M-1)×F求出變換后的灰度值,見公式(3)。
假設(shè)紅外原始圖像的位寬為14 bit,則原始圖像f的灰度級范圍為[0,16383],變換后的灰度圖像f′的位寬為8 bit,灰度級范圍為[0,255]。
設(shè)原始圖像的直方圖統(tǒng)計為P(k),k∈(0~16383)。則變換后的圖像為:
傳統(tǒng)直方圖算法是有選擇地對占有較多像素的灰度進行了增強,擴展了這些灰度的動態(tài)范圍,對占有較少像素的灰度進行了抑制。占有較多像素點的灰度,均衡后會比前一級出現(xiàn)的灰度亮許多,而占有較少像素點的灰度,均衡后可能和前一級出現(xiàn)的灰度相差很小甚至可能被合并。這也是傳統(tǒng)直方圖均衡的缺點。
本算法將圖像分成多塊區(qū)域,對每個區(qū)域進行直方圖均衡。再通過雙線性插值處理得到最后的圖像。
將圖像分割成m×n個區(qū)域;分別統(tǒng)計各個區(qū)域的直方圖Pi(k),(1≤i≤m×n,k∈(0~16383));
平臺直方圖均衡是在計算時對權(quán)重設(shè)置一個上限值,用平臺值去限制原直方圖。相較于傳統(tǒng)直方圖均衡算法,平臺直方圖算法統(tǒng)計完成后需對直方圖信息作修正,高平臺對背景和噪聲進行抑制。設(shè)定平臺閾值為T,分別對各區(qū)域的直方圖做平臺修正處理,如果某個灰度級的直方圖值小于平臺閾值T就保持不變,如果大于閾值T則直接將其置為T。設(shè)修正后的直方圖為PTi(k),則:
圖2 為直方圖平臺限制示意圖。在平臺直方圖均衡算法中,平臺值的選取是一個關(guān)鍵因素。平臺值的選取直接影響圖像的效果。
圖2 平臺限制示意圖Fig.2 Platform restrictions schemes
對各個區(qū)域的圖像分別映射,用g表示映射后的圖像,f表示原始14 bit 圖像:
式中:k∈(0~16383);PTi(l)是根據(jù)原始圖像f計算出得平臺直方圖,Si為f的累積求和直方圖,按上述關(guān)系可將f映射到g。
對映射后的圖像按區(qū)域采用雙線性插值[9]變換得到輸出圖像。如圖3所示,圖像分割的區(qū)域用A1,A2,A3,A4 來表示。
圖3 區(qū)域分割示意圖Fig.3 Region segmentation schemes
對于第一個模塊中,如圖3 中的區(qū)域1,將重構(gòu)后像素點(x,y)的灰度值設(shè)為G,則G直接沿用映射后像素值:
對于除去頂角圖像邊沿,即圖像上下邊沿和左右邊沿,如圖3 中的區(qū)域2,將重構(gòu)后像素點(x,y)的灰度值分別設(shè)為Gtop、Gbottom、Gleft、Gright,區(qū)域A1 的映射值為gA1(x,y),區(qū)域A2 的映射值為gA2(x,y),區(qū)域A3 的映射值為gA3(x,y),區(qū)域A4 的映射值為gA4(x,y),l1、l2、l3、l4為該點到各區(qū)域的距離,則上邊沿的灰度為:
下邊沿的灰度為:
左邊沿的灰度為:
右邊沿的灰度為:
對于中間區(qū)域,如圖3 中的區(qū)域3,將重構(gòu)后像素點(x,y)的灰度值設(shè)為Gm,則該區(qū)域的灰度為:
本算法的直方圖統(tǒng)計模塊如圖4所示,采用多個RAM 模塊,根據(jù)輸入圖像的灰度,分別統(tǒng)計各區(qū)域的直方圖。根據(jù)圖像數(shù)據(jù)輸入時序每個像素時鐘周期進行累加計算,一幅圖像傳輸完成后就可以完成統(tǒng)計。實時性高。
圖4 直方圖統(tǒng)計模塊設(shè)計Fig.4 Histogram statistics module
完成直方圖圖像統(tǒng)計后,分別計算出各區(qū)域灰度映射值存于另一組RAM 中,如圖5所示。
圖5 直方圖映射模塊設(shè)計Fig.5 Histogram map module
按照2.4 提到的雙線性插值算法,根據(jù)圖像所在的區(qū)域分別計算重構(gòu)后的灰度值,得到最終輸出圖像。FPGA 里圖像是按照時序圖流水線傳輸,所以一幅圖像傳輸完成后就可以完成所有像素的重構(gòu)計算。
本算法采用軟件仿真得到很好的效果,而且算法簡單,結(jié)合FPGA 的高速、并行處理能力使得本算法已成功應(yīng)用在紅外熱成像設(shè)備中,提高了紅外熱像儀的圖像質(zhì)量。
主觀視覺效果對比如圖所示,圖6 為復(fù)雜場景的圖像對比,其中圖6(a)為原始圖像,圖6(b)為復(fù)雜場景的全局直方圖均衡處理算法結(jié)果,圖6(c)為復(fù)雜場景的本算法的處理結(jié)果。圖7 為對比度較弱的場景圖像對比,圖7(a)為對比度較弱的場景的原始圖像,圖7(b)為對比度較弱的場景的全局直方圖均衡處理算法,圖7(c)為對比度較弱的場景的本算法的處理結(jié)果。圖8 為近距離場景圖像對比,圖8(a)為近距離場景的原始圖像,圖8(b)為近距離場景的全局直方圖均衡處理算法,圖8(c)為近距離場景的本算法的處理結(jié)果。通過圖像對比可以看出本算法的對比度、細節(jié)信息以及視覺效果優(yōu)于傳統(tǒng)全局直方圖均衡算法。
圖6 復(fù)雜場景圖像對比Fig.6 Complex scene image comparison
圖7 對比度弱的場景圖像對比Fig.7 Contrast weak scene image contrast
圖8 近距離場景圖像對比Fig.8 Close scene image comparison
人眼觀察是一種有效的圖像質(zhì)量評價標準,但是它是一種主觀評價,為了更加客觀地評價本算法的效果,采用信息熵[10]和標準差作為定量評價指標。信息熵的表達式如下:
式中:L是圖像的灰度最大值;p(k)為圖像灰度值出現(xiàn)的概率。
圖像信息熵是一種特征統(tǒng)計形式,它反映了圖像中平均信息量的多少。圖像信息熵表示圖像中灰度分布的聚集特征所包含的信息量。信息熵越大表示圖像中含的信息量越多。表1 列出了全局直方圖算法和本算法的信息熵對比。
表1 圖像信息熵Table 1 Image information entropy
由表1 可以看出,本算法的信息熵值大于傳統(tǒng)全局直方圖算法,信息量更多。
另一種定量評價指標為標準差δ,其表達式如下:
式中:指圖像f(x,y)的灰度平均值;M和N指圖像的行數(shù)和列數(shù)。
圖像標準差反映圖像的細節(jié)信息,標準差越大,圖像的細節(jié)信息就越多。
表2 列出了全局直方圖算法和本算法的圖像標準差的對比。
表2 圖像標準差Table 2 Image standard deviation
由表2 可以看出,本算法的標準差值優(yōu)于傳統(tǒng)全局直方圖算法,圖像細節(jié)信息量更多。
本文提出了一種基于區(qū)域分割的直方圖均衡算法,算法簡單,容易在FPGA 中實現(xiàn)。通過主觀觀察處理后的圖像和客觀評價。本算法有較好的細節(jié)表現(xiàn)力和動態(tài)范圍壓縮能力,有效提升了紅外圖像的清晰度和對比度,得到了更好的圖像視覺效果。