航空濾光片陣列多光譜圖像條帶灰度調(diào)整算法

李銅哨,孫文邦,白新偉,岳 廣,王志磊

(1.空軍航空大學(xué)， 長春 130022； 2.中國人民解放軍93525部隊， 西藏 日喀則 857000)

1 引言

近年來，光譜相機已經(jīng)成為重要的光電遙感載荷，其中濾光片陣列多光譜相機因其較低的平臺需求，被廣泛應(yīng)用到無人機多光譜遙感中。濾光片陣列多光譜相機同一時刻可獲取多個波段條帶圖像數(shù)據(jù)，再對不同時刻獲取的多波段條帶圖像數(shù)據(jù)進(jìn)行裁剪拼接處理，得到各單波段圖像。由于相機在不同時刻成像曝光量存在一定差異，導(dǎo)致裁剪拼接后單波段圖像中不同時刻條帶間存在明顯灰度差異，影響后續(xù)圖像處理及應(yīng)用需求。此外，地物灰度差異使得圖像光譜特征提取變得困難、特征匹配時誤匹配率增加。為滿足濾光片陣列多光譜數(shù)據(jù)的應(yīng)用要求，必須進(jìn)行灰度處理。

目前，圖像灰度處理主要用于圖像拼接領(lǐng)域，較為常用的是對圖像進(jìn)行勻光處理，例如：處理單幅圖像的MASK算法、同態(tài)濾波算法、Retinex算法等，處理多幅圖像的Wallis算法、直方圖匹配法等。但上述算法在處理濾光片陣列多光譜圖像的灰度差異時，效果并不理想。針對濾光片陣列多光譜圖像灰度差異，方秀秀等提出了圖像灰度線性變換方法，通過圖像灰度線性變換模型調(diào)整各條帶圖像灰度。但該方法的圖像灰度調(diào)整效果過于依賴于圖像重疊區(qū)域匹配點的數(shù)量及分布，當(dāng)重疊區(qū)域提取的匹配點較少、無匹配點或分布較為集中時，無法準(zhǔn)確建立圖像之間的灰度變換關(guān)系，或變換關(guān)系存在較大偏差。

此外，該方法也是僅考慮了單波段圖像間的灰度差異，卻忽略了各單波段圖像之間的灰度變化關(guān)系，灰度調(diào)整后多光譜圖像地物光譜特征容易出現(xiàn)偏差，無法準(zhǔn)確反映地物不同波段特性。

因此，文中提出一種基于重疊區(qū)域的濾光片陣列多光譜圖像灰度調(diào)整算法，用于解決濾光片陣列多光譜圖像地物灰度不一致問題，調(diào)整后的單波段圖像整體灰度一致，且能較好保持地物光譜信息。

2 濾光片陣列多光譜成像特點

濾光片陣列多光譜相機在光路系統(tǒng)中加入了一個濾光板，濾光板放置在CCD探測器前面，在濾光板上沿著垂直于飛行方向鍍制了幾個窄帶的帶通濾光膜，每個帶通濾光膜只能通過一個譜段的圖像，如圖1所示(圖1中顯示為8條濾光片)。

圖1 濾光片陣列多光譜相機成像原理示意圖Fig.1 The imaging principle of filter array multispectral camera

多光譜相機的多波段圖像均是在同一陣面上成像，需要通過圖像拼接的方法才能夠形成一幅單波段圖像，條帶圖像裁切拼接如圖2所示。

在、、、時刻分別獲得4幅含有8個波段的條帶圖像，經(jīng)過裁切拼接獲得單波段圖像，如圖2中以波段2和波段3為例顯示拼接過程。

圖2 濾光片陣列多光譜數(shù)據(jù)陣面拼接處理示意圖Fig.2 Area array processing of filter array multispectral dataset

大部分多光譜相機單波段圖像是同時成像，其曝光時間相同，各區(qū)域地物灰度一致。但濾光片陣列多光譜相機曝光時間由快門自適應(yīng)控制。因此，各時刻曝光量可能存在一定差異，裁切拼接后單波段圖像可能存在條帶狀的灰度差異。

例如，圖2中時刻與、、時刻存在明顯的曝光量差異，時刻成像總體上偏暗(或偏亮)，裁切拼接后的單波段圖像中均出現(xiàn)較暗(或較亮)的條帶。

各單波段多光譜圖像中出現(xiàn)較暗(或較亮)的條帶，會影響到地物光譜信息的準(zhǔn)確度，如圖3所示，圖像采用一維表示。

圖3 濾光片陣列多光譜圖像拼接示意圖Fig.3 Area array processing of filter array multispectral dataset

由圖3可以看出，拼接后圖像處，時刻成像時圖像曝光量相對偏小，引起波段偏暗，提取的地物波譜特征向量(1,2,3,…,8)明顯失真，如圖4所示。圖4中處偏低(如圖3所示)，處偏高(圖4中未顯示)。

圖4 地物光譜特征曲線Fig.4 Spectral curves of ground objects

3 濾光片陣列多光譜圖像灰度調(diào)整

濾光片陣列多光譜圖像灰度調(diào)整技術(shù)過程與其他圖像的拼接流程基本一致，主要包括空間位置確定、灰度級調(diào)整和條帶圖像裁剪拼接3個步驟。

3.1 圖像空間位置確定

圖像空間位置確定主要包括條帶圖像投影變換和平移量確定兩部分。

3.1.1 圖像投影變換

濾光片陣列多光譜成像時除了記錄圖像數(shù)據(jù)外，還記錄成像時的平臺狀態(tài)參數(shù)信息，例如平臺的位置信息(經(jīng)度、緯度、高度)和姿態(tài)信息(俯仰角、翻滾角、航向角等)。因此，選取、、…、時刻幅多條帶圖像。根據(jù)式(1)和式(2)對各時刻圖像進(jìn)行投影變換。

(1)

(2)

其中:、為投影后像點坐標(biāo)，單位像素；為航高；、為條帶圖像上像點坐標(biāo)，單位毫米；為相機焦距，單位毫米。、、、、、、、、由式(2)計算得到。式(2)中，、、分別為相機的俯仰角、翻滾角和航向角。

312 平移量確定

一般情況下，經(jīng)投影變換后圖像只存在平移關(guān)系，考慮到經(jīng)緯度采樣誤差影響平移量計算精度，故本文采用IFT算法確定相鄰圖像間平移關(guān)系。首先利用SIFT算法依次提取相鄰序列中第幅圖像和第幅圖像的特征點；然后，利用匹配點對坐標(biāo)(,)和(,)差均值，計算和時刻條帶圖像的行列平行量(,)，如式(3)所示：

(3)

例如，相鄰兩幅多光譜條帶圖像局部SIFT匹配點如圖5所示。計算得到的條帶圖像行列平行量如圖3中的、、、、、、…，這樣就確定了條帶圖像空間上的位置關(guān)系。

圖5 相鄰圖像的匹配點示意圖Fig.5 Matching points of adjacent images

3.2 各條帶圖像灰度調(diào)整

在對多幅圖像進(jìn)行拼接時，為了減小累計誤差，一般選擇中間圖像為基準(zhǔn)。而濾光片陣列多光譜圖像也是對多幅圖像進(jìn)行灰度調(diào)整、圖像拼接處理，因此，選擇中間序列的多光譜圖像作為基準(zhǔn)。

圖像灰度調(diào)整主要利用條帶圖像重疊區(qū)域的灰度均值，通過計算相鄰多光譜圖像中各個波段重疊區(qū)域灰度均值，各波段灰度均值比例的平均值用于多光譜圖像灰度調(diào)整系數(shù)。對于不相鄰圖像，通過相鄰圖像間灰度傳遞，依次進(jìn)行灰度調(diào)整。涉及到關(guān)鍵技術(shù)主要包括確定各條帶圖像重疊區(qū)域、確定圖像灰度調(diào)整系數(shù)、圖像灰度調(diào)整3個方面。

3.2.1 確定各條帶圖像重疊區(qū)域

以8譜段濾光片陣列多光譜相機為例，其多光譜圖像數(shù)據(jù)如圖6(a)所示。波段圖像過渡區(qū)域約為50行，見圖6(a)中黃色框線區(qū)域。因此，需要計算各波段條帶有效區(qū)域的4個頂點坐標(biāo)，并構(gòu)建條帶圖像有效區(qū)域模板，如圖6(b)所示。

圖6 多光譜圖像Fig.6 Multi-spectral image

以兩幅相鄰多光譜圖像中第1波段圖像為例，按照圖像之間平移關(guān)系分別將模板1、模板2擴展，如圖7(a)、圖7(b)所示。再將擴展后模板1和模板2相乘，如圖7(c)所示；得到重疊區(qū)域模板如圖7(d)所示；再將擴展后模板拆分為第1、2幅第1波段原模板1，如圖7(e)、圖7(f)所示。

圖7 圖像重疊區(qū)域示意圖Fig.7 The image overlap area

然后，模板1分別與2幅多光譜圖像中的第1波段圖像相乘得到重疊區(qū)域圖像，如圖8所示。圖8(a)、圖8(b)分別為第1、2幅中的第1波段圖像，圖8(c)、圖8(d)分別為第1、2幅中第1波段的重疊區(qū)域圖像。

圖8 第1波段重疊區(qū)域圖像Fig.8 The overlapping area in 1 band image

3.2.2 計算圖像重疊區(qū)域灰度均值

基于單波段圖像重疊區(qū)域，可以計算出圖像灰度平均值以及相對于相鄰影像的灰度系數(shù)。但使用單波段圖像灰度系數(shù)調(diào)整圖像灰度，容易破壞地物在不同波段下的光譜特性。因此，先計算出相鄰圖像間各個波段重疊區(qū)域灰度平均值的比例系數(shù)，然后，對各波段的比例系數(shù)求平均值，得到整張圖像(各波段)的灰度調(diào)整系數(shù)。

以8譜段濾光片陣列多光譜序列圖像中相鄰的第i幅、第j幅圖像為例進(jìn)行調(diào)整，如圖9所示。

圖9 重疊區(qū)域圖像灰度比調(diào)整示意圖Fig.9 Grayscale ratio of the overlapping area image

首先計算第、幅圖像中第1、2、3、4、5、6、7、8波段重疊區(qū)域的平均灰度值1、1、2、2、3、3、4、4、5、5、6、6、7、7、8、8，然后計算8個波段重疊區(qū)域的灰度比、、、、、、、，則灰度調(diào)整系數(shù)為

(4)

作為第幅圖像的灰度調(diào)整系數(shù)，調(diào)整后圖像重疊區(qū)域的灰度與第幅圖像灰度基本一致。

323 圖像灰度調(diào)整

求出圖像灰度調(diào)整系數(shù)后，就可以對圖像進(jìn)行灰度調(diào)整。例如，以9幅多光譜條帶圖像為例，圖像平移關(guān)系與重疊區(qū)域灰度值示意圖如圖10。

圖10 序列圖像平移與重疊區(qū)域平均灰度示意圖Fig.10 Sequence image translation with overlapping area average gray scale schematic

選擇中間的第5幅圖像為基準(zhǔn)，依次將各灰度調(diào)整系數(shù)與對應(yīng)序列圖像中的每個像素灰度相乘，各灰度調(diào)整系數(shù)計算公式如下：

(5)

3.3 圖像裁剪拼接

通過對灰度調(diào)整后序列圖像的各單波段圖像進(jìn)行裁剪，并按照圖像間平移關(guān)系進(jìn)行拼接，就得到了灰度一致的濾光片陣列多光譜單波段圖像，如圖11所示(為了方便表示，將條帶圖像按照飛行方向投影形成一維數(shù)據(jù)進(jìn)行顯示)。

圖11 多光譜圖像拼接示意圖Fig.11 Multi-spectral image stitching

4 實驗與分析

為了驗證本文提出算法的可行性，采用了某航拍無人機濾光片陣列多光譜相機拍攝某地區(qū)的多光譜圖像數(shù)據(jù)進(jìn)行驗證實驗。其中，前6張序列多光譜圖像如圖12。

圖12 實驗圖像Fig.12 Experimental images

裁剪拼接和本文灰度調(diào)整后第1波段圖像如圖13。從圖13(a)中可以明顯看出，直接對多光譜圖像數(shù)據(jù)進(jìn)行拼接的單波段圖像整體灰度不均勻，同一地物存在著較大的灰度差異。圖13(b)所示的圖像灰度整體比較均勻，說明本文方法較好地解決條帶灰度不均的問題。

圖13 灰度調(diào)整圖像Fig.13 Grayscale adjustment comparison chart

為了更好地說明本文算法的性能，選擇了濾光片型多光譜數(shù)據(jù)灰度一致性校正算法(文獻(xiàn)[12])與本文提出的灰度調(diào)整算法進(jìn)行對比實驗。文獻(xiàn)12與本文算法處理后的單波段圖像如圖14，對比圖像分別為1、3、6、7和8波段圖像，其中圖14(a)、圖14(b)和圖14(c)分別為未進(jìn)行灰度調(diào)整、文獻(xiàn)12處理和本文算法處理的圖像。

由圖14可知，文獻(xiàn)12處理后的第1波段和第8波段圖像較好的解決了圖像灰度不均勻問題，但相鄰時刻條帶圖像中相同波段重疊區(qū)域較小，提取的同名像素數(shù)量較少，容易造成灰度調(diào)整系數(shù)不準(zhǔn)確，使得第3、6、7波段圖像中仍存在地物灰度不均勻問題，而且圖像中部分條帶的灰度差異要比未調(diào)整圖像還要明顯。其局部放大圖如圖15，其中，圖15(a1)、圖15(b1)、圖15(c1)，圖15(a2)、圖15(b2)、圖15(c2)和圖15(a3)、圖15(b3)、圖15(c3)分別為未進(jìn)行灰度調(diào)整、文獻(xiàn)12處理、本文算法處理后的3、6、7波段圖像。

圖14 灰度調(diào)整后圖像Fig.14 Comparison of the effect after grayscale adjustment

圖15 灰度調(diào)整后局部放大圖Fig.15 Grayscale adjusted partial comparison

由圖15可知，文獻(xiàn)12處理后的圖像灰度不一致現(xiàn)象更加明顯。另外，第4與第5波段由于在重疊區(qū)域未提取同名像點，則無法進(jìn)行灰度調(diào)整。所以，當(dāng)重疊區(qū)域的匹配點數(shù)量較少時，基于匹配點灰度計算出的灰度線性變換模型具有較大偏差，會增加單波段相鄰條帶圖像間的灰度差異。甚至提不出同名像點出現(xiàn)灰度無法調(diào)整的局面。

因此，當(dāng)相鄰條帶圖像重疊率低、重疊區(qū)域匹配點數(shù)量少以及數(shù)量分布不均勻時，文獻(xiàn)12的算法無法解決大圖像灰度不一致問題，甚至?xí)哟髨D像中同一區(qū)域中地物的灰度差異。而本文算法調(diào)整后各單波段圖像灰度分布均勻，較好解決了多光譜單波段圖像灰度不一致問題。

為進(jìn)一步說明本文算法優(yōu)越性，分別計算調(diào)整后各單波段條帶圖像重疊區(qū)域灰度平均值的差值來說明，如圖16所示(僅顯示1、3、7波段圖像)。

圖16縱坐標(biāo)為重疊區(qū)域平均灰度差，橫坐標(biāo)為幅序號。如圖16(a)中幅序號為1時本文算法灰度差為0.001 7，是通過計算第一、二幅第一個波段重疊區(qū)域平均灰度差得到的，其他波段方法相同。由圖16可知，文獻(xiàn)12處理后單波段圖像重疊區(qū)域灰度均值的差值整體變化較大，說明調(diào)整后圖像部分區(qū)域仍存在較大灰度差異。而本文算法中，重疊區(qū)域灰度均值差值差異較小，近似一條直線，說明相鄰條帶圖像灰度變化較小，圖像灰度近似一致。

圖16 重疊區(qū)域灰度均值差值曲線Fig.16 Difference in mean grey value of overlapping areas

由此可知，本文基于相鄰圖像的重疊區(qū)域灰度均值計算的調(diào)整系數(shù)，充分利用了重疊區(qū)域圖像的灰度信息，調(diào)整后各單波段圖像灰度均勻，有效解決了單波段圖像中灰度不一致問題。

5 結(jié)論

針對濾光片陣列多光譜圖像灰度不一致的問題，提出了一種基于重疊區(qū)域的多光譜圖像灰度調(diào)整算法，即根據(jù)各波段圖像重疊區(qū)域灰度均值比的平均值，對整張圖像各波段進(jìn)行灰度調(diào)整，調(diào)整后的拼接圖像同一地物灰度一致，降低了對后期圖像配準(zhǔn)過程中特征提取與匹配的影響。通過實驗對比，表明本文針對濾光片陣列多光譜圖像提出的灰度調(diào)整算法較目前算法有更好的灰度處理效果，較好解決了濾光片陣列式多光譜圖像灰度不一致問題，可以滿足影像的后期處理及應(yīng)用需求。