基于混合高斯模型的紅外圖像自適應(yīng)校正算法

賈俊濤

(洛陽(yáng)電光設(shè)備研究所，河南 洛陽(yáng) 471023)

引言

由于自身材料和制造工藝水平的限制，紅外探測(cè)器各探測(cè)元間響應(yīng)的非均勻性較大，嚴(yán)重影響了成像質(zhì)量，降低了系統(tǒng)的探測(cè)和識(shí)別距離。更為復(fù)雜的是，探測(cè)元響應(yīng)參數(shù)會(huì)隨時(shí)間緩慢漂移，使得無(wú)法通過(guò)單次定標(biāo)的方法徹底解決非均勻性問(wèn)題[1-2]。非均勻性校正是指通過(guò)信號(hào)處理的方法將不同像元的響應(yīng)特性曲線校正到同一期望輸出曲線，根據(jù)真實(shí)值估計(jì)方法的不同，可分為基于定標(biāo)的校正方法和基于場(chǎng)景的自適應(yīng)校正方法[3]?；趫?chǎng)景的非均勻性校正算法有神經(jīng)網(wǎng)絡(luò)法、時(shí)域高通濾波法[4]、恒定統(tǒng)計(jì)法[5]、代數(shù)校正算法[6]、Kalman濾波法[7]等。時(shí)域高通濾波器算法(THPF)具有計(jì)算量小、易于實(shí)現(xiàn)等優(yōu)點(diǎn)，已成為新一代紅外探測(cè)器中集成的標(biāo)準(zhǔn)算法[8]之一。但由于該算法參數(shù)更新的盲目性，導(dǎo)致其校正結(jié)果極易出現(xiàn)鬼影現(xiàn)象，限制了其應(yīng)用。本文針對(duì)THPF存在的鬼影問(wèn)題，提出了一種新的基于混合高斯模型的校正算法，新算法選擇性地更新校正系數(shù)，有效地抑制了鬼影。

1 時(shí)域高通濾波校正算法

Harris[9]等人提出了一種基于運(yùn)動(dòng)檢測(cè)(MD-THPF)的鬼影抑制算法，該算法通過(guò)設(shè)置全局門(mén)限判斷當(dāng)前像元對(duì)應(yīng)的場(chǎng)景是否發(fā)生運(yùn)動(dòng)，只對(duì)運(yùn)動(dòng)區(qū)域進(jìn)行參數(shù)更新。MD-THPF算法抑制了低頻場(chǎng)景的干擾，能在一定程度上緩解鬼影問(wèn)題，但是存在2個(gè)不足：一是需要更長(zhǎng)的時(shí)間才能收斂；二是算法等效于提高了截止頻率，偏置值的估計(jì)更易受到場(chǎng)景高頻分量的影響，校正效果可能比原始算法更差。

本文基于背景建模[10]思想，利用一個(gè)混合高斯模型[11]對(duì)場(chǎng)景進(jìn)行建模，只有在像元輸出值滿足一定條件的時(shí)候，才將其更新到校正系數(shù)中。校正系數(shù)的選擇性更新可以有效地防止前景目標(biāo)被學(xué)習(xí)到校正系數(shù)中，從而抑制了鬼影。

2 基于混合高斯模型的非均勻性校正算法

當(dāng)紅外探測(cè)器加非均勻噪聲占主導(dǎo)，且工作場(chǎng)景動(dòng)態(tài)范圍較小時(shí)，探測(cè)元的響應(yīng)可以用一個(gè)簡(jiǎn)單的線性模型描述：

xi,j(n)=yi,j(n)+oi,j(n)

(1)

式中：xi,j(n)為探測(cè)元的響應(yīng)輸出值；yi,j(n)為輸入的真實(shí)場(chǎng)景值；oi,j(n)為像元響應(yīng)的偏置系數(shù)。將像元響應(yīng)的偏置系數(shù)看成是背景，其不受光照條件和背景雜波的干擾，因此用單高斯模型對(duì)每個(gè)像元的偏置系數(shù)進(jìn)行建模。偏置系數(shù)的漂移過(guò)程對(duì)應(yīng)著高斯模型的均值變化。

當(dāng)應(yīng)用場(chǎng)景較復(fù)雜時(shí)，如機(jī)載紅外搜索系統(tǒng)，場(chǎng)景可能長(zhǎng)期偏離背景，此時(shí)偏置系數(shù)較長(zhǎng)時(shí)間內(nèi)得不到更新，因此也應(yīng)對(duì)前景進(jìn)行建模。當(dāng)前景處于平穩(wěn)狀態(tài)時(shí)，前景的更新過(guò)程也應(yīng)反映到背景中。算法中用2個(gè)高斯分布組成混合模型對(duì)前景進(jìn)行建模，為簡(jiǎn)化計(jì)算假設(shè)2個(gè)分布的方差相同且為常量，其值可以等于背景方差，也可取經(jīng)驗(yàn)值。選用2個(gè)高斯分布描述前景主要是從有效性和可實(shí)現(xiàn)性兩方面考慮。

綜上所述，算法假設(shè)探測(cè)元的響應(yīng)值是由前景和背景(偏置系數(shù))2個(gè)分量相加而成，其中前景由2個(gè)高斯分布的混合模型表示，背景由單個(gè)高斯分布表示。前景建模的目的是在場(chǎng)景長(zhǎng)期偏離背景時(shí)也能更新校正系數(shù)。

產(chǎn)后出血是產(chǎn)科常見(jiàn)并發(fā)癥,集中發(fā)生在產(chǎn)后2h內(nèi)。引起產(chǎn)后出血的病因,包括子宮收縮乏力、軟產(chǎn)道損傷以及胎盤(pán)因素、凝血功能障礙,各個(gè)原因能夠合并存在,也能互為存在,其中以子宮收縮乏力為主[4]。產(chǎn)后出血處理原則:補(bǔ)充血容量、糾正休克、預(yù)防感染。相關(guān)資料指出,第一以及第二產(chǎn)程期間產(chǎn)婦自身的負(fù)性情緒以及滯產(chǎn)均是導(dǎo)致宮縮乏力的主要因素,而第三產(chǎn)程期間胎盤(pán)剝離不全導(dǎo)致的子宮收縮以及分娩造成的產(chǎn)道撕裂均會(huì)誘發(fā)產(chǎn)婦出血。在產(chǎn)后出血預(yù)防方面常規(guī)護(hù)理干預(yù)效果并不顯著,而助產(chǎn)士通過(guò)進(jìn)行第一、二、三產(chǎn)程以及產(chǎn)后護(hù)理可以成功提高產(chǎn)婦產(chǎn)后出血預(yù)防效果,提高母嬰安全。

背景建模算法需要對(duì)背景賦初始值，常用的方法有初始定標(biāo)法、光學(xué)鏡頭散焦法、時(shí)間平均值法和時(shí)間中值法等。

基于混合高斯模型的非均勻性校正算法(GMM-NUC)流程如下：

2) 等待新的圖像幀。t時(shí)刻探測(cè)元輸出值為Xt。

3) 判斷Xt是否為背景。背景的判斷準(zhǔn)則如下：

(2)

如果為背景，則按如下公式對(duì)背景進(jìn)行更新：

(3)

式中α是學(xué)習(xí)率參數(shù)，取值范圍為0～1。同時(shí)如果前景分布的計(jì)數(shù)值大于1，則降低計(jì)數(shù)值cnti,t=cnti,t-1-1，隨后轉(zhuǎn)入流程5)。

4) 判斷Xt是否為前景。判別第i個(gè)前景的準(zhǔn)則如下：

(4)

如果滿足條件則按如下公式對(duì)第i個(gè)前景進(jìn)行更新：

(5)

判斷cnti,t是否大于閾值T，如果大于則表示前景處于長(zhǎng)時(shí)間平穩(wěn)狀態(tài)，其更新過(guò)程應(yīng)反映到背景中，以跟蹤探測(cè)元的漂移過(guò)程。此更新過(guò)程如下：

(6)

不滿足條件的前景分布保持均值不變，同時(shí)計(jì)數(shù)值減1。

3 實(shí)驗(yàn)結(jié)果

本節(jié)通過(guò)仿真和實(shí)際的紅外序列說(shuō)明本文所提算法的有效性。對(duì)于已知真實(shí)值的序列采用峰值信噪比(PSNR)指標(biāo)進(jìn)行評(píng)價(jià)。實(shí)驗(yàn)中重點(diǎn)考察算法是否會(huì)出現(xiàn)鬼影和目標(biāo)退化，以及背景更新能力。為忽略算法初始值對(duì)性能的影響，用真實(shí)的或定標(biāo)的偏置系數(shù)作為背景初始值。實(shí)驗(yàn)中主要對(duì)比THPF、MD-THPF、GMM-NUC 3種算法的性能。

3.1 仿真的時(shí)間序列

基于時(shí)域的非均勻性校正算法是基于單個(gè)像元的處理模式，仿真單個(gè)像元1 000幀時(shí)間序列。原始序列如圖1(a)所示，在第300幀至第500幀期間均勻背景上疊加了一個(gè)目標(biāo)，此過(guò)程仿真了一個(gè)運(yùn)動(dòng)目標(biāo)進(jìn)入場(chǎng)景，靜止一段時(shí)間后離開(kāi)場(chǎng)景的情景。探測(cè)元偏置系數(shù)的漂移過(guò)程如圖1(b)所示，偏置系數(shù)初始值為10，每幀遞增0.01。圖1(c)是生成的探測(cè)元輸出仿真序列，該序列包含了目標(biāo)、時(shí)間隨機(jī)噪聲(標(biāo)準(zhǔn)分布的高斯噪聲)和參數(shù)漂移過(guò)程，用于評(píng)價(jià)校正算法的鬼影抑制能力和參數(shù)更新能力。PSNR指標(biāo)用于評(píng)價(jià)校正誤差，序列期望值作為背景參考。整個(gè)序列的平均PSNR為25.41。

圖1 仿真的1 000幀序列Fig.1 1 000 frames sequence simulation

原始THPF算法的校正結(jié)果如圖2(a)，2(b)和2(c)所示。濾波器的時(shí)間常數(shù)為50。校正結(jié)果曲線中第300幀至500幀區(qū)間目標(biāo)逐漸退化至完全消失，第500幀過(guò)后目標(biāo)已經(jīng)離開(kāi)場(chǎng)景，但校正結(jié)果中仍存在反向的目標(biāo)鬼影。整個(gè)序列THPF算法的平均PSNR為40.67，比未校正序列提高了15 dB。MD-THPF算法的校正結(jié)果如圖2(d)，2(e)和2(f)所示。濾波器的時(shí)間常數(shù)為50，運(yùn)動(dòng)判決門(mén)限為10。校正結(jié)果中沒(méi)有出現(xiàn)鬼影，但校正效果不明顯。整個(gè)序列校正系數(shù)只更新2次，不能及時(shí)地跟蹤場(chǎng)景的漂移過(guò)程，收斂速度慢。校正結(jié)果平均PSNR為40.99，因?yàn)闆](méi)有出現(xiàn)目標(biāo)退化和鬼影，其統(tǒng)計(jì)性能略優(yōu)于THPF算法。

基于混合高斯模型的校正算法中背景標(biāo)準(zhǔn)差為2，前景標(biāo)準(zhǔn)差為5，前景更新的閾值T為10，學(xué)習(xí)率參數(shù)為1。GMM-NUC算法的校正結(jié)果如圖2(g)，2(h)和2(i)所示。校正結(jié)果接近于期望值，沒(méi)有出現(xiàn)鬼影。算法中背景始終跟隨著參數(shù)的漂移，背景學(xué)習(xí)能力較強(qiáng)。整個(gè)序列算法均取得了較好的性能，平均PSNR為49.59，比原始未校正序列提高了24 dB。

圖2 不同校正算法性能曲線Fig.2 Performance curves of different correction algorithms

3.2 線列探測(cè)器紅外序列

圖3是采集的一幀紅外線列探測(cè)器輸出的原始圖像，探測(cè)器的掃描方向?yàn)閺淖笙蛴?。原始圖像的大小為600像素×480像素。

圖3 線列探測(cè)器原始輸出圖像Fig.3 Original image output by linear array detector

探測(cè)器輸出的原始圖像受時(shí)域噪聲的影響較大，圖4給出了圖像第170行和第440行的響應(yīng)輸出，兩行均對(duì)應(yīng)純背景。第170行圖像的最大最小響應(yīng)差值為16，標(biāo)準(zhǔn)差為3.2。第440行的最大差值為20，標(biāo)準(zhǔn)差為4.1。由于探測(cè)元參數(shù)的漂移幅度較大，基于定標(biāo)的單點(diǎn)校正算法無(wú)法取得較好的校正效果。

圖4 線列探測(cè)器行響應(yīng)輸出Fig.4 Line response output by linear detector

對(duì)圖像每行前20列求均值，將其作為偏置系數(shù)的初始定標(biāo)值。圖5給出了相應(yīng)的實(shí)驗(yàn)結(jié)果。由于探測(cè)元的漂移幅度較大，單次定標(biāo)的算法無(wú)法徹底抑制非均勻性噪聲。單點(diǎn)校正結(jié)果仍存在明顯的橫條紋。THPF算法中時(shí)間常數(shù)為50，算法有效地抑制了原圖中的橫條紋。但由于THPF算法無(wú)選擇性地更新背景，場(chǎng)景中的亮目標(biāo)存在嚴(yán)重拖尾，即鬼影。MD-THPF算法中時(shí)間常數(shù)也為50，運(yùn)動(dòng)判決門(mén)限為10。校正結(jié)果中沒(méi)有出現(xiàn)拖尾現(xiàn)象，但由于場(chǎng)景中運(yùn)動(dòng)目標(biāo)較少，算法校正效果不明顯。GMM-NUC算法中前景和背景的標(biāo)準(zhǔn)差均為5，前景更新的門(mén)限T為10，學(xué)習(xí)率參數(shù)為0.5。由于算法對(duì)背景有選擇性地更新，既跟蹤了背景的漂移過(guò)程，又沒(méi)有把前景亮目標(biāo)學(xué)習(xí)到背景中。從實(shí)驗(yàn)結(jié)果也可看出，基于混合高斯模型的校正算法有效消除了橫條紋(非均勻性)，同時(shí)又沒(méi)有出現(xiàn)目標(biāo)退化和鬼影。

圖5 校正結(jié)果比較圖Fig.5 Comparison chart of correction results

3.3 焦平面探測(cè)器紅外序列

紅外序列來(lái)源于一個(gè)長(zhǎng)波制冷型焦平面陣列探測(cè)器，圖像分辨率為320像素×240像素，有效數(shù)據(jù)寬度為14位，序列長(zhǎng)度為2 000幀。序列中的場(chǎng)景為背景固定，人隨機(jī)運(yùn)動(dòng)。序列的前100幀鏡頭散焦，將其時(shí)間均值作為校正算法偏置系數(shù)的初始值。

圖6和圖7分別給出了序列第900幀和第1 400幀的校正結(jié)果。THPF和MD-THPF算法均存在著目標(biāo)退化和鬼影現(xiàn)象，嚴(yán)重影響了成像質(zhì)量。基于混合高斯模型的改進(jìn)算法較好地解決了參數(shù)更新問(wèn)題，避免了鬼影的出現(xiàn)。

圖6 序列第900幀校正結(jié)果Fig.6 Correction results of the 900th frame sequence

圖7 序列第1 400幀校正結(jié)果Fig.7 Correction results of the 1 400th frame sequence

4 結(jié)語(yǔ)

傳統(tǒng)時(shí)域高通濾波算法將非均勻性看成是時(shí)間上的低頻噪聲，通過(guò)時(shí)域高通濾波器對(duì)其進(jìn)行校正。目標(biāo)退化和鬼影問(wèn)題嚴(yán)重影響了算法的性能。本文所提出的基于混合高斯模型的校正算法是一種有選擇性的背景更新算法，排除了前景對(duì)背景更新的影響。當(dāng)前景長(zhǎng)時(shí)間靜止時(shí)，算法能有效地響應(yīng)探測(cè)元偏置系數(shù)的漂移過(guò)程?；诨旌细咚鼓Ｐ偷男Ｕ惴瓤紤]了灰度值本身，又考慮了灰度值的時(shí)間差值對(duì)參數(shù)更新的影響，因此能夠更加有效地抑制參數(shù)的漂移過(guò)程。

[1] Chang Benkang, Cai Yi. Infrared imaging array and system[M]. Beijing:Science Press, 2006.

常本康, 蔡毅. 紅外成像陣列與系統(tǒng)[M]. 北京：科學(xué)出版社, 2006.

[2] Cheng Yao, Wang Yuhan, Yuan Xianghui. Nonuniformity correction experiment system of pyroelectric IRFPA[J]. Journal of Applied Optics, 2014, 35(1):106-110.

程瑤, 王玉菡, 袁祥輝. 熱釋電IRFPA非均勻性校正實(shí)驗(yàn)系統(tǒng)研究[J]. 應(yīng)用光學(xué), 2014, 35(1):106-110.

[3] Dong Liquan, Jin Weiqi, Sui Jing. Summarize on the scene-based nonuniformity correction algorithms for IRFPA[C]. USA: SPIE, 2005.

[4] Scribner D, Sarkady K,Kruer M, et al. Adaptive retina-like preprocessing for image detector arrays[J]. IEEE Conference on Neural Network, 1993, 3: 1955-1960.

[5] Harris J G, Chiang Y M.Nonuniformity correction of infrared image sequences using the constant-statistics constraint[J]. IEEE Transactions on Image Processing, 1999, 8(8): 1148-1151.

[6] He Ming, Wang Xinsai, Lu Jianfang, et al. New algebraic scene-based non-uniformity correction in infrared focal plane array[J]. Journal of Applied Optics, 2011, 32(6):1217-1221.

賀明, 王新賽, 路建方,等. 一種新的紅外焦平面陣列非均勻性代數(shù)校正算法[J]. 應(yīng)用光學(xué), 2011, 32(6): 1217-1221.

[7] Torres S N, Hayat M M. Kalman filtering for adaptive nonuniformity correction in infrared focal-plane arrays[J]. Journal of the Optical Society of America, 2003, 20(3): 470-480.

[8] Oelmaier W R.Third gen focal plane array IR detection modules at AIM[J]. Infrared Physics & Technology, 2002, 43: 257-263.

[9] Harris J G, Chiang Y M.Minimizing the ghosting artifact in scene-based nonuniformity correction[J]. SPIE, 1998, 3377: 106-113.

[10] Power P W, Schoonees J A.Understanding background mixture models for foreground segmentation[C]. Australia: Proceedings of Image and Vision Computing, 2002.

[11] Cucchiara R,Grana C, Piccardi M, et al. Detecting moving objects, ghosts, and shadows in video streams[J]. IEEE Trans. Pattern Analysis and Machine Intelligence, 2003, 25(10): 1337-1342.