基于自適應(yīng)擴(kuò)散模型的單幀紅外條紋非均勻性校正算法

陳世偉，楊小岡，張勝修，劉云峰

(1.第二炮兵工程大學(xué)　303教研室，西安 710025；2.二炮駐成都地區(qū)代表室，成都 610000)

?

基于自適應(yīng)擴(kuò)散模型的單幀紅外條紋非均勻性校正算法

陳世偉1*，楊小岡1，張勝修1，劉云峰2

(1.第二炮兵工程大學(xué)303教研室，西安 710025；2.二炮駐成都地區(qū)代表室，成都 610000)

摘要：針對(duì)紅外焦平面成像系統(tǒng)存在列向條紋非均勻性的現(xiàn)象，采用了一種基于自適應(yīng)PM擴(kuò)散模型的非均勻校正新算法。首先，綜合利用圖像梯度信息和局部灰度統(tǒng)計(jì)信息，自適應(yīng)計(jì)算PM模型的擴(kuò)散閾值；然后將每列像素的PM模型估計(jì)值作為該列像素的期望值；最后采用最陡下降法迭代計(jì)算得到每列像元的校正參數(shù)，并對(duì)結(jié)果進(jìn)行循環(huán)校正以提高校正效果。實(shí)驗(yàn)結(jié)果表明：該算法可以保護(hù)圖像邊緣信息，與同類算法相比，能夠更有效地抑制條紋非均勻性，并且能夠防止圖像產(chǎn)生鬼影。

關(guān)鍵詞:單幀紅外圖像；條紋非均勻校正；自適應(yīng)擴(kuò)散模型；最陡下降法；鬼影

Single infrared stripe nonuniformity correction

1引言

紅外焦平面陣列(Infraed Focal Plane Array,IRFPA)在相同輻射下探測(cè)單元響應(yīng)度不完全一致，導(dǎo)致了疊加在紅外圖像上的非均勻性空間噪聲，其噪聲形式主要表現(xiàn)為列向條紋，給紅外圖像的后續(xù)處理帶來(lái)很大影響，因此實(shí)際應(yīng)用中必須進(jìn)行非均勻性校正[1-2]。紅外圖像非均勻性校正算法主要分為兩大類：基于標(biāo)定的校正算法和基于場(chǎng)景的自適應(yīng)校正算法。定標(biāo)法原理簡(jiǎn)單，但是需要在非工作狀態(tài)下標(biāo)定，且需要標(biāo)準(zhǔn)輻射源；場(chǎng)景法由于不依賴于定標(biāo)源，可以自適應(yīng)在線校正，成為目前該研究領(lǐng)域的重點(diǎn)方向[3-4]?；趫?chǎng)景的非均勻性校正算法又分為很多種，其中以恒定統(tǒng)計(jì)(CS-NUC)和神經(jīng)網(wǎng)絡(luò)(NN-NUC)兩類算法相對(duì)比較成熟。Harris等人[5]提出了基于恒定統(tǒng)計(jì)約束的非均勻性校正算法，Scribner 等人[6]提出了基于神經(jīng)網(wǎng)絡(luò)的非均勻性校正算法。這些算法都依賴場(chǎng)景運(yùn)動(dòng)，并受到目標(biāo)退化(fade-out)和鬼影(ghosting artifact)等問(wèn)題困擾，影響了應(yīng)用范圍[7]。針對(duì)條紋非均勻性噪聲，錢(qián)惟賢等人[8]提出了基于最小均方誤差校正法(Minimum Mean Square Error,MMSE)，這種校正方法對(duì)于平坦區(qū)域效果較好，但對(duì)于灰度變化劇烈的邊緣區(qū)域在抑制噪聲的同時(shí)也損失了邊緣細(xì)節(jié)信息。針對(duì)圖像邊緣保留能力較差的問(wèn)題，趙明等人[9]提出了基于轉(zhuǎn)向核估計(jì)的校正算法(Least Square Fitting Steering Kernel, LSF-SK)，采用各向異性的轉(zhuǎn)向核作為擴(kuò)散系數(shù)來(lái)保護(hù)圖像的邊緣信息，但算法的校正效果依賴于平滑因子的選擇。張?zhí)煨虻热薣10]通過(guò)深入分析神經(jīng)網(wǎng)絡(luò)校正算法出現(xiàn)鬼影現(xiàn)象的成因，提出了基于偏微分方程的自適應(yīng)校正方法(PDE-based NUC)，利用具有各向異性的非線性濾波來(lái)保持圖像的邊緣細(xì)節(jié)特征，但是這種方法采用經(jīng)驗(yàn)值作為擴(kuò)散閾值，校正效果并不穩(wěn)定。LSF-SK和PDE-based NUC都屬于基于非線性濾波的神經(jīng)網(wǎng)絡(luò)非均勻性校正算法，因未能實(shí)現(xiàn)自適應(yīng)擴(kuò)散閾值，校正過(guò)程中仍然可能出現(xiàn)目標(biāo)退化和鬼影現(xiàn)象。

據(jù)此，本文將PM模型引入單幀紅外圖像的列向條紋非均勻性校正中，針對(duì)PM模型擴(kuò)散閾值的選取問(wèn)題，通過(guò)分析擴(kuò)散閾值對(duì)圖像平滑過(guò)程的影響，綜合利用圖像梯度信息和局部灰度統(tǒng)計(jì)信息，實(shí)現(xiàn)了擴(kuò)散閾值的自適應(yīng)計(jì)算。采用實(shí)際航拍和仿真紅外圖像序列進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果表明，本文采用的基于自適應(yīng)PM擴(kuò)散模型的非均勻校正方法(the nonuniformity correction based the PM of adaptive diffusion,PM-AD-NUC)在有效去除紅外條紋非均勻性噪聲的同時(shí)，還較好地解決了圖像的鬼影現(xiàn)象。

2條紋非均勻性的神經(jīng)網(wǎng)絡(luò)校正算法

在非均勻性校正算法中，一般將紅外焦平面像元的響應(yīng)模型近似為線性模型，即

(1)

(2)

針對(duì)紅外列向條紋非均勻性特點(diǎn)，同列像素可視為相同探測(cè)元在不同輻照度下的響應(yīng)結(jié)果。根據(jù)式(2)，列向條紋非均勻性校正過(guò)程可表示為：

(3)

(4)

式中，ωN,ωS,ωW,ωE代表四鄰域空間的加權(quán)系數(shù)。

定義誤差函數(shù)為：

(5)

代入式(3)得：

(6)

該算法是一種標(biāo)準(zhǔn)的自適應(yīng)濾波算法，誤差主要來(lái)源于對(duì)真實(shí)值的估計(jì)。由于四鄰域加權(quán)平均本身是一種各向同性的擴(kuò)散模型，不能有效保護(hù)圖像邊緣細(xì)節(jié)信息，會(huì)導(dǎo)致邊緣像素的模糊和退化。因此，對(duì)于邊緣上的像素，這種估計(jì)方法并不準(zhǔn)確。從式(6)可以看出，邊緣的估計(jì)誤差將導(dǎo)致異常的增益和偏置校正系數(shù)，最終導(dǎo)致邊緣像素的過(guò)度校正，表現(xiàn)在圖像上即是鬼影。

3基于自適應(yīng)擴(kuò)散模型的紅外單幀條紋非均勻性校正算法

Perona和Malik 提出的經(jīng)典各向異性擴(kuò)散模型方程如下式：

完成樁位放樣后，根據(jù)護(hù)樁情況確定導(dǎo)向架的位置，通過(guò)石灰撒線方式保證其精度。在導(dǎo)向架安裝完成后，參考樁中心在導(dǎo)向架周圍均勻焊接φ10mm的定位筋，定位筋與護(hù)筒間的距離應(yīng)精確在50mm。在鋼護(hù)筒施工過(guò)程中，應(yīng)定期對(duì)鋼護(hù)筒與定位筋間的距離進(jìn)行測(cè)定，當(dāng)偏差過(guò)大時(shí)進(jìn)行及時(shí)糾正。鋼護(hù)筒施工采用的施工方法為壓入法，所用設(shè)備為DZ300振動(dòng)錘。鋼護(hù)筒每打入3m需要利用水平尺對(duì)鋼護(hù)筒與定位筋間的距離進(jìn)行測(cè)定，如果護(hù)筒垂直度與樁位偏移超過(guò)50mm，使用DZ90振動(dòng)錘進(jìn)行單邊振動(dòng)打壓，實(shí)現(xiàn)對(duì)控制垂直度。通過(guò)鋼護(hù)筒垂直度與中心偏移量進(jìn)行有效控制，為后續(xù)樁基開(kāi)鉆奠定了良好的基礎(chǔ)。

(7)

其離散形式可表示成：

(8)

(9)

由于PM模型的具體形式用偏微分方程(PDE)表示，所以這類算法又被稱為基于偏微分方程的非均勻性校正方法(PDE-based NUC)。

在PM模型中，擴(kuò)散系數(shù)ck是關(guān)于圖像梯度的非負(fù)遞減函數(shù)，當(dāng)梯度值較小時(shí)，模型的擴(kuò)散作用較強(qiáng)，起到平滑效果；當(dāng)梯度值較大時(shí)，模型的擴(kuò)散作用較弱，甚至不擴(kuò)散，從而保護(hù)了圖像的邊界。Perona和Malik推薦了一個(gè)常用擴(kuò)散函數(shù)：

(10)

式中，λ為擴(kuò)散閾值。

擴(kuò)散閾值λ的取值對(duì)擴(kuò)散過(guò)程影響巨大，λ取值過(guò)大，對(duì)邊緣的保留越少；λ取值過(guò)小，擴(kuò)散被抑制，達(dá)不到去噪效果。因此，在實(shí)際應(yīng)用中，需要選擇合適的λ值適應(yīng)圖像邊緣強(qiáng)弱和噪聲水平，否則難以達(dá)到保邊緣、去噪聲、抑制鬼影的目的。

圖1　不同擴(kuò)散閾值對(duì)應(yīng)PDE-based NUC校正前后的圖像Fig.1　Images before and after using PDE-based NUC algorithm correction with different thresholds

圖2　PDE-based NUC算法中對(duì)圖像27列偏移校正系數(shù)和誤差函數(shù)的估計(jì)Fig.2　Estimations of the offset coefficients and the error signal using the PDE-based NUC algorithm

為了實(shí)現(xiàn)擴(kuò)散閾值自適應(yīng)的選取，文中用行像素的梯度均值作為條紋噪聲邊緣梯度的估計(jì)值，并使此時(shí)的擴(kuò)散系數(shù)趨近于1，從而求得擴(kuò)散閾值，如式(11)所示。這樣每次迭代后都能自適應(yīng)的更新擴(kuò)散閾值。

(11)

圖3　基于自適應(yīng)擴(kuò)散閾值的非均勻性校正算法流程Fig.3　Block diagram of the NUC algorithm based the proliferation of adaptive threshold

4實(shí)驗(yàn)結(jié)果與分析

為了客觀評(píng)價(jià)新算法的校正性能，參考文獻(xiàn)[13-16]采用如下校正效果評(píng)價(jià)標(biāo)準(zhǔn)：

第一種評(píng)價(jià)標(biāo)準(zhǔn)是均方根誤差(Root Mean Square Error,RSME)：

(12)

第二種評(píng)價(jià)標(biāo)準(zhǔn)是平整度ρ(Roughness)，平整度是從圖像平滑角度來(lái)衡量圖像的像素灰度波動(dòng)。

(13)

為了有效驗(yàn)證新算法的性能，將PM-AD-NUC新算法與NN-NUC，MMSE，LSF-SK以及固定閾值PDE-based NUC等算法進(jìn)行比較，采用實(shí)際航空拍攝紅外視頻序列進(jìn)行實(shí)驗(yàn)，如圖4所示。軟件環(huán)境為Windows 8.0 Matlab R2014，硬件環(huán)境為Intel雙核，主頻1.7 GHz。實(shí)際紅外圖像是由法國(guó)SOFRADIR公司的生產(chǎn)的320×256中波制冷型凝視焦平面探測(cè)器白天航拍的600幀地面建筑物目標(biāo)紅外視頻序列。圖4為第430幀紅外圖像的單幀校正結(jié)果，NN-NUC和MMSE算法校正結(jié)果右半部分出現(xiàn)了明顯的“鬼影”現(xiàn)象，且殘留部分列向條紋；PDE-based NUC和LSF-SK算法，整體校正效果要優(yōu)于前兩種算法，但仍然能看到一些殘留列向條紋噪聲。本文提出的PM-AD-NUC算法是在固定閾值PDE-based NUC算法的基礎(chǔ)上采用自適應(yīng)擴(kuò)散閾值，更大程度保留邊緣細(xì)節(jié)，使圖像更加清晰。

圖5為針對(duì)600幀紅外圖像序列進(jìn)行校正實(shí)驗(yàn)后不同算法得出的校正性能曲線，實(shí)驗(yàn)過(guò)程中，用兩點(diǎn)定標(biāo)法的校正結(jié)果作為均方根誤差計(jì)算中的理想圖像。從圖中曲線趨勢(shì)可以看出，本文提出的PM-AD-NUC算法在均方根誤差和平整度兩個(gè)指標(biāo)上都優(yōu)于其它算法。表1給出了5種算法對(duì)于600幀圖像的平均校正效果。從兩種評(píng)價(jià)指標(biāo)的方差(var)統(tǒng)計(jì)結(jié)果可以看出PM-AD-NUC算法的穩(wěn)定性要優(yōu)于其它算法。但是，新算法的實(shí)時(shí)性并不是最好的，這是因?yàn)樾滤惴ú捎昧硕啻窝h(huán)校正的策略，因此需要進(jìn)一步提高新算法的實(shí)時(shí)性。

圖4　5種算法用于實(shí)拍外紅外圖像的單幀校正效果比較Fig.4　Comparison of five NUC algorithms for signal infrared real images

圖5　5種算法的校正性能曲線Fig.5　Performance curves of five NUC algorithms

PerformanceNN-NUCMMSELSK-SKPDE-basedNUCPM-AD-NUCRMSE24.670324.749118.580518.510216.2489ρ0.16560.16710.15250.15750.1449RMSE(var)1.78421.84611.05751.00650.7284ρ(var)4.8452×10-49.0317×10-42.0887×10-42.8427×10-41.9892×10-4Time/s5.883.764.094.717.45

5結(jié)論

在基于非線性濾波的神經(jīng)網(wǎng)絡(luò)非均勻性校正算法中，用經(jīng)驗(yàn)閾值約束擴(kuò)散過(guò)程，影響了校正效果。新算法分析了擴(kuò)散閾值影響擴(kuò)散過(guò)程的原因，建立了自適應(yīng)擴(kuò)散閾值模型，并將基于自適應(yīng)PM擴(kuò)散模型應(yīng)用到單幀紅外圖像的條紋非均勻性校正中，以達(dá)到保邊緣去噪聲抑制鬼影的目的。實(shí)驗(yàn)中用真實(shí)航拍得到的條紋非均勻性紅外視頻序列進(jìn)行對(duì)比驗(yàn)證，新算法與其它算法相比在保護(hù)圖像邊緣的同時(shí)，能夠更好地抑制條紋噪聲的干擾。但是，新算法的實(shí)時(shí)性有待提高，這將是下一步工作研究的重點(diǎn)。

參考文獻(xiàn)：

[1]PIPA D,DA SILVA E,PAGLIARI C,etal.. Recursive algorithms for bias and gain nonuniformity correction in infrared videos[J].IEEETransactionsonImageProcession,2012,21(12):4758-4769.

[2]任建樂(lè)，陳錢(qián)，錢(qián)惟賢.基于配準(zhǔn)的紅外焦平面陣列條紋非均勻性校正[J].紅外與毫米波學(xué)報(bào)，2011,30(6):499-506.

REN J L,CHEN Q,QIAN W X. Stripe nonuniformity correction based on registration for infrared focal plane arrays[J].J.InfraredandMillimeterWaves,2011,30(6):499-506.(in Chinese)

[3]余毅，常松濤，王旻，等.寬動(dòng)態(tài)范圍紅外測(cè)量系統(tǒng)的快速非均勻性校正[J].光學(xué) 精密工程，2015,23(7):1932-1938.

YU Y,CHANG S T,WANG M,etal.. Fast non-uniformity correction for high dynamic infrared radiometric system[J].Opt.PrecisionEng.,2015,23(7):1932-1938.(in Chinese)

[4]張曉龍,劉英,王健,等.不同非均勻性校正溫度的紅外測(cè)溫技術(shù)[J].中國(guó)光學(xué),2014,7(1):150-155.

ZHANG X L,LIU Y,WANG J,etal.. Infrared thermometry technology with different nonuniformity correction temperatures[J].ChineseOptics,2014,7(1):150-155.(in Chinese)

[5]HARRIS J G，CHIANG Y M. Nonuniformity correction of infra-red image sequences using the constant-statistics constraint[J].IEEETrans.ImageProc.,1999，8(8):1148-1151.

[6]SCRIBNER D A,SARKADY K A,CAULFIELD J T,etal.. Adaptive retina-like preprocessing for imaging detector arrays[J].Proc.IEEE,1993,3:1955-1960.

[7]楊碩,趙保軍,毛二可，等.基于PM擴(kuò)散的紅外焦平面陣列神經(jīng)網(wǎng)絡(luò)非均勻校正算法[J].電子與信息學(xué)報(bào),2013,35(11):2744-2750.

YANG S,ZHAO B J,MAO E K,etal.. Neural network nonuniformity correction for infrared foacl plane array based on perona malik Diffusion[J].J.Electrions&InformationTechnology,2013,35(11):2744-2750.(in Chinese)

[8]QIAN W X,CHEN Q,GU G H,etal.. Minimum mean square error method for stripe nonuniformity correction[J].ChineseOpticsLetters,2011,9(5):051003-1-3.

[9]趙明,安博文,林長(zhǎng)青，等.基于轉(zhuǎn)向核的單幀紅外條紋非均勻性擬合校正算法[J].紅外激光工程,2013,43(3):766-771.

ZHAO M,AN B W,LIN CH Q,etal.. Stripe nonuniformity correction algorithm based on steering kernel fitting for single infrared images[J].InfraredandLaserEngineering,2013,43(3):766-771.(in Chinese)

[10]張?zhí)煨?袁雅婧,桑紅石，等.基于PDE去鬼影的自適應(yīng)非均校正 算法研究[J].紅外與毫米波學(xué)報(bào),2012,31(2):177-182.

ZHANG T X,YUAN Y J,SANGF H SH，etal.. PDE-based deghosting algorithm for correction of nonunformity in infrared focal plane array[J].JInfraredandMillimeterWaves,2012,31(2):177-182.(in Chinese)

[11]PERONA P,MALIK J. Scale-space and edge detection using anisotropic diffusion[J].IEEETransactionsPattenAnalysisandMachineIntelligence,1990,12(7):629-639.

[12]SONG G,TIEN D B. Image segmentation and selective smoothing by using Mumford-Shah model[J].IEEETransactionsonImageProcessing,2005,14(10):1537-1549.

[13]VERA E,MEZA P,AND TORRES S. Total variation approach for adaptive nonuniformity correction in focal-plane array[J].OpticsLetters,2011,36(2):172-174.

[14]ZUO C,ZHANG Y Z,CHEN Q，etal.. A two-frame approach for sensors-based nonuniformity correction in array sensors[J].InfraredPhysics&Technology,2013,60(5):190-196.

[15]寧永慧,郭永飛.TDICCD拼接相機(jī)的像元響應(yīng)非均勻性校正方法[J].中國(guó)光學(xué),2013,6(3):386-394.

NING Y H,GUO Y F. Correction of pixel response non-uniformity in TDICCD mosaic camera[J].ChineseOptics,2013,6(3):386-394.(in Chinese)

[16]謝蓄芬，張偉，智喜洋，等.基于場(chǎng)景的紅外焦平面陣列非均勻性評(píng)價(jià)方法[J].光學(xué)學(xué)報(bào),2012,32(6):0604001.

XIE X F,ZHANG W,ZHI X Y,etal.. Scene-based assessment method for nonuniformity of infrared focal plane array[J].ActaOpticaSinica,2012,32(6):0604001.(in Chinese)

陳世偉(1979—)，男，河北南和人，博士研究生，講師，2006年于第二炮兵工程大學(xué)獲得碩士學(xué)位，主要從事機(jī)器視覺(jué)及自動(dòng)控制方面的研究。E-mail:cshw3876@tom.com

algorithm based on adaptive diffusion models

CHEN Shi-wei1*, YANG Xiao-gang1, ZHANG Sheng-xiu1, LIU Yun-feng2

(1.303Section,TheSecondArtilleryEngineeringUniversity,Xi′an710025,China;

2.TheSecondArtilenyinChengduAgent′sRoom,Chengdu610000,China)

*Correspondingauthor,E-mail:cshw3876@tom.com

Abstract:In order to correct the stripe nonuniformity for infrared images captured by infraed focal plane array(IRFPA), a novel stripe nonuniformity correction algorithm based on adaptive PM diffusion models for single infrared image is adopted. Firstly, the adaptive diffusion threshold of PM model is calculated by gradient information and local gray level statistics of infrared images. Then, the estimate values of each column pixel are treated as expectations, which are in constraint of PM models. Finally, correction parameters in iteration are obtained by method of steepest descent, and the image is corrected repeatedly to improve correction performance. Experimental results indicate that the adopted algorithm can preserve edge information. Compared with other four algorithms, the proposed algorithm has advantage of reducing stripe nonuniformity and removing ghosting artifact.

Key words:single infrared image;stripe nonuniformity correction;adaptive diffusion model;steepest descent method;ghosting artifact

作者簡(jiǎn)介：

中圖分類號(hào)：TN215

文獻(xiàn)標(biāo)識(shí)碼:A

doi:10.3788/CO.20160901.0106

文章編號(hào)2095-1531(2016)01-0106-08

基金項(xiàng)目：國(guó)家自然科學(xué)基金項(xiàng)目(No.61203189)；二炮院校青年基金資助項(xiàng)目(No.2014QNJJ023)

收稿日期:2015-09-11；

修訂日期:2015-11-13

Supported by National Natural Science Foundation of China(No.61203189), Young Science Foundation of China of The Second Artillery Engineering University of China(No.2014QNJJ023)