李竹林
延安大學(xué)計算機學(xué)院,陜西延安716000
景象匹配技術(shù)是飛行器匹配定位輔助導(dǎo)航系統(tǒng)的核心,是利用飛行器裝載的圖像傳感器在飛行過程中采集實時景象圖,與預(yù)先制備的基準圖進行實時匹配,計算出導(dǎo)航定位的相關(guān)信息[1]。但是由于成像時的天氣、時間、空間等自然條件的變化,成像傳感器和成像姿態(tài)差異等方面的原因,使得基準圖與實時圖之間存在著較大的差異,增大了匹配的難度。因此,如何提高景象匹配算法的正確匹配率、時間,以及算法的適應(yīng)能力是研究景象匹配技術(shù)的熱點與難點[2-3]。目前,國內(nèi)外對景象匹配算法的研究表明,基于特征的景象匹配算法在景象匹配中效果較好[2,4]。但算法基本上是針對某一種應(yīng)用而設(shè)計的,較為通用的匹配算法研究是該研究領(lǐng)域的難點之一。本文研究一種基于區(qū)域特征的景象匹配算法,充分考慮了景象匹配時圖像的灰度、形狀、紋理信息等因素的變化情況進行相似性度量,并對其匹配的時間、正確匹配率以及適應(yīng)性做了大量的仿真實驗與分析。結(jié)果表明,算法效率較高,適應(yīng)性較好。
在景象匹配中,所關(guān)心的并不是實時圖和基準圖中所有的像素的對應(yīng)關(guān)系,而是判斷圖像中是否包含的打擊目標。因此,通常對基準圖中已提取的區(qū)域首先進行人工交互判別,對有意義的標志性區(qū)域作標記。這樣,景象匹配時,在實時圖中只尋找對應(yīng)的區(qū)域即可。所以,基于區(qū)域特征的匹配算法比基于特征點的算法更適合景象匹配,而且區(qū)域特征比點特征包含更多的信息,可區(qū)分性強,可以大大提高匹配的速度和正確匹配率。根據(jù)景象匹配技術(shù)的需求,文中對M atas[5]提出的MSER算法進行研究應(yīng)用。
M atas提出了穩(wěn)定極值區(qū)域(M aximally Stable Extrema Regions,MSER)提取算法,其思想是所提取的最大穩(wěn)定極值區(qū)域內(nèi)的所有像素亮度比區(qū)域邊界外的像素高,或者比區(qū)域邊界外的像素低。
設(shè)景象圖片的像素值為I(i,j),若
則I在(i0,j0)處取得極值,且當0時,取極小值;當0時,取極大值。
在前視制導(dǎo)方式下,彈載終端在時間t內(nèi),對地形或目標進行拍攝形成實時序列圖,來表征目標的影像。其中序列影像的拍攝時間間隔Δt足夠小。按照序列影像的先后時序與預(yù)先裝載的基準圖進行匹配,當重疊區(qū)域大于90%以上時,認為匹配成功。
(1)平均灰度與方差。設(shè)M×N區(qū)域的平均灰度與方差分別為表達式(2)與(3)[1,6]:
其中,I(i,j)為像素點(i,j)的灰度值;方差V反映了區(qū)域總的起伏程度。
(2)仿射不變矩。給定離散化的數(shù)字圖像f(x,y),其p+q階矩定義為:
將一階矩用零階矩歸一化后即得到目標區(qū)域的灰度質(zhì)心坐標為:
以灰度質(zhì)心為坐標原點的矩稱為中心矩,即
為了使中心矩不隨比例縮放而變,進行歸一化處理,可以得到歸一化的不變矩為:
式(7)中,r=(p+q)/2,p+q=2,3,…。
Jan Flusser用不大于三階的矩構(gòu)造了3個不變矩組[7]:
大量實驗表明,仿射不變矩在圖像發(fā)生仿射變換的情況下,仍可清晰地表征圖像特性,因此利用仿射不變矩可以識別形狀發(fā)生變化的局部區(qū)域。
(3)紋理信息熵。設(shè)區(qū)域中相距位置為(Δx,Δy),且其灰度值差的絕對值|h-k|的像對出現(xiàn)的次數(shù)記為mkk,其熵信息可以表示為[8]:
用公式(9)計算已確定的初始對應(yīng)區(qū)域的紋理信息熵。熵的絕對值越大,圖像所含信息也越多,就越有利于匹配,反之則不利于匹配。
綜上四方面的區(qū)域特征描述,即區(qū)域灰度、區(qū)域總的起伏程度、區(qū)域形狀以及區(qū)域紋理,作為景象匹配時的主要決定因素,增強匹配的適應(yīng)性與準確性,提高了匹配的正確率。
在景象匹配中,灰度信息、方差、仿射不變矩以及紋理信息熵等6個屬性值構(gòu)成區(qū)域的特征矢量λ={,V,J1,J2,J3,fENT}用于度量區(qū)域的相似性,而距離法是度量兩個矢量最簡潔有效的方法。Hausdorff距離是匹配點特征的一種方法,它不需要建立點之間的一一對應(yīng)關(guān)系,只是計算兩個點集之間的相似程度(最大距離),所以可以有效地處理很多特征點的情況[8-9]。本文的匹配基元是區(qū)域,為了提高匹配的準確性,計算了區(qū)域的6個屬性變量,可作為Hausdorff相似性度量的點集。因此選擇Hausdorff距離作為度量方法可以提高匹配正確率與實時性。
給定兩個有限點集A={a1,a2,…,ap}和B={b1,b2,…,bq},則A、B間的Hausdorff距離H(A,B)定義為:
其中,h(A,B)和h(B,A)分別為A→B與B→A的有向Hausdorff距離,定義為:
其中符號‖·‖為定義在點集A和B上的某種距離范數(shù),比如歐氏距離。
(1)基準圖的處理步驟
步驟1 對基準圖進行去噪、增強、剪裁等預(yù)處理。
步驟2 用MSER算法檢測基準圖的穩(wěn)定極值區(qū)域,作為特征區(qū)域。
步驟3 通過人機交互的方式,對具有標志性的區(qū)域作標記。
步驟4 計算基準圖中已標記區(qū)域的特征矢量λ={V,J1,J2,J3,fENT}。
(2)景象匹配算法步驟
步驟1 用MSER算法檢測出實時圖中的穩(wěn)定極值區(qū)域,作為特征區(qū)域。
步驟2 計算實時圖中檢測到的區(qū)域特征矢量λ′={'1,V,J′1,J′2,J′3,f′ENT}。
步驟3 計算H(A,B)的值,用Hausdorff距離法實現(xiàn)實時圖與基準圖間的匹配。
步驟4 若H<δ(δ為給定的閾值),則說明匹配成功,則轉(zhuǎn)步驟5;否則,若實時圖序列不為空,則取下一張實時圖像,重新執(zhí)行步驟1~步驟4。
步驟5 結(jié)束。
在仿真實驗的過程中,為了計算簡單,取基準圖大小為640像素×640像素,實時圖大小為160像素×160像素。
對圖1(a)~(c)中的示例圖進行模擬實驗,其中,基準圖中的5個標志性區(qū)域,如圖2(f)所示,它們屬性值的實驗數(shù)據(jù)見表1所示,表2給出景象匹配的正確率。
表1 基準圖中標記區(qū)域的屬性值
表2 圖像匹配結(jié)果
在該實驗結(jié)果中,由于不變矩的值較大,根據(jù)經(jīng)驗值,給定的Hausdorff距離閾值為25,其最佳匹配平均時間可達到0.138 s,最差為0.64 s;最佳正確匹配率為92.67%,滿足了前視景象匹配的基本要求[1]。
下面就常發(fā)生的一些變換及噪聲情況下算法的適應(yīng)性能力進行實驗。以下幾種情況所用圖像為同一組,每種情況實驗次數(shù)為100次,然后取平均值。
(1)噪聲情況
圖像的信噪比是衡量圖像質(zhì)量的一個重要參數(shù),也是景象匹配中描述噪聲干擾大小的重要手段。設(shè)大小為M×N的原始圖像為X(m,n),-X(m,n)為原始圖像的均值圖像,含噪聲重構(gòu)圖像為X′(m,n),則圖像的信噪比[10]定義為:
圖1 實時圖序列和基準圖
由于信噪比不是線性屬性,為了方便,本文采用加噪級數(shù)來代替信噪比,每一級噪聲對應(yīng)其相應(yīng)的信噪比值。下面選高斯噪聲和椒鹽噪聲這兩種典型而常見的噪聲模型進行分析。
①高斯噪聲。高斯噪聲匹配數(shù)據(jù)如表3(表中平均匹配時間為416.23ms)。數(shù)據(jù)的采集方法:每一級高斯噪聲均值為0,方差為0.1。
表3 算法在高斯噪聲下的匹配數(shù)據(jù)
②椒鹽噪聲。椒鹽噪聲匹配數(shù)據(jù)如表4(表中平均匹配時間為592.38m s)。數(shù)據(jù)的采集條件與高斯噪聲情況基本相同,只不過每一級高斯噪聲換成了強度為0.005的椒鹽噪聲。
表4 算法在椒鹽噪聲下的匹配數(shù)據(jù)
從整體上看,該算法的抗噪能力較強,但在椒鹽噪聲下的正確匹配率較高斯噪聲有所提高。當噪聲級數(shù)小于5的時候,算法的穩(wěn)定性非常好。
(2)幾何畸變情況
由于巡航導(dǎo)彈在空中的飛行姿態(tài)是不斷變化的,如爬升、俯沖、側(cè)翻等,這就引起彈上獲取實時圖的光學(xué)系統(tǒng)的視角不斷變化,最終造成實時圖存在各種幾何畸變。本文選取三種典型的幾何畸變進行分析。
①旋轉(zhuǎn)失真。旋轉(zhuǎn)失真匹配仿真試驗數(shù)據(jù)見表5(表中平均匹配時間為546.37ms)。
表5 算法在旋轉(zhuǎn)失真下的匹配數(shù)據(jù)
從表中數(shù)據(jù)可以看出,隨著旋轉(zhuǎn)角度的增加,即畸變幅度的增大,各算法的匹配正確匹配概率降低。但是由于算法的相似性度量時,不僅僅采用灰度相關(guān)法,而且考慮到區(qū)域的形狀信息和紋理信息,因此,對于旋轉(zhuǎn)變化,當旋轉(zhuǎn)的角度不是很大時,算法的適應(yīng)性較好。
②扭曲失真。匹配仿真試驗數(shù)據(jù)見表6(表中平均匹配時間為582.76m s)。
表6 算法在扭曲失真下的匹配數(shù)據(jù)
從匹配數(shù)據(jù)上看,當形狀發(fā)生了嚴重的畸變時,算法對扭曲失真的適應(yīng)性不好。
③比例失真。圖像是發(fā)生均勻比例變換,匹配仿真試驗數(shù)據(jù)見表7(表中平均匹配時間為462.15ms)。
表7 算法在比例失真下的匹配數(shù)據(jù)
從匹配數(shù)據(jù)上看,算法對比例失真的適應(yīng)性較好,這是由于比例失真只是圖像的相似性變換,只要相似性度量算法合理,匹配效率就可能基本保持。
(3)灰度畸變情況。
由于各種天候的影響,如晴天、陰天、雨、雪、霧等,容易造成預(yù)先獲得的基準圖與巡航導(dǎo)彈實時攝取的實時圖發(fā)生整體灰度上的差異,這些差異主要存在于圖像的亮度、對比度等。
①亮度失真。亮度失真的匹配數(shù)據(jù)見表8(表中平均匹配時間為497.54m s)。
表8 算法在亮度失真下的匹配數(shù)據(jù)
表8中,亮度變化單位lx為勒克司,1 lx=1 lm/m2。
從匹配數(shù)據(jù)上看,隨著亮度的變化,匹配的性能迅速下降。這也是基于灰度特性的匹配算法的面臨的一大難題。
②對比度失真。對比度范圍從0.58變化至1.80。表9所示為匹配實驗數(shù)據(jù)(表中平均匹配時間為550.78ms)。
如果對比度小于1.00,且越變越小時,圖像像素是亮的變暗,暗的變亮。因此隨著對比度的降低,正確的匹配率也隨之而降。特別是,當對比小于0.70時,由于圖像灰度過于集中,使圖像特征變得模糊,匹配概率會很低。當對比度大于1.00且越變越大時,圖像像素是亮的變得更亮,暗的變得更暗,且各像素變化幅度是相同的。因此,在較高對比度情況下,正確的匹配率基本上不受影響,反而會因為對比度適中匹配效果增強。
表9 算法在對比失真下的匹配數(shù)據(jù)
綜合上述分析,可以看出,本文的景象匹配算法總體的適應(yīng)性良好。特別是對旋轉(zhuǎn)、尺度、噪聲、灰度變化的適應(yīng)性較好。但是對于形狀發(fā)生扭曲、對比度嚴重失真,以及亮度變換非常大的情況,適應(yīng)性不好。
提出一種基于區(qū)域特征的景象匹配的算法,利用區(qū)域的灰度、形狀、紋理以及起伏程度特性,構(gòu)造了相似性度量函數(shù),解決了實時景象與基準圖景象的區(qū)域塊匹配問題。模擬實驗和算法適應(yīng)性分析表明,該方法的正確匹配率與平均匹配時間均可達到要求,且對旋轉(zhuǎn)、尺度、噪聲、灰度變化的適應(yīng)性較好。因此,本文算法對景象匹配具有重要的參考價值。
[1]曹菲.景象匹配制導(dǎo)基準圖選定準則研究[D].西安:第二炮兵工程學(xué)院,2006.
[2]郭勤.景象匹配技術(shù)發(fā)展概述[J].紅外與激光工程,2007,36(S2):57-61.
[3]王剛,段曉君,王正明.基于圖像區(qū)域相關(guān)的景象匹配概率與精度研究[J].宇航學(xué)報,2009,30(3):1237-1242.
[4]李竹林.立體匹配技術(shù)研究及其在導(dǎo)彈精確制導(dǎo)中的應(yīng)用[D].西安:第二炮兵工程學(xué)院,2008.
[5]Matas J,Chum O,Urban M,et al.Robust wide baseline stereo from maximally stable extremal regions[J].Image and Vision Computing,2004,22(10):761-767.
[6]孫即詳.圖像分析[M].北京:科學(xué)出版社,2005.
[7]Flusser J,Suk T.Pattern recognition by affine moment invariants[J].Pattern Recognition,1993,26(1):167-174.
[8]Yang C H,Lai S H,Chang L W.Reliable image matching via modified Hausdorff distance with normalized gradient consistency measure[C]//Proc of International Conf Information Technology:Research and Education,Hsinchu,Taiwan,China,2005:158-161.
[9]牛力丕,毛士藝,陳煒.基于Hausdorff距離的圖像配準研究[J].電子與信息學(xué)報,2007,29(1):35-38.
[10]Gonzalez R C,Woods R E.Digital image processing[M].2nd ed.[S.l.]:Prentice Hall,2002.