許 磊,戚 睿,袁 杰,劉 研,溫乃峰

(1.哈爾濱工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,黑龍江 哈爾濱 150001;2.海南職業(yè)技術(shù)學(xué)院,海南 ?？?570100;3.上海航天電子技術(shù)研究所,上海 201109;4.哈爾濱工業(yè)大學(xué) 數(shù)學(xué)學(xué)院,黑龍江 哈爾濱 150001;5.大連民族大學(xué) 機(jī)電工程學(xué)院,遼寧 大連 116600)

0 引言

隨著計(jì)算機(jī)科學(xué)技術(shù)的發(fā)展,圖像和視頻的智能處理被應(yīng)用在越來(lái)越多的領(lǐng)域中[1]。由于目標(biāo)定位與跟蹤技術(shù)的廣泛應(yīng)用,計(jì)算機(jī)對(duì)不同領(lǐng)域圖像處理的要求也隨之增加[2]。圖像配準(zhǔn)技術(shù)可根據(jù)追蹤目標(biāo)在圖像序列之間的特征變化,同時(shí)獲取目標(biāo)在不同時(shí)間點(diǎn)內(nèi)位置空間和自身形狀的變化信息[3]。在目標(biāo)跟蹤領(lǐng)域,圖像配準(zhǔn)可用于減小因拍攝設(shè)備的顫動(dòng)而引起不同幀在相關(guān)位置上產(chǎn)生的誤差,以及獲取目標(biāo)在不同幀之間的形變信息[4]。經(jīng)過(guò)國(guó)內(nèi)外學(xué)者長(zhǎng)期的研究,圖像配準(zhǔn)技術(shù)已在很多領(lǐng)域中的目標(biāo)跟蹤應(yīng)用中起到了關(guān)鍵的作用[5]。目前對(duì)于圖像配準(zhǔn)技術(shù)已日趨成熟,有著較為完整的體系和框架,主要分為剛性配準(zhǔn)方法和非剛性配準(zhǔn)方法[6-8]。其中,剛性配準(zhǔn)采用基于旋轉(zhuǎn)和平移的自由度變換,將參考圖像的對(duì)應(yīng)點(diǎn)映射到浮動(dòng)圖像的對(duì)應(yīng)點(diǎn)。在一些領(lǐng)域中,具有復(fù)雜結(jié)構(gòu)圖像的目標(biāo)位置以及自身結(jié)構(gòu)存在變化,導(dǎo)致剛性圖像配準(zhǔn)在處理復(fù)雜結(jié)構(gòu)圖像時(shí)具有一定的局限性,故只能處理剛體圖像[9]。非剛性配準(zhǔn)可提取圖像中的不同特征,同時(shí)反映圖像的空間和形變信息[10],因此,非剛性配準(zhǔn)方法為當(dāng)今目標(biāo)跟蹤領(lǐng)域中的一個(gè)研究熱點(diǎn)。

現(xiàn)有基于非剛性的圖像配準(zhǔn)算法可分為兩類：基于特征的算法和基于像素點(diǎn)的算法?；谏鲜?種算法,已經(jīng)開(kāi)發(fā)了不同圖像的配準(zhǔn)方法[11-13]。然而,這些方法在處理復(fù)雜背景變化的圖像序列時(shí)仍存在問(wèn)題?；谔卣鞯乃惴▽?duì)于通過(guò)將變形圖像中的幾何特征和局部紋理特征等與靜態(tài)圖像中的相同特征相匹配來(lái)處理噪聲圖像是有用的。然而,由于圖像結(jié)構(gòu)變化的應(yīng)力會(huì)引起損傷位置、形狀、大小和紋理變化,特征提取的潛在誤差可被延續(xù)到可變形圖像配準(zhǔn)過(guò)程中。此外,需要額外的時(shí)間來(lái)完成特征提取環(huán)節(jié)?；诨叶鹊乃惴芍苯邮褂孟袼?或體素)信息,但基于灰度的算法(如基于平方強(qiáng)度差之和SSD和絕對(duì)差之和SAD的配準(zhǔn)方法對(duì)少量像素非常敏感)在圖像之間具有非常大的灰度差異,例如噪聲[13-14]。雖然有些方法使用平滑操作可以抑制配準(zhǔn)過(guò)程中的噪聲[15],但權(quán)衡噪聲和特征為一種兩難選擇。因此,需要開(kāi)發(fā)一種對(duì)復(fù)雜背景變化圖像具有穩(wěn)健性的非剛性圖像配準(zhǔn)方法。

由于線性計(jì)算具有復(fù)雜性且易于實(shí)現(xiàn),Demons算法是非剛性圖像配準(zhǔn)的流行算法[16]。本文提出了一種基于Demons算法的全自動(dòng)非剛性圖像配準(zhǔn)方法,用于對(duì)于復(fù)雜結(jié)構(gòu)圖像的處理。為處理圖像低信噪比,將基于“牛頓第一定律運(yùn)動(dòng)”的思想集成為一種新的驅(qū)動(dòng)力并融入原始基于Demons力的光流場(chǎng)公式中,在圖像空間中任何一點(diǎn)處的Demons力將產(chǎn)生源自在Moore鄰里系統(tǒng)中局灰度變化趨勢(shì)的“慣性”力。

1 本文思路

基于傳統(tǒng)的“Demons”算法使用靜態(tài)圖像中像素的局部梯度信息來(lái)驅(qū)動(dòng)運(yùn)動(dòng)圖像中的像素?cái)U(kuò)散到相應(yīng)的靜態(tài)圖像中。在原始Demons算法中,采用光流方程用于估計(jì)Demons力。對(duì)于給定點(diǎn)p,設(shè)靜態(tài)圖像S中的給定點(diǎn)的特征值為S(p),M(p)為運(yùn)動(dòng)圖像M中的給定點(diǎn)的特征值?；谏鲜龆x,匹配圖像中對(duì)應(yīng)點(diǎn)所需的估計(jì)位移可表示為

式中：vc=(v i,v j),i,j為圖像S和M中給定像素點(diǎn)的坐標(biāo)位置;?S(p)是靜態(tài)圖像中像素點(diǎn)的局部梯度信息,表示“內(nèi)力”,用來(lái)計(jì)算靜態(tài)圖像中的相鄰像素的關(guān)系;M(p)-S(p)表示靜態(tài)圖像和動(dòng)態(tài)圖像之間的差異相互作用的“外部”力。Demons算法工作原理如圖1所示。由圖可知,在原始的Demons算法中,像素的位移將根據(jù)Demons力按照?S(p)的方向(當(dāng)S(p)＜M(p)時(shí))推動(dòng)像素點(diǎn),或者沿著-?S(p)的方向拉動(dòng)像素點(diǎn)(當(dāng)S(p)＞M(p)?S時(shí))。

圖1 Demons算法工作原理Fig.1 Working principle of Demons algorithm

式(1)以迭代的方式計(jì)算估計(jì)Demons力,直到Demons收斂到穩(wěn)定的狀態(tài)。然而,由于驅(qū)動(dòng)變形的原始Demons力僅取自靜態(tài)圖像空間中每個(gè)像素的梯度,故當(dāng)噪聲或復(fù)雜背景變化引起的像素點(diǎn)變化趨勢(shì)嚴(yán)重不穩(wěn)定時(shí),靜態(tài)圖像中的局部梯度信息會(huì)變得不穩(wěn)定,從而使基于原始Demons算法在處理帶有復(fù)雜背景變化圖像時(shí)可能發(fā)生錯(cuò)誤。Demons在處理復(fù)雜圖像時(shí)的情況如圖2所示。

圖2 Demons在處理復(fù)雜圖像時(shí)的情況Fig.2 Demons in dealing with complex images

圖2(a)中,利用原始的Demons力,將標(biāo)記的移動(dòng)像素M(p)的位置與靜態(tài)圖像中的對(duì)應(yīng)點(diǎn)較好地匹配。對(duì)圖2(b)中的標(biāo)記移動(dòng)像素施加相同的力。由圖2(b)可知,由于不穩(wěn)定的梯度信息,標(biāo)記的像素M(p)被移動(dòng)到不合適的位置。此外,由于僅根據(jù)局部圖像信息計(jì)算移動(dòng)像素的位移,故基本上需要平滑操作來(lái)抑制噪聲,以保持變形圖像的幾何連續(xù)性。

基于原始Demons算法,在每次迭代過(guò)程中,光流方程需伴隨使用帶有方差σ2的高斯濾波器對(duì)變形場(chǎng)進(jìn)行正則化。但如果σ設(shè)置太小,則抑制噪聲的效率會(huì)變得低下。如果σ設(shè)置太大,則對(duì)于圖像細(xì)節(jié)的保留可能會(huì)大大降低。一些研究通過(guò)在光流方程中加入不同類型的額外力來(lái)估計(jì)Demons力[15,17],但這些方法在處理圖像的低信噪比時(shí)仍存在問(wèn)題,當(dāng)對(duì)局部信息進(jìn)行梯度運(yùn)算時(shí),配準(zhǔn)過(guò)程也可能發(fā)生效率低下的情況,即在靜態(tài)圖像和運(yùn)動(dòng)圖像中都是不穩(wěn)定的。

牛頓的第一定律是構(gòu)成經(jīng)典力學(xué)基礎(chǔ)的最強(qiáng)大的物理定律,它描述了作用于物體的力與由于這些力而產(chǎn)生的運(yùn)動(dòng)之間的關(guān)系。根據(jù)牛頓第一定律：處于均勻運(yùn)動(dòng)狀態(tài)的每個(gè)物體都傾向于保持該運(yùn)動(dòng)狀態(tài),除非對(duì)其施加外力。假設(shè)移動(dòng)物體遇到障礙物,它可能不會(huì)被障礙物的阻力阻擋,而是通過(guò)其“慣性”保持其原始速度方向。類似地,在圖像運(yùn)動(dòng)場(chǎng)景中,運(yùn)動(dòng)圖像空間中的像素被視為由靜態(tài)圖像的局部梯度信息導(dǎo)出的“內(nèi)力”驅(qū)動(dòng)的運(yùn)動(dòng)對(duì)象。靜態(tài)圖像中的斑點(diǎn)噪聲被視為障礙物,由于像素點(diǎn)灰度的嚴(yán)重不規(guī)則變化而給予移動(dòng)物體阻力。為幫助移動(dòng)物體更有效地?cái)U(kuò)散到相應(yīng)的靜態(tài)物體中,本文將基于“牛頓第一定律運(yùn)動(dòng)”的新“慣性力”添加到原始的光流場(chǎng)方程中,從而將Demons力重新定義為

式中：h為點(diǎn)p在(i,j)處的灰度值,h±r為(i,j±r)或(i±r,j)處的灰度值,其中r為鄰域半徑;t為迭代次數(shù);θ(p)是一種“慣性”力,來(lái)源于半徑大小r=3的Moore鄰域系統(tǒng)中鄰近像素的全局強(qiáng)度趨勢(shì)。式(2)中,M(p)-S(p)是用于強(qiáng)調(diào)M(p)偏移的“外部”力,?S'(p)是用于強(qiáng)調(diào)由原始內(nèi)力S(p)和“慣性”力θ(p)集成的移動(dòng)M(p)的新“內(nèi)部”力。假設(shè)?S(t)(p)是驅(qū)動(dòng)運(yùn)動(dòng)物體M(p)在第t次迭代時(shí)上擴(kuò)散到靜態(tài)圖像中的對(duì)應(yīng)點(diǎn)的力,θ(p)為每個(gè)像素M(p)以迭代的方式提供的額外力,以驅(qū)動(dòng)該像素移動(dòng)到期望方向。如果“慣性”力θ(p)與原始內(nèi)力具有相同的動(dòng)作方向,根據(jù)牛頓第一定律,v將保持恒定。如果原始內(nèi)力與慣性力具有相反的作用方向,則在幾次迭代之后,v方向?qū)⒅饾u被慣性力修改,最后固定運(yùn)動(dòng)物體的位移,如圖3所示。

圖3 本文方法對(duì)像素點(diǎn)的引導(dǎo)作用Fig.3 Guiding effect of the proposed method on pixels

2 評(píng)估方法

為評(píng)估配準(zhǔn)結(jié)果的性能,使用3個(gè)相似性度量函數(shù)：平方差和(sum of squared difference,SSD)、相關(guān)系數(shù)(correlation coefficient,CC)和歸一化互信息(normalized mutual information,MI_N)來(lái)統(tǒng)計(jì)評(píng)估本文算法。SSD是通過(guò)在靜態(tài)圖像和變形圖像之間的平方鄰域內(nèi)減去像素強(qiáng)度而計(jì)算的最普遍的相似性度量之一。設(shè)S為變形圖像的像素集,D為相應(yīng)靜態(tài)圖像的像素集,則SSD定義為

當(dāng)SSD比率較低時(shí),變形圖像更類似于相應(yīng)的靜態(tài)圖像。相關(guān)系數(shù)(CC)用于統(tǒng)計(jì)分析測(cè)量2個(gè)相應(yīng)圖像匹配程度的線性相關(guān)性,描述了在不同時(shí)間獲取的2個(gè)圖像之間的重疊區(qū)域的延伸。如果2個(gè)圖像完全相同,則相關(guān)系數(shù)值CC=1,即配準(zhǔn)結(jié)果表現(xiàn)最好。如果2個(gè)圖像完全不相關(guān),則CC=0。CC定義為

互信息可定性地衡量一個(gè)圖像與另一個(gè)圖像的匹配程度。通過(guò)配準(zhǔn)2個(gè)圖像之間的灰度分布的聯(lián)合直方圖來(lái)計(jì)算互信息。互信息定義為

式中：p(s)為圖像S的熵;p(d)為圖像D的熵;p(s,d)是圖像S和圖像D的聯(lián)合熵。為便于數(shù)據(jù)統(tǒng)計(jì),采用歸一化互信息MI_N來(lái)評(píng)估本文算法。

3 實(shí)驗(yàn)結(jié)果

為評(píng)估本文提出的Demons擴(kuò)散模型的效果,首先將該方法應(yīng)用于航拍的具有復(fù)雜結(jié)構(gòu)圖像的配準(zhǔn)中,并和基于原始Demons的配準(zhǔn)方法進(jìn)行對(duì)比。實(shí)驗(yàn)結(jié)果如圖4所示。圖4(a)是在初始時(shí)從航拍視頻捕獲的原始圖像,圖4(b)是在0.5 s后從相同視頻捕獲的對(duì)應(yīng)運(yùn)動(dòng)圖像。通過(guò)使用原始Demons模型,在圖4(c)中生成配準(zhǔn)結(jié)果。

由圖4(c)可知,結(jié)果中產(chǎn)生了許多馬賽克狀的斑點(diǎn)區(qū)域,配準(zhǔn)結(jié)果顯得非常不平滑。原始Demons模型得到的結(jié)果很差,這是由于原始Demons模型的估計(jì)Demons力來(lái)自單獨(dú)像素的局部梯度信息。如圖3所示,圖像自然場(chǎng)景等復(fù)雜背景變化所產(chǎn)生的噪聲,混淆了移動(dòng)物體的移動(dòng)方向,這是因?yàn)橄鄳?yīng)點(diǎn)與左右相鄰像素之間的灰度變化趨勢(shì)均相同。在這種情況下,移動(dòng)的對(duì)象可能被驅(qū)動(dòng)到相對(duì)方向相應(yīng)的靜態(tài)對(duì)象,導(dǎo)致產(chǎn)生瑣碎區(qū)域或馬賽克現(xiàn)象,最終得到效果較差的配準(zhǔn)結(jié)果。

圖4 兩種方法的配準(zhǔn)結(jié)果Fig.4 The registration results of two methods

使用本文方法生成的配準(zhǔn)結(jié)果如圖4(d)所示。與圖4(c)相比,本文方法的配準(zhǔn)結(jié)果顯得更加平滑,同時(shí)保留了原始圖像的細(xì)節(jié)和變形圖像的幾何連續(xù)性。該方法產(chǎn)生較好的結(jié)果如下：1)利用慣性力,可根據(jù)迭代過(guò)程中的全局灰度趨勢(shì),確定由斑點(diǎn)噪聲點(diǎn)局部梯度信息得到的非定常力;因此,所提出的方法對(duì)噪聲不敏感。2)所提方法中,沒(méi)有采用任何平滑操作來(lái)抑制噪聲,故可很好地保留圖像的細(xì)節(jié)。3)由于在圖像空間中任意一點(diǎn)處Demons力都被局部圖像信息和全局強(qiáng)度趨勢(shì)信息整合在一起,因此圖像的幾何連續(xù)性也可得到保留。

為統(tǒng)計(jì)性地驗(yàn)證本文方法的配準(zhǔn)性能,對(duì)于每個(gè)實(shí)例,本文分別計(jì)算靜態(tài)圖像與其對(duì)應(yīng)的運(yùn)動(dòng)圖像(SSDsm)之間的SSD以及通過(guò)使用不同方法生成的靜態(tài)圖像和對(duì)應(yīng)的變形圖像(SSDdm)之間的SSD值。采用歸一化為1 的閾值作為相似性標(biāo)準(zhǔn),即通過(guò)PSD=SSDsd/SSDsm表示SSDsm和SSDdm之間的相似關(guān)系。PSD＜1表示變形圖像和靜態(tài)圖像比運(yùn)動(dòng)圖像更相似,且意味著配準(zhǔn)是有效的。

對(duì)于數(shù)據(jù)庫(kù)中的圖像,原始光流場(chǎng)方法和本文方法的PSD平均值分別為1.02和0.57。由此可見(jiàn),傳統(tǒng)方法對(duì)于數(shù)據(jù)集中的所有圖像PSD統(tǒng)計(jì)均值大于1,說(shuō)明采用原始配準(zhǔn)方法得到的結(jié)果和浮動(dòng)圖像對(duì)比而言偏離度較大。相對(duì)于傳統(tǒng)的光流場(chǎng)方法,本文方法有著更低的PSD值,說(shuō)明本文方法的配準(zhǔn)結(jié)果更加有效。為評(píng)估不同方法的整體性能,本實(shí)驗(yàn)將基于原始光流場(chǎng)的配準(zhǔn)模型和本文方法應(yīng)用于實(shí)驗(yàn)數(shù)據(jù)集。表1列出3種方法的相似性度量指標(biāo),從表1中可看出本文方法的SSD較低,而CC和MI_N高于原始光流場(chǎng)方法。這表明本文所提方法的配準(zhǔn)結(jié)果更準(zhǔn)確。

表1 兩種方法的3種評(píng)價(jià)指標(biāo)對(duì)比Tab.1 Comparison of three evaluation indicators of two methods

本文還對(duì)2種方法的處理速度進(jìn)行了測(cè)試。測(cè)試基于MATLAB編程語(yǔ)言,在CPU 為4核、內(nèi)存為4G RAM 的計(jì)算機(jī)上執(zhí)行。因執(zhí)行可變形圖像配準(zhǔn)的計(jì)算時(shí)間取決于圖像的大小以及運(yùn)動(dòng)圖像相對(duì)于對(duì)應(yīng)參考圖像的相似性,對(duì)于一幅240 pixel×400 pixel的圖像來(lái)說(shuō),基于原始光流場(chǎng)的方法需要約20 s才能完成處理。相對(duì)于基于原始光流場(chǎng)的方法,本文方法僅需更少的時(shí)間即可達(dá)到收斂(約10 s),這是因?yàn)楸疚姆椒ㄔ诿看蔚^(guò)程中未使用任何平滑操作來(lái)抑制噪聲。

4 結(jié)論

通過(guò)改進(jìn)Demons算法,實(shí)現(xiàn)了一種有效的用于具有復(fù)雜結(jié)構(gòu)圖像的可變形圖像配準(zhǔn)技術(shù)。為處理低信噪比,本文方法基于牛頓第一定律為光流方程增加了新的力,以更加有效地驅(qū)動(dòng)運(yùn)動(dòng)圖像中的像素?cái)U(kuò)散到相應(yīng)的參考圖像對(duì)象中。與其他基于Demons算法的配準(zhǔn)方法相比,該方法可有效、自動(dòng)地配準(zhǔn)圖像,且對(duì)噪聲具有穩(wěn)健性。