曹 杰,唐鳴元,肖宇晴,郝 群,李國梁
(1.北京理工大學 光電學院機器人與系統(tǒng)教育部重點實驗室, 北京 100081; 2.中國北方車輛研究所, 北京 100072)
在智能監(jiān)控、安防、導航、偵察等領(lǐng)域中[1-4],異構(gòu)變分辨成像以其獨特的優(yōu)越性獲得了越來越多的應(yīng)用,典型的有復(fù)眼與人眼視網(wǎng)膜成像[5]。其中,人眼視網(wǎng)膜感光細胞因分布非均勻而具有中央凹的高分辨凝視觀察優(yōu)勢[6],即異構(gòu)變分辨。同時,人眼視網(wǎng)膜從外界接受光強信息,并通過視覺傳輸神經(jīng)傳輸?shù)侥X皮層的圖像采集過程,類似于將圖片從笛卡爾坐標映射到對數(shù)極坐標的過程[7-8],使得人眼具有壓縮冗余數(shù)據(jù)與抗旋轉(zhuǎn)與尺度改變的特性。利用這種近似仿人眼分辨率通過對數(shù)極坐標進行變換后所得圖像的旋轉(zhuǎn)與尺度不變特性進行圖像識別,減少了傳統(tǒng)識別方法由于目標形變和尺度變化帶來困擾[9],從而達到更加快速、準確的目的[10]。
異構(gòu)變分辨成像以對數(shù)極坐標作為基礎(chǔ),若想要利用對數(shù)極坐標下圖像的旋轉(zhuǎn)尺度不變性,需要精確的定位目標的位置,并調(diào)整成像系統(tǒng)視場將目標放置于視場中央[11-12]。一旦這種精確的定位產(chǎn)生偏差,圖像的抗旋轉(zhuǎn)尺度改變特性將會產(chǎn)生一定的誤差,從而導致目標識別精度降低。
由于準確定位條件過于苛刻,在具體實踐中往往難以完全滿足。例如:在導彈瞄準過程中,若是可以精確的瞄準,目標相對于導彈旋轉(zhuǎn)與縮放,通過對數(shù)極坐標進行了變化后的圖像,具有良好的旋轉(zhuǎn)尺度不變性。但由于飛行過程中因載荷本身振動或其他因素的影響[13],目標和導引的視場中心之間會存在有一定的偏差,這種偏差使得獲取的圖像難以完全滿足旋轉(zhuǎn)與尺度不變條件,導致變換后的圖像產(chǎn)生一定的誤差。
目前,對異構(gòu)變分辨成像中的視場偏心導致的旋轉(zhuǎn)與尺度不變性性能下降尚未有相關(guān)研究報道。因此,從實際出發(fā),通過對此類情況進行定量分析,研究目標在視場離心情況下的變化情況,從而為更好地應(yīng)用異構(gòu)變分辨成像提供技術(shù)支撐。
人眼視網(wǎng)膜和視皮層之間存在類似于對數(shù)極坐標的非均勻映射關(guān)系。因此,構(gòu)建類似對數(shù)極坐標的仿異構(gòu)變分辨成像系統(tǒng)。在笛卡爾坐標平面中進行如圖1(a)所示變分辨采樣,再將其映射到對數(shù)極坐標平面中,即可得到相應(yīng)的極坐標圖像。笛卡爾坐標中像素位置用(x,y)表示,其對應(yīng)的對數(shù)極坐標位置可以表示為:
(1)
其中,ξ和θ對數(shù)極坐標下的參數(shù)。
由圖1可見在笛卡爾坐標中沿弧形排列的點在對數(shù)極坐標中沿著直線排列。在對數(shù)極坐標中等距離的縱向位移,會使笛卡爾坐標中采樣點到原點之間的偏角相同,距離成倍增大,呈現(xiàn)出了中間高分辨率,外部低分辨率的異構(gòu)變分辨成像。
人眼視網(wǎng)膜與視皮層的對數(shù)極坐標映射具有旋轉(zhuǎn)與尺度不變性的特性。
由式(1)可知,當位于笛卡爾坐標系中心的目標繞原點旋轉(zhuǎn)α時,由于旋轉(zhuǎn)后圖像各點到原點的距離不變,即ξ=log(r)這一條件未發(fā)生變化,變化的僅僅是θ=arctan(y/x)條件,且變化后的θ′可表示為:
θ′=θ+α
(2)
可知笛卡爾坐標下的旋轉(zhuǎn)變化轉(zhuǎn)換到對數(shù)極坐標平面后,變成了θ的增減變化,即沿θ軸方向的平移。
圖1 映射原理示意圖
當目標以原點為基準變化成原來的q倍時,θ=arctan(y/x)條件不發(fā)生變化,可得
log(q)+log(r)=ξ+log(r)
(3)
從式(3)看出笛卡爾坐標下的尺度變化轉(zhuǎn)換到對數(shù)極坐標下后,變成了ξ軸方向的平移。這種將旋轉(zhuǎn)與尺度的變化轉(zhuǎn)換為簡單的一維平移變化的性質(zhì),即是旋轉(zhuǎn)與尺度不變性。
在笛卡爾坐標下目標的旋轉(zhuǎn)和尺度變化可以在極坐標中以平移的形式表現(xiàn)。但若目標在笛卡爾坐標平面發(fā)生的是位移變化,轉(zhuǎn)換到對數(shù)極坐標平面下后,將會發(fā)生較為復(fù)雜的變化,如圖2所示的五角星形視場偏差成像。
圖2 五角星形視場偏差成像
由圖2可知,隨著目標偏離程度的增大,對應(yīng)的極坐標圖像呈現(xiàn)出一種向偏移方向收攏的趨勢。這種在笛卡爾坐標系中簡單的一維變換轉(zhuǎn)換到對數(shù)極坐標系后,變成了復(fù)雜的二維變換,使得之后的工作復(fù)雜度急劇增大。
為進一步分析視場偏差成像模型,采用對數(shù)極坐標轉(zhuǎn)換后成為直線的圓形目標,當其向x軸負方向偏移時,轉(zhuǎn)換到對數(shù)極坐標下便成為了一種對稱式的變化,較為直觀,如圖3所示。
圖3 圓形視場偏差放生成像
根據(jù)圖3中0~80像素位移在對數(shù)極坐標平面下對應(yīng)的圖像,偏移使得原本的直線變成了一條中間凹陷、兩邊上揚的曲線,且曲線的曲率隨著偏移量的增加而增加,說明對數(shù)極坐標對目標的平移變化不再有簡化功能,對旋轉(zhuǎn)與尺度不變性也可能存在一定的干擾。為此,后文將進行進一步的分析。
對于從笛卡爾坐標變換到對數(shù)極坐標的圖像,當目標位于視場中央時,具有良好的旋轉(zhuǎn)與尺度不變性特性。但當目標形心與視場中心存在有偏差時,該特性的表現(xiàn)將會收到極大的影響,將偏移量與旋轉(zhuǎn)角度作為自變量,研究其自小到大的變化對旋轉(zhuǎn)與尺度不變性的影響。
為不失一般性,按照目標幾何形狀由簡單到復(fù)雜,選擇了如圖4所示的3種目標:箭頭形、五角星形以及無規(guī)律多邊形。三次仿真具體參數(shù)如表1所示,對于旋轉(zhuǎn)與尺度不變性存在誤差的區(qū)域,采用了參數(shù)結(jié)構(gòu)相似性(SSIM)進行客觀評價,具體公式如式(4)。
(4)
表1 三次仿真具體參數(shù)
2.2.1旋轉(zhuǎn)變化
分析兩種場景:目標位于視場中心的旋轉(zhuǎn)以及偏心旋轉(zhuǎn),其中偏心旋轉(zhuǎn)分為繞視場中心旋轉(zhuǎn)和繞目標形心旋轉(zhuǎn)兩種方式。圖5至圖7為不同旋轉(zhuǎn)情況下的成像結(jié)果。其中,圖5至圖7的(a)為形心與視場中心重合時的圖像,其中:(b)為(a)逆時針旋轉(zhuǎn)45°,(c)為目標向左偏移45像素圖像,(d)為(c)中目標繞視場中心逆時針旋轉(zhuǎn)45°,(e)為(c)中目標繞自身形心逆時針旋轉(zhuǎn)45°圖像。
將目標的不同形態(tài)(5種)按照對數(shù)極坐標變換得到第二排圖像,觀察其旋轉(zhuǎn)不變性的效果,如圖5~圖7所示。
圖5 箭頭形旋轉(zhuǎn)不變性驗證
圖6 五角星形旋轉(zhuǎn)不變性驗證
2.2.2尺度分析
對于在偏心后的尺度改變情況,進行上述類似的分析??紤]一般情況下,被測目標不會自發(fā)的進行膨脹或萎縮,故只考慮目標以視場中心為基準的縮放。圖8~圖10為不同縮放情況下的成像結(jié)果。其中圖8~圖10的(a)為形心與視場中心重合時的圖像,其中:(b)為(a)放大1.5倍,(c)為目標向左偏移45像素圖像,(d)為(c)以視場中心為基準放大1.5倍的圖像。
將目標的不同形態(tài)(4種)按照對數(shù)極坐標變換得到第二排圖像,觀察其尺度不變性的效果。
圖8 箭頭形尺度不變性驗證
圖9 五角星形尺度不變性驗證
圖10 多邊形尺度不變性驗證
通過上述仿真,可以看到:
1) 當目標形心與視場的中心重合時,如圖4(a)和圖4(b)所示,視場的旋轉(zhuǎn)和目標的旋轉(zhuǎn)是等價的,符合旋轉(zhuǎn)不變性的特點,其對數(shù)極坐標下的圖像僅僅發(fā)生了橫向的移動。
2) 當目標形心和視場中心之間存在偏移時,圍繞目標形心的旋轉(zhuǎn)不會影響目標在視場中的相對位置,僅僅是自身的形態(tài)發(fā)生了變化,如圖5(c)和圖5(e)所示;但若圍繞著視場的中心進行旋轉(zhuǎn),則在目標形態(tài)發(fā)生變化的同時,其相對位置也發(fā)生了相應(yīng)的偏移,如圖5(c)和圖5(d)所示。將三幅圖片轉(zhuǎn)到對數(shù)極坐標平面下,圍繞視場中心旋轉(zhuǎn)的兩幅圖片圖5(h)、圖5(i)僅僅發(fā)生了橫向的偏移,符合旋轉(zhuǎn)不變性的特點;但圍繞目標形心旋轉(zhuǎn)的兩幅圖片圖5(h)和圖5(j)之間的變化不再局限于一維的變化,在沿著橫坐標偏移的同時,有著向某一點收攏的趨勢。
3) 無論目標形心與視場的中心是否重合,如圖8(a)和圖8(c)所示,在縮放基準為視場中心時,均符合尺度不變性特性,其對數(shù)極坐標下的圖像發(fā)生縱向的移動。
綜上,對于目標旋轉(zhuǎn)的情況:理想狀況下的旋轉(zhuǎn)不變性不再局限于目標形心與視場中心重合的情況,只需保證目標的旋轉(zhuǎn)中心是視場中心,旋轉(zhuǎn)不變性特性依舊存在。對于目標尺度改變的情況:以視場中心為基準進行縮放同樣符合尺度不變性特性。但對于旋轉(zhuǎn)中心不再是視場中心的情況,旋轉(zhuǎn)不變性將會受到一定的影響,因此需要進一步分析可行區(qū)間。
由2.3節(jié)獲得的結(jié)果,旋轉(zhuǎn)不變性的適用范圍仍局限在僅在很小的范圍內(nèi),且對于目標形態(tài)的改變方式也有著十分嚴格的限制,旋轉(zhuǎn)不變性的應(yīng)用范圍仍十分苛刻。為進一步提高旋轉(zhuǎn)不變性的適用范圍,容忍一定的旋轉(zhuǎn)不變性誤差。利用結(jié)構(gòu)相似度對繞視場中心旋轉(zhuǎn)和繞目標形心旋轉(zhuǎn)后,對對數(shù)極坐標平面所得到的圖像進行評價,若繞視場中心旋轉(zhuǎn)的對數(shù)極坐標圖像和繞目標形心旋轉(zhuǎn)的對數(shù)極坐標圖像結(jié)構(gòu)十分相似(結(jié)構(gòu)相似度在0.9以上),則近似的認為繞目標形心旋轉(zhuǎn)的圖像僅僅是像繞視場中心旋轉(zhuǎn)的一個位移變化,近似的符合旋轉(zhuǎn)不變性。
按照表1中確定的仿真實驗的具體參數(shù),以偏移量和旋轉(zhuǎn)角度為x、y軸,結(jié)構(gòu)相似度為z軸,畫出結(jié)構(gòu)相似度隨著參數(shù)變化的趨勢圖,如圖11(a)、圖11(b)、圖11(c)所示??芍?,當旋轉(zhuǎn)角度為0°和360°時,即目標未發(fā)生旋轉(zhuǎn),其結(jié)構(gòu)相似度為1,對數(shù)極坐標中的圖像完全相同;當位移為0時,即目標形心與視場中心重合,其結(jié)構(gòu)相似度也為1,對數(shù)極坐標中的圖像完全相同。
圖11 不同圖形位移旋轉(zhuǎn)SSIM值計算
當旋轉(zhuǎn)角與偏移同時存在時,繞視場中心旋轉(zhuǎn)和繞目標形心旋轉(zhuǎn)后,轉(zhuǎn)換為對數(shù)極坐標平面所得到的圖像將會存在一定的差異,其結(jié)構(gòu)相似度開始降低。在旋轉(zhuǎn)角度與偏移量構(gòu)成的坐標系中,畫出結(jié)構(gòu)相似度為0.9的曲線,如圖11(d)、圖11(e)、圖11(f)所示??梢妼τ诓煌奈灰?,在可以容忍的誤差程度內(nèi),其旋轉(zhuǎn)角度是不同的。位移越小,可旋轉(zhuǎn)的角度越多。在位移不大于3像素的情況下,目標可以在360°的范圍內(nèi)旋轉(zhuǎn);位移大于3像素時,可以容忍的旋轉(zhuǎn)角度急劇減少,最終接近于0。
將保持旋轉(zhuǎn)不變性條件下的旋轉(zhuǎn)角度累加到偏移量坐標中,同時統(tǒng)計向多個方向的結(jié)果,以亮度作為可旋轉(zhuǎn)角度參考量,畫在視場平面中,獲得在容忍范圍內(nèi)的旋轉(zhuǎn)角度與各個方向偏移量之間的關(guān)系,如圖12所示。
圖12 可行區(qū)域仿真
圖12中分別為3種目標在笛卡爾坐標下的仿真。可見對于同一目標,在各個偏差方向上,其可容忍的旋轉(zhuǎn)角度隨位移偏差的變化情況相似,在坐標系中呈現(xiàn)出一個個不同亮度環(huán)狀的區(qū)域,其中亮度越亮得地方代表著可容許的旋轉(zhuǎn)角度越大。
目標的偏移可行區(qū)域是允許目標以自身形心旋轉(zhuǎn),而其轉(zhuǎn)化為對數(shù)極坐標后的圖形與理論中符合旋轉(zhuǎn)不變性所得的圖像十分相似的區(qū)域。即兩種旋轉(zhuǎn)后所得圖片可以在之后的處理中近似認為成同一目標。這種容忍性需要包含旋轉(zhuǎn)的各個角度,所以其容忍的旋轉(zhuǎn)角應(yīng)為360°,即為圖中最亮的區(qū)域??梢姡?種典型目標的旋轉(zhuǎn)可行均為中心直徑為6像素的圓形區(qū)域。
在圖像匹配、目標識別的過程中,利用異構(gòu)變分辨成像的抗旋轉(zhuǎn)與尺度改變特性可以很好的解決目標變化帶來的識別誤差。對于這種使用方便但適用條件嚴苛的特性,利用結(jié)構(gòu)相似度對其適用范圍進行擴展。本文深入討論了離心情況下滿足此特性的區(qū)域,并以典型幾何形狀目標作為分析對象,通過對目標進行多角度旋轉(zhuǎn)情況分析,找到了目標在不同偏心大小和旋轉(zhuǎn)角度的情況下,異構(gòu)變分辨成像的抗旋轉(zhuǎn)與尺度的可行情況,并進一步確定了中央?yún)^(qū)域直徑為6像素的圓形區(qū)域作為可行區(qū)域,使得在目標對準的過程中可以容忍約3%的誤差存在,為異構(gòu)變分辨成像的實際應(yīng)用提供理論支撐。