基于多元灰度投影的無人艇電子穩(wěn)像方法

胡建祥，侯毅男

(32381部隊(duì),北京 100072)

0 引言

視覺設(shè)備憑借其信息直觀、廉價(jià)等優(yōu)點(diǎn)，被廣泛應(yīng)用于無人艇感知系統(tǒng)中，并在監(jiān)控、偵察、巡邏等任務(wù)中發(fā)揮重要作用[1-4]。

無人艇在航行過程中，水面波浪和艇自身姿態(tài)變化會(huì)造成艇載視覺設(shè)備獲得的視頻存在高頻抖動(dòng)問題，不僅使觀察者視覺疲勞，也影響后續(xù)目標(biāo)跟蹤等任務(wù)的速度和精度，因此需要引入電子穩(wěn)像來對(duì)視頻進(jìn)行預(yù)處理。

針對(duì)水面特殊環(huán)境，文中提出了一種基于多元灰度投影的無人艇電子穩(wěn)像方法，通過對(duì)圖像進(jìn)行差分灰度投影、環(huán)投影和圓投影操作，估計(jì)出平移、縮放和旋轉(zhuǎn)量并進(jìn)行補(bǔ)償，其優(yōu)點(diǎn)在于：3次投影即可估計(jì)出相對(duì)運(yùn)動(dòng)，速度極快；投影方法受大面積無意義紋理的影響小，穩(wěn)定性好。試驗(yàn)表明，文中方法速度快、精度高、穩(wěn)定性好，極大改善了無人艇水面視頻的視覺效果。

1 基于多元灰度投影的運(yùn)動(dòng)估計(jì)方法

基于多元灰度投影的運(yùn)動(dòng)估計(jì)方法包括基于差分灰度投影的平移估計(jì)、基于環(huán)投影的縮放估計(jì)和基于圓投影的旋轉(zhuǎn)估計(jì)，在縮放估計(jì)和旋轉(zhuǎn)估計(jì)前，需要先對(duì)齊相鄰幀的環(huán)投影和圓投影的投影中心，而縮放估計(jì)和旋轉(zhuǎn)估計(jì)的先后順序?qū)τ诠烙?jì)結(jié)果沒有影響，這里按上述組成模塊依次進(jìn)行估計(jì)。

1.1 基于差分灰度投影的平移估計(jì)

對(duì)于尺寸為M×N的目標(biāo)幀I0(x,y)和參考幀I1(x,y)，水平偏移量求解步驟為：

步驟1：采用式(1)求取相鄰兩幀的列差分灰度投影，C0(x)和C1(x)分別為目標(biāo)幀和參考幀第x列的投影。

(1)

步驟2：采用式(2)求列投影的互相關(guān)性，CorrC(i)表示偏移量為i時(shí)的互相關(guān)性，m為搜索窗口寬度的一半，DC(i,j)為目標(biāo)幀第i+j列與參考幀第j列投影的差值，由式(3)定義。

(2)

DC(i,j)=[C0(i+j)-C0(j)]2

(3)

步驟3：采用式(4)求取水平偏移量，當(dāng)CorrC(i)達(dá)到最小時(shí)，i即為水平偏移量dx。

索尼在Photokina上沒有發(fā)布任何新相機(jī)，但是FE 24mm f/1.4 GM定焦鏡頭的出現(xiàn)不僅進(jìn)一步加強(qiáng)了G大師（G Master）系列專業(yè)鏡頭的產(chǎn)品競(jìng)爭力，也使得索尼的E卡口全畫幅無反系統(tǒng)更加完善。這支鏡頭采用了兩片XA（超級(jí)非球面鏡）鏡片、物理光圈環(huán)（可在有/無級(jí)調(diào)整之間切換）。

dx=argmin[CorrC(i)]

(4)

水平偏移量dx的求解至此結(jié)束，豎直偏移量dy也可用相同方式求解。

1.2 基于環(huán)投影的縮放估計(jì)

圖1 環(huán)投影

(5)

對(duì)于分辨率為M×N的視頻，若相鄰兩幀I0(x,y)和I1(x,y)存在k倍的縮放，則環(huán)投影曲線也存在k倍的縮放，即I0(x,y)半徑為kr與I1(x,y)半徑為r的環(huán)投影相等，即

(6)

據(jù)此采用以下步驟求取縮放：

(7)

步驟2：采用式(8)對(duì)環(huán)投影取對(duì)數(shù)，環(huán)投影之間的縮放關(guān)系變?yōu)槭?9)中平移關(guān)系，方便縮放系數(shù)的求取。

(8)

H0(t+lnk)=H1(t)

(9)

步驟3：采用式(10)求縮放誤差Es(v)，[Tmin,Tmax]是H(t)的定義域,滿足式(11)和式(12)。

(10)

(11)

(12)

步驟4：依據(jù)式(13)求縮放系數(shù)，縮放誤差達(dá)到最小時(shí)， 即為所求。

lnk=argmin[Es(v)]

(13)

這樣就完成了對(duì)縮放系數(shù)k的估計(jì)。

1.3 基于圓投影的旋轉(zhuǎn)估計(jì)

引入圓投影的概念估計(jì)旋轉(zhuǎn)，如圖2所示，對(duì)于圖像I(x,y)以(x0,y0)為圓心、以θ為夾角的半徑投影由式(14)求取，取所有θ∈[0°,360°]求半徑投影即構(gòu)成圓投影。

圖2 圓投影

(14)

對(duì)于分辨率為M×N的視頻，相鄰幀I0(x,y)和I1(x,y)之間存在角度為δ的旋轉(zhuǎn)，則圓投影之間存在大小為δ的平移，即I0(x,y)角度為δ+θ與I1(x,y)角度為θ的半徑投影相等，由式(15)表示。

(15)

據(jù)此采用以下步驟求取旋轉(zhuǎn)系數(shù)：

步驟1：分別求取相鄰幀的圓投影，當(dāng)半徑較小時(shí)兩幀圓投影的區(qū)別不大，因此較小半徑的像素點(diǎn)不參與計(jì)算，由式(16)求取，R0同樣由式(7)求取。

(16)

步驟2：采用式(17)求旋轉(zhuǎn)誤差Er(δ)。

(17)

步驟3：依據(jù)公式(18)求取旋轉(zhuǎn)系數(shù)，當(dāng)旋轉(zhuǎn)誤差達(dá)到最小時(shí)，δ即為所求。

2 有意運(yùn)動(dòng)濾波和運(yùn)動(dòng)補(bǔ)償

在完成相對(duì)運(yùn)動(dòng)估計(jì)之后，為了保留無人艇有意運(yùn)動(dòng)(轉(zhuǎn)彎、前進(jìn)等)造成圖像相對(duì)運(yùn)動(dòng)，在運(yùn)動(dòng)補(bǔ)償之前對(duì)估計(jì)所得的運(yùn)動(dòng)參數(shù)分別進(jìn)行了低通濾波。完成濾波后，對(duì)目標(biāo)幀進(jìn)行平移、旋轉(zhuǎn)和縮放來補(bǔ)償視頻抖動(dòng)，變換后的目標(biāo)幀Is(x′,y′)中的像素(x′,y′)與It(x,y)中對(duì)應(yīng)像素(x,y)的變換關(guān)系由式(18)表示。

(18)

經(jīng)過了運(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)濾波和運(yùn)動(dòng)補(bǔ)償之后，整個(gè)穩(wěn)像過程結(jié)束，并輸出了清晰、穩(wěn)定的視頻流。

3 試驗(yàn)及分析

下面分別從算法穩(wěn)像效果和對(duì)高級(jí)任務(wù)的提升作用來驗(yàn)證分析算法的有效性。

3.1 穩(wěn)像效果評(píng)估

通過與經(jīng)典算法比較來驗(yàn)證穩(wěn)像效果，視頻來源于GaTech Videostab數(shù)據(jù)集和水面實(shí)拍，數(shù)量為31，分辨率為1 280×720，對(duì)比算法包括傳統(tǒng)灰度投影、SURF方法[8]和Radon投影方法[14]，實(shí)現(xiàn)平臺(tái)為Visual Studio 2010平臺(tái)，電腦配置為8G內(nèi)存，Intel(R) Core(TM)i7-4790@3.6 GHz的CPU，操作系統(tǒng)為64 bitWindows 10。

圖3為其中一組對(duì)比試驗(yàn)，圖4為對(duì)應(yīng)的峰值信噪比(peak signal to noise ratio，PSNR)曲線。原視頻中存在平移和旋轉(zhuǎn)，PSNR曲線最低；灰度投影只補(bǔ)償了平移，PSNR曲線略高于原視頻；SURF方法在匹配正確時(shí)有較高精度，但是易出現(xiàn)誤匹配，PSNR曲線隨之出現(xiàn)跳變；Radon方法精度略弱于SURF，但穩(wěn)定性更好，因此PSNR曲線略低于SURF但更平穩(wěn)；文中方法在水面環(huán)境下表現(xiàn)最優(yōu)，保證精度的同時(shí)也不容易出現(xiàn)誤匹配，PSNR曲線最高且曲線平穩(wěn)。

圖3 水面視頻各幀對(duì)比

圖4 峰值信噪比曲線

對(duì)31部視頻的平均PSNR和幀率進(jìn)行統(tǒng)計(jì)，結(jié)果如表1,從平均PSNR可知文中方法穩(wěn)像效果最優(yōu)，對(duì)于分辨率為1 280×720的視頻，每秒可以處理40幀，滿足實(shí)時(shí)性要求。

表1 平均PSNR和幀率對(duì)比

3.2 對(duì)于高級(jí)任務(wù)的提升分析

無人艇在水面行駛過程中，往往需要執(zhí)行目標(biāo)識(shí)別、目標(biāo)跟蹤等圖像信息提取程度精細(xì)、智能化程度高的任務(wù)，以目標(biāo)跟蹤來證明文中方法對(duì)于無人艇高級(jí)任務(wù)的提升作用，先對(duì)22部分辨率為1 280×720的無人艇視頻進(jìn)行穩(wěn)像處理，并采用KCF[16]算法對(duì)處理前后的視頻中的艇進(jìn)行跟蹤，通過比較目標(biāo)位置變化和處理速度，來驗(yàn)證對(duì)于目標(biāo)跟蹤的提升作用。

圖5展示了其中一部視頻的處理結(jié)果對(duì)比，紅色十字為艇的初始位置，可以看到穩(wěn)像后艇的晃動(dòng)幅度明顯減小。為了分析穩(wěn)像對(duì)目標(biāo)跟蹤準(zhǔn)確率的影響，將目標(biāo)跟蹤的結(jié)果與人工標(biāo)注進(jìn)行了對(duì)比，當(dāng)跟蹤結(jié)果與人工標(biāo)注之間的像素偏移量低于閾值時(shí)，認(rèn)為目標(biāo)跟蹤結(jié)果是準(zhǔn)確的，圖6中展示了不同像素偏移量閾值下的目標(biāo)跟蹤準(zhǔn)確率，可以看到穩(wěn)像后的準(zhǔn)確率優(yōu)于穩(wěn)像前。

圖5 目標(biāo)跟蹤對(duì)比

圖6 目標(biāo)跟蹤準(zhǔn)確率對(duì)比

表2展示了22部視頻目標(biāo)跟蹤的統(tǒng)計(jì)信息，經(jīng)過文中算法處理后，視頻中艇的晃動(dòng)幅度減小，目標(biāo)跟蹤的速度大幅提升，對(duì)于無人艇目標(biāo)跟蹤有顯著的提升效果。

表2 目標(biāo)跟蹤統(tǒng)計(jì)數(shù)據(jù)對(duì)比

4 總結(jié)

針對(duì)水面特殊環(huán)境，設(shè)計(jì)了一種基于多元灰度投影的無人艇穩(wěn)像方法。采用差分灰度投影、環(huán)投影和圓投影等統(tǒng)計(jì)信息準(zhǔn)確地估計(jì)出了相鄰幀之間存在平移、縮放和旋轉(zhuǎn)，不僅能有效抵抗水面無意義紋理干擾，同時(shí)保證了算法的實(shí)時(shí)性。試驗(yàn)結(jié)果表明，該方法不僅有效降低無人艇晃動(dòng)造成的視頻抖動(dòng)，同時(shí)對(duì)于無人艇高級(jí)任務(wù)有顯著的提升作用，是一種穩(wěn)定、高效的無人艇電子穩(wěn)像方法。