張紹榮 張聞?dòng)?莫云 周巧文

1 桂林航天工業(yè)學(xué)院 電子信息與自動(dòng)化學(xué)院，廣西 桂林 541004；2 桂林電子科技大學(xué) 電子工程與自動(dòng)化學(xué)院，廣西 桂林 541004

為應(yīng)對(duì)復(fù)雜的無(wú)人機(jī)任務(wù)和應(yīng)用環(huán)境，機(jī)載導(dǎo)航系統(tǒng)的準(zhǔn)確性和可靠性需更出色。在GPS失效、故障或復(fù)雜電子環(huán)境中GPS精度下降等情況下，基于視覺(jué)的景象匹配輔助返航系統(tǒng)就如同無(wú)人機(jī)的眼睛，在關(guān)鍵時(shí)刻指導(dǎo)無(wú)人機(jī)安全返航。傳統(tǒng)的景象匹配技術(shù)，采用衛(wèi)星圖像作為基準(zhǔn)圖進(jìn)行匹配，但這種基準(zhǔn)圖占用內(nèi)存大，更新慢，分辨率有限，給無(wú)人機(jī)數(shù)據(jù)處理模塊增加了很大的負(fù)擔(dān)[1]。針對(duì)這種情況，設(shè)計(jì)了無(wú)基準(zhǔn)圖的返航方案，這屬于一種無(wú)地圖導(dǎo)航方法，即將飛行過(guò)程中的航拍視頻利用起來(lái)，在其中選取地物特征明顯，適合景象匹配的圖像幀作為航路點(diǎn)，而后采用景象匹配技術(shù)在實(shí)時(shí)圖中逐一尋找這些航路點(diǎn)，來(lái)完成原路安全返航。

國(guó)內(nèi)外基于航路點(diǎn)的景象匹配導(dǎo)航方式主要是在基準(zhǔn)圖上人工選取航路點(diǎn)，通過(guò)航路點(diǎn)與實(shí)時(shí)圖進(jìn)行景象匹配的方式，引導(dǎo)無(wú)人機(jī)完成航路選擇。李耀軍等[2]從實(shí)時(shí)圖序列中提取出含有自然地標(biāo)的關(guān)鍵幀，通過(guò)與衛(wèi)星基準(zhǔn)圖進(jìn)行配準(zhǔn)為關(guān)鍵幀定位，然后將實(shí)時(shí)圖與關(guān)鍵幀進(jìn)行景象匹配，得到其相對(duì)關(guān)鍵幀的位置，以此間接實(shí)現(xiàn)當(dāng)前無(wú)人機(jī)在基準(zhǔn)圖上的精確定位。公續(xù)平等[3]提出了一種自動(dòng)提取出航路點(diǎn)的方法，將基準(zhǔn)圖像分割成的小塊圖像作為航路點(diǎn)樣本，每個(gè)樣本的邊緣、灰度和互相關(guān)信息組成特征向量，并基于支持向量機(jī)完成航路點(diǎn)的分類(lèi)，優(yōu)化和提取。但這些方法仍是以大幅基準(zhǔn)圖為基礎(chǔ)做研究，沒(méi)有脫離對(duì)基準(zhǔn)圖像的依賴。

為此，提出了一種基于模糊評(píng)價(jià)的航路點(diǎn)選取方法，其對(duì)航路點(diǎn)的提取方式完全基于視頻序列圖像，而非衛(wèi)星基準(zhǔn)圖像。通過(guò)對(duì)大量視頻幀進(jìn)行聚類(lèi)操作、選定適配航路點(diǎn)的特征指標(biāo)、航路點(diǎn)適配能力評(píng)價(jià)這三步，完成對(duì)航拍視頻中適配航路點(diǎn)的選取，并在最后進(jìn)行仿真實(shí)驗(yàn)證明了算法的有效性。

1 視頻幀的聚類(lèi)

航拍視頻的圖像幀數(shù)量很大，若直接提取航路點(diǎn)，不僅運(yùn)算復(fù)雜，還會(huì)出現(xiàn)提取的航路點(diǎn)多為相似幀的情況。為此，首先對(duì)視頻幀進(jìn)行聚類(lèi)，再于每一類(lèi)內(nèi)進(jìn)行后續(xù)操作。

1.1 顏色特征模型

HSV(H：色調(diào)，S：飽和度，V：亮度)顏色特征模型因與人類(lèi)感知方式同步，所以更直觀，更易應(yīng)用于計(jì)算機(jī)視覺(jué)，因此選用HSV模型提取視頻幀間的色彩信息。相機(jī)獲取的圖像為RGB(R:紅色，G：綠色，B：藍(lán)色)顏色特征模型，但是RGB顏色特征模型容易受光照變化影響[4]，因此要將RGB模型轉(zhuǎn)換為HSV顏色特征模型[5]，轉(zhuǎn)換公式[6]如下：

(1)

(2)

(3)

(4)

(5)

則

(6)

式中R,G,B∈[0，255]；H∈[0，360]；S,V∈[0，1]。

1.2 HSV模型的彩色直方圖幀間聚類(lèi)方法

經(jīng)過(guò)上述轉(zhuǎn)換，圖像像素所包含的信息都可以用HSV三個(gè)分量來(lái)表示，為反映一幅圖像與其他圖像的差異，引入了彩色直方圖的概念，統(tǒng)計(jì)單一分量中不同程度的像素與總像素?cái)?shù)的比值，宏觀上描述圖像的顏色特性及分布。

上一節(jié)中的轉(zhuǎn)換方法使得H、S、V三者的范圍差距較大，直接生成直方圖矢量的維數(shù)過(guò)多，運(yùn)算量大大增加，因此，要根據(jù)人眼的感知習(xí)慣對(duì)HSV顏色特征進(jìn)行非等間隔量化。將色調(diào)分成8類(lèi)，飽和度分成3類(lèi)，亮度分成3類(lèi)，這樣，HSV顏色空間劃為72個(gè)子空間[7]，如下式：

(7)

(8)

(9)

根據(jù)人眼對(duì)顏色的敏感度，對(duì)H、S、V分別賦予不同的量化級(jí)數(shù)[8]，合成一維特征矢量L，如式(10)所示，其中，QS=3，QV=3。

L=QSQVH″+QVS″+V″。

(10)

分別統(tǒng)計(jì)出視頻圖像幀所有像素，以及它們分布在這72個(gè)子空間的像素?cái)?shù)，獲得視頻幀的HSV顏色直方圖。由于HSV權(quán)重為遞減的設(shè)置，使得顏色分布情況凸現(xiàn)出來(lái)，削弱亮度和飽和度的影響，并且統(tǒng)計(jì)結(jié)果不受圖像旋轉(zhuǎn)、尺度等變化的影響，因此HSV十分適合做圖像幀初級(jí)聚類(lèi)。

得到所有視頻幀的HSV顏色直方圖后，本文計(jì)算它們的相關(guān)函數(shù)作為兩個(gè)圖像幀相似與否的依據(jù)，如式(11)所示，圖像直方圖越相關(guān)，表示圖像相似度越高。

(11)

(12)

式中，H1，H2表示兩幅圖像直方圖；D(H1,H2)表示直方圖的相似度；N為直方圖的條柄數(shù)目，為72。

在進(jìn)行聚類(lèi)操作時(shí)，設(shè)置幀間HSV直方圖相似度閾值為P，以第一幀為比較標(biāo)準(zhǔn)幀，計(jì)算后續(xù)圖像幀與其的直方圖相似度，當(dāng)相似度首次低于閾值P時(shí)，將比較標(biāo)準(zhǔn)幀至當(dāng)前幀的前一幀歸為一類(lèi)，然后更新當(dāng)前幀為比較標(biāo)準(zhǔn)幀，重復(fù)以上步驟，進(jìn)行后續(xù)的直方圖相似度計(jì)算，最終完成對(duì)整個(gè)視頻所有圖像幀的聚類(lèi)工作。

2 航路點(diǎn)的特征指標(biāo)

在景象匹配輔助返航技術(shù)中，匹配成功率往往依賴于圖像所攜帶的信息量，圖像中獨(dú)特、穩(wěn)定、有標(biāo)志性的地貌景物越多，就越適合作為航路點(diǎn)實(shí)現(xiàn)匹配及導(dǎo)航。所建立的航路點(diǎn)自動(dòng)選取機(jī)制依賴于計(jì)算機(jī)，如何讓計(jì)算機(jī)像人類(lèi)一樣能判定一幅圖像是否適合作為航路點(diǎn)，便需要從圖像處理的角度引入一系列衡量圖像適配性的特征指標(biāo)。為此選取了三項(xiàng)特征指標(biāo)來(lái)評(píng)價(jià)圖像的適合導(dǎo)航能力，后續(xù)通過(guò)綜合考量這三項(xiàng)特征指標(biāo)以選取出優(yōu)秀的航路點(diǎn)。

2.1 圖像熵

圖像熵源于信息論中信息熵的理論，是一種反映圖像灰度的非均勻程度和復(fù)雜程度的統(tǒng)計(jì)量，能夠一定程度的表示圖像中信息的豐富性。一幅大小為M×N的圖像，它的圖像熵S為：

(13)

(14)

上式中，f(i,j)表示像素點(diǎn)(i,j)的灰度值。

2.2 拉普拉斯響應(yīng)和

拉普拉斯算子表示梯度的散度，是n維Euclid空間中的二階微分算子，如式(15)。根據(jù)圖像處理的原理可知，在圖像的水平、豎直兩個(gè)方向上求導(dǎo)，計(jì)算拉普拉斯算子，能夠使灰度變化快的區(qū)域凸顯，變化慢的區(qū)域模糊，因此經(jīng)過(guò)拉普拉斯變換后保留下來(lái)的特征可以視作圖像中比較顯著的特征[9]。

(15)

對(duì)于數(shù)字化的圖像，單一像素點(diǎn)(x,y)處的拉普拉斯算子可進(jìn)行差分近似：

(16)

將上式代入式(15)，得到：

(17)

為描述整幅圖像的景象變化程度，本文在圖像內(nèi)，通過(guò)拉普拉斯運(yùn)算擴(kuò)展模板掃描各像素，計(jì)算其8鄰域微分，并在整幅圖像內(nèi)對(duì)其絕對(duì)值求和，可以得到拉普拉斯響應(yīng)和Lp，如式(18)所示：

(18)

對(duì)于一幅圖像，若各像素周?chē)幕叶茸兓。瑒tLp值?。蝗魣D像輪廓明顯，即使經(jīng)過(guò)噪聲平滑也不會(huì)消失，Lp的值就會(huì)顯著增大。此外，拉普拉斯算子對(duì)細(xì)節(jié)有較強(qiáng)的響應(yīng)，當(dāng)灰度變化相差不大時(shí)，對(duì)點(diǎn)的響應(yīng)強(qiáng)于對(duì)線的響應(yīng)，對(duì)線的響應(yīng)強(qiáng)于對(duì)梯度的響應(yīng)，能夠有效反映地貌景象的顯著特征。

2.3 完整輪廓數(shù)

完整輪廓的數(shù)量可以表征景象信息的穩(wěn)定性。首先，對(duì)圖像進(jìn)行二值化。一般將不感興趣像素點(diǎn)的灰度值設(shè)為0，其余像素點(diǎn)的灰度值maxval設(shè)置為與0對(duì)比度較強(qiáng)的灰度值，如255，即黑色和白色。二值化公式如下：

(19)

然后，根據(jù)二值化的圖像提取景象輪廓，提取輪廓時(shí)先檢測(cè)出灰度突變的像素點(diǎn)，然后再將這些像素進(jìn)行組合，形成完整的邊界。二值化圖像的灰度在兩個(gè)值之間迅速變化，用一階導(dǎo)數(shù)與閾值運(yùn)算便可檢測(cè)邊緣。

最后，進(jìn)行輪廓的跟蹤和擬合。通過(guò)邊緣提取得到輪廓是散亂無(wú)序的，這樣的輪廓線占用內(nèi)存大，而且不方便之后計(jì)算輪廓數(shù)。為此，采用輪廓跟蹤將雜亂的邊緣點(diǎn)轉(zhuǎn)化為有序點(diǎn)列，進(jìn)而用多邊形進(jìn)行擬合，顯現(xiàn)出獨(dú)立的輪廓。輪廓的擬合采用了動(dòng)態(tài)二分法[10]。

3 基于模糊綜合評(píng)價(jià)的航路點(diǎn)適配能力評(píng)定

在上一節(jié)中，選定了圖像熵、拉普拉斯響應(yīng)和、完整輪廓數(shù)作為評(píng)價(jià)視頻幀是否適合做航路點(diǎn)的三項(xiàng)特征指標(biāo)，接下來(lái)，要依據(jù)每一個(gè)候選航路點(diǎn)特征指標(biāo)的表現(xiàn)，選出綜合素質(zhì)最優(yōu)秀的作為航路點(diǎn)，為此，提出了基于模糊綜合評(píng)價(jià)的航路點(diǎn)適配能力評(píng)定方法。

3.1 模糊綜合評(píng)價(jià)

模糊綜合評(píng)判屬于模糊決策的一種，指當(dāng)被評(píng)價(jià)事物具有模糊性時(shí)，綜合考慮多種因素對(duì)其整體性進(jìn)行評(píng)判。每幀圖像是否適合做航路點(diǎn)是一個(gè)模糊的概念，沒(méi)有明確的界限，因此應(yīng)該給出適合做航路點(diǎn)的程度作為評(píng)價(jià)結(jié)果。對(duì)于通過(guò)HSV直方圖進(jìn)行聚類(lèi)后的分組圖像，該問(wèn)題即演變成對(duì)每組內(nèi)的圖像進(jìn)行適配性的排序，最后選擇序列第一的圖像作為航路點(diǎn)。

最簡(jiǎn)單的模糊綜合評(píng)價(jià)方法是對(duì)每一項(xiàng)指標(biāo)單獨(dú)打分，再累加求總分的方法，然而單一特征指標(biāo)獲得的評(píng)價(jià)存在片面性，在不同的景象圖像內(nèi)可能存在較大差異，簡(jiǎn)單的累加特征指標(biāo)的值，會(huì)使僅一個(gè)特征指標(biāo)表現(xiàn)優(yōu)秀的圖像凸現(xiàn)出來(lái)，評(píng)價(jià)值難以被信任。此外，還有一種將每個(gè)指標(biāo)乘以一定的權(quán)值，得到最后結(jié)果的加權(quán)平均法，在這種方法中權(quán)值的獲取多依賴于專家的經(jīng)驗(yàn)值，極具主觀性和依賴性[11]。為此提出了一種改進(jìn)的模糊綜合評(píng)價(jià)模型，采用灰色關(guān)聯(lián)評(píng)判方式，并以備選航路點(diǎn)對(duì)指標(biāo)屬性的貢獻(xiàn)度為權(quán)重，來(lái)得到最終的綜合評(píng)價(jià)值。

3.2 改進(jìn)的模糊綜合評(píng)價(jià)模型

本節(jié)提出的改進(jìn)的模糊綜合評(píng)價(jià)模型首先要構(gòu)造綜合評(píng)價(jià)矩陣。設(shè)第2節(jié)聚類(lèi)后的分組圖像每組有m個(gè)候選航路點(diǎn)，記作X1,X2,…Xm，每個(gè)候選航路點(diǎn)有3個(gè)特征指標(biāo)，記作V1，V2，V3，第i個(gè)候選航路點(diǎn)的第j個(gè)因素的指標(biāo)特征量，記作xij，則綜合評(píng)價(jià)矩陣為：

(20)

每幀圖像的適配性能與圖像熵、拉普拉斯響應(yīng)和、完整輪廓數(shù)這三個(gè)指標(biāo)均呈現(xiàn)正相關(guān)，因此將其視為效益型指標(biāo)，對(duì)綜合評(píng)價(jià)矩陣進(jìn)行極差運(yùn)算，得到規(guī)范化矩陣R=(rij)m×3，其中：

(21)

(22)

其中ρ為分辨系數(shù)，一般取值0<ρ<1，本章中ρ=0.5。

則灰色關(guān)聯(lián)度矩陣可表示為：

(23)

接下來(lái)，要根據(jù)每個(gè)候選航路點(diǎn)對(duì)應(yīng)指標(biāo)的貢獻(xiàn)度計(jì)算評(píng)價(jià)權(quán)重。所有候選航路點(diǎn)對(duì)第j個(gè)特征指標(biāo)的貢獻(xiàn)總量，用Ej來(lái)表示：

(24)

(25)

在各個(gè)指標(biāo)下，根據(jù)每個(gè)候選航路點(diǎn)的貢獻(xiàn)度，求得特征指標(biāo)的權(quán)重wj，方法如下：

gj=1-Ej(j=1,2,3)，

(26)

(27)

權(quán)重分配完畢后，將其與各候選航路點(diǎn)在三個(gè)指標(biāo)下的關(guān)聯(lián)度矩陣相乘，便得到模糊綜合評(píng)價(jià)值一維矩陣：

(28)

對(duì)每個(gè)候選航路點(diǎn)的模糊綜合評(píng)價(jià)值進(jìn)行比較和排序，候選航路點(diǎn)的模糊綜合評(píng)價(jià)值越大，說(shuō)明其越適合作為返航過(guò)程中的航路點(diǎn)。這樣便完成了對(duì)航路點(diǎn)適配能力評(píng)定，選擇出了聚類(lèi)后每組圖像中最適合作為航路點(diǎn)的那幀圖像。

4 仿真實(shí)驗(yàn)與結(jié)果分析

實(shí)驗(yàn)在Intel Corei5-4210U CPU，2.40 GHz，4 G內(nèi)存，Windows7操作系統(tǒng)和VS2012平臺(tái)下，搭配OpenCV2.4.8圖像視覺(jué)庫(kù)實(shí)現(xiàn)，完成對(duì)航路點(diǎn)的選取。為驗(yàn)證算法的有效性，采用文獻(xiàn)[12]提出的景象匹配算法對(duì)航路點(diǎn)進(jìn)行匹配定位實(shí)驗(yàn)，計(jì)算定位誤差，以驗(yàn)證航路點(diǎn)適配性能排序方法的有效性。

實(shí)驗(yàn)中所用的航拍視頻，是通過(guò)Google Earth軟件的游覽功能，規(guī)劃并錄制的桂林市解放橋橋頭至日月雙塔路段的航行視頻，視角海拔高度穩(wěn)定在700 m左右。航行視頻錄制界面如圖1所示。

圖1 航行視頻錄制界面

按照前文的航路點(diǎn)選取算法步驟，首先采用HSV彩色直方圖幀間聚類(lèi)方法對(duì)航拍視頻的所有幀進(jìn)行分組，航拍視頻時(shí)長(zhǎng)32 s，幀率25 fps，相鄰兩幀間變化較小，故取首幀進(jìn)行后續(xù)聚類(lèi)操作。這樣，待處理視頻圖像總共有400幀，聚類(lèi)方法的幀間相似度閾值取為0.8，聚類(lèi)結(jié)果如表1所示。

表1 HSV彩色直方圖幀間聚類(lèi)結(jié)果

對(duì)每組中的圖像提取圖像熵、拉普拉斯響應(yīng)和、完整輪廓數(shù)這三項(xiàng)特征指標(biāo)，并采用改進(jìn)的模糊綜合評(píng)價(jià)方法評(píng)定各圖像的適配能力，對(duì)得出的綜合評(píng)價(jià)值進(jìn)行排序，以第5組為例，第207幀-第220幀適合作為航路點(diǎn)程度排名結(jié)果如表2所示。

表2 適合作為航路點(diǎn)程度排名結(jié)果

由表2結(jié)果可見(jiàn)，在第五組的14幀圖像中，總幀數(shù)的第207幀獲得的模糊綜合評(píng)價(jià)值最高，它的拉普拉斯響應(yīng)和，以及完整輪廓數(shù)遠(yuǎn)大于其他圖像，雖然圖像熵稍顯遜色，但總體看來(lái)，仍是最適合作為航路點(diǎn)的一幀圖像。此外，隨著綜合評(píng)價(jià)排名的降低，單一特征指標(biāo)值逐漸減小，但其與評(píng)價(jià)排名之間并不是單調(diào)關(guān)系。這也說(shuō)明了采用單一指標(biāo)作為航路點(diǎn)選擇標(biāo)準(zhǔn)的局限性在于穩(wěn)定性較低，多指標(biāo)模糊綜合評(píng)價(jià)方法則能夠獲得更合理的結(jié)果。

為驗(yàn)證上述排名順序的可靠性，對(duì)第五組的14個(gè)候選航路點(diǎn)進(jìn)行了匹配定位實(shí)驗(yàn)，匹配算法采用文獻(xiàn)[12]提出的基于CenSurE-star的景象匹配定位方法，得到最終的經(jīng)緯度坐標(biāo)。將每個(gè)待選航路點(diǎn)的基準(zhǔn)經(jīng)緯度坐標(biāo)與算法定位的得到經(jīng)緯度坐標(biāo)做比較，計(jì)算出其定位誤差，如表3所示。

表3 各候選航路點(diǎn)定位誤差

按照表2中的排名順序，將候選航路點(diǎn)的定位誤差記錄在表3中，可見(jiàn)，排名靠前的候選航路點(diǎn)獲得了更小的定位誤差，定位誤差由小到大的順序基本上與排名順序吻合，只有在排名第八的211幀和排名第九的210幀之間出現(xiàn)排名反轉(zhuǎn)的情況，這可能是由于二者的綜合評(píng)價(jià)值很接近，地物特征相似，適配能力相差不大。該定位誤差的實(shí)驗(yàn)結(jié)果表明了算法計(jì)算的候選航路點(diǎn)的模糊綜合評(píng)價(jià)值能夠有效地反映各候選航路點(diǎn)的適配能力，為無(wú)人機(jī)無(wú)基準(zhǔn)圖的返航過(guò)程提供航路點(diǎn)。

6 結(jié)束語(yǔ)

本文提出了一種改進(jìn)的模糊評(píng)價(jià)的無(wú)人機(jī)航路點(diǎn)選取方法，擺脫了對(duì)單一指標(biāo)和專家經(jīng)驗(yàn)值的依賴，為無(wú)人機(jī)無(wú)基準(zhǔn)圖返航方案中航路點(diǎn)的選取提供了一個(gè)行之有效的方法。在未來(lái)的研究工作中，將提出一個(gè)穩(wěn)定性好、準(zhǔn)確率高的景象匹配算法，在無(wú)人機(jī)衛(wèi)星信號(hào)不可靠時(shí)，實(shí)現(xiàn)當(dāng)前實(shí)時(shí)圖與航路點(diǎn)的成功匹配與定位。這樣無(wú)人機(jī)便能夠在穩(wěn)定飛行高度下，不斷尋找并航行至下一個(gè)航路點(diǎn)，完成原路安全返航。