燕飛

（中國空空導(dǎo)彈研究院 河南 洛陽 471009）

一種仿生復(fù)眼系統(tǒng)的圖像拼接算法研究

燕飛

（中國空空導(dǎo)彈研究院 河南 洛陽 471009）

在研究昆蟲復(fù)眼的基礎(chǔ)上設(shè)計(jì)了一種仿生球面復(fù)眼系統(tǒng)，基于此系統(tǒng)提出一種圖像拼接算法。首先采用SIFT（Scale Invariant Feature Transform）圖像匹配算法進(jìn)行各個(gè)子眼圖像進(jìn)行特征點(diǎn)提??；然后利用RANSAC（Random Sample Consensus）算法對(duì)提取出的特征點(diǎn)進(jìn)行精確匹配；最后通過加權(quán)平滑算法實(shí)現(xiàn)多個(gè)子眼圖像的無縫拼接，得到整個(gè)場(chǎng)景的全景圖。仿真結(jié)果表明：算法可以有效地實(shí)現(xiàn)多通道圖像的大視場(chǎng)拼接，增大多個(gè)方向的視場(chǎng)。該研究可進(jìn)一步推進(jìn)仿生復(fù)眼成像系統(tǒng)的應(yīng)用。

仿生復(fù)眼；多通道成像；圖像拼接；SIFT；RANSAC

復(fù)眼是昆蟲重要的光感受器官，由成千上萬的小眼構(gòu)成，具有體積小、質(zhì)量輕、視場(chǎng)大，對(duì)移動(dòng)物體反應(yīng)敏感等顯著特點(diǎn)[1-2]。而目前的單孔徑光學(xué)探測(cè)系統(tǒng)很難同時(shí)具有上述特點(diǎn)，所以仿生復(fù)眼理論近年來發(fā)展迅速，在全景成像、機(jī)器人視覺導(dǎo)航、大視角測(cè)量等領(lǐng)域應(yīng)用廣泛。目前，國內(nèi)外已提出多個(gè)基于微透鏡陣列的仿生復(fù)眼成像系統(tǒng)[3-9]。但這些復(fù)眼成像系統(tǒng)大多為平面結(jié)構(gòu)，很大程度上喪失了曲面復(fù)眼結(jié)構(gòu)大視場(chǎng)的突出優(yōu)勢(shì)[10]。因此在曲面上模擬昆蟲復(fù)眼立體視覺系統(tǒng)可以有效地避免平面仿生復(fù)眼陣列的缺點(diǎn)。

圖像拼接[11-12]是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重要分支，研究的主要內(nèi)容是將兩幅或兩幅以上的具有一定重疊區(qū)域的圖像進(jìn)行拼接，得到寬視角、大視場(chǎng)的圖像。圖像拼接技術(shù)廣泛應(yīng)用于視頻圖像處理、遙感影像處理、醫(yī)學(xué)圖像分析和虛擬現(xiàn)實(shí)技術(shù)等領(lǐng)域。

受此啟發(fā)，文中針對(duì)曲面排布的大視場(chǎng)復(fù)眼結(jié)構(gòu)，提出了基于曲面的圖像拼接處理算法。重點(diǎn)研究了各子眼通道采集的二維圖像之間的關(guān)系，結(jié)合圖像拼接技術(shù)，實(shí)現(xiàn)球面仿生復(fù)眼成像系統(tǒng)的全景圖拼接。

1 仿生球面復(fù)眼系統(tǒng)設(shè)計(jì)

受昆蟲復(fù)眼視覺成像機(jī)理的啟發(fā)，提出一種新型的球面復(fù)眼結(jié)構(gòu)設(shè)計(jì)方案，其整體結(jié)構(gòu)模型如圖1所示。

其中，9個(gè)透鏡陣列均勻分布在同一球面上，每個(gè)子眼成像通道由鏡頭和圖像傳感器組成，各子眼成像通道可對(duì)不同方向視場(chǎng)內(nèi)的物體進(jìn)行成像，處于其視場(chǎng)內(nèi)的目標(biāo)物會(huì)被相應(yīng)的子眼成像通道捕獲形成獨(dú)立的子眼圖像。相鄰子眼成像通道的視場(chǎng)之間存在重疊區(qū)域，以保證相鄰子眼成像通道間的無死區(qū)覆蓋探測(cè)。

圖1 球面復(fù)眼結(jié)構(gòu)示意圖

復(fù)眼成像探測(cè)結(jié)構(gòu)的信號(hào)處理主要是信號(hào)采集與圖像處理，信號(hào)采集與常規(guī)的單眼成像系統(tǒng)相同，將探測(cè)器輸出的模擬信號(hào)通過A/D轉(zhuǎn)換，送入計(jì)算機(jī)進(jìn)行處理。由于復(fù)眼系統(tǒng)為多孔徑系統(tǒng)，圖像處理與常規(guī)的單眼系統(tǒng)不同，復(fù)眼中的每個(gè)單眼形成局部視場(chǎng)圖像，通過圖像拼接形成一個(gè)完整的大視場(chǎng)圖像。復(fù)眼成像探測(cè)結(jié)構(gòu)的信號(hào)處理流程框圖如下圖所示。

圖2 信號(hào)處理基本框圖

這里主要對(duì)圖像拼接進(jìn)行研究，假設(shè)圖像采集及預(yù)處理都已完成，本文研究的內(nèi)容包括圖像特征點(diǎn)提取、特征點(diǎn)匹配和圖像融合。

2 圖像特征點(diǎn)提取

C.Harris等提出的Harris算子[13]可以獲得具有旋轉(zhuǎn)、平移不變性的特征點(diǎn)，但不具備尺度不變性。SIFT特征在圖像的平移、旋轉(zhuǎn)、縮放和亮度變化方面具有良好的不變性，對(duì)于仿射變換和噪聲干擾方面也有一定的穩(wěn)定性，因此這里采用SIFT算法[14-15]對(duì)圖像特征點(diǎn)進(jìn)行提取。

SIFT算法的核心理論是尺度空間理論，尺度變換的唯一線性變換核為高斯卷積核。

二維高斯函數(shù)定義為：

式中，σ代表高斯正態(tài)分布的方差，那么一幅二維圖像的尺度空間可定義為：

其中“*”代表卷積運(yùn)算，I（x，y）代表圖像像素點(diǎn)的灰度值，σ代表尺度空間因子，L（x，y，σ）代表尺度空間像素點(diǎn)。

SIFT算法由尺度空間極值點(diǎn)檢測(cè)、關(guān)鍵點(diǎn)精確定位、關(guān)鍵點(diǎn)方向分配、生成特征點(diǎn)描述子4個(gè)主要步驟組成。具體步驟如下：

1）尺度空間極值點(diǎn)檢測(cè)：為了在尺度空間檢出穩(wěn)定的關(guān)鍵點(diǎn)，SIFT算法使用高斯差分尺度空間（DOG scale-space）算子，由不同尺度的高斯差分核與圖像卷積生成：

生成尺度空間后，為了尋找極值點(diǎn)，需要把每一個(gè)采樣點(diǎn)與其周圍的每一個(gè)相鄰點(diǎn)比較。

2）精確定位關(guān)鍵點(diǎn)：為精確定位關(guān)鍵點(diǎn)，通過三維二次函數(shù)進(jìn)行插值，以精確確定關(guān)鍵點(diǎn)的位置和尺度（亞像素精度），增強(qiáng)后續(xù)匹配的穩(wěn)定性、提高抗噪聲性能。

3）關(guān)鍵點(diǎn)方向分配：利用關(guān)鍵點(diǎn)鄰域像素的梯度方向分布特性，為每個(gè)關(guān)鍵點(diǎn)指定方向參數(shù)，這樣，關(guān)鍵點(diǎn)就具備了旋轉(zhuǎn)不變性。梯度的幅值m（x，y）和方向θ（x，y）表達(dá)式為

式中，L（x，y）代表尺度圖像像素點(diǎn)。

4）特征點(diǎn)描述子生成：為確保旋轉(zhuǎn)不變性，首先將坐標(biāo)軸旋轉(zhuǎn)為關(guān)鍵點(diǎn)的方向，然后利用鄰域方向性信息聯(lián)合的思想來構(gòu)造特征描述子，得到特征向量。

3 特征點(diǎn)匹配

當(dāng)SIFT特征向量集生成后，采用歐氏距離對(duì)特征點(diǎn)進(jìn)行匹配，其原理是當(dāng)待匹配點(diǎn)與其最近鄰及次緊鄰的關(guān)鍵點(diǎn)的距離之比大于預(yù)設(shè)的閾值時(shí)，可認(rèn)為是誤匹配，將其剔除掉，根據(jù)Lowe的實(shí)驗(yàn)[15]，比率值取0.8時(shí)，可以去除90%的誤匹配，但正確匹配也會(huì)丟失5%左右，此值增大時(shí)，誤匹配數(shù)量急劇上升；此值取0.7時(shí)，可以去除96%的誤匹配，而正確匹配則丟失8%左右，此值減少時(shí)，誤匹配數(shù)量降速減緩，正確匹配數(shù)量降速增加。因此，粗匹配時(shí)，比率值可在0.6-0.8之間選擇，以盡可能多地保留正確匹配對(duì)。

接下來采用RANSAC數(shù)據(jù)擬合算法對(duì)粗匹配的特征點(diǎn)進(jìn)行進(jìn)一步的精確匹配。RANSAC算法步驟如下：

1）n個(gè)樣本中隨機(jī)選取p個(gè)樣本 （p為可計(jì)算模型參數(shù)最小值）；

2）根據(jù)p個(gè)樣本計(jì)算臨時(shí)模型M0；

3）計(jì)算未被選擇的n-p個(gè)樣本與M0的距離，并記錄距離小于某設(shè)定閾值的個(gè)數(shù)km。

重復(fù)以上3步，直至停止條件成立，選擇最大km值對(duì)應(yīng)的模型參數(shù)為估算的最優(yōu)模型參數(shù)。

4 圖像融合

4.1 圖像映射插值

在圖像拼接中，圖像拼接是根據(jù)求解出來的幾何變換將輸入圖像變換到參考圖像的坐標(biāo)系下，將輸入圖像的像素值賦值給參考圖像，這個(gè)過程包括圖像映射技術(shù)和圖像插值技術(shù)。

目前常用的圖像插值方法主要有最鄰近插值法、雙線性插值法和雙三次卷積法。這里采用雙線性插值方法，插值函數(shù)如下：

4.2 數(shù)據(jù)融合

在圖像拼接的過程中，由于曝光差異在拼接圖像的邊界處會(huì)形成明顯的縫隙，因此需要進(jìn)行融合處理，對(duì)拼接縫進(jìn)行消除。加權(quán)平均是圖像拼接的常用融合方法，適合實(shí)時(shí)處理。其原理是：設(shè)I1（x，y）和I2（x，y）是待拼接的兩幅圖像，則重疊區(qū)域圖像的像素值I（x，y）可表示為：

其中d為一漸變系數(shù)，當(dāng)d由1慢慢變化到0時(shí)，圖像從I1（x，y）慢慢過渡到了I2（x，y）。

5 實(shí)驗(yàn)結(jié)果與分析

本實(shí)驗(yàn)用Matlab實(shí)現(xiàn)，電腦配置為CPU2.5 GHz，內(nèi)存2 GHz。為盡可能模擬球面復(fù)眼結(jié)構(gòu)模型中的各個(gè)子眼視場(chǎng)，將相機(jī)置于三腳架上，通過旋轉(zhuǎn)普通數(shù)碼相機(jī)得到書柜的9張樣本圖像，如圖3所示。

在仿真過程中，首先利用SIFT算法對(duì)每幅待匹配圖像進(jìn)行特征點(diǎn)提取，然后通過歐氏距離法對(duì)SIFT算法得到的特征點(diǎn)進(jìn)行粗匹配，在此基礎(chǔ)上采用RANSAC算法對(duì)為匹配特征點(diǎn)進(jìn)行剔除。采用歐氏距離法時(shí)，閾值設(shè)為0.8。由于拍攝角度不同，在特征點(diǎn)匹配的基礎(chǔ)上需要對(duì)待匹配圖像進(jìn)行轉(zhuǎn)換，以下仿真圖是以中間一列圖像為參考圖像，以圖3中的中圖和中右圖為例得到的仿真圖，包括對(duì)應(yīng)的匹配點(diǎn)以及進(jìn)行圖像轉(zhuǎn)換后的待匹配圖像，仿真結(jié)果如圖4所示。

圖3 各個(gè)子眼圖像

圖4 特征提取與圖像變換

通過特征點(diǎn)匹配，然后以參考圖像為基準(zhǔn)，對(duì)待匹配圖像估計(jì)變換模型參數(shù)，利用圖像映射和插值技術(shù)，將輸入圖像變換到參考圖像的坐標(biāo)系上以實(shí)現(xiàn)拼接。

這里采用的拼接方案為：對(duì)每一層分別進(jìn)行拼接，然后將三層圖像再次拼接。每層拼接圖像如圖5所示。

圖6為整體拼接結(jié)果。

由圖6可以看出，系統(tǒng)實(shí)現(xiàn)了多通道圖像的拼接。造成圖中拼接縫隙的因素主要有兩個(gè)：1）9張圖像不是同時(shí)拍攝，由于光照的影響，使得在圖6的左上角處出現(xiàn)了較為明顯的拼接縫隙；2）由于多次利用圖像融合算法，對(duì)圖像重疊區(qū)域的估計(jì)誤差隨著拼接次數(shù)的加而增大。

圖5 書柜單層拼接結(jié)果

圖6 書柜圖像融合效果圖

6 結(jié)束語

文中設(shè)計(jì)了一種仿生球面復(fù)眼視覺系統(tǒng)，并采用圖像拼接算法對(duì)子眼圖像序列進(jìn)行拼接得到了全景圖，有效地實(shí)現(xiàn)復(fù)眼系統(tǒng)多通道圖像的大視場(chǎng)無死區(qū)拼接。此算法具有如下特點(diǎn)：采用SIFT算法獲取具有旋轉(zhuǎn)和尺度不變性的特征點(diǎn)；利用RANSAC算法對(duì)特征點(diǎn)進(jìn)行精確匹配；采用加權(quán)融合算法消除圖像拼接痕跡。該算法可以應(yīng)用于任意一個(gè)曲面列陣化排布的復(fù)眼結(jié)構(gòu)，實(shí)現(xiàn)其多通道圖像的拼接，具有較好的應(yīng)用價(jià)值。

[1]徐琰，顏樹華，周春雷，等．昆蟲復(fù)眼的仿生研究進(jìn)展[J].光學(xué)技術(shù)，2006，32（S）：10-12.

[2]冷雪，那杰.昆蟲復(fù)眼的結(jié)構(gòu)和功能[J].沈陽師范大學(xué)學(xué)報(bào)：自然科學(xué)版，2009，27（2）：241-244.

[3]金偉其，林青，裘溯，等.多孔徑仿生復(fù)眼成像系統(tǒng)技術(shù)進(jìn)展綜述 [J].光學(xué)與光電技術(shù)，2011，6（9）：9-13.

[4]邸思，徐洪奎，杜如虛.人造復(fù)眼成像系統(tǒng)研究的新進(jìn)展[J].光學(xué)與光電技術(shù)，2008，6（4）：93-96.

[5]Nakamura T，Horisaki R，Tanida J.Computational superposition compound eye imaging for extended depth-of-field and field-of-view [J].Optics Express，2012，20（25）:27482-27495.

[6]Duparre J，Radtke D，Tunnermann A.Spherical artificial compound eye capture real images[J].SPIE，2007：6466.

[7]TUDELA R，BRUCKNER A，DUPARRE J，et al．An image restoration approach for artificial compound eyes[J].SPIE，2008（6812）:681200.

[8]曹兆樓，詹珍賢，王克逸.用于運(yùn)動(dòng)目標(biāo)探測(cè)的球面復(fù)眼透鏡結(jié)構(gòu)設(shè)計(jì)[J].紅外與激光工程，2011，40（1）:70-73.

[9]ANEL G R，F(xiàn)RANCISCO J C．Design of artificial apposition compound eye with cylindrical microdoublets[J].Opt Review，2011，18（1）:184-186．

[10]車靜，盧鵬，韓焱，等.仿生復(fù)眼視覺系統(tǒng)中全景圖拼接算法[J].應(yīng)用光學(xué)，2013，34（5）:815-819.

[11]Gumustelcin S，Hall R W，Image registration and mosaicing using a self calibrating camera[J].Proc.ofIEEE Image Processing， IEEE Computer Society，1998：818-822.

[12]歐陽寧，翟紫伶，首照宇，等．基于圖切割的多頻帶融合圖像拼接[J].微電子學(xué)與計(jì)算機(jī)，2013，30（7）：107-110.

[13]Harris C，Stephens M.A combined corner and edge detector [J].Processing of the 4th Alvey Vision Conference，1988:147-151.

[14]Brown M，Lowe D G.Recognising ranoramas[J].IEEE international conference on computer vision 2003:1218-1225.

[15]Lowe D G.Distinctive image features from scaleinvariant keypoints [J].International Journal of Computer Vision，2004，60（2）:91-110.

Image mosaic algorithm on bionic compound eye system

YAN Fei
（China Airborne Missile Academy，Luoyang 471009，China）

Based on the compound eyes of insects，a bionic spherical compound eyes system was designed and an image mosaic algorithm was proposed.First，SIFT（Scale Invariant Feature Transform）was used to extract feature points from the images of sub-eye.Then，feature points were precisely matched by RANSAC（Random Sample Consensus）algorithm.Finally，seamless mosaics of the sub-eye images were completed with weighted smoothing algorithm.The simulation results showed that the algorithm could effectively realize multi-channel images mosaic with large field of view and enlarge the fields of multi-directions.The study could advance the application of the compound eye imaging system.

bionic compound eye；multiple imaging；image mosaic；SIFT；RANSAC

TN215

：A

：1674－6236（2017）05-0175-04

2016-01-21稿件編號(hào)：201601199

集團(tuán)創(chuàng)新基金（2013C01414R）

燕 飛（1984—），女，河南禹州人，碩士，工程師。研究方向：圖像處理。