基于仿生復(fù)眼系統(tǒng)的圖像拼接技術(shù)

燕飛+郭云芝+史立芳+陳建清

摘 要： 針對(duì)傳統(tǒng)單孔徑光學(xué)系統(tǒng)無(wú)法解決大視場(chǎng)與高分辨率之間的矛盾， 設(shè)計(jì)了一套3×3球面仿生復(fù)眼光學(xué)系統(tǒng)。 首先， 研究了子眼系統(tǒng)視場(chǎng)和復(fù)眼系統(tǒng)總視場(chǎng)的數(shù)學(xué)關(guān)系， 進(jìn)而得到子眼排布方式， 在此基礎(chǔ)上形成了視場(chǎng)為±53°×±70°的復(fù)眼光學(xué)系統(tǒng)； 然后， 基于此系統(tǒng)提出一種圖像拼接算法， 采用SIFT（Scale Invariant Feature Transform）算法對(duì)各個(gè)子眼圖像進(jìn)行特征點(diǎn)提取， 利用RANSAC（Random Sample Consensus）算法對(duì)提取出的特征點(diǎn)進(jìn)行精確匹配， 通過(guò)加權(quán)平滑算法實(shí)現(xiàn)多個(gè)子眼圖像的拼接融合， 實(shí)現(xiàn)整個(gè)場(chǎng)景無(wú)盲區(qū)拼接。 3×3仿生復(fù)眼系統(tǒng)樣機(jī)的仿真結(jié)果表明， 設(shè)計(jì)的復(fù)眼系統(tǒng)可以有效地實(shí)現(xiàn)多通道圖像的大視場(chǎng)無(wú)盲區(qū)拼接， 驗(yàn)證了復(fù)眼光學(xué)系統(tǒng)設(shè)計(jì)的正確性以及拼接算法的有效性。 該研究可進(jìn)一步推進(jìn)仿生復(fù)眼成像系統(tǒng)的應(yīng)用。

關(guān)鍵詞： 仿生復(fù)眼； 圖像拼接； SIFT； RANSAC； 變換矩陣； 特征捉取

中圖分類號(hào)： TP391 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1673-5048（2017）06-0049-05[SQ0]

0 引 言

隨著計(jì)算機(jī)技術(shù)的快速發(fā)展， 傳統(tǒng)的單孔徑光學(xué)系統(tǒng)已經(jīng)無(wú)法滿足人們的應(yīng)用需求， 尤其在目標(biāo)定位、 識(shí)別、 跟蹤等領(lǐng)域暴露出越來(lái)越多的問(wèn)題， 例如大視場(chǎng)與高分辨率的矛盾[1-3]。 近年來(lái)， 昆蟲(chóng)復(fù)眼以體積小、 質(zhì)量輕、 視場(chǎng)大、 對(duì)移動(dòng)物體反應(yīng)迅速等顯著特點(diǎn)[4-5]引起了研究人員的關(guān)注， 仿生復(fù)眼理論發(fā)展迅速， 在多個(gè)領(lǐng)域應(yīng)用廣泛。 目前， 國(guó)外已提出多個(gè)基于微透鏡陣列的仿生復(fù)眼成像系統(tǒng)， 例如日本研究小組提出的TOMBO成像系統(tǒng)[6]， 德國(guó)研究小組提出的人造并列復(fù)眼成像系統(tǒng)APCO等。 但這些復(fù)眼成像系統(tǒng)大多采用平面陣列， 喪失了曲面的優(yōu)勢(shì)[7]。 為避免平面復(fù)眼陣列的缺點(diǎn)， 在曲面上模擬昆蟲(chóng)復(fù)眼視覺(jué)系統(tǒng)是一個(gè)可行的選擇。

圖像拼接[8-9]研究的重點(diǎn)是將兩幅或兩幅以上具有一定重疊區(qū)域的圖像進(jìn)行拼接， 得到比單幅圖像更大視場(chǎng)的圖像。 基于特征的拼接方法是一類應(yīng)用廣泛的圖像配準(zhǔn)方法， 重點(diǎn)是要找出不同圖像間的對(duì)應(yīng)特征點(diǎn)對(duì)。 Harris角點(diǎn)算法[10]、 SUSAN角點(diǎn)算法、 SIFT特征提取算法[11]是目前研究較多的算法。 盡管SIFT算法性能最佳[12]， 但在實(shí)際應(yīng)用中發(fā)現(xiàn)SIFT特征匹配的方法存在不足[13]， 不能有效地剔除錯(cuò)誤匹配的點(diǎn)對(duì)。

針對(duì)以上問(wèn)題， 設(shè)計(jì)了一種曲面排布的大視場(chǎng)復(fù)眼結(jié)構(gòu)， 通過(guò)對(duì)子眼系統(tǒng)視場(chǎng)與復(fù)眼系統(tǒng)總視場(chǎng)之間的關(guān)系進(jìn)行分析， 推導(dǎo)各個(gè)參數(shù)之間的數(shù)學(xué)關(guān)系， 在此基礎(chǔ)上搭建3×3球面仿生復(fù)眼光學(xué)系統(tǒng)實(shí)物樣機(jī)。 基于此系統(tǒng)提出了圖像拼接處理算法， 實(shí)現(xiàn)了球面仿生復(fù)眼成像系統(tǒng)的大視場(chǎng)無(wú)盲區(qū)拼接。

1 仿生球面復(fù)眼系統(tǒng)設(shè)計(jì)

1.1 子眼排布方式分析

在本文設(shè)計(jì)中， 每一個(gè)子眼作為一個(gè)獨(dú)立的光學(xué)系統(tǒng)按照一定的數(shù)學(xué)規(guī)律排布在曲面上， 然后對(duì)各個(gè)子眼獲得的圖像進(jìn)行拼接， 從而獲得視場(chǎng)較大的完整圖像。 各個(gè)子眼與光軸的夾角以及子眼的視場(chǎng)角決定了整個(gè)復(fù)眼系統(tǒng)總視場(chǎng)大小。 因此， 確定子眼排布方式需要考慮子眼視場(chǎng)角和復(fù)眼系統(tǒng)總視場(chǎng)角的關(guān)系。

為了便于分析， 以3 個(gè)子眼為例， 考慮其在X方向上視場(chǎng)角的關(guān)系， 如圖1所示。 假設(shè)該系統(tǒng)的總視場(chǎng)角為2θ； 2β1， 2β2， 2β3分別為子眼1， 2， 3在X方向的視場(chǎng)角； α1， α2為相鄰子眼系統(tǒng)的光軸夾角。

在進(jìn)行視場(chǎng)拼接時(shí)， 為保證視場(chǎng)空間無(wú)盲區(qū)， 同時(shí)考慮各個(gè)子眼鏡頭的機(jī)械間隔， 上述參數(shù)應(yīng)滿足下式關(guān)系[14]：

同理， Y方向視場(chǎng)拼接也遵循式（1）。 依據(jù)上述分析， 可確定大孔徑復(fù)眼系統(tǒng)各個(gè)子眼的排布形式， 從而實(shí)現(xiàn)視場(chǎng)空間的無(wú)盲區(qū)全覆蓋。

1.2 球面復(fù)眼系統(tǒng)

依據(jù)上述分析， 設(shè)計(jì)完成一套3×3仿生復(fù)眼光學(xué)系統(tǒng)， 如圖2所示。 球面半徑為60 mm， 單個(gè)子眼視場(chǎng)角為40°。 為實(shí)現(xiàn)相鄰成像通道之間的視場(chǎng)空間無(wú)盲區(qū)覆蓋， 外圍子眼鏡頭的中心視軸與中間子眼鏡頭的視軸夾角如下： 水平方向夾角為44°； 豎直方向夾角為33°； 其余夾角均為55°。

建立單個(gè)成像通道的成像空間， 根據(jù)各個(gè)成像通道之間的位置關(guān)系， 模擬整體復(fù)眼結(jié)構(gòu)的視場(chǎng)空間， 如圖3所示， 可形成±53°×±70°的視場(chǎng)空間無(wú)盲區(qū)覆蓋。

1.3 球面復(fù)眼系統(tǒng)信息處理

復(fù)眼成像探測(cè)結(jié)構(gòu)的信號(hào)處理包括圖像采集、 圖像配準(zhǔn)以及圖像拼接融合。 圖像采集與常規(guī)的單孔徑成像系統(tǒng)相同， 將探測(cè)器輸出的信號(hào)送入計(jì)算機(jī)進(jìn)行處理。 由于復(fù)眼系統(tǒng)為多孔徑系統(tǒng)， 后續(xù)的處理與常規(guī)的單孔徑系統(tǒng)不同， 復(fù)眼中的每個(gè)單眼形成局部視場(chǎng)圖像， 通過(guò)圖像拼接形成一個(gè)完整的大視場(chǎng)圖像。

2 圖像拼接

2.1 特征點(diǎn)提取及匹配

采用SIFT算法進(jìn)行特征點(diǎn)提取， 該算法主要由尺度空間極值點(diǎn)檢測(cè)、 關(guān)鍵點(diǎn)精確定位、 關(guān)鍵點(diǎn)方向分配、 生成特征點(diǎn)描述子四個(gè)步驟組成， 算法具體過(guò)程可參見(jiàn)文獻(xiàn)[11]， 這里不再贅述。

提取特征點(diǎn)后需要對(duì)其進(jìn)行匹配， 歐氏距離法簡(jiǎn)單易實(shí)現(xiàn)， 但準(zhǔn)確率比較低； 目前常用的有M-estimators[15]、 RANSAC等方法， 其中RANSAC應(yīng)用最為廣泛。

圖像中匹配特征點(diǎn)對(duì)存在如下的關(guān)系：

其中： Xi=[xi，yi，1]T， xi， yi為參考圖像特征點(diǎn)的坐標(biāo)值， X′i=[xi′， y′ i，1]T， xi′， y′ i為待匹配圖像特征點(diǎn)的坐標(biāo)值； H為變換矩陣， 可以看出H為3×3矩陣。

理論上變換矩陣的估計(jì)需要4對(duì)匹配點(diǎn)對(duì)， 如果4對(duì)匹配點(diǎn)對(duì)是正確的， 計(jì)算出的變換矩陣和實(shí)際的變換矩陣很接近； 如果包含錯(cuò)誤的匹配點(diǎn)對(duì)， 則得到的變換矩陣和實(shí)際的變換矩陣差異較大， 不利于后續(xù)的拼接。 為得到正確的變換矩陣， 可以采用以下步驟：

（1） 隨機(jī)抽取4對(duì)匹配點(diǎn)對(duì)， 計(jì)算變換矩陣。

（2） 計(jì)算內(nèi)點(diǎn)匹配點(diǎn)與變換點(diǎn)之間的距離之和， 設(shè)置閾值， 結(jié)果大于閾值， 則繼續(xù)； 反之將當(dāng)前點(diǎn)加入到內(nèi)點(diǎn)集合中， 更新變換矩陣。 重復(fù)此步驟直到內(nèi)點(diǎn)個(gè)數(shù)不再增加。

（3） 重復(fù)進(jìn)行前述步驟， 得到合格匹配點(diǎn)對(duì)集合（內(nèi)點(diǎn)個(gè)數(shù)最多的組）。

2.2 圖像融合

圖像融合處理算法的目的是消除在拼接過(guò)程中對(duì)圖像重疊區(qū)域進(jìn)行簡(jiǎn)單疊加而形成的較為明顯的拼接縫。 加權(quán)平均是常用的融合方法， 該方法通過(guò)設(shè)置漸變系數(shù)d， 當(dāng)其由1變化到0時(shí)， 圖像從I1（x，y）慢慢過(guò)渡到I2（x，y）， 數(shù)學(xué)表達(dá)式為

式中， I （x， y）為重疊區(qū)域圖像的像素值。 其關(guān)鍵是重疊區(qū)域的確定以及漸變系數(shù)的設(shè)置。 兩幅圖像重疊區(qū)域的范圍在球面仿生復(fù)眼系統(tǒng)設(shè)計(jì)后已經(jīng)確定； 漸變系數(shù)的設(shè)置可隨著重疊區(qū)域像素點(diǎn)坐標(biāo)值的不同進(jìn)行動(dòng)態(tài)變化， 為簡(jiǎn)單起見(jiàn)， 這里采用如下表達(dá)式：

式中， xend和xstart分別表示重疊區(qū)域x方向的上下邊界。

式（4）僅對(duì)x方向進(jìn)行了平滑融合處理， y方向同理。

3 實(shí)驗(yàn)結(jié)果與分析

制備一套九鏡頭（3×3）的人工復(fù)眼光學(xué)系統(tǒng)： 球面的半徑為60 mm， 子眼視場(chǎng)角為40°。 該結(jié)構(gòu)實(shí)物圖如圖4所示。

利用該結(jié)構(gòu)對(duì)實(shí)驗(yàn)室某區(qū)域進(jìn)行圖像采集， 目標(biāo)與實(shí)驗(yàn)樣機(jī)的距離為5 m， 子眼的9張樣本圖像如圖5所示。

以圖5（h）和圖5（i）為例得到的特征點(diǎn)對(duì)粗匹配和精匹配后的仿真圖如圖6所示。 對(duì)圖像進(jìn)行SIFT特征點(diǎn)提取及匹配后得到88對(duì)匹配點(diǎn)， 剔除誤匹配點(diǎn)后的匹配點(diǎn)對(duì)為76對(duì)。

通過(guò)特征點(diǎn)匹配， 以參考圖像為基準(zhǔn)， 對(duì)待匹配圖像估計(jì)變換矩陣， 將輸入圖像變換到參考圖像的坐標(biāo)系上以實(shí)現(xiàn)拼接。

采用對(duì)每一層分別進(jìn)行拼接， 然后將三層圖像再次拼接的拼接方案。 整體拼接結(jié)果見(jiàn)圖7。

為進(jìn)一步驗(yàn)證該實(shí)驗(yàn)樣機(jī)以及拼接算法的性能， 將樣機(jī)移至室外， 對(duì)整個(gè)實(shí)驗(yàn)樓進(jìn)行圖像采集， 目標(biāo)與實(shí)驗(yàn)樣機(jī)的距離為50 m， 子眼的9張樣本圖像以及拼接圖見(jiàn)圖8。

由圖7和圖8可以看出， 將系統(tǒng)對(duì)不同距離采集到的圖像經(jīng)拼接處理后， 實(shí)現(xiàn)了不同距離視場(chǎng)空間的無(wú)盲區(qū)全覆蓋， 表明子眼系統(tǒng)排布合理， 設(shè)計(jì)的仿生復(fù)眼光學(xué)系統(tǒng)以及采用的圖像拼接算法可行有效。

4 結(jié) 論

本文在傳統(tǒng)單孔徑光學(xué)系統(tǒng)不能解決大視場(chǎng)與高分辨率之間矛盾的情況下， 利用子眼系統(tǒng)視場(chǎng)和復(fù)眼系統(tǒng)總視場(chǎng)的數(shù)學(xué)關(guān)系， 得到子眼排布方式， 在此基礎(chǔ)上設(shè)計(jì)了一套3×3仿生球面復(fù)眼系統(tǒng)， 基于此系統(tǒng)提出一種圖像拼接算法。 仿真結(jié)果表明， 設(shè)計(jì)的復(fù)眼系統(tǒng)實(shí)現(xiàn)了±53°×±70°的視場(chǎng)空間無(wú)盲區(qū)覆蓋， 拼接算法可以有效地實(shí)現(xiàn)多通道圖像的大視場(chǎng)無(wú)盲區(qū)拼接。

參考文獻(xiàn)：

[1] 徐琰， 顏樹(shù)華， 周春雷， 等.昆蟲(chóng)復(fù)眼的仿生研究進(jìn)展[J].光學(xué)技術(shù)， 2006， 32（S1）： 10-12.

Xu Yan， Yan Shuhua， Zhou Chunlei， et al. Advances in Bionic Study on Insects Compound Eyes[J].Optical Technique， 2006， 32（S1）： 10-12.（in Chinese）

[2] Flores A， Wang M R， Yang J J. Achromatic Hybrid Refractive-Diffractive Lens With Extended Depth of Focus[J]. Applied Optics， 2004， 43（30）： 5618-5630.

[3] 邢強(qiáng)， 戴振東， 王浩. 仿復(fù)眼視覺(jué)系統(tǒng)的研究進(jìn)展[J]. 光學(xué)儀器， 2013， 35（3）： 89-94.

Xing Qiang， Dai Zhendong， Wang Hao. Research Progress on Artificial Visual System Inspired by Compound Eyes[J].Optical Instruments， 2013， 35（3）： 89-94.（in Chinese）

[4] 冷雪， 那杰. 昆蟲(chóng)復(fù)眼的結(jié)構(gòu)和功能[J].沈陽(yáng)師范大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2009， 27（2）： 241-244.

Leng Xue， Na Jie. Structure and Function of Insect Compound Eyes [J].Journal of Shenyang Normal University（Natural Science Edition）， 2009， 27（2）： 241-244.（in Chinese）

[5] 邸思， 徐洪奎， 杜如虛. 人造復(fù)眼成像系統(tǒng)研究的新進(jìn)展[J].光學(xué)與光電技術(shù)， 2008， 6（4）： 93-96.

Di Si， Xu Hongkui， Du Ruxu. New Progress of Artificial Compound Eye Imaging Systems [J].Optics & Optoelectronic Technology， 2008， 6（4）： 93-96.（in Chinese）

[6] Horisaki R， Tanida J. Compact Compound-Eye Projector Using Super Resolved Projection [J]. Optics Letters， 2011， 36（2）： 121-123.

[7] Garza-Rivera A， Renero-Carrillo F J.Design of Artificial Apposition Compound Eye with Cylindrical Micro-Doublets[J].Optical Review， 2011， 18（1）： 184-186.

[8] 車靜， 盧鵬， 韓焱， 等. 仿生復(fù)眼視覺(jué)系統(tǒng)中全景圖拼接算法[J].應(yīng)用光學(xué)， 2013， 34（5）： 815-819.

Che Jing， Lu Peng， Han Yan， et al. Panorama Mosaic in Bionic Compound Eye Visual System [J].Journal of Applied Optics， 2013， 34（5）： 815-819.（in Chinese）

[9] Gümüstekin S， Hall R W. Image Registration and Mosaicing Using a Self-Calibrating Camera[C]∥International Conference on Image Processing， Chicago， Illinois， 1998： 818-822.

[10] Pei Soochang， Ding Jianjiun.Improved HarrisAlgorithm for Corner and Edge Detections[C]∥IEEE International Conference on Image Processing， San Antonio， Texas， 2007： Ⅲ-57-Ⅲ-60.

[11] Lowe D G. Distinctive Image Features from Scale-Invariant Keypoints [J]. International Journal of Computer Vision， 2004， 60（2）： 91-110.

[12] Mikolajczyk K， Schmid C. A Performance Evaluation of Local Descriptors[C]∥Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition， Madison， Wisconsin， 2003： Ⅱ-257-Ⅱ-263.

[13] 鄧榮峰， 李熙瑩. 基于SIFT特征匹配的穩(wěn)健圖像拼接算法[J]. 計(jì)算機(jī)應(yīng)用， 2009， 29（S1）： 219-221.

Deng Rongfeng， Li Xiying. Robust Image Mosaic Algorithm Based on SIFT Feature Matching [J]. Journal of Computer Applications， 2009， 29（S1）： 219-221.（in Chinese）

[14] 付躍剛， 趙宇， 劉智穎， 等. 基于視場(chǎng)拼接方法的仿生復(fù)眼光學(xué)系統(tǒng)設(shè)計(jì)[J]. 儀器儀表學(xué)報(bào)， 2015， 36（2）： 422-429.

Fu Yuegang， Zhao Yu， Liu Zhiying， et al. Design of the Bionic Compound Eye Optical System Based on Field Splicing Method [J]. Chinese Journal of Scientific Instrument， 2015， 36（2）： 422-429.（in Chinese）

[15] Chen Jiunhung， Chen Chusong， Chen Yongsheng. Fast Algorithm for Robust Template Matching with M-Estimators[J].IEEE Transactions on Signal Processing， 2003， 51（1）： 230-243.

Research of Image Mosaic Algorithm Based on Bionic Compound Eye System

Yan Fei1， Guo Yunzhi1， Shi Lifang2， Chen Jianqing1

（1. China Airborne Missile Academy， Luoyang 471009， China； 2. Institute of Optics and Electronics， Chinese Academy of Science， Chengdu 610209， China）

Abstract： For solving the contradiction between large field of view and high resolution of traditional single-aperture optical system， a 3×3 bionic spherical compound eyes system is designed. Firstly， the mathematical relationship between the sub-eye field of view and the total field of view of compound system is studied， and the sub-eye distribution is gotten. Based on this， the complete compound optical system with ±53°×±70° field of view is formed. Then， an image mosaic algorithm based on this structure is proposed. SIFT algorithm is used to extract feature points from the images of sub-eye， and feature points are precisely matched by RANSAC algorithm， seamless mosaics of the sub-eye images are completed with weighted smoothing algorithm. The results of the simulation and experiment show that the optical system could effectively realize multi-channel images mosaic with large field of view， which validates the correctness of the optical system and the effectiveness of the mosaic algorithm. This study could further promote the application of compound eye imaging system.

Key words： bionic compound eye； image mosaic； SIFT； RANSAC； transformation matrix； feature extraction