賀 宇，王嶺雪*，蔡 毅,2，周星光，薛 唯，姜 杰，劉福平，李洪兵，陳 驥，羅永芳，李茂忠

(1.北京理工大學(xué) 光電學(xué)院 光電成像技術(shù)與系統(tǒng)教育部重點(diǎn)實驗室，北京市混合現(xiàn)實與新型顯示工程技術(shù)研究中心，北京 100081；2.中國兵器科學(xué)研究院，北京 100089；3.云南北方馳宏光電有限公司，昆明 650217)

折反射周視系統(tǒng)研究進(jìn)展與展望

賀 宇1，王嶺雪1*，蔡 毅1,2，周星光1，薛 唯1，姜 杰3，劉福平3，李洪兵3，陳 驥3，羅永芳3，李茂忠3

(1.北京理工大學(xué) 光電學(xué)院 光電成像技術(shù)與系統(tǒng)教育部重點(diǎn)實驗室，北京市混合現(xiàn)實與新型顯示工程技術(shù)研究中心，北京 100081；2.中國兵器科學(xué)研究院，北京 100089；3.云南北方馳宏光電有限公司，昆明 650217)

折反射周視系統(tǒng)作為近十幾年發(fā)展起來的一種新型周視視覺實現(xiàn)形式，相比相機(jī)旋轉(zhuǎn)掃描、多相機(jī)圖像拼接和魚眼鏡頭大視場成像等常規(guī)方法，在小型化、結(jié)構(gòu)靈活性、成本和實時性方面具有優(yōu)勢。本文綜述了折反射周視系統(tǒng)的成像模型、系統(tǒng)標(biāo)定、畸變校正和全視場清晰成像等基本問題研究狀況，討論了折反射周視系統(tǒng)在紅外成像和立體視覺領(lǐng)域的擴(kuò)展應(yīng)用研究現(xiàn)狀，最后總結(jié)了目前存在的問題，并提出未來折反射周視成像系統(tǒng)將圍繞非單視點(diǎn)成像模型、提高空間分辨力的方法和處理算法實時實現(xiàn)開展研究。

折反射周視系統(tǒng)；畸變校正；紅外成像；周視立體視覺

1 引 言

常規(guī)視覺系統(tǒng)以視場中的一點(diǎn)作為成像中心點(diǎn)，將物空間有限大小的區(qū)域經(jīng)過該中心點(diǎn)投影到成像平面上，對物空間的一個局部成像，獲取的信息量有限。在機(jī)器人導(dǎo)航、預(yù)警監(jiān)視、視頻監(jiān)控、虛擬現(xiàn)實和同步定位與繪圖等圖像視覺領(lǐng)域，為了解決常規(guī)系統(tǒng)視場狹小的問題，能夠獲取360°方位角、大俯仰角的周視系統(tǒng)應(yīng)運(yùn)而生，而且隨著成像器件像元規(guī)模的日益增大，周視系統(tǒng)逐漸獲得更多的關(guān)注。相比常規(guī)視覺系統(tǒng)，周視系統(tǒng)的視場范圍和系統(tǒng)結(jié)構(gòu)均有較大差異。目前周視實現(xiàn)方式主要分為多視圖型和單視圖型兩類。多視圖型的典型代表有旋轉(zhuǎn)掃描周視和多相機(jī)拼接周視。旋轉(zhuǎn)掃描周視圍繞一個固定視點(diǎn)旋轉(zhuǎn)拍攝一系列視場有部分重疊的圖像序列，再對這些圖像序列進(jìn)行圖像拼接，最終得到一幅360°方位視場的周視圖像，優(yōu)點(diǎn)是空間分辨力高，不足是時間分辨力較低，不能完整記錄360°全方位實景空間內(nèi)重要事件的發(fā)生、持續(xù)和結(jié)束整個過程；多相機(jī)拼接周視采用多個相機(jī)對不同方位角的物空間區(qū)域進(jìn)行成像，再通過圖像拼接技術(shù)形成周視圖像，優(yōu)點(diǎn)是空間分辨力高，不足是所獲取的圖像原始數(shù)據(jù)量大，拼接算法較復(fù)雜，存在拼接縫，不同方位角相機(jī)拍攝的圖像之間存在明暗差異，而且對相機(jī)之間的定位要求比較嚴(yán)苛，系統(tǒng)尺寸龐大，成本較高。單視圖型的典型代表包括魚眼鏡頭成像、全景環(huán)形透鏡成像和折反射周視系統(tǒng)。單視圖型周視的特點(diǎn)是只使用一個面陣探測器、通過一幅視圖直接得到周視視場景象，實現(xiàn)凝視型的周視成像，可以完整記錄360°全方位實景空間內(nèi)重要事件的發(fā)生、持續(xù)和結(jié)束。與魚眼鏡頭和全景環(huán)形透鏡成像相比，折反射周視系統(tǒng)的設(shè)計靈活性高，可以設(shè)計滿足單視點(diǎn)結(jié)構(gòu)約束的系統(tǒng)，也可以設(shè)計水平無畸變或柱面無畸變的系統(tǒng)，還可以根據(jù)實際應(yīng)用環(huán)境需要設(shè)計特定的系統(tǒng)結(jié)構(gòu)。另外，魚眼鏡頭對大視場光線的彎折主要發(fā)生在第一面透鏡處，會帶來嚴(yán)重的色散，而折反射周視系統(tǒng)的大視場光線彎折主要發(fā)生在曲面反射鏡處，不會帶來色散，因此反射鏡的使用能有效減少色散的發(fā)生，使系統(tǒng)能以簡單結(jié)構(gòu)實現(xiàn)更大的視場。單視圖型周視的不足是空間分辨力較低、幾何畸變嚴(yán)重。

通過以上分析比較可以發(fā)現(xiàn)，折反射周視系統(tǒng)在系統(tǒng)尺寸、結(jié)構(gòu)復(fù)雜度、成本和實時性上均具有優(yōu)勢，雖然空間分辨力不及多視圖型周視系統(tǒng)，不過目前商業(yè)級的可見光成像器件擁有幾千萬甚至上億的有效像素、紅外探測器也有數(shù)百萬像素，這有助于解決折反射周視系統(tǒng)空間分辨力不足的問題。因此，折反射周視系統(tǒng)在周視視覺領(lǐng)域具有著很大的應(yīng)用潛力，也吸引著越來越多的研究者投入到相關(guān)技術(shù)的研究中。本文將對折反射周視系統(tǒng)相關(guān)技術(shù)目前的發(fā)展進(jìn)程進(jìn)行概述，并根據(jù)作者對折反射周視系統(tǒng)的認(rèn)識提出其在發(fā)展過程中所遇到的問題以及未來可能的發(fā)展趨勢。研究發(fā)展概述主要分為三部分：

(1)折反射周視系統(tǒng)基本問題研究進(jìn)展，主要包括成像模型、系統(tǒng)標(biāo)定、周視成像畸變校正和全視場清晰成像等基本問題。

(2)折反射周視系統(tǒng)光譜域擴(kuò)展的相關(guān)研究進(jìn)展，主要指紅外波段的折反射周視系統(tǒng)，其研究除了包含第一部分中所述的基本問題外，還獨(dú)具紅外成像探測的特色。

(3)折反射周視系統(tǒng)空間維度擴(kuò)展的相關(guān)研究進(jìn)展，即折反射周視立體視覺系統(tǒng)研究。一般的折反射周視系統(tǒng)只能獲得場景的二維圖像，不能得到距離(或深度)信息，折反射周視立體視覺系統(tǒng)是在折反射周視系統(tǒng)基礎(chǔ)上發(fā)展出來的一種周視場景深度估計技術(shù)，也是折反射周視系統(tǒng)研究的一個重要應(yīng)用分支。

2 折反射周視系統(tǒng)基本問題研究進(jìn)展

2.1折反射周視系統(tǒng)成像模型研究

折反射周視系統(tǒng)的成像模型研究可以分為兩種方式，一種是從幾何光學(xué)的角度，利用基本的光線反射和折射進(jìn)行成像模型的數(shù)學(xué)建模，適用于任何形式的折反射周視成像系統(tǒng)。不過模型的表達(dá)形式通常不夠簡潔，不利于系統(tǒng)射影幾何性質(zhì)的研究。另一種方式是以射影幾何的方法進(jìn)行研究，雖然不適用于所有的折反射周視成像系統(tǒng)，但是對于能夠適用的特殊結(jié)構(gòu)，可以像常規(guī)相機(jī)一樣對其射影特性進(jìn)行研究，挖掘更深層次的數(shù)學(xué)特性。

基于幾何光學(xué)的建模方式貫穿了折反射周視成像模型研究的整個過程。折反射周視成像系統(tǒng)最早的構(gòu)思由Rees D W[1]提出，設(shè)想通過雙曲面和透視相機(jī)的結(jié)合來獲得方位角360°范圍的信息。Yamazawa K等人將這種構(gòu)想應(yīng)用于實際的機(jī)器人系統(tǒng)[2]。后來Pegard C[3]和Nayar S K等人[4]分別提出了利用圓錐面鏡和拋物面鏡實現(xiàn)折反射周視成像。除了使用這些常見的曲面面型，通過鏡面面型的特殊設(shè)計，不同光線投影特點(diǎn)的折反射周視成像系統(tǒng)也被設(shè)計出來。Chahl J S等人設(shè)計的系統(tǒng)使得光線入射反射鏡的角度與光線經(jīng)過鏡面反射后入射透視相機(jī)的入射角成線性關(guān)系[5]。Conroy T等人設(shè)計了恒定角分辨力的折反射周視成像系統(tǒng)[6]。Hicks R A等人設(shè)計的反射鏡則保證與像平面平行的物平面能被折反射系統(tǒng)均勻地分辨[7]。類似地， Gachter S設(shè)計了一種物點(diǎn)的垂直位置分布與像平面上極徑的位置分布成線性關(guān)系的系統(tǒng)，這樣能在像平面上保留豎直物體的幾何形貌，不產(chǎn)生畸變[8]。

通過靈活的鏡面和系統(tǒng)結(jié)構(gòu)設(shè)計，折反射系統(tǒng)能滿足多種不同的物像投影需要，也就是探測器上像元坐標(biāo)(進(jìn)一步的是圖像像素坐標(biāo))與入射光線方向的對應(yīng)關(guān)系。這種對應(yīng)關(guān)系也是系統(tǒng)標(biāo)定的對象。標(biāo)定相關(guān)內(nèi)容會在下一節(jié)討論。對于大多數(shù)折反射周視系統(tǒng)，圖像像素坐標(biāo)與入射光線方向的對應(yīng)關(guān)系較為復(fù)雜，但是有一類特殊的鏡面面型，當(dāng)其配合合適的系統(tǒng)架構(gòu)時可以很大程度的降低這種復(fù)雜度。這類折反射周視系統(tǒng)被認(rèn)為具有單視點(diǎn)結(jié)束約束[9-10]。單視點(diǎn)和非單視點(diǎn)也成為目前對各種折反射周視系統(tǒng)的一個主要劃分依據(jù)。下面詳細(xì)介紹這兩類折反射周視系統(tǒng)的特點(diǎn)。

單視點(diǎn)結(jié)構(gòu)約束的折反射周視成像系統(tǒng)通常采用雙曲面鏡和透視鏡頭的組合或者是拋物面鏡和遠(yuǎn)心鏡頭的組合。雖然理論上橢球面鏡和透視鏡頭也可以滿足要求，但是這種組合的視場范圍比較小，所以很少使用。圖1中(a)是雙曲面鏡的周視系統(tǒng)，(b)是拋物面鏡的系統(tǒng)。對于圖1(a)的情況，有兩個數(shù)學(xué)焦點(diǎn)，一個位于鏡面內(nèi)的F1處，一個則在鏡面外的F2處。這兩個數(shù)學(xué)焦點(diǎn)有這樣的光學(xué)性質(zhì)，光線對著其中一個焦點(diǎn)入射，經(jīng)過反射后，從另外一個焦點(diǎn)出射。而這時如果折射光學(xué)組(圖1(a)中以一個理想透鏡表示)的物方節(jié)點(diǎn)(圖1中C點(diǎn)，當(dāng)系統(tǒng)位于空氣中等同物方主點(diǎn))與鏡面外的數(shù)學(xué)焦點(diǎn)F2重合，則該光線會不改變方向穿過C點(diǎn)，投影在探測器上[11]。圖1(b)的情況比較類似，只是拋物面的鏡面外焦點(diǎn)在無限遠(yuǎn)處，因此反射的主光線會平行于光軸出射。并且需要鏡頭為遠(yuǎn)心鏡頭。這種結(jié)構(gòu)雖然由于使用遠(yuǎn)心鏡頭成本更高，但是鏡頭和反射鏡之間的距離可以不受限制。而圖1(a)的鏡頭和反射鏡的距離是嚴(yán)格限制的。常規(guī)成像系統(tǒng)的物像透視投影模型中軸外物點(diǎn)出射光線必須通過透視中心這個點(diǎn)，而對于單視點(diǎn)折反射周視系統(tǒng)則有兩個空間點(diǎn)來共同約束光線。

圖1 單視點(diǎn)結(jié)構(gòu)約束折反射周視系統(tǒng)示意圖 Fig.1 Schematic diagram of single viewpoint structural catadioptric panoramic system

除了單反射鏡型的單視點(diǎn)折反射結(jié)構(gòu)，還出現(xiàn)了一些滿足單視點(diǎn)結(jié)構(gòu)約束的特殊結(jié)構(gòu)。Nagahara H等人研究了能同時滿足等角分辨力和單視點(diǎn)約束的雙反射鏡組合條件[12]。Hicks R A等人則從理論上分析了利用雙反射鏡組合的設(shè)計可以使系統(tǒng)在滿足不同物像投影關(guān)系的同時仍然滿足單視點(diǎn)結(jié)構(gòu)約束[13]。Sturzl W[14]在Chahl J S[5]的模型基礎(chǔ)上做了改進(jìn)，在反射鏡的外側(cè)加上具有折射功能的透明罩，利用折射曲面和反射曲面的組合，在滿足Chahl J S模型的投影特性的同時(光線入射反射鏡的角度與光線經(jīng)過鏡面反射后入射透視相機(jī)的入射角成線性關(guān)系)，還可以滿足單視點(diǎn)的特征，如圖2所示。

圖2 Sturzl W所設(shè)計的折反射系統(tǒng) Fig.2 Sturzl W′s system. (a)optical path; (b)real system

單視點(diǎn)折反射周視系統(tǒng)是非單視點(diǎn)折反射周視系統(tǒng)的特殊情況。單視點(diǎn)系統(tǒng)在不嚴(yán)格滿足其配置要求時就會變成非單視點(diǎn)系統(tǒng)，比如雙曲面鏡和透視鏡頭的組合，如果透鏡光心C偏離了雙曲面外焦點(diǎn)F2，那么系統(tǒng)就變?yōu)榉菃我朁c(diǎn)系統(tǒng)。非單視點(diǎn)可以理解為對于不同入射角的光線有不同的視點(diǎn)，這些視點(diǎn)不會重合到一點(diǎn)，而會形成一個與系統(tǒng)結(jié)構(gòu)有關(guān)的空間分布。Swaminathan R等人詳細(xì)討論了基于圓錐曲面的非單視點(diǎn)系統(tǒng)模型[15-17]，以研究焦散的突變光學(xué)理論作為工具，研究了幾種常見圓錐曲面折反射周視成像系統(tǒng)在非單視點(diǎn)配置下的視點(diǎn)分布情況，如圖3(a)，視點(diǎn)軌跡為入射主光線的包絡(luò)，也就是視點(diǎn)軌跡會與每條主光線相切。視點(diǎn)分布在三維情況下會形成一個視點(diǎn)面，如圖3(b)，柵格曲面為鏡面表面，內(nèi)部為視點(diǎn)面。除了以焦散的方式研究非單視點(diǎn)情況，Yu J Y[18]等人則考慮將反射鏡表面劃分為許多三角區(qū)域，每塊區(qū)域的反射當(dāng)作一般線性相機(jī)(GLC)成像過程[19]。

圖3 非單視點(diǎn)的視點(diǎn)分布 Fig.3 Viewpoints distribution of non-single viewpoint system

圖4 球面統(tǒng)一模型投影示意 Fig.4 Diagram of the unifying catadioptric projection

基于幾何光學(xué)的建模方式雖然適用于任何系統(tǒng)的設(shè)計，但是卻沒有辦法來研究一些典型的計算機(jī)視覺問題，如建立在射影幾何基礎(chǔ)上運(yùn)動結(jié)構(gòu)復(fù)原的問題。Geyer C M針對單視點(diǎn)折反射系統(tǒng)建立了折反射射影幾何理論[20-22]。在折反射射影幾何理論中，不同的單視點(diǎn)折反射周視系統(tǒng)的投影過程被球面統(tǒng)一模型表示。投影過程被分為兩步，如圖4所示：第一步，以球心視點(diǎn)為投影中心將場景點(diǎn)投影到單位球球面；第二步，將球心與北極點(diǎn)連線中的一點(diǎn)設(shè)為新的投影中心，該投影中心的位置與折反射系統(tǒng)鏡面的離心率e有關(guān)，兩者的變化關(guān)系見圖5。通過這個投影中心將第一步中球面上的點(diǎn)二次投影到像平面上。折反射射影幾何理論對符合單視點(diǎn)的折反射周視系統(tǒng)建立了如同傳統(tǒng)透視成像系統(tǒng)一樣的射影幾何理論，可以討論諸如內(nèi)參數(shù)矩陣、對極幾何、基本矩陣等計算機(jī)視覺中的基本問題。

圖5 投影中心位置與離心率關(guān)系 Fig.5 Relationship between the position of projection center and the eccentricity

2.2折反射周視系統(tǒng)標(biāo)定研究

系統(tǒng)標(biāo)定的意義在于，一是獲得圖像像素坐標(biāo)與入射光線方向的映射關(guān)系，二是修正系統(tǒng)搭建時引入的誤差。標(biāo)定可以得到系統(tǒng)的內(nèi)參數(shù)和外參數(shù)，其中內(nèi)參數(shù)描述的是相機(jī)坐標(biāo)系下的物像投影關(guān)系。外參數(shù)則描述了相機(jī)在特定參考坐標(biāo)系下的位置和方向。標(biāo)定是成像系統(tǒng)視覺應(yīng)用的前提，折反射周視系統(tǒng)的標(biāo)定方法在近十幾年受到了廣泛的關(guān)注，這些眾多的標(biāo)定方法可以大致被歸為四類：(1)基于空間點(diǎn)投影的標(biāo)定；(2)基于空間線投影的標(biāo)定；(3)基于二維圖樣的標(biāo)定；(4)自標(biāo)定。

基于空間點(diǎn)投影的標(biāo)定需要知道空間點(diǎn)的位置，結(jié)合圖像上的投影位置估計出標(biāo)定參數(shù)。Aliaga D G[23]提出了針對拋物面鏡和遠(yuǎn)心鏡頭系統(tǒng)的空間點(diǎn)標(biāo)定方法，可以同時估計內(nèi)參數(shù)和外參數(shù)。Puig L等人[24]建議用6×10的直接線性變換矩陣來聯(lián)系空間點(diǎn)和圖像上的投影點(diǎn)。采取非線性優(yōu)化方法對矩陣求解，所獲得的結(jié)果可以分解出內(nèi)參數(shù)和外參數(shù)。由于該結(jié)論是在球面統(tǒng)一模型下得到的[22]，所以可以應(yīng)用于所用單視點(diǎn)結(jié)構(gòu)。Thirthala S等人[25]提出一種徑向多焦距張量方法來標(biāo)定折反射系統(tǒng)。當(dāng)使用四階張量時，可以對場景進(jìn)行度量重構(gòu)并去除圖像畸變。Wu Y H等人[26]針對單視點(diǎn)折反射系統(tǒng)提出了在不提前消除畸變情況下的場景點(diǎn)和圖像點(diǎn)間的投影幾何不變特性。這些不變特性與系統(tǒng)主點(diǎn)有關(guān)，因此可以用來標(biāo)定系統(tǒng)的主點(diǎn)位置。

基于線投影的標(biāo)定方法是研究最廣泛的一類標(biāo)定方法。Geyer C等人[27]首先提出利用空間三條直線的投影恢復(fù)拋物面鏡系統(tǒng)內(nèi)參數(shù)的方法。Vandeportaele B等人[28]在Geyer C等人的研究基礎(chǔ)上做了改進(jìn)，利用幾何距離替代代數(shù)距離計算標(biāo)定參數(shù)。Vasseur P等人[29]利用空間直線的投影實現(xiàn)任何單視點(diǎn)折反射系統(tǒng)的內(nèi)參數(shù)估計。Caglioti V等人[30]提出了一種離軸折反射系統(tǒng)標(biāo)定方法，不同于標(biāo)準(zhǔn)的折反射周視系統(tǒng)，離軸系統(tǒng)中透視相機(jī)幾乎可以放在任意位置，標(biāo)定時只需要獲取一條空間直線的投影像和反射鏡的表面輪廓即可進(jìn)行計算。中國科學(xué)院自動化所Ying X H等人[31]在球面統(tǒng)一模型中研究空間線和球體的投影特性，發(fā)現(xiàn)一條空間直線的投影可以提供3個不變量，而一個空間球的投影可以提供兩個不變量。利用兩條直線或3個球體的投影就能完成折反射周視系統(tǒng)的標(biāo)定。Wu Y H等人[32]對內(nèi)參數(shù)建立了線性約束，這樣不需要先驗的物體結(jié)構(gòu)信息，也不需要像面上圓錐曲線擬合，就能實現(xiàn)對拋物面鏡和遠(yuǎn)心鏡頭系統(tǒng)的標(biāo)定。北京大學(xué)機(jī)器感知國家實驗室Ying X H等人[33]認(rèn)為所有空間直線的投影會屬于一個圓錐曲線簇，而這個簇會與特定的內(nèi)參數(shù)相聯(lián)系，他們使用霍夫變換來提取直線的投影，并確保所有的投影屬于一個圓錐曲線簇，這樣能得到特定的內(nèi)參數(shù)。另外，Ying X H等人[34]發(fā)現(xiàn)在單視點(diǎn)折反射系統(tǒng)的像面上會存在一個虛二次曲線，將其稱作MIAC，意思是修正的絕對二次曲線像。應(yīng)用MIAC可以得到一些新的線和球體射影幾何特性。利用這些新的幾何特性，作者提出了兩種線型標(biāo)定方法。Wu F C等人[35]推導(dǎo)了空間直線在球面統(tǒng)一模型單位球面上的投影和像之間的關(guān)系，并建立了關(guān)于參數(shù)的線性約束，利用這些約束估計任何單視點(diǎn)系統(tǒng)的參數(shù)。

基于二維圖樣的標(biāo)定是利用圖樣中易于提取的特征來進(jìn)行標(biāo)定。Scaramuzza D等人[36]用泰勒級數(shù)來建模投影關(guān)系，泰勒級數(shù)的系數(shù)由兩步的線性最小二乘法解出。Mei C等人[37]同樣使用級數(shù)的方式，但是采用球面統(tǒng)一模型作為投影模型，并且將徑向和切向畸變以參數(shù)的形式考慮進(jìn)標(biāo)定的過程。Gasparini S等人[38]研究了用絕對二次曲線(IAC)估計內(nèi)參數(shù)的方法，首先需要利用網(wǎng)格標(biāo)定板的像計算至少三組單應(yīng)，然后利用計算的單應(yīng)關(guān)系計算絕對二次曲線(IAC)的投影像，而內(nèi)參數(shù)則可以從中提取出來。中科院自動化所Deng X M等人[39]利用折反射投影像的邊界橢圓和視場來獲得內(nèi)參數(shù)，然后利用單視點(diǎn)模型和針孔成像模型來估計外參數(shù)。

自標(biāo)定需要利用多視圖中的特征點(diǎn)對應(yīng)來估計標(biāo)定參數(shù)，也就是通常需要折反射系統(tǒng)進(jìn)行不同形式的運(yùn)動來獲取多幅標(biāo)定圖。Kang S B[40]使折反射系統(tǒng)整體在場景中運(yùn)動，然后利用成對追跡點(diǎn)特征在序列圖中的一致性對系統(tǒng)進(jìn)行標(biāo)定。Ramalingam S等人[41]在系統(tǒng)特定運(yùn)動下進(jìn)行標(biāo)定，其中系統(tǒng)只能做平移和旋轉(zhuǎn)運(yùn)動，結(jié)合圖像匹配關(guān)系，獲得對投影光線的幾何約束，借助幾何約束完成系統(tǒng)標(biāo)定。Espuny F等人[42]提出了一種基于系統(tǒng)密集旋轉(zhuǎn)的自標(biāo)定方法，密集旋轉(zhuǎn)需要分別繞兩個線性無關(guān)的軸來進(jìn)行，并且兩個軸都需要穿過相機(jī)中心。

2.3折反射周視系統(tǒng)畸變校正研究

折反射周視系統(tǒng)一般是將360°方位角、大俯仰角的景物投影到矩形(或方形)面陣探測器的內(nèi)切圓上，形成圓形的圖像，幾何畸變嚴(yán)重，如圖6所示，圖像中的人、看臺等物體已經(jīng)發(fā)生了明顯的幾何畸變。目前很多成熟的圖像處理方法和計算機(jī)視覺方法都是基于傳統(tǒng)的透視投影模型開發(fā)的，并不適用于具有嚴(yán)重畸變的折反射周視成像系統(tǒng)。為了解決這個問題，折反射周視系統(tǒng)的畸變校正就顯得非常重要。

圖6 折反射周視系統(tǒng)投影圖 Fig.6 Projection of a catadioptric panoramic system

Gaspar J等人[43]建立了地平面和像面極徑距離的映射查找表來校正圖像畸變，不過這種校正只局限于地平面，不適用一般物體場景。J.Maybank S等人[44]針對空間線投影的畸變特點(diǎn)，提出在拋物面鏡和遠(yuǎn)心鏡頭系統(tǒng)中使用Fisher-Rao公理對畸變進(jìn)行校正。Tang Y Z等人[45]基于先驗的系統(tǒng)特點(diǎn)和折反射投影特性提出一種參數(shù)化的鄰域映射模型，該模型能實現(xiàn)目標(biāo)圖像鄰域范圍內(nèi)自適應(yīng)的畸變校正。四川大學(xué)曾吉勇等人[46]在針孔成像模型的基礎(chǔ)上進(jìn)行修正，建立了具有二級徑向畸變的相機(jī)模型，并由此設(shè)計合適的鏡面面型，以消除系統(tǒng)對水平場景的畸變。浙江大學(xué)肖瀟等人[47]為了消除徑向和切向的畸變，采用球面透視投影模型進(jìn)行校正，通過在周視圖像上選取采樣點(diǎn)，對這些點(diǎn)采用遺傳算法和初始變形校正參量將其映射為球面點(diǎn)，在該過程中求出變形校正參量，使用變形校正參量對整個像面進(jìn)行校正。Wu Y H等人[26,48]利用二維或三維的空間點(diǎn)與它們具有徑向畸變的圖像點(diǎn)建立了精確的幾何不變量，基于不變量進(jìn)一步設(shè)計了特征向量來評價成像系統(tǒng)，并計算切向畸變量。

2.4折反射周視系統(tǒng)全視場清晰成像研究

折反射周視成像系統(tǒng)由于通常用現(xiàn)有的透視相機(jī)與單獨(dú)設(shè)計加工的曲面反射鏡搭建組成，并沒有作為一個光學(xué)系統(tǒng)整體進(jìn)行優(yōu)化，所以一般會存在由曲面反射鏡帶來的嚴(yán)重場曲，表現(xiàn)在周視圖像上就是只有一定寬度的環(huán)帶能清晰成像，而其它部分是模糊的，這意味著折反射周視系統(tǒng)不能對需要的整個俯仰視場清晰成像。這個問題可以通過提高透視相機(jī)的F/#數(shù)值來改善，但是會帶來噪聲增加、曝光時間增加等問題。

全視場清晰成像的問題首先被Baker S和Nayar S K發(fā)現(xiàn)并討論[10]，他們建議在系統(tǒng)中加入特定的透鏡以補(bǔ)償場曲帶來的影響，但是這需要光學(xué)設(shè)計軟件進(jìn)行精確的模擬，也就是說需要將反射鏡和透鏡作為整體進(jìn)行設(shè)計。由于一直沒有合適的數(shù)學(xué)模型來討論清晰成像問題，這方面的研究很長時間都沒有很大進(jìn)展。2007年，Swaminathan R[49]提出用焦散理論研究反射，又開始討論折反射周視成像系統(tǒng)的清晰成像問題。Swaminathan R利用焦散理論求得場景經(jīng)反射鏡面壓縮后的虛像，將其重心設(shè)置為相機(jī)對焦點(diǎn)來改善成像清晰度，但是沒有評價這種方法對全視場成像清晰度的改善程度，對焦位置的設(shè)定與系統(tǒng)其它結(jié)構(gòu)參數(shù)如視場大小的關(guān)系也沒有說明。另外，Swaminathan R認(rèn)為單視點(diǎn)結(jié)構(gòu)約束導(dǎo)致了成像的清晰范圍有限，所以只討論非單視點(diǎn)結(jié)構(gòu)。香港城市大學(xué)Li W M等人[50]也進(jìn)行了類似分析，給出了解析結(jié)果。另外，他們還提出利用不同對焦位置拍攝的多張圖片拼接出一幅全視場清晰圈餅圖像的方法[51]。國防科技大學(xué)李永樂等人[52]理論分析了折反射成像散焦模糊的原因，建立了周視圖像點(diǎn)擴(kuò)展函數(shù)與實景空間物點(diǎn)及成像系統(tǒng)虛像位置的關(guān)系，在一次曝光時間內(nèi)勻速旋轉(zhuǎn)鏡頭對焦環(huán)，通過積累曝光使周視圖像散焦模糊核具有空間不變性，利用反卷積算法對散焦模糊周視圖進(jìn)行全局復(fù)原，得到全視場清晰的周視圖像。國防科技大學(xué)Liu Y等人[53]和解放軍軍事交通學(xué)院Li Y L等人[54]分別研究了折反射系統(tǒng)編碼光闌去模糊方法，用編碼光闌替換原系統(tǒng)的光闌，對所成的圖像進(jìn)行去卷積處理還原出清晰的圖像。另外，Liu Y等人[55]還提出修改全變分離焦模糊復(fù)原算法的全變分正則項，使其能更好的應(yīng)用于大畸變的周視圖像。北京理工大學(xué)王嶺雪課題組也對全視場清晰成像問題進(jìn)行了研究[11]，研究目的是在特定的視場范圍和單視點(diǎn)結(jié)構(gòu)約束要求下，設(shè)計合理的系統(tǒng)參數(shù)配置使得系統(tǒng)所成像能全視場清晰。利用焦散理論獲得景物經(jīng)過鏡面壓縮后的虛物點(diǎn)深度位置，將系統(tǒng)的成像過程視為兩個步驟：第一步，鏡面將實際場景壓縮到虛物空間；第二步，透鏡組再對虛物空間成像。虛物空間的前后深度只要含在系統(tǒng)折射光學(xué)組所能提供的景深內(nèi)，則可以實現(xiàn)全視場的清晰成像。同時，還研究推導(dǎo)了滿足全視場清晰條件的系統(tǒng)參數(shù)的解析表達(dá)式。

3 紅外波段的折反射周視系統(tǒng)研究進(jìn)展

紅外成像系統(tǒng)可以在夜間和低能見度條件下實現(xiàn)成像觀察、偵察、監(jiān)視、制導(dǎo)等，作用距離遠(yuǎn)且能穿透薄霧和煙塵，具備在全黑的夜間和低能見度條件下獲取“單向透明”信息優(yōu)勢的能力。隨著紅外探測器技術(shù)的發(fā)展[56]，高靈敏度和大面陣紅外探測器不斷涌現(xiàn)，為紅外波段折反射周視系統(tǒng)的發(fā)展提供了條件。折反射周視紅外成像系統(tǒng)的研究起步較晚，從2005年Applied Science Innovations公司的ViperView折反射周視紅外成像儀才開始有公開報道。目前折反射周視紅外成像系統(tǒng)主要應(yīng)用于全景成像探測與跟蹤、周邊態(tài)勢感知等領(lǐng)域。

紅外波段的折反射周視系統(tǒng)在空間分辨力、視場范圍、系統(tǒng)設(shè)計復(fù)雜度、系統(tǒng)標(biāo)定和系統(tǒng)性能指標(biāo)體系及其測試方法等方面與可見光波段的均有較大差異，下面分別進(jìn)行說明。

空間分辨力方面，折反射周視紅外成像系統(tǒng)要遜于可見光系統(tǒng)，原因有二：一是由于探測器材料和器件工藝的原因，紅外探測器像元規(guī)模比可見光成像器件像元規(guī)模至少少一個數(shù)量級；二是紅外輻射的波長比可見光的長，紅外成像系統(tǒng)的愛里斑要大于可見光的，所以從衍射極限的角度來看長的波長已經(jīng)限制了紅外系統(tǒng)的空間分辨力。

視場范圍方面，如圖1所示的系統(tǒng)架構(gòu)，最大俯角入射的光線將投影到探測器的邊緣，最大仰角入射的光線則投影到探測器中央?yún)^(qū)域，由于紅外探測器像元規(guī)模較小，所以探測器中央?yún)^(qū)域的空間分辨力較差，因此，折反射紅外周視系統(tǒng)的最大仰角一般不超過50°。另外，對于晝夜使用的折反射紅外周視系統(tǒng)，仰角不能過大的一個重要原因是為了避免太陽長時間直射引起的圖像飽和甚至器件損壞。

系統(tǒng)設(shè)計復(fù)雜度方面，紅外波段折反射周視成像系統(tǒng)的設(shè)計復(fù)雜度遠(yuǎn)高于可見光，原因在于：(1)紅外探測器的靈敏度比可見光成像器件的低得多，所以要在光學(xué)和電學(xué)層面考慮減少能量的損耗，尤其是設(shè)計折反射周視紅外鏡頭時首先需要選擇紅外透過率高的材料，二是盡量減少透鏡數(shù)量，而這會加大消除場曲等像差的難度，另外，可選擇的紅外光學(xué)材料比可見光的要少，同樣也會增加光學(xué)設(shè)計的難度；(2)曲面反射鏡會帶來嚴(yán)重畸變，減少透鏡數(shù)量就意味著需要使用較多的非球面透鏡來校正畸變和場曲；(3)對于制冷紅外焦平面探測器，由于冷光闌的存在以及光學(xué)系統(tǒng)光闌后移的問題，系統(tǒng)設(shè)計難度又進(jìn)一步提升。一方面，制冷紅外焦平面探測器封裝在真空杜瓦內(nèi)，為防止光學(xué)系統(tǒng)的輻射直接投影、或經(jīng)杜瓦內(nèi)壁反射后投影到探測器上形成“鬼像”，通常在探測器前面設(shè)置冷屏和冷濾光片。如果光學(xué)系統(tǒng)F/#大于冷屏F/#，寄生輻射(紅外成像系統(tǒng)本身的熱輻射)會到達(dá)探測器，激發(fā)光生載流子，使散粒噪聲增加、動態(tài)范圍和靈敏度降低，而光學(xué)系統(tǒng)F/#小于冷屏F/#時則會截止部分有用信號，所以通常將光學(xué)系統(tǒng)F/#設(shè)計等于冷屏F/#。國際上為簡化與探測器配套的真空器件的工藝復(fù)雜度，制冷紅外焦平面探測器冷屏F/#一般為2～4，最常用的F/#是2和4。非制冷紅外焦平面探測器通常選擇F/#為1的光學(xué)系統(tǒng)。而在前文中我們已經(jīng)討論過數(shù)值小的F/#會給全視場的清晰成像帶來問題，所以對于紅外的折反射周視系統(tǒng)通常采用整體設(shè)計優(yōu)化的做法，因為無法通過調(diào)節(jié)F/#來減少曲面鏡帶來的場曲影響，只能通過光學(xué)設(shè)計來消除場曲的影響。另一方面，為發(fā)揮制冷紅外焦平面探測器組件冷光闌的效益，將冷光闌作為紅外全景鏡頭的孔徑光闌，這樣孔徑光闌就固定在整個鏡頭的后部，需要設(shè)計專門的透鏡將鏡頭的主平面后移，并且補(bǔ)償由于引入的像差。

系統(tǒng)標(biāo)定方面，光學(xué)鏡頭加工誤差和實際裝調(diào)誤差等會造成系統(tǒng)實際參數(shù)值偏離設(shè)計值，以主點(diǎn)位置為例，實際的主點(diǎn)位置通常不會位于圖像正中央，往往會偏離幾個像素，因此需要對系統(tǒng)進(jìn)行標(biāo)定。目前折反射周視成像系統(tǒng)的標(biāo)定主要針對可見光波段，尚未見到關(guān)于紅外波段系統(tǒng)標(biāo)定的公開報道。折反射周視紅外系統(tǒng)標(biāo)定不能直接使用可見光波段的標(biāo)定靶標(biāo)，而是要制作由具有紅外輻射強(qiáng)度差異且存在一定物理距離的網(wǎng)絡(luò)點(diǎn)構(gòu)成的紅外靶標(biāo)，其次在實際標(biāo)定時，應(yīng)將不同旋轉(zhuǎn)角度的紅外靶標(biāo)放置在相對于系統(tǒng)不同距離、俯仰角和方位角的位置進(jìn)行拍攝，以采集足夠多的數(shù)據(jù)計算出主點(diǎn)位置、鏡頭焦距、傾斜因子、畸變系數(shù)等參數(shù)。

系統(tǒng)性能指標(biāo)體系及其測試方法方面，由于曲面反射鏡引入的非線性導(dǎo)致空間分辨力和靈敏度的非線性，所以不能完全沿用常規(guī)的紅外成像系統(tǒng)性能指標(biāo)體系，需要根據(jù)折反射系統(tǒng)的投影成像特點(diǎn)修改空間分辨力和靈敏度的定義。

折反射周視紅外系統(tǒng)的空間分辨力分為俯仰角分辨力和方位角分辨力，如圖7所示，其中圖7(a)為視場的方位角方向，在像面上對應(yīng)圓環(huán)的切向方向；圖7(b)為視場的俯仰角方向，在像面上對應(yīng)圓環(huán)的徑向方向。

圖7 (a)方位角視場和投影；(b)俯仰角視場和投影 Fig.7 (a)Azimuth FOV and projection. (b)Vertical FOV and projection

折反射紅外系統(tǒng)的靈敏度指標(biāo)主要有NETD、MRTD和作用距離。這些指標(biāo)的定義與常規(guī)紅外系統(tǒng)最大的區(qū)別在于其均與視場角相關(guān)，具體來說，與視場俯仰角相關(guān)。在進(jìn)行靈敏度測試時，需要將整個俯仰角范圍的視場進(jìn)行分段測試。圖8展示了一種測試方案，對于俯仰角每隔10°進(jìn)行一個分段，每段視場投影在像平面的不同環(huán)帶上。在NETD和MRTD測試時，將靶標(biāo)分別置于這些不同的視場下進(jìn)行測量。折反射周視紅外系統(tǒng)的作用距離與俯仰角分辨力和方位角分辨力的乘積有關(guān)，不過對于特定系統(tǒng)，當(dāng)俯仰角一定時，這個乘積是確定的，所以也可以對不同俯仰角分段視場分別進(jìn)行測量。

紅外波段折反射周視系統(tǒng)的最大作用是全天時的周視探測、監(jiān)視與目標(biāo)跟蹤。針對折反射周視紅外系統(tǒng)的空間分辨力不高的問題，Willett R M等人討論利用壓縮感知技術(shù)來提高對比度和分辨力[57]。Aburmad S[58]從光學(xué)設(shè)計的角度討論了反射鏡面型對紅外光學(xué)像差校正的影響。Nichols J M等人[59]則從紅外窗口材料的角度研究了影響紅外圖像像質(zhì)的因素，分析了尖晶石作為窗口材料時其厚度的改變對折反射系統(tǒng)NETD的影響，得到的結(jié)論是系統(tǒng)NETD會隨著窗口厚度的增加而線性增加。合適的積分時間和截止波長則可以減少窗口厚度增加所帶來的負(fù)面影響。另外，隨著窗口厚度從0增加到40 mm，最優(yōu)的截止波長從5.5 μm下降到4.7 μm左右。Nichols J M等人[60]對折反射周視紅外成像系統(tǒng)的調(diào)制傳遞函數(shù)MTF和噪聲等效溫差NETD進(jìn)行了數(shù)學(xué)建模，并將預(yù)測值與實際測量結(jié)果進(jìn)行對照，取得了基本一致的效果。Furxhi O等人[61]建模分析了紅外周視系統(tǒng)的空間分辨力，并在TTP準(zhǔn)則的基礎(chǔ)上建立了拋物面折反射系統(tǒng)的成像探測距離模型。另外還討論了探測器列陣的像元利用率。Tang Y Z等人[62-65]研究了存在嚴(yán)重幾何畸變的折反射周視紅外成像系統(tǒng)探測跟蹤人形目標(biāo)的方法，提出一種旋轉(zhuǎn)自適應(yīng)模型，以同心環(huán)和輻射線分割的小單元來進(jìn)行局域的特征計算，其中輪廓特征可以有3種編碼方式：直接梯度值編碼、Haar小波變換編碼以及結(jié)合輪廓梯度值和輪廓方向的編碼。采用支持向量機(jī)進(jìn)行特征分類、粒子濾波計算人形目標(biāo)的跟蹤。除了旋轉(zhuǎn)自適應(yīng)模型，還提出了旋轉(zhuǎn)運(yùn)動學(xué)模型，有效表示畸變的視覺信息，利于多運(yùn)動目標(biāo)的跟蹤，并適用于短暫的目標(biāo)遮擋。

目前，國際上已經(jīng)有一些公司推出了折反射周視紅外成像產(chǎn)品，如IRCAMERAS公司的IRC 360 Single FPA, REMOTEREALITY的STRIX360[66]和 Lockheed Martin的中波紅外周視系統(tǒng)[67]，圖9是外觀圖，表1對這3套系統(tǒng)的參數(shù)進(jìn)行了對比。

圖9 (a)IRC 360 Single FPA，(b)STRIX360, (c)Lockheed Martin的中波紅外周視系統(tǒng) Fig.9 (a)IRC 360 Single FPA; (b)STRIX360; (c)Middle wave infrared panoramic system of Lockheed Martin

IRC360STRIX360LockheedMartin系統(tǒng)光譜范圍長波3.25～5.1μm3.4～4.9μm視場角范圍方位360°,俯仰-58°～10°方位360°,俯仰-10°～30°方位360°,俯仰-10°～50°探測器768×1024,VOx,17μm×17μm2040×2040,InSb,15μm×15μm640×512,InSb,20μm×20μm幀率/Hz3030120

近年來，北京理工大學(xué)王嶺雪課題組一直從事紅外波段折反射周視系統(tǒng)的模型和應(yīng)用研究。研究了單視點(diǎn)結(jié)構(gòu)約束下的紅外折反射周視系統(tǒng)的參數(shù)設(shè)計、空間分辨力以及系統(tǒng)采用雙曲面反射鏡時的作用距離公式[11,68]。針對常見圓錐曲面反射鏡折反射周視系統(tǒng)存在的不同俯仰角下作用距離差異大的問題，提出了以俯仰角分辨力和方位角分辨力的幾何平均數(shù)為常數(shù)的恒等作用距離條件，并推導(dǎo)了相應(yīng)的系統(tǒng)設(shè)計方法，所設(shè)計的系統(tǒng)可以在不同視場下都具有幾乎一致的作用距離，充分發(fā)揮折反射系統(tǒng)獲取廣域信息的潛力[69]。課題組也已經(jīng)成功研制了制冷和非制冷的紅外波段折反射周視系統(tǒng)。圖10(a)是中波制冷型系統(tǒng)和所成圖像，波段范圍1～5 μm，方位角視場為360°，俯仰視場-3°～+40°，采用512×512鉑硅探測器，像元大小30 μm×30 μm。圖10(b)是長波非制冷型系統(tǒng)(需倒置使用)和所成圖像，波段范圍8～14 μm，方位角視場為360°，俯仰視場為-30°～+5°，采用512×512的氧化釩探測器，像元大小17 μm ×17 μm。

圖10 (a)中波紅外制冷型系統(tǒng)和所成圖像，(b)長波紅外非制冷型系統(tǒng)和所成圖像 Fig.10 (a)Middle wave infrared refrigeration system and the image; (b)Long wave infrared non-refrigeration system and the image

4 折反射周視立體視覺系統(tǒng)研究進(jìn)展

虛擬現(xiàn)實和增強(qiáng)現(xiàn)實等技術(shù)的快速發(fā)展增加了對大視場立體感知和重構(gòu)的需求。常規(guī)的雙目相機(jī)立體視覺雖然比較成熟[70-82]，但是視場非常有限，因此研究者們提出了將具有周視凝視成像特點(diǎn)的折反射周視成像技術(shù)與雙目立體視覺原理相結(jié)合的折反射周視立體視覺技術(shù)，其中雙目立體視覺原理是利用多相機(jī)視點(diǎn)對同一場景成像，通過立體匹配計算視差并利用三角測量原理來獲得場景的深度信息。折反射周視立體視覺技術(shù)可以視為將常規(guī)相機(jī)替換為折反射周視成像系統(tǒng)的雙目立體視覺系統(tǒng)，目的是同時對周視場景進(jìn)行深度估計。

圖11 雙相機(jī)雙鏡面結(jié)構(gòu) Fig.11 Dual cameras with dual mirrors structure

圖12 單相機(jī)雙鏡面結(jié)構(gòu) Fig.12 Single camera with dual mirrors structure

1998年，Gluckman J等人[83]設(shè)計了雙相機(jī)雙鏡面折反射周視立體視覺系統(tǒng)，如圖11所示，該系統(tǒng)由兩個折反射周視成像子系統(tǒng)上下共軸疊加組成，兩個子系統(tǒng)均為單視點(diǎn)系統(tǒng)，可以滿足雙目視覺的要求，而兩單視點(diǎn)之間的直線距離即為基線距離。2002年，Koyasu H S等人[84]將Gluckman J[83]系統(tǒng)中的拋物面反射鏡替換為雙曲面反射鏡，這樣就可以用普通鏡頭代替遠(yuǎn)心鏡頭，明顯降低系統(tǒng)成本。雖然這種雙相機(jī)雙鏡面的結(jié)構(gòu)可以實現(xiàn)周視立體視覺，但由于是兩個折反射周視成像子系統(tǒng)的直接疊加，結(jié)構(gòu)不緊湊，另外，兩個相機(jī)的物理性能差異會給深度信息獲取造成困難。為了解決上述問題，研究人員開始將子系統(tǒng)集成到一起。2004年，Cabral E L L等人[85]提出一種單相機(jī)雙葉鏡面系統(tǒng)，雙葉鏡是一個同軸的鏡面對，可以看做將兩個不同曲率的鏡面組合到了一起，兩個鏡面的中心軸與相機(jī)光軸共線?？臻g同一物點(diǎn)經(jīng)過兩個反射鏡反射后分別成像在以像平面中心向外徑向方向的兩個相接圓環(huán)內(nèi)，相當(dāng)于兩個子系統(tǒng)共用一個相機(jī)，通過合理的幾何設(shè)計使兩者的像面互相不重合，一個投影在內(nèi)環(huán)，一個投影在外環(huán)。但是這種結(jié)構(gòu)的兩個鏡面距離近，使得基線較短，所以深度獲取精度較低，并且這種組合鏡面也不容易加工。2006年開始，單相機(jī)雙鏡面結(jié)構(gòu)的折反射周視立體視覺系統(tǒng)開始被研究人員所青睞，如圖12所示，這種結(jié)構(gòu)的兩個反射鏡上下分離，都與相機(jī)共軸，整體較為緊湊，同時盡量增加了基線長度。Gijeong Jang等人[86]使用兩個相對放置的中部鏤空的雙曲面鏡，并且其中一個曲面鏡的鏤空處裝上平面反射鏡作為另一個曲面反射鏡的二次反射面。中科院沈陽自動化所蘇連成等人[87]則采用兩個雙曲面同向放置的方式，與相機(jī)距離近的鏡面中部鏤空使得經(jīng)另一反射面反射的光線能夠通過并且入射相機(jī)。單相機(jī)雙鏡結(jié)構(gòu)又出現(xiàn)了一些變體結(jié)構(gòu)，2011年，香港城市大學(xué)Li W M[88]提出將兩個反射鏡中靠近相機(jī)的那個鏡面換為魚眼透鏡，有效提高俯仰視場范圍，如圖13所示。另一個典型的變體結(jié)構(gòu)是2012年浙江大學(xué)Huang Z等人[89-90]提出使用兩個PAL結(jié)構(gòu)實現(xiàn)立體視覺的系統(tǒng)，如圖14所示，其中PAL是一種腔體內(nèi)多次反射的結(jié)構(gòu)，起到同曲面反射鏡類似的作用。這種結(jié)構(gòu)將反射過程在一個腔體內(nèi)完成，避免反射鏡外露而容易損壞的問題。

圖13 具有魚眼透鏡的折反射周視立體視覺系統(tǒng) Fig.13 Catadioptric panoramic stereo vision system with a fisheye lens

圖14 PAL結(jié)構(gòu)折反射周視立體視覺系統(tǒng) Fig.14 Catadioptric panoramic stereo vision system with PALs structure

圖15 (a)和(b)是對虛場景兩次對焦拍攝的圖像；(c)是虛場景的深度圖；(d)是周視實場景的深度圖 Fig.15 (a) and (b) are the two-shot images of the virtual scene surfaces;(c)depth maps of the virtual scene; (d)depth maps of the real panoramic scene

基于雙目立體視覺原理的折反射周視立體視覺系統(tǒng)通常結(jié)構(gòu)較為復(fù)雜，而且立體匹配較為困難，北京理工大學(xué)王嶺雪課題組[91]提出一種使用單個折反射周視成像系統(tǒng)(而非專門設(shè)計的立體視覺系統(tǒng))來實現(xiàn)周視場景深度估計的方法，稱為單目折反射周視深度估計方法。這種方法以焦散(caustic)建模曲面鏡的反射過程，建立周視實場景與反射鏡內(nèi)虛場景的位置之間的對應(yīng)關(guān)系。通過對虛場景進(jìn)行遠(yuǎn)、近對焦拍攝，利用兩幅圖像中的相對離焦計算虛場景的位置，然后數(shù)學(xué)建模虛場景位置和周視實場景位置之間的關(guān)系，進(jìn)一步得到周視實場景的深度距離位置信息。圖15展示了這個過程，圖15(a)和15(b)是對鏡面內(nèi)虛場景遠(yuǎn)、近對焦拍攝的兩幅圖像，圖15(c)是計算出的虛場景深度圖，圖15(d)是計算出的周視實場景深度圖。圖15(a)中的數(shù)字表示物體距離系統(tǒng)的遠(yuǎn)近，數(shù)字越小表示距離越近，圖15(d)中的灰度越深表示距離系統(tǒng)越近。這種方法不依賴于雙目視覺原理，可以使用一般的折反射周視成像系統(tǒng)，而且不需要系統(tǒng)滿足單視點(diǎn)結(jié)構(gòu)約束，減少了系統(tǒng)硬件的復(fù)雜性，增加了靈活性。

5 結(jié)束語

折反射周視系統(tǒng)作為一種新型的凝視型周視大視場獲取系統(tǒng)，相比傳統(tǒng)的多相機(jī)拼接周視和魚眼鏡頭周視成像等方式，在系統(tǒng)尺寸、結(jié)構(gòu)復(fù)雜度、成本和實時性上有明顯優(yōu)勢。在視覺導(dǎo)航、監(jiān)測、虛擬現(xiàn)實和同步定位與繪圖等領(lǐng)域具有廣泛的應(yīng)用前景。

折反射周視系統(tǒng)在近十幾年因其重要的應(yīng)用價值，吸引了很多研究者開展了卓有成效的研究。但是，目前這種技術(shù)仍然有一些尚待完善之處，我們根據(jù)已有的認(rèn)識對這些問題進(jìn)行總結(jié)，并對未來可能的發(fā)展方向進(jìn)行預(yù)測：

(1)非單視點(diǎn)折反射周視成像模型亟待深入研究。單視點(diǎn)作為非單視點(diǎn)的一種特殊情況，迄今為止對單視點(diǎn)折反射周視系統(tǒng)的成像模型和標(biāo)定模型等研究較為深入，而非單視點(diǎn)在設(shè)計和配置時將更加靈活，甚至可以定制特定的投影關(guān)系，調(diào)整不同視場的分辨力分布，比如恒定角分辨力、恒定垂直分辨等。另外，目前非單視點(diǎn)成像模型基本上由光線追跡得到，缺乏類似單視點(diǎn)球面統(tǒng)一模型的高效模型，所以阻礙了相應(yīng)的標(biāo)定模型的研究，延緩了將現(xiàn)有計算機(jī)視覺算法移植應(yīng)用到非單視點(diǎn)折反射周視系統(tǒng)中，因此，亟待深入研究非單視點(diǎn)的成像模型，提出高效的成像模型，以拓展折反射周視系統(tǒng)的應(yīng)用。

(2)提高折反射周視系統(tǒng)空間分辨力的方法研究，在新的成像方式或圖像處理方式下獲得更高的空間分辨力，或者是設(shè)計大視場與高分辨力能自由切換的系統(tǒng)，比如是否可以通過相機(jī)的離軸而使相機(jī)只正對鏡面的一個側(cè)面，這樣雖然減小了視場，但提高了角分辨力，再配合光學(xué)系統(tǒng)的少量運(yùn)動實現(xiàn)大視場與高分辨力的轉(zhuǎn)換。

(3)基于折反射周視系統(tǒng)的經(jīng)典計算機(jī)視覺問題的算法研究及其實時實現(xiàn)技術(shù)研究。目前的折反射周視系統(tǒng)相關(guān)研究主要集中在成像模型和系統(tǒng)標(biāo)定上，這只是解決視覺問題的前提，最終是希望利用折反射周視系統(tǒng)大視場的優(yōu)勢解決典型的視覺問題，如Tang Y Z等人[64]所關(guān)注的折反射周視紅外成像系統(tǒng)下人形目標(biāo)的探測和追蹤方法，Caruso D等人[92]提出的使用周視系統(tǒng)實現(xiàn)實時的大視場SLAM，其中大視場SLAM可以克服窄視場SLAM在高速旋轉(zhuǎn)下的重構(gòu)錯誤。

折反射周視立體視覺系統(tǒng)有待解決的問題有：

(1)雙目視覺需要長的基線才能保證深度精度，而這無疑會增加雙目的折反射周視立體視覺系統(tǒng)的長度，這與系統(tǒng)小型化的趨勢相悖。

(2)折反射周視系統(tǒng)的周視圖像從中心沿徑向方向的空間分辨力是不斷變化的，因此空間中某個特征在雙目立體視覺的兩個子系統(tǒng)中對應(yīng)的圖像分辨力不一致，會導(dǎo)致立體匹配的誤差。

(3)目前的雙目折反射立體視覺系統(tǒng)均是將兩個成像子系統(tǒng)的周視圖像投影到同一個探測器上形成兩個同心圓環(huán)，這樣共用探測器的方式會進(jìn)一步降低圖像的分辨力，影響深度估計精度。

[1] US Army. Panoramic television viewing system:America,US,3505465 A[P].1970-04-07.

[2] YAMAZAWA K,YAGI Y,YACHIDA M. Omnidirectional imaging with hyperboloidal projection[C]. 1993 IEEE/RSJ International Conference on Intelligent Robots and Systems,Tokyo,Japan,1993:1029-1034.

[3] PEGARD C,MOUADDIB E M. A mobile robot using a panorama view[C]. IEEE International Conference on Robotics and Automation,IEEE,1996:89-94.

[4] NAYAR S K. Catadioptric omnidirectional camera[C]. IEEE Conference on Computer Vision and Pattern Recognition,IEEE,1997:482-488.

[5] CHAHL J S,SRINIVASAN M V. Reflective surfaces for panoramic imaging[J].AppliedOptics,1997,36(31):8275-8285.

[6] CONROY T,MOORE J T. Resolution invariant surfaces for panoramic vision systems[C]. 7th IEEE International Conference on Computer Vision,IEEE,1999:392.

[7] HICKS R A,BAJCSY R. Reflective surfaces as computational sensors[J].ImageandVisionComputing,1999,19(11):773-777.

[8] GACHTER S. Mirror design for an omnidirectional camera with a uniform cylindrical projection when using the SVAVISCA sensor[R]. Research reports of CMP,OMNIVIEWS Project,Czech Technical University in Prague,2001.

[9] BAKER S,NAYAR S K. A theory of catadioptric image formation[C]. 6th IEEE International Conference on Computer Vision,IEEE,1998:35-42.

[10] BAKER S,NAYAR S K. A theory of single-viewpoint catadioptric image formation[J].Int.J.Comput.Vis.,1999,35(2):175-196.

[11] 賀宇,王嶺雪,周星光,等.單視點(diǎn)紅外折反射全向成像系統(tǒng)參數(shù)設(shè)計[J].光學(xué)學(xué)報,2016,36(1):0111002.

HE Y,WANG L X,ZHOU X G,etal.. Parameters design for single viewpoint infrared omnidirectional view sensors[J].ActaOpticaSinica,2016,36(1):0111002.(in Chinese)

[12] NAGAHARA H,YOSHIDA K,YACHIDA M. An omnidirectional vision sensor with single view and constant resolution[C]. IEEE International Conference on Computer Vision,IEEE,2007:1-8.

[13] HICKS R A,MILLSTONE M,DANIILIDIIS K. Realizing any central projection with a mirror pair[J].AppliedOptics,2006,45(28):7205-7210.

[14] STURZL W,SRINIVASAN M V. Omnidirectional imaging system with constant elevational gain and single viewpoint[C]. 10th Workshop on Omnidirectional Vision,CameraNetworks and Non-classical Cameras,Zaragoa,Spain,2010:1-7.

[15] SWAMINATHAN R,GROSSBERG M D,NAYAR S K. Non-single viewpoint catadioptric cameras: geometry and analysis[J].Int.J.Comput.Vis.,2006,66(3):211-229.

[16] SWAMINATHAN R,GROSSBERG M D,NAYAR S K. Caustics of catadioptric cameras[C]. IEEE International Conference on Computer Vision,IEEE,2001:2-9 .

[17] SWAMINATHAN R,GROSSBERG M D,NAYAR S K. A perspective on distortions[C]. IEEE Computer Vision and Pattern Recognition,IEEE,2003:594-601.

[18] YU J Y,MCMILLAN L. Modelling reflections via multiperspective imaging[J].IEEEComputerVisionandPatternRecognition,2005,1:117-124.

[19] YU J Y,MCMILLAN L. General linear cameras[C]. 8th European. Conf. on Computer vision(ECCV 2004),Prague,Czech,2004:14-27.

[20] GEYER C,DANIILIDIS K. A unifying theory for central panoramic systems and practical applications[C]. 6th European. Conf. on Computer vision(ECCV 2000) ,Antibes,France,2000:445-461.

[21] GEYER C,DANIILIDIS K. Mirrors in motion: Epipolar geometry and motion estimation[J].Int.J.Comput.Vis.,2003,2:766-773.

[22] GEYER C M. Catadioptric projective geometry:theory and applications[D]. Philadelphia:University of Pennsylvania,2003.

[23] ALIAGA D G. Accurate catadioptric calibration for real-time pose estimation in room-size environments[C]. 8th IEEE International Conference on Computer Vision,IEEE,2001:127-134.

[24] PUIG L,BASTANLAR Y,STURM P,etal.. Calibration of central catadioptric cameras using a dlt-like approach[J].Int.J.Comput.Vis.,2011,93(1):101-114.

[25] THIRTHALA S R,POLLEFEYS M. Radial multi-focal tensors[J].Int.J.Comput.Vis.,2012,96(2):195-211.

[26] WU Y H,HU Z Y. Geometric invariants and applications under catadioptric camera model[C]. IEEE International Conference on Computer Vision,IEEE,2005:1547-1554.

[27] GEYER C,DANIILIDIS K. Paracatadioptric camera calibration[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2002,24(5):687-695.

[28] VANDEPORTAELE B,CATTOEN M,MARTHON P,etal. A new linear calibration method for paracatadioptric cameras[C]. 18th IEEE International Conference on Pattern Recognition,IEEE,2006:647-651.

[29] VASSEUR P,MOUADDIB E M. Central catadioptric line detection[C]. In British Machine Vision Conference,London,UK,2004:doi:10.52441C,18.8.

[30] CAGLIOTI V,TADDEI P,BORACCH I ,etal.. Singleimage calibration of off-axis catadioptric cameras using lines[C]. 11th IEEE International Conference on Computer Vision,IEEE,2007:1-6.

[31] YING X H,HU Z Y. Catadioptric camera calibration using geometric invariants[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2004,26(10):1260-1271.

[32] WU Y H,LI Y F,HU Z Y. Easy calibration for para-catadioptric-like camera[C]. IEEE/RSJ International Conference on Intelligent Robots and Systems,IEEE,2006:5719-5724.

[33] YING X H,ZHA H B. Simultaneously calibrating catadioptric camera and detecting line features using hough transform[C]. IEEE/RSJ International Conference on Intelligent Robots and Systems,IEEE,2005:412-417.

[34] YING X H,ZHA H B. Identical projective geometric properties of central catadioptric line images and sphere images with applications to calibration[J].Int.J.Comput.Vis.,2008,78(1):89-105.

[35] WU F C,DUAN F Q,HU Z Y,etal. A new linear algorithm for calibrating central catadioptric cameras[J].PatternRecognition,2008,41(10):3166-3172.

[36] SCARAMUZZA D,MARTINELLI A,SIEGWART R. A flexible technique for accurate omnidirectional camera calibration and structure from motion[C]. IEEE International Conference on Computer Vision Systems,IEEE,2006:45.

[37] MEI C,RIVES P. Single view point omnidirectional camera calibration from planar grids[C]. IEEE International Conference on Robotics and Automation,IEEE,2007:3945-3950.

[38] GASPARINI S,STURM P,BARRETO J P. Plane-based calibration of central catadioptric cameras[C]. 12th IEEE International Conference on Computer Vision,IEEE,2009:1195-1202.

[39] DENG X M,WU F C,WU Y H. An easy calibration method for central catadioptric cameras[J].ActaAutomaticaSinica,2007,33(8):801-808.

[40] KANG S B. Catadioptric self-calibration[C]. IEEE Conference on Computer Vision and Pattern Recognition,IEEE,2000:201-207.

[41] RAMALINGAM S,STURM P,LODHA S K. Generic self-calibration of central cameras[J].ComputerVisionandImageUnderstanding,2010,114(2):210-219.

[42] ESPUNY F,BURGOS GIL J I. Generic self-calibration of central cameras from two rotational ows[J].Int.J.Comput.Vis.,2011,91(2):131-145.

[43] GASPAR J,SANTOS-VICTOR J. Visual path following with a catadioptric panoramic camera[C]. International Symposium on Intelligent Robotic Systems,IEEE,1999:139-147.

[44] J.MAYBANK S,IENG S,BENOSMAN R. A fisher-rao metric for paracatadioptric images of lines[J].Int.J.Comput.Vis.,2012,99(2):147-165.

[45] TANG Y Z,LI Y F,LUO J. Parametric distortion-adaptive neighborhood for omnidirectional camera[J].AppliedOptics,2015,54(23):6969-6978.

[46] 曾吉勇,蘇顯渝.水平場景無畸變折反射周視成像系統(tǒng)透鏡畸變的消除[J].光學(xué)學(xué)報,2004,24(6):730-734.

ZENG J Y,SU X Y. Elimination of the lens distortion in catadioptric omnidirectional distortionless imaging system for horizontal scene[J].ActaOpticaSinica,2004,24(6):730-734.(in Chinese)

[47] 肖瀟,楊國光,白劍.基于球面透視投影約束的周視環(huán)形透鏡畸變校正[J].光學(xué)學(xué)報,2008,28(4):675-680.

XIAO X,YANG G G,BAI J. Panoramic-Annular-Lens distortion correction based on spherical perspective projection constraint[J].ActaOpticaSinica,2008,28(4):675-680.(in Chinese)

[48] WU Y H,HU Z Y,LI Y F. Radial distortion invariants and lens evaluation under a single-optical-axis omnidirectional camera[J].ComputerVisionandImageUnderstanding,2014,126(2):11-27.

[49] SWAMINATHAN R. Focus in catadioptric imaging systems[C]. IEEE 11th International Conference on Computer Vision,IEEE,2007:1-7.

[50] LI W M,LI Y F. An analytical solution to optimal focal distance in catadioptric imaging systems[C]. IEEE International Conference on Robotics and Automation,IEEE,2011:6300-6305.

[51] LI W M,LI Y F. Overall well-focused catadioptric image acquisition with multifocal images:a model-based method[J].IEEETransactionsonImageProcessing,2012,21(8):3697-3706.

[52] 李永樂,張茂軍,婁靜濤,等.去散焦模糊的折反射全向成像系統(tǒng)設(shè)計[J].光學(xué)學(xué)報,2012,32(9):0911001.

LI Y L,ZHANG M J,LOU J T,etal.. Design of catadioptric omnidirectional imaging system for defocus deblurring[J].ActaOpticaSinica,2012,32(9):0911001.(in Chinese)

[53] LIU Y,LI H F,LI Y L,etal. Coded aperture enhanced catadioptric optical system for omnidirectional image deblurring[J].Optik,2014,125(1):11-17.

[54] LI Y L,LOU J T,XU Y C. Defocus deblurring for catadioptric omnidirectional imaging based on coded aperture and omni-total variation[J].AdvancedRobotics,2015,29(16):1-13.

[55] LIU Y,LI Y L,LOU J T,etal.. Omni-total variation algorithm for the restoration of all-focused catadioptric image[J].Optik,2014,125(14):3685-3689.

[56] 白瑜,廖志遠(yuǎn),廖勝,等.共孔徑消熱差紅外雙波段光學(xué)系統(tǒng)[J].光學(xué) 精密工程，2016,24(2):268-277.

BAI Y,LIAO Z Y,LIAO SH,etal.. Infrared dual band a thermal optical system with common aperture[J].Opt.PrecisionEng.,2016,24(2):268-277.(in Chinese)

[57] WILLETT R M,MARCIA R F,NICHOLS J M. Compressed sensing for practical optical imaging systems: a tutorial[J].OpticalEngineering,2011,50(7):072601.

[58] ABURMAD S. Panoramic thermal imaging: challenges and tradeoffs[J].SPIE,2014,9070:90700W.

[59] NICHOLS J M,WATERMAN J R,BAYYA S,etal.. Influence of spinel head window thickness on the performance characteristics of a submarine, panoramic, infrared imaging system[J].SPIE,2011,8012:90122C.

[60] NICHOLS J M,WATERMAN J R,MENON R,etal.. Modeling and analysis of a high-performance midwave infrared panoramic periscope[J].OpticalEngineering,2010,49(11):113202.

[61] FURXHI O,DRIGGERS R G,HOLST G,etal.. Performance analysis of panoramic infrared systems[J].SPIE,2014,9071:907112.

[62] TANG Y Z,LI Y F. Contour coding based rotating adaptive model for human detection and tracking in thermal catadioptric omnidirectional vision[J].AppliedOptics,2012,51(27):6641-6652.

[63] TANG Y Z,LI Y F,BAI T X,etal.. Rotating adaptive Haar wavelet transform for human tracking in thermal omnidirectional vision[C]. IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems,IEEE,2012:324-329.

[64] TANG Y Z,LUO J,LI Y F,etal.. Rotational kinematics model based adaptive particle filter for robust human tracking in thermal omnidirectional vision[J].MathematicalProblemsinEngineering,2015:347497.

[65] TANG Y Z,LI Y F,BAI T X,etal.. A rotating adaptive model for human tracking in thermal catadioptric omnidirectional vision[C]. IEEE International Conference on Robotics and Biomimetics,IEEE,2011:2435-2440.

[66] RemoteReality. Strix360 camera system[EB/OL].[2015-01-11].http://www.remotereality.com.

[67] BJORK C,WAN W. Mid-wave infrared(MWIR) panoramic sensor for various applications[J].SPIE,2010,7660:76600B.

[68] 周星光,賀宇,王嶺雪,等.單視點(diǎn)雙曲面折反射紅外全景成像系統(tǒng)設(shè)計與分析[J].紅外與激光工程,2016,45(9):197-205.

ZHOU X G,HE Y,WANG L X,etal.. Hyperbolicsingle-viewpoint infrared catadioptric panoramic imaging system[J].InfraredandLaserEngineering,2016,45(9):197-205.(in Chinese)

[69] 賀宇,王嶺雪,蔡毅,等.恒等探測距離折反射周視紅外成像系統(tǒng)設(shè)計及分析[J].光學(xué)學(xué)報,2017,37(4):0422002.

HE Y,WANG L X,CAI Y,etal.. Design and analysis for catadioptric omnidirectional view Infrared imaging system with constant detection range[J].ActaOpticaSinica,2017,37(4):0422002.(in Chinese)

[70] SCHARSTEIN D,SZELISKI R. http://vision.middlebury.edu/stereo/eval/[EB/OL].[2016-07-06].

[71] SCHARSTEIN D,SZELISKI R. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms[J].Int.J.Comput.Vis.,2002,47(1):7-42.

[72] HIRSCHMULLER H. Stereo vision in structured environments by consistent semi-global matching[C]. 21rd IEEE Conference on Computer Vision and Pattern Recognition(CVPR),IEEE,2006:2386-2393.

[73] TOMBARI F,MATTOCCIA S,STEFANO L D,etal.. Near real-time stereo based on effective cost aggregation[C]. 22rd IEEE Conference on Computer Vision and Pattern Recognition(CVPR),IEEE,2008:1-4.

[74] MATTOCCIA S,GIARDINO S,GAMBINI A. Accurate and efficient cost aggregation strategy for stereo correspondence based on approximated joint bilateral filtering[C]. Asian Conference on Computer Vision,Queenstown,New Zealand,2010,5995:371-380.

[75] MATTOCCIA S. A locally global approach to stereo correspondence[C]. IEEE International Conference on Computer Vision Workshops,IEEE,2009:1763-1770.

[76] MATTOCCIA S. Improving the accuracy of fast dense stereo correspondence algorithms by enforcing local consistency of disparity fields[C]. 3D Data Processing,Visualization,and Transmission,Paris,Frame,2010:17-20.

[77] MATTOCCIA S. Fast locally consistent dense stereo on multicore[C]. 6th IEEE Embedded Computer Vision Workshop(ECVW2010),CVPR workshop,IEEE,2010:69-76.

[78] MATTOCCIA S. Accurate dense stereo by constraining local consistency on superpixels[C]. 20th International Conference on Pattern Recognition,Istambul,Turkey,2010:1832-1835.

[79] ZHANG C ,LI Z W ,CHENG Y H,etal.. MeshStereo:a global stereo model with mesh alignment regularization for view interpolation[C]. 15th IEEE International Conference on Computer Vision(ICCV),IEEE,2015:2057-2065.

[80] 宋濤,熊文莉,侯培國,等.基于極曲線幾何和支持鄰域的魚眼圖像立體匹配[J].光學(xué) 精密工程,2016,24(8):2050-2058.

SONG T,XIONG W L,HOU P G,etal.. Stereo matching for fish-eye images based on epipolar geometry and support neighborhood[J].Opt.PrecisionEng.,2016,24(8):2050-2058.(in Chinese)

[81] 王曉燕,王世剛,姜秀紅,等.亮度優(yōu)化立體視頻視覺舒適度評價[J].中國光學(xué),2015,8(3):394-400.

WANG X Y,WANG SH G,JIANG X H,etal. Evaluation of stereo video visual comfort based on luminance optimization[J].ChineseOptics,2015,8(3):394-400.(in Chinese)

[82] 高禮圳,劉書桂,韓振華.零件的角點(diǎn)提取及匹配定位[J].中國光學(xué),2016,9(4):397-404.

GAO L ZH,LIU SH G,HAN ZH H. Corner extraction and matching location of parts[J].ChineseOptics,2016,9(4):397-404.(in Chinese)

[83] GLUCKMAN J,NAYAR S K,THORESZ K J. Real-time omnidirectional and panoramic stereo[C]. 1998 DARPA Image Understanding Workshop,California,USA,1998:299-303.

[84] KOYASU H S,MIURA J ,SHIRAI Y. Recognizing moving obstacles for robot navigation using real-time omnidirectional stereo vision[J].J.RoboticsandMechatronics,2002,14(2):147-156.

[85] CABRAL E L L,SOUZA J J C,HUNOLD M C. Omnidirectional stereo vision with a hyperbolic double lobed mirror[C]. 17th International Conference on Pattern Recognition ,IEEE,2004:1-9.

[86] JANG G,KIM S,KWEON I. Single-camera panoramic stereo system with single-viewpoint optics[J].OpticsLetters,2006,31(1):41-43.

[87] SU L C,ZHU F. Design of a novel omnidirectional stereo vision system[J].ActaAutomaticaSinica,2006,32(1):67-72.

[88] LI W M,LI Y F. Single-camera panoramic stereo imaging system with a fisheye lens and aconvex mirror[J].OpticsExpress,2011,19(7):5855-5867.

[89] HUANG Z,BAI J,HOU X Y. Design of panoramic stereo imaging with single optical system[J].OpticsExpress,2012,20(6):6085-6096.

[90] 黃治.單傳感器全景立體環(huán)帶成像光學(xué)系統(tǒng)的研究[D].杭州:浙江大學(xué),2014.

HUANG ZH. Study of panoramic stereo imaging with single optical system[D]. Hangzhou:Zhejiang University,2014.(in Chinese)

[91] HE Y,WANG L X,CAI Y,etal.. Monocular catadioptric panoramic depth estimation via caustics-based virtual scene transition[J].J.OpticalSocietyofAmericaA,2016,33(9):1872-1879.

[92] CARUSO D,ENGEL J,CREMERS D. Large-scale direct SLAM for omnidirectional cameras[C]. IEEE International Conference on Intelligent Robort & Systems,IEEE,2015:141-148.

Researchprogressandprospectofcatadioptricpanoramicsystem

HE Yu1, WANG Ling-xue1*, CAI Yi1,2, ZHOU Xing-guang1, XUE Wei1, JIANG Jie3, LIU Fu-ping3, LI Hong-bing3, CHEN Ji3, LUO Yong-fang3, LI Mao-zhong3

(1.KeyLaboratoryofPhotoelectronicImagingTechnologyandSystem,MinistryofEducationofChina,BeijingEngineeringResearchCenterforMixedRealityandAdvancedDisplayTechnology,SchoolofOptoelectronics,BeijingInstituteofTechnologyBeijing100081,China; 2.ChinaResearchandDevelopmentAcademyofMachineryEquipment,Beijing100089,China; 3.YunnanKIRO-CHPhotonicsCo.,Ltd,Kunming650217,China)

As a new panoramic vision system developed in recent 10 years, the catadioptric panoramic system has advantages in miniaturization, structural flexibility, low cost and real-time compared to conventional methods such as camera rotation scanning, multi-camera image stitching, and fisheye lens large field imaging. In this review, the recent progress in basic catadioptric panoramic system, including imaging models, system calibration, distortion correction and overall well-focused imaging, are summarized. Moreover, the extended applications in infrared imaging and stereo vision are also presented. Finally, the existing unsolved problems are discussed. It is also suggested that the future catadioptric panoramic system will focus on non-single view imaging model, improving of the spatial resolution method and implementing of the real-time processing algorithm.

catadioptric panoramic system;distortion correction;infrared imaging;panoramic stereo vision

TN201

A

10.3788/CO.20171005.0681

賀 宇(1988—)，男，湖北宜昌人，博士研究生，主要從事紅外成像、紅外成像系統(tǒng)性能建模和折反射周視成像系統(tǒng)方面的研究。E-mail:hy070609@163.com

王嶺雪(1973—)，女，云南石屏人，博士，副教授，主要從事紅外成像、圖像處理和紅外光譜方面的研究。E-mail:neobull@bit.edu.cn

2017-05-11；

2017-08-13

國家自然科學(xué)基金資助項目(No.61471044)；高等學(xué)校博士學(xué)科點(diǎn)專項科研基金資助項目(No.20131101110024)；預(yù)研基金重點(diǎn)項目資助項目(No.9140A02010114BQ01005)

Supported by National Natural Science Foundation of China(No.61471044); Ph.D Programs Foundation of the Ministry of Education of China(No.20131101110024); Advanced Research Foundation of China(No.9140A02010114BQ01005)

2095-1531(2017)05-0681-18

*Correspondingauthor,E-mail:neobull@bit.edu.cn