多尺度大視場十億像素成像技術(shù)

莊緒霞 阮寧娟 賀金平 戚均愷

（北京空間機(jī)電研究所，北京 100094）

0 引言

像素是組成數(shù)字圖像的最小單元，像素的個數(shù)越多，可挖掘的圖像信息量越大，因此像素個數(shù)是影響圖像品質(zhì)的重要因素。成像系統(tǒng)視場越大、分辨率越高，則像素個數(shù)越多、圖像富含的信息量越大。十億像素，就是指圖像的可分辨像素個數(shù)超過十億個，是傳統(tǒng)成像儀的數(shù)十到數(shù)百倍。由于獲取到的信息量巨大，在天文觀測、航空航天寬幅成像等領(lǐng)域具備廣闊的應(yīng)用前景。

在天文觀測領(lǐng)域，國際上的 Pan-STARRS、GAIA等十億像素望遠(yuǎn)鏡，均采用了長焦距光學(xué)系統(tǒng)，視場不超過3.5°，探測器采用多探測器拼接的方法（如Pan-STARRS使用了64片面陣探測器）拼接成一個大的連續(xù)焦平面[1-3]，拼接的難度及成本較高。

對于大視場的十億像素相機(jī)，受光學(xué)設(shè)計和探測器水平限制，傳統(tǒng)方法通常經(jīng)過小視場相機(jī)掃描成像和后續(xù)拼接獲得十億像素圖像，如美國卡內(nèi)基梅隆大學(xué)團(tuán)隊設(shè)計開發(fā)的GigaPan全景拍攝系統(tǒng)獲取的十億像素圖像[4]。然而，在一些需要大范圍實時監(jiān)視領(lǐng)域，對非掃描一次成像的大視場十億像素成像系統(tǒng)的需求日益強(qiáng)烈。文獻(xiàn)[5]提出的多尺度設(shè)計手段突破了傳統(tǒng)的單軸設(shè)計方法，采用多個小相機(jī)置于不同視場處分割大視場的像面，再經(jīng)過后續(xù)處理拼接出大視場圖像，可實現(xiàn)大視場十億像素成像；美國哥倫比亞大學(xué)于2010年研制出多尺度大視場成像原理樣機(jī)[6]，該樣機(jī)用5個小相機(jī)陣列配合1個球鏡實現(xiàn)了15°×2°視場；2012年，美國杜克大學(xué)研制出多尺度十億像素相機(jī)AWARE-2[7]，AWARE-2的視場達(dá)到120°，相機(jī)的主鏡為同心形式，周圍被98臺小相機(jī)構(gòu)成的陣列環(huán)繞，獲取圖像的有效像素個數(shù)達(dá)十億。本文將對多尺度大視場十億像素成像技術(shù)開展分析，分析其原理、指標(biāo)和關(guān)鍵技術(shù)。

1 多尺度十億像素成像原理

要實現(xiàn)十億像素成像需要具備三個條件：成像系統(tǒng)的焦面上要具備相當(dāng)數(shù)量的像元個數(shù)；成像系統(tǒng)的光學(xué)系統(tǒng)具備分辨十億像素的能力；成像系統(tǒng)的信息處理部分能夠快速處理十億像素級的圖像。針對上述三個問題的解決方案如下：

現(xiàn)有的單片面陣探測器件尚未達(dá)到十億像素量級，多探測器件拼接成為必需。多探測器件的拼接方案有多種，如機(jī)械拼接、光學(xué)拼接等。機(jī)械拼接通常在拼接過程中要舍棄一些邊界上的像元，造成圖像產(chǎn)生較大的拼接縫隙，圖像存在盲區(qū)，降低了圖像品質(zhì)。光學(xué)拼接方法的精度較高，目前的光學(xué)拼接方法多采用棱鏡分光方式，但會造成探測器體積和質(zhì)量的增大，同時由于棱鏡的存在而產(chǎn)生一些色差[8]。

對于非相干光學(xué)成像系統(tǒng)，設(shè)平均波長為λ、入瞳直徑為D、焦距為f、視場角為θFOV、寬度為h′=ftan （θFOV/2） 。根據(jù)瑞利判據(jù)[9]，光學(xué)系統(tǒng)的分辨極限為σ= 1.22λf/D，在衍射極限下系統(tǒng)可以分辨的像元個數(shù)為

根據(jù)上式，得到不同入瞳直徑和視場的衍射極限下可分辨率如表1所示。

表1 不同入瞳直徑和視場的衍射極限分辨率Tab.1 Diffraction lim ited resolution for different apertures and fields of view

由表1可知，在衍射極限條件下，對于cm量級的入瞳直徑，視場角達(dá)到120°；對于m量級的入瞳直徑，視場角達(dá)到1.5°時，可分辨的像元個數(shù)為1×1010量級。但實際系統(tǒng)不可避免地存在像差，隨著像差的增大，可分辨的像元個數(shù)隨之下降；且視場和入瞳直徑越大，像差校正難度越大。為了校正大入瞳直徑、大視場下的像差，傳統(tǒng)設(shè)計方法靠增加元件復(fù)雜性和數(shù)量來實現(xiàn)，設(shè)計難度及成本較高。此外，還需要開展高性能信息并行處理單元設(shè)計，使得信息處理單元具備在短時間內(nèi)處理十億像素級圖像的能力。

多尺度十億像素相機(jī)技術(shù)的提出為上述問題提供了解決方案。多尺度光學(xué)成像系統(tǒng)包括主透鏡系統(tǒng)、小透鏡陣列、探測器陣列、信號處理單元，如圖1所示。主鏡頭置于系統(tǒng)前端，用于收集光能，獲得一個較大視場的粗糙一次像。小透鏡陣列位于主透鏡后端，置于不同的視場處來校正不同視場的像差，獲得具有一定重疊的多幅子圖像。小透鏡陣列中的每一個小透鏡與探測器陣列中的每一個探測器一一對應(yīng)，組成一個小相機(jī)；小透鏡陣列和探測器陣列均勻分布在主透鏡的同一側(cè)一次像面后；不同視場的光線從物方入射主鏡進(jìn)行粗糙的模糊一次成像，再經(jīng)過小透鏡陣列消像差和視場分割后，形成清晰的多通道圖像并送至各個小透鏡對應(yīng)的探測器，探測器陣列將光信號轉(zhuǎn)換成電信號后，將電信號傳輸至信號處理單元進(jìn)行多通道小視場圖像的快速并行配準(zhǔn)融合，拼接得到一幅完整的大視場圖像。

圖1 多尺度光學(xué)成像系統(tǒng)Fig.1 Multi-scale optical imaging system

從像差校正的角度看，設(shè)光學(xué)系統(tǒng)的主鏡表面是旋轉(zhuǎn)對稱的，可將波像差用4階多項式描述為

式中H為歸一化的視場；ρ為歸一化的光瞳半徑；φ為光瞳坐標(biāo)的方位角；W為波前像差系數(shù)，表示實際波前與球面參考波前在出瞳位置的光程差，其下標(biāo)分別為H、ρ、φ的冪指數(shù)。

光學(xué)系統(tǒng)設(shè)計的目標(biāo)是在指定的視場下最小化波像差。由式（2）可見，主鏡的波像差隨著視場角的增大而增大，視場角越大，利用全局像差校正的難度越大。多尺度光學(xué)系統(tǒng)采用局部像差校正，即通過在不同視場處布置不同的小透鏡（組）。每個小透鏡僅對較小范圍的視場進(jìn)行光場校正，校正難度也隨之降低。為進(jìn)一步降低設(shè)計和加工難度，通常將主鏡設(shè)計為同心形式，可以用相同的小透鏡校正不同視場的像差。因此，多尺度光學(xué)系統(tǒng)將光能收集和光場處理二個部分的功能獨(dú)立設(shè)計，整個系統(tǒng)集成了兩端的優(yōu)勢，即前端鏡頭的光能收集能力、角分辨能力和后端多孔徑陣列的光場處理能力。通過局部像差校正的方法，降低了系統(tǒng)設(shè)計的復(fù)雜度。

此外，多尺度成像系統(tǒng)利用多孔徑陣列的放大率實現(xiàn)相鄰視場的重疊，避免使用棱鏡等探測器拼接元件，不引入額外的色差，利用小透鏡陣列實現(xiàn)像差校正和探測器拼接一體化；同時小透鏡元件的加工難度及成本比大透鏡低，系統(tǒng)復(fù)雜性和研制成本明顯降低，而且每個小相機(jī)的焦距、積分時間、增益等可單獨(dú)控制，提高了系統(tǒng)的靈活性。

多尺度大視場十億像素相機(jī)在以下領(lǐng)域存在較廣的應(yīng)用前景：

1）大范圍監(jiān)視領(lǐng)域。多尺度十億像素系統(tǒng)具備較大的視場，可以應(yīng)用在航空大范圍監(jiān)視等領(lǐng)域，實現(xiàn)多目標(biāo)同時監(jiān)視；

2）天文觀測領(lǐng)域。多尺度十億像素相機(jī)在長焦情況下可以獲得較高的角分辨率和較大的信息量，對于大天域的高效觀測具備重要的意義；

3）智能遙感領(lǐng)域。由于相機(jī)后端可設(shè)計成焦距可調(diào)，先用短焦距獲取低分辨率大視場圖像，對低數(shù)據(jù)量的圖像進(jìn)行目標(biāo)提取識別后，對重要目標(biāo)所在區(qū)域進(jìn)行放大觀測，獲得更多的細(xì)節(jié)信息。

由于相機(jī)系統(tǒng)后端是并行的成像與處理單元，一個多尺度十億像素相機(jī)可以由多個用戶共享，多個用戶可以對視場內(nèi)感興趣的區(qū)域并行觀測、處理，實現(xiàn)多用戶終端共享操作。

2 多尺度十億像素成像系統(tǒng)的設(shè)計指標(biāo)

傳統(tǒng)的光學(xué)系統(tǒng)總體設(shè)計指標(biāo)包括：視場角θFOV、瞬時視場角、奈奎斯特頻率處的調(diào)制傳遞函數(shù)、光譜范圍、F數(shù)、畸變等。對于多尺度大視場相機(jī)還具備一些特殊的指標(biāo)[10-12]。

（1）單個小透鏡的視場角θMFOV

由于每個小透鏡獲取相機(jī)整個視場的一小部分，因此需要多個小透鏡覆蓋整個視場，并且θMFOV＜θFOV，而θMFOV之和大于θFOV。

（2）相鄰小透鏡之間的視場重疊率

一幅大視場圖像是由多個小視場圖像拼接而成，相鄰小透鏡視場的邊緣要有一定的重疊來保證最終視場的連續(xù)。重疊率的提出不僅與采取的圖像拼接算法有關(guān)，還與小透鏡的旋轉(zhuǎn)、傾斜誤差有關(guān)。重疊率可以用2個相鄰小相機(jī)的線視場重疊來表征，如圖2所示。

圖2 相鄰小透鏡視場重疊示意Fig.2 Overlapping of adjacent lens

（3）光學(xué)物理錐角

如果小相機(jī)的結(jié)構(gòu)外徑尺寸過大，導(dǎo)致相鄰小透鏡的光軸偏離過大，在θMFOV一定的情況下，相鄰視場的重疊性較差。小相機(jī)的光學(xué)物理錐角是一個重要的設(shè)計參數(shù)，指能夠容納下小相機(jī)光學(xué)硬件的最小頂角，其頂點在主鏡像平面曲率中心，如圖3所示。為保證相鄰小相機(jī)獲得足夠的視場重疊，物理錐角α和θMFOV之間需要滿足一定的關(guān)系。

圖3 物理錐角示意Fig.3 Cone angle of m icro-camera

（4）小透鏡陣列的放大率

小透鏡陣列是一個中繼光學(xué)系統(tǒng)，以降低到達(dá)傳感器線視場的尺寸。小透鏡的放大率設(shè)定需要保證傳感器獲得重疊視場的同時給小相機(jī)足夠安裝的空間。

3 關(guān)鍵技術(shù)分析

（1）多尺度十億像素成像系統(tǒng)指標(biāo)的優(yōu)化

多尺度十億像素成像系統(tǒng)具備區(qū)別于傳統(tǒng)單軸成像系統(tǒng)的指標(biāo)，呈現(xiàn)一些新的特點，在指標(biāo)優(yōu)化過程中，尤其需要考慮相鄰小相機(jī)的視場重疊問題以及邊緣視場的漸暈問題。

1）相鄰小透鏡視場的重疊問題。小相機(jī)的光學(xué)物理錐角影響相鄰小相機(jī)獲取到圖像的重疊率。相鄰小相機(jī)成像示意如圖4所示。在小透鏡視場角一定的情況下，光學(xué)物理錐角越大，相鄰小相機(jī)的光軸偏離越大，則相鄰小相機(jī)的重疊性較差。

圖4 2個小相機(jī)重疊示意Fig.4 A diagram of two m icro-cameras w ith their overlapping fields

將物理錐角和視場角投影到一次像面上，如圖5所示，圖中虛線表示單個小透鏡對應(yīng)物理錐角的投影范圍，實線表征單個小透鏡的視場角對應(yīng)的投影范圍。單個小透鏡的錐角和視場的中心一致?？梢姡?dāng)相鄰小透鏡相切時，為使其視場可以重疊，小透鏡對應(yīng)的物理錐角要小于小透鏡對應(yīng)的子視場，設(shè)小透鏡的半視場為ω，即要滿足ω＞α/ 2。根據(jù)圖4可以計算重疊率為

圖5 θMFOV與錐角關(guān)系（2個小相機(jī)）Fig.5 Sketch for relationship between cone angle and θMFOV when two m icro-cameras being packed

對于3個小透鏡非并排排列的情況，如圖6所示，為滿足重疊條件，視場角應(yīng)至少滿足以下條件：ω＞α/(2cos30o)，即ω＞ 0.58α。

2）邊緣視場漸暈問題。如果孔徑光闌置于主鏡，那么在邊緣視場，由于小透鏡的物理硬件分割，使得小透鏡邊緣視場產(chǎn)生較為明顯的漸暈，如圖7所示，在邊緣視場處產(chǎn)生至少為50%的漸暈。Zemax軟件給出了相應(yīng)的仿真結(jié)果，如圖8所示。

圖6 視場角與錐角關(guān)系（3個小相機(jī)）Fig.6 Sketch for relationship between cone angle and θMFOV when three m icrocameras being packed

圖7 邊緣視場漸暈現(xiàn)象Fig.7 Vignetting phenomenon at edge of θMFOV

圖8 小透鏡邊緣漸暈Zemax仿真結(jié)果Fig.8 Simulation results of vignetting phenomenon for microlens by Zemax

為降低邊緣視場的漸暈，應(yīng)增大主鏡的光束孔徑角，將孔徑光闌置于后端，這樣每個小相機(jī)具備各自獨(dú)立的光闌而非共用一個。設(shè)入瞳直徑為Dε，主鏡的通光直徑為D0，為保證邊緣視場無漸暈，應(yīng)滿足[12]。為進(jìn)一步保證照度的均勻性，可考慮后端設(shè)計成像方遠(yuǎn)心形式。

（2）大視場同心主鏡設(shè)計

如果前端設(shè)計成對稱形式，后端不同視場處就可以采用相同形式的透鏡，從而降低復(fù)雜性。同心光學(xué)系統(tǒng)是一個對稱的系統(tǒng)，其所有球面具有同一個曲率中心。這樣的對稱形式可以使得半球像面上零慧差和零象散，且具備較大的場曲[13-14]。最簡單的同心光學(xué)系統(tǒng)是球鏡，但普通球鏡的像差較大，為了保證系統(tǒng)總體的成像品質(zhì)，后端形式比較復(fù)雜，必要時需要設(shè)計形式相對復(fù)雜的同心鏡頭，光學(xué)玻璃材料、曲率半徑和厚度等的優(yōu)化等均變得復(fù)雜。

（3）自動調(diào)焦

為了提高相機(jī)的成像深度，需要進(jìn)行調(diào)焦。由于多個光軸經(jīng)過主鏡，難以通過主鏡的移動對多個小相機(jī)進(jìn)行重新聚焦。因此需要在小相機(jī)上進(jìn)行調(diào)焦。對于多尺度成像系統(tǒng)，其一般具有數(shù)十個甚至上百個小相機(jī)，若采用機(jī)械調(diào)焦方法，將使系統(tǒng)的復(fù)雜性、體積和成本大幅增加。因此需要探索更加緊湊、靈活且小巧的調(diào)焦策略。AWARE-2采用了基于液晶透鏡的調(diào)焦方法，實現(xiàn)物距范圍2m～∞的清晰成像[15]，相對機(jī)械調(diào)焦方法，降低了復(fù)雜性。

（4）圖像并行拼接

成像系統(tǒng)通過一次像面后的光場處理陣列形成交叉重疊的區(qū)域，就 3個鄰域的子視場而言，任意2個子視場的重疊區(qū)域與第3個子視場還有重疊區(qū)域，多圖像交叉重疊現(xiàn)象在整個并行陣列視場中非常嚴(yán)重，如圖9所示，圖中給出了3個相鄰的小鏡頭對應(yīng)的小視場：視場1、視場2、視場3；其中視場1和視場2存在重疊區(qū)1；視場3和視場2存在重疊區(qū)2；3個小視場還存在3個交叉重疊區(qū)域，從而使圖像配準(zhǔn)融合算法變得更加復(fù)雜。如果采用圖像盲配準(zhǔn)的方法，即通過基于圖像相似灰度信息或相似特征信息搜索的方法，會增加匹配的時間，降低匹配效率[16-17]。如何實現(xiàn)多幅子圖像的并行高速拼接是需要解決的關(guān)鍵技術(shù)之一。

圖9 子圖像嵌套重疊現(xiàn)象Fig.9 Multi overlapping of different subimages

4 結(jié)束語

多尺度十億像素相機(jī)具備拍攝快速、分辨率高、覆蓋范圍大的優(yōu)點，能在一瞬間捕捉大量信息，具有較廣的應(yīng)用前景。本文從十億像素成像技術(shù)的原理出發(fā)，分析了新型多尺度大視場成像技術(shù)的優(yōu)勢及應(yīng)用前景；針對該技術(shù)獨(dú)特的技術(shù)指標(biāo)進(jìn)行了研究，為后續(xù)系統(tǒng)的頂層設(shè)計提供參考；針對該類系統(tǒng)涉及到的關(guān)鍵技術(shù)進(jìn)行闡述。

References)

[1] Hodapp K W, Kaiser N. Design of the Pan-STARRS Telescopes[M]. Astronom ische Nachrichten, 2004, 325(6): 636-642.

[2] John L T, Barry E B. Results from the Pan-STARRS Orthogonal Transfer Array (OTA)[J]. Proc. of SPIE, 2008, 7021: 1-9.

[3] Ralf K, Philippe G. Gaia's FPA: Sampling the Sky in Silicon[J]. Proc. of SPIE, 2012, 8442: 1-16.

[4] Sargent R, Bartley C. Timelapse GigaPan: Capturing, Sharing, and Exploring Timelapse Gigapixel Imagery[EB/OL].2010-11-20. http://www.ri.cmu.edu/publication_view.htm l? pub_id=7019.

[5] David J B, Nathan H. Multiscale Lens Design[J]. Optics Express, 2009, 17(13): 10659-10674.

[6] Cossairt O, M iau D. Gigapixel Computational Imaging[C]. IEEE International Conference on Computational Photography.Pittsburgh, PA: IEEE, 2011: 1-8.

[7] Brady D J, Gehm M E. Multiscale Gigapixel Photography[J]. Nature, 2012, 486(7403): 386-389.

[8] 張德新, 馬廣富, 曲國志. 寬角航空CCD偵察相機(jī)拼接方案綜述[J]. 電光與控制, 2010, 17(4): 50-52.ZHANG Dexin, MA Guangfu, QU Guozhi. Survey on Mosaicing Schemes for Super-w ide-angle Aerial Reconnaissance CCD Camera[J]. Electronics Optics＆Control, 2010, 17(4): 50-52. (in Chinese)

[9] 石順祥, 張海興, 劉勁松. 物理光學(xué)與應(yīng)用光學(xué)[M]. 西安: 西安電子科技大學(xué)出版社, 2000.SHI Shunxiang, ZHANG Haixing, LIU Jinsong. Physical Optics and Applied Optics[M]. Xi’an: Xi’an Electronic and Science University Press, 2000. (in Chinese)

[10] Daniel L M, Hui S S. Engineering a Gigapixel Monocentric Multiscale Camera[J]. Optical Engineering, 2012, 51(8): 1-13.

[11] Hui S S, Daniel L M. Design of a Spherical Focal Surface Using Close Packed Relay Optics[J]. Opt. Express, 2011, 19(17):16132-16138.

[12] Eric J T, Daniel L M. Design and Scaling of Monocentric Multiscale Imagers[J]. Applied Optics, 2012, 51(20): 4691-4702.

[13] 楊長城, 楊建強(qiáng), 李升輝. 大視場紅外同心光學(xué)系統(tǒng)的設(shè)計[J]. 光學(xué)與光電技術(shù), 2012, 10(5): 94-96.YANG Changcheng, YANG Jianqiang, LI Shenghui. Design of Big Field Infrared Concentric Optical System[J]. Optics &Optoelectronic Technology, 2012, 10(5): 94-96. (in Chinese)

[14] 戚均愷, 周峰, 姚罡, 等. 一種新型超大視場小畸變光學(xué)系統(tǒng)[J]. 航天返回與遙感, 2013, 34(2): 30-35.QI Junkai, ZHOU Feng, YAO Gang, et al. A New Super-large Field of View and Small Distortion Optical System[J]. Spacecraft Recovery & Remote Sensing, 2013, 34(2): 30-35. (in Chinese)

[15] Igor Stamenov, Eric Tremblay. Liquid Crystal Lens Focusing in Monocentric Multiscale Imagers[J]. Proc. of SPIE, 2012,8486: 1-12.

[16] Gehma M E, Golish D R. Image Formation Challenges in the MOSAIC Platform[J]. Proc. of SPIE, 2011, 8056: 1-7.

[17] Golish D R, Vera E M. Development of a Scalable Image Formation Pipeline for Multiscale Gigapixel Photography[J]. Optics Express, 2012, 20(20): 22048-22062.