李曉杰,任建偉,李憲圣,孫景旭,萬 志,劉洪興
(1.中國科學(xué)院 長春光學(xué)精密機械與物理研究所,吉林 長春 130033;2.中國科學(xué)院大學(xué),北京 100049)
為了滿足遙感領(lǐng)域?qū)Υ笠晥鲞b感圖像的需求,國際上普遍采用CCD拼接以擴大相機視場[1]。CCD 拼接主要有機械拼接[2]和光學(xué)拼接[3]兩種方式。其中光學(xué)拼接是利用棱鏡的分光原理形成一對等光程面,將CCD在這一對等光程面上首尾搭接。根據(jù)所使用棱鏡的不同,又可分為折射式、半反半透式和反射式拼接,其中折射式拼接會產(chǎn)生像差,半反半透式拼接能量利用率小于50%,反射式拼接因其可拼接長度較長,能量利用率高,體積重量較小、無像差等優(yōu)點成為了未來光學(xué)拼接的主要發(fā)展方向。但反射式拼接由于自身拼接特點會在拼接交界處產(chǎn)生漸暈,從而影響成像面的非均勻性,這需要利用后續(xù)定標(biāo)工作進(jìn)行校正。
在反射式拼接CCD相機非均勻性校正過程中,由于光學(xué)系統(tǒng)設(shè)計復(fù)雜,成像面同時有反射鏡參與,為了達(dá)到大視場的目的拼接所用到的CCD數(shù)目也較多,這就給整個光學(xué)系統(tǒng)能量傳輸模型的分析及后續(xù)的非均勻性定標(biāo)校正工作帶來一定的難度。目前國內(nèi)關(guān)于非均勻性定標(biāo)和校正的研究多是以單片CCD相機或機械拼接CCD相機為對象,無論在紅外探測波段還是可見光波段,都有了比較成熟的理論和廣泛的實踐[4-8]。而針對反射式拼接相機非均勻性定標(biāo)和校正的研究比較少,陶明慧等[9]針對兩片面陣CCD的拼接,引用最速下降法,從漸暈圖像的數(shù)碼輸出(DN)特征出發(fā),通過軟件擬合的方式確定公式中的參數(shù)后進(jìn)行校正,取得了較好效果;張宇等[10]定量分析了入瞳處輻射亮度通過反射式光學(xué)系統(tǒng)和反射鏡后,實際到達(dá)每個拼接CCD像元的輻射照度分布,但定標(biāo)后校正算法的選取并沒有依據(jù)這種能量分布規(guī)律,校正因子只能對某一亮度點圖像取得滿意的效果。
針對上述研究現(xiàn)狀,本文從焦平面各像元接收到的輻射照度不同是引起反射式拼接CCD相機圖像非均勻性的本質(zhì)出發(fā),首先在相機焦平面拼接前對單片CCD進(jìn)行輻照度響應(yīng)度定標(biāo),然后用積分球作為定標(biāo)光源對相機整體進(jìn)行非均勻性定標(biāo),得出入瞳輻亮度與像元接收到輻照度的關(guān)系。根據(jù)這一關(guān)系,設(shè)計校正算法,實現(xiàn)從較低到接近飽和亮度范圍內(nèi)對相機輸出圖像非均勻性的校正。
遙感器成像過程大體可描述為:地面物體發(fā)出的光能量通過大氣傳輸?shù)竭_(dá)光學(xué)系統(tǒng)入瞳處,通過光學(xué)系統(tǒng)后,到達(dá)成像面探測器并由光信號轉(zhuǎn)化為可輸出的電信號,最后經(jīng)過圖像采集系統(tǒng)輸出顯示。在實驗室定標(biāo)過程中可以忽略大氣傳輸?shù)挠绊?,因此影響反射式拼接相機成像非均勻性主要有以下因素。
對于非理想成像光學(xué)系統(tǒng),其軸上像點和軸外像點接收到的照度滿足關(guān)系(1):
其中:Ew為軸外像點接收到的輻射照度,E為軸上像點接收到的輻射照度,w為光學(xué)系統(tǒng)視場角。
可見,在視場角w較大的情況下,比如某些測繪相機(2w≈60°)軸上點和軸外點照度差別能達(dá)50%之多,這種非均勻性必須校正。而對于一般空間相機,其視場角較小,視場邊緣輻射照度下降帶來的非均勻性影響也較小。
對于反射式拼接CCD相機,其典型的拼接方式如圖1所示。反射鏡反射面與光軸呈45°角,反射面CCD與直射面CCD位于反射鏡棱邊的兩側(cè),相當(dāng)于在一對等光程面上,這樣就保證了對同一大目標(biāo)地物輸出圖像的完整性和同時性,也減小了拼接后焦平面的尺寸。
圖1 典型反射鏡拼接方式Fig.1 Typical mode of reflector-based mosaic CCD camera
然而由于拼接結(jié)構(gòu)中反射鏡的存在,在軸外點成像即光線斜入射時會對反射面CCD和直射面CCD形成遮擋,使得拼接交界區(qū)域像元接收到的實際輻射照度小于其他區(qū)域像元接收到的輻射照度,在輸出圖像上就表現(xiàn)為拼接交界區(qū)域灰度值下降,我們也稱此區(qū)域為漸暈區(qū)。另外光線斜入射和直射時,也會因反射鏡棱邊的存在產(chǎn)生衍射現(xiàn)象,根據(jù)菲涅爾衍射及其改進(jìn)型理論[11],衍射會造成拼接交界區(qū)域能量的重新分配。
作為一種半導(dǎo)體圖像傳感器件,CCD在材料質(zhì)量、制作工藝和結(jié)構(gòu)上的局部差異性[12],會使得各像元的輻射響應(yīng)度也存在不同。這樣盡管各像元接收到的輻射照度相同,輸出圖像的灰度值也會表現(xiàn)出非均勻性。這種非均勻性與CCD局部的差異密切相關(guān)。本相機所選用CCD均屬航天級,在響應(yīng)度定標(biāo)實驗中也可以看出,4片CCD響應(yīng)度基本一致,對圖像非均勻性影響較小。
圖像采集系統(tǒng)包括CCD驅(qū)動、傳輸以及處理電路,具體有時序驅(qū)動、信號預(yù)放大和放大以及A/D轉(zhuǎn)換等電路。針對每一個CCD數(shù)據(jù)傳輸通道,如果這些電路的應(yīng)用配置或者設(shè)定參數(shù)有不同,那么所得到每個像元的數(shù)碼輸出也會有區(qū)別。
通過以上分析,可以明確圖像非均勻性是一個多重因素綜合作用的結(jié)果。對于單片CCD相機或機械拼接CCD相機來說,光學(xué)系統(tǒng)不是引起圖像非均勻性的主要因素;對于反射式拼接CCD相機,由于相機自身特殊的拼接結(jié)構(gòu),使得光學(xué)系統(tǒng)中反射鏡的遮擋是最終圖像非均勻性的主要原因。針對這種不同,需要重新設(shè)計定標(biāo)實驗和校正算法,實現(xiàn)圖像非均勻性的校正。
本反射式拼接CCD相機焦平面是由4片TDI-CCD構(gòu)成,每片CCD分為兩個數(shù)據(jù)輸出通道,單通道有效像元數(shù)目為3071,量化位數(shù)12bit。
在焦平面拼接前,對4片CCD進(jìn)行響應(yīng)度參量定標(biāo)。定標(biāo)光源采用標(biāo)校后且光強輸出穩(wěn)定性優(yōu)于0.5%/小時的溴鎢燈,先用光譜輻射計測量距離溴鎢燈1m位置處的輻射照度,然后根據(jù)距離反比定律可計算出任意位置處的照度;CCD及其驅(qū)動電路置于可由步進(jìn)電機驅(qū)動并定位的光學(xué)導(dǎo)軌上;控制系統(tǒng)用于控制溴鎢燈的光強和圖像的采集及保存。
在暗室中通過調(diào)節(jié)CCD與溴鎢燈的距離,獲取10種不同輻射照度下的輸出圖像,以單片CCD為單位計算每個像元的輻照度響應(yīng)度[14](計算時除去本底信號)及其響應(yīng)非均勻性(PRNU),結(jié)果如表1所示。4片CCD的響應(yīng)度平均值之間相差很小,且非均勻性均小于0.5%,也就是說CCD器件本身和后續(xù)的圖像采集系統(tǒng)的差異不大,也可以說明這兩種因素對圖像非均勻性的影響較小。
表1 CCD輻射響應(yīng)度Tab.1 Responsivity of single CCD
4片CCD按圖1所示拼接方式在2個反射鏡兩側(cè)交錯放置,其中兩片CCD位于焦平面的直射面位置,另外兩片位于焦平面的反射面位置。CCD1第1通道和CCD4第2通道為正常通道,其他通道均為漸暈通道。
反射式拼接CCD相機整機實驗室輻射定標(biāo)裝置示意圖如圖2所示。定標(biāo)光源采用大口徑積分球,它是一種理想的漫射擴展光源,開口處有很好的輻射照度面均勻性和朗伯特性[15]。本裝置中積分球內(nèi)徑為4m,開口直徑為1.2m,將拼接CCD相機放置在開口處恰當(dāng)位置,能完全滿足“全口徑,全視場,端對端”的定標(biāo)要求。電源箱控制積分球內(nèi)96只溴鎢燈,標(biāo)校后的輻亮度計實時監(jiān)測球體開口處輻射亮度,圖像采集系統(tǒng)(與單片CCD響應(yīng)度定標(biāo)實驗所用采集系統(tǒng)相同)能實時顯示相機的輸出圖像。
圖2 實驗室定標(biāo)裝置示意圖Fig.2 Radiometric calibration setup in lab
在暗室中,先調(diào)節(jié)積分球開口處輻射亮度使相機輸出圖像接近飽和,然后依次降低積分球輻射亮度輸出,通過圖像采集系統(tǒng)分別獲取33.91,32.01,26.91,21.90,17.81,13.01,8.21,3.79,0 W/(sr·m2)9個亮度點下的輸出圖像。
圖3為輻射亮度為17.81W/(sr·m2)下所定標(biāo)相機的輸出圖像。4片CCD拼接后形成了3個拼接交界區(qū),盡管入射相同的輻亮度,在拼接交界區(qū)由于反射鏡的遮擋,致使該處像元接收到的輻照度下降,故圖像上就會表現(xiàn)出數(shù)碼值較其他區(qū)域下降,就是看到的漸暈條紋。
圖3 入射亮度為17.81W/(sr·m2)的相機定標(biāo)圖像Fig.3 Calibration image which incident radiance is 3.75W/(sr·m2)
各亮度點下單個像元接收的輻射照度Ei可由公式(2)計算,
其中:DNi為第i個像元輸出圖像數(shù)碼值,REi為第i個像元的輻照度響應(yīng)度。
圖4為根據(jù)整機均勻性定標(biāo)圖像和對單片CCD定標(biāo)所得到的響應(yīng)度并利用公式(2)計算得到的8個輻射亮度點下各像元實際接收到的輻射照度(以直射面CCD1第2通道和反射面CCD2第1通道拼接后的輸出圖像為例)。
圖48個亮度點下像元實際輻射照度Fig.4 Real irradiance of each pixel at eight radiances
其中虛線框表示漸暈區(qū),其他區(qū)域為非漸暈區(qū)??梢钥闯鰸u暈區(qū)各像元輻照度下降嚴(yán)重,如L01亮度點下,非漸暈區(qū)像元接收到的輻照度大致為0.5W/m2,而漸暈區(qū)最中心位置像元只接收到0.1W/m2;由于反射面CCD和直射面CCD在反射鏡棱邊兩側(cè)呈等效對稱位置,故各像元的照度分布也是對稱的;另外由于反射鏡對各像元的遮擋程度不同,故圖像上表現(xiàn)出漸暈區(qū)各像元輻照度傾斜下降,而不是垂直下降趨勢。
遙感器輻亮度響應(yīng)度表征有光學(xué)系統(tǒng)參與的圖像輸出數(shù)碼值與入瞳處輻射亮度之間的關(guān)系,描述的是相機整體響應(yīng)度。對于反射式拼接CCD相機,焦平面各像元的輻亮度響應(yīng)度RLi可由式(3)計算,
與輻照度響應(yīng)度算法類似,計算出CCD1第2通道和CCD2第1通道拼接后各像元的輻亮度響應(yīng)度如圖5所示。同樣虛線框內(nèi)為漸暈區(qū)像元輻亮度響應(yīng)度,虛線框外為非漸暈區(qū)像元輻亮度響應(yīng)度。各像元輻亮度響應(yīng)度曲線與輻照度響應(yīng)度曲線表現(xiàn)一致。
圖5 各像元輻亮度響應(yīng)度Fig.5 Radiance responsivity of each pixel
從定標(biāo)圖3可以看出漸暈條紋嚴(yán)重影響圖像的非均勻性,因此設(shè)計算法求出每個像元的漸暈校正因子以消除圖像漸暈是反射式拼接相機后續(xù)定標(biāo)工作的重要內(nèi)容。理想情況下,反射式拼接CCD相機入瞳處輻射亮度L與成像面輻射照度E(w)之間的關(guān)系可以用公式(4)描述,
其中:F為相機光學(xué)系統(tǒng)相對孔徑,Ad為CCD探測器面積,t為積分時間,τ為光學(xué)系統(tǒng)透過率,w為相機視場角,f(w)為反射式拼接CCD相機漸暈系數(shù)。
實際上,由于光學(xué)系統(tǒng)像差以及其他噪聲的影響,入瞳處輻射亮度與像面輻射照度并不嚴(yán)格呈線性關(guān)系,可以用泰勒級數(shù)來表示其關(guān)系:
其中:A0i為無光入射時像元接收到的輻射照度,A1i為線性系數(shù),A2i,A3i,…Ani為高次系數(shù)。
對于第i個像元假設(shè)高次系A(chǔ)2i,A3i,…Ani→0,用最小二乘法解超定方程組:
其中:j表示亮度點個數(shù)(j=1,2,3…8);Eji表示第j個亮度點下第i個像元接收到的輻射照度;Lj表示第j個入瞳輻射亮度。并統(tǒng)計了Eji和Lj的相關(guān)性,二者的一次相關(guān)系數(shù)均達(dá)0.9999,呈嚴(yán)格線性。結(jié)果表明,上述假設(shè)合理。所以,第i個像元接收的實際輻射照度與入瞳處輻射亮度關(guān)系可以寫為:
又根據(jù)公式(2)(3)所表達(dá)的像元接收到的輻射照度和入瞳輻射亮度與圖像輸出DN值的關(guān)系,得出漸暈圖像非均勻性校正方程:
將每個像元的一對漸暈校正因子寫入相應(yīng)的圖像采集系統(tǒng)中,這樣,對于同一入射輻射亮度,焦平面各像元就相當(dāng)于得到相同的輻射照度,最終使得各像元輸出數(shù)碼值一致,實現(xiàn)圖像非均勻性校正目的;而且應(yīng)用此算法得出每個像元的一對校正因子可以校正一定入射亮度范圍的輸出圖像。
應(yīng)用上述算法對CCD1第2通道和CCD2第1通道各亮度點下拼接后輸出圖像進(jìn)行處理,計算出每個像元的校正因子B0和B1。8個亮度點下校正前定標(biāo)圖像數(shù)碼輸出曲線如圖6(a)所示。和圖(3)灰度圖像所描述的一致,整個數(shù)碼值下降區(qū)域?qū)?yīng)圖像上得漸暈條紋:如L1亮度點下,非漸暈區(qū)平均數(shù)碼值為3800,而在漸暈區(qū)數(shù)碼值最小為800,圖像非均勻性嚴(yán)重。
將校正因子寫入圖像采集系統(tǒng)中,調(diào)節(jié)積分球相同的入射輻射亮度,8個亮度點下校正后定標(biāo)圖像數(shù)碼輸出曲線如圖6(b)所示。從圖中可以明顯看到,漸暈區(qū)與非漸暈區(qū)像元在8個亮度點下的數(shù)碼輸出值基本一致。而且,校正前后各亮度點下數(shù)碼輸出平均值相當(dāng),也就是說校正后沒有改變圖像的真實性;
圖6 校正前后圖像DN值Fig.6 Images’DNbefore and after correction
表2 校正前后8個亮度點下定標(biāo)圖像非均勻性Tab.2 Non-uniformity of images before and after correction eight radiances correction eight radiance
表2根據(jù)非均勻性(NU)評價公式[16]用統(tǒng)計數(shù)據(jù)描述了校正前后兩幅圖像整體數(shù)碼輸出的變化。高亮度點L1下,原始圖像的非均勻性為16.43%,校正后下降為0.93%;中間L1至L6入射亮度范圍內(nèi),校正后圖像的非均勻性下降為0.7%之內(nèi);在低亮度點L8下,圖像的非均勻性由校正前的16.33%下降為0.95%。經(jīng)分析,由于高亮度點下圖像接近飽和,低亮度點下暗信號噪聲影響明顯,致使高亮度和低亮度點下校正效果略差。
當(dāng)入射輻射亮度同為17.81W/(sr·m2)時,經(jīng)過非均勻性校正后的反射式拼接CCD相機輸出的圖像如圖7所示。與圖3比較可以發(fā)現(xiàn),漸暈條紋基本消失,圖像非均勻性理想。
圖7 入射亮度為17.81W/(sr·m2)的定標(biāo)校正后圖像Fig.7 Correction image which incident radiance is 17.81 W/(sr·m2)
應(yīng)用本反射式拼接CCD相機進(jìn)行外場成像實驗,圖8給出了校正前后實際景物目標(biāo)成像的情形,校正前3個拼接交界區(qū)域灰度值與正常區(qū)域差別較大,漸暈明顯;校正后,交界處漸暈現(xiàn)象基本消除,圖像層次清晰分明,整體細(xì)節(jié)容易分辨。
反射式拼接CCD相機因其自身特殊的光學(xué)拼接方式,輸出圖像在拼接交界處會出現(xiàn)明顯的漸暈條紋。本文在對漸暈條紋產(chǎn)生的原因分析之后,對拼接CCD相機分別進(jìn)行了拼接前“單片CCD輻照度響應(yīng)度定標(biāo)”和“整機均勻性定標(biāo)”。前者定標(biāo)結(jié)果說明用于拼接的CCD各像元的輻照度響應(yīng)度基本一致,電子學(xué)系統(tǒng)工作正常;通過整機定標(biāo)確定各像元實際接收到的輻射照度分布曲線,并結(jié)合所設(shè)計的算法,對輸出圖像的均勻性進(jìn)行校正,從較低直至接近飽和的入射輻射亮度范圍內(nèi),圖像非均勻性從原始的16%下降為校正后的1%之內(nèi),很好地改善了圖像的非均勻性。應(yīng)用定標(biāo)結(jié)果進(jìn)行外場成像實驗時,也取得了滿意的效果。
[1]沈宏海,黃猛,李嘉全,等.國外先進(jìn)航空光電載荷的進(jìn)展與關(guān)鍵技術(shù)分析[J].中國光學(xué),2012,5(1):21-28.Sheng H H,Huang M,Li J Q,et al.Recent progress in aerial electro-optic pay-loads and their key technologies[J].Chinese Optics,2012,5(1):21-28.(in Chinese)
[2]郭疆,龔大鵬,朱磊,等.測繪相機焦平面CCD交錯拼接中重疊像元數(shù)計算[J].光學(xué)精密工程,2013,21(5):1251-1258.Guo J,Gong D P,Zhu L,et al.Calculation of overlapping pixels in interleaving assembly of CCD focal plane of mapping camera[J].Optics And Precision Engineering,2013,21(5):1251-1258.(in Chinese)
[3]李朝輝,王肇勛,武克用.空間相機CCD焦平面的光學(xué)拼接[J].光學(xué)精密工程,2000,8(3),213-216.Li Z H,Wang Z X,Wu K Y.Optical assembly of CCD focal plane for space camera[J].Optics And Precision Engineering,2000,8(3):213-216.(in Chinese)
[4]朱瑞飛,王超,魏群,等.紅外探測器非均勻性校正系統(tǒng)研制[J].紅外與激光工程,2013,42(7):1669-1673.Zhu R F,Wang C,Wei Q,et al.Manufacture of non-uniformity correction system for infrared detector[J].Infrared and Laser Engineering,2013,42(7):1669-1673.(in Chinese)
[5]任航.高分辨率大面陣CCD相機高幀頻設(shè)計及其非均勻性的校正[J].紅外與激光工程,2013,42(6):1491-1497.Ren H.High-resolution large area CCD camera frame rate design and its non-uniformity correction [J].Infrared and Laser Engineering,2013,42(6):1491-1497.(in Chinese)
[6]李丙玉,王曉東,李哲.在軌完成CCD非均勻性校正的方法[J].液晶與顯示,2011,26(2):255-259.Li B Y,Wang X D,Li Z.Method of CCD non-uniformity correcting in orbit[J].Chinese Journal of Liquid Crystals and Displays,2011,26(2):255-259.(in Chinese)
[7]寧永慧,郭永飛.星上時間延遲積分CCD拼接相機圖像的實時處理[J].光學(xué)精密工程,2014,22(2),508-517.Ning Y H,Guo Y F.Real-time image processing in TDICCD space mosaic camera[J].Optics And Precision Engineering,2014,22(2),508-517.(in Chinese)
[8]李憲圣,葉釗,任建偉,等.空間相機異常響應(yīng)圖像處理方法[J].液晶與顯示,2012,27(4):557-561.Li X S,Ye Z,Ren J W,et al.Processing method for abnormal response of space camera image in orbit[J].Chinese Journal of Liquid Crystals and Displays,2012,27(4):557-561.(in Chinese)
[9]陶明慧,任建岳,張宇,等.反射鏡拼接漸暈消除方法[J].光電工程,2011,38(6):45-49.Tao M H,Ren J Y,Zhang Yu,et al.Vignetting correction method of assembled images using reflector[J].Opto-Electronic Engineering.2011,38(6):45-49.(in Chinese)
[10]張宇,韓雙麗,張珂,等.反射鏡拼接相機漸暈消除方法[J].光機電信息,2011,28(6):23-29.Zhang Y,Han S L,Zhang K,et al.Methods of vignette elimination in reflecting-mirror-jointed camera[J].OME Information,2011,28(6):23-29.
[11]Keller J B.Geometrical theory of diffraction[J].Optical Society of America,1962,52(2):116-130.
[12]張宇,張立國,張星祥.行間轉(zhuǎn)移大面陣CCD的Smear噪聲實時去除[J].光學(xué)精密工程,2013,21(9):2389-2396.Zhang Y,Zhang L G,Zhang X X.Real-time elimination of Smear noise for large interline transfer area CCD camera[J].Optics And Precision Engineering,2013,21(9):2389-2396.(in Chinese)
[13]羅通頂,李斌康,郭明安,等.科學(xué)級CCD遠(yuǎn)程圖像采集系統(tǒng)[J].光學(xué)精密工程,2013,21(2):497-504.Luo T D,Li B K,Guo M A,et al.Remote image acquisition system with scientific grade CCD [J].Optics And Precision Engineering,2013,21(2):497-504.(in Chinese)
[14]任建偉,劉則洵,萬志,等.離軸三反寬視場空間相機的輻射定標(biāo)[J].光學(xué)精密工程,2010,18(7):1492-1499.Ren J W,Liu Z X,Wan Z,et al.Radiometric calibration of off-axis three-mirror-anastigmat space camera with wide viewing field[J].Optics And Precision Engineering,2010,18(7):1492-1499.(in Chinese)
[15]劉洪興,任建偉,李憲圣,等.基于Lighttools的大口徑積分球輻射特性仿真[J].紅外與激光工程,2013,42(4):960-965.Liu H X,Ren J W,Li X S,et al.Radiometric characteristics simulation of large aperture integrating sphere based on lighttools[J].Infrared and Laser Engineering,2013,42 (4):960-965.(in Chinese)
[16]寧永慧,郭永飛.TDI CCD拼接相機的像元響應(yīng)非均勻性校正方法[J].中國光學(xué),2013,6(3):386-393.Ning Y H,Guo Y F.Correction of pixel response non-uniformity in TDICCD mosaic camera[J].Chinese Optics,2013,6 (3):386-393.(in Chinese)