基于暗電流CMOS圖像傳感器固定模式噪聲校正研究

李 強(qiáng), 金龍旭, 李國(guó)寧

(中國(guó)科學(xué)院 長(zhǎng)春光學(xué)精密機(jī)械與物理研究所, 吉林 長(zhǎng)春 130033)

1 引 言

隨著半導(dǎo)體技術(shù)的發(fā)展，在固體成像技術(shù)中，CMOS有源像素傳感器具有功耗小、高分辨率、操作簡(jiǎn)單、片上系統(tǒng)集成方便等優(yōu)點(diǎn)，使得CMOS應(yīng)用越來越廣泛，逐步替代CCD圖像傳感器[1-2]。然而在CMOS應(yīng)用過程中，由于CMOS傳感器自身固有的結(jié)構(gòu)特點(diǎn)，形成CMOS傳感器的固定模式噪聲(Fixed Pattern Noise,FPN)，限制了CMOS圖像傳感器的應(yīng)用。所以對(duì)CMOS圖像傳感器固定模式噪聲的研究及相關(guān)校正技術(shù)的開發(fā)引起廣泛關(guān)注。

CMOS傳感器FPN主要是指不隨積分時(shí)間變化、在均勻光照條件下像元與像元之間輸出響應(yīng)的相對(duì)不一致性所形成的噪聲。FPN主要包括兩種類型：(1)由輸出放大電路偏置及像元暗電流所形成的偏置FPN(Offset FPN)，此類FPN通過幀間相減法可以有效抑制[3-4]；(2)由輸出放大電路增益不一致性引入的增益FPN(Gain FPN)，此類FPN嚴(yán)重影響了圖像質(zhì)量。目前消除增益FPN噪聲的方法有很多種：(1)基于神經(jīng)網(wǎng)絡(luò)非均勻性校正[5]；(2)基于估計(jì)的非線性校正[1]；(3)采用圖像處理方法對(duì)CMOS圖像數(shù)據(jù)進(jìn)行低通濾波處理；(4)基于灰度補(bǔ)償?shù)姆蔷鶆蛐孕Ｕ萚6]。除了第3種處理方法外，其余校正方法都需要一個(gè)復(fù)雜的校正系統(tǒng)，在均勻光照條件下，采集CMOS圖像，并計(jì)算相應(yīng)的校正系數(shù)。此類方法盡管校正效果顯著，但是校正系統(tǒng)及算法均復(fù)雜，并且在實(shí)時(shí)性與自適應(yīng)性方面有很大的限制。

隨著CMOS半導(dǎo)體工藝的發(fā)展，像元間的FPN最大為1 LSB，1 s積分時(shí)間暗電流本底圖像最大輸出僅僅為0.5 LSB[7]。本文深入分析FPN的形成機(jī)制，提出了一種基于暗電流固定模式噪聲校正方法：在無快門情況下，基于暗電流本底圖像，完成對(duì)CMOS圖像傳感器固定模式噪聲校正。與傳統(tǒng)方法相比較，此方法具有實(shí)時(shí)性、自適應(yīng)性等優(yōu)點(diǎn)，并且校正算法簡(jiǎn)單，不需要復(fù)雜的校正系統(tǒng)定期對(duì)CMOS傳感器進(jìn)行定標(biāo)校正。所以對(duì)此校正方法進(jìn)行深入研究，具有實(shí)際意義。

2 CMOS圖像傳感器結(jié)構(gòu)及噪聲分析

2.1 CMOS圖像傳感器結(jié)構(gòu)及工作原理

本文以安森美公司的NOIP1SN1300A圖像傳感器作為研究對(duì)象，具有像素內(nèi)相關(guān)雙采樣(Correlated Double Sampling，CDS)功能。圖1為傳感器系統(tǒng)框圖。

片外處理器通過SPI (Serial Peripheral interface)總線對(duì)傳感器進(jìn)行配置，控制信號(hào)(Control Signal)實(shí)現(xiàn)對(duì)傳感器上電復(fù)位及積分時(shí)間控制。CMOS傳感器內(nèi)部Control & Register 模塊產(chǎn)生相應(yīng)時(shí)序控制信號(hào)，首先根據(jù)積分時(shí)間控制信號(hào)完成光電轉(zhuǎn)換過程，行譯碼器(Row Decoder)自上而下逐行選通像素矩陣(Pixel Array)，列放大模塊(Column Structure)具有多個(gè)相互獨(dú)立模擬放大器，對(duì)當(dāng)前選通的行像素所輸出光電壓進(jìn)行放大，以提高動(dòng)態(tài)響應(yīng)范圍。所以CMOS傳感器在垂直方向上，同一列像元會(huì)共用一個(gè)模擬放大器。最后模擬通道(Analog channel)中集成的ADC (Analog to Digital Converter)完成模擬量到數(shù)字量轉(zhuǎn)換，通過輸出選擇器(Output Mux)輸出數(shù)字圖像數(shù)據(jù)。像素矩陣(Pixel Array)由獨(dú)立像元按著一定的排列方式排列組成。

傳統(tǒng)3T有源像元結(jié)構(gòu)如圖2所示，此像元結(jié)構(gòu)由光電二極管D1、復(fù)位晶體管M1、源跟隨器M2及選擇晶體管M3組成。Cint為源跟隨器M2等效寄生輸入電容，RESET與SELECT分別為復(fù)位控制信號(hào)及選擇控制信號(hào)[8]。

圖2 3T有源像元

3T像元控制時(shí)序簡(jiǎn)圖如圖3所示，T1時(shí)刻復(fù)位晶體管M1開啟，寄生電容Cint復(fù)位充電，T2復(fù)位充電結(jié)束，此時(shí)光電二極管D1兩端反向偏置電壓為Vrst如式(1)所示：

Vrst=VDD-Vth，

(1)

式中，Vth為復(fù)位晶體管M1管壓降。

圖3 像元控制時(shí)序簡(jiǎn)圖

T2時(shí)刻開始光電轉(zhuǎn)換，光電二極管D1受到光照形成光電流，實(shí)現(xiàn)對(duì)寄生電容Cint放電，電壓VG如公式(2)所示：

(2)

式中,Ipd及Ileak分別為光電流及漏電流，T為積分時(shí)間，C為寄生輸入電容Cint容值。設(shè)源極跟隨器處于飽和狀態(tài)，并且忽略開關(guān)信號(hào)SEL的影響，則像元光電響應(yīng)輸出與積分時(shí)間關(guān)系如式(3)、(4)所示：

Vout=VG-VGS,SF，

(3)

(4)

式(4)中，VTN、WSF、LSF為源極跟隨器閾值電壓，半導(dǎo)體材料有效長(zhǎng)度和寬度，IB為偏置電流，uN為遷移率，Cox為單位面積柵極氧化物等效電容。像元輸出到模擬讀出電路如圖4所示。

圖4 模擬讀出電路

模擬讀出電路包括CDS功能模塊及可編程模擬增益放大器PGA (Programmable Gain Amplifier)：像元復(fù)位時(shí)刻，開關(guān)SHR關(guān)閉，復(fù)位電壓儲(chǔ)能電容Cr完成充電，充電完成后開關(guān)SHR保持開關(guān)狀態(tài)。像元積分時(shí)間結(jié)束T3，開關(guān)SHS關(guān)閉，像元電壓儲(chǔ)能電容Cs進(jìn)行充電，充電結(jié)束時(shí)，該電容兩端電壓為Vout。經(jīng)過 CDS后，像元輸出Voutpixel如式(5)所示：

.

(5)

由式(5)可知，CDS功能模塊可以有效抑制由于復(fù)位電壓和開關(guān)管等因素所引入的噪聲。

Voutpixel經(jīng)過增益為G的可編程模擬增益放大器，像元輸出電壓VApixel如式(6)所示：

VApixel=G×Voutpixel+Voffset，

(6)

式中，Voffset為放大器偏置電壓，以設(shè)置放大電路靜態(tài)工作點(diǎn)，確保電路工作在線性放大區(qū)。經(jīng)ADC轉(zhuǎn)換后，最終量化為10 bit灰度值VNpixel：

(7)

式中，Vref為ADC轉(zhuǎn)換器參考電壓。

2.2 CMOS圖像傳感器的FPN噪聲分析

由式(5)、(6)可知：

(8)

3 基于暗電流的固定模式噪聲校正

由公式(8)可知，由暗電流所形成像元本底圖像：

.

(9)

光電二極管反向漏電流，在很小的反向電壓變化范圍內(nèi)，漏電流Ileak在溫度不變條件下近似恒定。由公式(9)可知：(1)像元本底圖像與積分時(shí)間T成線性關(guān)系；(2)兩幅本底圖像采集積分時(shí)間分別為T1與T2，且T1>T2，并進(jìn)行幀間相減處理，消除由放大器引入的偏置噪聲Voffset，則單個(gè)像元本底輸出變化量為：

.

(10)

基于以上分析，提出基于暗電流CMOS固定模式噪聲校正方法，具體流程圖如圖5所示。

圖5 基于暗電流CMOS固定模式噪聲校正流程圖

具體步驟描述如下：

(1)采集積分時(shí)間為Tfr，本底圖像Ifr作為本底參考圖像。

(2)采集積分時(shí)間為T，且T

(3)采集積分時(shí)間同為T，本底圖像為Ifloor。

(4)本底圖像輸出變化量δIfloor=Ifr-Ifloor，則第i行，第j列像元校正系數(shù)Eij：

(11)

式中，M，N分別為CMOS傳感器輸出圖像行列尺寸。

(5)幀減法消除偏置噪聲IFPN,由式(7)、(9)得出：

.

(12)

(6)最終校正后輸出圖像Ifinalij：

Ifinalij=IFPNij×Eij(1

.

(13)

為了探究由暗電流所形成的本底圖像與積分時(shí)間關(guān)系，將圖像采集系統(tǒng)置于暗室，同時(shí)遮擋鏡頭，以100 ms為起始積分時(shí)間，3 000 ms為終止時(shí)間，100 ms為步長(zhǎng)。每一個(gè)積分時(shí)間采集10幅本底圖片。求出圖像灰度均值并通過最小二乘法進(jìn)行曲線擬合，擬合曲線如圖6。

圖6 圖像灰度與積分時(shí)間擬合曲線

由圖6可知，CMOS傳感器本底圖像輸出與積分時(shí)間具有較好的線性關(guān)系，進(jìn)一步驗(yàn)證了式(9)的正確性。

對(duì)不同積分時(shí)間的本底圖像進(jìn)行非均勻性校正處理，計(jì)算校正前后方差結(jié)果如表1。1 s積分時(shí)間本底圖像校正前后對(duì)比如圖7所示。

表1 本底圖像校正前后對(duì)比

(a)1 s校正前(a) 1 s before correction

(b) 1 s校正后(b) 1 s after correction

4 實(shí)驗(yàn)驗(yàn)證及分析

如前所述，本底圖像是在沒有光照條件下，本實(shí)驗(yàn)采用150 W鎢燈作為光源，照明積分球產(chǎn)生均勻漫反射光，積分球采用Labsphere公司生產(chǎn)的xth-2000c型號(hào)，開口直徑為50.8 cm(20 in)。實(shí)驗(yàn)系統(tǒng)實(shí)物圖如圖8所示。

分別采集兩個(gè)積分時(shí)間CMOS圖像，為了排除RGB三基色光電轉(zhuǎn)化效率的影響，對(duì)輸出圖像的三基色RGB分別求取方差，校正前后對(duì)比結(jié)果如表2所示。實(shí)驗(yàn)結(jié)果表明：(1)本底圖像輸出與積分時(shí)間具有較好的線性關(guān)系；(2)對(duì)于本底圖像FPN進(jìn)行校正，具有很好的校正效果，圖像方差降低1～2個(gè)數(shù)量級(jí)；(3)對(duì)均勻光照條件下CMOS圖像進(jìn)行校正，發(fā)現(xiàn)校正后圖像方差增大2個(gè)數(shù)量。經(jīng)過分析，在暗電流固定模式噪聲校正方法中，以CMOS各像元之間暗電流Ileak相等為前提條件，校正系數(shù)Eij=f(Gij)。但實(shí)際應(yīng)用過程中，像元間暗電流Ileak存在非一致性，實(shí)際校正系數(shù)Eij為暗電流Ileak與放大器增益G的函數(shù)，即Eij=f(Ileakij,Gij)。所以對(duì)本底圖像校正具有較好效果。但是對(duì)于均勻光照CMOS圖像，消除偏置FPN圖像IFPN為光電流Ipd及放大器增益G的函數(shù)，即IFPNij=g(Ipdij,Gij)，校正后圖像Ifinalij=g(Ipdij,Gij)×f(Ileakij,Gij)，對(duì)于均勻光照條件下進(jìn)行的暗電流FPN校正，由于每一像元間的光電響應(yīng)度不一致性所引入的FPN噪聲影響顯著，導(dǎo)致最終校正前后的圖像灰度方差反而增大2個(gè)數(shù)量級(jí)。暗電流方法適用于暗場(chǎng)FPN校正。

圖8 實(shí)驗(yàn)系統(tǒng)實(shí)物圖

表2 均勻光照下校正前后對(duì)比結(jié)果

5 結(jié) 論

本文深入分析CMOS傳感器FPN噪聲形成機(jī)理及影響因素，針對(duì)由讀出放大電路增益不一致引入的增益FPN，提出了基于暗電流的固定模式噪聲校正方法，分別對(duì)本底圖像及均勻光照?qǐng)D像進(jìn)行校正處理，并比對(duì)校正前后的圖像計(jì)算灰度方差。結(jié)果表明：對(duì)本底圖像的校正效果明顯，校正后圖像灰度方差降低，而對(duì)均勻光照?qǐng)D像處理，圖像灰度方差增大。盡管當(dāng)前CMOS工藝已達(dá)到像元間FPN最大1 LSB，在均勻光照條件下，單個(gè)像元光電響應(yīng)不一致性導(dǎo)致校正后圖像方差增大。所以由像元的光電響應(yīng)不一致所導(dǎo)致的FPN在光照情況下不能忽略，并且有較嚴(yán)的影響。該結(jié)果對(duì)由暗電流形成的本底圖像及固定模式噪聲校正方法的深入研究具有一定的參考意義。