EBCMOS相機(jī)盲元檢測方法的研究

蔡寧靜，曾祥忠，王 波

（1.西安郵電大學(xué) 電子工程學(xué)院，陜西 西安 710065；2.西安中川光電科技有限公司，陜西 西安 710065；3.西安北方光電科技防務(wù)有限公司，陜西 西安 710065）

引言

圖像傳感器是相機(jī)中光電轉(zhuǎn)化的核心器件[1]，一個(gè)圖像傳感器中包含幾十萬至幾百萬個(gè)光電轉(zhuǎn)換單元——像素。在傳感器制造過程中，不可避免地受材料、工藝的影響，會有一定數(shù)量的光電轉(zhuǎn)換單元存在缺陷:對光不敏感，甚至失去光電轉(zhuǎn)換的功能，這就是盲元[2]，又可稱為“壞點(diǎn)”，表現(xiàn)在圖像上是與周圍像素點(diǎn)完全不連續(xù)的、突兀的點(diǎn)。EBCMOS 作為新的光電探測器件，結(jié)合了光電陰極的高靈敏度、電子轟擊半導(dǎo)體的高增益[3]和CMOS 半導(dǎo)體器件的高幀速率、低功耗、數(shù)字化顯示等優(yōu)點(diǎn)[4]，同時(shí)又具備制備結(jié)構(gòu)簡單、體積小、相對噪聲低等特點(diǎn)[5]，在天文觀察、高能物理、微光夜視以及遙感測繪等領(lǐng)域具有廣闊的前景。但是盲元的存在，嚴(yán)重影響了EBCMOS相機(jī)圖像的質(zhì)量和視覺感受，進(jìn)而影響后續(xù)的圖像分析和處理工作。有效、準(zhǔn)確的盲元檢測算法不僅對消除盲元為后續(xù)處理帶來的影響具有實(shí)際的意義和價(jià)值，也是評價(jià)EBCMOS 探測器的重要指標(biāo)[6]。

目前常用的盲元檢測算法都是針對紅外探測器的，主要分為基于場景檢測法和定標(biāo)法，均涉及閾值的選取，不恰當(dāng)?shù)拈撝等菀自斐擅ぴ穆┡泻瓦^判?；趦煞N基本算法，研究者提出了很多改進(jìn)的盲元檢測算法，最新的有基于滑動窗口的盲元檢測算法[7]，基于一種支持向量機(jī)的檢測算法[8]，分步搜索策略的自適應(yīng)盲元檢測算法[9]，基于時(shí)域平均野值提取的盲元檢測算法[10]，基于超像素分割的紅外盲元檢測算法[11]等。定標(biāo)法需要長時(shí)間打斷系統(tǒng)的正常工作，通過黑體成像來獲取單幀或連續(xù)幀的的均勻輻射圖像[12]。紅外器件中像素值表現(xiàn)較高的過熱像元，基本不受外界輻射的影響，雖然EBCMOS的像元響應(yīng)值偏亮，但也會隨外界光照的變化而變化，所以針對紅外器件的定標(biāo)法不完全適用于EBCMOS 探測器盲元的檢測。場景檢測法通過分析圖像中盲元噪聲特性，設(shè)置合適閾值或視覺參數(shù)判定出盲元位置[13]，能夠?qū)崿F(xiàn)對盲元的實(shí)時(shí)檢測。場景法基于圖像自身數(shù)據(jù)進(jìn)行檢測，在圖像數(shù)據(jù)被嚴(yán)重破壞時(shí)，這類算法受到一定的限制。

1 檢測原理

一般來說，相機(jī)“盲元”有2個(gè)顯著特點(diǎn)：一是對光不敏感，表現(xiàn)在圖像上是突兀的亮點(diǎn)，也就是不論光照如何，盲元對應(yīng)圖像都是亮點(diǎn)；另一個(gè)是位置固定，即亮點(diǎn)圖像坐標(biāo)值固定不變。根據(jù)這2個(gè)特點(diǎn)，可以實(shí)現(xiàn)盲元的檢測。

通過調(diào)節(jié)相機(jī)的光圈大小，采集4種具有灰度差的均勻背景。由于盲元在圖像中表現(xiàn)為突兀且不連續(xù)的亮點(diǎn)，其灰度值大于像元的真實(shí)像素值。本文從表象入手，設(shè)置閾值用來分離盲點(diǎn)和正常的像素元，并對盲點(diǎn)位置進(jìn)行標(biāo)記。

1）對單幅圖像I設(shè)置閾值生成二值圖像Im。遍歷圖像I，找出像素值大于等于閾值的像元位置，將二值圖像Im對應(yīng)位置的像元像素值標(biāo)記為255，其余的像元像素值標(biāo)記為0，方法如公式（1）所示：

式中：I(x,y)為圖像I第x行、第y列像元的像素值；Im(x,y)為二值圖像中第x行、第y列像元的像素值；T為動態(tài)輸入的閾值。

2）選取不同的圖像I，改變閾值的大小，生成不同的二值圖像Im，并統(tǒng)計(jì)每個(gè)Im中像素值標(biāo)記為255的像元個(gè)數(shù)和位置。

3）多幅圖像交叉計(jì)算確定盲元個(gè)數(shù)和位置，生成檢測模板M。由于盲元是相機(jī)的固有缺陷，在每幅圖像上的位置固定，故經(jīng)過步驟1）生成的不同于二值圖像上盲元位置的像素值都會被標(biāo)記為255。但是，Im中標(biāo)記為255的像元不僅包括盲元，還包括噪聲導(dǎo)致的隨機(jī)點(diǎn)，故采用不同平均灰度值的圖像按照步驟1）生成對應(yīng)的二值圖像Im，然后將不同二值圖像Im相同位置像元相與：如果一個(gè)位置的像元在不同Im中像素值均為255，則將模板M中該位置像元像素值標(biāo)記為255，否則標(biāo)記為0，如公式（2），剔除只在某些圖像上存在的標(biāo)記點(diǎn)，得到盲元檢測模板M。

式中：Im(x,y)為二值圖像Im第x行、第y列像元的像素值；M(x,y)為模板中第x行、第y列像元的像素值。

2 原理驗(yàn)證與模板生成

按照檢測原理中的步驟1）將平均灰度值分別為32、38、53、57的圖像經(jīng)過不同的閾值處理生成對應(yīng)的二值圖像，統(tǒng)計(jì)被標(biāo)記為255的像元個(gè)數(shù)，如表1所示。

表1 不同二值圖像相與結(jié)果舉例Table1 Examples of “ and” results for different binary images

實(shí)驗(yàn)表明，閾值設(shè)置越低，二值圖像中的標(biāo)記點(diǎn)越多，交叉計(jì)算的模板與二值圖像中的標(biāo)記點(diǎn)個(gè)數(shù)相差越大，導(dǎo)致模板中的隨機(jī)亮點(diǎn)無法被完全剔除。閾值設(shè)置太高時(shí)，會漏檢一些盲元。對于實(shí)驗(yàn)所用相機(jī)，交叉計(jì)算結(jié)果個(gè)數(shù)為9時(shí)，模板中盲元個(gè)數(shù)趨于穩(wěn)定。盲元原始圖像和模板圖像如圖1所示，圖1(a)、圖1(d)、圖1(g)、圖1(j)分別為平均亮度為32、38、53、57的帶盲元原始圖像。為了便于觀察，將灰度原圖中的亮點(diǎn)用標(biāo)記，圖1(b)、圖1(e)、圖1(h)、圖1(k)分別為平均亮度為32、38、53、57 對應(yīng)的紅色圓圈標(biāo)記圖像；圖1(c)為圖1(a)在閾值為60下生成的模板；圖1(f)為圖1(d)在閾值為60下生成的模板；圖1(i)為圖1(g)在閾值為65下生成的模板；圖1(l)為圖1(j)在閾值為65下生成的模板。

圖1 原始圖像和閾值處理之后的模板Fig.1 Original images and templates after thresholding

由圖1(c)、圖1(f)、圖1(i)、圖1(l)可知，不同二值圖像中像素值被標(biāo)記為255的像元個(gè)數(shù)不同，且無法直接觀察確定盲元的位置是否相同，需要進(jìn)行多幅圖像交叉計(jì)算。將圖1(c)、圖1(f)生成的二值圖像按照檢測原理中的步驟2)進(jìn)行交叉計(jì)算，生成圖2(a)；將圖1(i)、圖1(l)進(jìn)行交叉計(jì)算，生成圖2(b)；將圖2(a)、圖2(b)交叉計(jì)算生成圖2(c)，結(jié)果如圖2所示。

圖2 交叉“相與“計(jì)算后模板Fig.2 Cross “and” calculation templates

圖2(a)中有11個(gè)標(biāo)記點(diǎn)，說明11個(gè)標(biāo)記點(diǎn)同時(shí)出現(xiàn)在平均灰度為32、38的圖像中。圖2(b)中有9個(gè)標(biāo)記點(diǎn)，說明9個(gè)標(biāo)記點(diǎn)同時(shí)出現(xiàn)在平均灰度為53、57的圖像中。圖2(a)和圖2(b)相差2個(gè)標(biāo)記點(diǎn)，可以確定這2個(gè)標(biāo)記點(diǎn)為隨機(jī)亮點(diǎn)。將圖2(a)和圖2(b)交叉計(jì)算形成最終模板圖2(c)，圖2(c)中有9個(gè)盲元，說明這9個(gè)盲元同時(shí)出現(xiàn)在實(shí)驗(yàn)所用的圖像中，可以認(rèn)為該相機(jī)至少存在9個(gè)固定盲元。

3 實(shí)驗(yàn)結(jié)果與性能比較

為了便于觀察，用紅色圓圈標(biāo)示出帶目標(biāo)原始圖像圖3（a）中的盲元如圖3（b），圖3（c）為圖3（a）根據(jù)最終模板圖2（c）進(jìn)行中值補(bǔ)償后的圖像。實(shí)驗(yàn)表明，經(jīng)過圖像交叉計(jì)算生成的模板，對同一相機(jī)的盲元實(shí)時(shí)補(bǔ)償效果明顯，算法效率較高，適用于EBCMOS相機(jī)的使用場景。

圖3 盲元檢測與補(bǔ)償圖像Fig.3 Blind element detection and compensation images

盲元模板與相機(jī)屬于相互對應(yīng)的關(guān)系，所以模板上面標(biāo)記的盲元位置以及盲元重復(fù)出現(xiàn)的次數(shù)至關(guān)重要，因此對檢測算法的穩(wěn)定性要求較高。選用同一相機(jī)的不同原始圖像，采用基于時(shí)域平均和空域平均的野值提取的盲元檢測算法[14]和基于可調(diào)閾值窗口的盲元檢測算法[15]以及本文算法對不同的原始圖像重復(fù)實(shí)驗(yàn)10次，統(tǒng)計(jì)模板中固定盲元出現(xiàn)的次數(shù)。實(shí)驗(yàn)表明，本文算法生成的最終模板中固定盲元被檢概率為100%，具有很好的穩(wěn)定性。而參考文獻(xiàn)[14]和參考文獻(xiàn)[15]的算法，固定盲元坐標(biāo)被檢概率在90%左右，結(jié)果如表2所示。

表2 算法穩(wěn)定性比較Table2 Comparison of algorithm stability

4 評估與取舍

實(shí)際應(yīng)用中，考慮到資源和運(yùn)算效率，需要對模板中的盲元標(biāo)記點(diǎn)進(jìn)行評估與取舍。盲元對圖像的影響與它所在的位置有關(guān)，位置坐標(biāo)可以作為取舍盲元的依據(jù)。對于一幅分辨率為n×m的圖像，中心點(diǎn) (x0,y0)如公式（3）所示，盲元位置(x,y)根據(jù)公式（4）判斷盲元距離中心點(diǎn)的距離d。如果d過大，可以認(rèn)為該盲元由于位置偏離中心點(diǎn)過大，可以被刪除。

公式（5）和公式（6）中，col、row分別為圖像的行數(shù)和列數(shù)。如圖4所示，根據(jù)距離d的大小，將圖像分為中心區(qū)域、中間區(qū)域、四周區(qū)域。以圖像中心點(diǎn)坐標(biāo)為圓心，坐標(biāo)在半徑為d1的圓內(nèi)屬于中心區(qū)域，坐標(biāo)在半徑為d2的圓內(nèi)屬于中間區(qū)域，其余部分屬于四周區(qū)域。

圖4 圖像區(qū)域劃分Fig.4 Image area division

本次實(shí)驗(yàn)所用圖片分辨率為500×500，盲元檢測模板中有9個(gè)盲元，將這9個(gè)盲元所處位置的坐標(biāo)讀出。并將坐標(biāo)按照距離中心點(diǎn)(x0,y0)=(250,250)的距離分類，取d1=125，取d2=166，如表3所示，實(shí)驗(yàn)表明，該相機(jī)固定盲元中心區(qū)域有4個(gè)，必須對這幾個(gè)盲元補(bǔ)償，剩下的盲元所處位置處于四周區(qū)域，距離中心點(diǎn)較遠(yuǎn)，可根據(jù)實(shí)時(shí)性要求選擇性補(bǔ)償。

表3 盲元所屬區(qū)域統(tǒng)計(jì)Table3 Regional statistics of blind element

5 結(jié)論

本文根據(jù)盲元的大小和位置在每幀圖像中始終不變這一特點(diǎn)，提出閾值提取加多幅圖像交叉計(jì)算的算法，生成與相機(jī)一對一的盲元檢測模板。從盲元檢測的穩(wěn)定性出發(fā)，比較了參考文獻(xiàn)[14]、參考文獻(xiàn)[15]和本文算法，實(shí)驗(yàn)表明，相機(jī)固定盲元在本文算法檢測中被檢概率為100%，其穩(wěn)定性優(yōu)于其他算法。最后根據(jù)盲元與圖像中心的距離對盲元進(jìn)行評估取舍，用于模板的優(yōu)化，形成既切合實(shí)際應(yīng)用又提高圖像質(zhì)量的最終模板作為盲元補(bǔ)償模板。實(shí)際應(yīng)用表明，本文算法盲元檢測準(zhǔn)確率高，應(yīng)用于實(shí)時(shí)盲元補(bǔ)償效果非常顯著。