彩色夜視技術(shù)方法綜述

蔣云峰，武東生，黃富瑜

(陸軍工程大學(xué)石家莊校區(qū) 電子與光學(xué)工程系， 石家莊 050000)

引 言

夜視技術(shù)是通過光電成像器件來探測夜間目標(biāo)的技術(shù)[1-3]，它能夠通過光探測器和成像設(shè)備的采集、處理和顯示等過程將肉眼在夜間無法辨別的目標(biāo)轉(zhuǎn)換成可視目標(biāo)[4]。從1929年柯勒發(fā)明的銀氧銫光陰極為標(biāo)志，開始了夜視技術(shù)的研究。傳統(tǒng)夜視技術(shù)主要分為微光夜視技術(shù)和紅外夜視技術(shù)。目前，紅外夜視儀、熱像儀以及微光夜視儀等夜視設(shè)備已具有成熟的理論和技術(shù)，但它們獲得的夜視圖像均為單色的灰度圖像，很容易有其它物體對目標(biāo)造成干擾，這對人眼對于目標(biāo)的識別造成了困難[5-7]。

人眼對于灰度級識別僅為幾十種，但對于顏色的識別可達到上千種[8]，色彩信息可極大增強人眼對目標(biāo)的識別概率，經(jīng)試驗，彩色圖像相比灰度圖像可提高識別速率30%，可減少誤識率60%[9]。在監(jiān)視、偵察和安全應(yīng)用等應(yīng)用領(lǐng)域，彩色圖像比單色圖像有兩個主要優(yōu)點。首先，顏色可以改善對比度[10]，從而實現(xiàn)更好的場景分割和物體檢測。這種對比度改進可以應(yīng)用于真彩色和假彩色圖像，其中偽彩色圖像可以通過融合來自具有不同光譜靈敏度的相機(例如可見光)的圖像來形成[11]。顏色的第2個好處是它提供了更多信息?？梢岳脤Υ竽X或計算機數(shù)據(jù)庫中存儲的顏色知識的訪問來更好地實現(xiàn)對象識別和場景理解[12]，這個優(yōu)點僅適用于真彩色圖像。所以，為了更好地應(yīng)用夜視圖像的色彩信息，彩色夜視技術(shù)越來越受到關(guān)注[13]。

彩色夜視技術(shù)既可依靠圖像亮度差別，又可依靠顏色差別識別目標(biāo)。相比于傳統(tǒng)的單色夜視儀器，其圖像細節(jié)信息極大豐富，夜視作用距離顯著提高[14]。彩色夜視技術(shù)主要經(jīng)歷了兩個階段：一是偽彩色階段，二是真彩色階段[15]。真彩色夜視技術(shù)致力于得到與人眼在白晝條件下與可見光波段相吻合的、色彩信息更加接近物體真實顏色的彩色夜視圖像[16]，它相比偽彩色夜視圖像進一步提高了目標(biāo)的識別速率和正確率，所以具有很高的實際意義和應(yīng)用價值。彩色夜視儀器在夜間偵察、作戰(zhàn)、醫(yī)療、交通、監(jiān)視等領(lǐng)域具有重要的應(yīng)用價值[17]。例如：夜間作戰(zhàn)人員利用彩色夜視儀器可迅速判斷景物地形，正確進行敵我識別、偽裝識別，提高人員與武器裝備操作的協(xié)調(diào)性，提升精確打擊能力；夜間軍事戰(zhàn)爭中，醫(yī)療救助人員可依靠彩色夜視儀器準(zhǔn)確判斷傷員位置、受傷程度，縮短醫(yī)療救助時間，為傷員的生命救助帶來更多的可能性；利用彩色夜視儀器進行監(jiān)視夜間犯罪行為，可為警方提供更多的犯罪細節(jié)信息，為案件偵破帶來更多的幫助。所以，無論在軍事或是民用領(lǐng)域，均具有廣泛的應(yīng)用前景。

國外對于彩色夜視技術(shù)十分重視，目前已有不少產(chǎn)品投入軍事和民用領(lǐng)域。許多研究表明，與單色圖像相比，彩色圖像的場景理解、反應(yīng)時間和物體識別更快、更準(zhǔn)確[18]。20世紀70年代，荷蘭便已開始了彩色夜視技術(shù)的研究，但未成功[19]。直至上世紀80、90年代，美國、日本、加拿大等國家都進行了彩色夜視設(shè)備的深入研究，如荷蘭代爾夫特(Delft)公司研制出利用兩個不同光譜響應(yīng)的探測器探測到同一場景的不同波段圖像，將其融合后得到假彩色圖像[19]；美國伍德公司研制出全彩色夜視攝像機，它能夠?qū)崿F(xiàn)在獲取圖像的同時，對視頻圖像進行增強[20]。2006年，OKSI公司對采用不同真彩色夜視方案的兩臺真彩色夜視攝像機的分辨率、圖像對比度、色彩再現(xiàn)保真度、信噪比等性能進行了測試[15]，第1臺攝像機是在定制的第3代圖像增強型互補金屬氧化物半導(dǎo)體(complementary metal oxide semiconductor,CMOS)探測器前使用快速切換液晶濾波器，第2臺攝像機則將馬賽克濾波器直接置于電子倍增電耦合器件(electron-multiplying charge-coupled device，EMCCD)前，這兩臺攝像機于當(dāng)時均處于原型機階段，并未投產(chǎn)。2014年，日本一款新相機FALCON EYE KC-2000作為第一款專門用于錄制夜間或全彩色低光場景的攝像機問世，它的分辨率可達到1280像素×720像素，這就意味著不僅可以獲得看起來像是在白天拍攝的圖像，還可以看到比從數(shù)碼相機或?qū)Ｓ靡挂晹z像頭獲得的更多細節(jié)[15]。

目前，我國軍用領(lǐng)域主要裝備傳統(tǒng)微光夜視儀、紅外夜視儀和紅外熱像儀，對于彩色夜視裝備的研究與制備刻不容緩。以南京理工大學(xué)和北京理工大學(xué)為代表的國內(nèi)高校和研究所從20世紀90年代開始，一直致力于彩色夜視技術(shù)的研究和實驗驗證[21]。北京理工大學(xué)的JIN和GAO等人對彩色融合算法、配準(zhǔn)技術(shù)、色彩傳遞以及結(jié)果圖像效果評價做出深入研究，其主要涉及到微光雙譜融合、微光與長波紅外熱圖像融合、紫外與微光圖像融合、多光譜彩色融合夜視技術(shù)以及激光助視融合彩色夜視技術(shù)進行了大量研究。北京理工大學(xué)光電工程系提出一種基于視覺拮抗模型的非線性圖像增強與線性組合法結(jié)合的混合結(jié)構(gòu)融合法，較MIT法更為簡單、實時性更好且融合更佳[4]。南京理工大學(xué)開展了多項彩色夜視技術(shù)的研究，例如微光雙譜彩色夜視技術(shù)、微光與紅外彩色夜視技術(shù)、激光注視彩色夜視技術(shù)，涉及到光譜分割點的確定、圖像融合算法的研究以及彩色夜視系統(tǒng)的構(gòu)建等相關(guān)內(nèi)容[22]。另外，昆明物理研究所、西安電子科技大學(xué)關(guān)于圖像配準(zhǔn)與圖像融合技術(shù)也取得長足進展[23]。

現(xiàn)國外僅有為數(shù)不多的報道與真彩夜視儀器相關(guān)，但這些報道只是簡單介紹產(chǎn)品，并沒有描述彩色夜視技術(shù)的具體設(shè)計和實施方案，例如來自日本的新相機FALCON EYE KC-2000、美國Tenebraex公司研制的ColorPathTM彩色夜視儀(color capable night vision device,CCNVD)。北京理工大學(xué)等高校對于彩色夜視技術(shù)進行了深入研究。本文中著重介紹目前了解到的彩色夜視技術(shù)的幾種方式。

1 硬件方式

硬件方式也稱為直接方式[23]，它是基于彩色夜視系統(tǒng)中硬件平臺的設(shè)計實現(xiàn)彩色夜視圖像的實時處理。一種方式是利用人眼視覺的暫留效應(yīng)通過同一目標(biāo)不同顏色圖像迅速切換，在人眼形成一幅彩色圖像。OKSI公司2007年推出一款彩色夜視相機，如圖1所示。它通過在第3代像增強CMOS探測器前增加液晶濾光片，其透過顏色可通過驅(qū)動電壓調(diào)節(jié)，使得分次曝光后獲得同一視場不同顏色的圖像，最后進行圖像重構(gòu)獲得具有自然感彩色的可視圖像。因其液晶濾光片可在1ms內(nèi)迅速轉(zhuǎn)換，故此系統(tǒng)具有很好的實時性。

圖1 OKSI公司推出的一款彩色夜視相機

另一種硬件方式是采用光能增強的方式[24]。事實上，夜間目標(biāo)的輻射或反射光中是存在光譜(顏色)信息的，因此，只要將夜間目標(biāo)的光能進行放大處理，利用彩色相機完全可以獲得目標(biāo)的彩色圖像。1996年，McDonnell Douglas 公司推出一款彩色夜視頭盔，它分別由物鏡、像增強器、電光濾波器以及目鏡組成。由物鏡接收低照度條件下場景的輻射能，像增強器將其能量放大增強后，經(jīng)過電路控制的電光濾波器后可獲得不同顏色狀態(tài)(紅、綠、藍)的增強的視場圖像，最終人眼通過目鏡觀察到彩色夜視圖像。此過程需保持控制電路產(chǎn)生高頻信號控制電光濾波器，從而視覺中形成的圖像不會閃爍。近期，美國研制的X27第4代全彩夜視儀不僅具備將夜晚變成如白晝條件下的景象，還支持4K畫質(zhì)輸出，使得黑夜與白晝幾無差別。

2 軟件方式

軟件方式又稱間接方式[15]，它包括基于多傳感器圖像融合的方法和基于顏色轉(zhuǎn)換的方法，其中基于融合的方法是通過多個傳感器采集分光譜圖像進行融合得到彩色圖像，而基于顏色轉(zhuǎn)換的方法則是通過與參考圖像作對比，使當(dāng)前的灰度圖像轉(zhuǎn)換為彩色圖像[6]。

2.1 基于多傳感器圖像融合的方法

多個傳感器可采集多個分波段圖像，例如微光、近紅外、短波紅外、中波紅外和長波紅外圖像，它們攜有不同的顏色信息，故經(jīng)圖像融合后可顯示為彩色圖像[25]。圖像融合算法的選擇則更具有靈活性，可根據(jù)不同的目的需求調(diào)整融合算法。大致分為以下4個步驟：(1)采集夜視分波段源圖像；(2)源圖像預(yù)處理；(3)源圖像間組合得到處理后圖像；(4)將處理后圖像映射到彩色空間得到彩色夜視圖像。其中第(3)步源圖像間組合可分為線性組合法和非線性組合法[26]，亦可跳過此步驟直接進行映射[10]。

最為典型的是美國麻省理工學(xué)院林肯實驗室開發(fā)的MIT(Massachusetts Institute of Technology)法[9]，它基于生物視覺特性，將微光與紅外圖像融合。人的視網(wǎng)膜分為on域和off域(統(tǒng)稱為感受野)，它們分別對光照具有興奮和抑制的作用。on感受野增強中心，抑制周邊，而off感受野正好相反，這就是拮抗處理過程，此過程可增強圖像的對比度。中心-周邊感受野神經(jīng)動力學(xué)方程如下：

(1+Eij)[G(s)×I2]

(1)

(2)

式中，E是增強后的圖像；I1是使感受野中心興奮的輸入圖像；I2是使感受野周邊抑制的輸入圖像；G(s)為高斯函數(shù)的縮寫形式；i,j為像素位置；A,C為調(diào)節(jié)參量。

MIT法的基本思路為：(1)使用中心-周邊神經(jīng)分離網(wǎng)絡(luò)分別使微光圖像和紅外圖像對比度增強;(2)使用中心-周邊神經(jīng)分離網(wǎng)絡(luò)，將微光圖形送入中心，紅外圖像送入周邊，形成單拮抗彩色對比度圖像;(3)將以上得到的圖像經(jīng)過色彩空間映射成一幅彩色圖像。圖2為MIT法基本流程圖。而后在此基礎(chǔ)上對MIT法做了許多改進，得到了不錯的效果。

圖2 MIT法基本流程圖

2.2 基于色彩傳遞的方法

有學(xué)者于2001年提出一種顏色轉(zhuǎn)換的思想[27]，即將一幅圖像賦予與參考圖形顏色類似的彩色圖像。TOET于2003年通過一幅具有自然感彩色的參考圖像用色彩傳遞的方法使一幅經(jīng)過直接映射得到的夜視圖像“賦予了自然感彩色”。圖3是TOET得到的彩色夜視圖像。

圖3 TOET色彩傳遞方法的效果圖

a—直接映射得到彩色圖像 b—具有自然感彩色的參考圖像 c—經(jīng)色彩傳遞后得到的彩色夜視圖像

2008年，TOET通過建立2維查找表的方法使雙通道微光夜視圖像輸出彩色圖像，為彩色夜視的實時性處理帶來便利，可實現(xiàn)視頻處理[28-30]。他的方法流程如下：(1)將參考圖像顏色傳遞給雙通道夜視融合圖像；(2)得到的彩色夜視融合圖像與雙通道的分波段圖像的灰度信息建立色彩查找表；(3)通過查找表實現(xiàn)實時輸出彩色夜視圖像[31-32]。

自TOET提出基于色彩傳遞的彩色夜視方法提出后，許多學(xué)者熱衷于如何將參考圖像的自然感彩色信息“傳遞”給融合圖像。2008年，北京理工大學(xué)開發(fā)了基于雙數(shù)字信號處理的實時自然感彩色彩色融合處理板，它實現(xiàn)基于色彩傳遞的融合實時處理，將微光圖像與紅外熱像儀圖像融合后獲得具有自然感彩色的彩色夜視圖像[15]。

目前，基于色彩傳遞的方法已廣泛應(yīng)用于彩色夜視技術(shù)中，其獲得的彩色夜視圖像相比于多波段圖像融合得到的假彩色夜視圖像的色彩更符合人眼視覺特性，具有自然感彩色以及較好的實時性。

3 結(jié)束語

彩色夜視技術(shù)對于人類社會的發(fā)展具有重要意義。本文中敘述了夜視技術(shù)背景、彩色夜視技術(shù)的發(fā)展[18]，詳細分述了彩色夜視技術(shù)兩種工作方式中的幾種方法。彩色夜視技術(shù)可分為硬件方式和軟件方式，在文中對于每一種工作方式均做出闡述與舉例，并對其彩色夜視效果做了簡要說明。其中通過硬件方式的彩色夜視技術(shù)具有更好的實時性，并具有良好的色彩效果；而通過軟件合成的方式具有更好的可調(diào)節(jié)性和可操作性，可人為根據(jù)目的需求調(diào)整處理算法[33-34]，達到最佳的色彩效果。

對于彩色夜視技術(shù)工作方式的幾種方法，均有待對其關(guān)鍵技術(shù)進行完善[35-36]。例如基于色彩傳遞的方法得到彩色夜視圖像的色彩效果基本取決于參考圖像或者查找表，基于融合的方法對于實時處理速度要高的條件不適用，而基于硬件方式的色彩處理效果直接受到傳感器性能的制約。所以，彩色夜視技術(shù)還有很大的發(fā)展空間[36]。