石穎超, 張路明, 陳 飛, 苑偉政, 虞益挺*
(1. 西北工業(yè)大學(xué) 寧波研究院 機(jī)電學(xué)院, 陜西 西安 710072;2. 西北工業(yè)大學(xué) 空天微納系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室 陜西省微納機(jī)電系統(tǒng)重點(diǎn)實(shí)驗(yàn)室,陜西 西安 710072)
數(shù)字微鏡器件的誕生改變了傳統(tǒng)光譜成像技術(shù)的格局。光譜成像技術(shù)不僅具有成熟的理論支撐,而且具有極強(qiáng)的發(fā)展?jié)摿Α9庾V成像系統(tǒng)不同于光譜儀,不僅能夠獲取觀測(cè)區(qū)域的光譜信息,同時(shí)也能獲取觀測(cè)區(qū)域的空間信息,實(shí)現(xiàn)“圖譜合一”。1983 年,世界上最早的一臺(tái)光譜成像儀AIS-1 誕生于美國(guó)NASA 噴氣動(dòng)力實(shí)驗(yàn)室[1]。如今,經(jīng)過(guò)40 年的發(fā)展,光譜成像技術(shù)具有多種分類標(biāo)準(zhǔn),按照掃描方式可以分為擺掃式[2]、推掃式[3]、凝視式[4]和快照式[5]等類型。
數(shù)字微鏡器件(Digital Micromirror Device,DMD)的誕生和發(fā)展與光譜成像技術(shù)處于同一時(shí)期。1982 年,DMD 被作為一種空間光調(diào)制器件誕生于德州儀器實(shí)驗(yàn)室[6],早期主要應(yīng)用在投影顯示領(lǐng)域。經(jīng)過(guò)科研人員不斷的挖掘和探索,DMD 的應(yīng)用領(lǐng)域也從傳統(tǒng)的投影顯示領(lǐng)域擴(kuò)展到無(wú)掩膜光刻[7-9]、光束整形[10-13]、全息成像[14-15]和共焦測(cè)量[16-17]等領(lǐng)域。
靈活的調(diào)制模式賦予了DMD 在光譜成像領(lǐng)域的獨(dú)特優(yōu)勢(shì),通過(guò)對(duì)成像視場(chǎng)的靈活設(shè)置,可以代替?zhèn)鹘y(tǒng)推掃式和快照式光譜成像系統(tǒng)中的機(jī)械狹縫和機(jī)械掩模版。傳統(tǒng)推掃式光譜成像系統(tǒng)通常由尺寸較大的掃描機(jī)構(gòu)和其他光學(xué)元件構(gòu)成,而DMD 的使用可以替代其中的掃描機(jī)構(gòu),在芯片級(jí)別的尺寸上實(shí)現(xiàn)推掃以及多種掃描方式[18],可以進(jìn)一步提升系統(tǒng)的穩(wěn)定性并縮小系統(tǒng)的體積。同時(shí),DMD 的微鏡陣列是一種天然的可編程掩膜版,能夠代替?zhèn)鹘y(tǒng)的機(jī)械掩模版。通過(guò)對(duì)DMD 微鏡陣列進(jìn)行編程,可以獲得諸如哈達(dá)瑪變換掩膜版等多種形式的編碼孔徑光譜成像儀[19]。近年來(lái),研究人員已提出多種基于DMD 的不同類型的光譜成像系統(tǒng)[20-21],但在應(yīng)用領(lǐng)域基于DMD 的光譜成像系統(tǒng)還存在一些難點(diǎn)亟待解決。
本文詳細(xì)介紹了兩類基于DMD 的光譜成像系統(tǒng)的組成和工作原理,一類是利用DMD 進(jìn)行推掃的光譜成像系統(tǒng),另一類是利用DMD 進(jìn)行編碼孔徑的光譜成像系統(tǒng)。除此之外,還詳細(xì)介紹了基于DMD 光譜成像系統(tǒng)具有的衍射像差和像面傾斜導(dǎo)致的像差以及消除DMD 像差的相關(guān)研究,并探討了基于DMD 的光譜成像系統(tǒng)的優(yōu)化和發(fā)展方向。
按照在光譜成像系統(tǒng)中的作用,DMD 可以分為兩大類:編碼孔徑光譜成像和推掃式光譜成像。在編碼孔徑光譜成像系統(tǒng)中,DMD 的主要功能是代替機(jī)械掩膜版實(shí)現(xiàn)可編程掩膜;在推掃式光譜成像系統(tǒng)中,DMD 的作用是代替機(jī)械狹縫完成掃描功能。DMD 作為整個(gè)光譜成像系統(tǒng)的核心器件,起著舉足輕重的作用。
DMD 的發(fā)展始于1977 年由著名物理學(xué)家拉里·霍姆貝克領(lǐng)導(dǎo)的德克薩斯儀器公司。之后,德克薩斯儀器公司獲得了美國(guó)國(guó)防部的一個(gè)項(xiàng)目,要求制造一種可以調(diào)節(jié)光線的設(shè)備。經(jīng)過(guò)多年的研究和開(kāi)發(fā),霍姆貝克提出利用微鏡作為一種開(kāi)關(guān)來(lái)調(diào)制光。Instruments Hombeck 公司在1987 年研發(fā)了第一臺(tái)數(shù)字微鏡設(shè)備[6],并于1991 年獲得DMD 設(shè)計(jì)的第一項(xiàng)專利,這是數(shù)字微鏡器件最早的原型,標(biāo)志著DMD 真正意義上的誕生。DMD 早期主要應(yīng)用于投影顯示,隨著研究人員的不斷開(kāi)發(fā),DMD的應(yīng)用領(lǐng)域越來(lái)越廣泛。
DMD 的微鏡結(jié)構(gòu)包含兩部分,一部分是位于底部的CMOS 電路,另一部分是位于上部的鋁制微機(jī)械結(jié)構(gòu),如圖1(b)所示。DMD 工作時(shí),通過(guò)底部的CMOS 電路傳輸電信號(hào),通過(guò)靜電力驅(qū)動(dòng)依附于鉸鏈上的微鏡進(jìn)行雙穩(wěn)態(tài)偏轉(zhuǎn),偏轉(zhuǎn)角度隨DMD 規(guī)格的不同而變化。需要注意的是,DMD 微鏡是沿著正方形的對(duì)角線進(jìn)行偏轉(zhuǎn)的。DMD 只有在不加電壓的情況下才會(huì)處于水平狀態(tài)。工作時(shí),每個(gè)微鏡要么處于開(kāi)態(tài),要么處于關(guān)態(tài)。
為滿足差異化的市場(chǎng)需求,如今的DMD 已經(jīng)發(fā)展成為具備多種規(guī)格、包含多種版本的系列化產(chǎn)品。芯片尺寸從0.16 英寸到0.8 英寸不等,最小顯示分辨率為320×180,最大顯示分辨率為3 840×2 160。微鏡尺寸包含5.4,7.6,10.8 和13.68 μm 多種規(guī)格。早期DMD 多偏轉(zhuǎn)±10°,當(dāng)前大多版本的DMD 的偏轉(zhuǎn)角度為±12°,±14.5°,±17°,偏轉(zhuǎn)角度的提高有助于對(duì)比度的提高。同時(shí),DMD 還具備方形和菱形[23]兩種不同的微鏡排列方式,如圖2 所示。
圖2 DMD 的排列方式Fig.2 Arrangement modes of DMD
某些型號(hào)的DMD 不僅具有可見(jiàn)光窗口,還具有紫外和近紅外窗口[24]。顯示分辨率為1 024×768 的DMD 具有多波長(zhǎng)保護(hù)窗口,因此該款DMD 成為最常用的器件。通過(guò)改變用于保護(hù)芯片的前窗的材料,可以針對(duì)不同的電磁光譜對(duì)DMD 進(jìn)行優(yōu)化。多種型號(hào)和規(guī)格的DMD,不僅可以滿足傳統(tǒng)意義上的投影與顯示應(yīng)用,還能夠滿足3D 打印、3D 掃描、機(jī)器視覺(jué)、光譜和汽車電子等領(lǐng)域的應(yīng)用[20]。
基于DMD 的編碼孔徑光譜成像系統(tǒng)通過(guò)對(duì)孔徑進(jìn)行編碼采集得到混疊光譜數(shù)據(jù),之后再進(jìn)行解碼,從而獲得目標(biāo)的三維數(shù)據(jù)立方體,實(shí)現(xiàn)光譜成像功能。按照“先編碼后色散”還是“先色散后編碼”,編碼孔徑光譜成像系統(tǒng)可以分為空間維編碼光譜成像系統(tǒng)和光譜維編碼光譜成像系統(tǒng),它們可以有效提高系統(tǒng)光通量。
圖3 為基于DMD 的空間維編碼光譜成像系統(tǒng)的基本工作原理。DMD 作為空間編碼掩膜版,目標(biāo)經(jīng)過(guò)DMD 完成空間維調(diào)制,再經(jīng)過(guò)色散元件,由探測(cè)器獲得混疊光譜信息。最后,經(jīng)過(guò)解碼過(guò)程獲得目標(biāo)的三維數(shù)據(jù)立方體。
基于DMD 的空間維編碼光譜成像的典型應(yīng)用是壓縮感知光譜成像。該技術(shù)利用空間和光譜信息在某一變換域的稀疏性,通過(guò)DMD 的空間編碼完成信息的稀疏采樣。其求解原理如下:
式中:τ為正則化系數(shù);Φ為編碼矩陣,編碼矩陣可采用哈達(dá)瑪矩陣、伯努利隨機(jī)矩陣等,加載到DMD 上完成空間維編碼;y為測(cè)量數(shù)據(jù),測(cè)量數(shù)據(jù)的維度遠(yuǎn)小于目標(biāo)數(shù)據(jù)維度;x為目標(biāo)數(shù)據(jù),可在某一變換域稀疏表示:x=Ψs,Ψ為稀疏變換矩陣,s為目標(biāo)數(shù)據(jù)的稀疏表示。求解過(guò)程是嚴(yán)格的最優(yōu)化問(wèn)題,對(duì)欠定方程組進(jìn)行迭代求解,獲得目標(biāo)數(shù)據(jù)的估計(jì)。常用的求解算法有梯度投影稀疏重建方法、兩步迭代收縮閾值方法等。
基于DMD 的空間維編碼光譜成像系統(tǒng)的結(jié)構(gòu)較為復(fù)雜。首先,編碼模板的像素與探測(cè)器的尺寸需要嚴(yán)格的比例匹配,這對(duì)光學(xué)系統(tǒng)的設(shè)計(jì)提出了很高的要求;其次,需要大面積的探測(cè)器以捕獲所有的數(shù)據(jù)信息;此外,采集數(shù)據(jù)量小而重構(gòu)的數(shù)據(jù)量大,對(duì)于圖像重構(gòu)算法也提出了很高的要求。
基于DMD 的光譜維編碼光譜成像系統(tǒng)(見(jiàn)圖4)在結(jié)構(gòu)上要先經(jīng)過(guò)色散元件進(jìn)行色散,一次色散后的混疊光譜展開(kāi)在DMD 表面,DMD 進(jìn)行光譜維度的編碼,再經(jīng)過(guò)相同的色散元件進(jìn)行合光,最終在探測(cè)器表面得到編碼后的光譜信息。經(jīng)過(guò)反編碼得到目標(biāo)的三維數(shù)據(jù)立方體。根據(jù)有無(wú)狹縫結(jié)構(gòu),系統(tǒng)又可以分為有狹縫推掃式和無(wú)狹縫快照式。帶狹縫的光譜編碼成像系統(tǒng)相當(dāng)于在傳統(tǒng)的狹縫推掃光譜成像系統(tǒng)中應(yīng)用編碼孔徑。
圖4 基于DMD 的光譜維編碼光譜成像系統(tǒng)Fig.4 Spectrally coded aperture imaging spectrometer system based on DMD
基于DMD 的光譜維編碼光譜成像的典型應(yīng)用是哈達(dá)瑪變換光譜成像。哈達(dá)瑪變換來(lái)源于稱重測(cè)量原理,由±1 組成的哈達(dá)瑪H矩陣構(gòu)成最佳天平稱重矩陣,而由0,1 組成的S矩陣構(gòu)成最佳彈簧稱重矩陣,S矩陣在工程上的使用更為廣泛。其求解原理可表示為:
式中:x為目標(biāo)數(shù)據(jù),S為組合測(cè)量矩陣,y為測(cè)量數(shù)據(jù),測(cè)量數(shù)據(jù)的維度與目標(biāo)數(shù)據(jù)維度相同,e為單次測(cè)量時(shí)的誤差。這是對(duì)正定方程組進(jìn)行求解。該技術(shù)主要利用多路復(fù)用測(cè)量原理,通過(guò)對(duì)多個(gè)待測(cè)目標(biāo)的多次組合測(cè)量以提高信噪比和光通量,如使用N階S矩陣進(jìn)行測(cè)量,信噪比可達(dá)到單次測(cè)量的N/2 倍,因此,該方法特別適合信噪比低或弱光環(huán)境下的光譜成像。
與基于DMD 的空間維編碼光譜成像系統(tǒng)相比,基于DMD 的光譜維編碼光譜成像系統(tǒng)在光學(xué)系統(tǒng)上更加復(fù)雜,需要增加一組額外的合光元件,而且合光元件并不能實(shí)現(xiàn)完全合光。如果使用一對(duì)光柵進(jìn)行分光與合光,那僅能完成光柵一個(gè)級(jí)次的合光。隨著編碼次數(shù)的增加,實(shí)時(shí)性變?nèi)?。不過(guò),基于DMD 的光譜維編碼光譜成像系統(tǒng)的圖像重構(gòu)算法比較簡(jiǎn)單。
基于DMD 的推掃式光譜成像方式可以分為兩種:照明推掃和成像推掃。照明推掃是將DMD 與照明系統(tǒng)集成為DLP(Digital Light Processing),如圖5(a)所示,依次按列照明目標(biāo)。被照亮的目標(biāo)區(qū)域?qū)⒐夥瓷溥M(jìn)入后續(xù)物鏡和分光系統(tǒng)中,最終探測(cè)器得到每一列的光譜數(shù)據(jù)立方體,通過(guò)數(shù)據(jù)處理可以獲得目標(biāo)的完整三維數(shù)據(jù)立方體。這種推掃方式多用于微觀目標(biāo),如顯微光譜成像領(lǐng)域。
圖5 兩種基于DMD 的推掃式光譜成像系統(tǒng)Fig.5 Two different push-broom spectral imaging systems based on DMD
成像推掃的主要工作原理是將DMD 放置在物鏡L1的像面處,目標(biāo)經(jīng)物鏡一次成像在DMD微鏡表面,如圖5(b)所示。DMD 逐列進(jìn)行掃描,依次將目標(biāo)圖像反射到后續(xù)分光光路中,每一列圖像經(jīng)過(guò)分光光路色散,由探測(cè)器捕獲到每一列的光譜數(shù)據(jù)。完成掃描后,將獲得整個(gè)目標(biāo)的光譜數(shù)據(jù)立方體。
推掃式光譜成像系統(tǒng)除了具有光學(xué)系統(tǒng)進(jìn)行成像、準(zhǔn)直和會(huì)聚等功能之外,往往需要分光元器件進(jìn)行分光,分光元器件通常選用棱鏡或者光柵。它們各有優(yōu)缺點(diǎn),棱鏡的色散屬于非線性色散,光譜分辨率較低,但光通量較大;而光柵的色散屬于線性色散,光譜分辨率高,但是存在不同的衍射級(jí)次,導(dǎo)致光通量減少,同時(shí)不同級(jí)次之間的不同波長(zhǎng)還存在重疊,因此限制了波段的有效范圍,實(shí)際使用時(shí)應(yīng)根據(jù)需要擇優(yōu)選取。
基于DMD 的推掃式光譜成像系統(tǒng)的優(yōu)勢(shì)在于系統(tǒng)結(jié)構(gòu)簡(jiǎn)單,不需要復(fù)雜的光譜標(biāo)定和輻射標(biāo)定過(guò)程,也不需要復(fù)雜的圖像處理算法,空間分辨率和光譜分辨率都比較高。但基于DMD 的推掃式光譜成像系統(tǒng)的缺點(diǎn)也比較明顯,即按列掃描的方式導(dǎo)致系統(tǒng)單次曝光的光通量小。當(dāng)目標(biāo)光強(qiáng)較弱時(shí),需要延長(zhǎng)曝光時(shí)間以增強(qiáng)光信號(hào),這可能會(huì)增加系統(tǒng)的采集時(shí)間。
由于DMD 具有優(yōu)良的空間光調(diào)制特性,1995 年佛羅里達(dá)大學(xué)化學(xué)系的Wagner II 使用最早版本的數(shù)字微鏡光調(diào)制器研制了一臺(tái)基于DMD 的可見(jiàn)光光譜儀[25]。微鏡陣列是一種天然的哈達(dá)瑪變換掩膜版,隨著DMD 產(chǎn)品的逐漸成熟,DMD 開(kāi)始應(yīng)用于哈達(dá)瑪變換光譜儀領(lǐng)域[26-33]。DMD 不僅推動(dòng)了哈達(dá)瑪變換光譜儀的發(fā)展,也促進(jìn)了編碼孔徑光譜成像技術(shù)的發(fā)展。
在20 世紀(jì)末21 世紀(jì)初期,已經(jīng)有介紹DMD特性[34]及其在成像和光譜方面潛在應(yīng)用的相關(guān)報(bào)道[35-37]。這些早期研究對(duì)基于DMD 的光譜成像應(yīng)用具有極其重要的作用,不僅介紹了DMD的相關(guān)特性,還進(jìn)行了實(shí)驗(yàn)驗(yàn)證,為后續(xù)的研究奠定了基礎(chǔ)。
2001 年,美國(guó)的Sandia 國(guó)家實(shí)驗(yàn)室首次提出將DMD 應(yīng)用于光譜成像[38],他們采用雙Offner結(jié)構(gòu),將DMD 放置在第一塊光柵的色散平面上,完成光譜維哈達(dá)瑪變換編碼,經(jīng)過(guò)第二塊光柵的合光,最終在探測(cè)器上獲得編碼后的色散光譜維數(shù)據(jù)。2002 年,他們又提出了一種新型簡(jiǎn)化版的色散光譜成像系統(tǒng)[39],其結(jié)構(gòu)與圖5(b)推掃式光譜成像系統(tǒng)相似。
深耕哈達(dá)瑪變換光譜成像領(lǐng)域數(shù)十年的堪薩斯州立大學(xué)的Hammaker 團(tuán)隊(duì),于2002 年提出了一種基于DMD 的新型光譜成像儀[40],該光譜成像儀使用一個(gè)DMD 和一個(gè)單像素探測(cè)器以消色散的模式工作在近紅外波段。同年,喬治梅森大學(xué)的Christensen 提出了一種主動(dòng)眼技術(shù)[41],這是一種用于高動(dòng)態(tài)范圍高光譜成像的自適應(yīng)逐像素圖像分割傳感器架構(gòu),如圖6(a)所示。該架構(gòu)包含兩個(gè)光學(xué)支路,一個(gè)支路用來(lái)獲得光譜信息,一個(gè)支路用來(lái)獲取空間信息。
圖6 基于DMD 的編碼孔徑光譜成像儀的光路結(jié)構(gòu)Fig.6 Optical layout of coded aperture imaging spectrometer based on DMD
2006 年,美國(guó)Spectral Science 的Goldstein 等提出了天基自適應(yīng)光譜成像儀[42],該儀器采用曲面光柵和一個(gè)較大的球面反射鏡優(yōu)化了光學(xué)系統(tǒng)。2009 年,他們以此為基礎(chǔ)搭建了基于DMD的高光譜成像系統(tǒng)原型樣機(jī)并進(jìn)行了測(cè)試[43]。2013 年,他們更深入地完善了系統(tǒng),搭建了紅外波段的自適應(yīng)光譜成像儀,并對(duì)系統(tǒng)進(jìn)行更深入的測(cè)試,測(cè)試目標(biāo)包含特定環(huán)境中的一些氣體[44]。2015 年,他們的研究進(jìn)一步向工程化和實(shí)用化邁進(jìn),搭建了一套便攜式、遠(yuǎn)距離的光譜成像相機(jī)用于檢測(cè)氣體流出物和殘留物[45]。
2010 年,中國(guó)科學(xué)院西安光機(jī)所的孫鑫研究了基于DMD 的天基哈達(dá)瑪變換光譜成像探測(cè)技術(shù)[46]。2012 年,他更詳細(xì)地介紹了多路復(fù)用和哈達(dá)瑪變換光譜成像原理等[47],并搭建了基于DMD 技術(shù)的哈達(dá)碼變換光譜成像儀,如圖6(b)所示。
2009 年,美國(guó)洛斯阿拉莫斯國(guó)家實(shí)驗(yàn)室的Love 提出了一種基于DMD 的可編程濾光器和哈達(dá)瑪變換光譜成像儀[48]。在后續(xù)的幾年內(nèi),Graff和Love 持續(xù)進(jìn)行這方面的研究,相繼提出了基于DMD 的全幀可編程光譜濾波器[49]、自適應(yīng)光譜成像儀[50]以及面向?qū)崟r(shí)化學(xué)檢測(cè)的光譜成像儀[51],并首次提出了使用兩個(gè)正交光柵或前置DMD 消除DMD 衍射效應(yīng)的方法,如圖7(a)所示。
圖7 基于DMD 的編碼孔徑光譜成像儀Fig.7 Aperture-coded spectrometers based on DMD system
2006 年,Rice 大學(xué)的Takhar 等基于壓縮傳感原理,使用DMD 構(gòu)建了單像素壓縮成像相機(jī)[52]。2008 年,他們針對(duì)該方向進(jìn)行了更為深入的研究,詳細(xì)探究了基于DMD 的單像素壓縮傳感成像的原理[53]及DMD 在太赫茲成像領(lǐng)域的應(yīng)用[54]。2011 年,美國(guó)特拉華大學(xué)的研究人員提出了一種基于DMD 的壓縮傳感快照式光譜成像系統(tǒng),如圖7(b)所示[55-57],該系統(tǒng)將基于DMD 的光譜成像技術(shù)與壓縮傳感原理結(jié)合起來(lái),進(jìn)一步提高了采集速度。2014 年,清華大學(xué)的林欣等提出了一種基于DMD 的雙編碼壓縮高光譜成像系統(tǒng)[58],提升了壓縮重構(gòu)算法的質(zhì)量。2020 年,北京理工大學(xué)的許昌等提出了一種雙色自適應(yīng)編碼超分辨壓縮光譜成像方法[59],提高了高光譜成像儀的重構(gòu)分辨率和精度。同年,K. Optronics的Zhou 等提出一種壓縮編碼的高光譜視頻成像儀[60],可以獲得視頻速率的高光譜成像數(shù)據(jù)。
2016 年,中國(guó)科學(xué)院上海技物所的張昊研究了基于DMD 的編碼孔徑光譜成像儀的關(guān)鍵技術(shù)[19],并搭建了基于DMD 的編碼孔徑光譜成像儀樣機(jī)。2018 年,中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院的馬翠研究了基于DMD 的編碼光譜成像儀,并探究了哈達(dá)瑪變換、傅里葉變換和壓縮感知等多種編碼方式[61]。
經(jīng)過(guò)數(shù)十年的蓬勃發(fā)展,基于DMD 的編碼孔徑光譜成像技術(shù)日趨成熟,雖然具有更高的光通量和采集速度,但更依賴于編碼和解碼的算法。
相較于基于DMD 的編碼孔徑光譜成像系統(tǒng),起步較晚的基于DMD 的推掃式光譜成像系統(tǒng)則顯得小眾,但這并不阻礙推掃式光譜成像系統(tǒng)展現(xiàn)自身的優(yōu)勢(shì)。
2003 年,德國(guó)高技術(shù)研究所的Wuttig 等提出了一種基于自研MEMS 微鏡的靈敏哈達(dá)瑪變換光譜成像儀[62]。這種微鏡按列排布進(jìn)行哈達(dá)瑪變換推掃,獲得光譜數(shù)據(jù),不僅提高了信噪比,也提高了光通量。2007 年,歐洲聯(lián)合實(shí)驗(yàn)室的Bednarkiewicz 等提出了一種基于數(shù)字微鏡的高光譜成像技術(shù)[63],使用DMD 順序照亮樣本的不同區(qū)域,通過(guò)光譜相機(jī)獲得光譜成像數(shù)據(jù),是一種照明推掃方式。
2016 年,澳大利亞的Arablouei 等提出了一種基于DMD 的推掃式光譜成像技術(shù),如圖8(a)所示[18],他們利用DMD 的雙通性,使用一個(gè)通路進(jìn)行光譜成像,一個(gè)通路作為輔助支路進(jìn)行輔助成像,實(shí)現(xiàn)了可見(jiàn)光波段快速、穩(wěn)健的推掃式光譜成像。2017 年,Hsu 等利用基于DMD 的DLP技術(shù)依次順序照亮樣本,實(shí)現(xiàn)樣本表面的推掃式顯微高光譜成像技術(shù),也是一種照明推掃方式[64]。
2019 年,本課題組提出一種基于DMD 的高光譜成像系統(tǒng),如圖8(b)所示[65],該系統(tǒng)通過(guò)DMD 按列偏轉(zhuǎn)實(shí)現(xiàn)高光譜成像。2021 年,我們繼續(xù)深入研究,提出了一種基于DMD 的空間分辨率和光譜分辨率可調(diào)的顯微高光譜成像系統(tǒng),如圖8(c)所示[66]。
2020 年,新加坡國(guó)立大學(xué)的Yi 等提出了一種基于DMD 的推掃式哈達(dá)瑪變換高光譜成像技術(shù),如圖8(d)所示[67]。與前述Arablouei 等的工作具有異曲同工之處[18],但他們利用DMD 的雙通性質(zhì)構(gòu)建了兩個(gè)支路,其中一個(gè)支路是輔助成像系統(tǒng),可以提前觀測(cè)正在成像的區(qū)域。
基于DMD 的推掃式光譜成像系統(tǒng)由于通光孔徑的限制,需要較長(zhǎng)的采集時(shí)間,但高的空間分辨率及光譜分辨率是該系統(tǒng)的優(yōu)勢(shì)。
DMD 在光譜成像系統(tǒng)中的使用會(huì)引入兩類像差:衍射和像面傾斜。這兩類像差都是由DMD 本身的結(jié)構(gòu)引入的。由于DMD 微鏡陣列已經(jīng)達(dá)到微米尺度,所以會(huì)產(chǎn)生衍射現(xiàn)象,會(huì)對(duì)成像質(zhì)量造成一定的影響。而像面傾斜主要是由于DMD 的光軸與鏡頭的光軸不匹配以及DMD 自身微鏡的等效傾斜鏡面造成的。這兩類像差會(huì)對(duì)編碼孔徑和推掃式光譜成像系統(tǒng)產(chǎn)生不良影響。
DMD 由數(shù)百萬(wàn)個(gè)排列整齊的微鏡組成,這些微鏡所構(gòu)成的微觀結(jié)構(gòu)在光入射到DMD 表面上時(shí)會(huì)產(chǎn)生衍射現(xiàn)象。對(duì)于不同的應(yīng)用場(chǎng)景,衍射的作用有利有弊,但在光譜成像領(lǐng)域,DMD 的衍射會(huì)降低像質(zhì),是有害的。
為消除或抑制DMD 的衍射,構(gòu)建DMD 的衍射模型是必要的。關(guān)于DMD 的衍射模型,已經(jīng)有不少研究人員進(jìn)行了這方面的研究[68-75]。衍射模型的建立有助于在光學(xué)系統(tǒng)設(shè)計(jì)之前找到最佳的系統(tǒng)參數(shù),包括波長(zhǎng)、微鏡間距、入射角和濾波器尺寸,以提高對(duì)比度和衍射效率。
總的來(lái)說(shuō),消除或抑制DMD 衍射的方法主要有兩種[48],第一種是使用與DMD 刻線數(shù)相同刻線數(shù)的兩個(gè)正交光柵來(lái)消除DMD 的二維衍射效應(yīng);另一種方法是使用一個(gè)DMD 消除另一個(gè)DMD 的衍射效應(yīng)。第二種方法目前已經(jīng)實(shí)現(xiàn),Liu 等在2021 年使用兩個(gè)DMD 和4f系統(tǒng)搭建了編碼孔徑的寬光場(chǎng)成像系統(tǒng),如圖9(a)所示,其中一個(gè)DMD 用來(lái)消除另一個(gè)DMD 的色散[76],獲得了不錯(cuò)的效果。
兩種消除DMD 衍射效應(yīng)的方法都是利用雙光柵的匯合光譜特性[77],但只能消除一個(gè)級(jí)次的衍射現(xiàn)象,其他級(jí)次的衍射依然會(huì)影響成像效果,因此還需要添加光闌來(lái)濾除其他級(jí)次的衍射。此外,通過(guò)算法和圖像處理也可以解決該問(wèn)題。
像面傾斜是由DMD 的光軸與鏡頭的光軸不匹配以及DMD 自身微鏡的等效傾斜鏡面造成的。這一問(wèn)題的直接表現(xiàn)為矩形像變形為平行四邊形像,同時(shí)由像面傾斜導(dǎo)致的部分離焦,導(dǎo)致部分區(qū)域成像模糊的現(xiàn)象。
像面傾斜的解決方法需要從光學(xué)系統(tǒng)設(shè)計(jì)層面入手。2020 年,中國(guó)科學(xué)院西安光機(jī)所的武鑫在研究基于DMD 的自適應(yīng)分類光譜成像系統(tǒng)時(shí)[78],針對(duì)DMD 和光柵引起的嚴(yán)重色差問(wèn)題,采用光線追跡方法對(duì)成像過(guò)程進(jìn)行分析,通過(guò)焦距匹配法解決了光學(xué)系統(tǒng)中色散光無(wú)法完全復(fù)合的問(wèn)題。2020 年,長(zhǎng)春理工大學(xué)的王月旗針對(duì)基于DMD 的編碼孔徑光譜成像光學(xué)系統(tǒng),詳細(xì)分析了DMD 反射鏡與普通反射鏡的區(qū)別,以及DMD 在光學(xué)系統(tǒng)中引入的像面傾斜,如圖9(b)所示,提出必須根據(jù)沙姆原理將探測(cè)器表面傾斜相應(yīng)的角度減小像面傾斜的影響,從而保證DMD 平面與探測(cè)器平面具有物象共軛關(guān)系[79]。2021 年,長(zhǎng)春理工大學(xué)的趙雨時(shí)提出了一種用雙DMD Offner 系統(tǒng)消除DMD 像面傾斜的方法[80],使用一個(gè)空間維DMD 完美地補(bǔ)償了光譜維編碼中紅外光譜成像系統(tǒng)引入DMD 時(shí)像面傾斜的問(wèn)題,如圖9(c)所示。2022 年,中國(guó)科學(xué)院西安光機(jī)所的楊瑩提出在光學(xué)系統(tǒng)設(shè)計(jì)時(shí)通過(guò)鏡片的偏心和傾斜使成像像面與DMD 表面匹配,如圖9(d)所示,解決了在Hadamard 編碼紅外光譜成像系統(tǒng)中DMD 像面傾斜的問(wèn)題[81]。
總的來(lái)說(shuō),為解決DMD 像面傾斜的問(wèn)題,需要通過(guò)光學(xué)系統(tǒng)設(shè)計(jì)合理地解決該問(wèn)題。
本文詳細(xì)介紹了基于DMD 的編碼孔徑和推掃式光譜成像技術(shù)的工作原理和發(fā)展進(jìn)程,重點(diǎn)介紹了DMD 在不同系統(tǒng)中扮演的主要角色。DMD 作為一種反射式空間光調(diào)制器,其具備的像素級(jí)控光能力,既能夠獲得靈活的編碼調(diào)制模板,也可以構(gòu)建快速推掃模式,能夠代替?zhèn)鹘y(tǒng)光譜成像領(lǐng)域中的機(jī)械式掩膜版和機(jī)械狹縫,推動(dòng)光譜成像系統(tǒng)的發(fā)展。除此之外,本文還針對(duì)DMD 自身結(jié)構(gòu)帶來(lái)的對(duì)光譜成像造成負(fù)面影響的兩個(gè)關(guān)鍵性問(wèn)題:衍射和像面傾斜,總結(jié)了這些問(wèn)題的普適性解決辦法,有助于研究人員在使用DMD 的光譜成像領(lǐng)域乃至于其他相關(guān)應(yīng)用領(lǐng)域改善成像質(zhì)量、提升光學(xué)系統(tǒng)性能。綜上所述,基于DMD 的光譜成像技術(shù)具有靈活可調(diào)制的特點(diǎn),已經(jīng)發(fā)展出多種面向不同應(yīng)用場(chǎng)景的光譜成像系統(tǒng)。歷經(jīng)數(shù)十年,DMD 在光譜成像及其他領(lǐng)域依然具有廣闊的應(yīng)用前景和發(fā)展?jié)摿Α?/p>
由于DMD 本身存在衍射和像面傾斜問(wèn)題,這可能會(huì)嚴(yán)重影響光譜成像質(zhì)量。雖然DMD 作為一種成熟的微光機(jī)電系統(tǒng)已經(jīng)得到了廣泛的應(yīng)用,但在諸如ZEMAX,Lighttools 及Code V 等光學(xué)設(shè)計(jì)軟件中,難以對(duì)DMD 的衍射效果和像面傾斜問(wèn)題進(jìn)行有效的模擬和分析,這不利于光學(xué)系統(tǒng)設(shè)計(jì)。如果能夠在仿真過(guò)程中輕松地獲得DMD 的衍射和像面傾斜,通過(guò)采用合理的光學(xué)系統(tǒng)設(shè)計(jì)方案,在設(shè)計(jì)階段就能解決衍射和像面傾斜問(wèn)題,那么研究人員在系統(tǒng)構(gòu)建和成像調(diào)試方面的效率將大大提高。
提高光譜成像系統(tǒng)的數(shù)據(jù)采集和處理效率以實(shí)現(xiàn)實(shí)時(shí)成像是一個(gè)重要的研究方向?;贒MD 的推掃式光譜成像系統(tǒng)具備高的空間分辨率和光譜分辨率,但采集時(shí)間長(zhǎng)且效率低。而基于DMD 的編碼孔徑光譜成像系統(tǒng)則具備高采集效率,但需要較長(zhǎng)的圖像后處理時(shí)間,空間分辨和光譜分辨率較低。雖然采集效率和空間、光譜分辨率之間存在不可忽視的權(quán)衡關(guān)系,但在盡量短的時(shí)間內(nèi)獲得盡量高的空間和光譜分辨率是一個(gè)值得研究的問(wèn)題。
為了提高推掃式光譜成像系統(tǒng)的采集效率,可以引入并行掃描等多路復(fù)用掃描方式。在基于DMD 的編碼孔徑光譜成像中,增加編碼次數(shù)獲得多張編碼圖像可以提高系統(tǒng)的空間和光譜分辨率。此外,結(jié)合深度學(xué)習(xí)創(chuàng)建智能解碼和圖像重構(gòu)算法,可以提升數(shù)據(jù)處理效率。同時(shí),在光譜數(shù)據(jù)立方體中存在許多的冗余信息,通過(guò)對(duì)目標(biāo)光譜的選擇性處理和自適應(yīng)成像來(lái)縮減數(shù)據(jù)量,也可以大大提高系統(tǒng)的采集和處理效率。
DMD 具有高度的靈活性和可編程性,同時(shí)還具有雙光路的特性,可以結(jié)合其他成像技術(shù)實(shí)現(xiàn)多模態(tài)成像。將基于DMD 的光譜成像與光學(xué)相干成像相結(jié)合,可以實(shí)現(xiàn)同時(shí)獲取目標(biāo)結(jié)構(gòu)和光譜信息的多模態(tài)成像。將DMD 的光譜成像與偏振成像相結(jié)合,可以同時(shí)獲得目標(biāo)的偏振信息和光譜信息,為材料表征和生物醫(yī)學(xué)等領(lǐng)域提供更全面的信息。此外,基于DMD 的光譜成像還可與熒光成像、超分辨率成像等技術(shù)相結(jié)合,從不同角度提供更豐富的圖像信息,進(jìn)一步拓展多模態(tài)成像的應(yīng)用領(lǐng)域。
隨著微納技術(shù)的進(jìn)步,研究人員正致力于將DMD 芯片進(jìn)一步微型化,以適應(yīng)便攜設(shè)備和微型系統(tǒng)的需求。這意味著更小尺寸的DMD 芯片可以在手機(jī)、智能眼鏡和其他便攜設(shè)備中嵌入,實(shí)現(xiàn)實(shí)時(shí)高速光譜成像。集成化是一個(gè)重要的發(fā)展方向。將DMD 與其他相關(guān)技術(shù),如微型鏡頭、微型分光元器件、微型圖像傳感器等進(jìn)行集成,以實(shí)現(xiàn)更全面和多功能的光譜成像系統(tǒng)。這種集成化的方法可以提高系統(tǒng)的性能和效率,同時(shí)減少設(shè)備的體積和功耗。DMD 技術(shù)的小型化和集成化還為微型系統(tǒng)的應(yīng)用提供了更廣闊的空間。如在醫(yī)療領(lǐng)域,DMD 的小型化和集成化可以用于無(wú)創(chuàng)光譜成像,以幫助醫(yī)生進(jìn)行疾病診斷和監(jiān)測(cè)。