基于自校驗的單像素成像系統(tǒng)動態(tài)干擾去除方法*

張健 陳家霖 陳笑然 冒添逸 沈姍姍 何睿清?

1)(南京工程學(xué)院信息與通信工程學(xué)院,南京 211167)

2)(南京郵電大學(xué)地理與生物信息學(xué)院,南京 210023)

3)(南京工業(yè)職業(yè)技術(shù)大學(xué)航空工程學(xué)院,南京 210023)

單像素成像系統(tǒng)通過對目標(biāo)場景的多次調(diào)制,獲取相應(yīng)的單像素測量值,并由此重構(gòu)圖像.在這一過程中,如果其他物體侵入成像場景,會嚴(yán)重影響測量值的準(zhǔn)確性,降低重構(gòu)圖像質(zhì)量.由于侵入物體的反射率,形態(tài)均具有一定的隨機性,因此從桶探測器信號的角度很難有效分離出受干擾信號.針對這一問題,基于哈達瑪矩陣的特征,提出了一套自校驗方法,即利用桶探測器自身測量值進行正確性校驗,篩選出未受干擾的桶探測器信號,顯著提升了重構(gòu)圖像的質(zhì)量.該方法適用于一般性成像場景,且不需要引入額外的調(diào)制圖像輔助校驗,有力推動了單像素成像技術(shù)的實用化進程.

1 引言

單像素成像技術(shù)起源于量子成像技術(shù)[1,2],近年來得到廣泛關(guān)注.與傳統(tǒng)成像方法相比,單像素成像技術(shù)具有更寬的光譜響應(yīng)范圍,更快的響應(yīng)速度以及更高的靈敏度,在高速成像[3?6]、微光成像[7?9]以及特殊波段成像[10?13]方面具有極大的應(yīng)用潛力.

當(dāng)前制約單像素成像實際應(yīng)用的關(guān)鍵因素是采樣時間長和成像質(zhì)量低.為了提高效率應(yīng)減少采樣時間,學(xué)者們在單像素成像的求解過程和調(diào)制方法方面開展了大量研究.在求解方法方面,單像素成像的求解主要依賴于壓縮感知算法[14],該算法利用圖像的稀疏性,打破了奈奎斯特采樣定理的限制,為低采樣率下的圖像重構(gòu)提供了有效手段.在調(diào)制方法方面,研究人員通常采用正交性較好的哈達瑪矩陣作為測量矩陣,該方法也稱為哈達瑪單像素成像(HSI).為了獲得更好的重構(gòu)效率,HSI 可以采用特定的采樣順序來獲取系數(shù),讓更重要的系數(shù)排在前面以便實時獲取目標(biāo)圖像的絕大部分信息[15].為此,Zhang等[16]研究了HSI 中使用的鋸齒形、方形和圓形采樣順序.此外,其他采樣順序如俄羅斯套娃(Russian doll)[17]、蛋糕切割法(cake cut)[18]和折紙法(origami)[19]等都比自然順序表現(xiàn)更好.

另一方面,由于單像素成像機理與傳統(tǒng)成像完全不同,研究人員從多個角度建立了單像素成像的成像模型,分析噪聲對于其成像性能的影響.Jauregui-Sánchez等[20]建立了一個單像素相機的模型,不僅考慮了入射光的特性,還考慮了探測器的物理特性.特別是該模型考慮了用作光檢測器的光電二極管的光電流、暗電流、光電流散粒噪聲、暗電流散粒噪聲和約翰遜-奈奎斯特(熱)噪聲的影響.在電信號和最終圖像質(zhì)量之間建立了清晰的關(guān)系.Sun等[21]對基于焦平面調(diào)制的單像素成像系統(tǒng)中影響重建圖像質(zhì)量的每個系統(tǒng)組件的噪聲進行了研究,建立了一個噪聲模型來描述這些不同噪聲源的綜合影響,并進行了數(shù)值模擬量化影響的分析.該項研究為評估單像素成像系統(tǒng)的性能提供了一種簡單而準(zhǔn)確的方法.Jiang等[22]提出將信號采集過程中的噪聲分為乘性噪聲(如照明強度的波動噪聲、采樣矩陣畸變產(chǎn)生的噪聲和傳輸介質(zhì)散射噪聲等)和加性噪聲(如光電探測器的暗噪聲和背景雜散光產(chǎn)生的噪聲等),并分析了不同重構(gòu)算法、不同采樣策略對圖像質(zhì)量的影響.

現(xiàn)有的單像素成像系統(tǒng)的理論模型大部分都是在成像環(huán)境穩(wěn)定的情況下建立的.但在實際成像情況下,可能存在其他物體“侵入”目標(biāo)場景.這種動態(tài)干擾使得桶探測器測量值無效,并導(dǎo)致重構(gòu)圖像質(zhì)量嚴(yán)重下降.由于目標(biāo)場景與動態(tài)干擾都具有隨意性,因此其反射率、干擾時間、干擾物的移動路徑均不確定,從而難以直接通過桶探測器的測量值進行去除.

針對這一問題,本文提出了一種檢驗正確信號的方法,有效篩選了無干擾或受干擾較小的信號,剔除了受干擾嚴(yán)重的信號.仿真和實驗均表明,本方法可以有效提高重構(gòu)圖像質(zhì)量,也為單像素成像技術(shù)的實用化開辟了新的思路.

2 原理

當(dāng)T不變時,ui在不考慮干擾和噪聲的情況下是一個常數(shù),因此可以利用ui的大小判斷是否存在動態(tài)干擾.但在實際情況中,探測器噪聲、背景光照等因素使得ui不可能為一個常數(shù).此外,動態(tài)干擾的類型,對探測器的擾動程度都不確定.針對這個問題,本文提出通過統(tǒng)計的方法,對因動態(tài)干擾導(dǎo)致的錯誤信號進行識別和剔除.為了保證一般性,本文主要考慮非稀疏場景(稀疏度較低)的異常信號去除,因此在實驗中采用全采樣,同時默認(rèn)大部分信號沒有受到干擾,干擾的總比例作為先驗知識,但是在哪一幀存在干擾未知.算法如圖1 所示,流程如下:

步驟1計算ui.假設(shè)Hi的大小為N×N,那么共有N2個ui需要計算.如圖1(a)—(d)所示.

步驟2統(tǒng)計ui的直方圖,如圖1(e)所示.橫坐標(biāo)為ui的強度,假設(shè)采集到的ui最大值,最小值分別記為和.分段區(qū)域個數(shù)為K,那么每一段的強度范圍為/K,縱坐標(biāo)為第k個區(qū)間內(nèi)包含的組數(shù),記為Nk(k1,2,···,K),那么ui對應(yīng)的分布直方圖如圖1(e)所示.

步驟3無干擾信號的生長方法.選擇直方圖中Nk(k1,2,···,K)中的最大值對應(yīng)的下標(biāo)作為初始生長位置,并將其標(biāo)記為紅色,然后從初始生長位置向兩邊生長(如圖1(e)中黃色箭頭所示),每一次迭代向兩側(cè)生長一個位置,經(jīng)過生長的區(qū)域所包含的總組數(shù)的比例記為η.在迭代過程中如果遇到了邊界,則該方向生長停止.當(dāng)η＞η0,則迭代停止,η0為生長比例閾值,通常不小于干擾比例ε.當(dāng)生長停止時,生長部分為不受干擾的信號,該方法可以獲取正確的ui的數(shù)值范圍,標(biāo)記為紅色(如圖1(f)所示),這些正確的組對應(yīng)的桶探測器數(shù)值同樣被標(biāo)記為紅色(如圖1(g)和圖1(h)所示),用于重構(gòu).本文采用壓縮感知算法進行重構(gòu):

其中I為待測圖像,為利用(4)式得到的求解結(jié)果;θ為測量矩陣,θ中每一行表示為θm,θmg(Hi),g(·)表示將二維矩陣寫成一維行向量的運算;l為li組成的向量;Ψ(I)為待測圖像的正則項,λ為常數(shù),用于調(diào)節(jié)正則項在優(yōu)化算法中的權(quán)重.這里使用TVAL3 算法[23]求解凸優(yōu)化過程:

本文采用均方誤差(MSE)作為重構(gòu)圖像的像質(zhì)評價函數(shù):

其中Iref和I′分別是無干擾時的重構(gòu)圖像和待評價圖像,M和N是圖像大小:

3 實驗結(jié)果分析

3.1 實驗系統(tǒng)

實驗系統(tǒng)如圖2(a)所示.這個系統(tǒng)包含了一個投影儀(DLP 4500)、一個單像素探測器、一個目標(biāo)場景以及一套數(shù)據(jù)采集系統(tǒng)(未畫出).投影儀向場景投射一系列調(diào)制矩陣,單像素探測器探測反射光能量,并將其傳入控制系統(tǒng).干擾物動態(tài)穿梭于探測器與待測場景之間,如圖2(a)所示.在實驗中,共設(shè)置了兩種成像場景(無干擾的場景重構(gòu)圖分別如圖2(b)和圖2(c)所示),每種場景采用了3 種干擾物,分別是白色A4 紙、黑絨布以及彩色水果圖案3 種干擾物(如圖2(f1)—(f3)所示).

圖2 成像系統(tǒng)示意圖(a)成像系統(tǒng);(b)場景1 無干擾情況下的重構(gòu)圖像;(c)場景2 無干擾情況下的重構(gòu)圖像;(d1),(d2)場景1,2 無干擾時ui 曲線;(d3),(d4)場景1,2 無干擾時li 曲線;(e)干擾物為黑布時,目標(biāo)成像過程中的遮擋情況;(f1)—(f3)干擾物(A4 紙、黑絨布、彩色水果圖案)Fig.2.Schematic diagram of imaging system:(a)Imaging system;(b)reconstructed image of scene 1 without occlusion;(c)reconstructed image of scene 2 without occlusion;(d1),(d2)ui,curves of scene 1 and 2 respectively;(d3),(d4)li,curves of scene 1 and 2 respectively;(e)occlusion(black cloth)during single-pixel imaging;(f1)–(f3)occlusion(A4 paper,black cloth and color fruit pattern).

3.2 實驗結(jié)果

首先展示了兩個具有不同干擾物體的場景,在不同干擾時間情況下的重構(gòu)圖像.場景1 的重構(gòu)情況如圖3 所示,場景2 的重構(gòu)情況如圖4 所示.

可以看出,當(dāng)成像系統(tǒng)包含單一干擾物時,本方法可以較好地刪除受干擾信號(直方圖中標(biāo)記為藍色),保留正確信號(直方圖中標(biāo)記為紅色).要強調(diào)的是,在圖3 和圖4 對應(yīng)場景中,證實了本方法的優(yōu)勢,即在所有干擾類型中,受干擾信息均淹沒li中,不具有區(qū)分性.而如果單純從或的數(shù)據(jù)大小分析有干擾信號的位置,又難以區(qū)分第一幀測量結(jié)果(因為第一幀是全1 的投影,因此數(shù)值較高)與干擾信號之間的區(qū)別.

圖3 場景1 重構(gòu)情況(a1)—(f1)未去除干擾的重構(gòu)圖像;(a2)—(f2)去除干擾后的重構(gòu)圖像;(a3)—(f3)ui 的統(tǒng)計直方圖;(a4)—(f4)ui 強度值;(a5)—(f5)li強度值;圖中紅色表示使用本方法得到的正確桶探測器檢驗值ui(直方圖中為ui 的強度范圍)和用于重構(gòu)的強度值li,藍色表示由本方法得到的干擾值Fig.3.Reconstruction in scene 1:(a1)–(f1)Reconstructed image without removing occlusion;(a2)–(f2)reconstructed image after removing occlusion;(a3)–(f3)statistical histogram ofui ;(a4)–(f4)ui value;(a5)–(f5)li value;in the figure,red represents the correct value ofui(or the intensity range ofui in the histogram)and the value ofli used for reconstruction,while blue one represents the wrong values.

圖4 場景2 重構(gòu)情況(a1)—(f1)未去除干擾的重構(gòu)圖像;(a2)—(f2)去除干擾后的重構(gòu)圖像;(a3)—(f3)ui 的統(tǒng)計直方圖;(a4)—(f4)ui 強度值;(a5)—(f5)li強度值;圖中紅色表示使用本方法得到的正確桶探測器檢驗值ui(直方圖中為ui 的強度范圍)和用于重構(gòu)的強度值li,藍色表示由本方法得到的干擾值Fig.4.Reconstruction in scene 2:(a1)–(f1)Reconstructed image without removing occlusion;(a2)–(f2)reconstructed image after removing occlusion;(a3)–(f3)statistical histogram ofui ;(a4)–(f4)ui value;(a5)–(f5)li value;the red curves represents the correct value ofui(or the intensity range ofui in the histogram)and the value ofli used for reconstruction,while blue one represents the wrong values.

利用本方法剔除錯誤信號之后,重構(gòu)圖像質(zhì)量顯著提高,背景噪聲顯著減少,圖像細(xì)節(jié)顯著提高.而且在大部分情況下,第一幀測量值沒有被當(dāng)作干擾信號被刪去,體現(xiàn)了本方法的優(yōu)越性.

其次,為了研究本方法的魯棒性,在一次單像素成像實驗中,使用了3 種干擾.場景1 和場景2中干擾類型分別如圖5(a4)和(b4)中,黑色箭頭所示.從圖5(a3)和(b3)可以看出,本方法在多種干擾條件下,仍保持了較好的魯棒性,重構(gòu)圖像質(zhì)量明顯提升,具有較好的實用性價值.

圖5 多種干擾條件下的單像素系統(tǒng)抗干擾能力測試(a1),(b1)未去除干擾的重構(gòu)圖像;(a2),(b2)去除干擾后的重構(gòu)圖像;(a3),(b3)ui的統(tǒng)計直方圖;(a4),(b4)ui 強度值;(a5),(b.5)li強度值;圖中紅色表示使用本方法得到的正確桶探測器檢驗值ui(直方圖中為ui的強度范圍)和用于重構(gòu)的強度值li,藍色表示由本方法得到的干擾值Fig.5.Test of dynamic occlusion removal under various occlusion conditions:(a1),(b1)Reconstructed image without removing occlusion;(a2),(b2)reconstructed image after removing occlusion;(a3),(b3)statistical histogram ofui ;(a4),(b4)the value ofui ;(a5),(b5)the value ofli ;the red curves represents the correct value ofui(or the intensity range ofui in the histogram)and the value ofli used for reconstruction,while blue one represents the wrong values.

4 結(jié)論

單像素成像技術(shù)容易受到外界干擾,產(chǎn)生錯誤的測量值,從而降低重構(gòu)圖像質(zhì)量.本文基于哈達瑪矩陣的性質(zhì),設(shè)計了一種自校驗的方法,成功分離出由動態(tài)干擾造成的錯誤信號.實驗證明該方法對不同場景、不同干擾物以及不同干擾時間都具有顯著效果.利用本方法重構(gòu)的圖像質(zhì)量明顯優(yōu)于直接重構(gòu)的圖像.本文中的方法可以應(yīng)用于前景遮擋、背景環(huán)境不穩(wěn)定等情況.在高速成像,目標(biāo)跟蹤等領(lǐng)域具有較廣的應(yīng)用前景,推動了單像素成像技術(shù)的實用化.