魯嘯天,李 峰*,楊 雪,2,趙智祎,4,侯軍燕
(1.中國(guó)空間技術(shù)研究院 錢學(xué)森空間技術(shù)實(shí)驗(yàn)室,北京 100094;2.南京大學(xué) 國(guó)際地球系統(tǒng)科學(xué)研究所,江蘇 南京 210023;3.北京市遙感信息研究所,北京 100011;4.北京信息科技大學(xué),北京 100192)
光學(xué)成像探測(cè)應(yīng)用領(lǐng)域遍及軍事、生態(tài)、農(nóng)業(yè)、航空航天、減災(zāi)以及人們的日常生活[1]。而在減災(zāi)救援、軍事目標(biāo)偽裝探測(cè)等應(yīng)用中,目標(biāo)和背景對(duì)比度低,導(dǎo)致光學(xué)遙感探測(cè)能力不足,而偏振成像探測(cè)可以很好地解決上述問(wèn)題。因?yàn)楣馐菣M波具有偏振特性,物體的反射光是部分偏振光具有一定偏振度[2],且人造物體反射光的偏振度一般比自然物體反射光偏振度大[3],它與物體表面的形狀、材質(zhì)和入射光的入射角度等有關(guān),因此偏振成像探測(cè)可以提供獨(dú)立于強(qiáng)度和光譜的目標(biāo)特征信息,有效識(shí)別對(duì)比度低的目標(biāo)。Wan 等[4]針對(duì)室外環(huán)境下目標(biāo)/背景對(duì)比度自適應(yīng)增強(qiáng)的問(wèn)題,提出了一種優(yōu)化偏振成像系統(tǒng)偏振態(tài)的方法,增強(qiáng)目標(biāo)/背景對(duì)比度,使得目標(biāo)識(shí)別更加準(zhǔn)確和方便。Vannier 等[5]利用主動(dòng)偏振成像技術(shù)來(lái)探測(cè)不同環(huán)境中的人造物體,證明了主動(dòng)偏振成像在偽裝和危險(xiǎn)目標(biāo)檢測(cè)中的有效性。楊斌等[6]通過(guò)研究偏振光束與光學(xué)器件的相互作用,推導(dǎo)出多通道偏振成像系統(tǒng)的矢量輻射傳輸模型,確定了需要標(biāo)定的參數(shù),通過(guò)分析標(biāo)定結(jié)果求解了系統(tǒng)全視場(chǎng)的穆勒矩陣,經(jīng)偏振定標(biāo)后系統(tǒng)對(duì)低偏振度目標(biāo)的測(cè)量誤差小于1%。然而現(xiàn)有的偏振成像探測(cè)系統(tǒng),無(wú)論是分孔徑或者分振幅系統(tǒng),都具有系統(tǒng)體積大、后續(xù)圖像處理復(fù)雜和耗時(shí)長(zhǎng)的缺點(diǎn)[7]。而分焦平面偏振相機(jī)雖然體積小,但是犧牲了一定的空間分辨率,且存在偏振片陣列消光比差和串?dāng)_的問(wèn)題[8-9]。
動(dòng)態(tài)視覺(jué)傳感器(Dynamic Vision Sensor,DVS)是一種受視網(wǎng)膜原理啟發(fā)而設(shè)計(jì)的神經(jīng)擬態(tài)傳感器,基于事件驅(qū)動(dòng)的方式來(lái)捕捉場(chǎng)景中的動(dòng)態(tài)變化,具有靈敏度高、成像速度快、輸出數(shù)據(jù)量小的優(yōu)點(diǎn)[10]。由于其數(shù)據(jù)量小、延遲低(微秒級(jí))、計(jì)算資源需求小,DVS 在以深度學(xué)習(xí)方法為主的目標(biāo)檢測(cè)[11]、跟蹤[12]等應(yīng)用中使用廣泛。Ramesh 等[13]提出了一種基于DVS 的特征提取方法,并與采用遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)算法進(jìn)行對(duì)比,結(jié)果表明基于DVS 的特征提取方法速度更快、精度更高、功耗更小。Chen 等[14]提出了一種從事件流中識(shí)別和定位駕駛員眼睛和嘴巴運(yùn)動(dòng)的方法,并進(jìn)一步從眼睛和嘴巴運(yùn)動(dòng)引起的事件流中提取嗜睡相關(guān)特征,用于睡意駕駛檢測(cè)系統(tǒng),具有很高的效率和準(zhǔn)確性。
DVS 本身具有體積小、靈敏度高的特點(diǎn),為偏振系統(tǒng)小型化帶來(lái)了希望[15]。然而,DVS 無(wú)法對(duì)靜態(tài)場(chǎng)景成像,因此引入偏振成像方式,在DVS 前面加旋轉(zhuǎn)偏振片,旋轉(zhuǎn)的偏振片會(huì)使場(chǎng)景內(nèi)的部分偏振光發(fā)生明暗的亮度變化,進(jìn)而被DVS 捕捉成像,實(shí)現(xiàn)DVS 對(duì)靜態(tài)場(chǎng)景的探測(cè),且此種方法兼具偏振相機(jī)和事件相機(jī)的優(yōu)點(diǎn)。本文證明了基于DVS 的偏振成像探測(cè)方法的可行性,并進(jìn)一步設(shè)計(jì)搭建了實(shí)驗(yàn)樣機(jī)系統(tǒng),在實(shí)驗(yàn)室內(nèi)和室外開(kāi)展了驗(yàn)證實(shí)驗(yàn),證明了基于DVS的偏振成像探測(cè)系統(tǒng)的有效性。該系統(tǒng)具有靈敏度高、成像速度快的特點(diǎn)。
DVS 采用事件驅(qū)動(dòng)的方式捕捉場(chǎng)景中的動(dòng)態(tài)變化。如圖1 所示,不同于傳統(tǒng)相機(jī),當(dāng)場(chǎng)景發(fā)生變化時(shí),DVS 會(huì)產(chǎn)生一些像素級(jí)的輸出(即事件),一個(gè)事件包括(t,x,y,p),其中x,y為事件在2D 空間的像素坐標(biāo),t為事件的時(shí)間戳,p為事件的極性,極性代表場(chǎng)景的亮度變化:上升(posi?tive)或下降(negative)。DVS 對(duì)數(shù)據(jù)存儲(chǔ)和計(jì)算資源的需求非常小,且延遲低,達(dá)到微秒級(jí)。傳統(tǒng)相機(jī)以固定頻率產(chǎn)生序列幀圖像,在相鄰兩幀之間會(huì)丟失部分關(guān)鍵信息,且傳統(tǒng)相機(jī)在內(nèi)存、功耗以及延遲方面需求過(guò)大,DVS 可以克服上述缺陷,但是DVS 只對(duì)場(chǎng)景內(nèi)的變化敏感,對(duì)于靜態(tài)場(chǎng)景則無(wú)能為力。
圖1 動(dòng)態(tài)視覺(jué)傳感器和傳統(tǒng)相機(jī)的區(qū)別Fig.1 Difference between dynamic vision sensor and tra?ditional camera
以太陽(yáng)光等自然光為光源,當(dāng)入射角不等于布儒斯特角時(shí),反射光為部分偏振光[16]。根據(jù)菲涅耳公式[17],反射光能量在垂直分量和平行分量的反射率R⊥和R//分別為:
其中:θi為入射角,θt為折射角。將自然光看作是各個(gè)振動(dòng)方向都存在且強(qiáng)度相同的線偏振光的集合,那么對(duì)于其中任一束線偏振光,假設(shè)其輻射強(qiáng)度為Ii(αi),其中αi為該線偏振光的振動(dòng)方位角(振動(dòng)方向與入射面的夾角)。對(duì)于無(wú)偏自然光,Ii(αi)=Ic,即各方向光強(qiáng)相同,則總光強(qiáng)為:
于是,自然光入射時(shí),αi線偏振光的反射光強(qiáng)度Ir(α)i和振動(dòng)方位角αr(α)i為:
其中a=(R⊥/R//)1/2。
假設(shè)自然光從空氣(n1=1)入射到玻璃(n2=1.52)表面,入射角θi=10°,20°…,80°及布儒斯特角θB=atan(n2/n1)時(shí),反射光在振動(dòng)方位角內(nèi)的分量強(qiáng)度圖像如圖2 所示。可以看出,反射光各分量強(qiáng)度隨振動(dòng)方位角變化,且垂直入射面的方向的振動(dòng)分量最大,在布儒斯特角入射時(shí)反射光為完全偏振光,其余為部分偏振光。
圖2 不同入射角和布儒斯特角時(shí)反射光振動(dòng)方位角內(nèi)的光強(qiáng)分布Fig.2 Irradiance distribution of reflected light with vibra?tion azimuth at different angles of incidence and Brewster angles
假設(shè)α(k)是偏振成像系統(tǒng)檢偏方向與反射面的夾角,一束以θi入射的自然光在介質(zhì)面反射時(shí),通過(guò)可見(jiàn)光偏振成像系統(tǒng)對(duì)反射光成像,系統(tǒng)接收到的強(qiáng)度為:
對(duì)于DVS 相機(jī)加旋轉(zhuǎn)偏振片的成像系統(tǒng),假設(shè)DVS 相鄰兩次的檢測(cè)時(shí)間間隔為Δt,旋轉(zhuǎn)偏振片的角速度為ω,則兩次檢測(cè)時(shí)偏振片角度相差ωΔt。根據(jù)馬呂斯定律[16],同一目標(biāo)進(jìn)入系統(tǒng)的強(qiáng)度變化ΔIk=I0[cos2β-cos2(β+ωΔt)]。其中,I0為入射部分偏振光中的完全偏振光強(qiáng)度,β為第一次檢測(cè)時(shí)部分偏振光的振動(dòng)方向與偏振片方向的夾角。ΔIk與入射角、材質(zhì)等有關(guān),若ΔIk大于DVS 的對(duì)比度靈敏度,則事件可以被探測(cè),這就是基于DVS 的偏振成像系統(tǒng)檢測(cè)目標(biāo)的依據(jù)。
DVS 能夠直接探測(cè)場(chǎng)景亮度變化進(jìn)而輸出事件,但是無(wú)法有效探測(cè)亮度不變的靜態(tài)場(chǎng)景。加入旋轉(zhuǎn)偏振片后,靜態(tài)場(chǎng)景內(nèi)目標(biāo)反射的部分偏振光經(jīng)過(guò)旋轉(zhuǎn)偏振片亮度發(fā)生變化,根據(jù)馬呂斯定律,I=I0cos2α,α是入射線偏振光I0的光振動(dòng)方向和偏振片偏振方向之間的夾角。如果相鄰兩次事件檢測(cè)的透射光強(qiáng)度的差異滿足DVS 事件檢測(cè)的閾值,則這個(gè)目標(biāo)可以被探測(cè),反之則不能。那么場(chǎng)景中偏振的敏感程度是一個(gè)重要指標(biāo)。
假設(shè)DVS 相機(jī)的對(duì)比度靈敏度為C0,即相鄰兩次事件檢測(cè)的對(duì)比度大于C0可被探測(cè)。自然光經(jīng)過(guò)物體表面反射會(huì)變?yōu)椴糠制窆?,可以用部分偏振光的偏振度?lái)描述這兩個(gè)部分的比例關(guān)系,偏振度D定義為:
其中:IP代表完全偏振光成分的光強(qiáng),IN代表自然光成分的光強(qiáng)。對(duì)于完全偏振光,D=1;對(duì)于自然光,D=0;對(duì)于部分偏振光,則有0 假設(shè)在相機(jī)相鄰兩次事件檢測(cè)時(shí)間內(nèi)旋轉(zhuǎn)偏振片的角度差為90°(這樣可以保持對(duì)場(chǎng)景中偏振度的最大靈敏度),根據(jù)馬呂斯定律,第一次和第二次檢測(cè)時(shí)相機(jī)獲得的強(qiáng)度分別為:其中:θ為第一次曝光時(shí)部分偏振光的偏振方向與偏振片方向的夾角,其值為0~π/2。 所以相鄰兩次檢測(cè)的對(duì)比度C為: 令C為C0,可得偏振度靈敏度D0=C0/cos 2θ。理想情況下,當(dāng)θ為0°時(shí),D0的最大值為C0,因此系統(tǒng)可探測(cè)的最小偏振度為C0。 DVS 相機(jī)采用iniVation 公司生產(chǎn)的DA?VIS346 相機(jī),具體參數(shù)見(jiàn)表1。事件流的時(shí)間分辨率能夠達(dá)到微秒級(jí)別,事件相機(jī)的電路延遲小于1 ms,事件相機(jī)具有非常大的動(dòng)態(tài)范圍,對(duì)比度靈敏度最低可達(dá)到14.3%,即相鄰兩個(gè)場(chǎng)景的對(duì)比度達(dá)到0.143 時(shí),DVS 即會(huì)檢測(cè)到變化并輸出事件,因此,理論上系統(tǒng)的偏振度靈敏度為0.143。 表1 DVS 參數(shù)Tab.1 DVS parameters DAVIS346 采用氧化處理過(guò)的鋁制外殼,整體尺寸為40 mm×60 mm×25 mm,無(wú)鏡頭質(zhì)量為100 g,整體功耗小于0.9 W,適合組成小型化偏振成像系統(tǒng)樣機(jī)。 旋轉(zhuǎn)控制系統(tǒng)載著偏振片快速旋轉(zhuǎn),以達(dá)到場(chǎng)景明暗變化的目的,主要由高速電機(jī)、固定支架和直流電源等組成。高速電機(jī)型號(hào)為XD-3420-2,由電源控制盒根據(jù)實(shí)際需求自行控制電機(jī)轉(zhuǎn)速,轉(zhuǎn)速在3 000~7 000 r/min。具體參數(shù)如表2 所示。 表2 旋轉(zhuǎn)控制系統(tǒng)參數(shù)Tab.2 Parameters of rotary control system 采用樹(shù)莓派4B 作為嵌入式硬件平臺(tái),樹(shù)莓派4B 能夠提供比較充足的計(jì)算資源,1.5 GHz 的CPU 對(duì)于事件相機(jī)的數(shù)據(jù)采集和圖像顯示處理相當(dāng)充足,同時(shí)HDMI 接口能夠?qū)⒉杉膱D像輸出到顯示器上。 采集和顯示軟件采用DVS 驅(qū)動(dòng)軟件libcaer庫(kù)和通用圖像處理OpenCV 庫(kù),能夠?qū)⑾鄼C(jī)事件累積成幀和灰度圖像同時(shí)輸出并顯示在屏幕上,同時(shí)還能夠輸出一些數(shù)據(jù)包的信息,包括事件數(shù)量和詳細(xì)事件信息。 系統(tǒng)的內(nèi)部構(gòu)成和控制面板如圖3 所示。整個(gè)系統(tǒng)尺寸為300 mm×150 mm×150 mm,基本滿足體積小、輕量化的偏振成像系統(tǒng)需求。 表3 樹(shù)莓派4B 平臺(tái)信息Tab.3 Raspberry pi 4B platform information 圖3 偏振成像系統(tǒng)的內(nèi)部構(gòu)成和控制面板Fig.3 Internal composition and control panel of polarization imaging system 偏振片采用中國(guó)大恒光電公司生產(chǎn)的GCL-050004 偏振片,通光孔徑為45 mm,厚度為2 mm,波長(zhǎng)為400~700 nm,視場(chǎng)角大于±45°,消光比為100∶1,光譜透過(guò)率如圖4 所示。 圖4 偏振片的光譜透過(guò)率Fig.4 Spectral transmittance of polarizer 為了測(cè)試系統(tǒng)的偏振度靈敏度,這里以特定傾角的平板玻璃的反射光作為偏振光源,因?yàn)椴煌瑑A角玻璃平板的反射光的偏振度是能夠通過(guò)理論模型明確計(jì)算的,且能夠反映一般情況。平板玻璃的漫射光源采用以TILO 標(biāo)準(zhǔn)光源箱T90-7。自然光入射時(shí),平板玻璃的反射光是部分偏振光,該部分偏振光的完全偏振成分是線偏振光,反射光的偏振度與入射角關(guān)系如下[18]: 其中:θi為入射角,n=1.52 為平板玻璃折射率。當(dāng)θi=18.6°時(shí),Dr=0.143。圖5 為入射角為20°時(shí),偏振片角度分別為0°,45°,90°和135°的檢偏圖像,通過(guò)式(11)計(jì)算得到實(shí)際的偏振度為0.148。 圖5 入射角為20°時(shí)不同偏振片角度下的檢偏圖像Fig.5 Images of different degrees of polarization at inci?dent argle of 20° 其中:I0,I45,I90和I135分別為偏振片角度0°,45°,90°和135°時(shí),透過(guò)偏振片光的強(qiáng)度。 利用本文設(shè)計(jì)的偏振成像系統(tǒng)對(duì)入射角為20°的平板玻璃成像,圖6 所示為DVS 連續(xù)4 幀圖像,每幀圖像為0.02 s 統(tǒng)計(jì)時(shí)間內(nèi)輸出的事件。值得需要注意的是,DVS 能否檢測(cè)到事件與場(chǎng)景反射光的偏振度、偏振角和偏振片的旋轉(zhuǎn)變化角度有關(guān),對(duì)于固定場(chǎng)景即場(chǎng)景偏振度和偏振角不變,偏振片角度的變化直接影響事件輸出結(jié)果,而偏振片角度變化引起的透射光強(qiáng)度的變化是非線性的,且強(qiáng)度變化的數(shù)值也不是固定的,因此對(duì)目標(biāo)事件表現(xiàn)為不穩(wěn)定輸出。圖6 中的方框區(qū)域?yàn)椴A桨鍏^(qū)域,區(qū)域大小為15×14 個(gè)像素,經(jīng)統(tǒng)計(jì)分別輸出的事件數(shù)為177,80,181 和91,事件檢測(cè)率為0.84,0.38,0.86 和0.43,事件輸出在變化,在單幀和連續(xù)幀的輸出中能夠明顯檢測(cè)到目標(biāo),結(jié)果表明對(duì)于D為0.148 的平板玻璃,系統(tǒng)的偏振度靈敏度達(dá)到了預(yù)期。 圖6 DVS 的連續(xù)4 幀圖像Fig.6 Four series images of DVS 利用基于DVS 的偏振成像系統(tǒng)開(kāi)展室外實(shí)驗(yàn),對(duì)道路場(chǎng)景成像,全景灰度圖像如圖7 所示(彩圖見(jiàn)期刊電子版)。場(chǎng)景內(nèi)包括建筑物(藍(lán)框)、靜止車輛(紅框)和運(yùn)動(dòng)車輛(黃框)。 圖7 道路場(chǎng)景的灰度圖像Fig.7 Gray image of road scene 系統(tǒng)采集的連續(xù)4 幀圖像如圖8 所示,其中靜態(tài)目標(biāo)的事件輸出不穩(wěn)定,單幀圖像難以包含目標(biāo)的全部關(guān)鍵細(xì)節(jié),導(dǎo)致目標(biāo)難以識(shí)別;動(dòng)態(tài)目標(biāo)的輸出圖像既包含目標(biāo)運(yùn)動(dòng)造成的事件輸出,也包含偏振信息造成的事件輸出,為此目標(biāo)細(xì)節(jié)更豐富,對(duì)目標(biāo)的識(shí)別更加容易。 圖8 道路場(chǎng)景連續(xù)4 幀圖像Fig.8 Four series images of road scene 然而在實(shí)際應(yīng)用中,往往更加關(guān)注靜態(tài)目標(biāo)的探測(cè)與識(shí)別,為此本文采用一種基于序列圖像的時(shí)間中值處理方法,其流程如圖9 所示。將連續(xù)輸入的n幀圖像中同一坐標(biāo)點(diǎn)的像元按灰度降序排列,同一排序位置的點(diǎn)重建成1 幀圖像,這樣就有n幀輸出圖像。第1 幀輸出圖像中的事件表示n幀輸入圖像至少一次檢測(cè)到事件;第n幀輸出圖像中的事件表示n幀輸入圖像都檢測(cè)到事件,即只有100%檢測(cè)到的事件才會(huì)出現(xiàn)在第n幀輸出的圖像中。 圖9 序列圖像的時(shí)間中值處理方法Fig.9 Flow chart for time median processing method based on sequence images 圖10 為基于序列圖像的時(shí)間中值處理方法的結(jié)果。這里輸入100 幀原始事件圖像,圖中展示了第1,3,6 和16 幀輸出圖像,其中第1 幀表示這100 幀輸入圖像中至少檢測(cè)到1 次的事件都在此有體現(xiàn),這樣第1 幀圖像中帶有很多分散的類似噪點(diǎn)的獨(dú)立事件,不利于目標(biāo)的檢測(cè)和識(shí)別;第3 幀圖像能夠消除大部分獨(dú)立事件,使圖像更清晰,能夠直觀地獲得建筑物和靜止車輛的輪廓,進(jìn)而判斷其目標(biāo)類別,對(duì)于運(yùn)動(dòng)車輛則連成一片,難以判斷車輛數(shù)量;第6 和16 幀圖像,雖然圖像簡(jiǎn)潔,目標(biāo)輪廓清晰,然而丟失了一些目標(biāo)的信息,如第16 幀圖像中,路燈產(chǎn)生的事件丟失了很多,影響對(duì)目標(biāo)的檢測(cè)。總體而言,相比于原始圖像(圖8),采用序列圖像的時(shí)間中值處理方法能夠較好地去除干擾事件,使目標(biāo)輪廓清晰,提高了系統(tǒng)的探測(cè)能力。 圖10 采用序列圖像的時(shí)間中值處理方法對(duì)100 幀圖像的處理結(jié)果Fig.10 Results of 100 frame input images processed by time median processing method of sequence images 綜上所述,基于DVS 的偏振成像系統(tǒng)能夠很好地探測(cè)較低偏振度的目標(biāo),且能夠有效地分離自然場(chǎng)景下的天然景物和感興趣目標(biāo),目標(biāo)輪廓清晰,能夠剔除絕大部分背景帶來(lái)的冗余信息和干擾,減少了數(shù)據(jù)量,在基于深度學(xué)習(xí)的自動(dòng)目標(biāo)檢測(cè)和識(shí)別方面具有天然優(yōu)勢(shì)。 本文利用DVS 對(duì)動(dòng)態(tài)場(chǎng)景靈敏度高、成像速度快的特點(diǎn),開(kāi)展了基于DVS 的偏振探測(cè)方法研究,設(shè)計(jì)并搭建了實(shí)驗(yàn)系統(tǒng)。實(shí)驗(yàn)結(jié)果表明:對(duì)視場(chǎng)內(nèi)的偏振度靈敏度為0.148,且目標(biāo)輪廓清晰,可視性良好,證明了基于動(dòng)態(tài)視覺(jué)傳感器的偏振探測(cè)方法的可行性。DVS 與偏振相結(jié)合,能夠?qū)o態(tài)場(chǎng)景成像,而且對(duì)人造物體等偏振特性明顯的目標(biāo)敏感,彌補(bǔ)了傳統(tǒng)偏振成像裝置體積大、成像速度慢的不足,為偏振圖像的快速獲取和目標(biāo)檢測(cè)等打下基礎(chǔ)。對(duì)于運(yùn)動(dòng)目標(biāo),除偏振特性外其運(yùn)動(dòng)引起的變化同樣會(huì)有事件輸出,因此本文提出的方法對(duì)目標(biāo)的探測(cè)是偏振和運(yùn)動(dòng)的并集,只要有一方面變化就能被探測(cè)到。經(jīng)過(guò)實(shí)驗(yàn)觀察,靜止目標(biāo)的事件輸出主要是目標(biāo)偏振特性明顯的區(qū)域,目標(biāo)輪廓不清晰且會(huì)有閃爍;運(yùn)動(dòng)目標(biāo)的事件輸出主要集中在輪廓區(qū)域,更容易識(shí)別,因此對(duì)運(yùn)動(dòng)目標(biāo)的檢測(cè)和跟蹤以及偽裝目標(biāo)的探測(cè)具有天然優(yōu)勢(shì),在遙感探測(cè)領(lǐng)域具有廣闊的應(yīng)用前景。4 基于DVS 的偏振成像系統(tǒng)設(shè)計(jì)
4.1 DVS 相機(jī)
4.2 旋轉(zhuǎn)控制系統(tǒng)
4.3 數(shù)據(jù)采集與顯示
5 實(shí)驗(yàn)與結(jié)果分析
5.1 偏振靈敏度測(cè)試
5.2 成像實(shí)驗(yàn)
6 結(jié)論