安全距離和成像尺寸約束的超大視場紅外系統(tǒng)車載應用關(guān)鍵參數(shù)論證

李 剛，陳一超，張建君，黃富瑜，張 帥

1. 陸軍工程大學石家莊校區(qū)電子與光學工程系，河北 石家莊 050003 2. 武警部隊研究院，北京 100012 3. 北京跟蹤與通信技術(shù)研究所，北京 100094

引 言

視覺是人類獲知客觀世界信息的第一通道，而車輛駕駛員所感知行車環(huán)境信息的90%來自于人眼視覺。研究表明，在頻發(fā)的交通事故中，夜間和視線不佳情況下發(fā)生的交通事故接近60%。為提高車輛駕駛的安全性，近些年人們越來越關(guān)注智能駕駛系統(tǒng)在智能交通、 安全駕駛中的應用，而作為智能駕駛系統(tǒng)三大重要模塊之一的行車態(tài)勢感知技術(shù)也成為目前智能駕駛領域研究的重點[1]。目前行車態(tài)勢感知技術(shù)主要可分為三類：GPS，雷達，視覺系統(tǒng)[2]。其中，周圍環(huán)境感知主要依靠雷達和視覺系統(tǒng)實現(xiàn)。受制于感知原理，雷達傳感器能夠?qū)崿F(xiàn)對物體較為精確距離測量，但對周邊環(huán)境和物體的識別等較為困難[3]，因此對物體細節(jié)感知能力較強的視覺系統(tǒng)始終是行車態(tài)勢感知的主流手段之一[4]。

從工作波段來看，現(xiàn)有車載視覺態(tài)勢感知系統(tǒng)可分為可見光系統(tǒng)和紅外系統(tǒng)兩大類?？梢姽庀到y(tǒng)雖然價格低廉、 應用廣泛，但存在對光照、 陰影和煙霧過于敏感的缺陷[5-6]。相比而言，車載紅外智能駕駛系統(tǒng)(automotive infrared intelligent driving system, AIRIDS)因具有低照度環(huán)境性能好、 抗眩光能力強、 穿霧透霾本領大等優(yōu)勢，而成為智能駕駛中行車環(huán)境前視態(tài)勢感知研究的熱點[7-8]。基于此，車載紅外的障礙物檢測也是一大研究熱點，主要有圖像分割、 顯著檢測、 深度學習等研究方向，取得良好的效果，為車載紅外輔助駕駛的發(fā)展提供了技術(shù)支撐[9-11]。

作為智能駕駛的手段，現(xiàn)有AIRIDS中的環(huán)境態(tài)勢感知還存在如下缺陷：前視盲區(qū)大。現(xiàn)有AIRIDS通常采用“相似成像”機制，該機制雖然保證了物像相似不變形，易于目標檢測和提取，但是，視場角一般不足40°，所凝視空域約占前視全空域的3.4%，較大的前視盲區(qū)無疑給智能駕駛帶來了安全隱患。上述缺陷嚴重降低了現(xiàn)有AIRIDS對前視行車場景的理解和辨識能力，降低了車輛在夜晚等低照度和惡劣天氣條件下的行車安全。為克服現(xiàn)有可見光成像和小視場成像的缺陷，本工作提出將超大視場紅外成像技術(shù)應用于車載道路環(huán)境感知的方法。由于鏡頭的“非相似”成像規(guī)律，超大視場紅外成像系統(tǒng)視場越大，目標在像面上所成的像越小，則系統(tǒng)對目標的可探測距離相對也就越近。為了保證智能駕駛應用安全，以超大視場紅外系統(tǒng)在車輛輔助駕駛中的應用為研究對象，以車載安全距離和基于Johnson準則的成像尺寸為約束條件，計算超大視場紅外系統(tǒng)的視場角、 分辨率等關(guān)鍵參數(shù)。

1 車載應用關(guān)鍵參數(shù)研究

1.1 等距投影

超大視場鏡頭可分為等距投影、 等立體角投影、 體視投影和正交投影四種成像模型[12]。四種“非相似”投影方式中，像高與視場角為簡單正比關(guān)系的優(yōu)勢使得等距投影成為最受重視的成像思想，并且基于等距投影模型設計超大視場紅外鏡頭理論和實踐也相對更為成熟。其物方球面和像方平面之間的關(guān)系如圖1所示，像高滿足

(1)

由圖1對等距投影成像原理中的物像關(guān)系進行分析，對式(1)進行微分可得

(2)

設距離為r0的像面上存在一個微小線段，則借用高斯光學中的放大率概念，其像面上的徑向放大率βr0為

(3)

將式(2)代入式(3)可得

βr0=f0/r0

(4)

對于球形像面上沿圓周方向的微小線段BC成像為B′C′，則其切向放大率βt0

(5)

比較式(4)與式(5)可得

βt0/βr0=ω0/sinω0

(6)

1.2 車載背景應用下的安全距離約束

車輛在行進過程中需要對障礙物進行制動減速或規(guī)避，車載紅外成像系統(tǒng)對障礙物目標的探測距離應滿足一定要求，從而為駕駛員提供足夠的反應和處理時間。本節(jié)將結(jié)合車輛制動距離等因素，探討車輛駕駛的安全距離，從而為成像系統(tǒng)的視場角設計提供理論依據(jù)。

車輛行駛安全距離可以劃分為制動距離和冗余距離兩部分，前者為安全距離的最小值，后者則為行駛安全提供充足的反應時間。制動距離是指車輛在一定初速度v0狀態(tài)下，從駕駛員踩下制動踏板開始到車輛完全靜止狀態(tài)(v=0)車輛所行駛的距離。假設車輛以v0的速度進行制動，則其制動過程包括判斷、 準備、 響應和制動四個階段，其中判斷是指駕駛員意識到與障礙物的距離縮短后進行判斷是否進行制動處理；準備是指駕駛員判斷應當剎車后到腳踩踏板這個過程；響應是指由于機械間隙等因素的存在，制動踏板的遲滯效應；制動則是踩下制動踏板發(fā)揮作用后車輛開始減速的階段。由于判斷、 準備和響應三個階段中并沒有制動裝置的介入，這三個階段車輛仍在初速度狀態(tài)下繼續(xù)行駛，而制動階段則可以視為末速度v=0的勻減速運動。制動過程三個階段中的駕駛員反應時間和踏板響應時間統(tǒng)計情況如表1所示[13]。

表1 制動反應時間統(tǒng)計表(單位：ms)Table 1 Statistical table of brakingresponse time (unit: ms)

若反應時間取所有年齡段中響應時間的最大值，可以看出總的反應時間t1=0.62s，即t1時間內(nèi)無制動效果的勻速運動。設車輛制動時間為t2，制動減速度為a，則制動距離s1為

(7)

僅保持制動距離尚不足以確保安全，需要提供額外的冗余時間t0用以發(fā)現(xiàn)目標。因此，行車安全距離s為冗余距離與制動距離之和。

(8)

車輛行駛中通常要求冗余時間t0為1～2 s，在此取t0=2 s；制動減速取民用車輛的一般值a=5 m·s-2，則不同初速度對應的制動距離以及行車安全距離如圖2所示。由式(8)可知，車輛制動距離和行車安全距離是關(guān)于速度的一次函數(shù)和二次函數(shù)之和，因此隨著速度的增加，其相應的制動距離和安全距離迅速增大。

圖2 不同初速度時的制動距離與安全距離Fig.2 Braking distance and safety distanceat different initial speeds

不同于民用車輛，軍用車輛的顯著特點是重量大、 速度低。美軍M1A2主戰(zhàn)坦克極限速度約為67 km·h-1，在越野等狀態(tài)下的最大速度約為50 km·h-1，而一般狀態(tài)下的行進速度低于40 km·h-1。由式(8)計算可知，美軍主戰(zhàn)坦克在三種典型模式最大速度下對應的安全距離如表2所示。為保障行車安全，應用于車輛智能駕駛的觀察設備其探測距離應大于其最大速度極值對應的探測距離。

表2 美軍主戰(zhàn)坦克車輛行車安全距離Table 2 Safe driving distance of armored vehicles

1.3 基于二維Johnson準則的成像尺寸約束

圖像中目標判讀一般分為發(fā)現(xiàn)、 分類、 識別、 認清四個等級[14]：“探測”是指依據(jù)目標相對于背景的亮度差異將目標從背景中提取出來；“分類”是指判定目標的大體屬性；“識別”是指在分類的基礎上做進一步區(qū)分；“認清”是獲取目標更具體的細節(jié)信息、 掌握其詳細特征。在工程實踐中，通常依據(jù)表3所示的一維Johnson準則對目標等級進行劃分。

表3 一維Johnson判別準則Table 3 One dimensional Johnson criterion

表3中數(shù)據(jù)對應的探測概率p=50%，在某一特定觀察等級中，不同探測概率p所需線對數(shù)n0存在如式(9)和式(10)關(guān)系[15]

(9)

E=2.7+0.7(n0/n50)

(10)

式(9)和式(10)中，n50為某一特定觀察等級探測概率p=0.5時對應所需線對數(shù)，即表3中Johnson判別準則的數(shù)據(jù)。

上述探測概率對應所需線對數(shù)是一維等效條帶圖案，而紅外成像系統(tǒng)探測結(jié)果為二維凝視圖像，文獻[16]給出了同一探測概率下，二維圖像像元數(shù)N與一維所需線對數(shù)n0之間的關(guān)系。

N=(2×0.75n0)2

(11)

式(9)—式(11)即為二維圖像目標探測概率與像元數(shù)量對應公式。

駕駛員能夠“發(fā)現(xiàn)”道路中的障礙物即能夠做出相應的規(guī)避判斷，因而在此對超大視場紅外成像系統(tǒng)對目標的“等級”進行探討。不同探測概率下“發(fā)現(xiàn)”等級對應的像元數(shù)如表4所示，表中數(shù)據(jù)顯示越高的觀測等級、 越高的探測概率對應需要的像元數(shù)量也越多。在實際應用中，通常以Johnson判別準則作為判斷依據(jù)，即概率為0.5時對應的像元數(shù)量，為進一步提高行車安全性，本工作取概率為0.8時的像元數(shù)量作為系統(tǒng)設計約束。

表4 “發(fā)現(xiàn)”概率與像元數(shù)量關(guān)系Table 4 Relationship between the discovery probabilityand the number of pixels

1.4 超大視場紅外成像關(guān)鍵參數(shù)論證

對目標的探測距離是衡量超大視場紅外成像系統(tǒng)面向車載智能駕駛可行性的基礎指標之一。總體而言，紅外圖像中目標可被感知的條件可以簡化為兩個要素：一是目標與背景的實際等效溫差ΔTe，在經(jīng)過大氣衰減到達熱像儀時，仍不小于紅外成像探測器的最小可分辨溫差(minimum resolvable temperature difference, MRTD)；二是目標的最小成像尺寸Isize不小于觀察等級所對應的二維像素數(shù)目Δps。

按實際等效溫差ΔTe和最小可分辨溫差MRTD對系統(tǒng)作用距離的影響參數(shù)包括鏡頭參數(shù)、 探測器性能、 目標和背景熱輻射強度等，文獻[17-18]等研究表明，超大視場紅外成像系統(tǒng)對典型目標的作用距離遠大于本文應用需求，即在較近條件下能夠滿足ΔTeτa(R)≥MRTD。超大視場紅外成像系統(tǒng)將更大視場的信息壓縮至一幅圖像，在增大視場的同時，也會造成物空間目標成像尺寸的壓縮。此外，由于衍射極限和工藝水平等限制，紅外探測器分辨率難以實現(xiàn)超高分辨率，這進一步限制了目標的成像尺寸。因此，通過分析可總結(jié)為：超大視場紅外成像系統(tǒng)的探測距離主要受限于目標成像尺寸。

超大視場紅外系統(tǒng)面向車輛輔助駕駛應用，系統(tǒng)所面向的探測目標主要包括人員、 車輛以及其他障礙物。其中，行人尺寸明顯小于各種車輛，故以行人為目標對超大視場紅外系統(tǒng)成像參數(shù)約束模型進行研究。如圖3為三種典型立姿狀態(tài)下的行人，當超大視場紅外成像系統(tǒng)光軸與行人前視方向平行且垂直于兩肩連線時，即如圖3(c)所示的側(cè)身時，行人目標相對系統(tǒng)的可視面積最小，同等狀態(tài)下所對應的探測距離最近，因此探測距離以這種狀態(tài)下的行人為研究對象，并按照國家標準中數(shù)據(jù)取成年女性身體尺寸高度×寬度中最低值(1.45 m×0.16 m)為基準，將其等價于一個圓柱體。

圖3 三種行人立姿狀態(tài)示意模型Fig.3 Three models of pedestrian standing state

在遠距離情況下，行人目標距離遠大于行人高度和寬度，可將其視為微小線段，由等距投影式(3)和式(4)，此時行人成像寬度和高度為

(12)

(13)

式(12)和式(13)中，f為超大視場紅外鏡頭焦距，a為單像元尺寸大小。

由于探測器像元的離散化效應，目標成像可被探測即意味著其最小成像尺寸為1個像素，因此在計算行人模型成像大小時，若目標成像尺寸大于1個像素，即fW/ra≥1，則按照實際成像尺寸計算；若目標成像尺寸小于1個像素且大于0.5個像素時，即fW/ra<1，則成像尺寸取1像素。因此成像大小Asize為(高度成像小于1像素時不在討論之列)

(14)

根據(jù)1.3節(jié)內(nèi)容計算，成像尺寸Asize應滿足

Asize>Δps

(15)

式(15)中，Δps為發(fā)現(xiàn)目標所需要的像素數(shù)目。將式(14)代入式(15)，得到系統(tǒng)焦距f滿足約束

(16)

式(16)即為車載應用背景下單目超大視場紅外成像系統(tǒng)關(guān)鍵參數(shù)約束模型。

由1.3節(jié)中的分析可知Δps=4.8；sinω/ω在ω=0時取最小值sinω/ω=1。由式(16)計算得到若不考慮成像系統(tǒng)的亞像素探測能力，即f/a≥r/W，將已知參數(shù)值代入，則此時系統(tǒng)參數(shù)取值約束為

f/a>521.3

(17)

為增大視場，考慮到熱紅外成像系統(tǒng)具有良好的亞像素目標探測能力，此時系統(tǒng)參數(shù)約束條件為

(18)

將參數(shù)代入式(18)，則此時系統(tǒng)參數(shù)最終取值約束為 2.6.1

(19)

在此條件下，取最低約束f/a=276.1時，計算可得在最遠距離時行人寬度所對應張角仍大于0.52像素，因此認為對應像點不會淹沒于背景當中。

綜上所述，系統(tǒng)參數(shù)的最終約束為

f/a>276.1

(20)

由式(20)可知，探測器單像元尺寸越小越有利于增大鏡頭視場可選擇范圍。因此，探測器單像元尺寸越小則越有利于系統(tǒng)性能指標的提高。

設探測器平面水平方向和豎直方向的分辨率分別為2p和2q，系統(tǒng)的水平視場為ωmax，由等距投影原理可得

f/a=p/ωmax

(21)

代入式(20)，則ωmax的約束為

ωmax

(22)

由式(22)可以看出，系統(tǒng)水平視場約束最大值正比于探測器分辨率，探測器分辨率越大，則視場可取值越大，反之則越小。

綜合上述分析，紅外探測器選擇的原則為盡可能小的單像元尺寸以及盡可能大的分辨率。因此，結(jié)合市售產(chǎn)品性能，選擇高德紅外公司的UV840A型號作為超大視場相機機芯，如圖4所示。該機芯采用非制冷紅外探測器，單像元尺寸為17 μm，探測器分辨率為800×600，較目前主流車載紅外探測器單像元尺寸更小、 分辨率更高。

圖4 UV840A型長波紅外機芯Fig.4 UV840A long wave infrared chip

超大視場紅外鏡頭方面，當單像元尺寸a=17um、 探測器分辨率為800×600時，由式(20)和式(22)可知，基于成像尺寸約束相應的鏡頭焦距應滿足f>4.69 mm，即水平視場ωmax<166.0°。

圖5 超大視場紅外鏡頭Fig.5 Ultra-wide FOV infrared lens

考慮到人眼水平視場約為140°[19]，為更好地使駕駛員實現(xiàn)對周圍環(huán)境的感知，以水平視場140°為目標設計了超大視場紅外鏡頭，對應焦距f約為5.6mm，最終設計的超大視場紅外鏡頭如圖5所示，對角線視場大于180°。

2 實驗與分析

實驗在位于華北某地、 溫度約為25 ℃的夏季晚上開展，以校園道路場景中正常行人作為探測目標。道路路面為柏油馬路，白天吸收了較多的熱量，夜間也具有較強的輻射強度，增加了實驗的一般性。從不同水平方位角度對100，120和150 m三個距離下的行人進行觀測，如圖6所示為行人局部成像示意圖，可以看出在這三個距離之下行人相對背景仍然具有一定的顯著性，隨著距離的增大這種顯著性越低，但總體而言圖像中的行人仍然能夠被人眼視覺發(fā)現(xiàn)。

為客觀、 全面表征遠距離下行人的可探測性，對不同入射角度行人真實成像局部歸一化后效果如圖7所示，每組圖像從左到右的入射角度分別在區(qū)間[0°, 10°]，[10°, 20°]，[20°, 30°]，[30°, 40°]，[40°, 50°]，[50°, 60°]和[60°, 70°]；第二行為相應局部圖像的垂直灰度強度投影，用以表征行人在局部圖像中的顯著性，分析如下：

圖6 不同距離行人成像局部示意圖 (a): 100 m; (b): 120 m; (c): 150 mFig.6 Local schematic diagrams of pedestrian imagings at different distances (a): 100 m; (b): 120 m; (c): 150 m

圖7 遠距離行人成像特性Fig.7 Long distance pedestrian imaging characteristics

(1)在本實驗條件下，行人與背景的實際等效溫差大于紅外成像探測器的最小可分辨溫差，這意味著在此范圍內(nèi)的行人能夠被系統(tǒng)探測；

(2)遠距離行人的成像尺寸被大幅壓縮，但由于衍射、 彌散以及像元離散等等因素影響，實際成像尺寸較理想成像更大，當距離100，120和150 m時，其對應的實際成像尺寸(寬×高)限定于大小約為3×6像素、 3×5像素以及3×4像素的矩形框內(nèi)；

(3)距離為100 m時，行人能夠大致區(qū)分上半身和下半身，行人垂直灰度強度投影明顯呈現(xiàn)中間單峰狀；距離增大到120 m時，成像逐漸退化為線條狀，行人垂直灰度強度投影開始與背景發(fā)生粘連；在距離增大到150 m時，行人成像逐漸彌散化，不能夠區(qū)分上半身和下半身，行人的局部顯著性進一步減弱。

面向車輛智能駕駛的系統(tǒng)輸出圖像最終要由駕駛員觀察、 判斷。因此，為客觀、 全面地分析超大視場紅外成像系統(tǒng)車載場景中對行人的探測距離，設計了如下試驗：將系統(tǒng)架設在公路上某固定位置，采集視頻并記錄在路口出現(xiàn)的行人數(shù)量；組織20名具有一定紅外圖像成像特性認知的受試者，通過VR對采集的動態(tài)幀圖像和靜態(tài)圖像進行觀察，統(tǒng)計觀察者“發(fā)現(xiàn)”目標這一等級。動態(tài)視頻和靜態(tài)圖像中不同距離行人被受試者發(fā)現(xiàn)的概率如圖8所示：動態(tài)情況下對行人目標的發(fā)現(xiàn)概率遠大于同等條件下靜態(tài)行人被識別的概率；當距離小于100 m時，動態(tài)和靜態(tài)行人被發(fā)現(xiàn)的概率均大于98%；系統(tǒng)實際對人“發(fā)現(xiàn)”概率為80%時對應距離約為130 m，在動態(tài)條件下，“發(fā)現(xiàn)”距離將大于130 m。

圖8 行人目標距離與“發(fā)現(xiàn)”概率Fig.8 Pedestrian target distance and “discovery” probability

3 結(jié) 論

超大視場紅外成像系統(tǒng)的探測性能決定了其在車輛輔助駕駛應用中的可行性。超大視場紅外成像系統(tǒng)對熱目標敏感、 視場較大且探測距離近似與車載遠光燈處于同一水平，因此能滿足軍用車輛的輔助駕駛需求和民用車輛的中、 低速智能駕駛應用需求。通過對超大視場紅外成像關(guān)鍵性能進行計算與分析，實驗研究表明本系統(tǒng)對人的發(fā)現(xiàn)距離大于130 m，驗證了系統(tǒng)在車載智能駕駛領域方面具備可行性。