林 昱,周 陽,葛軍曉
(北京波譜華光科技有限公司,北京100015)
近年來,夜間道路交通事故呈不斷上升趨勢,對行人及駕駛員的生命安全造成極大的威脅。車載紅外夜視告警系統(tǒng)因其潛在的巨大商業(yè)價(jià)值越來越受各大汽車廠商的青睞。其中,行人檢測算法是整個(gè)夜視告警系統(tǒng)的關(guān)鍵技術(shù)和難點(diǎn)所在。特別是對紅外圖像來說,數(shù)據(jù)位寬一般在12 bit以上,在嵌入式系統(tǒng)運(yùn)算能力和處理速度一定的情況下,對行人檢測算法的復(fù)雜度和執(zhí)行效率有著更加嚴(yán)格的要求?,F(xiàn)有的行人檢測方法很多,比如基于梯度直方圖統(tǒng)計(jì)[1-2]的方法,在實(shí)際全圖檢測時(shí)存在檢測準(zhǔn)確率低、檢測速度慢的缺點(diǎn);“幀差法”[3]由于實(shí)現(xiàn)簡單常用于目標(biāo)區(qū)域提取,但當(dāng)環(huán)境變化較大時(shí),往往不能穩(wěn)定地表示場景;還有Masoud O的人體建模法[4],在建模復(fù)雜度、計(jì)算效率等方面也存在一定的局限。針對上述算法的缺點(diǎn)和不足,本文以單幀紅外圖像為基礎(chǔ),旨在研究一種簡潔、快速的基于特征分析的行人檢測算法,以滿足工程應(yīng)用準(zhǔn)確性和實(shí)時(shí)性的要求。
車載紅外夜視告警系統(tǒng)利用紅外熱成像技術(shù),將接收到的汽車夜間行駛道路前方目標(biāo)與背景的紅外輻射映射成灰度值,利用目標(biāo)和背景間的溫度差進(jìn)行行人檢測,彌補(bǔ)了可見光在夜間探測能力不足的缺陷。要從攝像頭采集到的紅外圖像中提取行人目標(biāo),實(shí)際上是屬于數(shù)字圖像處理中運(yùn)動目標(biāo)檢測的范疇。典型的行人檢測算法處理流程包括圖像去噪、閾值分割、目標(biāo)提取、目標(biāo)識別這幾個(gè)步驟[5],最終將檢測到的行人目標(biāo)用告警框標(biāo)識出來實(shí)現(xiàn)對行人的告警。圖1是奧迪A8推出的熱成像夜視助手效果圖。
圖1 奧迪A8夜視輔助系統(tǒng)效果圖
針對引言部分提到的傳統(tǒng)算法存在的一些問題,本文在圖像分割和目標(biāo)識別這兩個(gè)步驟做了一定的改進(jìn),整個(gè)算法處理流程如圖2所示。
圖2 行人檢測算法處理流程
與“幀差法”不同,本文算法在單幀圖像基礎(chǔ)上進(jìn)行閾值分割。先用中值濾波法對原始紅外圖像數(shù)據(jù)進(jìn)行去噪,然后再經(jīng)過一個(gè)高通濾波器進(jìn)行背景抑制。常用的高通濾波器分為空域和頻域兩類。若濾波器的輸入為函數(shù)f(x,y),輸出信號為g(x,y),設(shè)濾波器的脈沖響應(yīng)函數(shù)為h(x,y),用“*”表示卷積運(yùn)算,則:
這里采用5×5的空域高通模板H:
預(yù)處理后得到的圖像包含了背景噪聲、運(yùn)動目標(biāo)和邊緣區(qū)域,需選取一個(gè)合適的閾值進(jìn)行“二值化”分割(環(huán)境背景等低灰度級像素置為“0”,行人、汽車發(fā)動機(jī)等灰度級較高的目標(biāo)置為“1”)。二值化的閾值選取非常關(guān)鍵,閾值過高,會造成變化區(qū)域缺損和碎化,反之會引入大量背景噪聲。這里我們采用統(tǒng)計(jì)分割的方法來自適應(yīng)求取分割閾值,其理論依據(jù)是預(yù)處理后圖像近似服從準(zhǔn)高斯分布,隨機(jī)變量取均值三倍標(biāo)準(zhǔn)差鄰域之外的值的概率很小,而目標(biāo)灰度值一般較高,容易處于三倍甚至更高倍數(shù)標(biāo)準(zhǔn)差之外,因此分割門限一般取均值累加三倍或更高倍數(shù)標(biāo)準(zhǔn)差。統(tǒng)計(jì)分割方法可以表示為:
其中:
式中,M,N分別為圖像行數(shù)和列數(shù);μ為均值;σ為標(biāo)準(zhǔn)差;th為分割閾值;取k=3。
閾值分割后,我們還需進(jìn)一步修正二值圖像,采用形態(tài)學(xué)[6]“開運(yùn)算”切斷細(xì)線,消除圖像邊緣毛刺和孤立點(diǎn),平滑圖像邊界。因受復(fù)雜背景以及噪聲的影響,處理后的圖像中還會存在大量小面積連通區(qū)域,這些區(qū)域的面積明顯小于行人,可以設(shè)定一個(gè)面積閾值去除這些干擾區(qū)域,以減輕后續(xù)的計(jì)算量。
在目標(biāo)識別方面,本文先提取出單幀圖像內(nèi)的各個(gè)候選目標(biāo),采用“連通域檢測算法”[7]對閾值分割后的二值圖進(jìn)行區(qū)域標(biāo)記。在區(qū)域標(biāo)記的基礎(chǔ)上可以進(jìn)行連通域分析,計(jì)算目標(biāo)的幾何特征參數(shù)并根據(jù)機(jī)器視覺中行人的一些先驗(yàn)知識來完成單幀內(nèi)行人目標(biāo)的篩選[8]。然后,再結(jié)合行人在相鄰幾幀內(nèi)運(yùn)動軌跡的連貫性和運(yùn)動規(guī)律,進(jìn)一步將一些與行人形狀、大小相似的虛警目標(biāo)剔除掉得到最終的行人目標(biāo)。這樣做的好處在于:采用連通域分析的參數(shù)計(jì)算量要遠(yuǎn)小于模板匹配[9],同時(shí)考察連續(xù)幀圖像目標(biāo)的空間分布和運(yùn)動規(guī)律又彌補(bǔ)了僅對單幀圖像進(jìn)行檢測準(zhǔn)確度較差的缺陷。
本文中連通域分析用到的主要指標(biāo)有外接矩形、面積、高寬比及形狀分散度[10]。外接矩形(式(6)~(9))是行人檢測中非常重要的信息,對標(biāo)定行人的位置起到重要作用;高寬比C(式(10))、形狀分散度S(式(11))也是進(jìn)一步獲得目標(biāo)形狀特征相關(guān)的參數(shù)。根據(jù)已有的一些統(tǒng)計(jì)數(shù)據(jù)可知行人的高寬比有一定的范圍,大致在1.4~4這個(gè)區(qū)間。
其中,C為連通區(qū)域高寬比;h為連通域高度;w為連通域?qū)挾?形狀分散度S表示目標(biāo)的復(fù)雜程度;P為連通域周長;A為連通域面積。
根據(jù)以上算法,我們對室外夜間(環(huán)境溫度25℃)拍攝的簡單路況下的20組紅外視頻序列進(jìn)行了算法仿真。采集用的光學(xué)系統(tǒng)焦距f=15 mm,F(xiàn)數(shù)1.0,探測器像元尺寸25 μm,紅外圖像分辨率為384×288像素,告警距離15~90 m。算法中閾值分割系數(shù)取k=3,小面積區(qū)域去除時(shí)面積閾值為30,高寬比C取1~4,形狀分散度在10~25之間,算法處理效果如圖3所示。根據(jù)實(shí)驗(yàn)統(tǒng)計(jì)結(jié)果,在處理的所有視頻序列中,行人識別率達(dá)到85.2%以上,漏檢率在4%左右,處理幀頻大于20 Hz,在一定條件下滿足車載夜視系統(tǒng)對行人檢測算法檢測率和實(shí)時(shí)性的要求。
圖3 算法處理效果圖
本文針對傳統(tǒng)行人檢測算法存在的一些問題,提出了基于單幀紅外圖像的特征分析算法,特別在圖像分割和連通域分析環(huán)節(jié)做了一定的改進(jìn)并進(jìn)行了驗(yàn)證。但實(shí)驗(yàn)采集的紅外道路圖像較典型,場景比較單一,引入的干擾因素也少;而實(shí)際的道路千變?nèi)f化,所拍攝的圖像也復(fù)雜多變,本文中提到的方法在處理中勢必會存在虛警增多等問題,且對于多個(gè)行人交疊一起的情況也存在漏檢現(xiàn)象。因此,要想實(shí)現(xiàn)運(yùn)動行人的精確檢測,滿足智能車輛工程化要求,需要進(jìn)一步改進(jìn)算法,如增加對于復(fù)雜場景道路邊界模型的識別處理等。總之,要完善車載紅外夜視系統(tǒng)行人告警算法,深入研究準(zhǔn)確、實(shí)時(shí)的提取運(yùn)動目標(biāo)是一項(xiàng)非常艱巨的任務(wù)。
[1] Navneet Dalal,Bill Triggs.Histograms of oriented gradients for human detection[C].CVPR,2005:886 -893.
[2] Dalal N,Triggs B.Histograms of oriented gradients for human detection[C]//Proc of the IEEE Conference on Computer Vision and Pattern Recognition,2005:886 -893.
[3] LIN Hongwen,TU Dan,LI Guohui.Moving objects detection method based on statistical background model[J].Computer Engineering,2003,29(16):97 - 99.(in Chinese)林洪文,涂丹,李國輝.基于統(tǒng)計(jì)背景模型的運(yùn)動目標(biāo)檢測方法[J].計(jì)算機(jī)工程,2003,29(16):97 -99.
[4] Masoud O,PapanikolopoulosN P.Robustpedestrian tracking using a model- based approach[C].Intelligent Transportation System,1997:338-343.
[5] SU Xiaoqian,SUNShaoyuan,GE Man,et al.Pedestrian detection and tracking of vehicle infrared images[J].Laser& Infrared,2012,42(8):949 -953.(in Chinese)蘇曉倩,孫韶媛,戈曼,等.車載紅外圖像的行人檢測與跟蹤技術(shù)[J].激光與紅外,2012,42(8):949 -953.
[6] 章毓晉.圖像處理和分析[M].北京:清華大學(xué)出版社,1999.
[7] XU Zhengguang.Pixel labeled algorithm based on recursive method of connecting area in binary images[J].Computer Engineering,2006,32(24):186 - 188.(in Chinese)徐正光.基于遞歸的二值圖像連通域像素標(biāo)記算法[J].計(jì)算機(jī)工程,2006,32(24):186 -188.
[8] Elzein H,Lakshmanan S,Watta P.A motion and shape -based pedestrian detection algorithm[C].Intelligent Vehicles Symposium,Proceedings,IEEE,2003:500 -504.
[9] Gavrila D M,Philomin V.Real-time object detection for smart vehicle[C].Computer Vision,1999:87 -93.
[10] WANG Chenghao,LIU Fuqiang,TIAN Min,et al.The algorithm of vehicle identification and tracking based on blob analysis[J].Signal Processing,2005,21(4A):370 -374.(in Chinese)王臣豪,劉富強(qiáng),田敏,等.基于Blob的車輛識別及其跟蹤算法研究[J].信號處理,2005,21(4A):370-374.