基于激光雷達(dá)與紅外圖像融合的車輛目標(biāo)識(shí)別算法

戰(zhàn)蔭澤,張立東,秦 穎

(長春理工大學(xué)光電信息學(xué)院,吉林 長春 130000)

1 引 言

目標(biāo)識(shí)別技術(shù)廣泛應(yīng)用于軍事、工業(yè)等領(lǐng)域,常見的目標(biāo)識(shí)別的方法有激光雷達(dá)、紅外成像[1-4]等。基于激光雷達(dá)的主動(dòng)成像技術(shù)具有分辨率高、可獲取距離向信息等優(yōu)勢,但由于目標(biāo)表面反射效果不同,照射角度、遮擋等都會(huì)對測試數(shù)據(jù)帶來很大的影響[5-6]；基于紅外成像的目標(biāo)識(shí)別主要取決于被測目標(biāo)輻射特性,照射角度、遮蔽等對目標(biāo)識(shí)別結(jié)果影響小,但其空間分辨率低,沒有距離向信息,無法實(shí)現(xiàn)目標(biāo)三維圖像重建[7-8]。

針對激光雷達(dá)數(shù)據(jù)中的目標(biāo)識(shí)別成為了一個(gè)研究熱點(diǎn),Cao L H[9]提出了一種基于輻射能量守恒的單點(diǎn)目標(biāo)輻射特性測量的優(yōu)化算法,提高了單點(diǎn)目標(biāo)的識(shí)別概率。Kumar等人[10]通過對特征數(shù)據(jù)分配權(quán)值的方法構(gòu)建分類器,從而優(yōu)化分類規(guī)則,最終實(shí)現(xiàn)了提高組合分類效率的目的。楊帆等人[11]將數(shù)據(jù)挖掘算法應(yīng)用于激光雷達(dá)圖像中完成目標(biāo)識(shí)別,相比傳統(tǒng)目標(biāo)識(shí)別算法,提高了目標(biāo)檢出率。李春苗等人[12]對激光雷達(dá)數(shù)據(jù)進(jìn)行特征提取,從而降低了目標(biāo)的誤檢率。薛培林等人[13]通過激光雷達(dá)與可見光圖像融合技術(shù)完成了城市中自主車輛識(shí)別技術(shù),在可見光充分的條件下得到了很好的應(yīng)用。仝選悅等人[14]將激光雷達(dá)數(shù)據(jù)融合到紅外圖像中,并對三種典型坦克目標(biāo)進(jìn)行了分析,結(jié)果顯示其識(shí)別精度得到了提升。由此可見,基于激光雷達(dá)與二維成像的數(shù)據(jù)融合是提高目標(biāo)識(shí)別精度的一種新途徑,其優(yōu)勢在于可以利用工作機(jī)理的不同抑制不同類別的噪聲及干擾,從而提高目標(biāo)識(shí)別精度。

本文將紅外圖像與激光距離向圖像進(jìn)行配準(zhǔn),然后以待測區(qū)域中的目標(biāo)紅外特征區(qū)域作為限定條件,結(jié)合待識(shí)別目標(biāo)的先驗(yàn)知識(shí),完成噪聲抑制和目標(biāo)提取。該算法適用于目標(biāo)與背景存在光譜特征差異的待測目標(biāo),具有很好的魯棒性。

2 數(shù)據(jù)特征的表達(dá)

目標(biāo)的特征提取是目標(biāo)識(shí)別的先決條件,目標(biāo)特征的提取規(guī)則直接影響了噪聲的抑制效果。融合紅外圖像特征與激光雷達(dá)距離向圖像特征的提取方法可以兼容兩種方法的優(yōu)勢,實(shí)現(xiàn)對不同類型噪聲的有效抑制。

2.1 紅外特征

采用小波不變矩提取紅外圖像數(shù)據(jù)特征,設(shè)圖像函數(shù)為g(x,y),其笛卡爾坐標(biāo)系中(s+t)階原點(diǎn)矩Mst有:

(1)

其中,s和t的取值范圍是非負(fù)整數(shù);x和y是圖像直角坐標(biāo)系中的二維位置,其極坐標(biāo)關(guān)系可以表示為:

(2)

將式(2)帶代式(1)可得:

(3)

由此獲得紅外圖像中用于表征目標(biāo)的原點(diǎn)矩參量,即紅外特征的表達(dá)。

2.2 激光雷達(dá)點(diǎn)云特征

利用標(biāo)準(zhǔn)目標(biāo)模型的點(diǎn)云距離特征與激光雷達(dá)測試點(diǎn)云進(jìn)行配準(zhǔn)擬合分析,為了獲取識(shí)別被測目標(biāo)。雖然實(shí)測過程中存在遮擋等會(huì)造成數(shù)據(jù)不完整,但目標(biāo)點(diǎn)云結(jié)構(gòu)中存在相應(yīng)的位置特征關(guān)系,仍可以用于判斷,判斷依據(jù)為匹配相似度F(x,y),其可表示為:

(4)

其中,p(x,y)為測試點(diǎn)云投影得到的圖像;T(x,y)為模板圖像;x和y分別表示圖像的橫軸和縱軸坐標(biāo)值;X和Y表示最大值。F()為匹配相似度,Ft為預(yù)設(shè)的相似度閾值。當(dāng)F(x,y)Ft時(shí),模板圖像與測試圖像不匹配,即不為同一特征類型。

3 算法設(shè)計(jì)

當(dāng)激光雷達(dá)系統(tǒng)與紅外系統(tǒng)采用共光路設(shè)計(jì)時(shí),就可以認(rèn)為其圖像經(jīng)平移、旋轉(zhuǎn)、尺度對齊就能夠?qū)崿F(xiàn)圖像匹配了。圖像配準(zhǔn)步驟有:

(1)將激光雷達(dá)圖像與紅外圖像的基準(zhǔn)坐標(biāo)進(jìn)行對齊,從而使兩組數(shù)據(jù)使用相同坐標(biāo)系。設(shè)激光雷達(dá)系統(tǒng)測試距離為d,激光雷達(dá)圖像在x軸和y軸上的視場角和長度分別是θx、Mx和θy、My。紅外圖像在x軸和y軸上的視場角和長度分別是φx、Nx和φy、Ny。由此激光雷達(dá)距離分辨率可表示為:

(5)

紅外圖像的距離分辨率可表示為:

(6)

(2)依據(jù)圖像范圍,計(jì)算圖像之間的尺度變換因子,完成圖像尺度換算。對兩類圖像得分辨率進(jìn)行計(jì)算可以將圖像之間的尺度關(guān)系求解出來,從而用該尺度關(guān)系完成圖像之間的尺度變換,x和y軸兩個(gè)方向的比例取值有:

(7)

由此可見,要實(shí)現(xiàn)兩類圖像的配準(zhǔn),在將兩組圖像中心對準(zhǔn)的基礎(chǔ)上,將待配準(zhǔn)圖像乘以相應(yīng)的尺度變換因子即可。

(3)在激光雷達(dá)圖像中尋找目標(biāo)特征點(diǎn),從而以對齊的坐標(biāo)原點(diǎn)為中心將激光雷達(dá)圖像匹配到紅外圖像的相應(yīng)位置上,完成圖像融合。

4 算法實(shí)現(xiàn)

若紅外圖像的尺寸IIR=X×Y,目標(biāo)尺寸為I目標(biāo)=X目標(biāo)×Y目標(biāo),設(shè)檢測目標(biāo)的實(shí)際尺寸為S實(shí)際=x×y,則紅外圖像中的尺寸為SIR=(X目標(biāo)/X)x×(Y目標(biāo)/Y)y。則SIR可以作為濾波函數(shù)的邊界條件。故算法流程如圖1所示。

圖1 目標(biāo)識(shí)別算法流程圖Fig.1 Flow chart of target recognition algorithm

算法流程中主要分為兩個(gè)部分,左側(cè)為數(shù)據(jù)采集與識(shí)別結(jié)果輸出,對輸入的紅外圖像和激光雷達(dá)圖像進(jìn)行圖像信息采集,再提取相應(yīng)的特征信息；右側(cè)為目標(biāo)循環(huán)檢測判斷部分,用于完成對符合目標(biāo)特征但信息不完整的目標(biāo)圖像進(jìn)行篩選,實(shí)現(xiàn)目標(biāo)增強(qiáng)并消除偽目標(biāo)。工作步驟如下:

(1)紅外與激光雷達(dá)圖像數(shù)據(jù)采集；

(2)完成圖像特征提取,獲得Mst和F(x,y),實(shí)現(xiàn)對目標(biāo)特征信息的采集；

(3)圖像坐標(biāo)對齊,包括原點(diǎn)重合和軸系對齊；

(4)計(jì)算x和y軸的尺度因子,完成尺度變換；

(5)計(jì)算實(shí)際目標(biāo)與紅外圖像之間的換算關(guān)系SIR；

(6)完成圖像匹配；

(7)利用匹配比例閾值完成對整個(gè)圖像中所有目標(biāo)的篩選。

5 實(shí)驗(yàn)與結(jié)果分析

5.1 測試結(jié)果

為了驗(yàn)證激光和紅外融合目標(biāo)檢測算法的性能,首先測試地面移動(dòng)目標(biāo)汽車的紅外圖像和激光圖像數(shù)據(jù)。圖2(a)～(c)分別示出了幀1、20和40的檢測結(jié)果。圖2(d)～(f )分別示出了幀1、20和40的檢測和識(shí)別結(jié)果。

圖2 汽車目標(biāo)識(shí)別算法對比圖Fig.2 Comparison of cars target recognition algorithms

由圖2(a)和圖2(d)、圖2(b)和圖2(e)和圖2(c)和圖2(f )可以看出,不同幀采集的激光雷達(dá)圖像與紅外圖像融合后按照特征條件可以將汽車目標(biāo)進(jìn)行有效提取。由圖2(a)、圖2(b)和圖2(c)可知,由于采集幀圖像是發(fā)生在不同時(shí)刻的,所以雖然是針對同一個(gè)區(qū)域采集的,但是圖像發(fā)生了變化,其中第1幀中沒有的汽車目標(biāo)是后來運(yùn)動(dòng)駛?cè)氲?而第20和40幀中采集到了,并且在圖2(e)和圖2(f )實(shí)現(xiàn)了目標(biāo)識(shí)別?？梢娝惴ň哂袛?shù)據(jù)實(shí)時(shí)更新迭代的能力。對比圖2(a)和圖2(d)可知,其中從左向右第一輛汽車存在樹葉遮擋,單純的紅外二維像是不能有效識(shí)別的,但由于采用了激光雷達(dá)點(diǎn)云特征的邊界條件,將目標(biāo)與樹葉在二維圖像中進(jìn)行了分離,故目標(biāo)被有效識(shí)別。對比圖2(d)和圖2(e)可知,其中一輛目標(biāo)車由于激光雷達(dá)照射角度問題使其在圖2(d)中僅獲取了一個(gè)反射面的融合圖像,這是由于激光雷達(dá)照射角度導(dǎo)致的數(shù)據(jù)丟失,如果僅采用激光雷達(dá)圖像會(huì)導(dǎo)致漏檢,而融合圖像中該目標(biāo)由于符合紅外目標(biāo)邊界條件,故被有效識(shí)別。由此可見,本文所使用的激光和紅外融合目標(biāo)檢測算法可以有效地提高目標(biāo)識(shí)別效率,適應(yīng)不同測試環(huán)境造成偏差。

5.2 測試數(shù)據(jù)統(tǒng)計(jì)對比分析

為了驗(yàn)證算法的普適性,實(shí)驗(yàn)將1000幀圖像數(shù)據(jù)的目標(biāo)識(shí)別結(jié)果進(jìn)行了統(tǒng)計(jì)分析。假設(shè)在測試過程中,車輛目標(biāo)靜止且無遮擋的情況為條件A,車輛目標(biāo)靜止存在小于總面積1/3的遮擋的情況為條件B,車輛運(yùn)動(dòng)且無遮擋的情況為條件C,車輛運(yùn)動(dòng)且存在小于總面積1/3的遮擋的情況為條件D。測試數(shù)據(jù)分別采用激光雷達(dá)目標(biāo)識(shí)別算法(距離向數(shù)據(jù)分類)、紅外成像目標(biāo)算法(光譜譜段數(shù)據(jù)分類)以及本融合算法對四類目標(biāo)進(jìn)行提取與識(shí)別,并通過漏檢率(目標(biāo)存在但未被檢出的次數(shù)與總檢測次數(shù)的比值)與誤檢率(并非目標(biāo)而被誤判為目標(biāo)檢出的次數(shù)與總檢測次數(shù)的比值)對三種識(shí)別方法進(jìn)行評價(jià),測試結(jié)果如表1所示。

表1 車輛目標(biāo)測試結(jié)果分析Tab.1 Analysis of vehicle target test results

由表1數(shù)據(jù)可知,當(dāng)測試為條件A時(shí),三種測試方式的漏檢率和誤檢率相近,都能夠很好地完成目標(biāo)的識(shí)別；當(dāng)測試為條件B時(shí),光譜分類法的漏檢率顯著增大,即僅以光譜分類的目標(biāo)識(shí)別受到明顯影響。分析認(rèn)為雖然目標(biāo)仍為靜止,即數(shù)據(jù)采集比較穩(wěn)定,但由于存在部分遮擋,待測區(qū)域的光譜交疊程度增強(qiáng),故造成目標(biāo)分離困難,從而漏檢率與誤檢率的大幅增加。相比之下,由于仍是靜態(tài),基于激光雷達(dá)的距離向數(shù)據(jù)分類法要略優(yōu)于光譜分類法；當(dāng)測試為條件C時(shí),雖然不存在遮擋但是由于目標(biāo)運(yùn)動(dòng),故使數(shù)據(jù)采集存在抖動(dòng)誤差,此時(shí)可以看出,距離向數(shù)據(jù)分類法受影響較大,分析認(rèn)為是由于車輛運(yùn)動(dòng)使不同幀的點(diǎn)云拼接存在較大誤差造成的；當(dāng)測試為條件D時(shí),由于目標(biāo)在移動(dòng),同時(shí)還伴隨部分遮擋,故兩種傳統(tǒng)識(shí)別方法的漏檢率均超過20.0 %,誤檢率也大幅增加,超過10.0 %。在整個(gè)四種條件下,本融合算法的漏檢率均小于10.0 %,誤檢率均小于5.0 %,檢測效果隨環(huán)境條件的復(fù)雜而有所降低,但總體測試效果明顯優(yōu)于傳統(tǒng)方法,對不同測試條件具有更好的魯棒性。

6 結(jié) 論

本文針對目標(biāo)靜止、存在遮擋等不同測試條件下目標(biāo)識(shí)別效果下降的問題,提出了一種基于激光雷達(dá)與紅外圖像融合的車輛目標(biāo)識(shí)別算法。該算法將點(diǎn)云特征與紅外特征進(jìn)行圖像融合,再通過目標(biāo)匹配閾值迭代的方式降低系統(tǒng)漏檢率與誤檢率。結(jié)果顯示,在1000幀圖像分組實(shí)驗(yàn)中,本算法的漏檢率均小于10.0 %,誤檢率均小于5.0 %,明顯優(yōu)于兩種傳統(tǒng)算法,具有更好的應(yīng)用價(jià)值。