車載視頻交通場景定位與文字識別方法的改進

，

(1.中國電子科技集團公司 第三十八研究所，合肥 230031；2.孔徑陣列與空間探測安徽省重點實驗室；3.陸軍炮兵防空兵學院)

引 言

駕駛輔助系統(tǒng)是智能交通系統(tǒng)的重要組成部分，對于提高駕駛安全性有著重要作用。由行車記錄儀拍攝的視頻圖像中通常含有語義信息，這些信息包含了路徑提示、限速標識、疲勞駕駛提醒等信息，而這些信息為駕駛員對交通場景的認知起著重要作用。通過對行車記錄儀視頻中的文字進行自動識別，可以為駕駛員提取警示、提醒和導向標識，進行有選擇性的自動文字信息播報或存儲，以便駕駛員提前做出路徑選擇，能夠節(jié)省時間且提高安全性。

交通場景文字識別的挑戰(zhàn)主要來自于高度復雜的背景信息，如樹葉、路燈和天橋等增加了文字定位難度。此外，文字分辨率較低、字體形態(tài)各異，以及光照條件的變換都為文字識別帶來了挑戰(zhàn)。

近年來，用于自然場景文字文本檢測的方法主要兩類，一類是基于滑動窗[1]的方法，另一類是基于連通域[2]的方法?；诨瑒哟暗姆椒ㄊ紫仍诓煌叨认禄瑒哟翱谔崛√卣鳎邕吘壧卣?、局部二值特征和直方圖特征[3]等，然后用分類器對每個窗口進行文字檢測，最后對文字進行分類。這類方法檢測效率比較低，復雜場景下文字識別效果較差?；谶B通域的方法主要是使用顏色、極值區(qū)域[4]等連通域特征提取文字候選區(qū)域，再利用一些人為設定的規(guī)則或自動分類器對非文字區(qū)域進行過濾，該類方法對旋轉(zhuǎn)、尺度變化和字體差異不敏感，是場景文字識別的主流方法。

隨著計算機圖像處理能力的提高和計算機視覺技術的發(fā)展，基于視頻的交通場景文字識別得以實現(xiàn)。以行車記錄儀作為車載視頻傳感器，對交通場景文字進行識別，并對識別內(nèi)容進行記錄存儲，不僅可以為駕駛員認知交通場景提供有用信息，還可以為場景信息事后查詢提供記錄和索引。

1 總體框架

基于視頻的交通場景文字識別方法用于自動檢測和識別車載視頻中的交通標志和廣告文字，解決現(xiàn)有技術對于交通場景文字的定位和識別精度不高，且不同光照環(huán)境下魯棒性[5]差的問題，總體框圖如圖1所示。

圖1 總體框圖

首先，將視頻中的單幀圖像轉(zhuǎn)化成灰度圖像并使用Retinex算法進行對比度增強預處理，搜索預處理后圖像的最穩(wěn)定極值區(qū)域作為文字候選區(qū)，利用幾何形狀等先驗知識對候選區(qū)域進行篩選，得到符合先驗知識的文字候選區(qū)；其次，對符合先驗知識的文字候選區(qū)域做筆畫寬度變換，設定筆畫寬度均值方差閾值，得到符合筆畫寬度特征的文字候選區(qū)域，用一個級聯(lián)文字非文字二分類器對候選區(qū)域進行分類，并使用非極大值抑制法去除重合區(qū)域，得到最終文字區(qū)域；再次，對文字區(qū)域進行二值化，結(jié)合連通域法和投影法將文字區(qū)域分割為單個字；最后，訓練CNN文字分類器，逐個文字進行識別，得到單幀圖像識別結(jié)果。下一幀圖像感興趣區(qū)域為上一幀圖像文字區(qū)域臨近區(qū)域，根據(jù)設定的搜索窗口使用灰度直方圖匹配算法進行跟蹤檢測，重復以上步驟識別當前幀文字。

2 選定文字候選區(qū)

讀取車載視頻中的關鍵幀對圖像進行預處理，對預處理后的圖像通過先驗知識和筆畫寬度特征算法初步選定文字候選區(qū)域，然后使用級聯(lián)分類器最終得到文字區(qū)域。

2.1 圖像預處理

讀取車載視頻中的關鍵幀，并將圖像轉(zhuǎn)換成灰度圖，使用Retinex算法[6]對灰度圖進行對比度增強處理。原始圖像S(x,y)可以看成是光照圖像L(x,y)和反射率圖像R(x,y)的乘積，如式(1)所示：

S(x,y)=R(x,y)×L(x,y)

(1)

由式(2)將圖像變換到對數(shù)域：

(2)

Retinex理論假設圖像的噪聲來源于圖像各個位置，反射率不同，因此去除反射圖像的噪聲便可還原圖像，反射分量噪聲可通過歸一化去除，歸一化后的反射分量r′(x,y)由式(3)計算得到：

(3)

其中 r(x,y)為反射分量，max(r(x,y))為反射分量中的最大值。將去噪后的反射分量求指數(shù)，反變換到實數(shù)域即得到增強后的圖像。Retinex算法可有效提升圖像對比度，針對霧天、逆光場景能很好地還原圖像。圖2給出了一個例子，圖2(a)是從車載視頻中讀取的圖像，圖2(b)是預處理后的灰度圖。

圖2 圖像預處理

對預處理后的灰度圖像(灰度值為0～255)取閾值進行二值化處理，閾值從0到255依次遞增，在得到的所有二值圖像中，圖像的變化很小，甚至沒有變化的一些連通區(qū)域被稱為最大穩(wěn)定極值區(qū)域[7]，連通區(qū)域變化的數(shù)學定義如式(4)：

q(i)=|Qi+Δ-Qi-Δ|/|Qi|

(4)

將最穩(wěn)定極值區(qū)域作為文字候選區(qū)，該算法對圖像具有較強的仿射變換不變性[8]。

圖3 MSER檢測后的圖像

利用先驗知識對候選區(qū)域進行篩選，先驗知識主要包括區(qū)域面積、區(qū)域矩形度、外接矩形的寬高比和外接矩形高度；外接矩形為對該區(qū)域取最小外接矩形；區(qū)域面積即為該區(qū)域內(nèi)像素點個數(shù)；區(qū)域矩形度即為區(qū)域面積與外接矩形面積之比，該值越接近1，該區(qū)域外形越接近矩形；外接矩形寬高比即外接矩形寬度與高度之比；對以上先驗知識設定閾值，可以得到符合先驗知識的文字候選區(qū)域。處理后的圖像如圖3所示。

2.2 筆畫寬度特征

對符合先驗知識的文字候選區(qū)域做筆畫寬度變換[9],設定筆畫寬度均值方差閾值，得到符合筆畫寬度特征的文字候選區(qū)域。

筆畫寬度特征屬于文字的獨有特征，一般而言統(tǒng)一的文本都具有統(tǒng)一的筆畫寬度，如圖4所示。

圖4 筆畫寬度示意圖

筆畫寬度計算過程如下：每一個候選區(qū)域都作為一幅圖像進行筆畫寬度特征提取，先使用Canny算子[10]對圖像進行邊緣檢測，得到每個邊緣像素點的方向梯度值，設邊緣像素點p方向梯度值為dp，從點p沿梯度方向dp出發(fā)尋找像素點q，該點方向梯度dq與dp大致相反，如式(5)：

(5)

圖5 經(jīng)過筆畫寬度特征過濾后的圖像

2.3 級聯(lián)分類器

對符合筆畫寬度特征的文字候選區(qū)域用級聯(lián)文字非文字二分類器[11]對候選區(qū)域進行分類，并使用非極大值抑制法去除重合區(qū)域，得到最終文字區(qū)域。

級聯(lián)的文字非文字二分類器是基于局部二值特征和Adaboost算法進行分類器的級聯(lián)，級聯(lián)分類器示意圖如圖6所示。該分類器的訓練主要分成兩步：弱分類器的訓練和分類器級聯(lián)[12]。

圖6 Adaboost級聯(lián)分類器示意圖

對于每個特征，計算所有訓練樣本的特征值，并將特征值排序，對順序排列的每個元素計算4個指標：全部文字樣本的權(quán)重和T0，全部非文字樣本的權(quán)重和最小T0，在此元素前文字樣本的權(quán)重和S0，在此元素前非文字樣本的權(quán)重和S1。選取當前元素特征值[13]和它前面一個特征值之間的一個值作為閾值，該閾值的分類誤差由式(6)表示：

e=min(S1+(T0-S0),S0+(T1-S1))

(6)

將誤差最小的閾值作為最優(yōu)閾值，得到弱分類器。

將若干個弱分類器級聯(lián)成強分類器。訓練庫樣本數(shù)為N，其中文字樣本為N0，非文字樣本數(shù)為N1，最大迭代次數(shù)為T，初始化樣本權(quán)重為1/N。首先第一次迭代訓練所有樣本，得到第一個弱分類器，然后提高上一步中被誤識別的樣本權(quán)重，將錯分類樣本和新樣本作為下一個弱分類器的訓練樣本，其次重復訓練新的弱分類器，T輪迭代后得到T個最優(yōu)弱分類器，將弱分類器按式(7)組合成強分類器。

(7)

3 文字分割與識別

用大津法對文字區(qū)域圖像二值化，之后進行中值濾波平滑噪點[14]。在二值圖上找連通域，根據(jù)先驗知識設定最小面積閾值，得到滿足閾值要求的連通域，該步驟能找出連通的字符。對于不連通的字符采用投影法得到分割點，對文字區(qū)域進行分割，最終得到單個文字。

訓練用于文字識別的CNN文字分類器[15]，CNN分類器結(jié)構(gòu)如圖7所示。將訓練圖像歸一化為28×28的灰度圖像，構(gòu)建一個CNN網(wǎng)絡，該網(wǎng)絡包括2個卷積層、2個下采樣層、1個全連接層和一個Softmax分類器[16]。將訓練圖像送入CNN中訓練，得到訓練好的CNN分類器，將分割后的單個文字圖像歸一化為28×28的灰度圖后，送入訓練好的CNN分類器得到字符識別結(jié)果，文字結(jié)果共有136類，包括100個交通場景常用漢字、10個阿拉伯數(shù)字和26個英文字母。

圖7 CNN分類器結(jié)構(gòu)

4 下一幀圖像文字識別

下一幀圖像的候選區(qū)在上一幀圖像文字區(qū)域臨近區(qū)域，根據(jù)設定的搜索窗口及區(qū)域直方圖匹配算法搜索得到。先提取上一幀文字區(qū)域的灰度直方圖H_pre，在下一幀圖像內(nèi)，根據(jù)設定的搜索窗口，滑動計算窗口內(nèi)每個位置對應區(qū)域的灰度直方圖H_cur_i，使用交叉和計算直方圖H_pre和H_cur_i的相似度，找到相似度最高的區(qū)域，即為下一幀的文字區(qū)域。得到文字區(qū)域后，重復單幀圖像識別過程。

結(jié) 語

本文提出了一種基于車載視頻的交通場景文字識別方法，該方法對交通場景文字的定位和識別精度高，對不同光照環(huán)境有較好的魯棒性。主要有以下幾個創(chuàng)新點：

① 在選定文字區(qū)域模塊圖像預處理中，使用Retinex算法對灰度圖進行對比度增強處理，可有效提升圖像對比度，在霧天、逆光場景下能很好地還原圖像。

② 在選定文字區(qū)域筆畫寬度特征中，對文字候選區(qū)域做筆畫寬度變換，設定筆畫寬度均值方差閾值，得到符合筆畫寬度特征的文字候選區(qū)域。筆畫寬度特征屬于文字的獨有特征，一般而言，統(tǒng)一的文本都具有統(tǒng)一的筆畫寬度，使用該特征可有效濾除虛假的文字候選區(qū)域。

③ 在選定文字區(qū)域級聯(lián)分類器中，對符合筆畫寬度特征的文字候選區(qū)域用級聯(lián)文字非文字二分類器對候選區(qū)域進行分類，并使用非極大值抑制法去除重合區(qū)域得到最終文字區(qū)域。級聯(lián)分類器具有分類精度高、運算簡單的特點。