融合多傳感器與遷移學(xué)習(xí)的車牌識(shí)別方法研究

嚴(yán) 格

（浙江同濟(jì)科技職業(yè)學(xué)院，杭州 311200）

車牌的準(zhǔn)確定位和識(shí)別技術(shù)作為智能交通系統(tǒng)和車輛管理的關(guān)鍵技術(shù)之一，不僅有助于提高交通管理效率，還為智能駕駛和車輛安防提供了重要支持。然而，在復(fù)雜背景下，車牌定位存在很多問題。例如：光照條件變化，傳統(tǒng)方法對(duì)于光照條件的變化較為敏感，容易造成車牌區(qū)域定位錯(cuò)誤；復(fù)雜路況下（在彎道和交叉口），車牌定位及識(shí)別準(zhǔn)確率降低；在夜間光線不好的情況下，也會(huì)限制其準(zhǔn)確性和魯棒性。激光雷達(dá)技術(shù)具有高精度，無需外部光源等優(yōu)勢(shì)，在光照變化和惡劣天氣條件下仍然能夠穩(wěn)定工作，能夠適應(yīng)復(fù)雜的實(shí)際道路環(huán)境，為車牌定位提供更為穩(wěn)健的解決方案。與此同時(shí)，遷移學(xué)習(xí)作為一種機(jī)器學(xué)習(xí)技術(shù)，可以在源領(lǐng)域和目標(biāo)領(lǐng)域之間共享知識(shí)，從而在目標(biāo)領(lǐng)域中實(shí)現(xiàn)較好的性能，減少數(shù)據(jù)需求和模型訓(xùn)練的復(fù)雜度。在車牌識(shí)別任務(wù)中，傳統(tǒng)的深度學(xué)習(xí)方法需要大量的標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練，但是在實(shí)際應(yīng)用中獲取大規(guī)模標(biāo)注數(shù)據(jù)常常具有較高的成本。因此，利用遷移學(xué)習(xí)技術(shù)將在源領(lǐng)域（如一般場(chǎng)景下的車輛圖像）訓(xùn)練得到的知識(shí)遷移到目標(biāo)領(lǐng)域（復(fù)雜背景下的車牌圖像）進(jìn)行車牌識(shí)別，將成為提高車牌識(shí)別性能的有效途徑。

本文旨在為車牌定位與識(shí)別技術(shù)的改進(jìn)提供新思路和方法，促進(jìn)智能交通系統(tǒng)的進(jìn)一步發(fā)展。該方法的核心在于將激光雷達(dá)技術(shù)與圖像傳感器相融合，并輔以遷移學(xué)習(xí)，構(gòu)成了一種新的車牌精準(zhǔn)定位與識(shí)別方法。在這一方法中，激光雷達(dá)技術(shù)實(shí)現(xiàn)車牌的精準(zhǔn)定位，克服了復(fù)雜背景下存在的問題，為車牌識(shí)別奠定了基礎(chǔ)。同時(shí)，圖像傳感器獲取豐富的視覺信息，為車牌識(shí)別提供了必要的特征。通過圖像傳感器獲取的車牌圖像，可以為后續(xù)的字符分割和識(shí)別提供重要的輸入。對(duì)于車牌識(shí)別任務(wù)，遷移學(xué)習(xí)利用預(yù)訓(xùn)練模型，使得字符識(shí)別模型能夠從源任務(wù)中學(xué)習(xí)到豐富的特征，再通過微調(diào)來適應(yīng)目標(biāo)任務(wù)，避免了從零開始訓(xùn)練模型所需的大量數(shù)據(jù)和計(jì)算資源。本文融合了激光雷達(dá)和圖像傳感器數(shù)據(jù)，輔以遷移學(xué)習(xí)技術(shù)，充分利用了多模態(tài)信息，改善了車牌定位與識(shí)別的綜合性能，提高了車牌識(shí)別的準(zhǔn)確性和魯棒性。本文所述車牌定位識(shí)別策略整體流程如圖1 所示。

圖1 車牌定位識(shí)別策略整體流程

1 基于激光雷達(dá)技術(shù)的車牌定位

激光雷達(dá)具有較強(qiáng)的環(huán)境感知能力，可以獲取到目標(biāo)物體的距離和位置信息。在車牌定位中將激光雷達(dá)設(shè)置在車輛頂部，通過掃描周圍環(huán)境，獲取車輛及車牌的三維信息。與傳統(tǒng)的圖像處理方法相比，激光雷達(dá)能夠克服復(fù)雜背景下的干擾，具有更高的魯棒性和準(zhǔn)確性。通過獲取車輛和車牌的三維點(diǎn)云數(shù)據(jù)可精確定位車牌的位置，本文采用Velodyne VLP-16 激光雷達(dá)進(jìn)行數(shù)據(jù)采集，完成車牌定位。

1.1 點(diǎn)云預(yù)處理

去除離群點(diǎn)。點(diǎn)云數(shù)據(jù)中常常包含一些異常點(diǎn)，這些點(diǎn)可能是因?yàn)榧す鉁y(cè)量誤差、反射物體的干擾或傳感器故障等原因?qū)е碌摹＿@些離群點(diǎn)對(duì)后續(xù)的處理和分析會(huì)產(chǎn)生不利影響，采用中值濾波的方法，通過計(jì)算點(diǎn)云數(shù)據(jù)的統(tǒng)計(jì)特征來識(shí)別和去除離群點(diǎn)。

數(shù)據(jù)平滑處理。點(diǎn)云數(shù)據(jù)采集過程中可能存在噪聲，這些噪聲會(huì)導(dǎo)致點(diǎn)云數(shù)據(jù)的不平滑。為了提高數(shù)據(jù)的平滑度和連續(xù)性，采用高斯濾波算法，對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行平滑處理。

點(diǎn)云配準(zhǔn)。激光雷達(dá)在車輛行駛過程中可能會(huì)發(fā)生姿態(tài)變化或傳感器位置的微小變化，導(dǎo)致采集到的點(diǎn)云數(shù)據(jù)存在配準(zhǔn)誤差。本文采用ICP 算法進(jìn)行數(shù)據(jù)配準(zhǔn)將多個(gè)點(diǎn)云數(shù)據(jù)進(jìn)行匹配和對(duì)齊，使其在同一個(gè)坐標(biāo)系下表示同一場(chǎng)景。通過點(diǎn)云配準(zhǔn)，可以消除點(diǎn)云數(shù)據(jù)之間的配準(zhǔn)誤差，提高數(shù)據(jù)的一致性和精確性。

點(diǎn)云濾波。首先根據(jù)車牌尺寸及激光雷達(dá)點(diǎn)云密度除去過于密集或過于稀疏的點(diǎn)云。然后由于車牌的位置是固定的，將背景中可能存在的交通標(biāo)志牌、施工標(biāo)志牌等復(fù)雜背景下的強(qiáng)反射點(diǎn)云濾除。

1.2 基于位置特征的點(diǎn)云聚類及車牌三維坐標(biāo)獲取

在車牌定位中，車牌通常位于車輛的前部或后部，這一特征可用作車牌區(qū)域的定位依據(jù)。本文采用基于位置特征的幾何特征提取方法，將點(diǎn)云數(shù)據(jù)聚類成車牌區(qū)域和其他環(huán)境區(qū)域。具體步驟如下。

地面提取。首先，將地面點(diǎn)云數(shù)據(jù)從總體點(diǎn)云中提取出來。地面點(diǎn)云數(shù)據(jù)通常位于車輛周圍平坦區(qū)域，通過計(jì)算點(diǎn)云數(shù)據(jù)的高度特征，可以將地面點(diǎn)云數(shù)據(jù)識(shí)別出來。

聚類分析。在地面點(diǎn)云的基礎(chǔ)上，采用聚類分析方法將點(diǎn)云數(shù)據(jù)進(jìn)行分組。聚類分析之所以能夠?qū)崿F(xiàn)車牌區(qū)域定位，是利用點(diǎn)云數(shù)據(jù)中的點(diǎn)，依據(jù)這些點(diǎn)的特征來進(jìn)行分組。確定車牌區(qū)域選擇使用基于密度的DBSCAN 聚類算法，該算法將具有足夠密度的區(qū)域劃分為簇，并在具有噪聲的空間數(shù)據(jù)庫中發(fā)現(xiàn)任意形狀的簇，將簇定義為密度相連的點(diǎn)的最大集合。根據(jù)使用該算法得到的上述點(diǎn)云聚類的結(jié)果，確定可能包含車牌的聚類區(qū)域。然后通過計(jì)算車牌區(qū)域的形狀特征，進(jìn)一步篩選出車牌區(qū)域后，根據(jù)車牌區(qū)域的位置信息，得到車牌的三維坐標(biāo)。

1.3 圖像傳感器的車牌圖像采集與雙重驗(yàn)證

為驗(yàn)證基于激光雷達(dá)技術(shù)的車牌定位策略的有效性，在激光雷達(dá)定位車牌的基礎(chǔ)上，利用圖像傳感器（如攝像機(jī)）對(duì)車牌區(qū)域進(jìn)行圖像采集，獲取車牌圖像。通過激光雷達(dá)定位的車牌坐標(biāo)和圖像傳感器采集的車牌圖像進(jìn)行雙重驗(yàn)證，對(duì)比2 種信息的一致性，可以驗(yàn)證激光雷達(dá)定位的準(zhǔn)確性，并排除可能存在的誤差。本文采用Velodyne VLP-16 激光雷達(dá)，在實(shí)時(shí)復(fù)雜背景下進(jìn)行車牌定位，并通過圖像傳感器進(jìn)行雙重驗(yàn)證。共生成了153 組點(diǎn)云數(shù)據(jù)，每組數(shù)據(jù)大約包含10 000 個(gè)點(diǎn)，通過計(jì)算準(zhǔn)確率、召回率和F1-score 指標(biāo)，對(duì)2 種方法的定位準(zhǔn)確性進(jìn)行了對(duì)比。車牌定位準(zhǔn)確性對(duì)比，見表1。

表1 車牌定位準(zhǔn)確性對(duì)比（%）

通過計(jì)算定位結(jié)果之間的歐式距離，在大多數(shù)情況下，2 種方法得到的車牌位置之間的歐式距離較小，說明定位結(jié)果相對(duì)一致。在實(shí)驗(yàn)中，當(dāng)車輛遮擋、光照變化等復(fù)雜背景下，點(diǎn)云聚類方法相比圖像傳感器表現(xiàn)出更好的魯棒性。

通過實(shí)驗(yàn)分析可得，在復(fù)雜背景下本文基于激光雷達(dá)的車牌定位方法有較高的準(zhǔn)確性和魯棒性。為后續(xù)車牌字符識(shí)別實(shí)現(xiàn)了提供精準(zhǔn)的車牌定位和感興趣區(qū)域，增強(qiáng)了魯棒性，降低了后續(xù)字符分割的難度，是提高車牌字符識(shí)別的精度和準(zhǔn)確度的基石。

2 基于遷移學(xué)習(xí)的車牌識(shí)別

2.1 基于連通域提取的車牌字符分割

圖像傳感器在車牌識(shí)別中起著關(guān)鍵作用，其能夠捕捉車牌圖像，并為后續(xù)的字符分割和識(shí)別提供重要的輸入。本文通過圖像傳感器采集車輛圖像信息，根據(jù)激光雷達(dá)定位車牌的結(jié)果，確定車牌在圖像中的位置和大小，最終提取得到車牌區(qū)域圖像。本文采用基于連通域提取的字符分割算法，該算法是一種用于圖像分割的基礎(chǔ)算法，其原理是尋找圖像中具有相同像素值且相互連接的像素集合，將其看作是一個(gè)連通區(qū)域。具體可包括圖像表示、像素連接、連通域標(biāo)記及連通域提取分析等幾個(gè)步驟。連通域提取算法在本文車牌字符分割中的實(shí)現(xiàn)過程如下。

圖像預(yù)處理。首先，對(duì)車牌圖像進(jìn)行預(yù)處理。這包括將車牌圖像轉(zhuǎn)換為灰度圖像、去噪和圖像增強(qiáng)等操作。預(yù)處理有助于減少噪聲的影響，提高后續(xù)處理的效果。

邊緣檢測(cè)。利用Canny 邊緣檢測(cè)算法提取車牌圖像中的邊緣信息。邊緣檢測(cè)能夠確定圖像中的目標(biāo)邊緣。

連通域提取。在邊緣圖像中，通過連通域提取算法尋找連通區(qū)域，在車牌字符分割中提取具有字符形狀特征的連通域，即車牌字符區(qū)域。

連通域篩選。由于車牌圖像可能包含多個(gè)連通域，需進(jìn)行篩選，留下具有字符形狀的區(qū)域，該區(qū)域的寬高比例是個(gè)固定值，且間隔較小。根據(jù)這些特征進(jìn)行篩選，去除不符合要求的連通域。

字符區(qū)域提取。經(jīng)過連通域篩選后得到圖像中的字符區(qū)域。這些字符區(qū)域就是車牌圖像中的字符部分。根據(jù)連通域的位置和大小信息可以將字符區(qū)域從原始圖像中剪切出來，形成獨(dú)立的字符圖像。通車牌字符分割圖像效果示例如圖2 所示。

圖2 車牌字符分割效果示例

2.2 構(gòu)建VGGNet 車牌字符識(shí)別模型

2.2.1 構(gòu)建字符數(shù)據(jù)集

針對(duì)復(fù)雜背景下的車牌字符識(shí)別，為了提高模型在車牌數(shù)據(jù)上的表現(xiàn)，本文在VGGNet 在預(yù)訓(xùn)練時(shí)使用的數(shù)據(jù)集的基礎(chǔ)上構(gòu)建一個(gè)在復(fù)雜背景下（光線變化、復(fù)雜路況等）小規(guī)模的車牌字符數(shù)據(jù)集。將經(jīng)過上文提取得到的車牌字符作為訓(xùn)練樣本，對(duì)于每個(gè)字符區(qū)域標(biāo)注其對(duì)應(yīng)字符序列，并對(duì)字符集數(shù)據(jù)進(jìn)行旋轉(zhuǎn)、平移、縮放等操作，以擴(kuò)充訓(xùn)練數(shù)據(jù)量。部分字符分割數(shù)據(jù)集示例如圖3 所示。

圖3 部分字符分割數(shù)據(jù)集示例

2.2.2 模型訓(xùn)練

本文采用遷移學(xué)習(xí)策略，利用預(yù)訓(xùn)練的VGGNet網(wǎng)絡(luò)，在數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，并將學(xué)習(xí)到的特征遷移到車牌字符識(shí)別任務(wù)中。本文訓(xùn)練數(shù)據(jù)總共為21354張，其中訓(xùn)練集1 4947 個(gè)樣本（70%），驗(yàn)證集3 203 個(gè)樣本（15%），測(cè)試集3 203 個(gè)樣本（15%）。

在車牌識(shí)別過程中，首先需要將經(jīng)過字符分割的圖像輸入到VGGNet 網(wǎng)絡(luò)，并利用前幾層的卷積和池化技術(shù)提取出其中的特征，然后將這些特征輸入到全連接層，進(jìn)行精確的字符分類，從而實(shí)現(xiàn)準(zhǔn)確的車牌識(shí)別。具體實(shí)現(xiàn)過程：將VGGNet 的卷積部分作為特征提取器，保持其權(quán)重不變，只對(duì)全連接層進(jìn)行微調(diào)。這樣做的目的是利用在ImageNet 數(shù)據(jù)集上預(yù)訓(xùn)練的VGGNet 學(xué)習(xí)到的通用特征，使其適應(yīng)車牌字符識(shí)別任務(wù)。將數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。將ImageNet數(shù)據(jù)集上的預(yù)訓(xùn)練的VGGNet 模型替換為一個(gè)新的全連接層，以便更有效地進(jìn)行車牌字符的分類。該全連接層不僅可以提高模型的準(zhǔn)確性，而且還可以更好地支持卷積分析。全連接層的輸出節(jié)點(diǎn)數(shù)等于車牌字符類別的數(shù)量。在開展數(shù)據(jù)分析之前，首先要對(duì)相關(guān)參數(shù)進(jìn)行精確的設(shè)定，然后使用Adam 算法對(duì)交叉熵?fù)p失函數(shù)進(jìn)行優(yōu)化，將學(xué)習(xí)率設(shè)定在0.000 1，最后使用學(xué)習(xí)率調(diào)節(jié)器對(duì)其進(jìn)行實(shí)時(shí)校正，從而使其能夠滿足訓(xùn)練的要求。最后固定VGGNet 的卷積部分的參數(shù)，只訓(xùn)練新添加的全連接層。在訓(xùn)練過程中，根據(jù)驗(yàn)證集的表現(xiàn)來調(diào)整超參數(shù)和防止過擬合。當(dāng)驗(yàn)證集上的性能達(dá)到最優(yōu)時(shí)，將所有層的參數(shù)解除固定，繼續(xù)訓(xùn)練整個(gè)網(wǎng)絡(luò)。

2.3 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證車牌識(shí)別算法模型的性能，實(shí)驗(yàn)采用了包含3 203 張車牌圖像的測(cè)試數(shù)據(jù)集，該數(shù)據(jù)集圖像包括復(fù)雜背景下（夜間道路、交叉口、光線變化等情況）1464張圖像以及普通背景下的1 739 張圖像，圖4 為部分車牌識(shí)別示例，車牌識(shí)別結(jié)果見表2，在復(fù)雜背景下車牌識(shí)別的準(zhǔn)確率約為89%，在普通背景下車牌識(shí)別準(zhǔn)確約為94%，車牌識(shí)別平均準(zhǔn)確率為91.5%。

圖4 車牌識(shí)別示例

3 結(jié)束語

本文提出的融合多傳感器與遷移學(xué)習(xí)的車牌識(shí)別策略，旨在為復(fù)雜背景下的車牌識(shí)別問題提供新的解決思路，力求提高復(fù)雜背景下車牌定位及識(shí)別精度。通過實(shí)驗(yàn)表明，使用本文提出的車牌識(shí)別方法充分利用了多傳感器的融合，能夠?qū)崿F(xiàn)復(fù)雜背景下車牌的精準(zhǔn)定位與識(shí)別。然而，本文提出的方法仍然存在一些挑戰(zhàn)和改進(jìn)空間。例如，可以進(jìn)一步優(yōu)化激光雷達(dá)的數(shù)據(jù)處理流程，以提高車牌定位的效率。此外，在實(shí)際應(yīng)用中，不同環(huán)境條件和車牌樣式可能會(huì)對(duì)識(shí)別性能產(chǎn)生影響，因此需要進(jìn)一步考慮模型的泛化能力和魯棒性。融合多傳感器與遷移學(xué)習(xí)的車牌精準(zhǔn)定位與識(shí)別方法為解決復(fù)雜背景下車牌識(shí)別問題提供了一種創(chuàng)新思路。未來，還可進(jìn)一步探索不同傳感器的組合、更高效的特征提取方法以及更強(qiáng)大的遷移學(xué)習(xí)策略，以進(jìn)一步提升車牌識(shí)別的精準(zhǔn)度和魯棒性，為智能交通領(lǐng)域的發(fā)展作出更大的貢獻(xiàn)。