復(fù)雜場景下基于熱圖的車牌檢測

郝超杰，賈振堂

（上海電力大學電子與信息工程學院上海 200090）

0 概述

在當前圖像處理和計算機視覺領(lǐng)域，車牌檢測是一個重要且熱門的研究課題，其早期研究是基于傳統(tǒng)特征的方法，如使用邊緣信息和顏色特征檢測車牌位置［1］，此類方法對于受控條件和單一場景下的車牌比較適用。王永杰［2］等提出一種基于多信息融合的車牌定位方法，通過邊緣密度信息快速濾除大量背景信息，再由車牌字符的分布信息定位車牌，最后使用模板匹配方法對車牌字符進行分割，通過分割出的字符來驗證所定位區(qū)域是否為車牌。魏亭［3］等基于視覺感知提出一種計算機多尺度輔助定位車牌的算法。對于完整的單幀圖像，該算法從車輛、紋理和顏色3 種特征尺度聚焦車牌區(qū)域。然而，這些傳統(tǒng)方法對車牌圖像的光照、視角變化、污漬、低分辨率圖像等影響因素過于敏感，致使檢測效果不佳。

隨著深度學習的不斷發(fā)展，其與機器視覺相結(jié)合的車牌檢測成為新的研究方向［4］。近幾年的研究使用YOLO［5］、SSD［6］、RCNN［7］等目標檢測算法來解決車牌檢測問題，其中YOLO、SSD是一階段的目標檢測算法。RAYSON［8］等提出一種基于YOLO 檢測器的實時車牌識別系統(tǒng)，在該系統(tǒng)中，對于車牌位置的檢測使用了基于YOLO 的算法。胡逸龍等［9］提出一種車牌檢測、字符識別兩階段的中文車牌識別算法，基于YOLO 模型對模型進行輕量化和添加注意力機制等改進得到Y(jié)OLOPlate 模型，基于CRNN 模型對模型輸入和卷積網(wǎng)絡(luò)結(jié)構(gòu)進行調(diào)整，并針對拍攝角度導(dǎo)致的車牌形變問題，向網(wǎng)絡(luò)中添加STN 網(wǎng)絡(luò)，得到CRNNPlate 模型。HSU［10］等針對自然場景下的車牌檢測提出一種基于YOLO-9000 深度學習的檢測器，通過擴大網(wǎng)絡(luò)的輸出尺寸提升圖像中小尺寸車牌的檢測精度。YING［11］等融合了傳統(tǒng)方法和深度學習方法，為解決復(fù)雜場景下的車牌檢測和定位問題，提出一種基于深度學習的算法。首先將目標檢測問題轉(zhuǎn)化為二值分類問題，然后利用選擇性搜索算法在滑動窗口上生成矩形候選區(qū)域，最后利用支持向量機進行分類。與傳統(tǒng)機器學習相比，該算法在檢測精度上具有明顯的優(yōu)勢。以上基于深度學習的車牌檢測研究都是使用矩形框的方式來檢測車牌位置，難以表述由拍攝角度傾斜引起的車牌變形后的形狀，影響了車牌字符的識別率。

SILVA［12］等針對限定場景下的車牌檢測問題，引入一種新的卷積神經(jīng)網(wǎng)絡(luò)，實現(xiàn)在不同的相機姿態(tài)下檢測一幅圖中的車牌，并通過仿射矩陣校正變形車牌。余燁［13］等提出一種自然場景下的變形車牌檢測模型DLPD-Net，將仿射變換的方法應(yīng)用于車牌檢測中。該模型使用仿射變換得到車牌角點位置，與利用矩形框方式相比，能夠?qū)崿F(xiàn)對仿射變形的車牌的檢測，同時具備良好的魯棒性。但是，該研究不適用于光照不均勻、透視變形、低分辨率等復(fù)雜場景中的車牌檢測。

受CAO［14］和OSOKIN［15］等對人體姿態(tài)估計研究的啟發(fā)，本文提出一種基于熱圖的車牌檢測網(wǎng)絡(luò)LPHD-Net。與使用矩形框和仿射變換的檢測方式不同，LPHD-Net 使用車牌角點熱圖的方法來檢測車牌，且輸出為車牌的4 個角點熱點圖和4 個邊界向量場，可避免車牌角點間的誤連接。此外，本文使用中國城市停車數(shù)據(jù)集（China Urban Parking Data Set，CDPP）對模型進行訓(xùn)練，使模型能夠適用于多種復(fù)雜場景。

1 角點熱圖及其匹配

在CAO［13］等關(guān)于人體姿態(tài)估計的研究中，人體關(guān)節(jié)點采用熱圖（heat map）的方式來表示，熱圖中的極值點即為關(guān)節(jié)點，關(guān)節(jié)點的熱圖標簽采用高斯函數(shù)來生成，關(guān)節(jié)點之間的連接關(guān)系則采用部件親和力場（PAFs）的方法來描述。PAFs 能夠準確建立關(guān)節(jié)點之間的連接關(guān)系，從而完成對人體姿態(tài)的正確估計。受此啟發(fā)，本文用熱圖來估計車牌的全部角點，并用PAFs 來描述角點之間的連接關(guān)系，完成對車牌的檢測。

車牌角點匹配的實現(xiàn)依賴于PAFs，為了便于理解，本文稱之為角點連接向量場，簡稱為向量場，其原理如圖1 所示。其中，j1、j2表示由網(wǎng)絡(luò)輸出的車牌的2 個角點熱圖，v是從j1指向j2的單位向量，vT是垂直于v的單位向量。取線段j1j2的一個矩形鄰域Ω，如圖1 中的箭頭簇區(qū)域所示。鄰域Ω的長度和寬度分別設(shè)為lc、σc。對于鄰域Ω內(nèi)的每個像素點，都賦值為向量v，而Ω鄰域之外的點都賦值為零向量。鄰域Ω內(nèi)的向量場就描述了角點j1和角點j2之間的連接關(guān)系。車牌的任何一條邊都由一個這樣的向量場來表示其兩個端點之間的連接關(guān)系。

圖1 角點連接向量場示例圖Fig.1 Example diagram of corner connection vector field

以上關(guān)于向量場的定義，可用式（1）和式（2）表示：

其中：|vT?(p-j1)|表示點p距離線段j1j2的垂直距離；v?(p-j1)代表點p在j1->j2方向上與j1的距離；F表示向量場。

本文網(wǎng)絡(luò)模型訓(xùn)練后輸出預(yù)測的車牌角點熱圖H和邊界框向量場F。由角點熱圖估計出車牌邊界頂點，然后通過向量場F建立頂點之間的關(guān)聯(lián)。使用式（3）計算車牌頂點之間的關(guān)聯(lián)置信度，其實質(zhì)是計算單位向量v與向量場F的內(nèi)積，計算值反映了兩預(yù)測角點j1、j2之間相連的可能性。

2 車牌檢測網(wǎng)絡(luò)

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

如圖2 所示，本文網(wǎng)絡(luò)模型的圖像輸入尺寸為640×480×3，首先初步提取輸入圖像中的圖像特征，即圖2 中的f。然后經(jīng)過初始階段網(wǎng)絡(luò)的2 個分支分別得到車牌4 個角點熱點圖H和4 條邊界框向量場F，之后再將熱點圖H、向量場F和圖像特征f拼接起來作為調(diào)整階段網(wǎng)絡(luò)的輸入，以便網(wǎng)絡(luò)最后輸出更為精細的車牌角點熱圖和車牌邊界框向量場。此外，為了引導(dǎo)網(wǎng)絡(luò)迭代地預(yù)測角點熱圖和邊界框向量場，在每個階段的每個分支末尾都應(yīng)用損失函數(shù)予以約束。網(wǎng)絡(luò)的初始階段（InitialStage）由3 個3×3 的卷積層和2 個1×1 的卷積層組成，調(diào)整階段（RefinementStage）則由5 組調(diào)整模塊和2 個1×1 的卷積層組成，其中每個調(diào)整模塊由一個1×1 的卷積核和2 個3×3 的卷積層組成。圖像特征f的提取部分使用了改進型DenseNet 結(jié)構(gòu)［16］，該結(jié)構(gòu)由2 組DenseBlock 層和1 個Transition 層構(gòu)成，這與原DenseNet 網(wǎng)絡(luò)結(jié)構(gòu)是不同的。此外，相較于CAO［14］等使用的VGG19 網(wǎng)絡(luò)，DenseNet 網(wǎng)絡(luò)可通過建立不同層之間的連接實現(xiàn)特征的重復(fù)利用。Translation 層以及較小的增長率growth rate 也可減少訓(xùn)練參數(shù)，提高訓(xùn)練效率。后處理過程包括從角點熱點中提取角點和使用PAFs 方法計算角點間的關(guān)聯(lián)置信度。

圖2 車牌檢測網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 License plate detection network structure

2.2 損失函數(shù)

在本文構(gòu)建的網(wǎng)絡(luò)結(jié)構(gòu)中，每個階段的每個分支末尾應(yīng)用一個損失函數(shù)，該損失函數(shù)定義為預(yù)測值和真實值的平方差損失。熱點分支網(wǎng)絡(luò)的輸出為4 張圖像的角點熱點圖，向量分支網(wǎng)絡(luò)的輸出由4 張車牌邊界框連接向量圖。式（4）和式（5）分別代表2 個分支網(wǎng)絡(luò)的損失函數(shù)，其中是角點熱點圖分支損失函數(shù)；是邊界框向量圖場分支損失函數(shù)；式（4）中H*代表真實車牌角點熱點圖；式（5）中F*代表真實車牌邊界框向量場是第t個階段的角點熱點圖是第t個階段的邊界框向量場。

為了判斷網(wǎng)絡(luò)是否收斂，定義式（6）為整個網(wǎng)絡(luò)的損失函數(shù)，其為網(wǎng)絡(luò)初始階段和調(diào)整階段的損失之和。因為本文文網(wǎng)絡(luò)共2 個階段，所以T的取值為2。

2.3 車牌檢測過程

車牌檢測過程如下：

1）將圖片裁剪成為640×480 像素的圖像，將裁剪完成的圖片作為LPHD-Net 的輸入。如圖3 所示，經(jīng)過LPHD-Net 網(wǎng)絡(luò)輸出8 個通道特征圖，分別是4 張車牌角點熱點圖、4 張邊框向量場分量圖。車牌的4 個邊界分別用一個向量場來表示。

圖3 單張車牌的角點熱點圖與邊界框向量場圖Fig.3 Corner heat map and bounding box vector map of a single license plate

2）提取車牌角點坐標。因為預(yù)測的角點熱點圖是車牌候選角點組成的一個區(qū)域，所以首先要在該區(qū)域中提取車牌角點。對于包含單張車牌目標的圖片，通過比較熱點圖內(nèi)各點熱力值大小即將熱力值最高的位置作為車牌角點的位置。如圖4 所示，對于包含多張車牌的圖片以及角點預(yù)測結(jié)果中出現(xiàn)干擾點的情況，除使用熱點熱力值進行篩選外，還另外設(shè)置了一個約束條件，即通過設(shè)置車牌角點之間的距離閾值進行篩選，把小于距離閾值的點刪除。這樣通過對各角點熱點區(qū)域內(nèi)熱力值的大小以及車牌角點之間的距離進行篩選后，即可得到所有車牌角點位置。

圖4 多張車牌的角點熱點圖、邊框向量場圖Fig.4 Corner heat map and bounding box vector map of multiple license plates

3）車牌角點的組合。提取出車牌角點后使用PAFs 算法將各角點組合起來，組合的目的是為了避免車牌角點的錯誤連接，從而將車牌位置準確地檢測出來。使用式（3）計算車牌邊界的大于設(shè)定的閾值則認為兩車牌角點間存在車牌的邊界框。最后將這些角點間的邊界框拼接起來，即完成車牌位置的檢測。

3 實驗與分析

3.1 數(shù)據(jù)預(yù)處理

本文使用的數(shù)據(jù)集是中國城市停車數(shù)據(jù)集（CCPD），該數(shù)據(jù)集包含各種復(fù)雜環(huán)境下的車牌圖片（例如傾斜、夜間、強光、低分辨率、雨霧天）。按照一定的比例選取其中一部分數(shù)據(jù)用于訓(xùn)練、驗證和測試。各種類在訓(xùn)練集、驗證集、測試集所占的數(shù)量如表1 所示。模型訓(xùn)練完成后，在測試數(shù)據(jù)上進行實驗測試，用于分析和比較。

表1 數(shù)據(jù)分配表Table 1 Data allocation table

3.2 模型的訓(xùn)練與測試

本文采用基于pytorch 的深度學習框架進行訓(xùn)練和測試，基于熱圖方法對車牌進行定位檢測，選用NVIDIA 1080Ti，CUDA9.2，內(nèi)存為32 GB 的GPU。使用的編程語言為Python。訓(xùn)練過程中相關(guān)參數(shù)的設(shè)置：訓(xùn)練代數(shù)為210，批次數(shù)為8，學習率為0.005。

3.3 結(jié)果分析

對于車牌檢測方法的性能評價，本文采用通用文本檢測中常用的評價標準：精確率與召回率。本文定義精確率為正確檢測到的車牌數(shù)量除以檢測到的車牌數(shù)量，召回率為正確檢測到的車牌數(shù)量除以真實車牌的數(shù)量，公式如下：

其中：TP表示被正確檢測到的車牌數(shù)量；FP表示被錯誤檢測到的車牌數(shù)量；FN表示被錯誤檢測的車牌中正確車牌的數(shù)量。此外，當檢測到4 個點時才算是檢測到了車牌。檢測精度遵循對象檢測交集-并集中的慣例做法。當預(yù)測角點組成的框與真實角點組成的框的IOU 大于70%（IOU>0.7）時，該邊界框才被認為是正確的車牌區(qū)域，否則認為是錯誤檢測到的車牌。定義交并比（Intersection over Union，IOU）為：

其中：Rpr代表預(yù)測出的車牌角點構(gòu)成的任意四邊形區(qū)域；Rgt代表真實的車牌角點構(gòu)成的四邊形區(qū)域；aarea代表兩四邊形交并區(qū)域的面積。實驗結(jié)果如表2所示。由實驗結(jié)果可以反映出本文檢測模型在性能上更快、更準確。需要說明的是，在本文實驗中，將網(wǎng)絡(luò)輸出了4 個角點熱圖規(guī)定為檢測到了車牌。實際測試發(fā)現(xiàn)對于一些圖片，由于復(fù)雜場景中存在著不少的干擾，網(wǎng)絡(luò)并不會完整地輸出4 個角點熱圖，對于網(wǎng)絡(luò)輸出3 個車牌角點的情況，本文通過平行四邊形特征計算缺失的車牌角點坐標，這有助于提高檢測率。

表2 不同模型的檢測性能對比Table 2 Detection performance comparison of different models

由表2 可知，本文方法檢測準確率比MTLPR+data augmentation、LMAFLPD 方法分別提升了1.5 和1.15 個百分點，速度分別提升了13 frame/s 和14 frame/s。另外，與不進行數(shù)據(jù)增強的MTLPR 方法相比，本文檢測方法在速度、精確率、召回率3 個性能指標上均有較大提升。

3.4 消融實驗

為探索各模塊在整個網(wǎng)絡(luò)結(jié)構(gòu)中所起的作用，在驗證集上的進行消融實驗，以便于更好地理解網(wǎng)絡(luò)的行為。實驗結(jié)果如表3 所示。由表中結(jié)果可知，添加調(diào)整階段模塊比只添加初始階段模塊時的結(jié)果更好。因為DenseNet 在網(wǎng)絡(luò)中用來提取網(wǎng)絡(luò)圖像特征，所以精確率和召回率均為0。

表3 LPHD-Net 使用不同結(jié)構(gòu)的檢測結(jié)果Fig.3 Detection results by LPHD-Net using different structures

本文模型的檢測效果如圖5 所示。第1 行為各種復(fù)雜背景中的車牌檢測效果，包括車牌扭曲、雨雪天氣和低分辨的情況。第2 行為梯形車牌的檢測效果。第3 行為多車牌的檢測效果。

圖5 車牌檢測效果Fig.5 The effect of license plate detection

4 結(jié)束語

本文提出一種基于熱圖的車牌檢測方法，構(gòu)建LPHD-Net網(wǎng)絡(luò)完成車牌的檢測，該網(wǎng)絡(luò)結(jié)構(gòu)的關(guān)鍵在于PAFs算法。在CPDD車牌數(shù)據(jù)集上進行網(wǎng)絡(luò)模型的訓(xùn)練和測試，實驗結(jié)果表明，LPHD-Net網(wǎng)絡(luò)對變形、污垢和圖像模糊等復(fù)雜場景下的車牌具有很好的檢測效果。同時，與SSD、Faster-RCNN、YOLOv3 等傳統(tǒng)算法和其他神經(jīng)網(wǎng)絡(luò)算法相比，該方法可以有效提升復(fù)雜場景下車牌檢測的精度和速度。由于CPDD 數(shù)據(jù)集中不包含多車牌的圖片數(shù)據(jù)，因此下一步將通過使用其他數(shù)據(jù)集，研究LPHD-Net在多車輛和多車道情況下的車牌檢測效果。