基于對抗網(wǎng)絡的車牌數(shù)據(jù)生成與識別

黃錦濤

摘 要 為提高深度學習技術在不同環(huán)境中的識別率，本文利用四種生成式對抗網(wǎng)絡生成不同環(huán)境的數(shù)據(jù)，包括模糊和拍攝角度不理想等情形，最后采用卷積神經(jīng)網(wǎng)絡識別生成數(shù)據(jù)。實驗表明：四種網(wǎng)絡中循環(huán)生成對抗網(wǎng)絡生成的數(shù)據(jù)效果最好，并且平均識別率達到85%，表明生成對抗網(wǎng)絡模型生成的數(shù)據(jù)可以用于訓練識別復雜環(huán)境下的深度模型，達到了擴充數(shù)據(jù)的目的。

關鍵詞 生成式對抗網(wǎng)絡;數(shù)據(jù)增強;車牌識別

前言

車牌識別技術已經(jīng)在日常環(huán)境中的應用日益成熟，但是當天災人禍來臨國家搶險救災時，需要在惡劣復雜的環(huán)境下識別救援車輛，根據(jù)救援內容對人員和車輛進行調度。所以快速識別車牌對于時間就是生命的救援現(xiàn)場有著重要意義。由于環(huán)境的復雜與惡劣性，傳統(tǒng)的識別方法無法有效應用于救災現(xiàn)場的車輛識別，所以如何實現(xiàn)復雜環(huán)境下的車牌識別成為一個亟待解決的問題。

傳統(tǒng)車牌識別方法采用特征提取的方法，對圖像先預處理后再經(jīng)神經(jīng)網(wǎng)絡進行識別。Li提出了一種無須分割使用深度卷積神經(jīng)網(wǎng)絡和LSTM進行車牌識別的級聯(lián)框架[1]。Gao運用深度神經(jīng)網(wǎng)絡用于特征提取[2]。為滿足深度學習所需的復雜環(huán)境數(shù)據(jù)集，傳統(tǒng)的擴充數(shù)據(jù)方法除了人工收集外，還有向原始圖像中添加噪聲、畸變和模糊處理，但是圖像的生成質量卻無法達到深度學習訓練所需的要求，所以本文采用生成對抗網(wǎng)絡擴充數(shù)據(jù)。

1方法

生成對抗網(wǎng)絡（GAN）通過對抗訓練得到生成模型與判別模型，它可以通過以類標簽為條件生成對應的圖像[3]。GAN主要是由生成器網(wǎng)絡和判別器網(wǎng)絡兩部分網(wǎng)絡構成，通過兩個網(wǎng)絡的博弈，讓生成器網(wǎng)絡最終能夠學習到輸入數(shù)據(jù)的分布然后輸出數(shù)據(jù)。生成器網(wǎng)絡接受一個隨機噪聲并生成數(shù)據(jù)，判別器網(wǎng)絡通過對輸入的真實數(shù)據(jù)和由生成的假數(shù)據(jù)進行判斷。通過兩個網(wǎng)絡的互相博弈，最終使整個網(wǎng)絡達到納什均衡。當判別器無法判別真假數(shù)據(jù)時，此時生成器的輸出接近真實數(shù)據(jù)。

2實驗結果

2.1 實驗環(huán)境與數(shù)據(jù)

本文的實驗環(huán)境為：CPU-2.21GHz，RAM-16GB，顯卡GTX-1070，Tensorflow框架，版本1，12.0和Pycharm編譯環(huán)境。將不同的環(huán)境下10，000張車牌數(shù)據(jù)處理成150 * 150像素的RGB圖像，然后數(shù)據(jù)進行裁剪，最終將其轉換為TF記錄格式，劃分為30個TF記錄文件。

2.2 生成圖像實驗細節(jié)

在10000張車牌上訓練GAN，DCGAB、WGAN和CycleGAN模型。原始GAN模型的學習率設為0.0001，每個輪次結束后保存模型，并在200個輪次后停止訓練。訓練DCGAN模型時設置學習率為0.0001，betel為0.5，批量大小為256，保存每個輪次結束后的模型，并在30輪次后停止訓練。輸出尺寸設置為64，生成器的每層網(wǎng)絡結構的輸出分別為：64*64， 32*32， 16*16， 8*8，4*4，判別器中的卷積層的輸出分別為：32*32， 16*16， 8*8， 4*4。訓練WGAN的模型時，dieter設置為0.7，每次梯度更新之后將判別器的參數(shù)調整到[-0.01，0.01]。WGAN的學習率為0.0005，批量大小為256。生成器中每層網(wǎng)絡的輸出特征數(shù)量為512，256，128，32，判別器中每層網(wǎng)絡特征數(shù)量分別為64，128，256，512。設置CycleGAN模型的基礎學習率為0.0002，設置為10.0，betel設置為0.6，設置輪次為300，在每100步后保存訓練模型與訓練日志。實驗最后獲得20000張車牌數(shù)據(jù)。

圖1展示部分實驗結果，可直觀看出CycleGAN網(wǎng)絡模型生成的數(shù)據(jù)更接近真實數(shù)據(jù)，WGAN模型和DCGAN模型產(chǎn)生的效果次之，原始GAN模型經(jīng)常遇到模型崩潰導致難以訓練的問題，難以生成理想圖像。

2.3 生成圖像識別

將通過CycleGAN網(wǎng)絡模型生成的20000張車牌數(shù)據(jù)按其70%劃分為訓練集，30%作為測試集。本文利用可以識別車牌的卷積神經(jīng)網(wǎng)絡模型識別數(shù)據(jù)，測試生成圖像數(shù)據(jù)的識別準確率。

從圖2結果可以看出識別網(wǎng)絡在訓練集和驗證集上隨著迭代次數(shù)增加識別錯誤率降級，識別的正確率逐漸上升，平均識別率達到85%，這表明生成對抗網(wǎng)絡模型生成的數(shù)據(jù)可以用于深度卷積神經(jīng)網(wǎng)絡的測試集，用于訓練識別復雜環(huán)境下的深度模型，達到了擴充數(shù)據(jù)的目的。

3結束語

本文對復雜環(huán)境下的車牌擴充數(shù)據(jù)方法和可行性進行了分析研究，針對深度學習識別車牌缺乏復雜環(huán)境下車牌數(shù)據(jù)的問題，利用GAN，DCGAN，WGAN和CycleGAN網(wǎng)絡進行車牌數(shù)據(jù)增強，驗證了幾種對抗生成網(wǎng)絡的性能并測試了生成數(shù)據(jù)的識別準確率。通過實驗發(fā)現(xiàn)CycleGAN擴充數(shù)據(jù)效果最好，WGAN模型產(chǎn)生的效果次之，DCGAN模型和原始GAN模型經(jīng)常遇到模型難以訓練和崩潰的問題，無法生成理想圖像。而且擴充數(shù)據(jù)的平均識別率都能達到85%，這表明生成對抗網(wǎng)絡模型生成的數(shù)據(jù)可以用于深度卷積神經(jīng)網(wǎng)絡的測試集，用于訓練識別復雜環(huán)境下的深度模型，達到了擴充數(shù)據(jù)的目的。本文尚存一些改進的地方，如沒有嘗試更多復雜優(yōu)化的對抗網(wǎng)絡模型的數(shù)據(jù)增強方法和模型評價標準，接下來將在這方面做更深入研究并考慮將文本表示和圖像樣式之間的映射應用于車牌數(shù)據(jù)的生成問題。

參考文獻

[1] H. Li.C. Shen. Reading car license plates using deep convolutional neural networks and lstms [J]. arXiv preprint arXiv.2016：1601.

[2] Gao Q.Wang X.Xie G. License Plate Recognition Based On Prior Knowledge[C].Automation and Logistics， 2007 IEEE International Conference on. IEEE， 2007：2964-2968.

[3] Reed S.Akata Z.Yan X.et al. Generative Adversarial Text to Image Synthesis[J]. In Proceedings of International Conference on Machine Learning.2016.（3）：177.

[4] Radford A.Metz L.Chintala S. Unsupervised representation learning with deep convolutional generative adversarial networks[J].Computer Science.2015.1（1）：1-19 .

[5] T. Salimans.I. Goodfellow.W. Zaremba.et al.Improved techniques for training gans[J].In Advances in Neural Information Processing Systems.2016.（1）：2226-2234.