基于差分進化極端學習機的汽車商標圖像檢索

魏英姿 歐陽海飛 譚龍?zhí)?/p>

摘 ?要：研究汽車商標圖像的檢索對道路交通安全、駕駛輔助系統(tǒng)開發(fā)將起到重要作用。利用極端學習機快速收斂的特點，以HU不變矩作為主要特征值訓練極端學習機，并針對不同檢索目標選擇不同的訓練特征參數(shù)，設(shè)定Harris角點與質(zhì)心的距離比作為特征值，以檢索不同類型汽車商標圖像。采用差分進化算法訓練極端學習機的輸入權(quán)值與隱層偏置值，避免了極端學習機的隨機性，提高檢索精度。實驗結(jié)果表明，引入新的特征值和使用差分進化算法訓練極端學習機都對檢索結(jié)果有明顯的改善。

關(guān)鍵詞：圖像檢索;極端學習機;差分進化;特征提取

引言

汽車主動安全技術(shù)也成為近年來研究的熱點，利用多種傳感器和先進的信號處理技術(shù)為駕駛者提供駕駛輔助，甚至在緊急安全時刻主動介入駕駛。智能機器視覺技術(shù)應(yīng)用在汽車安全輔助駕駛上已得到廣泛關(guān)注，針對汽車商標的圖像檢索是汽車安全駕駛中機器識別的一部分[1]。文章研究基于內(nèi)容的汽車商標圖像檢索方法，力圖通過有效的機器學習方法在線找到檢索目標[2]。

極端學習機（Extreme learning machine， ELM）已被證明是快速并有效的單隱層前饋神經(jīng)網(wǎng)絡(luò)[3]。在車標檢索中引入ELM算法，能在很大程度上提高檢索速度，進而提高安全駕駛中機器視覺的精度與速度。但是，由于ELM算法輸入權(quán)值與隱層偏置值多采用隨機方法設(shè)置，有時會使網(wǎng)絡(luò)的隱層輸出矩陣H無法達到列滿秩，進而降低ELM的有效性。因此，文章采用差分進化算法（Differential evolution ，DE）算法訓練ELM的輸入權(quán)值與隱層偏置值來提高網(wǎng)絡(luò)的魯棒性，從而提高圖像檢索精度[4]。

本試驗選用典型的七個HU不變矩特征作為圖像特征值[5]，并引

入三個距離比作為新的特征值，將差分進化算法和極端學習機相結(jié)合，建立DE_ELM汽車商標的檢索模型，通過多組試驗驗證算法的有效性。

1 極端學習機算法

ELM作為一類單隱層前饋神經(jīng)網(wǎng)絡(luò)學習算法與一般的前饋神經(jīng)網(wǎng)絡(luò)算法（如BP算法）相比不同。ELM是通過解方程的方式一次性求出網(wǎng)絡(luò)的輸出權(quán)值，從而提高訓練速度。

（1）ELM基本原理如下：

給定N個訓練樣本{xi，ti}，其中

i=1，2，3，…，N，

則由M個隱層節(jié)點，激活函數(shù)為g（a，x，b），可構(gòu)造一個單隱層前饋神經(jīng)網(wǎng)絡(luò)。

（2）ELM的數(shù)學模型為：

（1）

其中ai是連接輸入節(jié)點到第i個隱層節(jié)點的輸入權(quán)值;βi為連接第i個隱層節(jié)點與輸出神經(jīng)元的輸出權(quán)值;bi為第i個隱層節(jié)點的偏置值。將上述給定的N個訓練樣本帶入式（1）中可得：

Hβ=T ? ? ?（2）

這里的H為隱層輸出矩陣。一般情況下隱層節(jié)點數(shù)遠小于訓練樣本數(shù)，H不可能方陣，就只能求出其偽逆，即Moore-Penrose 廣義逆。解（2）式中的方程得到輸出權(quán)值矩陣如下：

=H+T （3）

（3）綜上得ELM算法的訓練步驟如下：

給定一組訓練樣本集{xi，ti}，激活函數(shù)g（x）以及M個隱層神經(jīng)元。

a.隨機產(chǎn)生輸入權(quán)值ai和隱層偏置值bi;b.生成隨機隱層輸出矩陣H;c.根據(jù)式（3）計算隱層輸出權(quán)值。

2 差分進化算法

差分進化算法作為一種模擬生物進化的隨機模型，是一種新興的進化計算技術(shù)。適于求解一些利用常規(guī)的數(shù)學規(guī)劃方法所無法求解的復(fù)雜環(huán)境中的優(yōu)化問題。DE的迭代包括4個基本步驟：初始化、突變、重組和選擇。最后三個一直重復(fù)直到滿足停止準則。

（1）初始化：

隨機產(chǎn)生數(shù)量為NP的初始種群X，最初的一組實驗向量為D維，xi=[xi1，xi2，…，xiD]，其中?i∈[1，NP]。

（2）變異操作：

（4）

根據(jù)式（4），DE為每個個體xi，G生成一個對應(yīng)的臨時個體vi，G，名為變異個體。這里的r1，r2，r3是在[1，NP]范圍內(nèi)隨機選取的。G為進化代數(shù)，F(xiàn)∈[0，2]為縮放因子。

（3）交叉操作：

其中

（5）

交叉也稱為重組，由式（5）混合目標個體xi，G與變異個體可產(chǎn)生一個新的實驗個體，CR為交叉概率，其作用是保證變異個體中至少有一維解被繼承到新的候選解中。

（4）選擇操作：

（6）

根據(jù)式（6）進行選擇操作。這里的f（x）為待最小化的目標函數(shù)，故如若新的實驗個體的函數(shù)值不大于目標個體的函數(shù)值，它將取代目標個體進入下一代。否則，目標個體不變。DE的收斂性依賴于參數(shù)F與CR。文章選取F與CR的值分別為2，0.5。

3 改進的極端學習機

針對極端學習機輸入權(quán)值與隱層節(jié)點的隨意性，采用差分進化極端學習機，即，DE_ELM學習機。DE_ELM的基本思路是使用DE進化算法對ELM的輸入權(quán)值和隱層權(quán)值進行優(yōu)化，優(yōu)化的目標是在確保檢索誤差最小的前提下，提高系統(tǒng)泛化性。實驗中選取hardlim函數(shù)作為激活函數(shù)。Hardlim函數(shù)算法如式（7）所示：

（7）

DE_ELM算法步驟如下：

（1）隨機產(chǎn)生由ELM的輸入權(quán)值及偏置組成數(shù)據(jù)作為DE的初始種群;

pi=[ai1，ai2…ain，bi]

（2）將DE的初始種群放入ELM學習機中計算相應(yīng)的偽逆H+，進而計算出相應(yīng)的輸出權(quán)值，將訓練好的學習機進行測試，得到的錯誤率作為每個個體的適應(yīng)值;

（3）得到的每個個體的適應(yīng)值應(yīng)用與DE算法的優(yōu)化操作中，并在整個驗證集上尋求最優(yōu)解。

4 特征提取方法

實驗使用七個幾何不變矩與三個距離比作為特征值進行圖像檢索，幾何矩是由HU在1962年提出的，具有平移、旋轉(zhuǎn)和尺度不變性。而三個距離比是文章中提出的一種新的特征，即質(zhì)心與圖像角點的距離比。特征提取步驟如下：

首先，對圖像庫中的圖片進行一系列的預(yù)處理，得到歸一化大小的二值圖片。然后，檢測其Harris角點與質(zhì)心。三條直線的交點為質(zhì)心，車標邊緣標記的點為檢測到的角點，L1，L2，計算每個角點到質(zhì)心的直線距離Li=[L1，L2，…，Ln]，并求出最大值D。隨后將除D之外的所有的距離值與D做比值，根據(jù)式（8）、（9）、（10）得到三個距離比值，分別為最大的比值a、最小比值b以及平均比值c。

a=max

（8）

b=min

（9）

c=（10）

5 試驗分析

分別選定大眾車商標、標致車商標作為檢索目標，在100張圖片中進行檢索。試驗使用ELM與DE_ELM兩種算法，分別在加入距離比特征變量與不加距離比特征變量的情況下對圖片進行檢索。試驗行環(huán)境為處理器為Intel（R） Core（TM）2，內(nèi)存為2G，開發(fā)工具為MATLAB R2012。

表1 應(yīng)用不同特征值變量的2種算法對大眾車標的試驗結(jié)果對比

表2 應(yīng)用不同特征值變量的2種算法對標致車標的試驗結(jié)果對比

由表1、2中的數(shù)據(jù)可看出：在選取的特征相同的情況下，使用DE_ELM算法進行檢索的精度與效果遠比使用ELM檢索的精度效果好，精度甚至提高20% 。其次，在學習機算法不變的情況下，加入距離比三個特征值后的圖像檢索，不管是訓練精度還是測試精度都比僅使用不變矩檢索的精度高，效果好。對比兩種車標，大眾車標是近似圓心對稱的圖像，通過差分進化極端學習機只應(yīng)用不變矩特征值變量，就能夠?qū)υ瓐D像所蘊含信息，進行很好的描述和綜合抽象，得到令人滿意的檢索精度。標致車標相對于大眾車標，角點分布更無規(guī)則且更不均勻，在加入距離比特征值后的測試精度提高了10%，訓練精度提高4%。即，距離比作為特征值，對形狀不規(guī)則、角點分布不均勻的圖像具有更好的檢索效果。

6 結(jié)束語

極端學習機作為一種單隱層前饋神經(jīng)網(wǎng)絡(luò)，其快速和有效性，使它能夠成為實時在線反應(yīng)系統(tǒng)中的一種有效算法。針對極端學習機算法對車標圖像進行分類檢索的方法，主要內(nèi)容即ELM的改進和特征選取。利用差分進化算法對極端學習機的神經(jīng)網(wǎng)絡(luò)輸入權(quán)值與隱層偏置值進行篩選，優(yōu)化隱層的輸出矩陣來提高極端學習機的魯棒性。試驗表明差分進化極端學習機在容許耗費機時范圍內(nèi)，能夠很大程度上提高極端學習機的檢索精度。選擇不同的特征值也會影響單隱層拓撲結(jié)構(gòu)的極端學習機的性能，因此，考慮不同圖像檢索目標的特點，選取合適的特征值變量，使極端學習機能夠很好地描述和抽象目標信息，對提高極端學習機的性能也是至關(guān)重要的。

參考文獻

[1]李玉芝.圖像檢索的方法介紹.[J].NEW HORIZON，2011（1）.

[2]Guang-Bin Huang，Qin-Yu Zhu，Chee-Kheong Siew， ?Extreme learning machine： a new learning scheme of feedforward neural networks[J]. International Joint Conference on Neural Networks （IJCNN 2004），July 25-29，Budapest，Hungary：2004，985-990

[3]Y.Wang， F. Cao， Y. Yuan. A study on effectiveness of extreme learning machine[J]. Neurocomputing， 2011， ?74（16）： 2483～2490

[4]F.Xiang，H.Yong，S.Dandan，Z.Jiexian.An Image Retrieval Method Based on Hu Invariant Moment and Improved Annular Histogram [J].Electronics and Electrical Engineering，2014，20（4）.

[5]岳麗娟，吳錫生.基于Contourlet 變換和不變矩的紋理特征提取與分類[J].微電子學與計算機，2013，7.