基于負相關(guān)神經(jīng)網(wǎng)絡(luò)集成的貨幣識別算法研究

伍 鵬，謝 凱，陳傳波，賀建飚

(1.長江大學 電子信息學院，湖北 荊州434023;2.華中科技大學 計算機科學與技術(shù)學院，湖北 武漢430074;3.中南大學 信息科學與工程學院，湖南 長沙410083)

1 貨幣識別系統(tǒng)簡介

隨著經(jīng)濟的快速發(fā)展，人們生活節(jié)奏的加快，對自助設(shè)備的需求量快速增長，自助設(shè)備的應(yīng)用領(lǐng)域從最初的金融行業(yè)擴展到現(xiàn)在的交通、郵電、娛樂、商業(yè)、醫(yī)療、餐飲業(yè)等各個領(lǐng)域。各類自助設(shè)備應(yīng)運而生，單單銀行的自助設(shè)備就包括自動取款機(ATM)、自動存款機、自動存取款機、自助繳費機等，另外還有如自動售票機、自助掛號繳費機、自動充值機等，這些設(shè)備無一例外需要用到貨幣識別系統(tǒng)這一核心模塊。

貨幣識別系統(tǒng)是一種接收貨幣信息并做出貨幣分類決策的一種智能裝置，它通過某種途徑如光、電、磁傳感器采集貨幣(通常指紙幣)上的特征數(shù)據(jù)［1］，經(jīng)特征提?。?-3］貨幣隱性主要特征，利用各種識別算法對貨幣的幣種、面額、真?zhèn)芜M行識別和分類，并以適當形式作分類決策報告［4］。一個貨幣識別系統(tǒng)的結(jié)構(gòu)遵循模式識別系統(tǒng)的基本構(gòu)成包括信息采集、數(shù)據(jù)預(yù)處理、特征提取和選擇、分類器設(shè)計與決策，如圖1所示［4-5］。

圖1 模式識別系統(tǒng)的基本組成

分類器設(shè)計是指用一定數(shù)量的樣本(訓練集)確定某個判別規(guī)則，使得按這種判別規(guī)則對待識別對象進行分類所造成的誤識率最小或引起的損失最小。貨幣識別處理系統(tǒng)必須做到精確、快速和穩(wěn)定。本文采用基于負相關(guān)的神經(jīng)網(wǎng)絡(luò)集成進行分類器設(shè)計，并通過實驗仿真與單一神經(jīng)網(wǎng)絡(luò)比較，驗證了所提方法的可行性和深入研究價值。

2 人工神經(jīng)網(wǎng)絡(luò)算法

神經(jīng)網(wǎng)絡(luò)由于其學習和適應(yīng)、自組織、函數(shù)逼近和大規(guī)模并行處理等能力，因而具有智能系統(tǒng)的潛力。神經(jīng)網(wǎng)絡(luò)用于貨幣識別也已經(jīng)有多個成功的先例，神經(jīng)網(wǎng)絡(luò)一般都用于分類器設(shè)計與決策(也可稱之為分類實現(xiàn))。用一定數(shù)量的樣本(訓練集)輸入網(wǎng)絡(luò)進行學習，使得神經(jīng)網(wǎng)絡(luò)能根據(jù)目標或訓練樣本自動調(diào)整網(wǎng)絡(luò)權(quán)值以達到分類器效果，此即為分類器設(shè)計。然后就可用所設(shè)計的分類器按設(shè)計階段所得的分類規(guī)則對待識別的樣本進行分類決策。分類器設(shè)計，分類器的優(yōu)劣直接影響識別的速度和精度，它是模式識別過程中很重要的一步。

神經(jīng)網(wǎng)絡(luò)模型非常之多，下面列出兩種應(yīng)用最廣泛的模型:

1)學習矢量量化(LVQ)網(wǎng)絡(luò)。它具有自適應(yīng)學習能力，有存儲信息的特征;LVQ網(wǎng)絡(luò)結(jié)構(gòu)簡單、能用比較小的計算代價來處理大量數(shù)據(jù)的輸入［6-7］。

2)反向傳播(BP)網(wǎng)絡(luò)。它是一種多層映射網(wǎng)絡(luò)，它通過反向傳遞修正誤差。BP網(wǎng)絡(luò)是目前應(yīng)用最廣的網(wǎng)絡(luò)之一，這是由于它在選取合適的參數(shù)時能收斂到較好的均方差。它的不足在于訓練時間較長，且容易陷入局部極小。

3 基于負相關(guān)學習的神經(jīng)網(wǎng)絡(luò)集成算法

負相關(guān)學習是通過一個懲罰項加強集成網(wǎng)絡(luò)中個體網(wǎng)絡(luò)之間的差異度，文獻［8］對負相關(guān)學習進行了研究。下面對該算法作簡單說明。

假定有N個樣本的訓練集S

式中:x是輸入向量，與輸入向量x同組的d是對應(yīng)的期望輸出?？紤]將上述訓練集的輸入與輸出之間的關(guān)系用一個集成神經(jīng)網(wǎng)絡(luò)來近似表示，這個集成神經(jīng)網(wǎng)絡(luò)可以這樣來構(gòu)造

集成的輸出F(n)取各子網(wǎng)絡(luò)輸出Fi(n)的平均，其表示如式(2)，其中M表示集成網(wǎng)絡(luò)中子網(wǎng)個數(shù)，n代表訓練樣本個數(shù)。在負相關(guān)學習算法中各子網(wǎng)的誤差函數(shù)Ei用下式表示

式中:Ei(n)指的是在第n個輸入模式下第i個子網(wǎng)絡(luò)的誤差函數(shù)值。式(3)中的第一項是子網(wǎng)i的經(jīng)驗風險函數(shù)，第二項的pi(n)是由式(4)式給出的相關(guān)懲罰函數(shù)

在第n個輸入模式下，第i個子神經(jīng)網(wǎng)絡(luò)的誤差函數(shù)Ei(n)對各自的輸出Fi(n)的偏導(dǎo)數(shù)計算、變形如下

從式(5)可看出，負相關(guān)算法實質(zhì)上是對標準BP算法的簡單擴展［9］。事實上，在BP算法的基礎(chǔ)上，唯一需要修改的就是在誤差反向傳播時，為第i個網(wǎng)絡(luò)額外計算形如λ(Fi(n)-F(n))的項。在訓練過程中，通過誤差函數(shù)中的懲罰項，整個集成神經(jīng)網(wǎng)絡(luò)相互影響，每個子網(wǎng)絡(luò)不僅最小化了本網(wǎng)絡(luò)輸出與預(yù)期輸出的差異，還使得集成整體的輸出與預(yù)期輸出更接近。

算法完整流程:

1)M賦值為所需子網(wǎng)個數(shù)。

2)然后獲得訓練集:S={(x(1)，d(1));(x(2)，d(2));…;(x(n)，d(n))}。

3)對S中每個訓練樣本n=1至N執(zhí)行以下步驟:

(2)對每個子網(wǎng)絡(luò)i=1至M，用下式完成子網(wǎng)絡(luò)i的每個權(quán)值的更新

重復(fù)執(zhí)行3)，直到達到希望的迭代次數(shù)。

4 實驗與分析

4.1 實驗數(shù)據(jù)的選擇

人民幣有很多防偽特征，許多學者在貨幣研究中需要的原始數(shù)據(jù)是通過其防偽特征表現(xiàn)出來的某些特性來確定的。一旦選取好某些特征組合，就可以通過多種方式多種途徑采集樣本數(shù)據(jù)以供機器計算得到最終分類結(jié)果。在本文實驗中，使用紫外光照射下的第五版人民幣圖像作為原始數(shù)據(jù)，圖2是經(jīng)灰度化處理后的紫外光下的紙幣圖片，分別為1元、5元、10元、20元、50元和100元。

圖2 紫外線下的人民幣圖像

4.2 分類器實驗及結(jié)果

為了提高分類器的準確率，在選擇訓練樣本時考慮了每種面額的紙幣有不同程度的噪聲的情況，選擇6種面額紙幣在不同噪聲下的樣本共300個作為訓練樣本，樣本特征數(shù)為300，分別用LVQ神經(jīng)網(wǎng)絡(luò)、BP神經(jīng)網(wǎng)絡(luò)和集成神經(jīng)網(wǎng)絡(luò)進行分類器實驗。下面將對各分類器的實驗結(jié)果進行分析和比較。

4.2.1 LVQ分類器

LVQ分類器的結(jié)構(gòu)是這樣確定的:LVQ分類器的輸入節(jié)點與樣本特征數(shù)是一樣的，在這里是300，輸出層節(jié)點則與樣本總體類別數(shù)一致，人民幣有6種面額，故輸出層有6個節(jié)點，根據(jù)經(jīng)驗隱含層節(jié)點一般是輸出節(jié)點的3～5倍，本文取5倍也即30個隱含層節(jié)點數(shù)，圖3是這次訓練的迭代-誤差曲線圖。

圖3 LVQ訓練迭代-誤差曲線

用另外的120個樣本作為網(wǎng)絡(luò)測試數(shù)據(jù)，測試它對未知樣本的分類決策情況，表1為LVQ網(wǎng)絡(luò)仿真實驗結(jié)果。

表1 LVQ分類器識別結(jié)果

由實驗結(jié)果可知，LVQ網(wǎng)絡(luò)速度很快，但是可靠性不是很理想，這對貨幣識別領(lǐng)域來說是個很大的缺陷。

4.2.2 BP分類器

本文選用的BP網(wǎng)絡(luò)結(jié)構(gòu)為三層，根據(jù)式n1=，在此，a取值為10，隱含層節(jié)點數(shù)為20，傳遞函數(shù)選S型正切函數(shù)，用前面介紹的動量BP算法來訓練網(wǎng)絡(luò)，得到對應(yīng)的訓練誤差曲線圖，如圖4所示。

圖4 BP分類器訓練曲線

以下是BP網(wǎng)絡(luò)分類器的仿真結(jié)果，如表2所示。

表2 BP分類器識別結(jié)果

從圖4和表2可以看出，BP分類器可靠性很高(誤識率低)，可靠性高是貨幣識別研究的追求，但BP網(wǎng)絡(luò)的收斂速度太慢，又制約了它的普遍應(yīng)用。

4.2.3 負相關(guān)集成網(wǎng)絡(luò)分類

本次實驗中集成神經(jīng)網(wǎng)絡(luò)子網(wǎng)個數(shù)為3，各子網(wǎng)的隱含層神經(jīng)元數(shù)相同，并且沒有對網(wǎng)絡(luò)隱含層神經(jīng)元數(shù)目作特別的優(yōu)化，各個體網(wǎng)絡(luò)結(jié)構(gòu)同上一節(jié)，用負相關(guān)學習算法對網(wǎng)絡(luò)進行訓練，圖5是訓練曲線圖，對比圖4可發(fā)現(xiàn)集成神經(jīng)網(wǎng)絡(luò)的可靠性很高。

圖5 負相關(guān)學習的迭代-誤差曲線

表3給出了基于負相關(guān)集成網(wǎng)絡(luò)分類器對120個測試樣本的識別情況。

表3 負相關(guān)神經(jīng)網(wǎng)絡(luò)集成的識別仿真情況

將負相關(guān)集成網(wǎng)絡(luò)的分類識別率與LVQ分類器、BP分類器的識別率綜合對比，如圖6所示，可看出集成神經(jīng)網(wǎng)絡(luò)的識別率比單個網(wǎng)絡(luò)的識別率平均高4%。

圖6 綜合識別率對比圖

5 結(jié)論

集成神經(jīng)網(wǎng)絡(luò)通過組合多個子網(wǎng)絡(luò)的結(jié)果，可以顯著提高神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性和泛化能力，負相關(guān)學習可以減弱各子網(wǎng)間的相關(guān)性，獲得盡量大的泛化水平。通過對LVQ分類器、BP分類器和基于負相關(guān)學習的集成神經(jīng)網(wǎng)絡(luò)分類器的性能對比，發(fā)現(xiàn)基于負相關(guān)學習的集成神經(jīng)網(wǎng)絡(luò)分類器的貨幣識別率比單個網(wǎng)絡(luò)的識別率平均要高4%。

［1］HASSANPOUR H，F(xiàn)ARAHABADI P M.Using hidden Markov models for paper currency recognition［J］.Expert Systems with Applications，2009，36(6):10105-10111.

［2］HASSANPOUR H，F(xiàn)ARAHABADI P M.Using hidden Markov models for paper currency recognition［J］.Expert Systems with Applications，2009(36):10105-10111.

［3］HASSANPOUR H，YASERI A，ARDESHIRI G.Feature extraction for paper currency recognition［C］//Proc.2007 9th International Symposium on Signal Processing and its Applications(ISSPA 2007).［S.l.］:IEEE Press，2007:1-4.

［4］GARCíA-LAMONT F，CERVANTES J，LóPEZ A.Recognition of Mexican banknotes via their color and texture features［J］.Expert Systems with Applications，2012，39(10):9651-9600.

［5］THEODORIDIS S，KOUTROUMBAS K.Pattern recognition［M］.4th ed.Beijing:China Machine Press，2009.

［6］PERES R T，PEDREIRA C E.A new local–global approach for classification［J］.Neural Networks，2010，23(7):887-891.

［7］BLACHNIK M，DUCH W.LVQ algorithm with instance weighting for generation of prototype-based rules［J］.Neural Networks，2011，24(8):824-830.

［8］TANG K，LIN M，MINKU F L，et al.Selective negative correlation learning approach to incremental learning［J］.Neurocomputing，2009，72(13-15):2796-2805.

［9］DEBNATH K K，AHMED S U，SHAHJAHAN M.A paper currency recognition system using negatively correlated neural network ensemble［J］.Journal of Multimedia，2010，5(6):560-567.