楊春德，張 磊

（1.重慶郵電大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，重慶400065；2.重慶郵電大學(xué) 系統(tǒng)理論與應(yīng)用研究中心，重慶400065）

0 引 言

現(xiàn)有的圖像分類方法主要采用兩種方式，即基于生成模型的圖像分類方法和基于判別模型的圖像分類方法。前者建立在圖像特征與圖像類別的聯(lián)合概率的分布基礎(chǔ)上，如貝葉斯分類模型、高斯混合模型 （Gaussian mixture model，GMM）和詞袋模型 （bag of words，BoW）［1］等；后者則建立在圖像特征與圖像類別的條件概率分布基礎(chǔ)上，如K 近鄰方法（K－nearest neighbor，KNN）、支持向量機(jī)（support vector machine，SVM）［2］、決策樹和人工神經(jīng)網(wǎng)絡(luò) （artificial neural networks，ANN）［3］等。這些淺層結(jié)構(gòu)學(xué)習(xí)模型的局限性在于有限樣本和計(jì)算單元情況下對(duì)復(fù)雜函數(shù)的表達(dá)能力有限，針對(duì)復(fù)雜分類問題其泛化能力受到一定制約［4］。深度學(xué)習(xí)模型則模擬人類的視覺系統(tǒng)和人腦的認(rèn)知過程，借助于神經(jīng)網(wǎng)絡(luò)的多層抽象機(jī)制來實(shí)現(xiàn)對(duì)數(shù)據(jù) （圖像、語音及文本等）的抽象表達(dá)，通過多層次的學(xué)習(xí)得到對(duì)于原始數(shù)據(jù)的不同抽象程度的表示，進(jìn)而提高分類和預(yù)測(cè)等任務(wù)的準(zhǔn)確性［5］。

自從Hinton等提出快速貪心逐層無監(jiān)督訓(xùn)練算法在多層神經(jīng)網(wǎng)絡(luò)中具有降維作用［6，7］，以及Bengio等將該算法深入剖析泛化［8］之后，由多層約束玻爾茲曼機(jī) （restricted Boltzmann machine，RBM）堆疊組成的深度置信網(wǎng)絡(luò)（deep belief network，DBN）得到了廣泛的關(guān)注并被應(yīng)用于不同的研究領(lǐng)域諸如圖像檢索［9］、音頻分類［10］以及自然語言處理［11］等。本文基于經(jīng)典的深度學(xué)習(xí)方法DBN，提出一種非監(jiān)督學(xué)習(xí)算法，稱為自適應(yīng)深度置信網(wǎng)絡(luò) （adaptive deep belief network，ADBN）。其基本思想就是通過一個(gè)自適應(yīng)的步長大小來取代原DBN 網(wǎng)絡(luò)中采用的全局學(xué)習(xí)率，根據(jù)樣本的權(quán)重更新方向選擇不同的學(xué)習(xí)率，就可以有效提高網(wǎng)絡(luò)的收斂速度、泛化能力及穩(wěn)定性。在MNIST 手寫數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，ADBN 算法能夠更好地挖掘出圖像特征之間的深層相關(guān)性，較傳統(tǒng)的圖像分類算法擁有更高的精確度。

1 深度置信網(wǎng)絡(luò)模型

DBN 是結(jié)合了無監(jiān)督學(xué)習(xí)和有監(jiān)督學(xué)習(xí)的機(jī)器學(xué)習(xí)模型，它是由若干層RBM 和一層反向傳遞網(wǎng)絡(luò) （back－propagation，BP）組成的深層神經(jīng)網(wǎng)絡(luò)，能夠通過多層次借助組合低層特征形成更抽象的高層特征，用來提取訓(xùn)練數(shù)據(jù)中深層結(jié)構(gòu)的特征信息。

1.1 約束玻爾茲曼機(jī)

波爾茲曼機(jī) （Boltzmann machine，BM）是由Hinton和Sejnowski提出的一種生成式隨機(jī)神經(jīng)網(wǎng)絡(luò)，它具有強(qiáng)大的無監(jiān)督學(xué)習(xí)能力，能夠?qū)W習(xí)數(shù)據(jù)中復(fù)雜的規(guī)則，但是其訓(xùn)練時(shí)間過長，概率分布也很難獲得。為了克服這一問題，Smolensky引入了RBM，該網(wǎng)絡(luò)由一些可見單元 （對(duì)應(yīng)可見變量，visible unit）和一些隱藏單元 （對(duì)應(yīng)隱藏變量，hidden unit）構(gòu)成，可見單元v 和隱藏單元h 都是二元變量，亦即其狀態(tài)取0或1。整個(gè)網(wǎng)絡(luò)是一個(gè)二分圖，只有可見單元和隱藏單元之間才會(huì)存在邊，而可見單元之間和隱藏單元之間都不會(huì)有邊相連接，如圖1所示。

圖1 RBM 結(jié)構(gòu)模型

RBM 是一種基于能量的模型，對(duì)于一組給定的狀態(tài)（v，h），其可見單元v和隱藏單元h 的聯(lián)合配置能量函數(shù)為

式中：θ＝｛Wij，ai，bj｝為RBM 的參數(shù)，Wij——可見單元v和隱藏單元h 之間的邊的權(quán)重，ai——可見單元v 的偏置（bias），bj——隱藏單元h 的偏置?；谠撃芰颗渲煤瘮?shù)，就可以得到（v，h）的聯(lián)合概率

基于RBM 模型的對(duì)稱結(jié)構(gòu)，以及其中節(jié)點(diǎn)的條件獨(dú)立性，當(dāng)給定可見單元v 的狀態(tài)時(shí)，各隱藏單元的激活狀態(tài)hj之間是相互獨(dú)立的，則第j個(gè)隱藏單元的激活概率為

同理，當(dāng)給定隱藏單元h 的狀態(tài)時(shí)，各可見單元的激活狀態(tài)vi之間也是相互獨(dú)立的，則第i個(gè)可見單元的激活概率為

由可見單元v的對(duì)數(shù)似然概率對(duì)空間權(quán)重參數(shù)Wij求偏導(dǎo)，可推導(dǎo)出RBM 的權(quán)重更新準(zhǔn)則為

式中：ε——權(quán)重學(xué)習(xí)速率，〈vihj〉data——數(shù)據(jù)分布的期望，〈vihj〉model——RBM 模型定義的期望。但由于模型期望未知，難以直接估算其分布〈vihj〉model。對(duì)此，Hinton提出了對(duì)比散度算法 （contrastive divergence，CD）［12］，利用Gibbs采樣將權(quán)值更新公式簡化為

式中：〈vihj〉recon——一步重構(gòu)后模型定義的分布。同樣，RBM 的其它兩個(gè)空間參數(shù)ai和bj也可以通過類似的方式進(jìn)行更新調(diào)整。

1.2 深度置信網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)過程

DBN 是一個(gè)包含多隱層的深層神經(jīng)網(wǎng)絡(luò)模型，由若干層RBM 和一層BP 神經(jīng)網(wǎng)絡(luò)堆疊構(gòu)成，一個(gè)典型的DBN結(jié)構(gòu)如圖2所示。

圖2 DBN 結(jié)構(gòu)模型

DBN 在訓(xùn)練模型的學(xué)習(xí)過程中具體可分為預(yù)訓(xùn)練和微調(diào)兩個(gè)階段，預(yù)訓(xùn)練階段把網(wǎng)絡(luò)中任意相鄰兩層當(dāng)作一個(gè)RBM，并以下層RBM 模型的輸出作為上層RBM 模型的輸入，最終實(shí)現(xiàn)逐層訓(xùn)練，用來初始化網(wǎng)絡(luò)參數(shù)。用貪心無監(jiān)督學(xué)習(xí)方法逐層訓(xùn)練后，深層架構(gòu)底層的原始特征被組合成更加緊湊的高層次特征。由于每層RBM 訓(xùn)練只能使該層網(wǎng)絡(luò)參數(shù)達(dá)到最優(yōu)，而不能使整個(gè)網(wǎng)絡(luò)達(dá)到最優(yōu)，故微調(diào)階段使用傳統(tǒng)的全局學(xué)習(xí)算法 （BP 或Wake－Sleep 算法［13］）有監(jiān)督的對(duì)網(wǎng)絡(luò)空間的相關(guān)參數(shù)進(jìn)一步優(yōu)化和調(diào)整，自頂向下微調(diào)整個(gè)模型。

2 基于自適應(yīng)深度置信網(wǎng)絡(luò)的圖像分類方法

2.1 自適應(yīng)深度置信網(wǎng)絡(luò)算法

DBN 網(wǎng)絡(luò)是在RBM 模塊上逐層訓(xùn)練得到相應(yīng)的空間參數(shù)并構(gòu)建整個(gè)網(wǎng)絡(luò)層次架構(gòu)，而RBM 基于CD 的快速學(xué)習(xí)算法中通常采用一個(gè)全局的學(xué)習(xí)率來對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。然而，學(xué)習(xí)率若過大，將導(dǎo)致重構(gòu)誤差急劇增加，權(quán)重也會(huì)變得異常大；學(xué)習(xí)率過小可避免上述情況出現(xiàn)，但收斂速度較慢，訓(xùn)練時(shí)間過長。為克服這一矛盾，在傳統(tǒng)的DBN 算法基礎(chǔ)上，我們將自適應(yīng)步長大小這一概念引入，提出了ADBN 算法，即在CD 快速算法的迭代過程中，對(duì)于每一個(gè)連接權(quán)重Wij，使用一個(gè)獨(dú)立的步長大小 （學(xué)習(xí)率）參數(shù)γij來替代原DBN 網(wǎng)絡(luò)中的全局學(xué)習(xí)率，而步長的具體大小則根據(jù)因子的改變做出相應(yīng)的調(diào)整

當(dāng)增量因子u＞1時(shí)代表步長的增加，減量因子d＜1時(shí)代表步長的減小。在學(xué)習(xí)過程中為了避免由于過大的步長而產(chǎn)生沖突，如果某一權(quán)重更新方向連續(xù)兩次相同，則步長增大，反之則步長減小。由ADBN 算法學(xué)習(xí)訓(xùn)練構(gòu)成的網(wǎng)絡(luò)架構(gòu)則稱為ADBN 網(wǎng)絡(luò)。

基于ADBN 的圖像分類方法主要分為兩個(gè)階段：使用已知類別的圖像特征信息對(duì)整個(gè)ADBN 網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練用來獲取圖像的深層次特征；利用訓(xùn)練階段獲得的網(wǎng)絡(luò)權(quán)值參數(shù)將未知類別的圖像進(jìn)行分類。

2.2 自適應(yīng)深度置信網(wǎng)絡(luò)的圖像訓(xùn)練過程

ADBN 網(wǎng)絡(luò)訓(xùn)練的過程就是對(duì)圖像特征自適應(yīng)、自學(xué)習(xí)的過程，在學(xué)習(xí)訓(xùn)練的過程中，具有深層結(jié)構(gòu)的ADBN網(wǎng)絡(luò)通過自底向上的方式逐層抽取出輸入圖像信息的深層特征，并將底層的特征信息逐步融合到更加緊湊的高層特征表達(dá)中，得到魯棒性更強(qiáng)的特征。ADBN 網(wǎng)絡(luò)使用快速貪心的無監(jiān)督學(xué)習(xí)算法對(duì)整個(gè)網(wǎng)絡(luò)進(jìn)行逐層的構(gòu)建，并進(jìn)行相應(yīng)的訓(xùn)練，然后再利用梯度下降的優(yōu)化策略對(duì)網(wǎng)絡(luò)空間的權(quán)值參數(shù)進(jìn)一步微調(diào)。

在多層的ADBN 網(wǎng)絡(luò)結(jié)構(gòu)中，所有相鄰的兩層結(jié)構(gòu)都可以看作是一個(gè)RBM，較低一級(jí)的隱藏層將作為與其相鄰的高一級(jí)隱藏層的輸入層，貪心逐層訓(xùn)練算法則以圖像的特征向量作為輸入自底向上每次訓(xùn)練一個(gè)RBM，如在訓(xùn)練完有l(wèi)層的ADBN 的頂層RBM 之后，利用式 （5）～式（7）獲得更新后的第（l＋1）層的權(quán)值參數(shù)，然后以此訓(xùn)練并構(gòu)建第（l＋1）層網(wǎng)絡(luò)。整個(gè)過程中ADBN 均采用無監(jiān)督的方式逐層的訓(xùn)練并構(gòu)建整個(gè)網(wǎng)絡(luò)，經(jīng)過多次反復(fù)訓(xùn)練對(duì)層與層之間的空間參數(shù)不斷進(jìn)行調(diào)整，使得網(wǎng)絡(luò)達(dá)到一個(gè)平衡狀態(tài)。

經(jīng)過上述訓(xùn)練之后可以初步確定ADBN 的空間參數(shù)｛Wij，ai，bj｝，但還需要對(duì)ADBN 所有層之間的參數(shù)進(jìn)行整體微調(diào)和優(yōu)化。然而對(duì)于不同的應(yīng)用，空間參數(shù)優(yōu)化的目標(biāo)也是不一樣的。一種是采用自頂向下的方式使得從輸出層反向構(gòu)建輸入信息的概率達(dá)到最大化；另一種是減小隱藏層到輸出層之間的損失，使ADBN 網(wǎng)絡(luò)具有更好的分類性能。本文使用ADBN 網(wǎng)絡(luò)作為圖像分類器，因此空間參數(shù)優(yōu)化的目標(biāo)是讓ADBN 網(wǎng)絡(luò)具有更好的區(qū)別能力，從而提高分類的準(zhǔn)確度。而這個(gè)任務(wù)可以轉(zhuǎn)換為一個(gè)優(yōu)化問題，即尋找一組空間參數(shù)值｛W′ij，a′i，b′j｝，使得最高隱藏層與輸出層之間的映射函數(shù)具有最小的損失值。由于指數(shù)損失函數(shù)已經(jīng)被應(yīng)用于boosting算法［14］中，并在實(shí)際應(yīng)用數(shù)據(jù)集中表現(xiàn)良好，故在ADBN 中使用指數(shù)損失函數(shù)作為最高隱藏層和輸出層之間的映射函數(shù)來進(jìn)行圖像的分類。在確定損失函數(shù)后，利用梯度下降方法來優(yōu)化整個(gè)深層架構(gòu)的空間參數(shù)，使網(wǎng)絡(luò)達(dá)到一個(gè)最優(yōu)的狀態(tài)。ADBN 的具體訓(xùn)練算法如下：

算法1： ADBN 的學(xué)習(xí)訓(xùn)練算法輸入：用于訓(xùn)練的特征向量xi，…xM ；網(wǎng)絡(luò)的層數(shù)N；初始化參數(shù)｛Wij，ai，bj｝；初始學(xué)習(xí)率ε；訓(xùn)練過程中迭代次數(shù)R。輸出：經(jīng)過訓(xùn)練后處于平衡狀態(tài)的ADBN 網(wǎng)絡(luò)及其空間參數(shù)｛W′ij，a′i，b′j ｝。訓(xùn)練過程：步驟1 自適應(yīng)步長大小的貪心逐層可監(jiān)督訓(xùn)練for n＝1to N－1 do for r＝1to Rdo for m ＝1to Mdo 計(jì)算每個(gè)RBM 的可見層和隱藏層的隨機(jī)單元狀態(tài)：P（hj ＝1｜v））和P（vi ＝1｜h） 更新調(diào)整空間參數(shù)：利用式 （5）～式 （7）計(jì)算更新后的參數(shù)｛W′ij，a′i，b′j｝ end end end步驟2 基于梯度下降的有監(jiān)督學(xué)習(xí)訓(xùn)練計(jì)算ADBN 的梯度并利用BP算法進(jìn)行參數(shù)的優(yōu)化和調(diào)整，使得最高隱藏層到輸出層間的映射損失達(dá)到最小。

2.3 自適應(yīng)深度置信網(wǎng)絡(luò)的圖像分類過程

圖像的分類過程相對(duì)訓(xùn)練過程來說要簡單，即利用ADBN 經(jīng)過優(yōu)化后的權(quán)值參數(shù)將未標(biāo)類別的圖像特征信息映射到相應(yīng)的類別中。歸一化的圖像經(jīng)過上一階段的學(xué)習(xí)訓(xùn)練和優(yōu)化之后，該ADBN 網(wǎng)絡(luò)就可以完成圖像的特征提取過程，這時(shí)只需在頂層加上一層softmax回歸分類器模型即可完成圖像的分類任務(wù)。相對(duì)于邏輯回歸 （logistic regression，LR）只能進(jìn)行線性二分類處理來講，softmax回歸對(duì)其進(jìn)行了擴(kuò)展并可以完成多個(gè)類別劃分，而且分類類別之間是嚴(yán)格相互排斥的，softmax回歸層的若干輸出單元?jiǎng)t對(duì)應(yīng)了不同圖像所屬的分類類別，實(shí)現(xiàn)了圖像的分類任務(wù)。

3 實(shí)驗(yàn)結(jié)果和分析

為驗(yàn)證提出方法的有效性，我們?cè)贛NIST 手寫數(shù)據(jù)集上進(jìn)行了驗(yàn)證測(cè)試，該數(shù)據(jù)集由手寫的數(shù)字圖像組成，它分為了60000個(gè)訓(xùn)練數(shù)據(jù)和10000 個(gè)測(cè)試數(shù)據(jù)。為了便于圖像相關(guān)特征的提取，所有的圖像都做了歸一化的處理，每個(gè)圖像的大小為28×28，而且圖像的像素以常用的灰度圖 （灰度區(qū)間0～255）形式進(jìn)行存儲(chǔ)。文中我們采用了十字交叉驗(yàn)證的方式進(jìn)行評(píng)測(cè)，即將數(shù)據(jù)集隨機(jī)分成10份，輪流將其中9份作為訓(xùn)練數(shù)據(jù)對(duì)ADBN 網(wǎng)絡(luò)進(jìn)行訓(xùn)練，而將剩下的一份對(duì)分類的準(zhǔn)確度進(jìn)行測(cè)試。因此，需要在10種訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)不同組合的基礎(chǔ)上進(jìn)行10次獨(dú)立實(shí)驗(yàn)來計(jì)算分類的準(zhǔn)確度，而將這10次實(shí)驗(yàn)結(jié)果相應(yīng)準(zhǔn)確度的平均值作為最終的分類準(zhǔn)確度。測(cè)試環(huán)境則部署在普通的PC機(jī)上，含i3－4130雙核3.4GHz CPU，8GB DDR3內(nèi)存及Windows 8.1的軟件操作系統(tǒng)。

3.1 層次結(jié)構(gòu)和迭代次數(shù)對(duì)分類性能的影響

在基于ADBN 的圖像分類中，ADBN 所包含隱藏層的層數(shù)以及每個(gè)隱藏層的隨機(jī)單元數(shù)都是不確定的，一般要根據(jù)經(jīng)驗(yàn)或多次測(cè)試來進(jìn)行設(shè)定，但可見層即輸入層的隨機(jī)單元數(shù)必須與圖像輸入特征向量的維數(shù)相同，即要包含784個(gè)隨機(jī)單元，輸出層的隨機(jī)單元數(shù)為10個(gè)，對(duì)應(yīng)手寫數(shù)字的0～9這10個(gè)類別。另外，在訓(xùn)練過程中迭代次數(shù)的不同也會(huì)對(duì)整個(gè)ADBN 網(wǎng)絡(luò)的分類性能產(chǎn)生重要的影響。因?yàn)榈螖?shù)越多，越能夠使ADBN 處于平衡狀態(tài)，其空間參數(shù)優(yōu)化的程度越高，從而更能捕捉到圖像特征向量之間的深層相關(guān)性，提高ADBN 的分類性能。在實(shí)驗(yàn)中，對(duì)于自適應(yīng)步長方法來說，每一連接權(quán)重的初始化學(xué)習(xí)率均取0.1，增量因子u和減量因子d 分別取1.2和0.8，同時(shí)為了減少非相關(guān)參數(shù)的對(duì)訓(xùn)練結(jié)果的影響，每個(gè)隱藏層均選取相等的節(jié)點(diǎn)數(shù)，如對(duì)于含3 個(gè)隱藏層的網(wǎng)絡(luò)來說，ADBN 的架構(gòu)為784－1500－1500－1500－10，這也是深度學(xué)習(xí)方法的經(jīng)典實(shí)驗(yàn)設(shè)置。改變隱藏層的層數(shù)以及改變訓(xùn)練過程的迭代次數(shù)，通過它們之間的不同組合，來驗(yàn)證圖像的分類效果。ADBN 使用不同的隱藏層個(gè)數(shù)和不同的迭代次數(shù)的實(shí)驗(yàn)分類錯(cuò)誤率如圖3所示。

圖3 不同層次結(jié)構(gòu)和迭代次數(shù)的ADBN的分類錯(cuò)誤率

從圖3可以看出，在有相同的隱藏層數(shù)及節(jié)點(diǎn)數(shù)的情況下，隨著迭代訓(xùn)練次數(shù)的增加，圖像分類的準(zhǔn)確度有所提升；在迭代訓(xùn)練次數(shù)分別相同的情況下，含4個(gè)隱藏層的ADBN 得到的圖像分類結(jié)果要明顯優(yōu)于含有3個(gè)隱藏層的ADBN 分類結(jié)果，由于隱藏層層數(shù)增加到5層或迭代次數(shù)達(dá)到500次之后，分類的時(shí)間復(fù)雜度明顯增加，因此沒有對(duì)更多隱藏層或更高迭代次數(shù)進(jìn)行實(shí)驗(yàn)。

3.2 自適應(yīng)步長大小和不同的固定學(xué)習(xí)率對(duì)分類性能的影響

為了評(píng)價(jià)自適應(yīng)步長大小對(duì)ADBN 網(wǎng)絡(luò)訓(xùn)練收斂性的影響，我們與傳統(tǒng)的DBN 網(wǎng)絡(luò)在取3組不同的固定學(xué)習(xí)率（ε＝0.1，ε＝0.4和ε＝0.7）情形下對(duì)訓(xùn)練收斂性的影響進(jìn)行了比較。ADBN 網(wǎng)絡(luò)依然采用含3個(gè)隱藏層的經(jīng)典深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)，隱藏層各層節(jié)點(diǎn)數(shù)均取1500。自適應(yīng)步長大小方法中初始值取值與上述設(shè)置相一致，由于重構(gòu)誤差能夠在一定程度上反映RBM 對(duì)訓(xùn)練數(shù)據(jù)的似然度，在實(shí)踐中通常用平均重構(gòu)率這一指標(biāo)來評(píng)價(jià)，也反映了訓(xùn)練過程中收斂速度的快慢。而傳統(tǒng)的DBN 中學(xué)習(xí)率ε的選擇至關(guān)重要，ε大收斂速度快，但過大可能引起算法不穩(wěn)定；ε小可避免不穩(wěn)定情況的出現(xiàn)，但收斂速度較慢。使用兩種不同的算法對(duì)訓(xùn)練過程中圖像的平均重構(gòu)率影響如圖4所示。

圖4 不同的學(xué)習(xí)率對(duì)平均重構(gòu)率的影響

從圖4可以看出，ADBN 網(wǎng)絡(luò)的自適應(yīng)步長大小方法明顯優(yōu)于DBN 網(wǎng)絡(luò)所采用的固定學(xué)習(xí)率的方法，尤其是當(dāng)?shù)螖?shù)增加時(shí)，網(wǎng)絡(luò)的收斂速度顯著加快，直至趨于穩(wěn)定，也有效的提高了ADBN 算法的穩(wěn)定性。

訓(xùn)練過程中我們隨機(jī)選取了7 張圖像進(jìn)行采樣實(shí)驗(yàn)，使用自適應(yīng)步長大小的方法和固定學(xué)習(xí)率的方法 （ε ＝0.1）得到的采樣圖像分別如圖5、圖6所示。

圖5 自適應(yīng)步長大小下的圖像重構(gòu)

圖6 固定學(xué)習(xí)率下的圖像重構(gòu)

由圖5、圖6相比較可以看出，在隱藏層節(jié)點(diǎn)數(shù)相同的情況下，利用3層ADBN 網(wǎng)絡(luò)得到的圖像重構(gòu)效果要優(yōu)于3層DBN 網(wǎng)絡(luò)得到的重構(gòu)效果，得到的手寫體圖像結(jié)構(gòu)信息和輪廓信息更加清晰細(xì)致，一定程度上也反映了采用自適應(yīng)步長大小的方法可以獲得更好的圖像深層次的結(jié)構(gòu)特征，取得較優(yōu)的圖像分類結(jié)果。

3.3 與其它分類器之間的分類準(zhǔn)確度比較

此外，為了進(jìn)一步驗(yàn)證分類方法的有效性，我們將基于ADBN 的圖像分類方法與其它4種廣泛使用的分類方法即KNN、ANN、SVM 和DBN 在相同的數(shù)據(jù)集上進(jìn)行了性能的比較，如圖7 所示。其中，ADBN 的層次結(jié)構(gòu)包含3個(gè)隱藏層，節(jié)點(diǎn)數(shù)與上述相一致，迭代訓(xùn)練次數(shù)設(shè)置為400次，ANN 只包含有一個(gè)隱藏層，隱含單元數(shù)同樣設(shè)置為1500，SVM 采用高斯核的方式，KNN 方法中K 取值為10，DBN 與ADBN 設(shè)置則完全保持一致。將這4種分類方法同樣采用交叉驗(yàn)證的方式對(duì)分類準(zhǔn)確度進(jìn)行評(píng)測(cè)，實(shí)驗(yàn)結(jié)果表明，在相同的條件下，ADBN 的分類效果要明顯優(yōu)于其它4種圖像分類方法。

圖7 使用不同分類方法的分類錯(cuò)誤率比較

4 結(jié)束語

本文將自適應(yīng)步長大小這一概念引入到RBM 學(xué)習(xí)訓(xùn)練的CD 算法中，提出一種ADBN 算法，將該深層網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)模型應(yīng)用于圖像分類任務(wù)中，給出了ADBN 的具體算法實(shí)現(xiàn)和圖像分類框架，在MNIST 手寫數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明了該算法的有效性。所提算法收斂速度明顯加快，極大地減小了訓(xùn)練過程的重構(gòu)錯(cuò)誤率，大大縮短了訓(xùn)練所需的時(shí)間，在圖像的自動(dòng)分類方面也取得了很好的分類效果。在今后的工作中繼續(xù)側(cè)重于將該算法應(yīng)用在其它的分類領(lǐng)域，進(jìn)一步增強(qiáng)其泛化能力。

［1］Gao H，Dou L，Chen W，et al.Image classification with Bagof－Words model based on improved SIFT algorithm ［C］／／9th Asian Control Conference，2013：1－6.

［2］Jain S.A machine learning approach：SVM for image classification in CBIR ［J］.International Journal of Application or Innovation in Engineering and Management，2013，2 （4）：446－452.

［3］Xiong Z，Chen K，Gu C，et al.An algorithm of image classification based on BP neural network ［C］／／IEEE International Conference on Computer Science and Automation Engineering，2012：523－526.

［4］Bengio Y.Learning deep architectures for AI ［J］.Foundations and trends in Machine Learning，2009，2 （1）：1－127.

［5］Bengio Y，Delalleau O.On the expressive power of deep architectures ［G］.LNCS 6925：Algorithmic Learning Theory，2011：18－36.

［6］Bengio Y.Deep learning of representations for unsupervised and transfer learning ［C］／／International Conference on Machine Learning，2012.

［7］Lee Honglak，Grosse Roger，Ranganath Rajesh，et al.Convolu－tional deep belief networks for scalable unsupervised learning of hierarchical representations［C］／／Proceedings of the 26th Annual International Conference on Machine Learning.ACM，2009.

［8］Schmidhuber J.Deep learning in neural networks：An overview ［J］.Neural Networks，2014，10 （1）：1404－1092.

［9］Hrster E，Lienhart R.Deep networks for image retrieval on large－scale databases ［C］／／Proceedings of the 16th International Conference on Multimedia，2008.

［10］Hamel P，Eck D.Learning features from music audio with deep belief networks［C］／／Utrecht，The Netherlands，2010.

［11］Liu T.A novel text classification approach based on deep be－lief network ［G］.LNCS 6443：Neural Information Processing.Theory and Algorithms，2010：314－321.

［12］Hinton G.A practical guide to training restricted Boltzmann machines［J］.Momentum，2010，9 （1）：926－947.

［13］Charbonnier S，Zoubek L，Lesecq S，et al.Self－evaluated automatic classifier as a decision－support tool for sleep／wake staging ［J］.Computers in Biology and Medicine，2011，41（6）：380－389.

［14］Saon G，Soltau H.Boosting systems for large vocabulary continuous speech recognition ［J］.Speech Communication，2012，54 （2）：212－218.