李蘭英 周志剛 陳德運(yùn)

摘?要：針對(duì)脫機(jī)手寫漢字形近字多，提取特征難，識(shí)別不準(zhǔn)的問(wèn)題，提出了一種卷積神經(jīng)網(wǎng)絡(luò)和深度信念網(wǎng)絡(luò)的融合模型。首先在數(shù)據(jù)集上分別訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)和深度信念網(wǎng)絡(luò)，發(fā)現(xiàn)二者的綜合TOP-2準(zhǔn)確率可達(dá)到99.33%。利用卷積神經(jīng)網(wǎng)絡(luò)和深度信念網(wǎng)絡(luò)在圖像分析中各自的優(yōu)勢(shì)，采用了一種融合比較策略，在兩者的TOP-2分類中盡可能準(zhǔn)確地取出一個(gè)分類結(jié)果以提高識(shí)別的能力。實(shí)驗(yàn)結(jié)果表明：卷積神經(jīng)網(wǎng)絡(luò)和深度信念網(wǎng)絡(luò)的融合模型比單獨(dú)使用卷積神經(jīng)網(wǎng)絡(luò)和深度信念網(wǎng)絡(luò)具有更好的識(shí)別效果。

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò);深度信念網(wǎng)絡(luò);脫機(jī)手寫漢字

DOI：10.15938/j.jhust.2020.03.021

中圖分類號(hào)：?TP391.4

文獻(xiàn)標(biāo)志碼：?A

文章編號(hào)：?1007-2683（2020）03-0137-07

Abstract：Aiming?at?the?problem?that?some?offline?handwritten?Chinese?characters?are?similar?in?shape?and?it?is?difficult?to?extract?the?feature?of?characters?and?the?recognition?is?not?accurate，?a?convolutional?neural?network?and?deep?belief?network?fusion?model?is?proposed.?Firstly，?the?convolutional?neural?network?and?the?deep?belief?network?are?trained?on?the?dataset?respectively.?It?is?found?that?the?comprehensive?TOP-2?accuracy?of?the?both?can?reach?99.33%.?Using?the?advantages?of?convolutional?neural?networks?and?deep?belief?networks?in?image?analysis，?a?fusion?comparison?strategy?is?adopted?to?extract?a?classification?result?as?accurately?as?possible?in?the?TOP-2?classification?of?the?two?to?improve?the?recognition?ability.?The?experimental?results?show?that?the?fusion?model?of?convolutional?neural?network?and?deep?belief?network?has?better?recognition?effect?than?convolutional?neural?network?and?deep?belief?network.

Keywords：convolutional?neural?network;?deep?belief?network;?offline?handwritten?chinese?character

0?引?言

手寫漢字在試卷、郵件封皮、銀行票據(jù)等方面都有廣泛的應(yīng)用[1]。實(shí)現(xiàn)手寫漢字識(shí)別，可以進(jìn)行機(jī)器閱卷，郵件自動(dòng)分揀，票據(jù)識(shí)別等，極大地方便工作和生活。但是，由于漢字類別繁多、字形結(jié)構(gòu)復(fù)雜，存在大量的相似漢字，手寫漢字更是因人而異，千差萬(wàn)別，導(dǎo)致手寫漢字識(shí)別困難，故手寫漢字識(shí)別一直是研究難點(diǎn)和熱點(diǎn)[2][3]。目前手寫體漢字識(shí)別可分為脫機(jī)識(shí)別和聯(lián)機(jī)識(shí)別兩種。聯(lián)機(jī)字符識(shí)別是指利用手寫板或電子觸摸屏?xí)鴮懀?jì)算機(jī)根據(jù)書(shū)寫漢字的筆畫走向、書(shū)寫速度、筆畫順序和總數(shù)等多種參考信息進(jìn)行識(shí)別，信息涵蓋內(nèi)容豐富，具有一定的追溯性和連續(xù)性，識(shí)別相對(duì)容易，準(zhǔn)確度也較高[4]。脫機(jī)字符識(shí)別沒(méi)有聯(lián)機(jī)字符識(shí)別的多種信息，僅依靠靜止的二維圖像信息來(lái)提取圖像特征，故識(shí)別更加困難和復(fù)雜，準(zhǔn)確度較難提高[5]。

至今為止有很多研究者對(duì)于脫機(jī)手寫漢字識(shí)別進(jìn)行了大量研究。一些研究者是基于傳統(tǒng)的機(jī)器學(xué)習(xí)的方法進(jìn)行的研究，如文[6]采用了一種改進(jìn)的仿射傳播聚類算法;文[7]提出一種基于支持向量機(jī)SVM的多特征手寫體漢字識(shí)別技術(shù)，在提取網(wǎng)格特征的基礎(chǔ)上增加對(duì)漢字質(zhì)心特征、筆畫特征、特征點(diǎn)的提取，并采用SVM分類器實(shí)現(xiàn)手寫漢字識(shí)別。這類方法需要進(jìn)行數(shù)據(jù)的預(yù)處理，復(fù)雜的特征提取，難以較全面的提取出準(zhǔn)確的特征。文[8]采用一種基于LS-SVM的部分級(jí)聯(lián)特征分類方案，采用低閾值霍夫空間采樣結(jié)果作為粗分類特征，對(duì)粗分類用局部二支分布直方圖作為細(xì)分類特征，先粗分后細(xì)分實(shí)現(xiàn)樣本分類;文[9]采用修正的二次判別函數(shù)（Modified?Quadratic?Discriminant?Function，MQDF）和卷積神經(jīng)網(wǎng)絡(luò)（Convolutional?Neural?Networks，CNN）級(jí)聯(lián)的方法取得了比單獨(dú)的MQDF和單獨(dú)的CNN方法要高的準(zhǔn)確率;和文[10]相似，文[11]采用MQDF和深度置信網(wǎng)絡(luò)（Deep?Belief?Networks，DBN）級(jí)聯(lián)的方法取得更高的準(zhǔn)確率。一些研究者基于深度學(xué)習(xí)算法，通過(guò)改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)或者提出改善的訓(xùn)練方法的方式來(lái)提高識(shí)別性能。如文[12]應(yīng)用深度殘差網(wǎng)絡(luò)（Residual?Networks，ResNet），通過(guò)改進(jìn)殘差學(xué)習(xí)模塊的單元結(jié)構(gòu)，優(yōu)化網(wǎng)絡(luò)性能;文[13]在卷積神經(jīng)網(wǎng)絡(luò)中采用迭代求精改進(jìn)的方法;文[14]將卷積神經(jīng)網(wǎng)絡(luò)中的VGGNET模型用到漢字識(shí)別中;文[15]將人臉識(shí)別中提出的center?loss損失函數(shù)應(yīng)用到手寫漢字的CNN網(wǎng)絡(luò)中來(lái)，減小類內(nèi)距離，增加類間距離，提高識(shí)別性能;文[16]使用一個(gè)深層的CNN網(wǎng)絡(luò)，結(jié)合印刷體數(shù)據(jù)集和手寫體數(shù)據(jù)集訓(xùn)練識(shí)別網(wǎng)絡(luò)，并且通過(guò)構(gòu)建一個(gè)服務(wù)來(lái)擴(kuò)展訓(xùn)練數(shù)據(jù)集，提高對(duì)不同書(shū)寫樣式的適應(yīng)能力。

卷積神經(jīng)網(wǎng)絡(luò)和深度置信網(wǎng)絡(luò)都是現(xiàn)在深度學(xué)習(xí)中對(duì)圖像分析非常有效的方法[17-18]，為了進(jìn)一步的探索脫機(jī)手寫漢字的識(shí)別方法，本文提出了一種卷積網(wǎng)絡(luò)和深度信念網(wǎng)絡(luò)融合的識(shí)別模型，結(jié)合兩種網(wǎng)絡(luò)在漢字識(shí)別中的優(yōu)勢(shì)，提高漢字識(shí)別的能力。

1?卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)CNN是一種結(jié)構(gòu)化的有監(jiān)督的多層前饋神經(jīng)網(wǎng)絡(luò)，主要應(yīng)用于二維數(shù)據(jù)處理，它能夠通過(guò)大量學(xué)習(xí)，自動(dòng)提取圖像特征，最終達(dá)到圖像分類的目的。它由交替出現(xiàn)的卷積層、采樣層和全連接層組成，每個(gè)卷積層包含多個(gè)卷積核。卷積層中的每一個(gè)神經(jīng)元與上一層的局部區(qū)域進(jìn)行連接，通過(guò)卷積運(yùn)算提取二維數(shù)據(jù)的特征信息，并且降低噪聲對(duì)特征的干擾。采樣層對(duì)二維數(shù)據(jù)進(jìn)行抽樣，降低分辨率，在盡量保存圖像的特征信息的同時(shí)降低數(shù)據(jù)的維度，減少參數(shù)數(shù)量，提高網(wǎng)絡(luò)運(yùn)算速度。Yann?LeCun在1998年提出的LetNet-5是經(jīng)典的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)[19]，其結(jié)構(gòu)圖如圖1所示。

1.1卷積層

對(duì)于卷積層，卷積核與上一層的特征圖（feature?map）進(jìn)行滑動(dòng)卷積運(yùn)算，再加上一個(gè)偏置量（bais）得到凈輸出，如公式（1）所示，最后通過(guò)激活函數(shù)（Activation?function）的非線性作用得到卷積的結(jié)果，即輸出特征圖，即

klij是第l層的第i個(gè)卷積核中的第j通道;bli是第i個(gè)卷積核對(duì)應(yīng)的偏置量;uli是l層第i個(gè)卷積核對(duì)應(yīng)的凈輸出;運(yùn)算*代表卷積操作。xli是第l層第i個(gè)特征圖。f（·）是激活函數(shù)，通常采用Sigmoid函數(shù)，Sigmoid函數(shù)如公式（3）：

1.2?采樣層

采樣層是對(duì)上一層的輸出特征圖進(jìn)行降采樣操作，把輸入的特征圖用采樣窗口劃分為多個(gè)不重疊的圖像塊，再對(duì)每個(gè)圖像塊采用最大池化或者平均池化方法。假設(shè)采樣窗口的尺寸為n×n，輸入特征圖的尺寸為iS×iS，輸出特征圖的尺寸如式（4）所示。最大池化如式（5），平均池化如式（6）所示

式中：l代表當(dāng)前的采樣層;N代表輸入特征圖的個(gè)數(shù)，與輸出特征圖的個(gè)數(shù)相同;Vkj，j=1，2，…，oS2代表第k個(gè)輸入特征圖的第j個(gè)圖像塊，每一個(gè)圖像塊含有n2個(gè)元素;xlki，i=1，2，…，n2是Vkj圖像塊中的第i個(gè)元素;xlkj是當(dāng)前層的第k個(gè)輸出特征圖上的第j個(gè)元素。

1.3?全連接輸出層

經(jīng)過(guò)卷積層和降采樣層后，原始圖片的高級(jí)特征已經(jīng)被提取出來(lái)，全連接層的作用就是使用這些特征對(duì)原始圖片進(jìn)行分類。全連接層對(duì)這些特征做加權(quán)求和，再加上偏置量，最后通過(guò)激活函數(shù)獲得最終的輸出，如式（7）所示。輸出層本質(zhì)上也是全連接層，只是激活函數(shù)采用分類函數(shù)來(lái)進(jìn)行分類。

式中：xl-1是前一層的輸出特征圖，里面的元素都是通過(guò)卷積和降采樣提取出來(lái)的高級(jí)特征;wl是全連接層的權(quán)重系數(shù);bl是全連接層l的偏置量。

卷積神經(jīng)網(wǎng)絡(luò)一般用于多分類的情況，分類函數(shù)一般采用Softmax函數(shù)，它將最后一層L的未激活輸出ZL歸一化到（0，1）范圍內(nèi)，同時(shí)輸出值之和為1，起到分類的作用，ZL的計(jì)算式如式（8），Softmax函數(shù)如式（9），即

式中：L代表最后的輸出層第L層，nL代表L層有n個(gè)輸出神經(jīng)元，代表n個(gè)分類;aLi是n個(gè)分類中的第i個(gè)分類輸出;zLi代表第i個(gè)未激活輸出;zLj代表第j個(gè)未激活輸出;e為自然常數(shù)。

2?深度信念網(wǎng)絡(luò)

深度置信網(wǎng)絡(luò)DBN是一個(gè)具有層次特征的概率生成模型，通過(guò)訓(xùn)練神經(jīng)元之間的權(quán)重，可以讓整個(gè)神經(jīng)網(wǎng)絡(luò)按照最大概率生成訓(xùn)練數(shù)據(jù)。同時(shí)DBN是一種深度神經(jīng)網(wǎng)絡(luò)，采用自底向上的傳遞，底層的神經(jīng)元接收原始的特征向量，不斷向更高層次抽象，頂層的神經(jīng)網(wǎng)絡(luò)形成易于組合的特征向量。通過(guò)增加層次就能夠使特征向量更高的抽象化，而且，每一層的網(wǎng)絡(luò)會(huì)弱化上一層的錯(cuò)誤信息和次要信息，以確保深層網(wǎng)絡(luò)的精度。DBN結(jié)構(gòu)如圖2所示。其由一系列疊加的受限玻爾茲曼機(jī)（restricted?boltzmann?machine，RBM）和頂層的反向傳播網(wǎng)絡(luò)（back?propagation，BP）構(gòu)成。受限玻爾茲曼機(jī)由隱層v和可示層h兩個(gè)神經(jīng)元節(jié)點(diǎn)構(gòu)成?？墒緦拥淖饔檬禽斎霐?shù)據(jù)，隱層的作用是特征檢測(cè)。區(qū)別于玻爾茲曼機(jī)，RBM的特點(diǎn)是可示層和隱層之間采用全連接方式，而在可示層內(nèi)神經(jīng)元之間和隱層內(nèi)各神經(jīng)元之間是無(wú)連接的，以二維圖的形式存在，相比玻爾茲曼機(jī)更加高效。

DBN訓(xùn)練過(guò)程包含預(yù)訓(xùn)練和微調(diào)。首先，預(yù)訓(xùn)練階段利用大量無(wú)類標(biāo)信息數(shù)據(jù)，無(wú)監(jiān)督地訓(xùn)練每層RBM，將下層RBM的隱層輸出作為上一層RBM

可示層的輸入。微調(diào)階段則采用有監(jiān)督學(xué)習(xí)方式對(duì)頂層的BP網(wǎng)絡(luò)進(jìn)行訓(xùn)練，將實(shí)際輸出與預(yù)期輸出的誤差逐層反向傳播，目的是調(diào)整網(wǎng)絡(luò)的權(quán)值。

3?CNN和DBN的融合模型

CNN模型和DBN模型都可以應(yīng)用于脫機(jī)手寫漢字識(shí)別任務(wù)中，應(yīng)用各自模型的特點(diǎn)提取手寫漢字字符圖像的分類特征。由于CNN和DBN有著不同的網(wǎng)絡(luò)結(jié)構(gòu)，提取特征的角度必然不同，在特征提取方面有著各自的優(yōu)勢(shì)。如同對(duì)于同一個(gè)手寫漢字，如果漢字字形規(guī)范性不高，或者與其形近字相似，不同的人可能會(huì)識(shí)別為不同的字符，其中某一個(gè)人的識(shí)別可能是對(duì)的，說(shuō)明他對(duì)這個(gè)字的識(shí)別能力較高。本文提出的CNN和DBN的融合模型就是基于這種思想，融合CNN和DBN各自在手寫漢字識(shí)別上的優(yōu)勢(shì)，最終產(chǎn)生高于CNN和DBN的識(shí)別能力，將此融合模型稱為CNN-DBN。CNN-DBN整體過(guò)程包括兩個(gè)過(guò)程：訓(xùn)練過(guò)程和應(yīng)用過(guò)程，如圖3所示。

首先，在訓(xùn)練數(shù)據(jù)集上分別單獨(dú)訓(xùn)練CNN和DBN得到訓(xùn)練好的CNN和DBN的識(shí)別模型;然后在樣本集上統(tǒng)計(jì)CNN和DBN對(duì)不同的字符的識(shí)別能力，對(duì)某一字符的識(shí)別能力定義為識(shí)別正確的個(gè)數(shù)與該字符總數(shù)的比值，計(jì)算方法如公式（10）。

式中：pi表示樣本集中第i種字符的識(shí)別能力;ci表示第i種字符識(shí)別正確的次數(shù);ni代表第i種字符在樣本集中的總數(shù)。

研究的分類數(shù)為3755，將CNN對(duì)第i種字符的識(shí)別能力記為PCNNi，3755種字符相應(yīng)的識(shí)別能力表示為向量：

DBN對(duì)第i種字符的識(shí)別能力記為PDBNi，3755種字符相應(yīng)的識(shí)別能力表示為向量：

融合算法的實(shí)現(xiàn)過(guò)程如下：

1）將字符圖片經(jīng)過(guò)CNN計(jì)算得出分類得分：

將CNN模型的識(shí)別分?jǐn)?shù)XCNN與CNN模型的識(shí)別能力向量PCNN的點(diǎn)乘結(jié)果作為CNN模型的最后的識(shí)別得分，表示為：

2）將字符圖片經(jīng)過(guò)DBN計(jì)算得出分類得分：

將DBN模型的識(shí)別分?jǐn)?shù)XDBN與DBN模型的識(shí)別能力向量PDBN的點(diǎn)乘結(jié)果作為DBN模型的最后的識(shí)別得分，表示為：

ODBN=（xDBN1pDBN1，xDBN2pDBN2，…，xDBN3755*pDBN3755）

3）對(duì)OCNN的分量從大到小排序，選取最大的兩個(gè)分量（oCNNk1，oCNNk2）。

4）對(duì)ODBN的分量從大到小排序，選取最大的兩個(gè)分量（oDBNg1，oDBNg2）。

5）融合CNN和DBN的識(shí)別結(jié)果，設(shè)class為分類輸出。本文嘗試了兩種融合方式。

方式A的class的計(jì)算方式如下偽代碼所示：

If?k1=g1?then?class=k1

else?if?k2=g1?then?class=k2

else?if?k1=g2?then?class=k1

else?if?k2=g2?then?class=k2

else?if?OCNNk2OCNNk1>ODBNg2ODBNg1?then?class=g2

else?class=k1

endif

方式B采用線性可信度累積（Linear?Confidence?Accumulation，LCA）算法，引入一組加權(quán)因子α和β融合XDBN和XCNN作為最后的識(shí)別得分，α和β的作用是權(quán)衡CNN和DBN各自在融合模型中起到的作用的大小，識(shí)別得分計(jì)算方式如公式（11）所示。

式中：α+β=1。最終的分類結(jié)果class是對(duì)O中的分量從大到小排序，最大分量的下標(biāo)作為最后的class，即

4?實(shí)?驗(yàn)

4.1?數(shù)據(jù)集

采用的數(shù)據(jù)選取自中科院自動(dòng)化模式識(shí)別國(guó)家重點(diǎn)實(shí)驗(yàn)室所發(fā)布的CASIA-HWDB1.1脫機(jī)手寫數(shù)據(jù)集[20]。CASIA-HWDB1.1數(shù)據(jù)集由很多孤立的手寫中文字符的灰度圖片及其標(biāo)簽組成。CASIA-HWDB1.1包含了GB2312-80字符集的level-1的3755種中文字符，共300個(gè)文件，分別對(duì)應(yīng)300個(gè)人，選取前240個(gè)文件作為訓(xùn)練集，后60個(gè)文件作為測(cè)試集。由于CASIA-HWDB1.1中的原始字符圖片尺寸不一，不能直接實(shí)驗(yàn)，在實(shí)驗(yàn)前將圖片調(diào)整為尺寸為64×64大小的圖片，并進(jìn)行了中心化。處理前后的對(duì)比如圖4所示。

4.2?網(wǎng)絡(luò)設(shè)置

為了驗(yàn)證提出的融合模型的有效性，實(shí)驗(yàn)中使用的CNN模型和DBN模型都是沒(méi)有經(jīng)過(guò)特殊改進(jìn)和沒(méi)有增加技巧的模型。使用的CNN模型類似于VGGNET，網(wǎng)絡(luò)結(jié)構(gòu)為64×64->100C5->MP2->200C5->MP2->300C5->400C3->MP2->500C3->MP2->2000N->3755N。它的輸入層是尺寸為64×64的圖片，接下來(lái)是含有100個(gè)尺寸為5×5的卷積核的卷積層和采樣窗口為2×2的最大采樣層，后續(xù)的隱含層含義與之相似，對(duì)于最后一個(gè)最大采樣層，將輸出特征圖展開(kāi)重組為一個(gè)含有2000個(gè)神經(jīng)元的全連接層，采用softmax激活函數(shù)作為分類函數(shù)，得出3755個(gè)神經(jīng)元，每一個(gè)神經(jīng)元代表一個(gè)字符類別的識(shí)別得分。實(shí)驗(yàn)中使用的DBN含有5個(gè)RBM層，每一個(gè)隱含層的神經(jīng)元的個(gè)數(shù)設(shè)置為600。根據(jù)前文中描述的訓(xùn)練方法和融合方式進(jìn)行實(shí)驗(yàn)。

4.3?實(shí)驗(yàn)結(jié)果及分析

使用的工具為MATLAB?R2018a，采用MATLAB的Neural?Network?Toolbox工具箱構(gòu)建網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行實(shí)驗(yàn)。表1為CNN和DBN網(wǎng)絡(luò)的TOP-1準(zhǔn)確率和CNN和DBN綜合的TOP-2準(zhǔn)確率，CNN和DBN綜合的TOP-2準(zhǔn)確率已達(dá)到99.33%，采用本文提出的融合模型，在綜合的TOP-2的分類結(jié)果中選出準(zhǔn)確的分類結(jié)果。

將采用融合方式A的CNN-DBN模型稱為CNN-DBN-A，采用融合方式B的CNN-DBN模型稱為CNN-DBN稱為CNN-DBN-B。對(duì)于CNN-DBN-B，因?yàn)棣?β=1，所以實(shí)驗(yàn)過(guò)程中只需將α從0變化到1，β也會(huì)隨之從1變化到0。先設(shè)置α增長(zhǎng)的步長(zhǎng)值T=0.1，記錄下識(shí)別準(zhǔn)確率，結(jié)果如圖5所示。從中可以發(fā)現(xiàn)，隨著α從0增大到1的過(guò)程中，CNN-DBN-B的識(shí)別準(zhǔn)確率Accuracy先增大后減小。

圖5中表明隨著α的變化，識(shí)別準(zhǔn)確率會(huì)取得一個(gè)最大值，這個(gè)最大值對(duì)應(yīng)的α和β即為CNN和DBN最佳的融合因子。圖5中的識(shí)別準(zhǔn)確率曲線是在T=0.1時(shí)計(jì)算取得，曲線為明顯的折線，在[0.6，0.8]區(qū)間內(nèi)可能由于步長(zhǎng)值T的精度不高錯(cuò)過(guò)了更高的準(zhǔn)確率，為了進(jìn)一步探索步長(zhǎng)值T的變化對(duì)最大準(zhǔn)確率的影響，T依次取0.1、0.01、0.001、0.0001、0.00001和0.000001，記錄最大準(zhǔn)確率，結(jié)果如圖6所示。

圖6表明隨著步長(zhǎng)值T的精度逐漸提高，最大準(zhǔn)確率Max-Accuary首先遞增，當(dāng)T<0.01后，最大準(zhǔn)確率不再增加，達(dá)到飽和。取T=0.0001再次實(shí)驗(yàn)α從0增加到1的過(guò)程，實(shí)驗(yàn)結(jié)果如圖7所示，可以看出曲線比T=0.1時(shí)更加精確，當(dāng)α=0.7497時(shí)，取得最大識(shí)別準(zhǔn)確率0.97。

CNN，DBN，CNN-DBN-A和CNN-DBN-B（α=0.7497）對(duì)不同字符（Character）的識(shí)別能力（Recognition?Capability）的比較如圖8所示（由于篇幅有限，只截取了10個(gè)字符的識(shí)別能力）。圖8表明CNN和DBN對(duì)不同字符有不同的識(shí)別能力，使用本文的融合方式后，CNN-DBN-A和CNN-DBN-B在整體上都比CNN和DBN對(duì)不同字符的識(shí)別能力要高，其中CNN-DBN-B優(yōu)于CNN-DBN-A。

為了進(jìn)一步體現(xiàn)本文提出的融合模型的識(shí)別性能，在相同的數(shù)據(jù)集下比較了不同方法和模型的識(shí)別準(zhǔn)確率，如表2所示。可以看出，深度學(xué)習(xí)的方法在手寫漢字識(shí)別上有比較好的效果，本文提出的融合模型獲得比較高的準(zhǔn)確率，與相近的方法性能相當(dāng)或更高。

5?結(jié)?論

針對(duì)脫機(jī)手寫漢字識(shí)別難的問(wèn)題提出了CNN-DBN手寫漢字融合識(shí)別模型。通過(guò)尋求一種合適的融合比較策略，結(jié)合CNN和DBN在脫機(jī)手寫漢字識(shí)別上各自的優(yōu)勢(shì)，在CNN和DBN的識(shí)別結(jié)果中選取出一個(gè)可信度較高的識(shí)別結(jié)果。實(shí)驗(yàn)結(jié)果表明在本文的數(shù)據(jù)集上，CNN-DBN融合模型取得了比單獨(dú)的CNN和DBN與傳統(tǒng)機(jī)器學(xué)習(xí)方法更好的識(shí)別效果。接下來(lái)的研究方向是進(jìn)一步改善網(wǎng)絡(luò)結(jié)構(gòu)，探索更好的融合方式。并且脫機(jī)手寫漢字識(shí)別往往應(yīng)用到一些嵌入式設(shè)備中，其資源限制了本方法的應(yīng)用，所以如何壓縮網(wǎng)絡(luò)結(jié)構(gòu)，節(jié)省資源和加速計(jì)算也是研究的重點(diǎn)方向。

參?考?文?獻(xiàn)：

[1]?SHEN?XI，?RONALDO?MESSIN.?A?Method?of?Synthesizing?Handwritten?Chinese?Images?for?Data?Augmentation[C]//International?Conference?on?Frontiers?in?Handwriting?Recognition，?Shenzhen，?China，?2016：?114.

[2]?閆喜亮，?王黎明.?卷積深度神經(jīng)網(wǎng)絡(luò)的手寫漢字識(shí)別系統(tǒng)[J].?計(jì)算機(jī)工程與應(yīng)用，?2017，?53（10）：?246.

YAN?Xiliang，?WANG?Liming.?Handwritten?Chinese?Character?Recognition?System?Based?on?Neural?Network?Convolution?Depth[J].?Computer?Engineering?and?Applications，?2017，?53（10）：246.

[3]?金連文，?鐘卓耀，?楊?釗.?深度學(xué)習(xí)在手寫漢字識(shí)別中的應(yīng)用綜述[J].?自動(dòng)化學(xué)報(bào)，?2016，?42（8）：?1125.

JIN?Lianwen，?ZHONG?Zhuoyao，?YANG?Zhao.?Applications?of?Deep?Learning?for?Handwritten?Chinese?Character?Recognition：?A?Review[J].?ACTA?AUTOMATICA?SINICA，?2016，?42（8）：?1125.

[4]?WU?Peilun，?WANG?Fayu，?LIU?Jianyang.?An?Integrated?Multi-Classifier?Method?for?Handwritten?Chinese?Medicine?Prescription?Recognition[C]//International?Conference?on?Software?Engineering?and?Service?Science，?Beijing，?China，?2018：?1.

[5]?WANG?Zirui，?DU?Jun.?Writer?Code?Based?Adaptation?of?Deep?Neural?Network?for?Offline?Handwritten?Chinese?Text?Recognition[C]//International?Conference?on?Frontiers?in?Handwriting?Recognition，?Shenzhen，?China，?2016：?548.

[6]?鐘治權(quán)，?袁進(jìn)，?唐曉穎.?基于卷積神經(jīng)網(wǎng)絡(luò)的左右眼識(shí)別[J].?計(jì)算機(jī)研究與發(fā)展，?2018，?55（8）：1667.

ZHONG?Zhiquan，?YUAN?Jin，?TANG?Xiaoying.?Left-vs-Right?Eye?Discrimination?Based?on?Convolutional?Neural?Network[J].?Journal?of?Computer?Research?and?Development，?2018，?55（8）：?1667.

[7]?呂啟，?竇勇，?牛新，?等.?基于DBN模型的遙感圖像分類[J].?計(jì)算機(jī)研究與發(fā)展，?2014，?51（9）：?1911.

LV?Qi，?DOU?Yong，?NIU?Xin，?et?al.?Remote?Sensing?Image?Classification?Based?on?DBN?Model[J].?Journal?of?Computer?Research?and?Development，?2014，?51（9）：?1911.

[8]?楊怡，?王江晴，?朱宗曉.?基于仿射傳播聚類的自適應(yīng)手寫字符識(shí)別[J].?計(jì)算機(jī)應(yīng)用，?2015，?35（3）：?807.

YANG?Yi，?WANG?Jiangqing，?ZHU?Zongxiao.?Adaptive?Handwritten?Character?Recognition?Based?on?Affinity?Propagation?Clustering[J].?Journal?of?Computer?Applications，?2015，?35（3）：?807.

[9]?周慶曙，?陳勁杰，?紀(jì)鵬飛.?基于SVM的多特征手寫體漢字識(shí)別技術(shù)[J].?電子科技，?2016，?29（8）：?136.

ZHOU?Qingshu，?CHEN?Jinjie，?JI?Pengfei.?The?Technology?of?Multiple?Features?Handwritten?Chinese?Character?Recognition?Based?on?SVM[J].?Electronic?Sci.?&?Tech，?2016，?29（8）：?136.

[10]葉楓，?鄧衍晨，?汪敏，等.?部分級(jí)聯(lián)特征的離線手寫體漢字識(shí)別方法[J].?2017，?26（8）：?134.

YE?Feng，?DENG?Yanchen，?WANG?Min，?et?al.?Offline?Hand-Written?Chinese?Character?Recognition?Based?on?Partial?Cascade?Feature[J].?Computer?Systems?&?Applications，?2017，?26（8）：?134.

[11]WANG?Yanwei，?LI?Xin，?LIU?Changsong.?An?MQDF-CNN?Hybrid?Model?for?Offline?Handwritten?Chinese?Character?Recognition[C]//?The?14th?International?Conference?on?Frontiers?in?Handwriting?Recognition，?Heraklion，?Greece，?September，?2014：246.

[12]LIU?Lu，?SUN?Weiwei，?DING?Bo.?Offline?Handwritten?Chinese?Character?Recognition?Based?on?DBN?Fusion?Model[C]//?Proceedings?of?the?IEEE?International?Conference?on?Information?and?Automation，?Ningbo，?China，?August，?2016：1807.

[13]張帆，?張良，?劉星，?等.?基于深度殘差網(wǎng)絡(luò)的脫機(jī)手寫漢字識(shí)別研究[J].?計(jì)算機(jī)測(cè)量與控制，?2017，?25（12）：?259.

ZHANG?Fan，?ZHANG?Liang，?LIU?Xing，?et?al.?Recognition?of?Offline?Handwritten?Chinese?Character?Based?on?Deep?Residual?Network[J].?Computer?Measurement?&?Control，?2017，?25（12）：?259.

[14]YANG?Xiao，?HE?Dafang，?ZHOU?Zihan.?Improving?Offline?Handwritten?Chinese?Character?Recognition?by?Iterative?Refinement[C]//The?14th?IAPR?International?Conference?on?Document?Analysis?and?Recognition，?Kyoto，?Japan，?November，?2017：?5.

[15]WANG?Zirui，?DU?Jun，?HU?Jinshui，?et?al.?Deep?Convolutional?Neural?Network?Based?Hidden?Markov?Model?for?Offline?Handwritten?Chinese?Text?Recognition[C]//Asian?Conference?on?Pattern?Recognition，?Nanjing，?China，?November，?2017：?26.

[16]YANG?Shimeng，?NIAN?Fudong，?LI?Teng.?A?light?and?Discriminative?Deep?Networks?for?Offline?Handwritten?Chinese?Character?Recognition[C]//?The?32nd?Youth?Academic?Annual?Conference?of?Chinese?Association?of?Automation，?Hefei，?China，?May，?2017：785.

[17]ZHUANG?Hang，?LI?Changlong，?ZHOU?Xuehai.?CCRS：?Web?Service?for?Chinese?Character?Recognition[C]//IEEE?International?Conference?on?Web?Services，?San?Francisco，?CA，?USA，?July，?2018：17.

[18]YANN?LECUN，?LEON?BOTTOU，?YOSHUA?BENGIO.?Gradient-Based?Learning?Applied?to?Document?Recognition[J].?IEEE?Journals?and?Magazines，?1998，?86（11）：1.

[19]LIU?Chenglin，?YIN?Fei，?WANG?Dahan.?CASIA?Online?and?Offline?Chinese?Handeriting?Databases[C]//International?Conference?on?Document?Analysis?and?Recognition，?Beijing，?China，?November，?2011：?37.

[20]YIN?Fei，?WANG?Qiufeng，?ZHANG?Xuyao.?ICDAR?2013?Chinese?Handwriting?Recognition?Competition[C]//The?12th?International?Conference?on?Document?Analysis?and?Recognition，?Washington，?DC，?USA，?August，?2013：1464.

（編輯：溫澤宇）