譚言丹，趙陽(yáng)洋，趙光財(cái)

(1.中國(guó)科學(xué)院海西研究院 泉州裝備制造研究所，福建 泉州 362200； 2.中北大學(xué) 電氣與控制工程學(xué)院，山西 太原 038507；3.廈門(mén)理工學(xué)院 光電與 通信工程學(xué)院，福建 廈門(mén) 361024；4.中國(guó)科學(xué)院大學(xué) 計(jì)算機(jī)與控制學(xué)院，北京 100049)

0 引 言

研究表明，帕金森病(Parkinson’s disease，PD)患者會(huì)在早期呈現(xiàn)一定程度的書(shū)寫(xiě)障礙[1]。Pereira等提供了包含74例PD患者以及18例健康對(duì)照組的Spiral和Meander兩種手繪數(shù)據(jù)集[2]，且該研究?jī)H呈現(xiàn)了約67%的精度。然而，由于涉及豐富的樣本類別，因此該數(shù)據(jù)集是目前最流行的基于手繪圖診斷PD的數(shù)據(jù)集。Senatore等基于該數(shù)據(jù)集提出利用笛卡爾遺傳規(guī)劃來(lái)診斷PD，精度提升到76%[3]。Ali等報(bào)道由于該數(shù)據(jù)集不平衡，因此之前的研究無(wú)法獲得優(yōu)越的性能[4]。因而，Ali等基于該數(shù)據(jù)集開(kāi)發(fā)了隨機(jī)欠采樣的方案來(lái)平衡AdaBoost訓(xùn)練過(guò)程，然而精度并未得到明顯改善(Acc=76.44%)。總得來(lái)說(shuō)，這些機(jī)器學(xué)習(xí)算法未能實(shí)現(xiàn)良好的分類性能。劉峰等采用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)來(lái)實(shí)現(xiàn)基于手繪圖的自動(dòng)PD診斷[5]，精度提升到82.68%?？梢园l(fā)現(xiàn)，深度學(xué)習(xí)在手繪圖診斷PD的研究中取得了突破性的精度。然而遺憾的是，該研究[5]對(duì)圖像進(jìn)行了二值化處理，以至于圖像的顏色深淺信息被丟失，這會(huì)導(dǎo)致模型無(wú)法學(xué)習(xí)手繪圖的筆觸壓力和筆劃時(shí)間等信息。因此為了應(yīng)對(duì)挑戰(zhàn)，本研究采用基于色彩信息保留的圖像預(yù)處理和深度學(xué)習(xí)的方式來(lái)實(shí)現(xiàn)基于手繪圖的PD診斷。

1 基于深度學(xué)習(xí)的診斷方法

1.1 PD手繪圖數(shù)據(jù)集

在本研究中，我們采用博圖卡圖醫(yī)學(xué)院采集的手繪圖數(shù)據(jù)集[2]，每個(gè)患者或健康人提供4張手繪Spiral和4張手繪Meander。該數(shù)據(jù)集總共包含74例PD患者(59名男性，15名女性)的手繪圖樣本和18例健康對(duì)照組(12名女性，6名男性)的樣本。其中，患者組包含69例右撇子和5例左撇子，平均年齡(58.75±7.51)，健康組包括16例右撇子和2例左撇子，平均年齡(44.22±16.53)歲。因此可以發(fā)現(xiàn)所獲得的數(shù)據(jù)集是具有足夠豐富的樣本且沒(méi)有年齡偏差。

1.2 圖像預(yù)處理技術(shù)

為了盡可能保留圖像的手繪特征信息，我們基于僅去除背景的方式以保留色彩信息用于后續(xù)的模型診斷。首先采用閾值分割的方法去除背景噪聲和模板線條，方法如下

(1)

圖1 圖像預(yù)處理過(guò)程

然后，可以發(fā)現(xiàn)剩余較多白色雜邊以及部分白點(diǎn)背景，這類似于椒鹽噪聲。中值濾波是一種非線性平滑技術(shù)，對(duì)和圖像具有較大閾值差異的椒鹽噪聲具有較好的處理效果?？紤]到噪聲所占圖片比例的變化，我們對(duì)圖像進(jìn)行兩次中值濾波。第一、第二次分別設(shè)置3*3和7*7的濾波器。

1.3 構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)

相比于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，CNN能實(shí)現(xiàn)以局部感受視野的方式對(duì)圖像自動(dòng)卷積感興趣特征域。然后，該模型可基于權(quán)值共享實(shí)現(xiàn)快速對(duì)相似特征的學(xué)習(xí)，最后CNN對(duì)圖像進(jìn)行池化操作以保留輪廓或者背景信息。在基于Meander和Spiral圖的PD診斷研究中，我們?yōu)镃NN設(shè)置了7層網(wǎng)絡(luò)，如圖2所示。

圖2 基于PD手繪圖的CNN模型結(jié)構(gòu)

首先，我們?cè)O(shè)計(jì)一層具有80個(gè)10*10的二維卷積核的卷積層Conv1來(lái)初步學(xué)習(xí)手繪圖的局部特征。由于所采用的手繪圖是彩色圖，因此所設(shè)置的通道為3。值得注意的是，進(jìn)行分類的圖片包含大量的背景，因此我們將圖像傳遞到至下采樣層Maxpooling1進(jìn)行最大池化操作以保留圖像的輪廓特征。在該模型中，我們?yōu)榫矸e和池化的步長(zhǎng)分別設(shè)置為1和3。考慮到圖像經(jīng)過(guò)第一層的卷積和池化操作后圖像變小，因此我們?cè)O(shè)置了具有40個(gè)5*5的卷積層Conv2來(lái)進(jìn)一步進(jìn)行特征抽象。同樣地，最大池化MaxPooling2被采用來(lái)保留圖像的輪廓信息。

進(jìn)一步地，為了習(xí)得圖像和標(biāo)簽之間的更多非線性關(guān)系，我們?cè)O(shè)置了兩層全連接層F1和F2來(lái)捕捉這種關(guān)系。其間，F(xiàn)latten層被設(shè)置來(lái)銜接卷積操作和全連接操作。值得注意的，tanh激活函數(shù)被報(bào)道有利于CNN收斂和實(shí)現(xiàn)更高精度[5]，因此tanh被用于每層CNN網(wǎng)絡(luò)的激活。

1.4 構(gòu)建膠囊神經(jīng)網(wǎng)絡(luò)

事實(shí)上，盡管具有快速感知興趣特征域的能力，然而CNN的池化操作容易導(dǎo)致大量的信息丟失[7]，且由于標(biāo)量化的特征學(xué)習(xí)方式以至于CNN無(wú)法對(duì)圖像的方位整體結(jié)構(gòu)特征進(jìn)行學(xué)習(xí)。因此為了解決該問(wèn)題，Sabour等提出具有矢量特征處理能力的CapsNet來(lái)動(dòng)態(tài)路由特征與標(biāo)簽之間的關(guān)系[7]，在他們的研究中，CapsNet被報(bào)道具有優(yōu)越的性能來(lái)識(shí)別Mnist手寫(xiě)數(shù)據(jù)。因此，為了捕捉本研究中Spiral和Meander圖涵蓋區(qū)分PD和健康人的結(jié)構(gòu)差異特征，我們?cè)O(shè)計(jì)了基于兩種手繪圖的CapsNet診斷方案。

在我們的研究中，我們?yōu)镃apsNet設(shè)置了4層網(wǎng)絡(luò)。首先，我們?cè)O(shè)置了一層具有30個(gè)10*10的傳統(tǒng)卷積層L1實(shí)現(xiàn)對(duì)圖像特征的初步提取，tanh依舊作為激活函數(shù)。然后，我們?cè)O(shè)計(jì)了一層初級(jí)膠囊層L2實(shí)現(xiàn)對(duì)特征的進(jìn)一步提取，該層分為兩部分。第一部分為傳統(tǒng)的二維卷積層，我們使用具有24*5的卷積核對(duì)圖像的特征進(jìn)行進(jìn)一步抽象。然而這樣獲得的特征依舊為標(biāo)量特征，為了保留圖像的矢量信息，我們?cè)O(shè)置了第二個(gè)膠囊模塊，其目標(biāo)是將二維卷積層的輸出轉(zhuǎn)化為一個(gè)作為后續(xù)膠囊層的輸入序列，具體而言是將卷積操作的輸出轉(zhuǎn)化為二維特征。然后，對(duì)于第i個(gè)膠囊，squashing函數(shù)被用來(lái)激活矢量輸出

(2)

其中，φi表示第i個(gè)膠囊的輸出，且公式的前一部分表示向量ψi的縮放比例。值得注意的是，該激活函數(shù)使用向量的方式對(duì)特征進(jìn)行存儲(chǔ)，這樣即保留了矢量特征也將模長(zhǎng)縮為[0,1)。模長(zhǎng)表示膠囊表示的實(shí)體存在于當(dāng)前輸入的概率，0表示不會(huì)出來(lái)該類，1則反之。與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)網(wǎng)相比，初級(jí)膠囊層以矢量的方式標(biāo)記了特征興趣域，執(zhí)行過(guò)程過(guò)圖3所示。

圖3 初級(jí)膠囊網(wǎng)絡(luò)層執(zhí)行的特征轉(zhuǎn)化過(guò)程

如CNN一樣，為了捕獲特征與標(biāo)簽之間更多的非線性關(guān)系，我們?cè)O(shè)置了全連接膠囊層L3來(lái)銜接初級(jí)膠囊層和最后的分類層。不同于普通的全連接網(wǎng)絡(luò)，我們使用squashing激活函數(shù)對(duì)學(xué)習(xí)后的信息進(jìn)行矢量激活以進(jìn)一步保留特征的矢量信息。最后，為了實(shí)現(xiàn)最終的PD診斷，我們?cè)O(shè)計(jì)了具有2個(gè)膠囊的數(shù)字膠囊層。在該層中，屬于不同類別的概率將由不同膠囊進(jìn)行編碼，且其連接方式如圖傳統(tǒng)全連接層。不同的是一種動(dòng)態(tài)路由協(xié)議被實(shí)施以路由L3與L4之間的信息，該路由過(guò)程將增強(qiáng)高度一致或者刪除最弱的連接來(lái)捕獲膠囊元之間的關(guān)系，圖4展示了L3和L4之間的路由過(guò)程，其中i,j分別表示L3和L4的下標(biāo)。

圖4 CapsNet的動(dòng)態(tài)路由過(guò)程

由圖4可發(fā)現(xiàn)，一個(gè)耦合系數(shù)c被添加來(lái)實(shí)現(xiàn)增強(qiáng)或者刪除層與層之間的連接?；隈詈舷禂?shù)，對(duì)于L4中第j個(gè)膠囊元的第k個(gè)輸入獲得方式如下

(3)

(4)

(5)

(6)

當(dāng)s類的樣本不存在時(shí)，Ts=0，否則Ts=1。此外，設(shè)置邊界β+= 0.9和β-= 0.1來(lái)確保φj∈[0,>1]。α= 0.5被設(shè)置為正則化參數(shù)，以減少不存在對(duì)應(yīng)類別的活動(dòng)向量的影響。

1.5 基于Adam的神經(jīng)網(wǎng)絡(luò)訓(xùn)練

傳統(tǒng)的梯度下降優(yōu)化方法容易局限于鞍點(diǎn)使得模型無(wú)法實(shí)現(xiàn)最優(yōu)性能。為了應(yīng)對(duì)該問(wèn)題，Adam優(yōu)化器結(jié)合一階、二階動(dòng)量加速梯度下降以進(jìn)行值校正[8]，并結(jié)合RMSprop來(lái)自適應(yīng)調(diào)整學(xué)習(xí)率使得模型獲得魯棒的分類性能，更新方式如下

(7)

2 實(shí)驗(yàn)結(jié)果及分析

在本章節(jié)中，我們展示和分析了研究結(jié)果以及評(píng)估模型性能的指標(biāo)。為了呈現(xiàn)更加客觀公正的結(jié)果，我們使用10次5折交叉驗(yàn)證[9]的平均結(jié)果來(lái)呈現(xiàn)最終結(jié)果。

2.1 實(shí)驗(yàn)結(jié)果呈現(xiàn)指標(biāo)

在本研究中，所設(shè)計(jì)的問(wèn)題是二分類問(wèn)題，即診斷是否患有PD。基于該問(wèn)題，首先精度(Acc)是一個(gè)重要的衡量指標(biāo)，它通常由正確分類的樣本數(shù)量與進(jìn)行診斷的所有樣本數(shù)量的百分比表示。此外，對(duì)于疾病的診斷而言，漏檢往往比誤判導(dǎo)致更大的代價(jià)，因而查全率(recall score，RS)也是該類分類模型的性能重要評(píng)估指標(biāo)，它被定義為患有PD的樣本被預(yù)測(cè)成PD的概率。此外，AUC(area under curve)作為一項(xiàng)模型性能評(píng)估指標(biāo)通常用來(lái)衡量模型的泛化能力，它由ROC曲線下的面積計(jì)算獲得[10]，其含義見(jiàn)表1。

表1 基于AUC的分類器性能評(píng)估[10]

事實(shí)上，深度學(xué)習(xí)的穩(wěn)定性一直是值得擔(dān)憂的問(wèn)題，因?yàn)椴煌某跏蓟蛘咛荻认陆档姆较蚨紩?huì)導(dǎo)致不一樣的評(píng)估結(jié)果。因此我們引入標(biāo)準(zhǔn)差(STD)來(lái)呈現(xiàn)所開(kāi)發(fā)的深度學(xué)習(xí)方案的Acc穩(wěn)定性性能，計(jì)算如下

(8)

其中，m、k分別代表進(jìn)行的實(shí)驗(yàn)次數(shù)和交叉驗(yàn)證實(shí)驗(yàn)的折數(shù)。此外，較低計(jì)算復(fù)雜度也是研究學(xué)者追求的性能之一，本文使用Time指標(biāo)來(lái)表示獲得最優(yōu)模型的程序處理時(shí)間。

2.2 基于Spiral手繪圖的診斷結(jié)果

基于Spiral數(shù)據(jù)集，我們提供CNN和CapsNet的診斷方案，圖5顯示了兩者模型訓(xùn)練過(guò)程的Acc和Loss變化情況。首先就整體來(lái)看，CapsNet的Acc和Loss都分別呈現(xiàn)了平穩(wěn)上升和平穩(wěn)下降的趨勢(shì)。就收斂快慢來(lái)看，CNN優(yōu)于CapsNet，然而CNN在迭代5-15次之間Acc和Loss和都存在震蕩，這表明該網(wǎng)絡(luò)具備一定的不穩(wěn)定性以至于模型存在過(guò)擬合風(fēng)險(xiǎn)。

圖5 基于Spiral手繪圖的訓(xùn)練Acc和Loss變化

進(jìn)一步地，我們對(duì)模型的Acc、AUC、RS以及STD進(jìn)行了對(duì)比，如圖6所示。由圖可知CapsNet就Acc、AUC和RS的性能而言均優(yōu)于CNN，而STD未呈現(xiàn)明顯的優(yōu)勢(shì)。表2呈現(xiàn)了進(jìn)一步的數(shù)值化結(jié)果對(duì)比，可以發(fā)現(xiàn)除Time之外的指標(biāo)，CapsNet都實(shí)現(xiàn)了更加優(yōu)越的性能。值得注意的是相比CNN，CapsNet的AUC明顯優(yōu)于CNN，這體現(xiàn)了CapsNet能實(shí)現(xiàn)更加魯棒的診斷性能。然而由于CapsNet相比CNN涉及到動(dòng)態(tài)路由和矢量的特征處理方式，因此CapsNet需要花費(fèi)更多的Time來(lái)獲得最優(yōu)模型。但總的來(lái)說(shuō)，CapsNet實(shí)現(xiàn)了基于Spiral手繪圖診斷PD的綜合最優(yōu)性能。

圖6 基于Spiral的訓(xùn)練和測(cè)試的交叉驗(yàn)證性能對(duì)比

表2 基于Spiral的CNN和CapsNet數(shù)值結(jié)果對(duì)比

2.3 基于Meander手繪圖的診斷結(jié)果

基于Meander圖，我們依舊提供了兩種模型的性能對(duì)比。圖7展示了CNN和CapsNet的訓(xùn)練測(cè)試結(jié)果對(duì)比，可以發(fā)現(xiàn)CapsNet的Acc和Loss依舊呈現(xiàn)穩(wěn)定的上升或者下降趨勢(shì)，且訓(xùn)練過(guò)程的曲線幾乎靠近測(cè)試曲線。而對(duì)于CNN而言，測(cè)試的Acc明顯低于其訓(xùn)練的結(jié)果，且測(cè)試的Loss卻呈現(xiàn)上升的趨勢(shì)，這驗(yàn)證了CNN的訓(xùn)練階段具有一定的過(guò)擬合風(fēng)險(xiǎn)。

圖7 基于Meander手繪圖的訓(xùn)練Acc和Loss變化

圖8進(jìn)一步展示了10次5折交叉驗(yàn)證的結(jié)果，可以發(fā)現(xiàn)就所有性能指標(biāo)而言，CNN和CapsNet并未呈現(xiàn)明顯的差異。進(jìn)一步地，表3展示了兩者模型的數(shù)值結(jié)果對(duì)比，可以發(fā)現(xiàn)，CNN就Acc、AUC、RS均只呈現(xiàn)了微弱的優(yōu)勢(shì)，且STD指標(biāo)無(wú)差異。然而Time指標(biāo)如同Spiral的實(shí)驗(yàn)結(jié)果一樣，CapsNet花費(fèi)了多于CNN約5倍的時(shí)間獲得最優(yōu)模型。因此，綜合實(shí)驗(yàn)結(jié)果來(lái)看，CNN在基于Meander手繪圖中實(shí)現(xiàn)了相對(duì)優(yōu)越且花費(fèi)更少時(shí)間代價(jià)的性能。

圖8 基于Meander的交叉驗(yàn)證性能對(duì)比

表3 基于Meander的CNN和CapsNet數(shù)值結(jié)果對(duì)比

2.4 實(shí)驗(yàn)結(jié)果分析

基于2.2和2.3所呈現(xiàn)的實(shí)驗(yàn)結(jié)果來(lái)看，CapsNet實(shí)現(xiàn)了在耗費(fèi)更多時(shí)間代價(jià)的情況下基于Spiral手繪圖的最優(yōu)整體分類性能，且這種性能優(yōu)越性明顯高于CNN，因此所犧牲的時(shí)間代價(jià)是值得的。而CNN僅呈現(xiàn)了相比CapsNet微弱的優(yōu)勢(shì)來(lái)基于Meander手繪圖診斷PD，且時(shí)間代價(jià)低于CapsNet。此外值得注意的是，基于Meander實(shí)現(xiàn)的模型性能均低于基于Spiral對(duì)應(yīng)的結(jié)果，且基于Spiral的CapsNet實(shí)現(xiàn)了基于手繪圖的最優(yōu)性能(Acc=95.7%)，這明顯優(yōu)于其它診斷方案。因此研究呈現(xiàn)兩個(gè)結(jié)論：①相比Meander，Spiral手繪圖能呈現(xiàn)更多差異來(lái)區(qū)分PD患者與健康對(duì)照組；②相比Meander，Spiral手繪圖能具備更多的相對(duì)位置差異。在Spiral手繪圖中，不同位置出錯(cuò)的情況具有更多差異性，而在Meander中，出錯(cuò)情況因位置的改變而呈現(xiàn)明顯差異的概率相對(duì)較小。如圖1所示，患者繪制的Spiral手繪圖在不同位置呈現(xiàn)更多差異，比如隨著曲線的移動(dòng)逐漸大于或者小于弧形軌跡，而在Meander中不同位置的手繪錯(cuò)誤呈現(xiàn)類似差異，大部分為溢出鋸齒偏差。

總的來(lái)說(shuō)，CapsNet和CNN分別是基于Spiral和Meander圖診斷PD的推薦方案。然而綜合而言，基于CapsNet的Spiral是基于手繪圖診斷PD的最優(yōu)方案。

3 結(jié)束語(yǔ)

PD的準(zhǔn)確便捷診斷一直是關(guān)注的難題。在本研究中，我們提出了基于手繪圖早期診斷PD的方案，其中患者只需提供自己手繪Spiral或者M(jìn)eander的圖既可以診斷是否患有PD，這對(duì)于遠(yuǎn)程、長(zhǎng)期、便捷且低代價(jià)監(jiān)測(cè)PD具有重大意義。本研究的主要貢獻(xiàn)如下：

(1)研究表明Spiral具備相比Meander更多的差異來(lái)區(qū)分PD患者和健康人，且CapsNet是基于Spiral的最佳診斷方案。

(2)研究表明保留色彩信息的圖像能實(shí)現(xiàn)基于手繪圖診斷PD的更優(yōu)性能，這能使得模型能學(xué)習(xí)筆劃壓力、空間、速度等特征，所實(shí)現(xiàn)的結(jié)果(Acc=95.7%)優(yōu)于先前最優(yōu)報(bào)道(Acc=82.7%)[5]。

總的來(lái)說(shuō)，本研究實(shí)現(xiàn)了基于深度學(xué)習(xí)的PD診斷方案，并取得了一定的研究成果。為了輔助醫(yī)生診斷PD，可進(jìn)一步將所提出的方案開(kāi)發(fā)成實(shí)時(shí)在線學(xué)習(xí)系統(tǒng)以學(xué)習(xí)最新采集的數(shù)據(jù)從而提升模型對(duì)新數(shù)據(jù)的泛化能力。此外，除書(shū)寫(xiě)障礙以外，PD患者還會(huì)在早期呈現(xiàn)一定的語(yǔ)音障礙，因此我們可以進(jìn)一步結(jié)合多種信號(hào)提升PD診斷的精度。