基于改進(jìn)VGG網(wǎng)絡(luò)的弱監(jiān)督細(xì)粒度阿爾茲海默癥分類方法

鄧 爽，何小海，卿粼波，陳洪剛，滕奇志

（四川大學(xué)電子信息學(xué)院，成都 610065）

0 引言

據(jù)統(tǒng)計(jì)，在腦部疾病中，阿爾茲海默癥（Alzheimer’s Disease，AD）患病率極高［1］，到了晚期再發(fā)現(xiàn)沒有任何方法可以治愈，只能依靠藥物來延緩病情的惡化。根據(jù)預(yù)測(cè)，到2050 年，每85 人中就會(huì)有1 人受到AD 的影響［2］。臨床上一般依靠專業(yè)的醫(yī)生綜合分析判斷是否是AD 患者，這要求醫(yī)生具有豐富的臨床經(jīng)驗(yàn)；培養(yǎng)一個(gè)專業(yè)的醫(yī)生耗時(shí)很長(zhǎng)而且診斷時(shí)也存在誤診的可能。基于此，目前依賴專業(yè)醫(yī)生問診的方法存在很多局限性，同時(shí)耗費(fèi)的人力、物力、財(cái)力巨大；醫(yī)院社會(huì)迫切地需要高效智能化的設(shè)備輔助醫(yī)生診斷治療。

如今，主流的智能化研究方法包括機(jī)器學(xué)習(xí)和深度學(xué)習(xí)。運(yùn)用機(jī)器學(xué)習(xí)方法對(duì)AD 圖像進(jìn)行分析，這對(duì)網(wǎng)絡(luò)特征提取模塊的準(zhǔn)確性要求較高，更有利于已知特征的數(shù)據(jù)分類。由于AD 腦部圖像的特征并沒有統(tǒng)一明確的標(biāo)準(zhǔn)，相比之下，擁有自動(dòng)學(xué)習(xí)提取特征優(yōu)勢(shì)的深度學(xué)習(xí)方法在這一領(lǐng)域應(yīng)用越來越廣泛，比如卷積神經(jīng)網(wǎng)絡(luò)［3］和稀疏自編碼器等。近年來，面對(duì)層出不窮的優(yōu)秀分類網(wǎng)絡(luò)，僅采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分類的方法單一、不具競(jìng)爭(zhēng)力。考慮到AD 患者腦部結(jié)構(gòu)與正常人腦部結(jié)構(gòu)的細(xì)微差別，需要一種高效的多模塊結(jié)合的細(xì)粒度分類方法來識(shí)別AD 和正常（Normal Control，NC）人。

現(xiàn)在大批優(yōu)秀的細(xì)粒度分類網(wǎng)絡(luò)被大家所熟知，比如NTS-net（Navigator-Teacher-Scrutinizer network）細(xì)粒度分類網(wǎng)絡(luò)，它是由Yang 等［4］提出的不需要邊界框的自監(jiān)督學(xué)習(xí)方法，能準(zhǔn)確地識(shí)別圖像的信息范圍，提供精確的信息域，但會(huì)造成網(wǎng)絡(luò)計(jì)算量過大，速率較慢，訓(xùn)練時(shí)間變長(zhǎng)。比如Lam等［5］通過細(xì)粒度網(wǎng)絡(luò)取得圖像的邊界框和候選框，接著利用長(zhǎng)短時(shí)記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)將邊界框和候選框進(jìn)行融合，這種需要利用其他的標(biāo)注信息來獲得標(biāo)簽的網(wǎng)絡(luò)通過增加成本來提高識(shí)別率，也會(huì)造成網(wǎng)絡(luò)運(yùn)算量增大。所以，僅使用類別標(biāo)簽，不依靠外加其他標(biāo)注信息的弱監(jiān)督細(xì)粒度分類算法［6］逐步受到這一領(lǐng)域的重視。

目前，具有代表性的弱監(jiān)督細(xì)粒度分類網(wǎng)絡(luò)有以下幾種類型：

類型一是端到端的訓(xùn)練，輸入對(duì)象經(jīng)過特征提取函數(shù)映射后，獲得高階特征向量再進(jìn)行編碼，以平移不變的方法對(duì)局部區(qū)域特征交互進(jìn)行建模。首先提取尺度不變特征變換（Scale-Invariant Feature Transform，SIFT）等圖像特征，再運(yùn)用Fisher Vector、VLAD（Vector of Locally Aggregated Descriptors）、O2P（Online to Partner）等模型進(jìn)行編碼。該方法操作簡(jiǎn)單，但是對(duì)特征的提取不太精確。

類型二通過使用目標(biāo)定位子網(wǎng)絡(luò)協(xié)助主干網(wǎng)絡(luò)，結(jié)合注意力機(jī)制獲取局部細(xì)節(jié)信息，從而加強(qiáng)整個(gè)網(wǎng)絡(luò)深入學(xué)習(xí)特征的能力。該方法不依靠局部標(biāo)注信息，而采用注意力機(jī)制［7］、譜聚類［8］、空間轉(zhuǎn)換［9］等分析出具有判別性的特征信息，再將特征信息送入相關(guān)網(wǎng)絡(luò)結(jié)構(gòu)，這將更有利于特征信息的提取。所以，類型二較優(yōu)于類型一。

類型二中，F(xiàn)u 等［10］提出了循環(huán)自注意力卷積神經(jīng)網(wǎng)絡(luò)，采用相互加強(qiáng)的方法判別區(qū)域注意力和區(qū)域特征表示進(jìn)行遞歸學(xué)習(xí)。但是，注意力區(qū)域只將重點(diǎn)關(guān)注部分剪裁放大，未考慮剩余區(qū)域的信息，這也將影響后續(xù)的特征關(guān)注。因此，Hu 等［11］提出的弱監(jiān)督數(shù)據(jù)增強(qiáng)網(wǎng)絡(luò)（Weakly Supervised Data Augmentation Network，WSDAN）備受重視，該網(wǎng)絡(luò)在僅僅使用圖像標(biāo)簽信息的條件下，通過弱監(jiān)督注意力學(xué)習(xí)，運(yùn)用注意力機(jī)制（包括注意力剪裁和注意力丟棄）引導(dǎo)數(shù)據(jù)增強(qiáng)，重點(diǎn)關(guān)注的特征區(qū)域?qū)?huì)更精細(xì)完善，并且加入中心損失函數(shù)和雙線性注意力池化操作訓(xùn)練網(wǎng)絡(luò)模型。

研究表明，更清晰的特征選取和更精細(xì)的注意力引導(dǎo)機(jī)制應(yīng)用在細(xì)粒度分類上十分有必要，所以本文在利用增強(qiáng)圖像數(shù)據(jù)的前提下，提出了基于改進(jìn)VGG 的弱監(jiān)督細(xì)粒度阿爾茲海默癥分類方法，以此提高阿爾茲海默癥的識(shí)別率。多次對(duì)比實(shí)驗(yàn)結(jié)果表明，所提方法具有較好的分類識(shí)別率。

1 WSDAN架構(gòu)

WSDAN 模型［11］僅僅使用圖片標(biāo)簽信息進(jìn)行弱監(jiān)督學(xué)習(xí)，不增加額外的輔助信息。該網(wǎng)絡(luò)與傳統(tǒng)分類網(wǎng)絡(luò)的不同在于使用注意力圖引導(dǎo)數(shù)據(jù)增強(qiáng)，同時(shí)引入中心損失函數(shù)避免生成的注意力圖之間差別太大，并結(jié)合雙線性注意力算法強(qiáng)化局部重要特征的學(xué)習(xí)，整個(gè)網(wǎng)絡(luò)分為訓(xùn)練過程和測(cè)試過程兩個(gè)部分。

在訓(xùn)練過程中，原始圖像經(jīng)過特征提取網(wǎng)絡(luò)獲得特征圖，每一張?zhí)卣鲌D提取32 張注意力圖；接著，運(yùn)用注意力機(jī)制引導(dǎo)數(shù)據(jù)增強(qiáng)幫助獲取更精準(zhǔn)的細(xì)節(jié)特征，引導(dǎo)方式包括注意力裁剪和注意力丟棄；然后，將原始圖像和經(jīng)注意力引導(dǎo)增強(qiáng)后的圖像共同作為網(wǎng)絡(luò)輸入?yún)⑴c訓(xùn)練；最后，特征圖和注意力圖通過雙線性注意力池化算法運(yùn)算得到特征矩陣，特征矩陣將作為線性分類層的輸入，對(duì)應(yīng)圖1 中的（a）。

在測(cè)試過程中，總的分類概率由粗分類概率和細(xì)分類概率兩部分組成；粗分類概率是原始圖片經(jīng)過訓(xùn)練好的模型得到特征圖和注意力圖，接著將特征圖和注意力圖采用雙線性注意力池化（Bilinear Attention Pooling，BAP）算法點(diǎn)乘得出特征矩陣，特征矩陣直接進(jìn)行池化、分類，對(duì)應(yīng)圖1（b）中的路線①；細(xì)分類概率是網(wǎng)絡(luò)得到注意力圖后，要對(duì)注意力圖進(jìn)行相加運(yùn)算，求出注意力總和，再使用注意力總和引導(dǎo)數(shù)據(jù)增強(qiáng)實(shí)現(xiàn)注意力剪裁步驟，隨后將剪裁后的結(jié)果和原始圖片一起作為輸入對(duì)象送入測(cè)試網(wǎng)絡(luò)，最后特征圖和注意力圖點(diǎn)乘、池化、分類，得到細(xì)分類概率，對(duì)應(yīng)圖1（b）中的路線②。

圖1 WSDAN架構(gòu)Fig.1 WSDAN architecture

1.1 注意力機(jī)制引導(dǎo)數(shù)據(jù)增強(qiáng)

原始圖片載入弱監(jiān)督注意力學(xué)習(xí)網(wǎng)絡(luò)，從每張?zhí)卣鲌D中獲取32 張注意力圖，隨機(jī)選取其中的一張注意力圖Ak，對(duì)Ak按式（1）進(jìn)行歸一化處理［12］，以避免奇異樣本對(duì)整個(gè)數(shù)據(jù)的影響，隨后采用注意力裁剪和注意力丟棄的方式使網(wǎng)絡(luò)注意到圖像局部區(qū)域，從而達(dá)到獲取更多的細(xì)微特征的目的。

利用注意力圖Ak引導(dǎo)原始圖片實(shí)現(xiàn)注意力剪裁和注意力丟棄。這兩類實(shí)現(xiàn)方式目標(biāo)不同，注意力剪裁是將重點(diǎn)關(guān)注的特征區(qū)域剪裁下來，而注意力丟棄則是將當(dāng)前特征區(qū)域抹去，使這塊特征區(qū)域不再受關(guān)注。具體來說：

采用式（2）進(jìn)行注意力裁剪，閾值θc取值范圍為θc∈[0，1]，(i，j)是歸一化處理之后每個(gè)像素的值，Ck(i，j)是剪裁過程中需要標(biāo)記的區(qū)域；當(dāng)(i，j)大于閾值θc時(shí)，Ck(i，j)取1；當(dāng)(i，j)小于等于θc時(shí)，Ck(i，j)取0，1 是需要剪裁區(qū)域，然后利用邊界框覆蓋剪裁區(qū)域并將重點(diǎn)關(guān)注的區(qū)域放大，即為裁剪圖像。

進(jìn)行注意力丟棄時(shí)，使用式（3）運(yùn)算，閾值θd取值范圍為θd∈[0，1]，Dk(i，j)是丟棄過程中需要標(biāo)記的區(qū)域；當(dāng)(i，j)大于θd時(shí)，Dk(i，j)取0；當(dāng)(i，j)小于等于θd時(shí)，Dk(i，j)取1，取值為0 的特征區(qū)域?yàn)閬G棄區(qū)域，將其消除以提高其他重點(diǎn)關(guān)注區(qū)域的識(shí)別率。

1.2 雙線性注意力池化

將通過弱監(jiān)督注意力過程學(xué)習(xí)得到的特征圖F和注意力圖Ak進(jìn)行特征融合，運(yùn)用BAP 算法［7］如式（4），將特征圖和注意力圖點(diǎn)乘生成部分特征圖Fk，M表示注意力圖的數(shù)量。

該BAP 算法能夠加強(qiáng)局部重要特征區(qū)域的學(xué)習(xí)，減少不相關(guān)信息的干擾，提升網(wǎng)絡(luò)模型的分類性能。

為了解決特征融合后維數(shù)過高的問題，按照式（5）進(jìn)行池化降維操作，提取出部分特征fk，最后將部分特征圖fk進(jìn)行求和運(yùn)算得到特征矩陣P，如式（6）。P由M個(gè)fk組成，Ak表示第k個(gè)注意力映射，F(xiàn)為提取的特征圖。經(jīng)過整個(gè)BAP過程后，將特征矩陣P接入中心損失函數(shù)再送入分類網(wǎng)絡(luò)，求得每一個(gè)類別的預(yù)測(cè)概率。

1.3 中心損失函數(shù)的設(shè)計(jì)

在使用細(xì)粒度網(wǎng)絡(luò)進(jìn)行圖像分類時(shí)，目標(biāo)對(duì)象之間的細(xì)微差異一般在于對(duì)象的局部區(qū)域，范圍不會(huì)太大。中心損失函數(shù)［13］能有效地減小類內(nèi)差異，增強(qiáng)同一類別間的相似性，同時(shí)保持類間距離。所以，中心損失函數(shù)的設(shè)計(jì)能夠讓每張?zhí)卣鲌D固定在每個(gè)部分的中心，這樣生成的注意力圖之間不會(huì)有較大的差異，其表達(dá)式如（7）所示：

其中：fk是經(jīng)過BAP 降維后的特征圖，ck表示第k個(gè)類別中心，M是mini-batch 的大小。在每一個(gè)批量訓(xùn)練時(shí)，樣本特征中心距離的平方和越小越好，這等同于類內(nèi)差異越小越好。模型訓(xùn)練時(shí)，ck不斷地學(xué)習(xí)、修正，類似于梯度更新，是一個(gè)動(dòng)態(tài)的學(xué)習(xí)更新過程，其計(jì)算式如式（8）：

中心損失函數(shù)的引入減少了類內(nèi)的差異，而不能有效增大類間的差異性，這為訓(xùn)練模型提供了更為精確的特征選擇，使得模型的識(shí)別率更高，分類性能更好。

2 圖像增強(qiáng)與網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)

2.1 圖像增強(qiáng)

由于AD 患者腦部區(qū)域和正常人腦部區(qū)域的差別很微小，因此，本文采用圖像預(yù)處理技術(shù)對(duì)圖片進(jìn)行加強(qiáng)。在原始圖片送入模型之前，將圖片之間的局部差異放大，以提高AD 患者的分類識(shí)別率。

將患者和正常人的腦部圖片差異放大的關(guān)鍵之處在于將圖片之間信息差異放大，然而圖片中大部分信息主要集中在低頻部分，所以本文盡可能地利用圖片低頻信息進(jìn)行特征提取，當(dāng)然圖像平滑［14］可以幫助實(shí)現(xiàn)這一目的。經(jīng)典的圖像平滑操作包括最小二乘多項(xiàng)式平滑、線性濾波、高斯濾波、雙邊濾波等。本文研究需要提取圖像相關(guān)的有用信息，去除多余信息量，所以采用平滑線性濾波最為合適。

原始圖像通過一個(gè)M×N的加權(quán)均值濾波器（M和N都為奇數(shù)值）［15］，其濾波過程如式（9）：

其中：f(x+s，y+t)是輸入圖像，x=[0，M-1]，y=[0，N-1]，以確保所有的像素點(diǎn)都進(jìn)行了濾波處理；w(s，t)為加權(quán)系數(shù)，中心系數(shù)較大，周圍系數(shù)?。槐疚牟捎?× 3 的濾波尺寸，這樣每生成一個(gè)新的像素就會(huì)包含周圍8 個(gè)原始像素的加權(quán)貢獻(xiàn)，通過處理后的圖像平滑緩和，幫助提高模型的分類識(shí)別率。

圖2 展示了初始磁共振成像（Magnetic Resonance Imaging，MRI）圖片經(jīng)過平滑（SMOOTH）和銳化（SHARPEN）增強(qiáng)后的效果對(duì)比，能直觀地看出SHARPEN 后的圖像強(qiáng)化了圖像的細(xì)節(jié)信息，同時(shí)也引入了更多的噪聲，使特征提取變得復(fù)雜，對(duì)AD 圖像而言反而添加了更多的干擾，造成分類性能變差。因此，本文選SMOOTH 方法用于增強(qiáng)圖像局部信息。

圖2 腦部MRI初始圖片與增強(qiáng)后對(duì)比Fig.2 Comparison of initial and enhanced MRI images of brain

2.2 網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)

VGG（Visual Geometry Group）網(wǎng)絡(luò)結(jié)構(gòu)適用于圖像分類，具有很多優(yōu)勢(shì)。首先，其網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，由5 層卷積層、3層全連接層和Softmax 層組成；采用3× 3 小卷積，在感受野相同時(shí)，迭代效率遠(yuǎn)遠(yuǎn)高于大的卷積核，減少參數(shù)量的同時(shí)提升網(wǎng)絡(luò)的表達(dá)能力，并且它的成功應(yīng)用［16］說明，在一定的范圍內(nèi)增加網(wǎng)絡(luò)的深度能夠提升模型的效果。

其次，由于每一層的通道數(shù)都在翻倍，最高達(dá)512 個(gè)通道，隨著通道數(shù)的遞增，將有利于提取出更多的有用信息，加之卷積池化操作對(duì)圖像進(jìn)行降維，減小了網(wǎng)絡(luò)計(jì)算量，加快模型的訓(xùn)練。另外，測(cè)試過程中將3 層全連接層改為3 個(gè)卷積，這可以導(dǎo)入任意寬高的圖像，不再受到限制。最后，根據(jù)已有研究的經(jīng)驗(yàn)來看，VGG 網(wǎng)絡(luò)在圖像分類領(lǐng)域被廣泛使用［17-19］；因此，基礎(chǔ)特征提取網(wǎng)絡(luò)本文選擇VGG 網(wǎng)絡(luò)，由于AD 和NC 之間的差異較小，要求對(duì)特征進(jìn)行更充分的提取，考慮到VGG19 在深度上的優(yōu)勢(shì)，所以在VGG19 網(wǎng)絡(luò)進(jìn)行加強(qiáng)改進(jìn)。VGG19 網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示，共有5 個(gè)卷積池化模塊：Block1、Block2、Block3、Block4、Block5；每一個(gè)模塊都由3× 3 的小卷積核和池化層構(gòu)成，其詳細(xì)網(wǎng)絡(luò)參數(shù)如表1所示。

圖3 VGG19網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Structure of VGG19 network

表1 VGG19網(wǎng)絡(luò)參數(shù)Tab.1 VGG19 network parameters

VGG19 網(wǎng)絡(luò)特征提取部分如圖4 所示，其中，Block1 包含2 組64 通道，3× 3 的卷積層；Block2 包含2 組128 通道，3×3 的卷積層；Block3 包含4 組256 通道，3× 3 的卷積層；Block4包括4 組512 通道，3× 3 的卷積層；Block5 也包含4 組512 通道，3× 3 的卷積層。本文期望在低層卷積層中提取相對(duì)精細(xì)的卷積特征，選取Block2 模塊進(jìn)行改進(jìn)增強(qiáng)，最后在Block2 模塊中進(jìn)行池化前再增加3 組128 通道，3× 3 的卷積層，如圖5 所示，以獲取更高級(jí)，更精密的特征。

圖4 VGG19網(wǎng)絡(luò)的特征提取部分Fig.4 Feature extraction part of VGG19 network

圖5 改進(jìn)的VGG19網(wǎng)絡(luò)的特征提取部分Fig.5 Feature extraction part of improved VGG19 network

將原VGG19 網(wǎng)絡(luò)提取的腦部特征與改進(jìn)后的VGG19 網(wǎng)絡(luò)提取的腦部區(qū)域特征通過Grad_CAM［20］和Grad_CAM++［21］進(jìn)行可視化，對(duì)比效果如圖6 所示。

圖6 特征網(wǎng)絡(luò)可視化對(duì)比Fig.6 Visualization comparison of feature networks

從圖6 可以看出，對(duì)于同一張AD 患者腦部結(jié)構(gòu)圖，從Grad_CAM、heatmap、Grad_CAM++和heatmap++四種形式能夠表明：經(jīng)過改進(jìn)增強(qiáng)后的網(wǎng)絡(luò)提取的特征范圍明顯更大、更精細(xì)，包含的有效信息更多。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集

本文使用的數(shù)據(jù)來自華盛頓大學(xué)阿爾茲海默病的成像數(shù)據(jù)OASIS（Open Access Sesies of Imaging Studies）［22］。此數(shù)據(jù)集包含18～96 歲的416 名被試者，其中AD 被試者100 人，NC 被試者316 人。實(shí)驗(yàn)中，本文選取AD 被試者和NC 被試者各100 個(gè)。所有數(shù)據(jù)都經(jīng)過去除面部特征、校正和配準(zhǔn)等處理。訓(xùn)練集包含AD 1 600 張，NC 1 600 張，測(cè)試集包含AD 320 張，NC 320 張，共計(jì)3 840 張圖片。圖7 展示了數(shù)據(jù)集中測(cè)試集AD 和NC 的圖片，如果觀察者不是相關(guān)領(lǐng)域的專業(yè)人士，很難判斷出這兩種圖片的類別。

圖7 測(cè)試集中的圖片F(xiàn)ig.7 Images in test set

3.2 實(shí)驗(yàn)環(huán)境和內(nèi)容

模型訓(xùn)練使用GPU 為Nvidia GTX1080Ti，顯存11 GB，CPU 為Inter Core i5 7500，顯存11 GB，使用CUDA 11.0，操作系統(tǒng)為Ubuntu 16.04，深度學(xué)習(xí)框架使用Pytorch-1.7.0。

為了和基本模型做對(duì)比，本文使用的網(wǎng)絡(luò)的特征提取部分采用VGG19，并將fc6、fc7、fc8 三個(gè)全連接層去掉。首先，在送入網(wǎng)絡(luò)之前，對(duì)數(shù)據(jù)的空間域進(jìn)行增強(qiáng)，然后將數(shù)據(jù)裁剪 為224× 224，batchsize 大小設(shè)置為16，初始學(xué) 習(xí)率為0.001，epoch 為100，使用隨機(jī)梯度下降（Stochastic Gradient Descent，SGD）優(yōu)化器，動(dòng)量為0.9，gamma 值為0.9，權(quán)重衰減為0.005，每隔2 次迭代調(diào)整一次學(xué)習(xí)率。

整個(gè)訓(xùn)練過程通過注意力引導(dǎo)數(shù)據(jù)增強(qiáng)結(jié)合雙線性注意力池化算法得到線性分類層的輸入，其關(guān)鍵步驟分為兩步：

步驟1 首先，將訓(xùn)練的圖片，通過增強(qiáng)后的VGG19 網(wǎng)絡(luò)進(jìn)行特征提取，得到特征圖；然后，經(jīng)過注意力學(xué)習(xí)網(wǎng)絡(luò)將每一張?zhí)卣鲌D生成32 張注意力圖，對(duì)應(yīng)原圖目標(biāo)中32 個(gè)不同的部位；最后，經(jīng)過注意力引導(dǎo)數(shù)據(jù)增強(qiáng)，在生成的32 張注意力圖中，隨機(jī)選擇其中的一張進(jìn)行注意力剪裁和注意力刪除，從而突出圖像重點(diǎn)關(guān)注區(qū)域。

步驟2 在得到特征圖和注意力圖后，采用雙線性注意力池化的方式，將特征圖和每個(gè)通道的注意力圖按元素點(diǎn)乘，相乘之后的結(jié)果再進(jìn)行池化降維和拼接操作獲得最后的特征矩陣，作為線性分類層的輸入。

測(cè)試過程也分為兩個(gè)部分：

步驟1 將測(cè)試圖片輸入到訓(xùn)練好的模型中得到每個(gè)類別的粗分類概率和32 張注意力圖。

步驟2 將步驟1 中得到的32 張注意力圖像素取平均值，根據(jù)平均值畫出截取框，將截取框上采樣還原后再放入訓(xùn)練好的模型中，得到“基于注意力”的各個(gè)類別的細(xì)分類概率。

最后將上述兩步的粗分類概率值和細(xì)分類概率值取平均后作為分類結(jié)果。

3.3 結(jié)果分析

3.3.1 評(píng)價(jià)指標(biāo)

為了評(píng)估該模型AD 分類的性能如何，本文將采用準(zhǔn)確性（accuracy）、敏感性（sensitivity）和特異性（specificity）作為分類網(wǎng)絡(luò)的評(píng)價(jià)指標(biāo)［23］。

準(zhǔn)確性（accuracy）反映了訓(xùn)練網(wǎng)絡(luò)準(zhǔn)確分類AD 和NC 的數(shù)量，準(zhǔn)確性越大，表明正確分類AD 和NC 的數(shù)量就越多，其表達(dá)式如式（10）所示：

其中：TP、TN、FP和FN分別代表真陽性、真陰性、假陽性和假陰性。

敏感性（sensitivity）代表了模型準(zhǔn)確分類AD 患者的數(shù)量，敏感性（sensitivity）越大，診斷對(duì)的AD 病例就越多，其計(jì)算式如式（11）所示：

特異性（specificity）說明了訓(xùn)練網(wǎng)絡(luò)正確分類正常人的數(shù)量，特異性（specificity）越大，正常人診斷為AD 患者的就越少，計(jì)算式如式（12）所示：

3.3.2 不同網(wǎng)絡(luò)的三大評(píng)價(jià)指標(biāo)

為了表明本文所采用的細(xì)粒度分類網(wǎng)絡(luò)比傳統(tǒng)的分類網(wǎng)絡(luò)更有效，首先，將數(shù)據(jù)集送入傳統(tǒng)經(jīng)典分類網(wǎng)絡(luò)VGG19和ResNet101，對(duì)三大指標(biāo)進(jìn)行比較。

傳統(tǒng)經(jīng)典網(wǎng)絡(luò)三大指標(biāo)如表2 所示，由于VGG19 網(wǎng)絡(luò)提取了更充分的特征，分類效果明顯優(yōu)于ResNet101，所以對(duì)于特征提取網(wǎng)絡(luò)，本文研究考慮采用VGG19 作為基礎(chǔ)特征網(wǎng)絡(luò)。

表2 傳統(tǒng)的分類網(wǎng)絡(luò)性能對(duì)比 單位：%Tab.2 Performance comparison of traditional classification networks unit：%

本文采用WSDAN 作為基礎(chǔ)網(wǎng)絡(luò)模型，特征提取網(wǎng)絡(luò)有多種選擇，比較結(jié)果如表3 所示。

表3 使用不同特征提取網(wǎng)絡(luò)的WSDAN基礎(chǔ)網(wǎng)絡(luò)模型 單位：%Tab.3 WSDAN basic network models with different feature extraction networks unit：%

由表3 可以發(fā)現(xiàn)，相較于表2 僅采用傳統(tǒng)經(jīng)典的分類訓(xùn)練網(wǎng)絡(luò)來說，使用細(xì)粒度網(wǎng)絡(luò)區(qū)分類內(nèi)差異較小的圖像具有一定優(yōu)勢(shì)。

將經(jīng)過增強(qiáng)的圖像導(dǎo)入上述3 個(gè)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練分類（導(dǎo)入增強(qiáng)圖像的網(wǎng)絡(luò)稱為WSDAN_d），結(jié)果如表4所示。

表4 增強(qiáng)圖像后模型的訓(xùn)練結(jié)果與基礎(chǔ)網(wǎng)絡(luò)模型結(jié)果的對(duì)比 單位：%Tab.4 Comparison of training results of models with enhanced images and results of basic network models unit：%

由表4 能夠看出，經(jīng)過空間域增強(qiáng)圖像后，在以上3 個(gè)模型中均有明顯的提升。深入分析發(fā)現(xiàn)，特征網(wǎng)絡(luò)VGG19 準(zhǔn)確性提升了1.6 個(gè)百分點(diǎn)，ResNet101 的準(zhǔn)確性提升了0.3 個(gè)百分點(diǎn)，Inception 特征網(wǎng)絡(luò)提升了1.1 個(gè)百分點(diǎn)；敏感性對(duì)比中，VGG19 提升了0.34 個(gè)百分點(diǎn)，ResNet101 降低了1.16 個(gè)百分點(diǎn)，Inception 增加了0.33 個(gè)百分點(diǎn)；特異性比較中，三種特征提取方式均有所提升；但是綜合前人經(jīng)驗(yàn)、網(wǎng)絡(luò)適用性、以及特征提取的精細(xì)程度和對(duì)比結(jié)果可知，VGG19 加深了網(wǎng)絡(luò)結(jié)構(gòu)，能更加充分地提取特征，因此選取VGG19 網(wǎng)絡(luò)進(jìn)行特征提取。

接下來的訓(xùn)練模型中，特征提取網(wǎng)絡(luò)采用改進(jìn)的VGG19網(wǎng)絡(luò)，數(shù)據(jù)集首先采用未經(jīng)增強(qiáng)的原始圖像，結(jié)果如表5所示。

表5 使用改進(jìn)的VGG19網(wǎng)絡(luò)的模型與使用基礎(chǔ)VGG19網(wǎng)絡(luò)的模型對(duì)比 單位：%Tab.5 Comparison of model with improved VGG19 network and model with basic VGG19 network unit：%

以上對(duì)比結(jié)果中顯示，改進(jìn)后的網(wǎng)絡(luò)在準(zhǔn)確性和特異性上明顯優(yōu)于基礎(chǔ)網(wǎng)絡(luò)，尤其是特異性方面，相較于基礎(chǔ)網(wǎng)絡(luò)提高了2.82 個(gè)百分點(diǎn)，說明將正常人誤診為AD 患者的概率極小。

對(duì)VGG19 網(wǎng)絡(luò)Block2 模塊進(jìn)行改進(jìn)時(shí)，每增加一組128通道、3× 3 卷積層都進(jìn)行對(duì)比，其結(jié)果如表6 所示。結(jié)果表明，增加3 組128 通道、3× 3 卷積層取得的效果最好。

表6 增加不同的卷積層對(duì)比 單位：%Tab.6 Comparison of adding different convolutional layers unit：%

接著，在改進(jìn)的VGG19 網(wǎng)絡(luò)的基礎(chǔ)上，同時(shí)結(jié)合空間域增強(qiáng)圖像，效果如表7 所示。

表7 增強(qiáng)圖像結(jié)合改進(jìn)網(wǎng)絡(luò)的模型與基礎(chǔ)網(wǎng)絡(luò)模型的對(duì)比單位：%Tab.7 Comparison of model with enhanced images combining improved network and basic network model unit：%

表7 結(jié)果表明，增強(qiáng)的圖像結(jié)合改進(jìn)網(wǎng)絡(luò)模型與基礎(chǔ)模型相比，準(zhǔn)確性提升了2.1 個(gè)百分點(diǎn)，敏感性提升了1.91 個(gè)百分點(diǎn)，特異性提升了2.19 個(gè)百分點(diǎn)，提升效果較為明顯。

綜上所述，本文采用的網(wǎng)絡(luò)在阿爾茲海默癥分類研究上無論是從分類準(zhǔn)確率、正確分類AD 患者還是正確分類正常人來說，都是具有一定提升效果的。最后，在使用相同數(shù)據(jù)集的條件下結(jié)合不同分類網(wǎng)絡(luò)的三大指標(biāo)比較結(jié)果如表8所示。

表8 不同分類網(wǎng)絡(luò)的指標(biāo)對(duì)比 單位：%Tab.8 Comparison of indicators of different classification networks unit：%

從表8 中可知，本文的方法在該數(shù)據(jù)集上表現(xiàn)良好，敏感性高于WSDAN 有1.91 個(gè)百分點(diǎn)，高于NTS_Net 網(wǎng)絡(luò)有3.12 個(gè)百分點(diǎn)，高于ResNet101 有5 個(gè)百分點(diǎn)，高于VGG19有5.32 個(gè)百分點(diǎn)；準(zhǔn)確性比WSDAN 提高了2.1 個(gè)百分點(diǎn)，比NTS_Net 提高了3.1 個(gè)百分點(diǎn)，比ResNet101 提高了4.5 個(gè)百分點(diǎn)，比VGG19 提高了4.2 個(gè)百分點(diǎn)；特異性比WSDAN 提高了2.19 個(gè)百分點(diǎn)，比NTS_Net 提高了4.99 個(gè)百分點(diǎn)，比ResNet101 提高了4.06 個(gè)百分點(diǎn)，比VGG19 提高了3.12 個(gè)百分點(diǎn)，表明本文方法有較好的分類準(zhǔn)確率和良好的泛化能力。

4 結(jié)語

為了更有效地對(duì)阿爾茲海默癥核磁共振圖像進(jìn)行分類，本文提出了一種基于改進(jìn)增強(qiáng)的弱監(jiān)督細(xì)粒度分類方法。首先，通過弱監(jiān)督注意力學(xué)習(xí)網(wǎng)絡(luò)得到注意力圖，并且利用注意力引導(dǎo)數(shù)據(jù)增強(qiáng)，將原圖和增強(qiáng)后的數(shù)據(jù)都作為輸入數(shù)據(jù)進(jìn)行訓(xùn)練；然后，結(jié)合雙線性注意力池化算法將特征圖和注意力圖點(diǎn)乘得到各個(gè)部分的特征圖，采用卷積或者池化處理這些部分的特征圖；最后，將特征圖結(jié)合得到特征矩陣，作為線性分類層的輸入。本文的方法在OASIS 數(shù)據(jù)集表現(xiàn)良好，取得了96.40%的分類準(zhǔn)確率，優(yōu)于目前熱門的細(xì)粒度AD 分類。然而本文研究只是在數(shù)據(jù)和特征提取部分做了改進(jìn)增強(qiáng)，沒有涉及網(wǎng)絡(luò)傳播中的修改，在下一步工作中可以繼續(xù)探索所提模型，使得本文網(wǎng)絡(luò)結(jié)構(gòu)更加完善。