王陽 陳薇伊 馬軍山

摘? 要：為了提高乳腺癌病理圖像良惡性診斷的準確率，提出了一個基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）對乳腺癌病理圖像的診斷方法。利用這種方法，能夠快速地對乳腺癌病理圖像自動進行良惡性診斷。乳腺癌病理圖像具有非常復(fù)雜的結(jié)構(gòu)，利用VGG16架構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)對病理圖像進行特征提取，利用數(shù)據(jù)增強的方法擴充數(shù)據(jù)集，使用遷移學(xué)習(xí)，將在ImageNet數(shù)據(jù)集上訓(xùn)練得到的權(quán)重作為該網(wǎng)絡(luò)的初始化參數(shù)，該模型在乳腺癌數(shù)據(jù)集Breakhis上得到的準確率可以達到95%，而在經(jīng)過解凍部分訓(xùn)練層、調(diào)整學(xué)習(xí)率等優(yōu)化操作之后，分類準確率最高可以達到99%。實驗結(jié)果表明，優(yōu)化后的方法在乳腺癌良惡性診斷準確率方面有很大的提高。

關(guān)鍵詞：乳腺癌;卷積神經(jīng)網(wǎng)絡(luò);圖像分類;數(shù)據(jù)增強;遷移學(xué)習(xí)

中圖分類號：TP391? ? ?文獻標識碼：A

文章編號：2096-1472（2022）-01-06-04

Abstract： In order to improve the accuracy of benign and malignant diagnosis for breast cancer pathological images， this paper proposes a diagnosis method for breast cancer pathological images based on convolutional neural network （CNN）. This method makes a quick and automatic benign and malignant diagnosis for breast cancer pathology images. As breast cancer pathological images have very complex structures， VGG16 （Visual Geometry Group） architecture convolutional neural network is used to extract the features of pathological images， and data enhancement is used to expand the data set. By using transfer learning， weights trained on the ImageNet data set are used as the initialized parameters of the network. The model can achieve 95% accuracy on breast cancer data set Breakhis; the classification accuracy is as high as 99% after thawing some training layers and adjusting learning rate. The experimental results show that the optimized method can greatly improve the accuracy of breast cancer benign and malignant diagnosis.

Keywords： breast cancer; convolutional neural network; image classification; data enhancement; transfer learning

1? ?引 言（Introduction）

乳腺癌是目前全球女性發(fā)病率最高的癌癥，對女性的身體健康造成非常大的傷害。世界衛(wèi)生組織2018 年統(tǒng)計結(jié)果顯示，乳腺癌在女性癌癥新發(fā)病例中所占比例最高，并且死亡率也非常高[1]。

目前，診斷乳腺癌最常見方法的就是病理學(xué)診斷，并且大部分是由病理學(xué)專家借助顯微鏡觀察完成的。我國目前正在進行乳房腫瘤系統(tǒng)的研究，大規(guī)模的臨床應(yīng)用有助于醫(yī)生在診斷過程中大幅提高診斷效率[2]。但是，人為的主觀意識存在偏差，長期的工作壓力以及病理圖像自身的復(fù)雜性都會導(dǎo)致誤判。隨著人工智能的發(fā)展，計算機輔助診斷治療CAD（Computer Aided Diag-Nosis）已經(jīng)成為醫(yī)學(xué)領(lǐng)域研究的熱門課題[3]。同人工診斷相比，計算機診斷更加客觀，并且速度很快，可以同時完成多個病理圖像的診斷，醫(yī)生可以根據(jù)計算機的診斷結(jié)果，結(jié)合自身的專業(yè)知識，做出更好的判斷。目前基于計算機輔助診斷的主要有兩種方式，一是人工提取特征和傳統(tǒng)機器學(xué)習(xí)的乳腺癌病理圖像診斷[4];二是基于深度學(xué)習(xí)的乳腺癌病理圖像診斷。

近些年，卷積神經(jīng)網(wǎng)絡(luò)（CNN）在圖像分類方面取得了優(yōu)異的成績，在醫(yī)療圖像等領(lǐng)域也有很大的進展[5]。2014 年，牛津大學(xué)的SIMONYAN[6]在“用于大規(guī)模圖像識別得非常深卷積網(wǎng)絡(luò)”的論文中提出了VGG卷積神經(jīng)網(wǎng)絡(luò)模型。該模型在ImageNet中實現(xiàn)了92.7%的top-5測試精度，這是一個1，000 類的超過1，400萬張圖像的數(shù)據(jù)集。VGG卷積神經(jīng)網(wǎng)絡(luò)通過多個3×3大小的過濾器替換大型內(nèi)核大小的過濾器（在第一個和第二個卷積層中分別為11和5）來改進AlexNet[7]。VGGNet證明了很小的卷積通過增加網(wǎng)絡(luò)深度可以有效提高性能。目前主要的卷積神經(jīng)網(wǎng)絡(luò)模型有VGGNet、LeNet、GoogleNet、ResNet。通過卷積神經(jīng)網(wǎng)絡(luò)（CNN）構(gòu)建的圖像處理系統(tǒng)能夠有效地減小過擬合，并且在對大像素圖像內(nèi)容識別方面也取得了不錯的效果，特別是在融合GPU加速技術(shù)后，使得神經(jīng)網(wǎng)絡(luò)在實際訓(xùn)練中能夠更好地擬合訓(xùn)練數(shù)據(jù)，最終更快更準確地識別大部分的圖片。SPANHOL等在BreakHis數(shù)據(jù)集上采用卷積神經(jīng)網(wǎng)絡(luò)對乳腺癌病理圖像進行良惡性診斷，準確度最高可達90%。

為了進一步提高乳腺癌病理圖像診斷的準確度，本文以卷積神經(jīng)網(wǎng)絡(luò)VGG16網(wǎng)絡(luò)為基礎(chǔ)構(gòu)造一個分類模型，并在公開的大型乳腺癌病理數(shù)據(jù)集BreakHis上進行研究。

2? ?數(shù)據(jù)集（Data set）

2016 年，SPANHOL等公布了BreakHis乳腺癌病理圖像數(shù)據(jù)集。該數(shù)據(jù)集取自82 個病人，其中24 人為良性，58 人為惡性，共有7，909 張病理圖片，分為四個放大倍數(shù)，即40×、100×、200×、400×。通過活體組織在不同放大倍數(shù)顯微鏡下成像得到如圖1所示不同放大倍數(shù)下的良性癌病理圖像。

如表1所示是Breakhis數(shù)據(jù)集里的圖像分布情況。

盡管BreakHis數(shù)據(jù)集有7，000多張圖片，但是對于神經(jīng)網(wǎng)絡(luò)來說這是不夠的，因此我們需要用到數(shù)據(jù)增強技術(shù)。數(shù)據(jù)增強主要是可以起到減少網(wǎng)絡(luò)過擬合的作用，一方面通過增加數(shù)據(jù)量提高模型的泛化能力，另一方面通過添加噪聲提高模型的魯棒性[8]。數(shù)據(jù)增強的方法主要有隨機旋轉(zhuǎn)、隨機裁剪、添加噪聲等[9]。如圖2所示，圖2（b）是由圖2（a）經(jīng)過反轉(zhuǎn)得到的。對于肉眼來說，這是兩張一樣的圖片，對圖片進行翻轉(zhuǎn)之后還是原來的圖片，但是在神經(jīng)網(wǎng)絡(luò)看來，它們是完全不同的。

3? ?模型與方法（Model and methods）

3.1? ?VGG16架構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)的主要結(jié)構(gòu)包括輸入層、卷積層、池化層、全連接層和輸出層。本文采用的VGGNet16模型包括五個卷積層和三個全連接層，之所以選擇VGG16作為基礎(chǔ)網(wǎng)絡(luò)，是因為VGG16的分類性能很好，網(wǎng)絡(luò)結(jié)構(gòu)非常規(guī)整，修改起來比較容易。VGGNet用3×3的卷積核替代AlexNet里面11×11的卷積核，因為對于給定的感受野，采用多個小的卷積核效果要比大的卷積核好，多層的非線性層能夠增加網(wǎng)絡(luò)的深度，從而保證網(wǎng)絡(luò)能夠?qū)W到更深層的東西，并且可以更好地保持圖像性質(zhì)。另外，用多個小卷積核代替大卷積核也能夠減少參數(shù)的作用。VGG16模型結(jié)構(gòu)如圖3所示。

輸入層負責載入圖像，本文的輸入圖像就是經(jīng)過數(shù)據(jù)增強后的BreakHis數(shù)據(jù)集。輸入圖像的大小為224×224×3，3代表通道數(shù)，產(chǎn)生的輸出向量作為卷積層的輸入。

卷積層主要負責提取圖像特征，通過卷積核實現(xiàn)，卷積核就是給定一個輸入圖像，輸入圖像中的一塊區(qū)域像素經(jīng)過加權(quán)平均后成為輸出圖像的對應(yīng)像素，權(quán)值是一個給定函數(shù)，這個函數(shù)就叫做卷積核。對于輸入的乳腺癌圖像，經(jīng)過多個卷積層之后提取到每張圖像的特征。

VGG16模型共有五個卷積層和三個全連接層，16指的是它的網(wǎng)絡(luò)深度。每個卷積層中都用到Relu激活函數(shù)，前兩個卷積層使用兩次大小為3×3、步長為1的卷積核進行卷積操作，后三層用了三次同樣的卷積核。為了提高模型的訓(xùn)練速度，在卷積層之后添加了Batch Normalization層。

池化層也叫下采樣層，一般放在連續(xù)的卷積層之間，用于壓縮數(shù)據(jù)和參數(shù)。池化層的作用主要有兩個，一是特征不變性，池化操作就是圖像的縮放，壓縮去掉一些無關(guān)緊要的信息，留下的信息依然能夠保留原圖的特征;二是特征降維，一幅圖像里的特征有很多，但有些信息沒有太大的作用或者重復(fù)，就可以去掉這些信息，保留最重要的特征。常見的下采樣有最大池化（max-pooling）和均值池化（mean-pooling），這里使用的是最大池化，池化單元尺寸大小為2×2，可以對輸入圖像尺寸減半。

卷積取的是局部特征，全連接指的就是把這些局部特征重新通過權(quán)值矩陣組裝成完整的圖，全連接層的每一個節(jié)點都是跟上一層的所有節(jié)點相連的，用來把前面提取到的特征綜合起來。VGG16網(wǎng)絡(luò)有三個全連接層，前兩層都用了4，096個神經(jīng)元，第三層使用了1，000 個神經(jīng)元，常用的激活函數(shù)有Sigmoid、Tanh和Relu[10]，本實驗使用的是Relu函數(shù)，最后使用Softmax對圖像進行分類，輸出1，000 個預(yù)測結(jié)果。利用Softmax函數(shù)可以很好地處理多分類問題，因為本文只需要分類乳腺癌是良性還是惡性，所以分類標簽為2。在全連接層之前還添加了Dropout層[11]，為的是防止過擬合，提高模型的泛化能力。

損失函數(shù)Loss描述的是預(yù)測結(jié)果和實際結(jié)果之間的差別，模型的每一次預(yù)測的好壞用損失函數(shù)來度量，損失越小，模型越好。本文所用的損失函數(shù)是sparse_categorical_crossentropy。

3.2? ?遷移學(xué)習(xí)及改進

遷移學(xué)習(xí)[12]，顧名思義就是把已經(jīng)訓(xùn)練好的模型參數(shù)遷移到新的模型上，從而幫助新模型進行訓(xùn)練。神經(jīng)網(wǎng)絡(luò)在訓(xùn)練的時候能夠隨機初始化參數(shù)，從頭訓(xùn)練，由于大部分數(shù)據(jù)或者任務(wù)都是存在相關(guān)性的，因此通過遷移學(xué)習(xí)可以將已經(jīng)學(xué)到的模型參數(shù)通過某種方式傳遞給新的模型，從而加快訓(xùn)練速度并優(yōu)化模型的學(xué)習(xí)效率。

在卷積神經(jīng)網(wǎng)絡(luò)中，很多模型都是在ImageNet數(shù)據(jù)集上進行訓(xùn)練的，訓(xùn)練得到的參數(shù)通過遷移學(xué)習(xí)使用在其他網(wǎng)絡(luò)上。ImageNet數(shù)據(jù)集由超過1，400萬張圖像組成，每張圖像都包含注釋，標明物體屬于哪種類別。其實不管是哪種圖像，它們的邊緣特征都是相似的，所以考慮到了遷移學(xué)習(xí)。遷移學(xué)習(xí)可以將已經(jīng)訓(xùn)練好的模型參數(shù)直接用在自己的數(shù)據(jù)集上，但是訓(xùn)練結(jié)果不一定會非常好。

本文所用的遷移學(xué)習(xí)的權(quán)重來自VGG16網(wǎng)絡(luò)在ImageNet數(shù)據(jù)集上訓(xùn)練得到的參數(shù)，這里將其應(yīng)用到乳腺癌病理組織的良惡性分類診斷問題上。針對網(wǎng)絡(luò)訓(xùn)練結(jié)果的Loss偏大，對模型進行微調(diào)，之前是凍結(jié)預(yù)訓(xùn)練模型的所有卷積層，只訓(xùn)練自己要求的全連接層;現(xiàn)在只凍結(jié)指定預(yù)訓(xùn)練模型的部分卷積層，這里設(shè)置的是解凍卷積層的后五層，訓(xùn)練剩下的卷積層和自己的全連接層，原學(xué)習(xí)率為0.001，這里將學(xué)習(xí)率調(diào)整為原來的1/10，并添加了Dropout層，將丟棄率設(shè)置為0.5，又添加了Batch Normalization層。

3.3? ?實驗結(jié)果

本文使用Thinkpad T490、Intel i5，基于Python語言的tensorflow框架進行訓(xùn)練和測試。

本文采用識別分類準確率對實驗效果進行評估，以7∶2∶1劃分訓(xùn)練集、驗證集和測試集。用Nr表示正確分類出來的圖片數(shù)量，用Na表示輸入病理圖片的數(shù)量，圖像水平的識別準確率（Image_level_Rate）表達式如下式所示：

本文設(shè)置了兩組對比實驗，將遷移學(xué)習(xí)后的網(wǎng)絡(luò)直接進行訓(xùn)練得到的準確率和微調(diào)后的模型準確率進行對比，圖4（a）是微調(diào)前訓(xùn)練集和驗證集的準確率，圖4（b）是微調(diào)后的訓(xùn)練集和驗證集的準確率。

從圖4可以明顯看出，微調(diào)之后的網(wǎng)絡(luò)在準確率性能上表現(xiàn)得更好。首先從圖4（a）可以看出微調(diào)前的模型，在經(jīng)過大約25 次迭代后，準確率已經(jīng)達到了95%，這說明在模型中增加了數(shù)據(jù)增強和遷移學(xué)習(xí)模塊能夠使得模型快速地處理乳腺癌病理圖像，使模型具有更好的魯棒性和泛化能力。然后在經(jīng)過微調(diào)后，模型能夠更加快速地收斂，只需要經(jīng)過20 次迭代，訓(xùn)練集準確率便達到了99%，同時驗證集也達到了95%以上。最后利用測試集對模型進行測試，微調(diào)前測試集準確率是90%，而微調(diào)后測試集準確率達到了98%。表2是微調(diào)前后測試集的Loss對比，可以看出微調(diào)后的Loss下降更快，這進一步說明微調(diào)后的模型更適合使用BreakHis數(shù)據(jù)集進行良惡性診斷。

4? ?結(jié)論（Conclusion）

本實驗在公開乳腺癌數(shù)據(jù)集BreakHis上進行，同時使用卷積神經(jīng)網(wǎng)絡(luò)模型VGG16，并且為了減少訓(xùn)練時間，以及避免訓(xùn)練過程中可能存在的誤差，這里使用了遷移學(xué)習(xí)，將VGG16在大型數(shù)據(jù)集ImageNet上訓(xùn)練得到的權(quán)重用在本實驗上。為進一步提高模型性能，又進行了模型微調(diào)，解凍了模型訓(xùn)練層的后五層進行訓(xùn)練，試驗結(jié)果表明，微調(diào)后的Loss明顯小于微調(diào)前，準確率也從90%提高到了98%，充分證實了本實驗方法的可行性和實用性。未來的工作包括：（1）在乳腺癌二分類診斷的基礎(chǔ)上，進一步細分是哪種癌;（2）將本實驗的模型用在其他醫(yī)學(xué)疾病上，驗證該模型在其他疾病上是否具有通用性。

參考文獻（References）

[1] BRAY F， FERLAY J. Global cancer statistics 2018： Globocan for estimates of incidence and mortality worldwide 36 cancers in 185 countries[J]. A Cancer Journal for Clinicians， 2018， 68（6）：394-424.

[2] 陳詩慧，劉維湘，秦璟.基于深度學(xué)習(xí)和醫(yī)學(xué)圖像的癌癥計算機輔助診斷研究進展[J].生物醫(yī)學(xué)工程雜志，2017，34（02）：314-319.

[3] ERICKSON B J， KORFIATIS P， AKKUS Z， et al. Machine learning for medical imaging[J]. RadioGraphics， 2017， 37（2）：505-515.

[4] 龔磊，徐軍，王冠皓.基于多特征描述的乳腺癌腫瘤病理自動分級[J].計算機應(yīng)用，2015，35（12）：3570-3575.

[5] SPANHOL F A， OLIVEIRA L S， PETITJEAN C， et al. A dataset for breast cancer histopathological image classification[J]. IEEE Transactions on Bio-medical Engineering， 2015， 63（7）：1455-1462.

[6] SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[DB]. Eprint ArXiv， 2014：1409-1556.

[7] RAJKOMAR A， LINGAM S， TAYLO A G， et al. High-throughput classification of radiographs using deep convolutional neral networks[J]. Journal of Digital Imaging， 2017， 30（1）：95-101.

[8] LI X， TANG W L， YANG B. Semantic segmentation of high resolution remote sensing image using depth residual network[J]. Journal of Applied Sciences， 2019， 37（2）：282-290.

[9] YU X M， HONG S， YU J X， et al. Research on the enhancement method of visible light remote sensing image ship target data[J]. Journal of Instrumentation， 2020， 41（11）：261-269.

[10] ZHANG Y D， MUHAMMAD K， TANG C. Twelve-layer deep convolutional neural network with stochastic pooling for tea category classification GPU platform[J]. Mutimedia Tools and Applications， 2018， 77（17）：22821-22839.

[11] SRIVASTAVA N， HINTON G， KRIZHEVSKY A， et al. Dropout： A simple way to prevent neural networks from overfitting[J]. The Journal of Machine Learning Research， 2014， 15（1）：1929-1958.

[12] PAN S J， YANG Q. A survey on transfer learning[J]. IEEE Transactions on Knowledge and Data Engineering， 2010， 22（10）：1345-1359.

作者簡介：

王? 陽（1995-），男，碩士生.研究領(lǐng)域：計算機視覺，深度學(xué)習(xí).

陳薇伊（1997-），女，碩士生.研究領(lǐng)域：計算機視覺.

馬軍山（1967-），男，博士，教授.研究領(lǐng)域：光學(xué)精密儀器，圖像處理.