王繼仙，桂 坤，陳炳憲，茹國(guó)慶，趙 地，陳萬遠(yuǎn)，張志勇

1北京大學(xué)人民醫(yī)院病理科，北京 100044 2寧波江豐生物信息技術(shù)有限公司，杭州 310014 3杭州醫(yī)學(xué)院附屬人民醫(yī)院 浙江省人民醫(yī)院病理科，杭州 310014 4中國(guó)科學(xué)院計(jì)算技術(shù)研究所，北京 100190 5唐山市工人醫(yī)院病理科，河北唐山 063000

胃癌是起源于胃黏膜細(xì)胞的惡性腫瘤，其發(fā)病率和死亡率均位居腫瘤前列[1]，其中中晚期胃癌的預(yù)后較差，5年生存率僅為60%[2]；相對(duì)而言，早期胃癌預(yù)后較好[3]，因此早期發(fā)現(xiàn)、及時(shí)診斷對(duì)改善胃癌患者的生存期至關(guān)重要。然而研究顯示，我國(guó)早期胃癌的診治率僅為10%[4]，遠(yuǎn)低于韓國(guó)(71.5%)[5]和日本(64.6%)[6]。目前胃癌的早期篩查主要依靠胃鏡病理活檢，增加胃鏡活檢率是減少胃癌死亡率的有力手段,但內(nèi)鏡檢查普及率的增高進(jìn)一步加重了病理醫(yī)生的閱片負(fù)擔(dān)。如何尋找新的技術(shù)賦能醫(yī)療，讓本身就短缺的病理醫(yī)師專注于更有價(jià)值的病理診斷，是值得探索的問題。

近年來，人工智能得到了空前發(fā)展，該前沿技術(shù)在醫(yī)學(xué)領(lǐng)域中的應(yīng)用逐漸成為一種新趨勢(shì)。在病理學(xué)方面，人工智能在腦、乳腺、肺等重要器官的診斷方面已取得長(zhǎng)足進(jìn)步[7-9]。關(guān)于胃癌的病理診斷，Sharma等[10]提出一種基于典型的 AlexNet 網(wǎng)絡(luò)結(jié)構(gòu)建立的卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)分類模型可實(shí)現(xiàn)對(duì)整張數(shù)字病理圖像中胃癌的識(shí)別。Sharma 等[11]利用神經(jīng)網(wǎng)絡(luò)提取胃癌細(xì)胞核內(nèi)的紋理信息并構(gòu)建支持向量機(jī)(support vector mach-ine，SVM)分類器，亦實(shí)現(xiàn)了胃癌的分類識(shí)別。但既往研究采用的方法雖可識(shí)別出胃癌，但無法對(duì)腫瘤區(qū)域準(zhǔn)確定位。本研究基于深度學(xué)習(xí)技術(shù)的圖像分類方法，以期實(shí)現(xiàn)對(duì)病理切片中的胃癌區(qū)域進(jìn)行識(shí)別和定位，以輔助病理醫(yī)師精準(zhǔn)定位病變區(qū)域，利于患者后續(xù)治療方案的制訂。

1 材料與方法

1.1 病理切片來源

本研究為回顧性分析。病理切片來自2015年1月—2020年1月浙江省人民醫(yī)院行內(nèi)鏡檢查的患者。納入標(biāo)準(zhǔn)：(1)內(nèi)鏡活檢病理診斷為正常胃黏膜、慢性胃炎、高級(jí)別上皮內(nèi)瘤變或胃腺癌；(2)病理切片及診斷資料保存完好。排除標(biāo)準(zhǔn)：病理結(jié)果合并其他診斷。

本研究已通過浙江省人民醫(yī)院倫理審查委員會(huì)審批(審批號(hào)：QT2022099)，并豁免患者知情同意。

1.2 研究方法

1.2.1 病理切片分類

所有病理切片均由2名消化道早癌?？频牟±磲t(yī)師，按照WHOClassificasionofTumorsoftheDigestiveSystem[12]中的標(biāo)準(zhǔn)重新閱片，進(jìn)一步確認(rèn)診斷無誤。采用KF-PRO-400高精度切片掃描儀以20倍率將其掃描為全視野數(shù)字圖像(whole slide image,WSI)，并按2∶2∶1的比例隨機(jī)分為圖塊分類數(shù)據(jù)集、切片分類訓(xùn)練集與切片分類測(cè)試集，分別用于圖塊級(jí)癌與非癌分類模型構(gòu)建與訓(xùn)練、切片級(jí)癌與非癌分類模型訓(xùn)練與驗(yàn)證。圖塊分類數(shù)據(jù)集按20∶1∶1的比例隨機(jī)分為訓(xùn)練集、測(cè)試集、驗(yàn)證集。

1.2.2 研究框架制訂

本研究包括模型訓(xùn)練和模型應(yīng)用兩個(gè)階段。(1)模型訓(xùn)練階段：對(duì)圖塊分類數(shù)據(jù)集WSI中的癌組織區(qū)域進(jìn)行標(biāo)注，并訓(xùn)練圖塊級(jí)癌與非癌分類模型，用于圖塊中癌與非癌的識(shí)別。(2)模型應(yīng)用階段：采用Otsu算法獲取整張WSI中的組織前景區(qū)域，然后用經(jīng)過訓(xùn)練的圖塊級(jí)癌與非癌分類模型對(duì)前景區(qū)域中的圖塊進(jìn)行識(shí)別，拼接出整張WSI的癌變熱力圖，并從熱力圖中提取切片級(jí)癌與非癌分類特征，輸入切片級(jí)癌與非癌二分類模型，最終完成整張胃活檢切片的診斷。整體研究框架見圖1。

圖1 基于卷積神經(jīng)網(wǎng)絡(luò)的胃癌診斷模型研究框架

1.2.3 圖像標(biāo)注

由于WSI尺寸較大，平均像素為10萬×10萬。為更好地對(duì)組織進(jìn)行標(biāo)注，本研究團(tuán)隊(duì)研發(fā)了專門的在線標(biāo)注平臺(tái)。對(duì)于胃癌WSI，采用閉合曲線標(biāo)注所有癌組織區(qū)域(圖2A)；對(duì)于胃良性疾病WSI，采用矩形標(biāo)注工具標(biāo)注正常胃組織(圖2B)。

圖2 全視野數(shù)字圖像標(biāo)注示例A.胃癌；B.胃良性疾病

根據(jù)標(biāo)注結(jié)果(未標(biāo)注的前景區(qū)域視為良性區(qū)域)，在20倍率下采用滑窗法截取512×512大小含癌組織標(biāo)注的圖塊(癌變圖塊)作為陽性圖塊，不含癌組織標(biāo)注的圖塊作為陰性圖塊的一部分(胃正常組織圖塊)，采用同樣方法從正常良性切片中截取同樣大小的圖塊為陰性圖塊的另一部分。

1.2.4 圖塊級(jí)癌與非癌分類模型構(gòu)建與訓(xùn)練

輸入訓(xùn)練集陽性/陰性圖塊，對(duì)Efficientnet(Efficientnet-b1、Efficientnet-b2、Efficientnet-b3)和ResNet(ResNet50、ResNet101)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行訓(xùn)練，建立圖塊級(jí)癌與非癌CNN分類模型，并基于受試者操作特征(receiver operating characteristic,ROC)的曲線下面積(area under the curve,AUC)篩選最優(yōu)的模型，訓(xùn)練過程中采用隨機(jī)裁剪(224×224像素)、翻轉(zhuǎn)、Gamma變換、高斯模糊、紋理變換等圖像增強(qiáng)方法提高模型的泛化能力(圖3)。訓(xùn)練過程中，優(yōu)化器為 Adam，初始學(xué)習(xí)率為0.01，訓(xùn)練策略為Early Stop，當(dāng)驗(yàn)證集Loss下降至最低點(diǎn)時(shí)，提前終止訓(xùn)練。

圖3 圖塊級(jí)癌與非癌分類模型訓(xùn)練時(shí)的圖像增強(qiáng)方法

為進(jìn)一步對(duì)整張切片的癌變部位進(jìn)行預(yù)測(cè)，采用Otsu算法獲取1倍率WSI組織前景信息，然后采用訓(xùn)練后的圖塊級(jí)癌與非癌分類模型識(shí)別前景區(qū)域中的圖塊，基于全圖推理法拼接出整張WSI的癌變熱力圖?；跓崃D與組織前景信息，從熱力圖中提取切片級(jí)胃癌分類特征，選取與切片陰陽性相關(guān)系數(shù)最高的5個(gè)特征進(jìn)行LightGBM算法訓(xùn)練，最終完成整張胃活檢切片中胃癌的識(shí)別。

1.2.5 WSI全圖推理與分類

WSI數(shù)字病理切片全圖推理主要包括3個(gè)步驟。

第一步：提取1倍率下組織學(xué)數(shù)字病理圖像，獲取組織前景區(qū)域Mask，保存為0-1矩陣。其中組織前景設(shè)定為1，背景設(shè)定為0。具體計(jì)算方式如下：

(1)

第二步：采用滑窗法(窗口大小為512×512，步長(zhǎng)384)從矩陣中截取一系列圖塊用于圖塊級(jí)癌與非癌分類模型推理，并記錄每個(gè)圖塊左上角相對(duì)于WSI的坐標(biāo)。在全圖拼接時(shí)，截取每個(gè)預(yù)測(cè)圖塊的中心處大小的矩形區(qū)域，合并生成最終全圖的癌變熱力圖。

第三步：基于第二步獲取的WSI熱力圖，提取腫瘤分類特征。采用經(jīng)過訓(xùn)練的LightGBM分類算法獲取整張WSI中胃癌分類結(jié)果。LightGBM分類模型是一個(gè)支持梯度提升決策樹算法的框架，工作效率高且內(nèi)存消耗低。在訓(xùn)練前，首先將從WSI熱力圖中提取的腫瘤分類特征排序，并繪制特征直方圖。在后續(xù)訓(xùn)練過程中，算法僅需使用直方圖作為“特征”進(jìn)行決策樹構(gòu)建，可極大程度上提高訓(xùn)練效率。此外，LightGBM算法采用深度優(yōu)先分裂策略，每次對(duì)葉節(jié)點(diǎn)進(jìn)行分裂時(shí)均將全部訓(xùn)練數(shù)據(jù)考慮在內(nèi)，不僅不會(huì)造成局部最優(yōu)，且減少了后剪枝操作的次數(shù)。決策樹構(gòu)建過程中，模型對(duì)梯度小的訓(xùn)練數(shù)據(jù)進(jìn)行采樣處理，而對(duì)梯度大的訓(xùn)練數(shù)據(jù)保留全部信息，以提高模型的穩(wěn)定性。

1.3 評(píng)價(jià)指標(biāo)

采用圖塊分類準(zhǔn)確率、AUC評(píng)價(jià)圖塊級(jí)分類性能；采用AUC、準(zhǔn)確率、靈敏度、特異度評(píng)價(jià)整張切片癌與非癌的分類性能。

1.4 統(tǒng)計(jì)學(xué)處理

采用SPSS 22.0軟件進(jìn)行統(tǒng)計(jì)學(xué)分析?；诰?、方差、偏度系數(shù)和峰度等指標(biāo)，對(duì)癌變熱力圖中的腫瘤分類特征進(jìn)行提取。以腫瘤連通域面積的均值、方差、偏態(tài)系數(shù)、峰度為例，設(shè)一組腫瘤連通域面積X={x1,x2,…,xn},則均值反映腫瘤連通域面積的平均大小，方差可衡量腫瘤連通域面積分布的離散情況，偏態(tài)系數(shù)可評(píng)估腫瘤連通域面積分布的對(duì)稱性，峰度可評(píng)估腫瘤連通域面積峰值的高低。采用Pearson相關(guān)法衡量腫瘤特征與胃癌風(fēng)險(xiǎn)區(qū)域的相關(guān)性。

2 結(jié)果

2.1 數(shù)據(jù)集

共入選1000張符合納入和排除標(biāo)準(zhǔn)的胃活檢病理切片，其中胃良性疾病(正常胃黏膜、慢性炎癥)病理切片500張，胃癌(高級(jí)別上皮內(nèi)瘤變、胃腺癌)病理切片500張。圖塊分類數(shù)據(jù)集、切片分類訓(xùn)練集、切片分類測(cè)試集中，每個(gè)數(shù)據(jù)集均包含胃癌與胃良性疾病WSI圖像，分別為400張、400張、200張。圖塊分類數(shù)據(jù)集的訓(xùn)練集、測(cè)試集、驗(yàn)證集中，每個(gè)數(shù)據(jù)集均包含胃癌與胃良性疾病WSI圖塊，分別為402 000個(gè)、20 000個(gè)、20 000個(gè)。

2.2 圖塊級(jí)癌與非癌分類模型

5種網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)建的癌與非癌分類模型中，相較于結(jié)構(gòu)更為復(fù)雜的Efficientnet-b2、Efficientnet-b3，以Efficientnet-b1網(wǎng)絡(luò)結(jié)構(gòu)建立的模型對(duì)測(cè)試集、驗(yàn)證集圖塊分類的準(zhǔn)確率、AUC均最高，見表1。

表1 基于5種網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)建的圖塊級(jí)癌與非癌分類模型的性能比較

2.3 切片級(jí)癌與非癌分類模型

基于全圖推理法，采用Efficientnet-b1網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)建的癌與非癌分類模型獲取整張切片的癌變熱力圖(圖4)，結(jié)合組織前景信息，于切片分類測(cè)試集中共提取31個(gè)腫瘤分類特征(表2)，并選取其中與切片陰陽性相關(guān)系數(shù)最高的5個(gè)特征進(jìn)行切片級(jí)癌與非癌分類模型訓(xùn)練(表3)，結(jié)果顯示基于LightGBM算法構(gòu)建的模型對(duì)整張切片分類的AUC為0.98(95% CI:0.89～0.98)，準(zhǔn)確率為88.0%(95% CI:81.6%～94.3%)，靈敏度為100%(95% CI:88.0%～100%)，特異度為67.0%(95% CI:57.0%～85.0%)，見圖5。

圖4 根據(jù)全視野數(shù)字圖像識(shí)別的癌變熱力圖A.全視野數(shù)字圖像；B.癌變熱力圖(顏色越接近紅色表示該區(qū)域癌變的風(fēng)險(xiǎn)越高)

表2 根據(jù)癌變熱力圖和前景信息篩選的癌與非癌分類特征

表3 切片級(jí)癌與非癌相關(guān)性最強(qiáng)的5個(gè)腫瘤分類特征

圖5 基于LightGBM算法構(gòu)建的癌與非癌分類模型識(shí)別切片分類測(cè)試集中胃癌的受試者操作特征曲線圖

3 討論

本研究利用計(jì)算機(jī)前沿技術(shù)，建立基于胃活檢病理圖片的胃癌診斷模型，結(jié)果顯示該模型對(duì)測(cè)試集圖塊分類的AUC為0.95，對(duì)整張切片分類的AUC為0.98，且可對(duì)癌變區(qū)域進(jìn)行定位，有助于在臨床工作中提高病理醫(yī)生的閱片效率，輔助胃癌的早期診斷。

2017年4月，美國(guó)食品藥品監(jiān)督管理局批準(zhǔn)Philips公司的Philips IntelliSite Pathology Solution (PIPS)作為首個(gè)用于病理診斷的WSI數(shù)字系統(tǒng)，其在保障成像精度的同時(shí)，可利用數(shù)字化病理切片進(jìn)行疾病診斷，并提供文件檢索功能，為以后快速獲取提供了極大便利。自此，人工智能技術(shù)在腫瘤病理學(xué)中的應(yīng)用取得了質(zhì)的突破，包括腫瘤診斷、分型、分級(jí)、分期、預(yù)后預(yù)測(cè)、生物標(biāo)志物和基因改變的識(shí)別。

算法是人工智能深度學(xué)習(xí)的核心，可探究數(shù)據(jù)的內(nèi)在規(guī)律，其運(yùn)行需大量數(shù)據(jù)的支持。為彌補(bǔ)病理圖像樣本量不足的限制，多數(shù)情況下，在算法運(yùn)行和機(jī)器學(xué)習(xí)過程中，常需對(duì)圖像進(jìn)行分割，以擴(kuò)展數(shù)據(jù)、提高模型的性能。傳統(tǒng)醫(yī)學(xué)圖像的分割算法包含邊緣分割、區(qū)域分割和泛函圖像分割等，存在嚴(yán)重依賴人工設(shè)計(jì)、特征設(shè)計(jì)過于復(fù)雜、模型泛化能力較差等問題。深度學(xué)習(xí)是應(yīng)用最廣泛的圖像分割方法，通過數(shù)據(jù)挖掘、自然語言處理等技術(shù)，在圖像識(shí)別方面已取得重大進(jìn)展。CNN是當(dāng)前語言分析和圖像識(shí)別領(lǐng)域的研究熱點(diǎn)，其模仿大腦視覺皮層構(gòu)造和視覺活動(dòng)原理而開發(fā)。CNN模型中包含多層圖像感知器(相當(dāng)于人工視神經(jīng)元)、多個(gè)神經(jīng)網(wǎng)絡(luò)層、連續(xù)的卷積層與后方池化層，可對(duì)原始圖像數(shù)據(jù)進(jìn)行深度學(xué)習(xí)，并預(yù)測(cè)特征分類，為醫(yī)學(xué)成像的識(shí)別提供了機(jī)會(huì)。研究表明，利用CNN可從組織病理學(xué)圖像中自動(dòng)識(shí)別、檢測(cè)出各種惡性腫瘤且具有較高的準(zhǔn)確性。Garcia等[13]基于CNN模型建立的分類系統(tǒng)可根據(jù)免疫組化圖像對(duì)胃癌進(jìn)行識(shí)別。Sharma等[10]研究顯示，基于深度學(xué)習(xí)CNN模型可對(duì)病理學(xué)圖像的整個(gè)形態(tài)學(xué)特征和局灶特征進(jìn)行分析，實(shí)現(xiàn)胃癌總體分類(準(zhǔn)確率為69.90%)。Tomita等[14]報(bào)道了一種基于CNN算法建立的人工智能輔助系統(tǒng)，可自動(dòng)識(shí)別Barrett食管或胃腺瘤以及腺癌的腫瘤前病變。Iizuka等[15]的研究得到了類似結(jié)果，基于CNN算法識(shí)別胃活檢病理圖像，可實(shí)現(xiàn)胃腺癌、腺瘤和非腫瘤組織的智能分類(AUC：0.97)。上述研究雖然可根據(jù)病理切片識(shí)別出胃癌，但對(duì)整張病理切片中的腫瘤區(qū)域無法實(shí)現(xiàn)精準(zhǔn)定位。

本研究收集了浙江省人民醫(yī)院的1000張胃鏡活檢病理切片，通過轉(zhuǎn)化為WSI實(shí)現(xiàn)了病理切片的數(shù)字化保存?；谏疃葘W(xué)習(xí)技術(shù)，首先搭建可對(duì)圖塊進(jìn)行分類識(shí)別的CNN網(wǎng)絡(luò)模型，并可準(zhǔn)確對(duì)WSI中的癌變區(qū)域進(jìn)行定位。在此基礎(chǔ)上，通過特征提取構(gòu)建切片級(jí)腫瘤分類機(jī)器學(xué)習(xí)模型(LightGBM算法)，對(duì)整張切片胃癌識(shí)別的AUC高達(dá)0.98，明顯優(yōu)于既往研究結(jié)果[16]。癌變熱力圖可直觀清晰顯示胃癌風(fēng)險(xiǎn)區(qū)域，其中顏色越接近紅色的區(qū)域，表示為胃癌的可能性越大。通過對(duì)癌變區(qū)域進(jìn)行精確定位，可輔助病理醫(yī)生對(duì)病變性質(zhì)進(jìn)行快速診斷，并有利于后續(xù)臨床治療，顯著提高了工作效率。

本研究通過深度學(xué)習(xí)技術(shù)實(shí)現(xiàn)了對(duì)整張病理切片進(jìn)行分類診斷，并對(duì)癌變區(qū)域進(jìn)行精準(zhǔn)定位，首先得益于樣本量較大。機(jī)器學(xué)習(xí)在缺乏醫(yī)學(xué)先驗(yàn)知識(shí)的情況下，可從圖像中自動(dòng)學(xué)習(xí)相關(guān)特征，并對(duì)圖像進(jìn)行分類。高識(shí)別精度需要足夠多的數(shù)據(jù)量提供支撐，以避免模型過擬合現(xiàn)象。其次，在圖像標(biāo)注方面，本研究首先研發(fā)了特定的標(biāo)注工具，可顯著提高標(biāo)注效率，同時(shí)設(shè)計(jì)了一個(gè)測(cè)試程序，包括初步標(biāo)簽、進(jìn)一步驗(yàn)證和最終審查。切片隨機(jī)由1名病理醫(yī)師標(biāo)注完成后，再隨機(jī)選取1名病理醫(yī)師進(jìn)行審查，并由病理專家對(duì)標(biāo)注結(jié)果進(jìn)行隨機(jī)抽查，以保證標(biāo)注質(zhì)量。此外，在模型驗(yàn)證與評(píng)價(jià)時(shí)，本研究以靈敏度100%、特異度67%為最佳識(shí)別性能，并非以約登指數(shù)最大值為標(biāo)準(zhǔn)，原因在于數(shù)字病理圖像的人工智能輔助診斷系統(tǒng)需優(yōu)先解決的是篩查問題，即在保證陽性類別不漏檢的前提下盡量提高特異度。臨床應(yīng)用時(shí)，病理醫(yī)師僅需對(duì)陽性切片進(jìn)行篩查，可提高診斷效率，并避免漏診。

Song等[17]使用CNN模型對(duì)2123像素級(jí)注釋的HE切片病理圖像進(jìn)行訓(xùn)練，建立的胃癌診斷模型發(fā)現(xiàn)2例人工閱片漏診的病例。本研究經(jīng)病理科醫(yī)師重新閱片，發(fā)現(xiàn)最初的病理報(bào)告亦存在誤診現(xiàn)象，而模型對(duì)切片進(jìn)行識(shí)別時(shí)，可實(shí)現(xiàn)正確分類。如圖6所示，4例原始病理報(bào)告診斷為腺上皮高級(jí)別上皮內(nèi)瘤變的病例，經(jīng)重新閱片后判定為炎癥伴黏膜腸化生，模型對(duì)該4例患者的分類結(jié)果均正確，進(jìn)一步提示基于深度學(xué)習(xí)技術(shù)構(gòu)建的胃癌智能診斷模型具有準(zhǔn)確率高，減少漏診、誤診的優(yōu)勢(shì)。

圖6 胃良性疾病病理圖像(HE，×40)

本研究局限性：(1)僅構(gòu)建胃癌識(shí)別的二分類模型，無法對(duì)高級(jí)別上皮內(nèi)瘤變和胃腺癌進(jìn)行區(qū)分。(2)雖然分類模型在胃癌的識(shí)別中顯示出了較高的性能，但真正用于實(shí)際病例的診斷尚面臨挑戰(zhàn)。原因包括兩個(gè)方面：第一，用于訓(xùn)練CNN模型的圖像中，一些特征如腫瘤免疫微環(huán)境中的壞死、血管和炎癥等未進(jìn)行標(biāo)注；第二，入選的疾病種類較單一。

綜上，基于胃活檢病理切片建立的CNN診斷模型可實(shí)現(xiàn)對(duì)圖塊級(jí)和切片級(jí)病變性質(zhì)精確分類，準(zhǔn)確識(shí)別胃癌；同時(shí)可識(shí)別因人工閱片疏漏導(dǎo)致的漏診、誤診，在病理學(xué)領(lǐng)域有很大的發(fā)展前景。相信隨著機(jī)器學(xué)習(xí)算法的持續(xù)改進(jìn)以及數(shù)據(jù)量的累積,智能診斷系統(tǒng)對(duì)疾病分類的精確度和診斷效率會(huì)得到進(jìn)一步提高。

作者貢獻(xiàn)：王繼仙負(fù)責(zé)數(shù)據(jù)整理與分析、論文撰寫；桂坤、陳炳憲負(fù)責(zé)研究實(shí)施、數(shù)據(jù)分析；茹國(guó)慶負(fù)責(zé)病理閱片、研究設(shè)計(jì)；趙地負(fù)責(zé)研究設(shè)計(jì)、數(shù)據(jù)分析；陳萬遠(yuǎn)、張志勇負(fù)責(zé)病理閱片、文獻(xiàn)整理、論文修訂。

利益沖突：所有作者均聲明不存在利益沖突