王春杰，袁慧書

(北京大學(xué)第三醫(yī)院放射科，北京 100191)

卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)是人工智能(artificial intelligence, AI)的一個(gè)快速發(fā)展的子集，為放射學(xué)領(lǐng)域的最新技術(shù)之一，適用于解決圖像識(shí)別和分類問題[1-2]，目前在分析某些醫(yī)學(xué)圖像方面已達(dá)到媲美放射科醫(yī)師的水平[3]，如檢出肺結(jié)節(jié)[4]、對(duì)膠質(zhì)瘤進(jìn)行級(jí)別分類[5]和診斷骨折[6]等，對(duì)放射學(xué)的未來發(fā)展產(chǎn)生了深遠(yuǎn)影響。本文就CNN在骨骼肌肉放射學(xué)中的研究進(jìn)展進(jìn)行綜述。

1 CNN相關(guān)概念及發(fā)展

AI是計(jì)算機(jī)科學(xué)的子領(lǐng)域，是為計(jì)算機(jī)編程，便于其學(xué)習(xí)和執(zhí)行復(fù)雜任務(wù)的學(xué)科。機(jī)器學(xué)習(xí)(machine learning, ML)是AI的一個(gè)子集，通過計(jì)算機(jī)模擬人類的學(xué)習(xí)過程，使計(jì)算機(jī)能夠在數(shù)據(jù)中學(xué)習(xí)。傳統(tǒng)ML算法雖可隨著執(zhí)行任務(wù)積累經(jīng)驗(yàn)而逐步改善，但對(duì)于圖像問題通常仍需人類專家手動(dòng)進(jìn)行特征選擇，進(jìn)而確定哪些圖像特征更為重要。深度學(xué)習(xí)(deep learning, DL)是ML新發(fā)展的子集[7]，其最大優(yōu)點(diǎn)在于計(jì)算機(jī)不再需要人類專家手動(dòng)進(jìn)行特征選擇，算法本身可以確定最佳圖像特征，進(jìn)而回答針對(duì)圖像的各種問題。

CNN是實(shí)現(xiàn)圖像DL最常用的算法模型，由輸入層、卷積層、池化層、全連接層及輸出層組成[8]，經(jīng)輸入層輸入數(shù)據(jù)，由卷積層和池化層對(duì)輸入數(shù)據(jù)進(jìn)行特征提取，全連接層將提取的特征進(jìn)行組合分類，最后由輸出層輸出分類結(jié)果。

對(duì)CNN的研究可追溯至20世紀(jì)90年代。1989年LECUN在論述中首次使用“卷積”一詞對(duì)算法結(jié)構(gòu)進(jìn)行解釋，其構(gòu)建的LeNet-5模型定義了CNN的基本結(jié)構(gòu)，成功用于解決識(shí)別手寫數(shù)字的問題。2012年KRIZHEVSKY等[9]使用CNN模型獲得了ImageNet大規(guī)模視覺識(shí)別挑戰(zhàn)賽的勝利。此后，快速發(fā)展的圖形處理器和多個(gè)開源庫[10]的建立使得CNN取得了突破性進(jìn)展,涌現(xiàn)出一些CNN經(jīng)典模型，如VGG16/VGG19[11]、GoogLeNet[12]、ResNet[13]和U-Net[14]等。伴隨硬件設(shè)備更新和數(shù)據(jù)樣本不斷擴(kuò)增，CNN模型的圖像識(shí)別與分類精度不斷提高。時(shí)至今日，CNN圖像分析結(jié)果代表圖像分析的最高水平[15]。

2 CNN在骨骼肌肉放射學(xué)中的應(yīng)用

目前CNN在骨骼肌肉放射學(xué)中的應(yīng)用主要包括骨骼肌肉病變的檢出、分級(jí)和分割解剖結(jié)構(gòu)三個(gè)方面。

2.1 檢出病變 2017年RAJPURKAR等[16]在包含36 808幅圖像的骨骼肌肉影像(musculoskeletal radiographs, MURA)數(shù)據(jù)集上訓(xùn)練CNN模型DenseNet，以檢測(cè)包括肩部、肱骨、肘部、前臂、腕、手掌和手指在內(nèi)的上肢骨折。針對(duì)556幅圖像的測(cè)試集，DenseNet模型的AUC為0.92，其檢測(cè)腕部骨折的能力與放射科醫(yī)師相當(dāng)，二者檢測(cè)結(jié)果與診斷金標(biāo)準(zhǔn)之間的一致性較高(Kappa系數(shù)均為0.93)；而對(duì)于上肢骨折，該模型的總體表現(xiàn)比放射科醫(yī)師略差，二者與診斷金標(biāo)準(zhǔn)之間的Kappa系數(shù)分別為0.71與0.78。該研究將大型數(shù)據(jù)集MURA公開發(fā)布，以推動(dòng)骨折自動(dòng)檢測(cè)領(lǐng)域的發(fā)展。截至2019年12月，排名前8的CNN模型Kappa系數(shù)介于0.80～0.84，均優(yōu)于原始研究中放射科醫(yī)師的表現(xiàn)(Kappa系數(shù)0.78)。同樣，在檢測(cè)脊柱和下肢骨折方面，CNN模型也展現(xiàn)出可以比擬放射科醫(yī)師的診斷能力。

TOMITA等[17]應(yīng)用CNN模型檢測(cè)椎體壓縮性骨折，其準(zhǔn)確率為89%。PRANATA等[18]以基于CNN的ResNet模型在CT圖像中自動(dòng)檢測(cè)跟骨骨折，診斷準(zhǔn)確率高達(dá)98%。CNN亦可用于髖部骨折[19-20]。 2019年CHENG等[20]在25 505幅四肢X線片上對(duì)CNN模型進(jìn)行預(yù)訓(xùn)練，而后在3 605幅骨盆正位X線片上進(jìn)一步訓(xùn)練，最后對(duì)100例髖部骨折患者進(jìn)行測(cè)試，結(jié)果顯示其在X線片上檢測(cè)髖部骨折的準(zhǔn)確率為91%，AUC為0.98。BIEN等[21]在包含1 130幅圖像的訓(xùn)練數(shù)據(jù)集上訓(xùn)練基于CNN的MRNet模型，以檢測(cè)半月板撕裂，并在120幅圖像上進(jìn)行測(cè)試，得到該模型的AUC為0.85。2019年ROBLOT等[22]及LSSAUA等[23]應(yīng)用CNN模型檢測(cè)半月板撕裂，其AUC分別為0.90、0.91。LIU等[24]報(bào)道了基于CNN的軟骨損傷自動(dòng)檢測(cè)模型，使用660幅圖像組成的訓(xùn)練集和1 320幅圖像組成的測(cè)試集，該模型檢測(cè)軟骨損傷的AUC高達(dá)0.92。2019年P(guān)EDOIA等[25]建立了基于CNN的DenseNet模型，用以檢測(cè)軟骨異常并診斷骨關(guān)節(jié)炎，其AUC為0.83。

CNN用于脊柱退行性病變領(lǐng)域包括自動(dòng)檢測(cè)椎間隙狹窄、椎管狹窄及椎體滑脫，準(zhǔn)確率分別達(dá)75%、94%及95%[26]。此外，基于CNN的骨齡自動(dòng)檢測(cè)在DL領(lǐng)域已有較多研究[27-31]。北美放射學(xué)會(huì)兒童骨齡ML挑戰(zhàn)賽共收入105種競(jìng)賽模型，根據(jù)骨齡估計(jì)值與真實(shí)參考值之間的絕對(duì)差值的平均值對(duì)提交模型進(jìn)行排序，其中BILBILY和CICERO開發(fā)的CNN模型最終以平均絕對(duì)差值為4.27個(gè)月取得挑戰(zhàn)賽冠軍[29]。YUNE等[32]報(bào)道了一種基于CNN的VGG16模型，可通過手掌和手腕部X線片評(píng)估性別，準(zhǔn)確率可達(dá)96%；類激活圖顯示，該模型主要通過集中于橈骨遠(yuǎn)端、第二和第三掌骨基底部及第三掌指關(guān)節(jié)的特征實(shí)現(xiàn)性別區(qū)分。

2.2 病變分級(jí) ANTONY等[33]利用CNN模型創(chuàng)建了膝關(guān)節(jié)骨關(guān)節(jié)炎自動(dòng)量化系統(tǒng)，將膝關(guān)節(jié)骨關(guān)節(jié)炎分為輕度、中度和重度。2018年TIULPIN等[34]使用Siamese CNN模型在多中心骨關(guān)節(jié)炎研究(multicenter osteoarthritis study, MOST)數(shù)據(jù)集共18 376幅圖像上進(jìn)行訓(xùn)練，并在骨關(guān)節(jié)炎創(chuàng)始(osteoarthritis initiative, OAI)數(shù)據(jù)集5 960幅圖像上進(jìn)行測(cè)試，結(jié)果顯示，根據(jù)骨關(guān)節(jié)炎凱爾格倫-勞倫斯(Kellgren-Lawrence, K-L)分級(jí)，CNN模型的AUC為0.93，提示該模型具有學(xué)習(xí)相關(guān)骨關(guān)節(jié)炎特征的能力。上述報(bào)道中同樣包括了類激活圖，可顯示模型做出決策的依據(jù)主要來自于哪些區(qū)域，使得模型的自動(dòng)決策過程具有一定透明性。

JAMALUDIN等[35]開發(fā)了用于退變椎間盤自動(dòng)分級(jí)的CNN模型，模型使用包含12 018幅圖像的數(shù)據(jù)集，根據(jù)Pfirrmann分級(jí)標(biāo)準(zhǔn)，準(zhǔn)確率可達(dá)70%。LU等[36]報(bào)道了一種用于椎間孔狹窄和椎管狹窄自動(dòng)分級(jí)的ResNeXt-50模型，使用22 796幅圖片作為訓(xùn)練集，對(duì)椎間孔狹窄分級(jí)的平均準(zhǔn)確率達(dá)78%，對(duì)椎管狹窄分級(jí)的平均準(zhǔn)確率可達(dá)80%。

2.3 分割解剖結(jié)構(gòu) 在2018年國(guó)際醫(yī)學(xué)圖像計(jì)算和計(jì)算機(jī)輔助干預(yù)協(xié)會(huì)(medical image computing and computer assisted intervention society, MICCAI)椎間盤分割挑戰(zhàn)賽中，GEORGIEV等[37]使用二維集成算法的CNN分割模型以戴斯相似系數(shù)(Dice similarity coefficient, DSC)0.91獲得挑戰(zhàn)賽冠軍。在此基礎(chǔ)之上，2019年DOLZ等[38]使用MICCAI提供的公開數(shù)據(jù)集開發(fā)并訓(xùn)練了CNN模型IVD-Net，利用多模態(tài)圖像信息進(jìn)行椎間盤分割，最佳DSC可達(dá)0.92。

2018年LIU等[39]開發(fā)了一種基于CNN模型SegNet的膝關(guān)節(jié)骨與軟骨自動(dòng)分割方法，利用膝關(guān)節(jié)影像分割2010(segmentation of knee images 2010, SKI10)數(shù)據(jù)集進(jìn)行訓(xùn)練和驗(yàn)證，獲得的標(biāo)準(zhǔn)化SKI10評(píng)分為64.1分，表明其性能優(yōu)于U-Net分割模型(SKI10評(píng)分為53.0分)。

3 小結(jié)與展望

CNN是一種具有優(yōu)秀圖像分析能力的AI算法[40]，在骨骼肌肉放射學(xué)中主要用于檢測(cè)病變、進(jìn)行分級(jí)和分割解剖結(jié)構(gòu)。目前CNN應(yīng)用研究尚僅限于部分器官和組織，未能用于全身影像學(xué)檢查，但過去數(shù)年中的多項(xiàng)研究結(jié)果表明，CNN在評(píng)估醫(yī)學(xué)圖像某些方面已具有專家級(jí)表現(xiàn)。隨著研究的不斷深入，相信在不久的未來，CNN將變革放射科現(xiàn)行工作模式，對(duì)放射學(xué)發(fā)展產(chǎn)生劃時(shí)代的影響。