劉恩情，譚雪梅，蔣子月，黃成頡，張偉聰，呂 海，蘇志海

1南方醫(yī)科大學(xué)第三附屬醫(yī)院脊柱外科，廣東 廣州 510000；2中山大學(xué)附屬第五醫(yī)院脊柱外科，廣東 珠海519000

深度學(xué)習(xí)是當(dāng)前人工智能（AI）發(fā)展最為迅速的一個(gè)分支。該技術(shù)憑借自動(dòng)提取特征，高效處理高維度醫(yī)學(xué)圖像數(shù)據(jù)的優(yōu)點(diǎn)，已成為醫(yī)學(xué)圖像分析在臨床應(yīng)用的重要技術(shù)之一。骨科領(lǐng)域疾病種類(lèi)繁多，圖像數(shù)據(jù)特征清晰，內(nèi)容復(fù)雜豐富，本文就深度學(xué)習(xí)算法技術(shù)在骨科領(lǐng)域的應(yīng)用研究進(jìn)展進(jìn)行綜述，以供從事于骨科相關(guān)研究人員作參考。

1 深度學(xué)習(xí)相關(guān)概念及發(fā)展

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)中新發(fā)展的一個(gè)分支，它由多級(jí)別特征學(xué)習(xí)組成，基本過(guò)程是通過(guò)構(gòu)建多個(gè)簡(jiǎn)單非線性模塊從原始數(shù)據(jù)獲取并轉(zhuǎn)換足夠的特征信息，最后組合多層特征信息為檢測(cè)對(duì)象讓計(jì)算機(jī)自動(dòng)檢測(cè)，具有處理更復(fù)雜，更高維度的學(xué)習(xí)功能［1］。深度學(xué)習(xí)最大的特點(diǎn)是，它不再需要專(zhuān)家進(jìn)行手動(dòng)選擇特征，可自動(dòng)學(xué)習(xí)圖像數(shù)據(jù)中隱含的特征信息，并進(jìn)行特征自動(dòng)快速提取，對(duì)未知的數(shù)據(jù)進(jìn)行處理預(yù)測(cè)分析。

深度學(xué)習(xí)擅長(zhǎng)處理分析高維數(shù)據(jù)的復(fù)雜結(jié)構(gòu)，在醫(yī)學(xué)影像的結(jié)構(gòu)參數(shù)自動(dòng)測(cè)量［2-3］、病灶檢測(cè)［4-5］、疾病輔助診斷［6-7］、圖像分割［8-9］以及圖像配準(zhǔn)［10-11］這五個(gè)分析處理任務(wù)方面上已得到了廣泛的應(yīng)用與發(fā)展，并取得了顯著的成果。深度學(xué)習(xí)算法的基本框架是神經(jīng)網(wǎng)絡(luò)，其中的卷積神經(jīng)網(wǎng)絡(luò)（CNN）在醫(yī)學(xué)圖像分析處理任務(wù)表現(xiàn)最為突出［12］。但由于醫(yī)學(xué)圖像和疾病的復(fù)雜多樣性，CNN網(wǎng)絡(luò)需要不斷優(yōu)化，深度需要不斷增加，才能更好應(yīng)對(duì)和解決各種特定的任務(wù)。在結(jié)構(gòu)參數(shù)自動(dòng)測(cè)量任務(wù)和病灶檢測(cè)任務(wù)中，典型的網(wǎng)絡(luò)模型代表有CARNet、FARNet、Faster-RCNN、YOLO（you only look once）、SSD（single shot detection）等算法；AlexNet、GoogLeNet、VGGNet、ResNet以及DenseNet等網(wǎng)絡(luò)算法在計(jì)算機(jī)輔助診斷任務(wù)中為典型的網(wǎng)絡(luò)模型代表；而FCN、UNet深度學(xué)習(xí)算法最常用于醫(yī)學(xué)圖像分割任務(wù)；基于深度學(xué)習(xí)的圖像配準(zhǔn)方法主要有基于特征的組合配準(zhǔn)方法、有監(jiān)督學(xué)習(xí)的直接配準(zhǔn)方法以及無(wú)監(jiān)督學(xué)習(xí)的直接配準(zhǔn)方法，多以CNN網(wǎng)絡(luò)、UNet、空間變換網(wǎng)絡(luò)以及生成對(duì)抗網(wǎng)絡(luò)作為網(wǎng)絡(luò)算法框架。

2 深度學(xué)習(xí)在骨科領(lǐng)域的應(yīng)用

目前深度學(xué)習(xí)在骨科領(lǐng)域的臨床應(yīng)用主要包括骨關(guān)節(jié)關(guān)鍵參數(shù)測(cè)量、骨科疾病的病灶病變檢測(cè)、計(jì)算機(jī)輔助診斷分級(jí)、解剖結(jié)構(gòu)的圖像分割以及圖像配準(zhǔn)五個(gè)方面。

2.1 深度學(xué)習(xí)在骨關(guān)節(jié)關(guān)鍵參數(shù)測(cè)量的應(yīng)用

深度學(xué)習(xí)在骨關(guān)節(jié)關(guān)鍵參數(shù)測(cè)量方面的應(yīng)用主要包括骨齡預(yù)測(cè)、骨密度測(cè)量、骨關(guān)節(jié)結(jié)構(gòu)測(cè)量。

骨骼年齡評(píng)估，簡(jiǎn)稱(chēng)骨齡評(píng)估，可用于治療研究的探索與內(nèi)分泌問(wèn)題的診斷，比如遺傳性疾病和兒童生長(zhǎng)問(wèn)題。在過(guò)去的幾年里，最流行的骨齡評(píng)估方法是通過(guò)格雷里希-派爾或坦納-懷特豪斯的方法來(lái)完成的。但通過(guò)這些方法進(jìn)行骨齡評(píng)估具有一定的挑戰(zhàn)性，除了嚴(yán)重依賴(lài)醫(yī)生的領(lǐng)域知識(shí)與專(zhuān)業(yè)，而且在準(zhǔn)確評(píng)估骨齡的觀察者內(nèi)與觀察者間的差異性具有較高的偏差；更重要的是，這些方法都非常耗時(shí)。因此，很多基于深度學(xué)習(xí)的計(jì)算機(jī)輔助系統(tǒng)相繼被開(kāi)發(fā)應(yīng)用于骨齡評(píng)估預(yù)測(cè)，以幫助臨床醫(yī)生更快更準(zhǔn)確的進(jìn)行骨齡評(píng)估預(yù)測(cè)工作。在早期工作中，有學(xué)者利用了多層卷積、歸一化層和激活函數(shù)的直接組合構(gòu)建了以CNNs網(wǎng)絡(luò)為基層框架自動(dòng)骨齡評(píng)估模型，這是第一個(gè)在公共數(shù)據(jù)集上測(cè)試的、針對(duì)所有年齡范圍、種族和性別的自動(dòng)骨骼骨年齡評(píng)估模型［13］。他們同時(shí)測(cè)試了幾種自動(dòng)評(píng)估骨骼骨齡的深度學(xué)習(xí)方法，結(jié)果顯示，手動(dòng)評(píng)估和自動(dòng)評(píng)估之間的平均差異約為0.8年。2019年，有學(xué)者提出了一種基于回歸CNN可通過(guò)手部X線片實(shí)現(xiàn)自動(dòng)評(píng)估兒童骨齡的模型［14］。他們首先采用注意模塊來(lái)處理所有的圖像，并生成粗/精細(xì)的注意圖作為回歸網(wǎng)絡(luò)的輸入；然后，回歸CNN遵循對(duì)訓(xùn)練過(guò)程中動(dòng)態(tài)注意損失的監(jiān)督，從而可以更準(zhǔn)確地估計(jì)圖像的骨齡。實(shí)驗(yàn)結(jié)果表明，他們的方法在兩個(gè)大數(shù)據(jù)集上的臨床和自動(dòng)骨齡評(píng)估之間的平均差異為5.2～5.3月［14］。2020年，國(guó)內(nèi)有學(xué)者提出一種基于深度學(xué)習(xí)的Inception Resnet v2優(yōu)化網(wǎng)絡(luò)模型，并在涵蓋所有種族、性別和年齡范圍的骨齡公共數(shù)據(jù)集上訓(xùn)練模型。模型性能將平均絕對(duì)誤差降低至0.37歲，優(yōu)于現(xiàn)階段的計(jì)算機(jī)骨齡預(yù)測(cè)評(píng)估方法［15］。2021年，有學(xué)者為了評(píng)價(jià)深度學(xué)習(xí)模型在骨齡評(píng)估的準(zhǔn)確性和臨床療效，采用CNN算法開(kāi)發(fā)了格雷里希-派爾和改良的坦納-懷特豪斯混合AI骨齡評(píng)估系統(tǒng)［16］，結(jié)果表明，專(zhuān)家評(píng)估的骨齡與人工智能模型無(wú)顯著性差異，自動(dòng)人工智能評(píng)估與參考標(biāo)準(zhǔn)之間的平均絕對(duì)差異為0.39年；而且在AI模型輔助下，2 名研究放射科醫(yī)生的平均閱讀時(shí)間從54.29 s減少到35.37 s。目前，國(guó)內(nèi)外已開(kāi)發(fā)基于深度學(xué)習(xí)模型可進(jìn)行兒童骨齡檢測(cè)與評(píng)估的AI產(chǎn)品，各產(chǎn)品模型在骨齡預(yù)測(cè)的準(zhǔn)確性能近于甚至優(yōu)于臨床醫(yī)生，且效率高，實(shí)現(xiàn)秒級(jí)預(yù)測(cè)。這些產(chǎn)品可與影像存檔與通信系統(tǒng)并行運(yùn)行，輔助醫(yī)生進(jìn)行臨床決策與診斷。

在骨密度預(yù)測(cè)方面，有學(xué)者采用深度學(xué)習(xí)的回歸架構(gòu)對(duì)9925例胸部CT進(jìn)行了骨密度自動(dòng)評(píng)測(cè)研究，結(jié)果發(fā)現(xiàn)此模型借助生物標(biāo)記算法，無(wú)需顯示感興趣結(jié)構(gòu)就可自動(dòng)評(píng)測(cè)胸部CT圖像的骨密度，并與骨密度參考標(biāo)準(zhǔn)值的相關(guān)性比較，獲得了強(qiáng)相關(guān)性的皮爾斯系數(shù)0.940［17］。有研究通過(guò)采用深度學(xué)習(xí)提取的脊柱X射線圖像特征，利用各種機(jī)器學(xué)習(xí)方法建立了多種高危骨質(zhì)疏松人群的預(yù)測(cè)模型，并對(duì)各模型性能進(jìn)行了評(píng)價(jià)，他們發(fā)現(xiàn)VGGnet的特征提取和基于最大平衡分類(lèi)率的隨機(jī)森林分類(lèi)相結(jié)合的模型表現(xiàn)最好［18］。有學(xué)者開(kāi)發(fā)了一種基于深度學(xué)習(xí)的系統(tǒng)，用于在低劑量胸部計(jì)算機(jī)斷層掃描中完全自動(dòng)化骨礦物質(zhì)密度測(cè)量。其開(kāi)發(fā)的系統(tǒng)在低劑量胸部計(jì)算機(jī)斷層掃描肺癌篩查過(guò)程對(duì)機(jī)會(huì)性骨質(zhì)疏松癥具有高精度的篩查性能［19］。也有學(xué)者通過(guò)應(yīng)用CNN的深度學(xué)習(xí)模型，可以從未增強(qiáng)的腹部CT圖像中預(yù)測(cè)出腰椎椎體骨密度值［20］。2021年，國(guó)內(nèi)有研究開(kāi)發(fā)了一種基于DCNN的CT圖像中椎體分割和骨密度計(jì)算的全自動(dòng)方法，可用于CT圖像中骨質(zhì)疏松、骨質(zhì)減少、正常骨密度的全自動(dòng)識(shí)別預(yù)測(cè)。研究表明，基于DCNN的方法能夠提供準(zhǔn)確的腰椎椎體分割和骨密度的自動(dòng)計(jì)算，對(duì)臨床醫(yī)生進(jìn)行機(jī)會(huì)性骨質(zhì)疏松篩查具有很大的潛力［21］。

在骨關(guān)節(jié)結(jié)構(gòu)測(cè)量方面，有研究采用CARNet實(shí)現(xiàn)了對(duì)T1和T2序列MR脊柱圖像的椎體與椎間盤(pán)高度自動(dòng)測(cè)量［22］。在脊柱結(jié)構(gòu)參數(shù)的自動(dòng)測(cè)量研究中，有學(xué)者提出FARNet用于測(cè)量MR圖像腰椎滑脫鄰近椎體的相對(duì)位移距離的研究，準(zhǔn)確預(yù)測(cè)了腰椎滑脫的分級(jí)程度，提高了評(píng)估腰椎滑脫分級(jí)程度的一致性與準(zhǔn)確性［23］。2020年一項(xiàng)研究利用深度學(xué)習(xí)算法構(gòu)建計(jì)算機(jī)自動(dòng)測(cè)量?jī)和乳L(zhǎng)系統(tǒng)，在179例兒童X線圖像的腿長(zhǎng)測(cè)量研究中發(fā)現(xiàn)，系統(tǒng)的測(cè)量?jī)和乳L(zhǎng)的速度要比經(jīng)過(guò)系統(tǒng)培訓(xùn)的兒科放射學(xué)醫(yī)生要快96倍［3］。此外，有學(xué)者開(kāi)發(fā)了相應(yīng)的深度學(xué)習(xí)模型，可用于骨盆前后位片的關(guān)鍵點(diǎn)識(shí)別，實(shí)現(xiàn)兒童髖關(guān)節(jié)發(fā)育不良的初步診斷。該模型對(duì)髖關(guān)節(jié)脫位和髖臼指數(shù)的測(cè)量具有較高的準(zhǔn)確性，可用于兒童髖關(guān)節(jié)發(fā)育不良病例骨盆前后位片的自動(dòng)實(shí)時(shí)篩查［24］。

2.2 深度學(xué)習(xí)在骨科疾病病灶檢測(cè)的應(yīng)用研究

病灶檢測(cè)通常是指在醫(yī)學(xué)影像中定位與識(shí)別病變區(qū)域。臨床病灶檢測(cè)過(guò)程繁瑣、耗時(shí)，并具有一定主觀性，受醫(yī)生水平與經(jīng)驗(yàn)影響，容易出現(xiàn)漏檢與誤檢。而深度學(xué)習(xí)的便捷、快速以及準(zhǔn)確率高的特點(diǎn)在臨床病灶檢測(cè)愈加優(yōu)勢(shì)，可幫助醫(yī)生提高病灶檢測(cè)的效率與準(zhǔn)確性。深度學(xué)習(xí)在骨科疾病病灶檢測(cè)的應(yīng)用方面主要有骨折檢測(cè)、骨關(guān)節(jié)軟骨病灶檢測(cè)方面。

在骨折檢測(cè)方面，2017年有學(xué)者開(kāi)發(fā)了CNN模型DenseNet網(wǎng)絡(luò)，以檢測(cè)上肢骨折圖像，包括肩部、肱骨、前臂、腕部、手掌以及手指在內(nèi)的骨折，模型訓(xùn)練后的結(jié)果表明他們的模型性能水平表現(xiàn)良好，AUC 可達(dá)0.929，敏感度為0.815，特異性為0.887［25］。此外，有學(xué)者采用5種通用常見(jiàn)的深度學(xué)習(xí)網(wǎng)絡(luò)（BVLCReferenceNet、VGG8、VGG16、VGG19、Network-In-Network）對(duì)256 000例X線骨折平片進(jìn)行研究，針對(duì)骨折平片的四類(lèi)特征（骨折、身體側(cè)別、檢查方位以及骨折部位）進(jìn)行自動(dòng)檢測(cè)識(shí)別，結(jié)果表明這5種網(wǎng)絡(luò)模型在身體側(cè)別、檢查方位以及骨折部位的檢測(cè)識(shí)別準(zhǔn)確率至少為90%；而VGG16網(wǎng)絡(luò)模型在骨折分類(lèi)的檢測(cè)研究中性能表現(xiàn)最佳，準(zhǔn)確率可達(dá)83%［26］。有研究構(gòu)建了一種基于CNN深度學(xué)習(xí)的模型，用于肱骨近端骨折的骨折的檢測(cè)與分類(lèi)，在1891張X線圖像訓(xùn)練測(cè)試結(jié)果發(fā)現(xiàn)，使用深度學(xué)習(xí)在檢查肱骨近端骨折具有一定的臨床可行性，在肱骨近端骨折分類(lèi)方面，基于CNN模型性能優(yōu)于普通醫(yī)師與骨科醫(yī)師，與肩關(guān)節(jié)醫(yī)師性能相似。而且，該模型在復(fù)雜的三、四部分骨折中具有更佳的檢測(cè)性能［27］。有研究基于CNN模型，開(kāi)發(fā)了一種肋骨骨折的自動(dòng)檢測(cè)與分類(lèi)系統(tǒng)，結(jié)果發(fā)現(xiàn)該模型具有良好的診斷性能，可在較短的時(shí)間內(nèi)對(duì)肋骨骨折進(jìn)行自動(dòng)檢測(cè)與分類(lèi)，性能與放射醫(yī)生診斷水平相似，使肋骨骨折的檢測(cè)分類(lèi)過(guò)程平均縮短了132 s，且在多中心測(cè)試中證明了該模型具有較好的魯棒性［28］。有學(xué)者開(kāi)發(fā)了一種基于CNN模型的骨質(zhì)疏松性椎骨骨折自動(dòng)檢測(cè)系統(tǒng)，在1432例CT圖像數(shù)據(jù)集中進(jìn)行研究，結(jié)果發(fā)現(xiàn)其準(zhǔn)確率為89.2%［29］。在壓縮性椎體骨折方面，也有學(xué)者進(jìn)行了相關(guān)的深度學(xué)習(xí)模型的開(kāi)發(fā)與驗(yàn)證工作，他們使用深度學(xué)習(xí)算法成功構(gòu)建了一個(gè)AUC為0.949的高精度新鮮骨質(zhì)疏松性壓縮性骨折檢測(cè)系統(tǒng)［30］。該系統(tǒng)診斷性能可與兩名脊柱外科醫(yī)生相媲美，有利于幫助脊柱外科醫(yī)生進(jìn)行快速并準(zhǔn)確的診斷新鮮性骨質(zhì)疏松性壓縮性椎體骨折病灶。骨折自動(dòng)檢測(cè)系統(tǒng)在輔助醫(yī)師診斷疾病病灶中具有一定的價(jià)值，可作為醫(yī)師臨床診療的輔助手段，提高患者骨折的檢出率的同時(shí)，極大程度的減少了醫(yī)生的工作量。

MRI對(duì)骨關(guān)節(jié)軟骨病灶識(shí)別有重要的臨床意義，研究表明具有形態(tài)學(xué)軟骨成像序列的MRI對(duì)關(guān)節(jié)軟骨病灶的檢測(cè)具有高特異性，但只有中等敏感度，診斷性能準(zhǔn)確度取決于醫(yī)生的閱讀水平，只有中等程度的一致性［31］。在MRI檢測(cè)軟骨病變中開(kāi)發(fā)基于深度學(xué)習(xí)方法將有助于最大限度地提高診斷性能，同時(shí)減少主觀性、變異性和由于醫(yī)師的分心和疲勞造成的錯(cuò)誤。有學(xué)者通過(guò)使用分割與分類(lèi)的CNNs模型開(kāi)發(fā)了一種基于深度學(xué)習(xí)的全自動(dòng)膝關(guān)節(jié)軟骨病變檢測(cè)系統(tǒng)，在17 395張軟骨磁共振圖像數(shù)據(jù)集中訓(xùn)練測(cè)試研究中發(fā)現(xiàn)，此模型的AUC高達(dá)0.917，表明這套檢測(cè)系統(tǒng)具有高診斷性能，可用于檢測(cè)軟骨變性以及急性軟骨損傷［32］。此外，有學(xué)者開(kāi)發(fā)了一種基于深度學(xué)習(xí)的MRNet模型，用于檢測(cè)膝關(guān)節(jié)MRI圖像是否有一般異常、前交叉韌帶是否撕裂以及半月板是否損傷，研究發(fā)現(xiàn)MRNet模型可以快速進(jìn)行膝關(guān)節(jié)病理病變分類(lèi)，在診斷前交叉韌帶撕裂與半月板損傷方面上的準(zhǔn)確性可與放射科醫(yī)師相媲美［33］。

2.3 深度學(xué)習(xí)在骨科疾病計(jì)算機(jī)輔助診斷分級(jí)的應(yīng)用研究

計(jì)算機(jī)輔助診斷是人工智能技術(shù)在醫(yī)學(xué)影像的典型應(yīng)用，它具有一致性與高效率的優(yōu)點(diǎn)，可輔助醫(yī)生提高診斷的準(zhǔn)確性以及效率。深度學(xué)習(xí)在骨科疾病計(jì)算機(jī)輔助診斷分級(jí)方面主要有脊柱疾病分級(jí)和髖關(guān)節(jié)炎分級(jí)兩方面。

在脊柱疾病分級(jí)方面，有學(xué)者在2017年提出一種SPINENet多任務(wù)網(wǎng)絡(luò)模型，它可以同時(shí)對(duì)椎間盤(pán)退變分級(jí)、椎間隙狹窄、椎體滑脫、中央椎管狹窄、終板缺陷以及椎體骨髓信號(hào)改變等6個(gè)病理特征進(jìn)行自動(dòng)檢測(cè)分類(lèi)，結(jié)果顯示SPINENet多任務(wù)網(wǎng)絡(luò)模型可以進(jìn)行多任務(wù)檢測(cè)分類(lèi)，并具有高準(zhǔn)確度的診斷檢測(cè)能力，特別是在椎體滑脫以及中央椎管狹窄方面上表現(xiàn)最佳［34］。2020年，一項(xiàng)研究通過(guò)比較放射科醫(yī)師與計(jì)算機(jī)分類(lèi)模型的一致性驗(yàn)證計(jì)算機(jī)輔助脊柱椎管狹窄分級(jí)系統(tǒng)的臨床可行性，研究證明計(jì)算機(jī)輔助脊柱椎管狹窄分級(jí)系統(tǒng)在臨床上具有一定的可行性［35］。有學(xué)者對(duì)腰椎椎管狹窄分級(jí)的研究取得了相對(duì)不錯(cuò)的成果，其采用UNet網(wǎng)絡(luò)結(jié)構(gòu)結(jié)合脊柱曲線擬合方法創(chuàng)建了一種多輸入、多任務(wù)以及多類(lèi)的卷積神經(jīng)網(wǎng)絡(luò)模型，同時(shí)對(duì)矢狀位與軸位的腰椎磁共振圖像進(jìn)行輸入研究，最后結(jié)合自然語(yǔ)言處理方案提取計(jì)算機(jī)預(yù)測(cè)分類(lèi)結(jié)果［36］。2021年，有研究建立一種用于自動(dòng)檢測(cè)和分類(lèi)腰椎中央管、側(cè)凹槽和神經(jīng)椎間孔狹窄的深度學(xué)習(xí)模型，結(jié)果顯示，在中央管和側(cè)隱槽狹窄的檢測(cè)和分類(lèi)方面，與亞專(zhuān)科放射科醫(yī)師的一致性相當(dāng)，而在腰椎MRI中，神經(jīng)椎間孔狹窄的一致性略低［37］。該模型可在醫(yī)生的監(jiān)督下提供半自動(dòng)的報(bào)告，以提供一致和客觀的報(bào)告。

在髖關(guān)節(jié)炎分級(jí)方面，有學(xué)者創(chuàng)建了一種深度多任務(wù)檢測(cè)分類(lèi)學(xué)習(xí)模型，自動(dòng)檢測(cè)評(píng)估X線平片評(píng)估髖關(guān)節(jié)炎的嚴(yán)重分級(jí)程度，在15 364張?bào)y關(guān)節(jié)平片X線圖像數(shù)據(jù)集訓(xùn)練研究中發(fā)現(xiàn)，該模型可同時(shí)對(duì)髖關(guān)節(jié)五種病例特征進(jìn)行檢測(cè)分類(lèi)并具有高診斷性能，性能表現(xiàn)水平不亞于放射科醫(yī)師水平，并同時(shí)解決臨床上多任務(wù)分類(lèi)問(wèn)題［38］，結(jié)果證明，一種能夠可靠地分級(jí)髖關(guān)節(jié)骨性關(guān)節(jié)炎特征嚴(yán)重程度的多任務(wù)深度學(xué)習(xí)模型在臨床上具有一定可行性，特別是對(duì)于需要專(zhuān)家進(jìn)行詳細(xì)結(jié)構(gòu)評(píng)估的大型流行病學(xué)研究。雖然已開(kāi)發(fā)的基于深度學(xué)習(xí)的計(jì)算機(jī)輔助診斷分級(jí)模型的診斷性能接近于甚至優(yōu)于醫(yī)師的診斷水平，但相同疾病的不同醫(yī)師間判讀分級(jí)常常存在一定差異［39］，如何建立用于深度學(xué)習(xí)算法的金標(biāo)準(zhǔn)顯得極其重要。深度學(xué)習(xí)模型的進(jìn)一步發(fā)展可能需要一個(gè)由國(guó)際專(zhuān)家組成的共識(shí)小組，以減少任何標(biāo)記錯(cuò)誤和偏見(jiàn)。

2.4 深度學(xué)習(xí)在骨科解剖結(jié)構(gòu)圖像分割的應(yīng)用研究

圖像分割是醫(yī)學(xué)圖像分析的重要環(huán)節(jié)。醫(yī)學(xué)圖像分割之所以能夠準(zhǔn)確定位病灶位置以及確定病灶的形狀和輪廓等形態(tài)學(xué)信息，主要是通過(guò)識(shí)別圖像的內(nèi)部像素點(diǎn)或者圖像的感興趣區(qū)域進(jìn)行的。目前，在骨科領(lǐng)域中研究脊柱結(jié)構(gòu)、膝關(guān)節(jié)結(jié)構(gòu)分割較多。

脊柱圖像的自動(dòng)分割可在許多骨科應(yīng)用中發(fā)揮著重要作用，包括各種脊柱疾病的評(píng)估、診斷、手術(shù)計(jì)劃和圖像引導(dǎo)下的介入程序。有學(xué)者在2018年MICCAI椎間盤(pán)分割挑戰(zhàn)賽中憑借二維集成算法的CNN模型以Dice系數(shù)0.91獲得了挑戰(zhàn)賽冠軍［40］。2019一項(xiàng)研究開(kāi)發(fā)了CNN模型IVD-Net算法，采用多模態(tài)信息進(jìn)行椎間盤(pán)分割，最佳Dice系數(shù)可達(dá)0.92［41］。此外，國(guó)內(nèi)學(xué)者開(kāi)發(fā)并訓(xùn)練了SpineParseNet算法模型，實(shí)現(xiàn)了磁共振圖像椎間盤(pán)與椎體的多類(lèi)別分割，總體脊柱結(jié)構(gòu)分割的平均Dice系數(shù)高達(dá)0.87［42］。2020年，有研究開(kāi)發(fā)并驗(yàn)證了一個(gè)基于S3egANet的深度學(xué)習(xí)算法模型，用于在體素水平上同時(shí)進(jìn)行多個(gè)脊柱結(jié)構(gòu)的三維語(yǔ)義分割［43］。首先，S3egANet通過(guò)一個(gè)能夠提取細(xì)粒度結(jié)構(gòu)信息的多模態(tài)自編碼器模塊，明確地解決了復(fù)雜的三維脊柱結(jié)構(gòu)的高度多樣性和變異性。其次，S3egANet采用了跨模態(tài)體素融合模塊，整合了來(lái)自多模態(tài)MRI圖像的綜合空間信息。同時(shí)提出了一種多階段的對(duì)抗性學(xué)習(xí)策略，以實(shí)現(xiàn)高精度和可靠性的多個(gè)脊柱結(jié)構(gòu)模擬分割。在對(duì)90例患者的MRI圖像進(jìn)行的大量實(shí)驗(yàn)研究，結(jié)果表明，S3egANet的平均Dice系數(shù)為88.3%，平均敏感度為91.45%，顯示了其作為臨床工具的有效性和潛力。

在膝關(guān)節(jié)解剖結(jié)構(gòu)分割方面，比如半月板、軟骨與前交叉韌帶的分割結(jié)果也令人滿(mǎn)意。有學(xué)者開(kāi)發(fā)了一種SegNet卷積神經(jīng)網(wǎng)絡(luò)算法模型，采用了CNN模型與三維可變形建模組合的方法在膝關(guān)節(jié)圖像可快速進(jìn)行軟骨與骨解剖結(jié)構(gòu)的自動(dòng)分割［44］。有學(xué)者優(yōu)化了2D-UNet算法模型，對(duì)膝關(guān)節(jié)磁共振圖像數(shù)據(jù)進(jìn)行軟骨與半月板解剖結(jié)構(gòu)的自動(dòng)分割研究，結(jié)果表明2D-UNet算法模型可用于膝關(guān)節(jié)磁共振圖像中形態(tài)學(xué)特征的快速提取與自動(dòng)分割，在臨床上具有一定的可行性［45］。有研究開(kāi)發(fā)一種針對(duì)前交叉韌帶的自動(dòng)分割深度學(xué)習(xí)模型，能夠在臨床和研究環(huán)境中促進(jìn)對(duì)該韌帶的定量評(píng)估［46］。他們?cè)趯?duì)246張完整前交叉韌帶穩(wěn)態(tài)磁共振圖像中的改良UNet全卷積網(wǎng)絡(luò)模型進(jìn)行了訓(xùn)練、驗(yàn)證和測(cè)試,結(jié)果顯示從自動(dòng)分割模型中提取的定量測(cè)量與人工分割沒(méi)有區(qū)別，使它們能夠用于定量磁共振成像管道來(lái)評(píng)估前交叉韌帶。

三維骨科結(jié)構(gòu)分割是減少費(fèi)時(shí)消耗問(wèn)題，為疾病治療和手術(shù)提供定量參數(shù)的關(guān)鍵。然而，骨科結(jié)構(gòu)分割的相關(guān)研究大多是基于二維或三維單結(jié)構(gòu)分割。由于脊柱結(jié)構(gòu)的高度復(fù)雜性，具有始終可靠、高精度的三維多重脊柱結(jié)構(gòu)的分割仍然是一個(gè)重大的挑戰(zhàn)。

2.5 基于深度學(xué)習(xí)骨科圖像融合配準(zhǔn)的應(yīng)用研究

圖像配準(zhǔn)是圖像處理中一個(gè)基本問(wèn)題，它是指在同一應(yīng)用場(chǎng)景中將從不同時(shí)間、不同角度、不同傳感器獲取的兩張圖像進(jìn)行對(duì)齊的過(guò)程［47］。2010年，有學(xué)者在尋求建立頸段脊柱前路手術(shù)相關(guān)結(jié)構(gòu)的數(shù)字模型及三維可視化方法研究中，采用CT斷層數(shù)據(jù)集作為基準(zhǔn)三維坐標(biāo)，用Mimics 軟件Simulation 模塊Reposition 功能對(duì)各個(gè)數(shù)字模型基于解剖結(jié)構(gòu)外輪廓特征提取的匹配方法與連續(xù)CTA 動(dòng)脈造影，MR 脊髓造影及臂叢神經(jīng)薄層MRI 連續(xù)掃描斷層圖像進(jìn)行多模態(tài)圖像配準(zhǔn)和校準(zhǔn)［48］。該研究雖然成功構(gòu)建了頸段脊柱前路手術(shù)相關(guān)解剖結(jié)構(gòu)的三維可視化模型，可應(yīng)用于數(shù)字化解剖教學(xué)，交互式方式進(jìn)行手術(shù)訓(xùn)練和手術(shù)入路的設(shè)計(jì)；但此方法耗時(shí)長(zhǎng)，在實(shí)際應(yīng)用中很難保證實(shí)時(shí)性?；谏疃葘W(xué)習(xí)的圖像配準(zhǔn)方法可以大大提升配準(zhǔn)的實(shí)用性與減少配準(zhǔn)時(shí)間，有著更優(yōu)越的表現(xiàn)性能，逐漸成為研究圖像配準(zhǔn)方法的主流。在骨科領(lǐng)域方面的圖像配準(zhǔn)研究，已有部分學(xué)者初步在嘗試。

術(shù)前三維圖像與術(shù)中二維圖像或者三維圖像的配準(zhǔn)是圖像引導(dǎo)介入手術(shù)的關(guān)鍵技術(shù)之一。有研究采用CNN回歸預(yù)測(cè)配準(zhǔn)模型對(duì)數(shù)字重建放射影像與X線圖像進(jìn)行圖像配準(zhǔn)研究，在膝關(guān)節(jié)假體配準(zhǔn)圖像中模型只需0.1 s即可快速實(shí)現(xiàn)配準(zhǔn)，平均配準(zhǔn)誤差在0.593 mm［49］；也有學(xué)者使用卷積神經(jīng)網(wǎng)絡(luò)算法模型對(duì)術(shù)中脊柱CBCT圖像與術(shù)前CT圖像進(jìn)行跨模態(tài)的圖像配準(zhǔn)研究［50］。近年來(lái)，也有學(xué)者提出帶有生物力學(xué)約束的神經(jīng)網(wǎng)絡(luò)進(jìn)行術(shù)前脊柱磁共振圖像與術(shù)中CBCT圖像的跨模態(tài)配準(zhǔn)研究［51-52］。在脊柱形態(tài)學(xué)分析研究中，已有學(xué)者開(kāi)發(fā)了一個(gè)腰椎CT/MRI融合圖像系統(tǒng)，該系統(tǒng)可以使用深度學(xué)習(xí)從MRI腰神經(jīng)體積數(shù)據(jù)中自動(dòng)提取三維腰神經(jīng)根圖像，然后與腰椎CT圖像進(jìn)行多模態(tài)圖像融合配準(zhǔn)，主要研究?jī)?nèi)鏡下經(jīng)椎間孔手術(shù)入路三維Kambin三角的形態(tài)結(jié)構(gòu)，評(píng)估與量化手術(shù)術(shù)野中操作的安全區(qū)域［53］。該系統(tǒng)可用于椎間孔結(jié)構(gòu)相關(guān)參數(shù)測(cè)量與評(píng)估，包括骨骼和神經(jīng)三維解剖關(guān)系，以確保微創(chuàng)手術(shù)的安全。雖然基于深度學(xué)習(xí)算法的圖像配準(zhǔn)已有學(xué)者進(jìn)行相關(guān)研究并證明在實(shí)時(shí)性上優(yōu)于傳統(tǒng)的圖像配準(zhǔn)方法，但目前深度學(xué)習(xí)算法在圖像配準(zhǔn)精度還不能完全滿(mǎn)足臨床骨科手術(shù)的需求（特別是微創(chuàng)手術(shù)方面上）。如果需要進(jìn)一步將其應(yīng)用場(chǎng)景擴(kuò)大到術(shù)中實(shí)時(shí)導(dǎo)航等手術(shù)中，進(jìn)一步提升圖像配準(zhǔn)的精度將是未來(lái)深度學(xué)習(xí)算法在圖像配準(zhǔn)研究的主要解決問(wèn)題。

3 總結(jié)與展望

本文主要針對(duì)骨關(guān)節(jié)關(guān)鍵參數(shù)測(cè)量、病灶檢測(cè)、疾病分級(jí)、圖像分割以及圖像配準(zhǔn)五大臨床圖像處理分析任務(wù)，綜述地介紹了深度學(xué)習(xí)在骨科領(lǐng)域的應(yīng)用現(xiàn)狀。目前，雖然深度學(xué)習(xí)在骨科領(lǐng)域的不同圖像分析任務(wù)中有著廣泛的應(yīng)用，并取得了一定的成果，但仍然面臨著模型遷移能力差、數(shù)據(jù)標(biāo)注成本高、可解釋性差等挑戰(zhàn)。

針對(duì)模型遷移能力差這一痛點(diǎn)，在數(shù)據(jù)收集時(shí)，應(yīng)建立具有統(tǒng)一圖像標(biāo)準(zhǔn)的、多中心、高質(zhì)量以及大規(guī)模的骨科影像學(xué)的人工標(biāo)注數(shù)據(jù)庫(kù)，這樣才能解決數(shù)據(jù)質(zhì)量問(wèn)題，訓(xùn)練出更為復(fù)雜、精準(zhǔn)、穩(wěn)定的模型，進(jìn)而開(kāi)發(fā)出相關(guān)臨床輔助工作產(chǎn)品，使其在臨床實(shí)踐中落地。為了解決數(shù)據(jù)標(biāo)注成本高這一難點(diǎn)，可以考慮眾包數(shù)據(jù)標(biāo)注，構(gòu)建開(kāi)放的眾包數(shù)據(jù)標(biāo)注平臺(tái)，讓眾多專(zhuān)業(yè)人員志愿參與到數(shù)據(jù)標(biāo)注的工作中，如在一些用戶(hù)量較大的醫(yī)學(xué)論壇網(wǎng)站上采用圖片驗(yàn)證碼的形式，讓用戶(hù)登錄網(wǎng)站時(shí)通過(guò)輸入正確的圖像標(biāo)注完成圖片驗(yàn)證碼的驗(yàn)證。另一方面，也可以研究自監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)、弱監(jiān)督學(xué)習(xí)等模型，降低深度學(xué)習(xí)模型對(duì)數(shù)據(jù)的依賴(lài)性。深度學(xué)習(xí)可解釋性差源于數(shù)學(xué)、腦科學(xué)等基礎(chǔ)研究的滯后性，提升基礎(chǔ)研究水平將是提升深度學(xué)習(xí)可解釋性的有效途徑。

綜上所述，深度學(xué)習(xí)在骨科領(lǐng)域的應(yīng)用研究雖然還處于初級(jí)階段，但是其未來(lái)的應(yīng)用前景依舊樂(lè)觀，這將離不開(kāi)計(jì)算機(jī)科學(xué)家、醫(yī)療行業(yè)專(zhuān)家以及醫(yī)學(xué)圖像研發(fā)企業(yè)專(zhuān)家的緊密合作，共同攜手創(chuàng)造智慧醫(yī)療新時(shí)代。