張樂平綜述 付曠審校

深度學(xué)習(xí)(deep learning,DL)是機(jī)器學(xué)習(xí)的一個分支，可以自動識別圖像中的特征，它是由多個處理層組成的計(jì)算學(xué)習(xí)模型，具有多個抽象級別的數(shù)據(jù)表示，在醫(yī)學(xué)領(lǐng)域，尤其是放射學(xué)領(lǐng)域，已經(jīng)有大量關(guān)于DL的研究，顯示了巨大的前景。

膝關(guān)節(jié)骨性關(guān)節(jié)炎(knee osteoarthritis, KOA)是一種復(fù)雜的異質(zhì)性疾病，是老齡化人群中常見的致殘?jiān)?。KOA的病理生理學(xué)特征是軟骨的破壞及相鄰組織和軟骨下骨的相關(guān)變化，導(dǎo)致關(guān)節(jié)衰弱癥狀，包括疼痛和殘疾，并伴有結(jié)構(gòu)性畸形[1]，因此，個體水平上疾病進(jìn)展的預(yù)后是復(fù)雜的。常規(guī)的影像學(xué)檢查對KOA的早期診斷及治療預(yù)后預(yù)測是局限的。隨著人工智能在醫(yī)學(xué)中的蓬勃發(fā)展，將會為其提供參考，DL最近已被應(yīng)用于KOA的評估、分類和進(jìn)展預(yù)測[2-3]。

1 DL概況

DL不是一種特定的算法，而是一種涉及多個層次的技術(shù)[4]。DL方法通過組合簡單但非線性的模塊獲得，每個模塊將一個層次的表示轉(zhuǎn)換為更高、更抽象層次的表示。通過組合足夠多的此類轉(zhuǎn)換，可以學(xué)習(xí)非常復(fù)雜的函數(shù)。對于分類任務(wù)，更高層次的表示會放大對區(qū)分重要的因素，并抑制不相關(guān)的變化，DL的關(guān)鍵方面是這些功能層不是由人類工程師設(shè)計(jì)的，它們是通用學(xué)習(xí)程序從數(shù)據(jù)中得到的[5]。DL模型通?；谌斯ど窠?jīng)網(wǎng)絡(luò)，這是節(jié)點(diǎn)(人工神經(jīng)元)的計(jì)算框架[6]。DL可以使用2種基本的方法，分別為有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)。在有監(jiān)督學(xué)習(xí)中，計(jì)算機(jī)被賦予有標(biāo)記的數(shù)據(jù)集，其中的對象已經(jīng)被預(yù)先分類，該算法尋找區(qū)分每個類別中對象的特征。在無監(jiān)督學(xué)習(xí)中，計(jì)算機(jī)算法被賦予未標(biāo)記的數(shù)據(jù)，無監(jiān)督深度學(xué)習(xí)算法的任務(wù)是確定不同類別對象的標(biāo)簽，并將對象劃分為相應(yīng)的類別[7]。

2 DL在膝關(guān)節(jié)的研究進(jìn)展

2.1 DL與膝關(guān)節(jié)圖像分割 臨床上通過圖像分割對于確定膝關(guān)節(jié)結(jié)構(gòu)組織和對分割結(jié)果進(jìn)行分類具有重要意義[8]。然而，人工分割膝關(guān)節(jié)結(jié)構(gòu)是繁瑣、耗時的過程，這使得在臨床常規(guī)分析更大的隊(duì)列或制定個體化治療計(jì)劃變得不切實(shí)際，由此，基于DL的圖像分割有了發(fā)展機(jī)遇?，F(xiàn)階段所研究的DL自動分割絕大多是在磁共振圖像上完成的。Ambellan等[9]利用OAI和SKI10數(shù)據(jù)集結(jié)合3D統(tǒng)計(jì)形狀模型(SSMs)及2D和3D 卷積神經(jīng)網(wǎng)絡(luò)(CNN)，實(shí)現(xiàn)即使是高度病變的膝關(guān)節(jié)骨和軟骨也可以準(zhǔn)確分割的方法，并達(dá)到了與人類觀察者之間差異相當(dāng)?shù)臏?zhǔn)確性。Chen等[10]提出在質(zhì)子密度加權(quán) MR中自動分割股骨和脛骨的皮質(zhì)骨和小梁骨的模型，該模型是基于3D局部強(qiáng)度聚類的水平集自動分割和一種利用小梁表面的法向矢量確定皮質(zhì)邊界的新方法，在使用不到3%時間的情況下與手動分割結(jié)果非常一致。Byra等[11]基于U-net構(gòu)架，利用3D UTE MR序列開發(fā)了膝關(guān)節(jié)半月板自動分割的方法，使用2位放射科醫(yī)生提供的容積感興趣區(qū)(ROI)開發(fā)的模型分別獲得了0.860和0.833的Dice得分，而放射科醫(yī)生的手動分割獲得了0.820的Dice得分，深度學(xué)習(xí)模型實(shí)現(xiàn)了與放射科醫(yī)生差異性相當(dāng)?shù)姆指钚阅堋anfilov等[12]介紹了一種用于關(guān)節(jié)軟骨分割和亞區(qū)域評估的全自動方法，通過多圖譜配準(zhǔn)進(jìn)行了亞區(qū)域劃分，并提取了亞區(qū)域的體積和厚度，最終通過它們對12個月和24個月影像學(xué)骨關(guān)節(jié)炎進(jìn)展的判別能力進(jìn)行了回顧性分析，分割模型與參考分割的體積測量具有很高的相關(guān)性(r>0.934)和一致性(平均差異<116 mm3)，結(jié)果表明，所提出的方法已經(jīng)可以用于自動化骨關(guān)節(jié)炎研究中的軟骨分割和亞區(qū)域評估。Gatti等[13]提出了一種僅使用CNN從MR中分割膝關(guān)節(jié)骨和軟骨的新框架，該框架分割每個膝關(guān)節(jié)需要(91±11)s。所提出的算法展示了在沒有人工干預(yù)的情況下如何從有和沒有KOA個體的矢狀位MR序列中自動分割軟骨的能力。Perry等[14]應(yīng)用一種新的半自動評估方法，使用三維主動外觀建模量化滑膜組織體積(STV)，與手動分割相比，半自動方法明顯快于手動分割(18 min vs.71 min)，觀察者內(nèi)一致性非常好，該方法比手動分割準(zhǔn)確、可靠。

2.2 DL與KOA的評估與與預(yù)測 KOA的診斷目前依據(jù)臨床表現(xiàn)和影像學(xué)圖像[15]，這個過程有一定的主觀性。隨著DL逐漸被用于KOA的疾病診斷和預(yù)后研究中，可以更加準(zhǔn)確地早期診斷和分類KOA幫助臨床醫(yī)生精確地制定診療計(jì)劃，而了解預(yù)后也可讓醫(yī)生和患者對于疾病的治療有心理預(yù)期。Chang等[16]使用MR圖像構(gòu)建了CNN以區(qū)分疼痛的膝關(guān)節(jié)和非疼痛的膝關(guān)節(jié)，將模型性能提高到了0.853，并通過對參加研究個體的雙膝進(jìn)行MR掃描來識別與膝關(guān)節(jié)疼痛最相關(guān)的結(jié)構(gòu)性病變，該CNN同時可以識別與單膝引起的強(qiáng)烈疼痛特征相關(guān)的圖像特征，確定KOA引起疼痛的來源和位置，可以極大地利于設(shè)計(jì)有針對性的個體化治療方案，以減輕癥狀和限制殘疾。Joseph 等[17]基于MR的軟骨生化成分、膝關(guān)節(jié)結(jié)構(gòu)、人口統(tǒng)計(jì)學(xué)和臨床預(yù)測因子，開發(fā)了8年內(nèi)發(fā)生KOA的影像學(xué)預(yù)測模型，該研究機(jī)器學(xué)習(xí)模型可以預(yù)測在基線檢查時無放射學(xué)KOA的受試者在8年內(nèi)發(fā)生放射學(xué)KOA的未來發(fā)展。已有研究使用MR圖像建立DL模型識別KOA形態(tài)學(xué)表型用于指導(dǎo)預(yù)防疾病進(jìn)展，針對性制定干預(yù)措施[18-19]。在KOA后期，一種治療手段是侵入性選擇全膝關(guān)節(jié)置換術(shù)(TKR)，該手術(shù)存在一定并發(fā)癥風(fēng)險，Tolpadi等[20]將臨床和人口統(tǒng)計(jì)信息與MR圖像相結(jié)合，基于3D DESS MR圖像設(shè)計(jì)一個CNN模型來預(yù)測是否需要侵入性干預(yù)，模型的準(zhǔn)確度為(78.5±0.134)%，敏感度為(81.8±0.643)%，特異度為(78.4±0.138)%。該模型以高敏感度和特異度識別有TKR風(fēng)險的患者，對于沒有或中度KOA患者，可以延長膝關(guān)節(jié)健康并延遲TKR的非侵入性治療時間。此模型是第一個應(yīng)用3D CNN 從 MR預(yù)測TKR的模型。Abbas等[21]將機(jī)器學(xué)習(xí)模型(MLMS)擬合到SCIKIT-Learn和PyTorch中的訓(xùn)練集，并在驗(yàn)證集上調(diào)整參數(shù)，模型被訓(xùn)練以使均方誤差(MSE)最小，來預(yù)測全膝關(guān)節(jié)置換(TKA)的手術(shù)持續(xù)時間(DOS)和術(shù)后住院時間(LOS)。該研究表明，傳統(tǒng)和DL模型在預(yù)測TKA患者的DOS和LOS方面表現(xiàn)優(yōu)于平均回歸模型。

2.3 DL與膝關(guān)節(jié)軟骨 KOA會出現(xiàn)膝關(guān)節(jié)軟骨的厚度變化和缺損，因此，發(fā)現(xiàn)軟骨的變化對KOA的早發(fā)現(xiàn)、早診斷、早治療是十分有必要的。MR 是KOA研究中無創(chuàng)評估關(guān)節(jié)軟骨厚度、完整性和質(zhì)量的最佳方式[22]。Vaarala等[23]用3D DESS序列基于灰度共生矩陣的3D紋理分析開發(fā)了一種預(yù)測KOA軟骨發(fā)病和進(jìn)展的紋理方法，該方法對放射學(xué)KOA前后的軟骨變化都很敏感，它能夠檢測對照組、緩慢進(jìn)展組和快速進(jìn)展組的縱向變化，并可以區(qū)分由于KOA和衰老引起的軟骨改變。Thomas等[24]設(shè)計(jì)了一款全自動股骨軟骨分割模型，用于測量T2松弛值和縱向變化，結(jié)果表明對軟骨健康的評估使用研究中的模型與專家評估一致性較好。Schiratti等[25]使用DL來建立KOA未來進(jìn)展的預(yù)測模型來評估MR圖像是否可以預(yù)測未來12個月軟骨進(jìn)一步退化。研究顯示利用COR TSE圖像，所提出的分類模型AUC為65%，以SAG 3D DESS圖像作為輸入，該模型的AUC為 63%，高級放射科醫(yī)生獲得的AUC為59.72%，這是監(jiān)督學(xué)習(xí)方法首次應(yīng)用于MR預(yù)測膝關(guān)節(jié)骨關(guān)節(jié)炎軟骨的進(jìn)展。這項(xiàng)可行性研究表明，DL有可能支持放射科醫(yī)生完成識別疾病進(jìn)展高風(fēng)險患者的艱巨任務(wù)。

2.4 DL與膝關(guān)節(jié)半月板 半月板在膝關(guān)節(jié)運(yùn)動過程中減震、分散重力和減少摩擦方面發(fā)揮著關(guān)鍵作用。Bien等[26]開發(fā)了一種利用CNN(主要構(gòu)建塊MRNet)來檢測膝關(guān)節(jié)中的一般異常和特定診斷的DL模型，研究納入了1 370個數(shù)據(jù)集。在檢測膝關(guān)節(jié)異常和半月板撕裂時，該模型AUC值分別為0.937和0.847，該DL模型實(shí)現(xiàn)了利用MR圖像從內(nèi)部和外部數(shù)據(jù)集快速生成準(zhǔn)確的膝關(guān)節(jié)臨床病理學(xué)分類。Tack 等[27]基于CNN，提出了一種新穎且計(jì)算效率高的方法用于檢測MR數(shù)據(jù)中半月板撕裂，研究首先在3D MR序列 DESS中運(yùn)行，而后推廣到IW TSE掃描序列，研究所提出的方法在檢測DESS和IW TSE MR數(shù)據(jù)中的半月板撕裂方面實(shí)現(xiàn)了高精度。Hung等[28]訓(xùn)練和評估一個用于自動檢測MR半月板撕裂的深度學(xué)習(xí)模型，在內(nèi)部測試、內(nèi)部驗(yàn)證和外部驗(yàn)證數(shù)據(jù)集上，該模型檢測半月板撕裂的總準(zhǔn)確率分別為95.4%、95.8%和78.8%，具有較高的敏感度、特異度和準(zhǔn)確度。

2.5 DL與膝關(guān)節(jié)軟骨下骨 軟骨下骨在骨關(guān)節(jié)炎的發(fā)病機(jī)制中發(fā)揮作用，軟骨下骨也被認(rèn)為是潛在的疾病修飾骨關(guān)節(jié)炎藥物的靶點(diǎn)[29-31]。Chang等[32]利用CNN和U-Net提出了可以提取軟骨下骨長度(SBL)的預(yù)測模型，研究表明SBL平均值越高膝關(guān)節(jié)疼痛和殘疾風(fēng)險越高，并增加后期TKR的風(fēng)險。Hirvasniemi等[33]對665例膝關(guān)節(jié)數(shù)據(jù)集的脛骨軟骨下骨進(jìn)行半自動提取放射學(xué)特征，研究使用了包括年齡和BMI的協(xié)變量模型、圖像特征模型，以及協(xié)變量加圖像特征的組合模型，使用Elastic Net回歸降維和分類并進(jìn)行10倍交叉驗(yàn)證區(qū)分有無KOA。有無KOA的脛骨軟骨下骨的放射特征是不同的，可以此來區(qū)分KOA。

2.6 DL與膝關(guān)節(jié)韌帶 膝關(guān)節(jié)由韌帶結(jié)構(gòu)固定，維持關(guān)節(jié)的穩(wěn)定性。韌帶撕裂可導(dǎo)致膝關(guān)節(jié)疼痛、腫脹、不穩(wěn)定、骨質(zhì)疏松和骨關(guān)節(jié)炎。Awan等[34]用917個膝關(guān)節(jié)數(shù)據(jù)訓(xùn)練了標(biāo)準(zhǔn)五層CNN和定制CNN模型對健康、半撕裂、全撕裂的前交叉韌帶進(jìn)行分類，結(jié)果表明，定制CNN模型實(shí)現(xiàn)了 98% 以上的準(zhǔn)確度、精度、特異度和敏感度，可以實(shí)現(xiàn)對前交叉韌帶損傷較為準(zhǔn)確的分類。Li等[35]提出了基于DL的MR多模態(tài)特征融合模型，用于對前交叉韌帶損傷的診斷，結(jié)果表明矢狀位檢測在前交叉韌帶(ACL)撕裂預(yù)測中具有很大的優(yōu)勢，準(zhǔn)確率高達(dá)96.28%?；贒L的MR顯著提高了診斷ACL損傷的能力，并提高了診斷韌帶損傷的敏感度、特異度和準(zhǔn)確度。Zhang等[36]基于3D DenseNet的架構(gòu)構(gòu)建的一個分類CNN同樣證明使用基于DL的自動檢測系統(tǒng)來評估ACL損傷的可行性。Minamoto等[37]基于CNN訓(xùn)練了能夠評估前交叉韌帶損傷的深度學(xué)習(xí)模型，其敏感度、特異度、準(zhǔn)確度、陽性預(yù)測值和陰性預(yù)測值分別為91.0%、86.0%、88.5%、87.0%和91.0%，結(jié)果表明準(zhǔn)確度可與人工相當(dāng)。

3 小結(jié)與展望

DL在近幾年迅速發(fā)展，已經(jīng)應(yīng)用于KOA分割、診斷、預(yù)測等各個方面，但仍存在一些不足。首先是DL算法固有的黑盒性質(zhì)和其算法的復(fù)雜性。為了滿足對膝關(guān)節(jié)損傷的可信賴檢測系統(tǒng)的需求，醫(yī)學(xué)診斷算法應(yīng)滿足許多要求，例如透明度、可解釋性、易用性，以便獲得臨床醫(yī)生的信任。AI可解釋性和輕量級DL是此類系統(tǒng)在日常臨床實(shí)踐中廣泛使用的關(guān)鍵推動因素。輕量級 DL 領(lǐng)域的目標(biāo)是開發(fā)具有更淺層架構(gòu)的模型，而且速度更快、數(shù)據(jù)效率更高，同時保持高性能標(biāo)準(zhǔn)。其次，現(xiàn)在已有DL模型研究大部分是評估單獨(dú)結(jié)構(gòu)或組織的病變，如軟骨、半月板及韌帶等，但如果大規(guī)模應(yīng)用于臨床，多個模型的應(yīng)用就會增加診斷的復(fù)雜性，日后的研究應(yīng)注重更多關(guān)注整體的診斷模型，來解決此類問題。

總之，DL在KOA的評估、診斷與預(yù)測中顯示了其巨大的優(yōu)勢，人工智能分析有望徹底改變膝關(guān)節(jié)醫(yī)學(xué)信息學(xué)，實(shí)現(xiàn)精準(zhǔn)醫(yī)學(xué)和準(zhǔn)確診斷。