卷積神經(jīng)網(wǎng)絡(luò)在口腔醫(yī)學(xué)影像領(lǐng)域的應(yīng)用現(xiàn)狀*

程一彤 武 峰

人工智能(Artificial Intelligence,AI)是研究通過計算機模擬人類某些智能行為和思維過程的學(xué)科,主要包括計算機實現(xiàn)智能的原理、制造類似于人腦智能的計算機,使其實現(xiàn)更高層次的應(yīng)用[1]。深度學(xué)習(xí)是一種人工智能方法，可以在醫(yī)學(xué)診斷、臨床決策、個性化治療等方向為臨床醫(yī)生提供幫助。其優(yōu)勢在于，從原始數(shù)據(jù)開始，深度學(xué)習(xí)通過從淺層到深層的非線性激活函數(shù)處理特征。當(dāng)深入到更深層時，原始數(shù)據(jù)被轉(zhuǎn)換成適合表示原始數(shù)據(jù)的高維特征[2]。深度學(xué)習(xí)中的分類、分割、檢測等算法也都大大減少了醫(yī)生、專家的工作量，并能輔助提取出某些人類難以識別的特征。

目前，深度學(xué)習(xí)技術(shù)已經(jīng)成功地運用于臨床醫(yī)學(xué)的各個分支領(lǐng)域，例如檢測胃癌[3]和乳腺癌[4]；腫塊或正常乳腺組織分類[5]、肺結(jié)節(jié)分類[6]；肝臟[7]及心室[8]的分割等研究，且準(zhǔn)確率達到95%以上。隨著口內(nèi)數(shù)字化X 線片、曲面體層攝影、錐形束CY(Cone beam Computed Yomography，簡稱CRCY)等影像設(shè)備的普及及應(yīng)用，口腔影像數(shù)據(jù)呈指數(shù)型增長；然而我國口腔醫(yī)師及口腔助理醫(yī)師數(shù)量嚴(yán)重不足，放射科醫(yī)師更是少之甚少[9]。近年來自學(xué)習(xí)反向傳播算法的發(fā)展和計算能力的不斷提高，具有分層特征學(xué)習(xí)能力的卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)較深度學(xué)習(xí)方法的其他模型應(yīng)用更加廣泛。例如在口腔醫(yī)學(xué)領(lǐng)域，CNN 已經(jīng)被應(yīng)用于齲病[10-11]、根尖周病[12]等常見疾病的檢測與診斷；評估牙根形態(tài)[13]或牙槽骨喪失[14]；牙齒[15]、軟組織解剖結(jié)構(gòu)[16]的分割等。

1.卷積神經(jīng)網(wǎng)絡(luò)的概況

最為代表性的深度學(xué)習(xí)模型為CNN，因其具有強大的參數(shù)計算和數(shù)據(jù)處理能力，已成為近年來醫(yī)學(xué)圖像分析的研究熱點。CNN 一般由輸入層、卷積層、激活函數(shù)層、池化層和全連接層五種結(jié)構(gòu)組成。其中卷積層中的卷積核是整個網(wǎng)絡(luò)的核心，卷積層通過卷積核來獲得特征的提取，激活函數(shù)增加網(wǎng)絡(luò)的復(fù)雜度和表現(xiàn)力，故卷積核上的參數(shù)決定了該卷積層的作用。池化層提取主要特征，減少參數(shù)個數(shù)。全連接層將學(xué)到的特征進行分類。這些結(jié)構(gòu)組成了優(yōu)秀的CNN[17]。

CNN 是人工神經(jīng)網(wǎng)絡(luò)和計算機視覺深度學(xué)習(xí)的最新核心模型，在將大量數(shù)據(jù)輸入神經(jīng)網(wǎng)絡(luò)后，系統(tǒng)自動提取數(shù)據(jù)集的特征，通過計算機逐步地學(xué)習(xí)，從而建立學(xué)習(xí)模型。它能以高精度解決圖像識別、分割、分類等問題，在圖像處理領(lǐng)域取得了很大的成功。

對于已創(chuàng)建的神經(jīng)網(wǎng)絡(luò)的評估，需要有以下幾個指標(biāo)作為衡量標(biāo)準(zhǔn)，這樣才具有可靠性。準(zhǔn)確率指經(jīng)過系統(tǒng)的篩選后，檢測正確的樣本數(shù)占系統(tǒng)總樣本數(shù)的比率。精確率即精度是指實際診斷占系統(tǒng)診斷的比例。召回率(靈敏度)是指系統(tǒng)給出的診斷占總樣本中實際診斷的比率。而特異性則相反，是指系統(tǒng)檢測出的正常樣本占總樣本中正常的比例。F1 分?jǐn)?shù)便是精確率與召回率的調(diào)和平均值。

2.卷積神經(jīng)網(wǎng)絡(luò)在口腔醫(yī)學(xué)影像領(lǐng)域中的應(yīng)用

2.1 疾病的檢測分類與診斷 傳統(tǒng)疾病檢測與診斷的方法一般都是由圖像預(yù)處理、邊界分割、特征提取和診斷分類等幾個處理步驟組成。其中最重要的一步是從圖像中提取具有區(qū)分性的特征。然而這些特性是專家基于特定領(lǐng)域的知識所標(biāo)注的，提取出具有代表性的特征也并非易事。隨著深度學(xué)習(xí)在口腔醫(yī)學(xué)領(lǐng)域的興起，齲病、牙周病、根尖周炎等常見疾病的診斷也向“全自動數(shù)據(jù)分析”前進了一步。

Lee 等[10]評估了深度CNN 算法在根尖片上診斷齲齒的能力。其使用已訓(xùn)練好的CNN 對數(shù)據(jù)集進行預(yù)處理，并通過遷移學(xué)習(xí)進行訓(xùn)練，對圖像的灰度、白度與病變之間進行對比。最終前磨牙、磨牙和兩種聯(lián)合牙模型的診斷準(zhǔn)確率分別為89.0%、88.0%和82.0%。Choi 等[11]人利用CNN 系統(tǒng)來檢測X 線片中的鄰面齲。首先將圖中的牙齒水平對齊作為預(yù)處理，其次利用全卷積網(wǎng)絡(luò)生成齲患概率圖，最后使用優(yōu)化方案和基于邊緣的水平集方法提取可能存在齲齒的牙冠區(qū)域，F(xiàn)1 分?jǐn)?shù)達74.0%。

Chang 等[14]基于深度學(xué)習(xí)與傳統(tǒng)的計算機輔助診斷方法在全景片上利用牙體長軸、牙槽骨和釉牙骨質(zhì)界水平，對牙槽骨喪失的百分率進行分析。根據(jù)牙槽骨丟失百分率，系統(tǒng)可以對牙周病進行分期。結(jié)果顯示該方法與放射科醫(yī)生診斷能力差異無統(tǒng)計學(xué)意義(P＜0.01)。Lee 等[18]也利用深度學(xué)習(xí)算法結(jié)合預(yù)訓(xùn)練的深度CNN 結(jié)構(gòu)和自訓(xùn)練網(wǎng)絡(luò)，通過根尖周X 線片診斷牙周病。結(jié)果顯示前磨牙診斷準(zhǔn)確率為81.0%，磨牙診斷準(zhǔn)確率為76.7%。又使用臨床診斷為重度牙周病的64 顆前磨牙和64 顆磨牙進行檢測，預(yù)測拔牙的準(zhǔn)確率分別為82.8%和73.4%。Krois 等[19]設(shè)計深層CNN，通過在全景片上檢測牙槽骨吸收至根長的百分之多少對牙槽骨喪失情況進行評估。結(jié)果顯示，CNN 在有限數(shù)量的圖像片段的情況下，其診斷能力與口腔醫(yī)師相比差異無統(tǒng)計學(xué)意義(P=0.067)。Kim 等[20]提出一種基于深度學(xué)習(xí)的方法來建立一個自動診斷系統(tǒng)，以檢測全景片中的牙槽骨丟失情況。他提出的DeNYNet 方法不僅可以檢測病變，而且可以確定具體病變牙。與臨床醫(yī)生相比，DeNYNet 在測試集上的F1 分為75%，而臨床醫(yī)生的平均表現(xiàn)為69%。

Orhan 等[12]運用深度CNN 的人工智能系統(tǒng)在CRCY 中診斷根尖周炎，結(jié)果顯示人工智能系統(tǒng)能夠檢測153 個根尖周病變中的142 個。其正確檢出率為92.8%。

對于傳統(tǒng)診斷牙根縱裂的方法，臨床醫(yī)師會使用臨床檢查及CRCY 輔助進行診斷，偶爾會出現(xiàn)偏差及診斷失誤。Fukuda 等[13]利用DetectNet 建立了基于CNN 的檢測牙根縱裂深度學(xué)習(xí)模型。經(jīng)過五次交叉驗證，結(jié)果330 例牙根縱裂中，檢出267例，20 顆無骨折牙齒被誤檢。召回率為75%，精度為93%，F(xiàn)1 分?jǐn)?shù)為83%。由此可見CNN 學(xué)習(xí)模型可以作為全景片中牙根縱裂的檢測工具。

CNN 已被廣泛用于臨床疾病分類。Poedjiastoeti等[21]創(chuàng)建了一個CNN 來區(qū)分全景片中的成釉細(xì)胞瘤和牙源性角化囊性瘤。經(jīng)比較，CNN 的敏感度、特異性、準(zhǔn)確率和診斷時間分別為81.8%、83.3%、83.0%和38s，口腔頜面外科專家在這些參數(shù)上均與CNN 檢測不分上下，但診斷時間為23.1min?？梢娎肅NN 檢測可以大大減少診斷時間。

傳統(tǒng)的舌癌組織分類方法包括主成分分析、支持向量機和線性相關(guān)分析。然而，這些方法并沒有很好地對非線性效應(yīng)進行編碼。Yu 等[22]將拉曼光譜與深度CNN 相結(jié)合用于舌癌的分類。證實了ConvNets 分類器能夠通過更好地對非線性交互進行建模來規(guī)避這些問題。研究者共收集了12 例舌癌患者的光譜資料，使用核酸與氨基酸的顯著差異來開發(fā)舌癌與非腫瘤組織的分類模型，該方法具有較高的靈敏度(99.31%)和特異性(94.44%)。

2.2 牙齒的識別定位與分割 牙齒分割就是將每一顆牙齒從三維牙頜模型上準(zhǔn)確地分割出來。牙齒的識別與分割是獲取患者的牙齒幾何形狀的重要步驟。在口腔正畸領(lǐng)域，可將牙齒精確分割后進行重新排牙，從而進一步制定正畸治療計劃，并可評估治療效果。無論是X 線片還是CRCY 圖像中的牙齒識別與分割仍然是一項具有挑戰(zhàn)性的工作，因為有限的輻射劑量會導(dǎo)致圖像質(zhì)量較低，而且牙槽骨和中間骨組織還具有模糊性。傳統(tǒng)的基于幾何學(xué)的分割方法也很難實現(xiàn)單個牙齒的標(biāo)記，因此往往得不到較好的分割效果。

在過去的二十年中，牙齒分割一直是重點研究領(lǐng)域，主要依靠基于閾值和區(qū)域生長等傳統(tǒng)分割方法，而現(xiàn)在深度學(xué)習(xí)算法逐漸應(yīng)用于牙齒分割，從二維影像到三維牙齒模型。牙齒分割在影像中的難點在于牙根的分割。牙根分割主要有三個原因?qū)е率掷щy。首先，CRCY 對比度較高，信號強度比較低。第二，邊緣模糊減弱，牙根與鄰近牙槽骨信號相似。此外，相鄰的牙齒距離很近，牙根的結(jié)構(gòu)也很復(fù)雜。Xu 等[15]對各種網(wǎng)絡(luò)結(jié)構(gòu)進行了廣泛的實驗，最終得到了一種用于牙齒分割的兩級層次CNN 結(jié)構(gòu)：一種用于牙齒-牙齦標(biāo)記，另一種用于牙齒間標(biāo)記。在此基礎(chǔ)上，提出了一種新的邊界感知牙齒簡化方法，顯著提高了特征提取階段的效率。在CNN 預(yù)測之后，并進行基于圖的標(biāo)簽優(yōu)化，使用改進的模糊聚類進一步細(xì)化邊界。最終網(wǎng)格標(biāo)記方法的準(zhǔn)確率超過了最先進的基于幾何的方法，達到了99.06%的面積測量，這直接適用于正畸CAD 系統(tǒng)。它對模型表面可能存在的任何異物(如氣泡、牙科配件等)也具有很強的排干擾性。

相比整個牙齒的分割，牙內(nèi)部的解剖結(jié)構(gòu)更難以準(zhǔn)確分割。Hiraiwa 等[23]人最近進行的一項新研究，檢測了深度學(xué)習(xí)系統(tǒng)利用全景片來評估下頜第一磨牙遠(yuǎn)中根的根管數(shù)目，將CRCY 作為金標(biāo)準(zhǔn)，對400 例患者未進行根管治療的760 顆下頜第一磨牙的CRCY 及全景片進行分析。將全景片中的牙根形態(tài)進行分割，應(yīng)用于深度學(xué)習(xí)系統(tǒng)中。結(jié)果顯示，在CRCY 圖像中，21.4%的遠(yuǎn)中根可見多根管，而深度學(xué)習(xí)系統(tǒng)的判斷準(zhǔn)確性為86.9%。

Chen 等[24]提出了在YensorFlow 庫中使用CNN 特征的更快區(qū)域檢測和識別根尖片中牙齒的研究，在X 線片中進行了三個后處理步驟，即過濾系統(tǒng)、神經(jīng)網(wǎng)絡(luò)模型和規(guī)則庫模塊。他們的研究表明，該系統(tǒng)的準(zhǔn)確率和召回率都達到90%。為了證明系統(tǒng)的魯棒性，將這些算法與三位醫(yī)師手動注釋進行了比較，結(jié)果表明，機器的性能已經(jīng)接近初級口腔醫(yī)師水平。Münevver[25]利用深度學(xué)習(xí)方法在X 線片上對乳牙進行自動檢測和編號。使用更快的R-CNN Inception v2 模型，在421 幅全景片中進行訓(xùn)練和測試，最終該人工智能系統(tǒng)的靈敏度和準(zhǔn)確度分別為98.04%和95.71%。

AL Kheraif 等[26]首先應(yīng)用混合圖像分割方法對X 線片上的牙齒及其周圍組織進行分割，最后利用CNN 進行牙齒疾病檢測分類，例如：牙齒數(shù)目異常、牙齒結(jié)構(gòu)異常、修復(fù)體或種植體的存在、齲齒等?；跍y試集的檢測結(jié)果對系統(tǒng)進行了評價，準(zhǔn)確率達97.07%。Miki 等[27]基于CRCY 圖像利用CNN 研究出七種牙齒類型的自動分類系統(tǒng)。通過旋轉(zhuǎn)和強度變換增加訓(xùn)練數(shù)據(jù)，證明了該系統(tǒng)的高效率，從而證明了該系統(tǒng)的分類性能是成功的，具有較高的分類效率。Li 等[28]也研究使用深度CNN在CRCY 圖像上對牙齒類型進行自動分類。結(jié)果表明：切牙、尖牙、前磨牙和磨牙的敏感度分別為88%、86%、84%和90%。平均靈敏度為87.0%。Lin 等[29]基于全景片利用CNN 建立一個自動分類系統(tǒng)，首先檢測然后定位牙齒，最后對不同的牙齒狀況進行分類，如正常牙、修復(fù)牙、缺失牙、固定義齒、根管治療牙、冠修復(fù)牙和阻生牙。該模型經(jīng)過修正后，精度可達90.23%，取得了良好的效果。

無論是在X 線片中或是CRCY 中對牙齒進行分割，單顆牙齒的識別與分割都有利于口腔醫(yī)師分析目標(biāo)牙齒的狀況，做出更精確的診斷和治療計劃。而這一項任務(wù)已逐漸從手動轉(zhuǎn)向自動，可以很大程度上減少人為操作帶來的誤差及減少醫(yī)生的工作量，對牙齒疾病的診斷和治療都具有重要的意義。

2.3 口腔解剖結(jié)構(gòu)的定位與分割 精細(xì)解剖結(jié)構(gòu)的分割常用于醫(yī)學(xué)三維可視化、診斷或治療，特別是在復(fù)雜的醫(yī)學(xué)病例中，是許多醫(yī)學(xué)領(lǐng)域日益重要的課題。

2017 年，Arik 等[30]首次研究了深度CNN 在全自動定量頭影測量分析中的應(yīng)用。訓(xùn)練CNN 輸出不同標(biāo)志點位置的概率估計，并使用基于形狀的模型進行組合。最終在測試集上評估了整個系統(tǒng)，并與其他的技術(shù)進行了比較。該系統(tǒng)顯示了較高的解剖標(biāo)志點檢測精度(與文獻中的頂級基準(zhǔn)相比，在2mm 范圍內(nèi)的成功檢測率高1%到2%)和較高的解剖類型分類精度(測試集的平均分類精度為76%)。結(jié)果該系統(tǒng)顯示了較高的解剖標(biāo)志點檢測精度和較高的解剖類型分類精度。此研究證明僅輸入原始圖像的CNN 系統(tǒng)有望用于精確的定量頭影測量。

最近，Kwak 等[16]嘗試?yán)枚S及三維深度學(xué)習(xí)網(wǎng)絡(luò)，在CRCY 影像上檢測及分割下頜管，初步探索可得二維深度學(xué)習(xí)網(wǎng)絡(luò)分割的全局精度為96.0%，三維深度學(xué)習(xí)網(wǎng)絡(luò)分割的全局精度為99.0%。Vinayahalingam 等[31]開發(fā)并驗證了一種基于U-net 深度學(xué)習(xí)的自動化方法來檢測和分割全景片上的下頜第三磨牙牙根和下牙槽神經(jīng)，在81 張全景片中手動分割下頜第三磨牙牙根和下牙槽神經(jīng)，訓(xùn)練CNN 進行檢測。U-net 結(jié)合了低分辨率信息和高分辨率信息，能夠提供牙齒類別識別依據(jù)，并提供準(zhǔn)確分割定位依據(jù)，完美適用于口腔影像圖像分割。

2.4 輔助制定治療計劃及預(yù)后評估 在2017年，Murata 等[32]第一次嘗試將深度學(xué)習(xí)技術(shù)應(yīng)用于正畸評估。這是基于深層CNN 提出了一種自動診斷成像的深度學(xué)習(xí)模型，為正畸治療提供了一個客觀的面部特征形態(tài)學(xué)評估。其將患者的面部圖像作為訓(xùn)練數(shù)據(jù)并生成多標(biāo)簽(如面部特征的形態(tài)學(xué)評估)。最終多標(biāo)簽與面部部位的評估結(jié)果相對應(yīng)。自動診斷成像系統(tǒng)極大地減少了評估過程所需的時間。它還有助于提供客觀的診斷，這對口腔醫(yī)學(xué)、口腔醫(yī)師及患者都十分重要。

3.卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于口腔醫(yī)學(xué)影像領(lǐng)域的問題

隨著醫(yī)療大數(shù)據(jù)時代的到來及深度學(xué)習(xí)的進一步發(fā)展，深度學(xué)習(xí)技術(shù)已不斷出現(xiàn)在口腔醫(yī)學(xué)領(lǐng)域及口腔診療的過程中，但仍有問題待進一步解決。

缺少高質(zhì)量的標(biāo)注訓(xùn)練樣本，可能導(dǎo)致訓(xùn)練出來的模型過擬合或者推廣性不好。這個問題不僅在口腔醫(yī)學(xué)領(lǐng)域是一個難題，在臨床醫(yī)學(xué)領(lǐng)域也廣泛存在。因此，目前有遷移學(xué)習(xí)等方法來努力解決深層網(wǎng)絡(luò)訓(xùn)練對大數(shù)據(jù)集的感知需求。該方法對于在數(shù)據(jù)量較少或關(guān)鍵資源有限的情況下訓(xùn)練網(wǎng)絡(luò)非常有效。

當(dāng)前的人工智能算法就像黑匣子一樣，使得人們很難識別或調(diào)整。因此，為了提高人工智能的可靠性，有必要開發(fā)一種能夠被人類理解和編輯的面向深度學(xué)習(xí)網(wǎng)絡(luò)的可視化和修改工具。

我們還需要強調(diào)口腔醫(yī)學(xué)領(lǐng)域數(shù)據(jù)標(biāo)準(zhǔn)化的需要，以及建設(shè)數(shù)據(jù)集的標(biāo)準(zhǔn)化。尤其是，CRCY 在不同的品牌、機器和曝光條件下表現(xiàn)出很大的圖像變化，這可能成為深入學(xué)習(xí)研究的障礙。因此，為了使利用CNN 進行三維診斷的方法切實可行，建立CRCY 圖像質(zhì)量的國際標(biāo)準(zhǔn)還是有必要的[33]。此外，CRCY 圖像不能提供優(yōu)越的軟組織分辨率，使軟組織和病變密度相似。因此，牙周炎、牙槽骨喪失等可能改變了人工智能系統(tǒng)的測量的精準(zhǔn)度。牙齒異常、不完全的根尖發(fā)育、開放的根尖部等也可能影響算法的分析。為了解決這些問題，還需要對正常解剖進行進一步的編程。

4.總結(jié)與展望

目前認(rèn)為深度學(xué)習(xí)中的CNN 是一種可以在診斷醫(yī)學(xué)、臨床決策、個性化醫(yī)療等各個領(lǐng)域為醫(yī)生提供幫助的工具。應(yīng)用于醫(yī)學(xué)領(lǐng)域的深度學(xué)習(xí)算法的診斷精度正在接近專家水平，將計算機輔助診斷的作用從“第二意見”工具轉(zhuǎn)變?yōu)楦哂袇f(xié)作性的工具。但CNN 在口腔醫(yī)學(xué)領(lǐng)域的研究剛處于起步階段，仍有光明的前景等待發(fā)掘。例如，在口腔修復(fù)領(lǐng)域，通過對三維牙頜模型進行識別、分割與多視圖特征的提取，建立數(shù)據(jù)庫，從而判別嵌塞牙位與非嵌塞牙位的異同并進行分類，為獲得準(zhǔn)確的調(diào)牙合位點、磨除量或其他個性化治療方案提供基礎(chǔ)。在口腔頜面外科，可以嘗試評估術(shù)后淋巴結(jié)轉(zhuǎn)移的可能性及復(fù)發(fā)的概率。

現(xiàn)在看來，CNN 在口腔醫(yī)學(xué)領(lǐng)域雖然取得了一定的成功，但CNN 與口腔醫(yī)學(xué)的結(jié)合仍需進一步研究，CNN 終將助口腔醫(yī)學(xué)領(lǐng)域走向更智能的階段。