蘇全健 孫 宇 齊曉志

1(中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院 深圳 518055)

2(哈爾濱工業(yè)大學(xué)深圳研究生院 深圳 518055)

1 引 言

椎弓根植釘手術(shù)一般用于治療嚴(yán)重的胸腰椎骨折等造成的脊柱不穩(wěn)定以及脊髓神經(jīng)損傷等疾病。由于脊柱病變部位的結(jié)構(gòu)復(fù)雜且含有神經(jīng)組織，手術(shù)一旦失敗將會(huì)造成不可挽回的后果。目前主要通過(guò)開放式的椎弓根植釘手術(shù)將螺釘擰入椎體，但由于可能存在橫突缺失、過(guò)大、過(guò)小，關(guān)節(jié)突增生、內(nèi)聚或者在既往手術(shù)過(guò)程中已經(jīng)被咬除等問(wèn)題，將會(huì)導(dǎo)致椎弓根螺釘?shù)娜朦c(diǎn)難以確定，且開放式的手術(shù)不利于病人的愈合。據(jù)國(guó)外文獻(xiàn)統(tǒng)計(jì)，傳統(tǒng)脊柱外科手術(shù)導(dǎo)致的各種并發(fā)癥累積發(fā)生率達(dá) 52.58%[1]，而僅在胸椎等危險(xiǎn)區(qū)域的神經(jīng)硬膜損傷的發(fā)生率高達(dá) 36.4%[2]。隨著社會(huì)發(fā)展和技術(shù)進(jìn)步，現(xiàn)代手術(shù)技術(shù)向微創(chuàng)和精準(zhǔn)方向發(fā)展，急需脊柱手術(shù)機(jī)器人技術(shù)來(lái)滿足現(xiàn)代脊柱手術(shù)精準(zhǔn)操作和安全控制的要求。目前本研究團(tuán)隊(duì)已成功開發(fā)脊柱手術(shù)機(jī)器人系統(tǒng)，該系統(tǒng)能夠輔助醫(yī)生完成椎弓根植釘手術(shù)[3]。本文在微創(chuàng)脊柱手術(shù)機(jī)器人系統(tǒng)基礎(chǔ)上，提出基于機(jī)器學(xué)習(xí)的椎弓根輔助植釘規(guī)劃方法，在傳統(tǒng)的規(guī)劃方法上進(jìn)一步優(yōu)化，大大減少了醫(yī)生在手術(shù)規(guī)劃上耗費(fèi)的時(shí)間與工作量。

在機(jī)器人輔助椎弓根植釘手術(shù)中，醫(yī)生進(jìn)行椎弓根植釘規(guī)劃時(shí)需要在手術(shù)導(dǎo)航軟件的圖像操作界面反復(fù)查看計(jì)算機(jī)斷層掃描(Computed Tomography，CT)圖像，通過(guò)在脊柱椎體橫斷面、矢狀面、冠狀面視圖中不斷調(diào)整椎弓根植釘?shù)奈恢脕?lái)完成手術(shù)規(guī)劃。在這個(gè)過(guò)程中，醫(yī)生需要花費(fèi)大量的時(shí)間在查找確定適合椎弓根植釘?shù)奈恢蒙?，這不僅需要醫(yī)生對(duì)導(dǎo)航軟件非常熟悉，而且增加了手術(shù)時(shí)間，使醫(yī)生的工作量增加，不利于手術(shù)的順利進(jìn)行。隨著機(jī)器學(xué)習(xí)在各個(gè)領(lǐng)域的應(yīng)用發(fā)展，將機(jī)器學(xué)習(xí)運(yùn)用于醫(yī)療領(lǐng)域具有很大的發(fā)展?jié)摿4]，通過(guò)機(jī)器學(xué)習(xí)可以判斷病變部位和病變種類等[5-7]。將機(jī)器學(xué)習(xí)運(yùn)用于醫(yī)療圖像中進(jìn)行相關(guān)病癥的診斷能夠起到很大的幫助，如韓國(guó)首爾大學(xué)醫(yī)學(xué)系從臨床角度批判性地回顧了機(jī)器學(xué)習(xí)分類器在情緒障礙患者的腦部結(jié)構(gòu)磁共振成像當(dāng)中的應(yīng)用[8]；美國(guó)德州大學(xué)達(dá)拉斯分校的研究人員研究了機(jī)器學(xué)習(xí)在計(jì)算癌癥生物學(xué)中的應(yīng)用[9]。目前，國(guó)內(nèi)將機(jī)器學(xué)習(xí)應(yīng)用于醫(yī)療領(lǐng)域已經(jīng)成為研究熱點(diǎn)，如南京大學(xué)研究了將機(jī)器學(xué)習(xí)運(yùn)用于肺癌與正常圖像分類[10]；上海交通大學(xué)也開展了將機(jī)器學(xué)習(xí)運(yùn)用于立體腦圖像的研究[11]，借助機(jī)器學(xué)習(xí)的方法獲取腦部圖像的相應(yīng)特征，從而提出能夠提高立體腦部圖像配準(zhǔn)精度的新型配準(zhǔn)框架。過(guò)往研究多將機(jī)器學(xué)習(xí)用于對(duì)軟組織圖像的分割，而用于脊柱手術(shù)中的研究還未有報(bào)道。

針對(duì)上述問(wèn)題，本文提出了一種快速的機(jī)器人輔助完成椎弓根植釘規(guī)劃的方法。首先，采用機(jī)器學(xué)習(xí)的方法對(duì)患者 CT 圖像中適合做椎弓根植釘手術(shù)規(guī)劃所在位置的圖像進(jìn)行識(shí)別，達(dá)到快速定位到植釘安全約束區(qū)域的目的。然后，在定位到的圖像上完成植釘規(guī)劃，醫(yī)生只需要在安全約束區(qū)域內(nèi)的規(guī)劃上完成最終的手術(shù)任務(wù)規(guī)劃，能夠減少醫(yī)生花費(fèi)在手術(shù)規(guī)劃上的時(shí)間和工作量。將機(jī)器學(xué)習(xí)應(yīng)用于椎弓根植釘手術(shù)中，能夠更加快速地確定手術(shù)位置，從而快速地輔助醫(yī)生完成手術(shù)規(guī)劃，大大減少術(shù)前的準(zhǔn)備時(shí)間，提高手術(shù)效率。

2 機(jī)器學(xué)習(xí)模型

2.1 卷積神經(jīng)網(wǎng)絡(luò)

目前比較常見(jiàn)的機(jī)器學(xué)習(xí)模型和方法主要有自動(dòng)編碼器[12]、限制波爾茲曼機(jī)[13]、深信度網(wǎng)絡(luò)[14]、卷積神經(jīng)網(wǎng)絡(luò)(Convolutionnal Neural Networks，CNN)[15]。其中，CNN 是有監(jiān)督學(xué)習(xí)下的機(jī)器學(xué)習(xí)的模型之一，具有非常強(qiáng)的適應(yīng)性。該算法特別適用于挖掘數(shù)據(jù)的局部特征，提取全局的訓(xùn)練特征并進(jìn)行分類，廣泛應(yīng)用于圖像的識(shí)別和分類，所以本文采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行脊柱 CT 圖像的識(shí)別。CNN 本質(zhì)上是多層的監(jiān)督學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，主要分為輸入層、隱含層和輸出層。其中，隱含層中的卷積層和池化層是實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)特征提取的核心模塊。卷積神經(jīng)網(wǎng)絡(luò)的低層由卷積層和池化采樣層交替組成，逐層提取特征；高層則由全連接層和邏輯回歸分類器組成。第一個(gè)全連接層的輸入是由低層的卷積層和子采樣層對(duì)輸入圖像進(jìn)行特征提取后得到的特征圖像。最后一層的輸出層是一個(gè)分類器，在分類器之前通常采用邏輯回歸，Softmax 回歸甚至是支持向量機(jī)的激活函數(shù)對(duì)全連接層提取到的特征進(jìn)行激活，實(shí)現(xiàn)對(duì)輸入圖像進(jìn)行分類。

2.2 卷積神經(jīng)網(wǎng)絡(luò)模型設(shè)計(jì)

本文使用的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)如圖1所示。整個(gè)卷積神經(jīng)網(wǎng)絡(luò)共有 8層，主要分為輸入層、隱含層和輸出層。其中，隱含層主要分為前 5層卷積層和后 3層全連接層。

圖1 卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)Fig.1Convolutional neural network architecture

2.2.1 輸入層

輸入層主要是輸入帶標(biāo)簽的樣本圖像，樣本圖像將會(huì)作為整個(gè)卷積神經(jīng)網(wǎng)絡(luò)的輸入以及最后一層全連接層的標(biāo)簽。樣本圖像通過(guò)整個(gè)網(wǎng)絡(luò)的運(yùn)算在到達(dá)最后一層時(shí)得到一個(gè)特征向量，該特征向量與標(biāo)簽進(jìn)行對(duì)比計(jì)算損失函數(shù)，進(jìn)而反向調(diào)整各個(gè)層的參數(shù)。本文輸入圖像的尺寸為255×255像素。

2.2.2 隱含層

卷積層 1和 2是相似的運(yùn)算，包含了卷積運(yùn)算、歸一化運(yùn)算和激勵(lì)運(yùn)算。卷積層后接池化層 1和 2，后 3層卷積層是相似的運(yùn)算，包含卷積運(yùn)算和激勵(lì)運(yùn)算。卷積層和池化層的作用是：一方面，保留不變性，這種不變性包括旋轉(zhuǎn)、平移、尺寸等；另一方面，在保留特征的同時(shí)減少參數(shù)和計(jì)算量，實(shí)現(xiàn)降維，防止過(guò)擬合，提高泛化能力。多層次的卷積和池化操作能夠提高整個(gè)卷積神經(jīng)網(wǎng)絡(luò)的深度，減少整個(gè)網(wǎng)絡(luò)的參數(shù)。同時(shí)，不同的卷積層和池化層能夠提供不同的感受視野，可以感受不同尺度的特征。多層次的隱含層中的某一個(gè)神經(jīng)元由上一個(gè)網(wǎng)絡(luò)層中的多個(gè)神經(jīng)元乘以權(quán)值再加上偏置之后得到，成為權(quán)值共享，能夠擴(kuò)大局部視野。權(quán)值和偏置在學(xué)習(xí)過(guò)程中通過(guò)不斷地反向迭代調(diào)整能夠求得輸出函數(shù)的最優(yōu)解，也就是實(shí)現(xiàn)最終的損失函數(shù)最小化。為了防止網(wǎng)絡(luò)梯度的下降甚至消失，在通過(guò)一定的卷積層后需要進(jìn)行全連接和回歸。隱含層 1對(duì)圖像的運(yùn)算流程如圖2所示。其他隱含層的圖像運(yùn)算相似，只是卷積核大小不同。

圖2 隱含層 1的圖像運(yùn)算Fig.2Image operations of hidden layer 1

隱含層 1中卷積運(yùn)算使用 3個(gè)卷積核，卷積核大小為 11×11像素，卷積步長(zhǎng)為 4×4像素。卷積核和卷積步長(zhǎng)較大能夠使輸出特征的尺寸較小，有利于加快第一層卷積運(yùn)算的速度。卷積與池化操作后輸出特征圖的大小可以由公式(1)、(2)獲得，最終的輸出特征圖大小為 64×64像素，設(shè)定輸出的特征圖數(shù)量為 96。

其中，Nh、Nw為輸出數(shù)據(jù)的長(zhǎng)和寬；Ih、Iw為輸入數(shù)據(jù)的長(zhǎng)和寬；Ph、Pw為填充的長(zhǎng)和寬；Kh、Kw為卷積核的長(zhǎng)和寬；Sh、Sw為卷積步長(zhǎng)的長(zhǎng)和寬。

卷積運(yùn)算之后需要對(duì)數(shù)據(jù)進(jìn)行歸一化運(yùn)算，歸一化運(yùn)算的目的是：一方面，避免在卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的過(guò)程中，由于下一步激活運(yùn)算的輸出較大而導(dǎo)致梯度變小的問(wèn)題。因?yàn)樵跈C(jī)器學(xué)習(xí)過(guò)程中，梯度越小，學(xué)習(xí)的速率越慢。如果前面的卷積層不進(jìn)行歸一化運(yùn)算，那么會(huì)造成整個(gè)卷積神經(jīng)網(wǎng)絡(luò)中，淺層網(wǎng)絡(luò)基本不學(xué)習(xí)，而深層次網(wǎng)絡(luò)一直在學(xué)習(xí)的情況。另一方面，為了防止訓(xùn)練過(guò)程中因?yàn)閿?shù)據(jù)分布的不同或者訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)分布不同，而導(dǎo)致模型泛化能力下降的問(wèn)題。為了適應(yīng)激活函數(shù)，歸一化的范圍需要相應(yīng)的調(diào)整。因?yàn)橄挛闹惺褂玫募せ詈瘮?shù)是 ReLu，所以歸一化的范圍是 0～1。歸一化過(guò)程為，首先通過(guò)公式(3)、(4)計(jì)算輸入特征圖的數(shù)據(jù)均值和方差，然后根據(jù)公式(5)對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化。

其中，為輸入的數(shù)據(jù)集；為輸入數(shù)據(jù)集的均值；為輸入數(shù)據(jù)集的方差；為歸一化后的數(shù)據(jù)。

為了在正向傳播過(guò)程中不改變當(dāng)前的輸出，假設(shè)訓(xùn)練參數(shù)，使得特征圖的輸出不變，只記錄下訓(xùn)練參數(shù)，如公式(6)所示。

歸一化運(yùn)算后需要對(duì)得到的特征圖進(jìn)行激活運(yùn)算即做非線性運(yùn)算，使用激活函數(shù)添加非線性單元，可以降低學(xué)習(xí)過(guò)程中的網(wǎng)絡(luò)過(guò)擬合現(xiàn)象。常用的激勵(lì)函數(shù)有 Sigmoid、Tanh(雙曲正切函數(shù))、ReLu(Rectified Linear Units)、ELU(指數(shù)線性單元)。本文采用 ReLu 函數(shù)，如圖3所示，通過(guò)將數(shù)據(jù)進(jìn)行 0～1的歸一化處理，避免出現(xiàn)ReLu 函數(shù)在 x 值小于 0時(shí)梯度為 0的情況。

圖3 ReLu 激勵(lì)函數(shù)Fig.3ReLu excitation function

2.2.3 輸出層

最后一層分類層即輸出層，按照訓(xùn)練樣本的分類種類將學(xué)習(xí)網(wǎng)絡(luò)學(xué)習(xí)得到的特征轉(zhuǎn)化成特征向量。由于本文將樣本種類分為 8類，所以輸出層得到的特征向量為 8維，每一維揭示了樣本圖片屬于該類別的概率大小。在輸出層之前添加最后一層全連接層并進(jìn)行 Softmax 激活操作得到最終的特征向量，即全連接層 8通過(guò)將前面神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)得到的特征圖(文中 4096個(gè)特征圖)進(jìn)行卷積操作，得到最后的 8維特征向量。該層的最后是分類函數(shù)。其中，分類函數(shù)主要用于計(jì)算測(cè)試精度和損失值來(lái)衡量整個(gè)卷積神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確性。輸出層的網(wǎng)絡(luò)示意圖如圖4所示。

圖4 輸出層網(wǎng)絡(luò)示意圖Fig.4Output layer network diagram

2.3 損失函數(shù)計(jì)算及反向傳播算法參數(shù)調(diào)整

2.3.1 損失函數(shù)的計(jì)算

本文卷積神經(jīng)網(wǎng)絡(luò)解決的是 8個(gè)類別的分類問(wèn)題，所以最后的輸出層應(yīng)該有 8個(gè)神經(jīng)元。樣本真實(shí)類別對(duì)應(yīng)的神經(jīng)元輸出是一個(gè)接近于 1的概率值，而非樣本真實(shí)類別的神經(jīng)元輸出的概率值應(yīng)該接近于 0，8個(gè)類別的概率值的和等于 1。本文卷積神經(jīng)網(wǎng)絡(luò)的最后一層全連接層采用的激活函數(shù)是 Softmax，定義如公式(7)所示。

其中，nL為 L 層即輸出層神經(jīng)元的個(gè)數(shù)；為第i 個(gè)神經(jīng)元的值；為第 i 個(gè)神經(jīng)元激活后的值。

經(jīng)過(guò)激活運(yùn)算后，保證了輸出的值在(0，1)，而作為激活函數(shù)的歸一化因子，保證了最終所有輸出神經(jīng)元的和為 1。針對(duì)Softmax 激活函數(shù)，本文選用對(duì)數(shù)似然函數(shù)作為損失函數(shù)，定義如公式(8)所示。

其中，W、b 分別為卷積運(yùn)算中的權(quán)值和偏置；yk表示理論輸出與實(shí)際輸出是否一致。假設(shè)訓(xùn)練樣本的實(shí)際輸出為第 i 類，則 yk的取值如公式(9)所示。

公式(8)可以轉(zhuǎn)化為公式(10)，其中，i 為訓(xùn)練樣本的實(shí)際類別。

2.3.2 反向傳播算法參數(shù)調(diào)整

利用反向傳播算法來(lái)調(diào)整權(quán)值和偏置是卷積神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)過(guò)程中能夠得到最優(yōu)解的關(guān)鍵步驟。通過(guò)前向傳播得到的損失函數(shù)采用一定的優(yōu)化方法，反向逐層迭代求取損失函數(shù)關(guān)于每層的權(quán)值和偏置的微分，然后進(jìn)行更新，經(jīng)過(guò)多次迭代使得最終的損失函數(shù)最小化即實(shí)現(xiàn)輸出函數(shù)最優(yōu)化。由損失函數(shù)反向傳遞時(shí)，首先需要求取關(guān)于權(quán)值 W 和偏置 b 的梯度表達(dá)式。W 的梯度計(jì)算如公式(11)所示。

其中，因?yàn)榈?L 層的第 i 個(gè)神經(jīng)元的值為：

所以，最終損失函數(shù)關(guān)于 W 的梯度為：

同樣可以得到關(guān)于偏置 b 的梯度計(jì)算如公式(14)所示。

根據(jù)得到的權(quán)值和偏置的梯度，引入學(xué)習(xí)率，即可在梯度的方向上對(duì)權(quán)值 W 和偏置 b 進(jìn)行修正，修正后的表達(dá)式如公式(15)、(16)所示。

3 脊柱骨 CT 圖像樣本分類

3.1 樣本分類標(biāo)準(zhǔn)

機(jī)器學(xué)習(xí)分為有監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)。其中，有監(jiān)督學(xué)習(xí)是通過(guò)已有的訓(xùn)練樣本去訓(xùn)練得到最優(yōu)模型。本文采用的是有監(jiān)督學(xué)習(xí)，所以需要對(duì)樣本進(jìn)行分類。對(duì)于脊柱骨 CT 圖像來(lái)說(shuō)，橫斷面是非常適合用于判斷是否適合椎弓根植釘?shù)臄鄬用?，在橫斷面上可以快速定位椎弓根植釘?shù)陌踩s束區(qū)域，且橫斷面的特征較為明顯，適合用于樣本圖像的分類。為了使最終分類樣本中類與類之間有明顯的不同特征以及獲得期望得到的分類，采取以下分類標(biāo)準(zhǔn)。

如圖5所示，把脊柱部位橫斷面圖像的特征均分為 9個(gè)區(qū)域，每個(gè)區(qū)域包含一個(gè)特征，樣本的分類將會(huì)按照是否包含 9個(gè)特征或 9個(gè)特征中的幾個(gè)特征組合進(jìn)行分類。其中，樣本特征中的特征 7、特征 8、特征 9是樣本分類中的精標(biāo)準(zhǔn)特征。本文把包含精標(biāo)準(zhǔn)特征和其他特征的圖像歸類到目標(biāo)圖像，不包含全部精標(biāo)準(zhǔn)特征的圖像歸類到非目標(biāo)圖像。在非目標(biāo)圖像的基礎(chǔ)上依據(jù)包含不同的其他特征進(jìn)行細(xì)分，有利于提高機(jī)器學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)效率和準(zhǔn)確率。如圖6所示，依據(jù)是否包含特征 1～9，將樣本圖像分為 8類。

圖5 樣本特征分布Fig.5Sample feature distribution

圖6 各樣本圖像包含的特征Fig.6Characteristics of each sample image

由于樣本圖像在獲取的過(guò)程中會(huì)受到 CT 掃描角度、掃描過(guò)程中的抖動(dòng)等因素的影響，建立樣本圖像的分類標(biāo)準(zhǔn)后，在進(jìn)行圖像的分類前需要對(duì)圖像進(jìn)行一定的預(yù)處理。為了減少抖動(dòng)對(duì)樣本圖像造成的噪聲影響，需要對(duì)圖像進(jìn)行降噪處理。常用的降噪處理方式有均值濾波、中值濾波等。如圖7所示，分別為采用均值濾波和中值濾波對(duì)有噪聲圖像進(jìn)行降噪處理的結(jié)果。

圖7 不同濾波處理效果圖Fig.7Effects of different filters

為了解決由于掃描角度不同而造成樣本圖像位置偏移的問(wèn)題，應(yīng)在網(wǎng)格劃分特征區(qū)域辨別圖像種類時(shí)對(duì)網(wǎng)格進(jìn)行平移，以達(dá)到正確獲取圖像特征區(qū)域的目的，從而對(duì)其進(jìn)行正確分類。建立網(wǎng)格時(shí)，首先通過(guò)尋找圖像的最大連通區(qū)域的圓心，即脊柱骨內(nèi)脊髓中心所在位置，以該位置為中心建立網(wǎng)格用以劃分特征區(qū)域。通過(guò)上述圖像預(yù)處理過(guò)程，可以得到 8類樣本圖像，分類結(jié)果如圖8所示。其中，樣本 1為目標(biāo)圖像，其余為非目標(biāo)樣本。

圖8 樣本分類結(jié)果Fig.8Sample classification results

3.2 樣本圖像訓(xùn)練及結(jié)果分析

3.2.1 訓(xùn)練方式

卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方式主要有交叉驗(yàn)證法、留出法和自助法。其中，交叉驗(yàn)證法也被稱為 K 折交叉驗(yàn)證法，主要原理是將樣本數(shù)據(jù)集分成大小相等的 K 份子集，每一份子集間不存在交集，然后每次訓(xùn)練時(shí)取 K－1份子集作為訓(xùn)練集，剩下的一個(gè)子集作為測(cè)試集。整個(gè)樣本數(shù)據(jù)集可以進(jìn)行 K 次訓(xùn)練和測(cè)試，最終的損失值取 K 次訓(xùn)練的平均值。按照經(jīng)驗(yàn)，K 的取值通常為 10，交叉驗(yàn)證法比較適合樣本數(shù)據(jù)集較小的情況。留出法的原理是直接將數(shù)據(jù)集分成兩個(gè)互不相交的子集，其中一個(gè)作為訓(xùn)練集，另外一個(gè)作為測(cè)試集，最終以測(cè)試集得到的損失值為測(cè)試誤差，該方法比較適合樣本數(shù)據(jù)集較大的情況。自助法的原理是假設(shè)給定的樣本數(shù)據(jù)集包含 m 個(gè)樣本，通過(guò)有放回的方式隨機(jī)抽取 m 次得到訓(xùn)練集，沒(méi)有進(jìn)入訓(xùn)練集的樣本作為測(cè)試值。該方法比較適合小數(shù)據(jù)集，但同時(shí)存在一些缺點(diǎn)，如容易引入估計(jì)偏差。綜上所述，由于本文使用的樣本數(shù)據(jù)集較小，而交叉驗(yàn)證法更適合較小數(shù)據(jù)集樣本的訓(xùn)練。因此，本文采取交叉驗(yàn)證法的訓(xùn)練方式，原理如圖9所示。

圖9 交叉驗(yàn)證訓(xùn)練原理Fig.9Cross-validation training principle

3.2.2 訓(xùn)練過(guò)程

準(zhǔn)備好樣本訓(xùn)練圖像和定義好網(wǎng)絡(luò)的模型后，接下來(lái)就是將樣本訓(xùn)練圖像作為網(wǎng)絡(luò)模型的輸入不斷地訓(xùn)練，以得到最終優(yōu)化好的輸出模型。訓(xùn)練過(guò)程中需要對(duì)一些參數(shù)進(jìn)行設(shè)定，模型訓(xùn)練的參數(shù)設(shè)置如表 1所示。因?yàn)楸疚牟捎媒徊骝?yàn)證的方式，所以整個(gè)樣本訓(xùn)練全部完成需要 10次循環(huán)。每一次樣本全部訓(xùn)練完成記錄測(cè)試樣本集的損失值以及精度，整個(gè)模型訓(xùn)練完成的周期為 150，也就是經(jīng)歷了 150次迭代。另外，初始學(xué)習(xí)率為 0.0001，每經(jīng)過(guò) 15個(gè)周期學(xué)習(xí)率降為原來(lái)的 0.2倍。因?yàn)槟Ｐ驮谟?xùn)練過(guò)程中參數(shù)是逐漸最優(yōu)化的，故學(xué)習(xí)率較大會(huì)導(dǎo)致學(xué)習(xí)過(guò)程中反向傳播調(diào)節(jié)權(quán)值和偏置時(shí)出現(xiàn)波動(dòng)，使得模型無(wú)法實(shí)現(xiàn)最優(yōu)化。網(wǎng)絡(luò)采用 GPU 進(jìn)行訓(xùn)練，最小批量為 128。

圖10為網(wǎng)絡(luò)訓(xùn)練過(guò)程中記錄的測(cè)試集損失值和精度變化情況。由圖中曲線的變化過(guò)程可以看出，損失函數(shù)在訓(xùn)練開始階段收斂速度很快，在訓(xùn)練中期收斂速度開始變慢并逐漸趨于 0。這與網(wǎng)絡(luò)模型的優(yōu)化過(guò)程是相吻合的，因?yàn)榫W(wǎng)絡(luò)模型優(yōu)化的過(guò)程是通過(guò)反向傳播來(lái)調(diào)節(jié)訓(xùn)練參數(shù)使得損失函數(shù)最小化。整個(gè)網(wǎng)絡(luò)最終的損失值穩(wěn)定在0.26左右。測(cè)試集的訓(xùn)練精度的變化趨勢(shì)與損失值是一樣的，呈現(xiàn)出逐漸遞增并最終趨于穩(wěn)定在92% 左右。綜合網(wǎng)絡(luò)模型訓(xùn)練過(guò)程中的損失值和精度變化來(lái)看，模型的優(yōu)化效果較好，且最終的模型輸出能夠滿足訓(xùn)練的預(yù)期。接下來(lái)就是將訓(xùn)練好的模型用于驗(yàn)證集的驗(yàn)證，驗(yàn)證集的數(shù)據(jù)與樣本數(shù)據(jù)集是完全無(wú)交集的，能夠確保驗(yàn)證過(guò)程中不受樣本數(shù)據(jù)的影響。

表1 網(wǎng)絡(luò)訓(xùn)練參數(shù)配置表Table 1Network training parameter configuration

圖10 網(wǎng)絡(luò)訓(xùn)練過(guò)程的模型變化Fig.10Model changes in the network training process

3.2.3 模型驗(yàn)證

為了對(duì)訓(xùn)練的模型進(jìn)行驗(yàn)證，取與樣本數(shù)據(jù)集無(wú)交集的若干圖像組成驗(yàn)證集。在驗(yàn)證數(shù)據(jù)集中包含樣本 1和樣本 3圖像各 10張，并為其打上標(biāo)簽，用訓(xùn)練好的模型進(jìn)行分類，將最終的分類結(jié)果與標(biāo)簽進(jìn)行對(duì)比，計(jì)算最終的預(yù)測(cè)精度。圖11(a)是驗(yàn)證集中標(biāo)簽為樣本 1的驗(yàn)證圖像，在訓(xùn)練好的模型下的預(yù)測(cè)結(jié)果為：10張驗(yàn)證圖像中有 9張預(yù)測(cè)結(jié)果為樣本 1，1張驗(yàn)證結(jié)果為樣本 2，預(yù)測(cè)成功率為 90%。圖11(b)是驗(yàn)證集中標(biāo)簽為樣本 3的驗(yàn)證圖像，10張驗(yàn)證圖像中有 8張預(yù)測(cè)結(jié)果為樣本 3，另外 2張的預(yù)測(cè)結(jié)果為樣本 5和樣本 6。從驗(yàn)證集的預(yù)測(cè)結(jié)果可以得出，本文使用的網(wǎng)絡(luò)模型能夠?qū)D像進(jìn)行有效的識(shí)別，對(duì)目標(biāo)圖像即樣本 1的識(shí)別率較高，通過(guò)對(duì)樣本 1圖像的有效識(shí)別，能夠快速定位到椎弓根植釘?shù)陌踩s束區(qū)域。

圖11 網(wǎng)絡(luò)模型對(duì)驗(yàn)證集的預(yù)測(cè)精度Fig.11 Prediction accuracy of network model to verification set

4 椎弓根植釘輔助規(guī)劃

4.1 椎弓根植釘?shù)囊?guī)劃方法

脊柱進(jìn)行椎弓根植釘手術(shù)時(shí)，對(duì)于椎弓根植釘?shù)倪M(jìn)釘點(diǎn)、進(jìn)釘角度來(lái)說(shuō)，螺釘?shù)拈L(zhǎng)度在頸椎、胸椎和腰椎部位是存在一定差別的。對(duì)于腰椎段的椎弓根植釘手術(shù)，國(guó)內(nèi)外醫(yī)學(xué)界許多有名的研究人員提出了有效的方法，如 Xu 等[16]提出了以兩條垂直相交直線的交點(diǎn)為進(jìn)釘點(diǎn)，垂線為過(guò)關(guān)節(jié)突間隙的延長(zhǎng)線，水平線為橫突平分線；Kawaguchi 等[17]則提出進(jìn)釘點(diǎn)位于沿固定椎體上關(guān)節(jié)突外緣的垂線與橫突平分線的交點(diǎn)。國(guó)內(nèi)學(xué)者如單云官等[18]提出“十”字定位法，第 1～4節(jié)椎體在關(guān)節(jié)突的乳突后緣中點(diǎn)劃垂直線，在橫突的副突上劃水平線，兩線的交點(diǎn)為進(jìn)釘點(diǎn)；第5節(jié)椎體的進(jìn)釘點(diǎn)是在上關(guān)節(jié)突的乳突和橫突副突之間最深處的中點(diǎn)。上述幾種方法均是以橫突和關(guān)節(jié)突為參考，對(duì)于第 1～3節(jié)椎體，進(jìn)釘?shù)膬?nèi)傾角范圍為 5°～10°；對(duì)于第 4～5節(jié)椎體，進(jìn)釘?shù)膬?nèi)傾角范圍為 10°～15°。只有進(jìn)釘?shù)纳疃缺ＷC螺釘?shù)拈L(zhǎng)度達(dá)到椎弓根軸線長(zhǎng)度的 80%，才能夠保證螺釘有足夠的力學(xué)強(qiáng)度。過(guò)長(zhǎng)則容易穿透脊柱骨對(duì)側(cè)皮質(zhì)而傷害其他組織，所以長(zhǎng)度一般取進(jìn)釘點(diǎn)至椎體前側(cè)皮質(zhì)總長(zhǎng)度的 83% 左右，螺釘?shù)慕K止點(diǎn)所在位置與中心線的偏離為椎體寬度的 1/5。圖12為腰椎段的植釘示意圖，主要從橫斷面和矢狀面去判斷椎弓根植釘?shù)囊?guī)劃是否合適。本文將參考上述植釘?shù)慕嵌?、進(jìn)釘?shù)纳疃群瓦M(jìn)釘點(diǎn)的選取方法，利用通過(guò)機(jī)器學(xué)習(xí)提取到的目標(biāo)圖像進(jìn)行椎弓根植釘?shù)囊?guī)劃。

圖12 脊柱腰椎段植釘示意圖Fig.12Implant schematic of lumbar spine

4.2 目標(biāo)圖像植釘規(guī)劃

通過(guò)卷積神經(jīng)網(wǎng)絡(luò)提取到目標(biāo)圖像后，為了在圖像上自動(dòng)完成椎弓根植釘?shù)拇忠?guī)化，需要對(duì)目標(biāo)圖像先進(jìn)行特征提取，如對(duì)稱中心線，然后根據(jù)提取到的特征采用上述植釘方法進(jìn)行相應(yīng)的運(yùn)算操作，完成對(duì)釘?shù)赖奶崛?。為了?duì)目標(biāo)圖像特征進(jìn)行有效的提取，需要對(duì)圖像進(jìn)行一定的處理，包括圖像的二值化、開閉運(yùn)算以及填充處理。如圖13所示，首先，對(duì)目標(biāo)圖像的原圖進(jìn)行二值化處理，將感興趣的特征與背景進(jìn)行分離；然后，利用圖像的開運(yùn)算去除圖像二值化之后背景區(qū)域的噪點(diǎn)，利用圖像的閉運(yùn)算對(duì)開運(yùn)算后的圖像進(jìn)行腐蝕操作使圖像平滑，加強(qiáng)邊緣；最后，利用圖像的填充處理操作來(lái)填充連通區(qū)域內(nèi)的空洞使圖像完整。

圖13 目標(biāo)圖像的處理Fig.13Target image processing

利用處理完成的圖像提取特征的中心線。中心線的提取需要兩個(gè)位置的質(zhì)心：一個(gè)是棘突前端質(zhì)心，通過(guò)查找圖像當(dāng)中最小連通域的質(zhì)心，記為 A 點(diǎn)；另外一個(gè)是椎體質(zhì)心，即圖像當(dāng)中最大連通域的質(zhì)心，記為 B 點(diǎn)。如圖14所示，將A、B 兩點(diǎn)連接在一起則為中心線。在中心線上尋找植釘所需入椎體的深度所在位置，通過(guò)取過(guò)中心線的椎體長(zhǎng)度的 80% 所在椎體位置，即圖中綠色點(diǎn)所在的位置為中心點(diǎn)，記為 C 點(diǎn)。過(guò)該點(diǎn)與中心線垂直的直線為兩側(cè)椎弓根螺釘至少應(yīng)該到達(dá)的深度位置所在的直線。

圖14 特征中心線提取Fig.14Feature centerline extraction

假設(shè)中心線的方程為，則該方程滿足通過(guò) A 點(diǎn)和 B 點(diǎn)，即滿足公式(17)。

螺釘終止點(diǎn)所在直線與中心線相交且過(guò)點(diǎn)C，假設(shè)直線方程為，則該方程滿足公式(18)。

得到螺釘終止點(diǎn)所在處的直線后，可以求得直線所在處的椎體寬度 L，螺釘植入終止點(diǎn)與 C點(diǎn)的偏移距離為 L/5。設(shè)終止點(diǎn)坐標(biāo)，則通過(guò)求解公式(19)中的方程即可得到終止點(diǎn)位置。

通過(guò)公式(19)求解得到相對(duì)中心線左右兩個(gè)終止點(diǎn)的坐標(biāo)，分別記為和。對(duì)于腰椎段，螺釘?shù)膬?nèi)傾角是10°～15°，本文統(tǒng)一使用 15°內(nèi)傾角作為規(guī)劃的標(biāo)準(zhǔn)。將釘?shù)浪谥本€延伸至 A 點(diǎn)所在直線處，該直線與中心線垂直。假設(shè)為終止點(diǎn)E1的起始點(diǎn)，則滿足方程式(20)，求解方程即可得到 S1，同理可得 S2。

圖15 釘?shù)酪?guī)劃Fig.15Planning of screw path

則終止點(diǎn)與起始點(diǎn)的連線即為規(guī)劃的釘?shù)?，圖15為在二值圖像和原始圖像中完成的釘?shù)酪?guī)劃。

5 與國(guó)內(nèi)外相似研究的對(duì)比分析

本文所提基于機(jī)器學(xué)習(xí)的機(jī)器人輔助椎弓根植釘規(guī)劃方法與國(guó)內(nèi)外現(xiàn)有研究多有不同。如De Bruijne[6]所介紹的機(jī)器學(xué)習(xí)方法主要應(yīng)用于圖像的診斷、疾病的預(yù)防和風(fēng)險(xiǎn)評(píng)估方面，對(duì)機(jī)器學(xué)習(xí)方法在醫(yī)療領(lǐng)域中的應(yīng)用遇到的困難和問(wèn)題進(jìn)行了深刻的研究。首要問(wèn)題是不同成像協(xié)議對(duì)樣本數(shù)據(jù)的影響，對(duì)于脊柱成像方式的不同，提出的解決方案有利于本文網(wǎng)絡(luò)學(xué)習(xí)的改進(jìn)。標(biāo)簽說(shuō)服力不夠是醫(yī)療圖像識(shí)別和分類的一個(gè)重要難題，本文的樣本圖像分類標(biāo)準(zhǔn)很好地對(duì)樣本圖像進(jìn)行分類，且為樣本圖像打上了強(qiáng)說(shuō)服力的標(biāo)簽，解決了這方面的難題。將機(jī)器學(xué)習(xí)作為黑箱子進(jìn)行診斷和評(píng)估是具有風(fēng)險(xiǎn)的。這是因?yàn)樵诟呔S特征空間的學(xué)習(xí)系統(tǒng)中，容易受到混雜因素的影響，解決這個(gè)問(wèn)題需要為系統(tǒng)添加補(bǔ)救措施。本文中提出的自動(dòng)進(jìn)行規(guī)劃方法的補(bǔ)救措施是醫(yī)生的最終規(guī)劃，為機(jī)器學(xué)習(xí)分類結(jié)果的正確性提供了保證。與安杰[19]用機(jī)器學(xué)習(xí)的方法對(duì)內(nèi)側(cè)顳葉癲癇患者全腦白質(zhì)的研究相比，本文不僅在樣本分類上有明確的分類標(biāo)準(zhǔn)，而且根據(jù)具體樣本優(yōu)化了網(wǎng)絡(luò)的架構(gòu)設(shè)計(jì)，很好地減少了訓(xùn)練用時(shí)，同時(shí)提高了圖像識(shí)別的準(zhǔn)確率。

6 結(jié) 論

本文采用機(jī)器學(xué)習(xí)的方法對(duì)椎弓根植釘安全約束區(qū)域的圖像進(jìn)行識(shí)別。首先，通過(guò)使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)樣本圖像進(jìn)行訓(xùn)練。然后，用訓(xùn)練完成的模型對(duì)驗(yàn)證集圖像進(jìn)行了測(cè)試驗(yàn)證，得到目標(biāo)圖像后，利用圖像的二值化和開閉運(yùn)算對(duì)圖像的特征進(jìn)行了提取。最后，對(duì)提取到的特征圖像，根據(jù)醫(yī)學(xué)上常用的椎弓根植釘?shù)囊?guī)劃方法，利用數(shù)學(xué)運(yùn)算求解出釘?shù)赖奈恢貌⑼瓿闪酸數(shù)赖囊?guī)劃。醫(yī)生只需要基于安全約束區(qū)域內(nèi)的植釘規(guī)劃完成最終的手術(shù)任務(wù)規(guī)劃，能夠減少醫(yī)生花費(fèi)在手術(shù)規(guī)劃上的時(shí)間和工作量。由于患者個(gè)性化差異較大，脊柱各個(gè)節(jié)段椎體形狀千差萬(wàn)別，而本文研究采集的樣本實(shí)驗(yàn)圖像相對(duì)較少，未能覆蓋全部脊柱節(jié)段，造成部分規(guī)劃釘?shù)莱霈F(xiàn)偏移或較大誤差的問(wèn)題。因此，接下來(lái)需要采集更多的樣本圖像進(jìn)行訓(xùn)練，同時(shí)對(duì)本文設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn)，提高網(wǎng)絡(luò)的學(xué)習(xí)效率。

參 考 文 獻(xiàn)

[1]Lee MJ,Konodi MA,Cizik AM,et al.Risk factors for medical complication after spine surgery: a multivariate analysis of 1591patients [J].Spine,2013,38(3): 223-231.

[2]姚子明,仉建國(guó),邱貴興,等.一期后路全脊椎切除治療重度脊柱畸形圍手術(shù)期并發(fā)癥及其相關(guān)危險(xiǎn)因素分析 [J].中華骨科雜志,2013,33(5):440-446.

[3]Tian W,Han X,Liu B,et al.A robot-assisted surgical system using a force-image control method for pedicle screw insertion [J].PLoS One,2014,9(1): e86346.

[4]Zhang B,He X,Ouyang F,et al.Radiomic machinelearning classifiers for prognostic biomarkers of advanced nasopharyngeal carcinoma [J].Cancer Letters,2017,403: 21-27.

[5]Criminisi A.Machine learning for medical images analysis [J].Medical Image Analysis,2016,33: 91-93.

[6]De Bruijne M.Machine learning approaches in medical image analysis: from detection to diagnosis[J].Medical Image Analysis,2016,33: 94-97.

[7]Suzuki K,Zhou L.Machine learning in medical imaging [J].Pattern Recognition,2017,63: 465-467.

[8]Kim YK,Na KS.Application of machine learning classification for structural brain MRI in mood disorders: critical review from a clinical perspective[J].Progress in Neuro-Psychopharmacology &Biological Psychiatry,2017,80: 71-80.

[9]Vidyasagar M.Machine learning methods in computational cancer biology [J].Annual Reviews in Control,2017,43: 107-117.

[10]史穎歡.醫(yī)學(xué)圖像處理中的機(jī)器學(xué)習(xí)方法及其應(yīng)用研究 [D].南京: 南京大學(xué),2013.

[11]吳國(guó)榮.基于機(jī)器學(xué)習(xí)的立體鬧圖像彈性配準(zhǔn)框架研究 [D].上海: 上海交通大學(xué),2007.

[12]Deng L,Seltzer M,Yu D,et al.Binary coding of speech spectrograms using a deep auto-encoder[C]//Conference of the International Speech Communication Association,2010: 1692-1695.

[13]Sutskever I,Hinton G,Taylor G.The recurrent temporal restricted boltzmann machine [C]//Advances in Neural Information Processing Systems,2008: 1601-1608.

[14]Lee H,Grosse R.Convolutional deep belief networks for scalable unsupervised learning of hierarchical representations [C]//Proceedngs of the 26th Annual International Conference on Machine Learning,2009: 609-616.

[15]Krizhevsky A,Sutskever I,Hinton GE.ImageNet classification with deep convolutional neural networks [C]//Proceedings of the 25th International Conference on Neural Information Processing Systems,2012: 1097-1105.

[16]Xu R,Ebraheim NA,Ou Y,et al.Anatomic considerations of pedicle screw placement in the thoracic spine: roy-camille technique versus openlamina technique [J].Spine,1998,23(9): 1065-1068.

[17]Kawaguchi Y,Nakano M,Yasuda T,et al.Development of a new technique for pedicle screw and magerl screw insertion using a 3D image guide[J].Spine,2012,37(23): 1983-1988.

[18]單云官,徐達(dá)傳,鐘世鎮(zhèn),等.骶 1腰 5椎體置入螺釘固定術(shù)的應(yīng)用解剖 [J].中國(guó)臨床解剖學(xué)雜志,1999(2): 63-65.

[19]安杰.應(yīng)用機(jī)器學(xué)習(xí)方法對(duì)內(nèi)側(cè)顳葉癲癇患者全腦白質(zhì)的研究 [D].廣州: 南方醫(yī)科大學(xué),2014.