• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看

      ?

      基于自適應感受野機制的頸部淋巴結(jié)自動識別算法

      2019-01-06 07:27秦品樂李鵬波張瑞平曾建潮劉仕杰徐少偉
      計算機應用 2019年12期
      關鍵詞:注意力機制

      秦品樂 李鵬波 張瑞平 曾建潮 劉仕杰 徐少偉

      摘 要:針對目前應用于醫(yī)學影像目標檢測的深度學習網(wǎng)絡模型僅擁有固定的感受野,無法針對形態(tài)尺度差異明顯的頸部淋巴結(jié)進行有效檢測的問題,提出了一種新的基于自適應感受野機制的識別算法,將深度學習首次應用于完全三維醫(yī)學圖像的頸部淋巴結(jié)自動識別中。首先,采用半隨機采樣方法對醫(yī)學序列圖像進行裁剪,生成基于網(wǎng)格的局部圖像塊及對應真值標簽;然后,通過局部圖像塊及標簽構(gòu)建并訓練基于自適應感受野機制的DeepNode網(wǎng)絡;最后,利用預訓練的DeepNode網(wǎng)絡模型進行預測,通過輸入整體序列圖像,可以端到端且快速地獲得整體序列對應的頸部淋巴結(jié)識別結(jié)果。在頸部淋巴結(jié)數(shù)據(jù)集中,采用DeepNode網(wǎng)絡識別頸部淋巴結(jié)的召回率可達98.13%,精確率可達97.38%,每次掃描的假陽性數(shù)量僅為29,同時耗時相對較短。實驗結(jié)果分析表明,與當前表現(xiàn)優(yōu)良的二維與三維卷積神經(jīng)網(wǎng)絡相結(jié)合的算法、三維通用目標檢測算法、基于弱監(jiān)督定位的識別算法等相比,所提算法可以實現(xiàn)頸部淋巴結(jié)的自動識別,并取得最優(yōu)的識別效果。該算法端到端,簡單高效,易于擴展到其他醫(yī)學圖像的三維目標檢測任務中,可應用于臨床的診斷和治療。

      關鍵詞:頸部淋巴結(jié)檢測;計算機輔助診斷;注意力機制;自適應感受野;三維醫(yī)學影像

      中圖分類號: TP391.41 圖形圖像識別文獻標志碼:A

      Automatic recognition algorithm of cervical lymph nodes using

      adaptive receptive field mechanism

      QIN Pinle1, LI Pengbo1, ZHANG Ruiping2, ZENG Jianchao1*, LIU Shijie3, XU Shaowei1

      (1. School of Data Science, North University of China, Taiyuan Shanxi 030051, China;

      2. Shanxi Bethune Hospital, Taiyuan Shanxi 030001, China;

      3. First Hospital of Shanxi Medical University, Taiyuan Shanxi 030001, China)

      Abstract: Aiming at the problem that the deep learning network model applied to medical image target detection only has a fixed receptive field and cannot effectively detect the cervical lymph nodes with obvious morphological and scale differences, a new recognition algorithm based on adaptive receptive field mechanism was proposed, applying deep learning to the automatic recognition of cervical lymph nodes in complete three-dimensional medical images at the first time. Firstly, the semi-random sampling method was used to crop the medical sequence images to generate the grid-based local image blocks and the corresponding truth labels. Then, the DeepNode network based on the adaptive receptive field mechanism was constructed and trained through the local image blocks and labels. Finally, the trained DeepNode network model was used for prediction. By inputting the whole sequence images, the cervical lymph node recognition results corresponding to the whole sequence was obtained end-to-end and quickly. On the cervical lymph node dataset, the cervical lymph node recognition using the DeepNode network has the recall rate of 98.13%, the precision of 97.38%, and the number of false positives per scan is only 29, and the time consumption is relatively shorter. The analysis of the experimental results shows that compared with current algorithms such as the combination of two-dimensional and three-dimensional convolutional neural networks, the general three-dimensional object detection and the weak supervised location based recognition, the proposed algorithm can realize the automatic recognition of cervical lymph nodes and obtain the best recognition results. The algorithm is end-to-end, simple and efficient, easy to be extended to three-dimensional target detection tasks for other medical images and can be applied to clinical diagnosis and treatment.

      Key words: cervical lymph node detection; Computer-Aided Diagnosis (CAD); attention mechanism; adaptive receptive field; three-dimensional medical image

      0 引言

      淋巴結(jié)作為哺乳動物非常重要的免疫器官,是接受抗原刺激產(chǎn)生免疫應答反應的場所。其形態(tài)呈現(xiàn)為橢圓形或蠶豆形,能夠摧毀病原體,起著過濾、增殖和免疫作用。在人體所有淋巴結(jié)中,位于頭頸部的淋巴結(jié)數(shù)量接近40%[1]。頸部淋巴結(jié)腫大是臨床最常見的病癥,也是病理科最常檢查、診斷的病變之一。誘發(fā)頸部淋巴結(jié)腫大的因素也極其多樣,有時即便檢查組織切片也很難確診[2]。淋巴結(jié)腫大非常多見,可發(fā)生于任何年齡段人群,可見于多種疾病。因此,檢測和識別頸部淋巴結(jié)對于患者及早發(fā)現(xiàn)和診治具有重要意義。

      計算機斷層掃描(Computed Tomography, CT)是目前最常用的方法,能良好地顯示出病變的區(qū)域。在斷層掃描成像下,頸部淋巴結(jié)與周圍軟組織之間灰度差異小,具有病理復雜、形態(tài)變化明顯、分布區(qū)域廣泛等特點。由于淋巴結(jié)自身的生理特性和復雜的成像效果,放射科醫(yī)生提取淋巴結(jié)較為困難。目前,常見的解決方案為傳統(tǒng)的機器學習方法。如文獻[3]提出基于CT圖像的頸部淋巴結(jié)半自動分割算法,能夠在較少人為干預的條件下實現(xiàn)淋巴結(jié)的精準分割;文獻[4]提出基于支持向量機的淋巴結(jié)判決算法,將淋巴結(jié)及周圍軟組織生理特征之間的差異及成像差異作為最終的判決特征,從而實現(xiàn)在復雜的組織結(jié)構(gòu)中快速定位淋巴結(jié)區(qū)域。

      隨著強大高效的圖形處理器以及大量可用的訓練數(shù)據(jù)出現(xiàn),深度學習在語音識別、目標檢測等各領域都表現(xiàn)出了卓越的性能[5-8]。對比傳統(tǒng)的機器學習方法,深度學習具有高效率、可塑性、普適性等優(yōu)點,更重要的是它能夠自動提取最具代表性的判別特征,避免傳統(tǒng)算法在提取特征時由于人為因素導致的性能問題。目前深度學習應用于三維醫(yī)學影像的檢測和分析總體分為四種思路:

      1)二維與三維相結(jié)合的思想。首先采用二維目標檢測或語義分割網(wǎng)絡快速定位單張切片的疑似淋巴結(jié)區(qū)域,然后根據(jù)距離度量標準將相鄰多張切片間相近感興趣區(qū)域合并生成三維圖像塊,最后輸入三維分類網(wǎng)絡以去除過多的假陽性樣本,如文獻[9-11]。其優(yōu)勢在于將原生的三維目標檢測問題簡化為二維,在有效節(jié)約內(nèi)存的同時保證一定的檢測效果。然而其存在一定的局限性:a)二維檢測網(wǎng)絡丟棄目標的空間信息,容易導致過多假陽性樣本;b)距離度量標準的選取可能導致生成錯誤的三維樣本;c)階段數(shù)過多導致耗時較長。

      2)三維目標檢測的思想。將目前最先進的通用物體檢測模型擴展到三維并改進,即3D Faster R-CNN(Faster Region-based Convolutional Neural Network)系列,以解決二維檢測網(wǎng)絡丟失目標空間信息的問題。首先通過區(qū)域提案網(wǎng)絡(Region Proposal Network, RPN)產(chǎn)生大量三維感興趣圖像塊,然后通過分類與回歸層對其進行分類和位置微調(diào)以獲得更精準的定位結(jié)果,如文獻[12-15]。其優(yōu)勢在于充分利用樣本空間信息,且端到端的方式保證速度和精度,然而其存在一定的局限性:a)由多個子網(wǎng)絡構(gòu)成,算法復雜度高;b)區(qū)域提案階段產(chǎn)生大量三維圖像塊,導致計算成本過高。

      3)三維局部定位的思想。采用基于三維圖像塊的弱監(jiān)督定位算法,用以解決三維目標檢測算法復雜度高的問題。首先從CT序列中隨機裁剪5×20×20的三維局部圖像塊,輸入到三維網(wǎng)絡中進行分類,然后預測時使用滑動窗口策略將網(wǎng)絡應用于整體CT序列,得到整體CT序列的目標激活區(qū)域(probability heatmaps),例如文獻[16-18]。相比三維目標檢測思想,其優(yōu)勢在于充分利用空間信息的同時降低算法復雜度,但自身存在一定的局限性:a)隨機裁剪導致訓練涉及大量交并比運算;b)隨機采樣的不確定性導致收斂過慢;c)三維局部圖像塊所提供的可用信息有限,無法利用全局信息作出更精準的判斷。

      4)三維整體定位的思想。采用基于網(wǎng)格分類的定位算法,用以避免三維局部定位算法無法利用全局信息的問題。首先將整體CT序列按照網(wǎng)格分塊后,整體輸入網(wǎng)絡以便同時對所有網(wǎng)格進行分類,進而得到整體序列的概率圖,例如文獻[19-20]。其優(yōu)勢在于端到端識別且充分利用全局信息,但仍存在一定的局限性:a)整體輸入,導致無法對有限數(shù)據(jù)進行有效數(shù)據(jù)增廣;b)容易對目標位置產(chǎn)生偏向性。

      頸部淋巴結(jié)具有病理復雜、形態(tài)小、不規(guī)則、分布區(qū)域廣泛等特點。目前深度學習應用于識別頸部淋巴結(jié)領域的研究較少,仍需解決以下兩個關鍵問題:1)無法平衡全局信息識別目標與避免對目標位置產(chǎn)生偏向性的問題;2)淋巴結(jié)尺度變化明顯,采用常規(guī)網(wǎng)絡同時識別較大目標與較小目標的難度較大,整體識別效果并不理想。

      針對頸部淋巴結(jié)自動識別的關鍵問題,本文提出基于自適應感受野機制的識別算法。針對第1)個關鍵問題,本文提出半隨機采樣方法,結(jié)合三維局部定位和三維整體定位的優(yōu)點,既充分利用全局信息識別目標,又避免對目標區(qū)域產(chǎn)生偏向性,同時實現(xiàn)有效的數(shù)據(jù)增廣。針對第2)個關鍵問題,本文提出基于自適應感受野機制的DeepNode網(wǎng)絡,能夠自適應學習適當?shù)母惺芤耙栽鰪妼Τ叨炔町惷黠@的目標識別,在僅耗費較少的計算代價前提下實現(xiàn)更好的檢測效果。

      本文的主要工作如下:

      1)本文所提算法將深度學習首次應用于完全三維CT圖像自動識別頸部淋巴結(jié)中。

      2)提出半隨機采樣方法,結(jié)合三維局部定位和三維整體定位思想,有效平衡全局信息識別目標與避免對目標區(qū)域產(chǎn)生偏向性的問題。

      3)提出基于自適應感受野機制的DeepNode網(wǎng)絡,將自適應感受野機制擴展到三維,針對尺度變化明顯的淋巴結(jié)實現(xiàn)更好的檢測效果。

      1 頸部淋巴結(jié)識別

      1.1 總體框架

      頸部淋巴結(jié)識別整體框架如圖1所示。訓練時采用半隨機采樣方法裁剪略小于原圖尺寸的訓練圖像與對應標簽,輸入DeepNode網(wǎng)絡進行訓練。測試時由于其為全卷積網(wǎng)絡,且輸入圖像對應網(wǎng)絡的感受野不變,故直接將整體CT序列圖像輸入預訓練的DeepNode模型,得到最終的檢測結(jié)果[16-18]。

      1.2 半隨機采樣方法

      常規(guī)隨機采樣方法首先在圖像上隨機裁剪出固定尺度的圖像補丁,然后通過映射關系在真值標簽上裁剪出對應區(qū)域,進而在真值標簽的對應區(qū)域劃分出網(wǎng)格,最后通過計算網(wǎng)格與對應區(qū)域內(nèi)真實淋巴結(jié)掩碼的交并比[16-18],將覆蓋真實淋巴結(jié)的網(wǎng)格對應的分類標簽置為1,代表該網(wǎng)格屬于淋巴結(jié)區(qū)域;其余網(wǎng)格對應的分類標簽置為0,代表背景區(qū)域,如圖2(a)所示。其局限性在于每張圖像的每次訓練均需交并比運算,費時費力。而半隨機采樣方法首先在真值標簽上整體劃分網(wǎng)格,計算整體網(wǎng)格與真實淋巴結(jié)掩碼的交并比,標記好每個網(wǎng)格正負分類標簽;之后按照單個網(wǎng)格的距離間隔進行隨機裁剪,根據(jù)感受野大小映射到原圖裁剪對應區(qū)域,如圖2(b)所示。在整個訓練過程中,每張圖片僅需計算一次交并比,由于其與在圖像上完全隨機裁剪有所區(qū)別,故稱為半隨機采樣方法。

      采樣過程僅針對圖像長寬,深度保持不變,故僅考慮二維情況。假設原圖像尺寸為H×W,標注信息尺寸為h×w。記縮放比例為s,即標注信息中一個像素點映射到原圖像表示對應位置s×s區(qū)域信息,則存在比例關系:

      假設半隨機采樣后圖像左上角坐標為(X, Y),對應真值標簽左上角坐標為(x, y),則存在以下映射關系:

      記采樣比例為λ,通常為0~1(本文默認0.6),則半隨機采樣后的圖像尺寸L及標簽尺寸l為:

      再結(jié)合式(1)進行化簡,可得:

      半隨機采樣優(yōu)勢在于:1)通過基于感受野的映射關系避免完全隨機采樣帶來的大量交并比運算,加速訓練;2)對比三維局部定位,該方法避免了三維圖像塊可用信息較少而導致無法利用圖像的全局信息的問題;3)相比三維整體定位,該方法裁剪略小于原圖尺寸的圖像進行訓練,既實現(xiàn)數(shù)據(jù)增廣,緩解訓練時網(wǎng)格內(nèi)類別嚴重不平衡問題,又有效平衡全局信息識別目標與避免對目標區(qū)域產(chǎn)生偏向性的問題。

      1.3 DeepNode網(wǎng)絡

      1.3.1 自適應感受野卷積

      為了使神經(jīng)元能夠根據(jù)不同的刺激動態(tài)調(diào)節(jié)其自身的感受野,文獻[21]提出自適應感受野卷積(Selective Kernel convolution, SK)。針對三維醫(yī)學影像中尺度變化明顯的淋巴結(jié)檢測問題,本文將其基本卷積結(jié)構(gòu)進行修改并擴展到三維,用于進一步擬合淋巴結(jié)尺寸來提高識別效果。三維自適應感受野卷積具體結(jié)構(gòu)如圖3所示,主要分為三個階段:分支階段(Split)、融合階段(Fuse)、選擇階段(Select)。

      1)分支階段。

      對于給定的特征圖X∈RC×L×H×W,采用3×3×3和5×5×5兩種不同感受野的卷積核構(gòu)建兩條分支:X→U~∈RC×L×H×W和 f^:X→U^∈RC×L×H×W,然后進行空間批量歸一化、修正線性單元。為提高效率,5×5×5卷積由擴張率為2、填充為2、卷積核為3×3×3的擴張卷積替代。

      2)融合階段。

      首先通過逐元素求和操作獲得融合特征U:

      U=U~+U^(5)

      為擴展到三維,通過特征塊平均池化(Feature Block Average Pooling, FBAP)[9]替代原有結(jié)構(gòu)的全局平均池化(Global Average Pooling, GAP)[22],壓縮融合特征U特征塊的長寬高維度,僅保留通道維度,獲取到融合特征U通道級別的全局信息S。假設Uc為融合特征U第c個特征塊,Sc為全局信息第c個元素,則存在以下關系:

      Sc=ffbap(Uc)=1L×H×W∑Ll=1∑Ww=1∑Hh=1Uc(l,w,h)(6)

      基于全局信息S進行降維操作,得到緊湊特征Z∈Rd,然后對緊湊特征Z進行升維操作,得到a∈RC、b∈RC。通過降維升維,使得網(wǎng)絡具有更多的非線性,以便更好地擬合融合特征U通道間復雜的相關性。

      緊湊特征Z∈Rd的長度d由輸入特征的通道數(shù)C、降維比例r及下界L決定,本文r、L默認為4。

      d=max(Cr,L)(7)

      3)選擇階段。

      通過通道注意力權(quán)重a∈RC、b∈RC分別對兩種不同感受野特征U~∈RC×L×H×W、U^∈RC×L×H×W進行通道加權(quán)后逐元素求和,得到最終的融合特征V∈RC×L×H×W:

      Vc=ac·U~c+bc·U^c ; ac+bc=1(8)

      1.3.2 網(wǎng)絡結(jié)構(gòu)

      DeepNode網(wǎng)絡以殘差塊結(jié)構(gòu)為基礎,其整體結(jié)構(gòu)如表1所示,由15個三維殘差塊、4個三維最大池化層、1個三維卷積層組成,其中三維殘差塊是基于三維自適應感受野卷積構(gòu)建。針對自適應感受野卷積,M為分支數(shù),默認為2,表示分支階段采用3×3×3和5×5×5兩種不同感受野的卷積核;r表示降維比例,默認為4。網(wǎng)絡最后接入Sigmoid激活函數(shù),并采用二值交叉熵(Binary Cross Entropy, BCE)作為損失函數(shù),輸出預測結(jié)果。

      LBCE=-∑ni=1i·lb yi+(1-i)·lb(1-i)(9)

      其中:i為預測結(jié)果中第i個網(wǎng)格的預測值;yi為對應真值標簽第i個網(wǎng)格的真值。

      作為對比的基線方法,將DeepNode網(wǎng)絡中的三維自適應感受野卷積替換為當前主流的基于通道注意力機制的壓縮激勵卷積(Squeeze-and-Excitation convolution, SE)[23],組成基線網(wǎng)絡,其中r表示通道學習時的降維比例,默認為4。

      2 實驗設計與結(jié)果分析

      2.1 實驗數(shù)據(jù)集

      實驗數(shù)據(jù)集來源于山西省腫瘤醫(yī)院CT放射科,影像類型為頭頸部CT序列圖像,圖像大小為512pixel×512pixel,切片厚度為0.625mm。參照標準由4名經(jīng)驗豐富的專家手工注釋。為了保證注釋的準確性,4名放射科醫(yī)師獨立對每張圖像進行標注工作。最終挑選出直徑大于3mm并由3名及以上專家共同注釋的頸部淋巴結(jié),圖4為數(shù)據(jù)集中不同形態(tài)及分布的頸部淋巴結(jié)樣本(第一行為原始CT圖;第二列黃框位置放大后的局部圖像)。最終獲得70例,共計2220張CT圖像,其中包含1140張頸部淋巴結(jié)圖像。

      2.2 模型訓練方法

      實驗數(shù)據(jù)分為兩部分:隨機抽取80%用于訓練模型;剩余20%作為測試數(shù)據(jù)來測試。針對數(shù)據(jù)增強,半隨機采樣方法在數(shù)據(jù)處理的同時已實現(xiàn)數(shù)據(jù)增強操作,有助于緩解訓練時類別不平衡問題。針對模型優(yōu)化,DeepNode模型采用隨機梯度下降(Stochastic Gradient Descent, SGD)算法,學習率初始化為0.01,衰減率設為0.1,批處理大小設置為32,動量設置為0.9,訓練輪次為100輪,并在第30、60、90輪次時衰減學習率。所訓練的網(wǎng)絡模型均在圖形處理器(Graphic Processing Unit, GPU) Tesla M40上使用Pytorch深度學習框架實現(xiàn),全部模型訓練約為8.2h,測試所有病例的總時間約為63s(15例CT序列,包含450張CT圖像)。

      2.3 評價指標

      針對DeepNode網(wǎng)絡模型,采用召回率及精確率分析其檢出淋巴結(jié)的性能。

      召回率(Recall)的計算式為:

      Recall=TPTP+FN(10)

      式中:Recall為召回率;TP為所有被檢測出的真實頸部淋巴結(jié)的個數(shù);FN為所有錯誤檢測出的真實頸部淋巴結(jié)的個數(shù)。

      精確率(Precision)的計算式為:

      Precision=TPTP+FP(11)

      式中:Precision為精確率;TP為所有被檢測出的真實頸部淋巴結(jié)的個數(shù);FP為所有未被檢測出的真實頸部淋巴結(jié)的個數(shù)。

      2.4 結(jié)果分析

      通過對比召回率、每次掃描的假陽性個數(shù)、耗時等因素,分析不同算法對于檢測結(jié)果的影響。為保證公平比較,采用同一批頸部淋巴結(jié)數(shù)據(jù)集進行不同算法對比。表2給出了用于檢測識別的不同算法對比結(jié)果,其中:文獻[11] 算法為二維與三維相結(jié)合的算法2D+3D CNN;文獻[15] 算法為3D Faster R-CNN 算法,屬于三維目標檢測的思想;文獻[17] 算法基于三維圖像塊的DeepMed算法,屬于三維局部定位的思想;文獻[19] 算法為S4ND(Single-Shot Single-Scale Lung Nodule Detection)算法,屬于三維整體定位的思想;基線方法Baseline用于對比測試,為基于通道注意力機制的算法,本文算法DeepNode為基于自適應感受野機制的DeepNode算法,均屬于三維局部定位和三維整體定位相結(jié)合的思想。不同檢測算法的損失對比如圖5所示。

      2D+3D CNN算法將原本的三維檢測問題簡化為三階段:二維候選樣本提取、合并三維圖像塊、三維去假陽性。通過主流的醫(yī)學影像目標檢測框架取得不錯的召回率和精確率,但由于:1)二維候選樣本提取過程丟棄了淋巴結(jié)原有的空間信息;2)合并三維圖像塊過程由于距離度量標準選取的不同可能導致合并錯誤的三維樣本;3)階段數(shù)過多導致真實淋巴結(jié)丟失,使得實驗結(jié)果中假陽性樣本數(shù)量最多且耗時最長。

      3D Faster R-CNN算法將主流的醫(yī)學影像目標檢測框架擴展到三維,進行完全三維目標檢測,充分利用淋巴結(jié)原有的空間信息,使得召回率上升,但相較其他算法,基于感興趣區(qū)域(Region of Interest, ROI)的多階段算法由特征提取網(wǎng)絡、區(qū)域提案網(wǎng)絡(RPN)、分類與回歸網(wǎng)絡等組成,導致其容易產(chǎn)生大量假陽性樣本數(shù)量,精確率下降且耗時較長。

      DeepMed算法通過基于三維圖像塊的分類網(wǎng)絡激活淋巴結(jié)區(qū)域,充分利用空間信息的同時網(wǎng)絡本身端到端、簡單高效,使得假陽性樣本數(shù)量減少,耗時也大幅減少;但由于訓練時采用三維圖像塊(3D Patches),其僅利用了三維圖像塊本身的內(nèi)部信息,所提供的可用信息有限,針對較難檢測的樣本,網(wǎng)絡無法利用到三維圖像塊周圍的全局信息進行識別,使得實驗結(jié)果中召回率不太理想。

      S4ND算法通過將整體CT序列輸入網(wǎng)絡,直接得到最終檢測結(jié)果,在保持端到端、快速高效的同時,在檢測過程中充分利用全局信息,使得召回率上升明顯,假陽性樣本數(shù)量也大幅降低。相較于DeepMed算法利用滑動窗口進行預測,能直接得到整體預測結(jié)果,使得耗時進一步減少,但由于整體圖像輸入,導致:1)無法對有限數(shù)據(jù)進行有效數(shù)據(jù)增廣,使得網(wǎng)絡訓練不足;2)容易對目標位置產(chǎn)生偏向性,使得網(wǎng)絡泛化能力較差,導致實驗結(jié)果中召回率提升有限,精確率相對略有下降。

      基線方法通過半隨機采樣方法與基于通道注意力機制的網(wǎng)絡,避免識別時對目標位置產(chǎn)生偏向性,使得網(wǎng)絡泛化能力增強,召回率和精確率得到小幅提升,假陽性樣本數(shù)量略有減少。同時相較于S4ND算法采用較為復雜的密集塊,基線方法簡單清晰的結(jié)構(gòu)使得耗時進一步減少;但由于淋巴結(jié)尺度變化明顯,基于固定感受野的常規(guī)網(wǎng)絡并不適合尺度差異較大目標的檢測識別。

      相較于基線方法,DeepNode引入自適應感受野機制,對于淋巴結(jié)目標尺度變化明顯的特點,能夠自適應學習適當?shù)母惺芤坝糜跀M合識別淋巴結(jié),使得召回率和精確率達到最優(yōu),假陽性樣本數(shù)量也達到最少,但由于自適應感受野機制導致網(wǎng)絡結(jié)構(gòu)較基線方法略復雜,故耗時次優(yōu)。

      3 結(jié)語

      針對目前應用于醫(yī)學影像目標檢測的深度學習網(wǎng)絡模型僅擁有固定的感受野,無法針對形態(tài)尺度差異明顯的頸部淋巴結(jié)進行有效檢測的問題,本文提出了一種新的基于注意力機制的識別算法,首次將深度學習應用于完全三維CT圖像自動識別頸部淋巴結(jié)中。實驗結(jié)果表明,所提的半隨機采樣方法結(jié)合三維局部定位和三維整體定位思想,有效平衡了全局信息識別目標與避免對目標區(qū)域產(chǎn)生偏向性。所提的基于自適應感受野機制的DeepNode網(wǎng)絡能夠自適應學習適當?shù)母惺芤坝糜跀M合識別尺度變化明顯的淋巴結(jié),取得了最優(yōu)的檢測精度。在三維醫(yī)學圖像的研究中,該算法相對簡單高效,可應用于臨床的診斷和治療。然而本文算法在自動識別頸部淋巴結(jié)時,仍存在一些局限性:1)雖然檢測效果較好,但基于網(wǎng)格的識別算法容易導致識別結(jié)果與真實淋巴結(jié)位置出現(xiàn)較小距離的偏差。針對這種情況,將嘗試基于網(wǎng)格中心點生成不同尺度錨框的方式,以更精確匹配淋巴結(jié)的位置。2)本文算法雖然在召回率等方面存在優(yōu)勢,但僅利用到患者的影像數(shù)據(jù),無法依靠患者的多維度信息進行全方位的識別。針對這種情況,將探索結(jié)合醫(yī)學影像與病例信息,以便進一步提高檢測精度。

      參考文獻 (References)

      [1]PATEL N U, LIND K E, MCKINNEY K, et al. Clinical validation of a predictive model for the presence of cervical lymph node metastasis in papillary thyroid cancer [J]. American Journal of Neuroradiology, 2018, 39(4): 756-761.

      [2]BEJNORDI B E, VETA M, VAN DIEST P J, et al. Diagnostic assessment of deep learning algorithms for detection of lymph node metastases in women with breast cancer [J]. Jama, 2017, 318(22): 2199-2210.

      [3]魏駿,何凌,車坤,等.CT 圖像的頸部淋巴結(jié)半自動分割算法[J].計算機工程與設計,2015,36(11):3014-3018.(WEI J, HE L, CHE K, et al. Semi-automatic detection and segmentation of neck lymph nodes in CT image [J]. Computer Engineering and Design, 2015, 36(11): 3014-3018.)

      [4]KAN Y, DONG D, ZHANG Y, et al. Radiomic signature as a predictive factor for lymph node metastasis in early-stage cervical cancer [J]. Journal of Magnetic Resonance Imaging, 2018, 49(1): 304-310.

      [5]ESTEVES C, ALLEN-BLANCHETTE C, MAKADIA A, et al. Learning SO(3) equivariant representations with spherical CNNs [C]// Proceedings of the 2018 European Conference on Computer Vision, LNCS 11217. Cham: Springer, 2018: 54-70.

      [6]ELSAYED G F, SHANKAR S, CHEUNG B, et al. Adversarial examples that fool both computer vision and time-limited humans [C]// Proceedings of the 32nd Conference on Neural Information Processing Systems. New York: Curran Associates Inc., 2018: 3914-3924.

      [7]RAJPURKAR P, IRVIN J, ZHU K, et al. CheXNet: radiologist-level pneumonia detection on chest X-rays with deep learning [EB/OL]. [2019-05-10]. https://arxiv.org/pdf/1711.05225.pdf.

      [8]RAJPURKAR P, HANNUN A Y, HAGHPANAHI M, et al. Cardiologist-level arrhythmia detection with convolutional neural networks [EB/OL]. [2019-05-10]. https://arxiv.org/pdf/1707.01836.pdf.

      [9]秦品樂,李鵬波,曾建潮,等.基于級聯(lián)全卷積神經(jīng)網(wǎng)絡的頸部淋巴結(jié)自動識別算法[J].計算機應用,2019,39(10):2915-2922.(QIN P L, LI P B, ZENG J C, et al. Automatic recognition algorithm of cervical lymph nodes using cascaded fully convolutional neural networks [J]. Journal of Computer Applications , 2019, 39(10): 2915-2922.)

      [10]苗光,李朝鋒.二維和三維卷積神經(jīng)網(wǎng)絡相結(jié)合的CT圖像肺結(jié)節(jié)檢測方法[J].激光與光電子學進展,2018,55(5):129-137.(MIAO G, LI C F. Detection of pulmonary nodules CT images combined with two-dimensional and three-dimensional convolution neural networks [J]. Laser and Optoelectronics Progress, 2018, 55(5): 129-137.)

      [11]DING J, LI A, HU Z, et al. Accurate pulmonary nodule detection in computed tomography images using deep convolutional neural networks [C]// Proceedings of the 2017 International Conference on Medical Image Computing and Computer-Assisted Intervention, LNCS 10435. Cham: Springer, 2017: 559-567.

      [12]ZHU W, VANG Y S, HUANG Y, et al. DeepEM: deep 3D convNets with EM for weakly supervised pulmonary nodule detection [C]// Proceedings of the 2018 International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer, 2018: 812-820.https://arxiv.org/pdf/1805.05373.pdf

      [13]TANG H, LIU X, XIE X. An end-to-end framework for integrated pulmonary nodule detection and false positive reduction [EB/OL]. [2019-05-10]. https://arxiv.org/pdf/1903.09880.pdf.

      [14]TANG H, KIM D R, XIE X. Automated pulmonary nodule detection using 3D deep convolutional neural networks [C]// Proceedings of the IEEE 15th International Symposium on Biomedical Imaging. Piscataway: IEEE, 2018: 523-526.

      [15]ZHU W, LIU C, FAN W, et al. DeepLung: 3D deep convolutional nets for automated pulmonary nodule detection and classification [EB/OL]. [2019-05-10]. https://arxiv.org/pdf/1709.05538.pdf.

      [16]HAMIDIAN S, SAHINER B, PETRICK N, et al. 3D convolutional neural network for automatic detection of lung nodules in chest CT [C]// Proceedings of the Medical Imaging 2017: Computer-Aided Diagnosis, SPIE 10134. Bellingham, WA: SPIE, 2017: Article No. 1013409.

      [17]PEZESHK A, HAMIDIAN S, PETRICK N, et al. 3D convolutional neural networks for automatic detection of pulmonary nodules in chest CT [J]. IEEE Journal of Biomedical and Health Informatics, 2019, 23(5): 2080-2090.

      [18]WANG D, KHOSLA A, GARGEYA R, et al. Deep learning for identifying metastatic breast cancer [EB/OL]. [2019-05-10]. https://arxiv.org/pdf/1606.05718.pdf.

      [19]KHOSRAVAN N, BAGCI U. S4ND: single-shot single-scale lung nodule detection [C]// Proceedings of the 2018 International Conference on Medical Image Computing and Computer-Assisted Intervention, LNCS 11071. Cham: Springer, 2018: 794-802.

      [20]OZDEMIR O, RUSSELL R L, BERLIN A A. A 3D probabilistic deep learning system for detection and diagnosis of lung cancer using low-dose CT scans [EB/OL]. [2019-05-10]. https://arxiv.org/pdf/1902.03233.pdf.

      [21]LI X, WANG W, HU X, et al. Selective kernel networks [EB/OL]. [2019-05-10]. https://arxiv.org/pdf/1903.06586.pdf.

      [22]ZHOU B, KHOSLA A, LAPEDRIZA A, et al. Learning deep features for discriminative localization [C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE, 2016: 2921-2929.

      [23]HU J, SHEN L, ALBANIE S, et al. Squeeze-and-excitation networks [EB/OL]. https://arxiv.org/abs/1709.01507.

      QIN Pinle, born in 1978, Ph. D., associate professor. His research interests include big data, machine vision, three-dimensional reconstruction.

      LI Pengbo, born in 1995, M. S. candidate. His research interests include machine learning, computer vision, digital image processing.

      ZHANG Ruiping, born in 1975, Ph. D., professor. His research interests include molecular imaging, nanomedicine.

      ZENG Jianchao, born in 1963, Ph. D., professor. His research interests include maintenance decision and health management of complex system.

      LIU Shijie, born in 1990, M. S. candidate. His research interests include molecular imaging, nanomedicine.

      XU Shaowei, born in 1995, M. S. candidate. His research interests include machine learning, computer vision, digital image processing.

      收稿日期:2019-06-24;修回日期:2019-08-31;錄用日期:2019-09-12。

      作者簡介:秦品樂(1978—),男,山西長治人,副教授,博士,主要研究方向:大數(shù)據(jù)、機器視覺、三維重建; 李鵬波(1995—),男,山西運城人,碩士研究生,主要研究方向:機器學習、計算機視覺、數(shù)字圖像處理; 張瑞平(1975—),男,山西太原人,教授,博士生導師,博士,主要研究方向:分子影像學、納米醫(yī)學; 曾建潮(1963—),男,山西太原人,教授,博士,博士生導師,主要研究方向:復雜系統(tǒng)的維護決策和健康管理;劉仕杰(1990—),男,河北邢臺人,碩士研究生,主要研究方向:分子影像學、納米醫(yī)學; 徐少偉(1995—),男,山西太原人,碩士研究生,主要研究方向:機器學習、計算機視覺、數(shù)字圖像處理。

      文章編號:1001-9081(2019)12-3535-06DOI:10.11772/j.issn.1001-9081.2019061069

      猜你喜歡
      注意力機制
      基于注意力機制的行人軌跡預測生成模型
      基于注意力機制和BGRU網(wǎng)絡的文本情感分析方法研究
      多特征融合的中文實體關系抽取研究
      基于序列到序列模型的文本到信息框生成的研究
      基于深度學習的手分割算法研究
      從餐館評論中提取方面術語
      面向短文本的網(wǎng)絡輿情話題
      基于自注意力與動態(tài)路由的文本建模方法
      基于深度學習的問題回答技術研究
      基于LSTM?Attention神經(jīng)網(wǎng)絡的文本特征提取方法
      沈阳市| 菏泽市| 来安县| 响水县| 新昌县| 红安县| 邢台县| 津南区| 昭平县| 资溪县| 大姚县| 巴林左旗| 报价| 明星| 九龙县| 朝阳市| 屏山县| 万载县| 高雄县| 金湖县| 黄大仙区| 托克托县| 静安区| 恩平市| 尼勒克县| 萝北县| 龙岩市| 山东省| 新营市| 延津县| 巴楚县| 南陵县| 祁连县| 迭部县| 商南县| 长葛市| 葵青区| 巴楚县| 伊金霍洛旗| 元朗区| 平顺县|