胡歆迪，楊 鑫，周 旭，王麗敏，梁永棟，尚 寧，倪 東，顧 寧

1) 南京醫(yī)科大學生物醫(yī)生工程與信息學院，江蘇南京211166；2)深圳大學醫(yī)學部生物醫(yī)學工程學院，廣東深圳 518060；3)廣東省婦幼保健院超聲診斷科，廣東廣州511400

髖關節(jié)發(fā)育性不良(developmental dysplasia of the hip, DDH)是一種常見的先天性關節(jié)疾病，發(fā)病率為0.15%～2.00%[1]．該疾病由股骨頭和髖臼之間位置異常引起，患病嬰兒髖臼較淺，股骨頭無法牢固地嵌在髖臼內，甚至完全脫出髖臼．根據(jù)病情嚴重程度，DDH可分為發(fā)育不良、半脫位和脫位3類．常見的臨床癥狀包括左右腿長度不等，腿紋和臀紋不對稱，脫位腿向外翻轉等，不及時治療可能會引發(fā)慢性疼痛、步態(tài)紊亂和關節(jié)炎等疾病[2]．DDH早期的治療簡單有效，治療成功率可達96%[3]，能有效減少后續(xù)疾病的產(chǎn)生，因此針對新生兒的DDH篩查具有重要意義．與X光相比，超聲成像具有無創(chuàng)和無輻射等特點，且能顯示嬰兒髖關節(jié)尚未骨化的部分，便于觀察股骨頭在髖臼內的運動，因此對6月齡以內的嬰兒，臨床上通常使用超聲檢查，依據(jù)Graf法進行DDH診斷．

Graf法是一種基于形態(tài)學的方法，通過量化解剖結構在超聲靜態(tài)圖像上的特征，評估髖關節(jié)發(fā)育狀況[4]．Graf法通常分為3步：① 使用超聲探頭掃查嬰兒髖關節(jié)(圖1(a))，獲得超聲視頻．② 從超聲視頻中挑選出一張標準切面圖，該圖必須包含平直髂骨、髂骨下緣、盂唇和骨-軟骨結合處等關鍵解剖結構，如圖1(b)．由于平直髂骨和髂骨下緣同屬于髂骨結構，為便于測量角度，本研究將二者視作不同結構．③ 在標準切面上測量α角和β角兩個發(fā)育指標．如圖1(c)和(d)，角度測量需要作出3條測量線：沿平直髂骨頂部作出切線，即基線；從髂骨最下緣點向平直髂骨外輪廓作出切線，即骨頂線；連接盂唇中心點和平直軟骨下端點，即軟骨頂線．α角為基線和骨頂線的夾角，β角為基線和軟骨頂線的夾角．④ 結合嬰兒年齡等信息，對髖關節(jié)進行分型．

圖1 Graf法臨床標準Fig.1 Clinical standards of Graf method

盡管Graf法已在臨床上得到了廣泛應用，但其主觀依賴性較強，整個篩查流程耗時費力．在實際應用中面臨如下難點：① 標準切面獲取困難，易出現(xiàn)誤判和漏判．一方面，在進行超聲篩查時，嬰兒易動，增加了掃查到標準切面的難度；另一方面，標準切面的判斷標準嚴格，對醫(yī)生的專業(yè)知識和臨床經(jīng)驗要求較高．② 參數(shù)測量主觀依賴性強．由于超聲圖像存在噪聲和偽影等問題，質量較差，且醫(yī)生對解剖結構的形態(tài)判斷依賴自身經(jīng)驗，造成不同觀察者之間的測量結果差異較大，即使是經(jīng)驗豐富的醫(yī)生，α角和β角的測量差異也能達到3°和6°[5]，尤其在基層醫(yī)院，醫(yī)生臨床經(jīng)驗匱乏等問題更為突出．因此，亟需一種規(guī)范且高效化的方法進行超聲DDH篩查．

近年來，計算機輔助診斷(computer aided diagnosis, CAD)超聲篩查DDH的相關技術不斷出現(xiàn)，但均存在一定局限性．首先，標準切面的重要性常被忽視，輔助識別DDH標準切面的技術尚無人研究．標準切面是精準化超聲檢查的前提，唯有在標準切面上對發(fā)育指標進行測量，才能保證數(shù)據(jù)的準確性和可靠性．雖然自動識別標準切面在多個超聲篩查項目中都得到了重視[6-8]，但由于標注數(shù)據(jù)需求量大且切面識別難度高等問題，在DDH超聲篩查方向鮮有進展．其次，現(xiàn)有的參數(shù)測量相關的CAD技術，速度和精度都難以滿足實際臨床需求．這些技術通常是基于關鍵解剖結構的輪廓特征來計算α角和β角．根據(jù)特征提取的方法，該技術可分為基于手工提取特征的傳統(tǒng)方法和基于深度學習的人工智能方法．傳統(tǒng)方法如使用測地線動態(tài)區(qū)域(geodesic active regions, GAR)[3]和相位對稱性[9]等方法提取圖像特征，往往受限于手工特征提取的復雜度，模型精度低且魯棒性差．由于深度學習可自動提取圖像特征，善于解決大量數(shù)據(jù)中的高維難題，在髖關節(jié)超聲圖像分析領域也得到了初步應用．例如，經(jīng)典的全卷積網(wǎng)絡(full convolution network，F(xiàn)CN)[10]和Unet[11]等，被用于分割髂骨或盂唇的任務[12-13]；使用對抗學習的卷積神經(jīng)網(wǎng)絡分割平直髂骨和髂骨下緣[14]；多尺度的特征融合網(wǎng)絡用于獲得骨結構的概率圖[15]．但現(xiàn)有的輔助DDH超聲篩查方法仍存在兩個缺陷：① 僅聚焦于局部解剖結構的輪廓信息，缺少對重要解剖結構的標識．Graf法的準確度非常依賴醫(yī)生對解剖結構的識別，這對缺乏經(jīng)驗的醫(yī)生來說存在一定困難，自動化的結構標識能夠為醫(yī)生提供示教幫助，有利于初學醫(yī)生快速上手、加深對DDH超聲篩查的理解．② 推理速度較慢，實際應用受限．

進一步推動自動化超聲篩查DDH的發(fā)展，需要解決以下問題：① 對于常用于識別標準切面的分類神經(jīng)網(wǎng)絡，其準確率越高，所需訓練樣本量越大，但訓練數(shù)據(jù)的獲取和標注都會消耗大量時間和人力成本．視頻數(shù)據(jù)的標注更是耗時耗力，逐幀標注會給醫(yī)生帶來沉重的工作負擔，數(shù)據(jù)集規(guī)模也因此受到限制．② 對于髖關節(jié)結構的分割任務，由于超聲圖像質量較差，常出現(xiàn)結構邊緣模糊和結構黏連等問題，導致分割精度差；髖關節(jié)結構復雜，結構之間超聲成像辨識度低，易造成誤分割．③ 實際診斷中，需要實時測量或多次測量，對模型的推理速度有較高要求．

本研究提出一種智能化DDH輔助篩查系統(tǒng)，由標準切面自動識別模塊和發(fā)育參數(shù)自動測量模塊構成．自動識別標準切面模塊依賴一個基于少樣本單類別分類(few-shot one-class classifier, FOC)的神經(jīng)網(wǎng)絡，該網(wǎng)絡有兩個優(yōu)勢：① 基于少樣本：僅需1/3訓練樣本訓練模型，大幅減少醫(yī)生的標注工作量；② 基于單類別，即僅使用標準切面圖像訓練網(wǎng)絡，可強化網(wǎng)絡對標準切面的學習程度．自動測量模塊依賴一個能夠自動測量的快速實例網(wǎng)絡(fast instance network, FIN)，該網(wǎng)絡優(yōu)勢為：① 可以提供關鍵解剖結構的標識，為醫(yī)生起到示教作用；② 目標定位功能大幅減少了誤分割的發(fā)生概率，多任務模型提高了分割的精度；③ 推理速度超過30幀/s，為臨床篩查節(jié)省時間，提高了效率．該系統(tǒng)首次將標準切面的判斷融入自動診斷過程，實現(xiàn)質量控制，提高同質化水平，同時優(yōu)化工作流，加快了工作效率，提高了測量準確度．

1 智能化DDH輔助篩查系統(tǒng)

本研究提出的智能化DDH輔助篩查系統(tǒng)的架構如圖2．醫(yī)生使用超聲探頭掃查嬰兒髖關節(jié)獲得視頻數(shù)據(jù)并輸入標準切面自動識別模塊；已被判定為標準切面的圖像被送入自動測量模塊，該模塊會自動檢測和分割出關鍵解剖結構(平直髂骨、髂骨下緣、盂唇和骨-軟骨結合處)，并自動測量出α角和β角，最后將結果展示在圖像中以供參考．

圖2 智能化DDH輔助篩查系統(tǒng)流程圖Fig.2 Flow chart of the intelligent auxiliary screening system of DDH

1.1 自動識別標準切面模塊

本研究提出的FOC分類神經(jīng)網(wǎng)絡，僅需少量陽性樣本，即標準切面，作為學習對象，通過自監(jiān)督訓練方式學習標準切面的特征信息，從而為未知圖像打出標準化評分．該方法可大幅減少對訓練數(shù)據(jù)和人工標注數(shù)量的依賴．

自動識別標準切面可視為圖像二分類任務，需要將輸入圖像歸類至標準切面或非標準切面，但在嬰兒髖關節(jié)的超聲視頻中，訓練二分類網(wǎng)絡存在一定的挑戰(zhàn)：① 二分類網(wǎng)絡同時需要陽性和陰性樣本，標準切面有明確定義，即至少包含平直髂骨、髂骨下緣、盂唇和骨-軟骨結合處4個解剖結構(見圖1(b))，不滿足此定義的圖像，如解剖結構顯示不全、 噪聲圖等， 均為非標準切面． 但通常情況下，難以獲得所有種類的非標準切面．② 超聲圖像質量較差，因此分類難度大，且高精度的網(wǎng)絡模型需要大量數(shù)據(jù)進行訓練，數(shù)據(jù)采集和標注工作量大．

作為一種特殊的分類任務，單分類任務只需判斷未知樣本是否為目標類，無需判定非目標類樣本類別．該任務適用于正負訓練樣本極度不均衡的任務，如訓練樣本全部為正樣本、大量正樣本和極少數(shù)的負樣本、大量正樣本和無數(shù)類難以標注的負樣本等[16]．常見的單分類模型可分為：① 基于分類的方法，如基于支持向量機(support vector machine, SVM)的單類別支持向量機(one-class support vector machine, OCSVM)[17]和深度支持向量數(shù)據(jù)描述(deep support vector data description, deep SVDD)[18]；② 基于無監(jiān)督或自監(jiān)督的幾何變換網(wǎng)絡(geometric transformations, GEOM)[19]和自監(jiān)督的分布外檢測(self-supervised out of distribution, SSOOD)[20]等；③ 基于圖像重建的變分自編碼器(variational auto-encoder, VAE)[21]和對抗生成網(wǎng)絡Ganomaly[22]等；④ 基于數(shù)據(jù)分布建模的深度自動編碼高斯混合模型[23]等．因此，可僅使用標準切面訓練一個單分類網(wǎng)絡．該網(wǎng)絡僅需充分學習標準切面的圖像特征分布，并判定所有不符合該單類特征分布的圖像為非標準切面，以此實現(xiàn)超聲視頻中標準切面的自動化識別．

由于DDH標準切面的標注數(shù)據(jù)量少，對單分類網(wǎng)絡的訓練造成一定困難．因此，本研究引入自監(jiān)督學習策略．與全監(jiān)督學習相比，采用自監(jiān)督學習訓練神經(jīng)網(wǎng)絡成本低且效率高．自監(jiān)督學習通過特定方式為訓練數(shù)據(jù)生成偽標簽，并用該標簽輔助下游任務．該方法適用于無標注或稀缺標注的數(shù)據(jù)集．自監(jiān)督學習在單分類任務中也得到了成功應用，例如GEOM和SSOOD等．對于DDH標準切面識別的任務，在數(shù)據(jù)集僅有少量標準切面的情況下，可通過自監(jiān)督的方式對數(shù)據(jù)集進行拓展，使網(wǎng)絡學習到標準切面的深度特征．

標準切面自動識別網(wǎng)絡由幾何變換模塊和監(jiān)督學習模塊構成，如圖3．網(wǎng)絡訓練時，首先將髖關節(jié)標準切面圖像x送入幾何變換模塊進行數(shù)據(jù)擴增，并生成偽標簽；擴增后的圖像和偽標簽被送入監(jiān)督學習模塊進行特征學習．幾何變換T由3步操作構成：① 水平平移TH，TH={TH0,TH1,TH2}． 其中,TH0、TH1和TH2分別表示將圖像在水平方向上平移0、 +n或-n個像素．② 垂直平移TV，TV={TV0,TV1,TV2}． 其中，TV0、TV1和TV2分別將圖像在垂直方向上平移0、 +n或-n個像素．③ 旋轉TR，TR={T0,T1,T2,T3}． 其中，T0、T1、T2和T3分別將圖像旋轉0°、90°、180°和270°．在數(shù)據(jù)擴增過程中，圖像在水平和垂直方向各取一個數(shù)值進行平移變換，隨后分別旋轉4個角度，即每張圖像先進行9種組合平移操作，再分別進行4種旋轉變換，共經(jīng)歷36種幾何變換組合．幾何變換模塊為每張變換后的圖像生成一個大小為1×3的標簽矩陣，該矩陣由水平平移操作(TH={TH0,TH1,TH2})的標簽h(h∈H={0, 1, 2}， 垂直平移操作(TV={TV0,TV1,TV2})的標簽v(v∈V={0, 1, 2})和旋轉操作(TR={T0,T1,T2,T3})的標簽r(r∈R={0, 1, 2, 3})拼接而成．變換后的圖像和偽標簽一起被送入特征提取網(wǎng)絡并進行監(jiān)督學習．

圖3 自動識別標準切面模塊的網(wǎng)絡框架Fig.3 The framework of the standard plane automatic recognition network

本實驗使用Resnet34[24]作為特征提取網(wǎng)絡，提取的圖像特征分別送入3個softmax層進行標簽預測，則由預測標簽與自監(jiān)督標簽得到的損失函數(shù)為

(1)

其中，LCE為交叉熵損失函數(shù)；pt(t|y)(t∈{TH,TV,TR})表示網(wǎng)絡對操作t的softmax預測值；y=T(x)為經(jīng)過幾何變換模塊后的圖像．

預測時，輸入一張未知圖像，經(jīng)過幾何變換后送入監(jiān)督學習模塊．網(wǎng)絡預測圖像的3種變換的標簽值，并計算出標準置信度為

(2)

由式(2)可見，若輸入的圖像越標準，網(wǎng)絡預測的幾何變換組合越準確，S值越大．最后手動定義一個分類的閾值t， 若S>t， 則該圖最終預測為標準切面；反之，則為非標準切面．找到驗證集分類性能最好的分類閾值，作為該網(wǎng)絡的最佳閾值．

1.2 自動快速測量模塊

自動識別標準切面模塊輸出的標準切面圖，進入自動測量模塊．為實現(xiàn)自動測量α角和β角功能，需獲取3條測量線，而這些測量線又依賴于關鍵解剖結構的輪廓(圖1(d))，因此，該模塊首先需要提取出髂骨、髂骨下緣和盂唇的輪廓線．通常使用分割網(wǎng)絡提取關鍵結構的語義信息，再計算出輪廓線．該過程存在兩個困難：① 由于超聲圖像質量較差、結構邊緣辨模糊，不同結構間辨識度低，語義分割網(wǎng)絡的精度難以得到保證；② 大型網(wǎng)絡的推理速度較慢，難以達到實時輔助篩查的速度．

與語義分割任務不同，實例分割對每一個目標同時預測位置和輪廓信息．引入位置信息可以輔助提升分割精度，并有效改善誤分割問題．實例分割網(wǎng)絡分為雙階段模式和單階段模式．雙階段模式如mask R-CNN[25]，需要先對目標區(qū)域檢測，再對檢測區(qū)域內部結構進行分割，兩階段串行進行，計算效率低．單階段實例分割網(wǎng)絡如Yolact[26]等，舍棄了耗時的區(qū)域定位操作，因此盡管犧牲了少量精度，但大幅提高了推理速度．

本研究提出一種能夠自動測量的快速實例分割網(wǎng)絡FIN，結構如圖4．由圖4可見，髖關節(jié)圖像需先經(jīng)過特征提取模塊，提取出圖像特征再分別送入原型掩膜生成模塊和預測模塊．前者用于生成固定數(shù)量的原型掩膜，后者用于生成原型掩膜的系數(shù)，二者結合可計算出最終的分割結果，并基于此結果出測量α角和β角．

圖4 自動快速實例網(wǎng)絡結構Fig.4 The framework of the fast instance network

1)特征提取網(wǎng)絡使用特征金字塔網(wǎng)絡(feature pyramid network, FPN)[27]作為骨干結構．卷積神經(jīng)網(wǎng)絡隨著網(wǎng)絡深度的增加，生成的特征圖(C1～C5)空間分辨率逐漸變小，形成金字塔結構．淺層的網(wǎng)絡輸出高分辨率特征圖，包含大量紋理特征和少量語義特征；深層的網(wǎng)絡輸出低分辨率特征圖，包含少量紋理特征和大量語義特征．FPN將自下而上和自上而下的兩個金字塔網(wǎng)絡橫向連接在一起，因此每層輸出的特征圖(P3～P7)融合了不同尺度的紋理特征和語義特征，有效提升了精度．在本實驗中，骨干網(wǎng)絡采用Resnet50-FPN網(wǎng)絡結構．

2)原型掩膜生成模塊使用FCN結構，輸入FPN的特征圖P3，經(jīng)過若干3×3卷積和一個1×1卷積操作后，輸出尺寸為138×138×k像素的原型掩膜．其中，k為原型掩膜的個數(shù)；138×138為一個原型掩膜的圖像分辨率．

3)預測模塊輸入5張?zhí)卣鲌DP3～P7， 預先定義對每個像素點生成固定長寬比的3個錨框，因此對于一張分辨率為Wi×Hi的特征圖Pi(i為特征圖序號，i=3, 4,…, 7,)， 共生成Wi×Hi×3個錨框，其中每個錨框需要3種類型的預測結果：類別置信度、邊界框偏移量和掩膜系數(shù)．

特征圖Pi經(jīng)過2個3×3卷積層后，得到尺寸為Wi×Hi×256的特征圖．隨后分別進入3個平行的預測分支：一個用于分類預測，輸出c個類別的置信度；一個用于回歸邊界框的4個偏移量；一個用于掩膜系數(shù)預測，對于k個原型掩膜，該分支也將輸出k個系數(shù)．因此，對于特征圖Pi， 該模塊共輸出ai=(c+4+k)×Wi×Hi×3個預測值．最后，將所有特征圖的預測結果進行拼接，得到所有錨框的預測值．

通過預測模塊獲得候選框的集合，由于框體之間存在大量重疊，還需進行篩選才能獲得最合適的檢測框結果，此操作被稱為非極大值抑制(non-maximum suppression, NMS)．傳統(tǒng)的NMS方法順序計算所有框之間的重疊程度，耗時巨大．為加快推理速度，F(xiàn)IN使用快速NMS方法[26]，通過并行計算進行加速．首先，網(wǎng)絡輸出c個類別的n個檢測框，對于每個類別，n個檢測框按類別得分降序排列，生成一個大小為n×n的矩陣；計算該矩陣與自身的交并比(intersection over union, IoU)，獲得IoU矩陣X；對X進行上三角化，得到X′；對X′按列取最大值，并與NMS閾值進行比較，保留小于閾值的候選框，即為最后的檢測框．

預測模塊輸出的掩膜系數(shù)和原型掩膜，可通過線性組合生成預測的掩膜，即

M=σ(PCT)

(3)

其中，P為大小為Wi×Hi×k的原型掩膜矩陣；C為大小為m×k的掩膜系數(shù)矩陣，m為實例個數(shù)；σ(·)為sigmoid函數(shù)．計算得到的掩膜經(jīng)過檢測框裁剪，只保留邊框內部的掩膜為最終預測掩膜．

該網(wǎng)絡的損失函數(shù)為

L=Lcls+Lbox+Lmask

(4)

其中，Lcls為分類損失函數(shù)；Lbox為檢測損失函數(shù)，二者詳細計算方式可見單階段多目標檢測網(wǎng)絡(single shot multibox detector, SSD)[28]，掩膜預測的損失函數(shù)Lmask為預測掩膜M和金標準(ground truth, GT)掩膜MGT之間的二進制交叉熵(binary cross entropy, BCE)，即Lmask=BCE(M,MGT)．

除了3個測量所需的解剖結構，本研究額外增加了骨-軟骨結合處的實例分割，因為該結構為標準切面的必備結構之一，將其展示在圖像上有助于醫(yī)生辨識、強化理解標準切面的特征．

2 實驗及結果分析

2.1 數(shù)據(jù)采集

本研究共采集634例嬰兒髖關節(jié)超聲數(shù)據(jù)，每例包含左右兩側髖關節(jié)的標準切面圖，其中185例包含髖關節(jié)超聲視頻．所有數(shù)據(jù)采集自廣東省婦幼保健院超聲科，超聲設備的型號為日立HIVSON，詳細數(shù)據(jù)分布如表1．其中，用于標準切面分類實驗的185個病例包含329個超聲視頻，每個視頻均由高年資醫(yī)生(臨床經(jīng)驗10年及以上)逐幀標注出是否為標準切面．用于自動測量實驗的634個病例，包含1 321張超聲標準切面圖像，每個病例包含左右兩側髖關節(jié)圖像，每張圖均由高年資醫(yī)生標注出4個關鍵解剖結構(髂骨、髂骨下緣、盂唇和骨-軟骨結合處)的輪廓．

表1 標準切面分類數(shù)據(jù)和自動測量實驗集分布Table 1 Dataset of stand plane classification and automatic measurement 個

2.2 自動識別標準切面實驗及結果分析

2.2.1 實驗設置

實驗將該網(wǎng)絡和常見的單分類網(wǎng)絡進行對比．訓練時僅使用約30%的標準切面，且不使用非標準切面，數(shù)據(jù)集劃分如表2．所有圖像統(tǒng)一縮放至224×224像素，且經(jīng)過圖像標準化的處理，即圖像像素矩陣減去其均值并除以其標準差．

表2 少樣本單分類網(wǎng)絡數(shù)據(jù)集劃分Table 2 Dataset partition of few-shot one class classifier 張

實驗使用的單分類網(wǎng)絡有：① OCSVM．由于方向梯度直方圖(histogram of oriented gradient, HOG)能夠有效提取超聲圖像的特征[29]，因此先用該方法提取髖關節(jié)圖像的63 504維特征，再使用SVM學習特征向量并進行分類．② deep SVDD[18]．基于單類別SVM的思想，使用神經(jīng)網(wǎng)絡擬合出一個包裹所有標準切面特征的超球體，通過最小化超球面的半徑來迭代優(yōu)化網(wǎng)絡模型．推理時，該模型將未知圖像映射到特征空間，可計算出該圖像特征與超球體的位置關系．若該樣本在球體內部，則認為該圖像為標準切面；反之，則為非標準切面．實驗使用Resnet34作為特征提取的主干網(wǎng)絡，并丟棄最后的分類層，以特征空間原點為球心建立超球體模型，提取512維圖像特征計算超球體的半徑．③ Ganomaly[22]．該方法基于兩個一致性原理，即重建圖與原圖一致、重建圖的編碼與原圖的編碼一致，構造出編碼-解碼-編碼的網(wǎng)絡結構，并融入對抗訓練的思想，使網(wǎng)絡同時學習到訓練樣本的圖像特征和隱空間特征．④ FOC．使用pytorch學習框架，學習率為5×10-4，優(yōu)化器為隨機梯度下降法(stochastic gradient descent, SGD)，共迭代100個epoch．操作系統(tǒng)為Linux，使用兩塊GPU進行訓練，型號為NVIDIA GTX 2080Ti．

單分類網(wǎng)絡輸出為圖像的標準置信度，無法根據(jù)訓練集確定合適的分類閾值，因此實驗使用需要包含標準切面和非標準切面的驗證集的輔助驗證，選取最優(yōu)模型．上述實驗均使用五折交叉驗證．

2.2.2 評估指標

分類網(wǎng)絡的評估指標包含接受者操作特征曲線下面積(area under the receiver operating characteristic curve, AUROC)、平均精度(average precision, AP)、FPR95、準確率(accuracy, ACC)、精確率(precision)、召回率(recall)和F1值．其中，F(xiàn)PR95為常見的單分類性能評估指標之一，表示TPR為95%時FPR的值，即陽性樣本中的95%被正確分類時，陰性樣本中被誤分類為陽性的比例，其值越小越好．在得到標準置信度的ROC曲線后，通過約登指數(shù)計算出最佳分類閾值，置信度高于此閾值，則認為該圖為標準切面；反之，則為非標準．根據(jù)分類結果，可計算出ACC、precision、recall和F1值．

2.2.3 實驗結果與分析

表4為不同分類網(wǎng)絡性能的定量評估結果．由表4可見，F(xiàn)OC網(wǎng)絡的所有指標均優(yōu)于其他單分類網(wǎng)絡．圖5為不同分類網(wǎng)絡的AUROC曲線的對比．由圖5可見，F(xiàn)OC網(wǎng)絡的曲線高于其他網(wǎng)絡，說明在僅使用少量樣本的情況下，其分類性能明顯優(yōu)于其他單分類網(wǎng)絡．原因在于幾何變換的組合擴增了訓練樣本量；監(jiān)督網(wǎng)絡識別幾何變換，可以促使網(wǎng)絡學習到標準切面的關鍵特征．

圖5 不同分類網(wǎng)絡ROC曲線對比Fig.5 Comparison of receiver operating characteristic curve of different classification networks

臨床上DDH超聲篩查更看重視頻中的標準切面能被正確識別的比例，即recall值越高越好．由表4可見，F(xiàn)OC網(wǎng)絡的recall值明顯高于其他分類器，表明其實用價值更高．但是，F(xiàn)OC網(wǎng)絡對非標準切面的識別能力較差，易將非標準切面誤判為標準切面，尤其是在識別一些接近標準但非標準的切面圖像時．如圖6(b)的非標準切面，髂骨下緣不夠清晰，但整體形態(tài)非常接近標準切面，由于FOC網(wǎng)絡沒有學習過此類負樣本的圖像特征，處理細微結構差異的能力較差，因此將其誤判為標準切面．

圖6 FOC網(wǎng)絡分類結果示例Fig.6 Examples of classification results of FOC network

表4 不同單分類網(wǎng)絡性能的定量評估結果1)，2)Table 4 Quantitative evaluation results of different classification networks %

2.3 自動測量實驗及結果分析

2.3.1 實驗設置

本實驗將提出的自動測量網(wǎng)絡與常用的語義分割網(wǎng)絡對比．由于語義分割網(wǎng)絡只輸出分割結果，為保證結果一致性，使用分割結果生成最小外接框并計算檢測相關的指標．所有網(wǎng)絡輸入圖像大小均設為512×512像素，且經(jīng)過旋轉、平移、縮放和亮度變換等數(shù)據(jù)增強操作．

進行對比實驗的網(wǎng)絡包括：① FCN：先使用卷積網(wǎng)絡提取圖像特征，再通過反卷積將特征圖恢復到原圖大小，最后對每一個像素生成一個類別標簽，從而實現(xiàn)語義分割．本實驗中使用VGG16作為FCN的特征提取網(wǎng)絡．② Unet：該網(wǎng)絡通過跳躍連接，將不同尺度的特征圖依次融合入上采樣的過程，使網(wǎng)絡有效學習到多尺度的特征，提高了分割精度，已在醫(yī)學圖像領域得到廣泛應用．③ deeplab V3[30]：基于Resnet網(wǎng)絡結構的多重網(wǎng)格操作和改進的空洞金字塔池化操作，能有效提取多尺度的圖像特征信息．在本實驗中使用Resnet34作為骨干網(wǎng)絡．④ FIN：使用pytorch學習框架，學習率為1×10-4，優(yōu)化器為SGD，共迭代150個epoch．操作系統(tǒng)為Linux，使用一塊型號為NVIDIA GTX 2080Ti的GPU進行訓練．上述實驗均使用五折交叉驗證．

2.3.2 評估指標

1)檢測指標：① 平均交并比(mean intersection over union, mIoU)，即所有類別預測框與真實框之間IoU的均值，反應了檢測框與真實框之間的相似度，該值越大越好；② 平均精度均值(mean average precision, mAP)，即所有類別的平均精度的均值．手動設定一個閾值，當IoU大于該閾值，則認為該預測框預測正確，反之則錯誤．設置不同閾值，可以計算不同的precision和recall值，并計算出平均精度．mAP值越大越好．

2)分割指標：① Dice相似性系數(shù)(Dice similarity coefficient, DSC)用于評估兩個分割區(qū)域X和Y的相似性，即

(5)

在本研究中， DSC(X,Y)用于計算網(wǎng)絡分割結果和標注結果的相似度，其值越大相似度越高；② Jaccard系數(shù)(Jaccard coefficient, JAC)用于衡量兩個分割區(qū)域X和Y之間的相似性，即

(6)

JAC值越大表明兩個區(qū)間相似度越高；③ Hausdorff距離(Hausdorff distance, HD)用于描述兩個分割區(qū)域X和Y邊緣之間的距離，即

(7)

其中，x和y分別區(qū)域X和Y中的點；d(x,y)表示點x和點y之間的歐氏距離；sup代表上確界；inf代表下確界．HD值越小越好；④平均表面距離(average surface distance, ASD)表示分割結果X的所有的到表面距離的平均值，即

(8)

其中，S(X)和S(Y)分別表示分割區(qū)域X和Y的邊緣線，sX和sY為X和Y的邊緣點；d(sX,sY)為sX和sY的歐式距離．ASD值越小越好．

3)測量指標：采用平均絕對誤差(mean absolute error, MAD)計算預測角度與標準角度之間的絕對誤差，該值越小表示角度預測越準確．

4)推理速度：采用每秒處理幀數(shù)(frames per second, FPS)反應網(wǎng)絡推理的速度．為保證結果公正，本實驗中的時間計算考慮到網(wǎng)絡推理和自動測量，且不同網(wǎng)絡的測量操作相同．

此外，在計算檢測和分割指標時去除了背景類，以防大面積的背景對結果可靠性造成影響．

2.3.3 實驗結果與分析

表5為不同網(wǎng)絡的目標檢測和分割性能．由表5可見，F(xiàn)IN網(wǎng)絡的所有指標都優(yōu)于其他網(wǎng)絡，其中mIoU和mAP值高說明該網(wǎng)絡對解剖結構的定位更精準；DSC和JAC指標高說明該網(wǎng)絡對解剖結構的分割更準確；HD和ASD值低說明該網(wǎng)絡在結構輪廓上的分割更好；FPS=33.88幀/s，符合實時測量的要求．雖然FCN的FPS也超過了30幀/s，但它們在分割與檢測的任務上表現(xiàn)欠佳．可見，單階段的實例分割網(wǎng)絡架構和快速NMS方法能夠有效使FIN兼顧了速度與精準度，綜合性能優(yōu)于其他分割網(wǎng)絡．

表5 不同網(wǎng)絡目標檢測及分割性能的定量評估結果1)2)Table 5 Quantitative evaluation results of object detection and segmentation performance of different networks

圖7為不同網(wǎng)絡分割結果的定性展示，限于篇幅，更多定性對比分割結果圖請掃描論文頁末右下角二維碼查看補充材料圖S1．其中，圖7(a)為醫(yī)生標注的標準圖；圖7(b)—(d)為不同語義分割網(wǎng)絡輸出結果；圖7(e)為FIN的分割結果．由圖7可見，語義分割網(wǎng)絡的輸出結果會出現(xiàn)分割缺失的現(xiàn)象，如盂唇分割不全(圖7(c)紅色區(qū)域)和骨軟骨結合處分割不全(圖7(d)紫色區(qū)域)等；也會出現(xiàn)誤分割的現(xiàn)象，將其他結構識別為目標結構(圖7(b)綠色區(qū)域、圖7(d)綠色和紫色區(qū)域)等．補充材料圖S1從更多方面展示了語義分割的誤差，例如平直髂骨誤分割為髂骨下緣(第1行第2第3列綠色區(qū)域)、骨軟骨交界處誤分割為平直髂骨(第2行第3列藍色區(qū)域)等．上述分割的誤差不僅影響結構的標識，也會影響角度測量的精度．與語義分割網(wǎng)絡相比，F(xiàn)IN網(wǎng)絡明顯改善了上述問題，同時在分割的完整性上得到了提升，原因在于多任務的學習模式使得各個任務之間互相促進，同時檢測任務可有效過濾了非目標區(qū)域的誤分割結果．

補充材料

圖7 不同網(wǎng)絡分割結果定性展示Fig.7 Qualitative display of different network segmentation results

表6為不同網(wǎng)絡自動測角的MAD性能．其中，F(xiàn)IN網(wǎng)絡有著最高的測量精度，α角的MAD為2.48°，β角的MAD為4.38°，二者均為最低．圖8可視化了FIN角度測量結果，與標準測量值誤差很小．同時，該實驗額外統(tǒng)計不同醫(yī)生間手工測量的誤差．對于每一張測試用圖，由高年資醫(yī)生標注出標準數(shù)值，再由其他醫(yī)生獨立手動測量一遍，二者的差值即為手工測量誤差．由表6可見，F(xiàn)IN網(wǎng)絡的角度誤差小于手工測量誤差，說明該方法可減少不同醫(yī)生之間的測量差異，輔助臨床篩查更標準化和精確化．

圖8 FIN網(wǎng)絡自動測量角度結果可視化示例Fig.8 Example of FIN network automatic angle measurement results

表6 不同網(wǎng)絡自動測量結果與標準值的MAD1)Table 6 MAD between automatic measurement results and standard values of different networks

結 語

提出一個智能化DDH輔助診斷系統(tǒng)，讀取嬰兒髖關節(jié)超聲視頻后，通過FOC網(wǎng)絡模塊自動識別標準切面，隨后將標準切面輸入FIN模塊，快速測量出α角和β角后，再將可視化測量結果展示于關鍵解剖結構標識．與其他基準網(wǎng)絡OCSVM、deep SVDD和Ganomaly的對比實驗結果表明，F(xiàn)OC網(wǎng)絡對標準切面的識別存在明顯優(yōu)勢．FIN網(wǎng)絡在速度和精度上均優(yōu)于FCN、Unet和deeplab V3網(wǎng)絡．該系統(tǒng)對標注數(shù)據(jù)量的要求較低，可提升DDH臨床篩查的同質化水平，控制測量質量，提高臨床醫(yī)生的工作效率．