周圓圓,曹永杰,楊越,王亞麗,鄧愷飛,馬開(kāi)軍,陳憶九,秦志強(qiáng),張建華,黃平,張吉,陳麗琴
(1.內(nèi)蒙古醫(yī)科大學(xué)法醫(yī)學(xué)教研室,內(nèi)蒙古 呼和浩特 010030;2.司法鑒定科學(xué)研究院 上海市法醫(yī)學(xué)重點(diǎn)實(shí)驗(yàn)室 司法部司法鑒定重點(diǎn)實(shí)驗(yàn)室 上海市司法鑒定專(zhuān)業(yè)技術(shù)服務(wù)平臺(tái),上海 200063;3.南京醫(yī)科大學(xué)法醫(yī)學(xué)教研室,江蘇 南京 210000;4.上海市刑事科學(xué)技術(shù)研究院,上海 200083)
在法醫(yī)病理學(xué)鑒定實(shí)踐中,硅藻檢驗(yàn)是鑒定溺死的重要手段之一。通過(guò)對(duì)尸體進(jìn)行硅藻檢驗(yàn),結(jié)合案情的調(diào)查,可對(duì)疑似溺死者的死亡原因作出判斷,對(duì)硅藻的種屬研究甚至能夠推斷死者的溺亡地點(diǎn)[1]。硅藻檢驗(yàn)方法有很多,傳統(tǒng)方法包括化學(xué)消化法[2]、DNA測(cè)序[3]等,近年來(lái)又在這些方法的基礎(chǔ)上研發(fā)出其他新方法,例如微波消解-掃描電鏡法[4]等。其中強(qiáng)酸消化法因操作簡(jiǎn)單、試劑配制方便,是基層法醫(yī)實(shí)驗(yàn)室中最常用的硅藻檢驗(yàn)方法。
在基于強(qiáng)酸消化的傳統(tǒng)觀察方法中,計(jì)數(shù)需要有專(zhuān)業(yè)基礎(chǔ)和經(jīng)驗(yàn)的法醫(yī)在光鏡或電鏡下肉眼觀察,這一過(guò)程不僅耗時(shí)費(fèi)力,且容易漏檢較小的硅藻。因此,將人工智能方法結(jié)合數(shù)字化病理圖像技術(shù)應(yīng)用于法醫(yī)病理學(xué)領(lǐng)域?qū)崿F(xiàn)硅藻的自動(dòng)化識(shí)別,以使硅藻檢驗(yàn)定性定量分析過(guò)程更加智能,檢驗(yàn)結(jié)果更加準(zhǔn)確和客觀,有利于提升檢案效能。
本研究將硝酸破機(jī)法聯(lián)合人工智能硅藻自動(dòng)化識(shí)別系統(tǒng)應(yīng)用于實(shí)際案例的硅藻檢驗(yàn),并對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析,探討該方法可能面臨的問(wèn)題,為日后人工智能硅藻自動(dòng)化識(shí)別系統(tǒng)的應(yīng)用提供一定參考。
收集10例案例的內(nèi)部器官,男性6例、女性4例,其中9例是溺死案例,1例是非溺死案例。2例解剖案例包含肺、肝和腎組織,2例送檢案例包含肺和腎組織,另6例送檢案例只有肺組織。以上器官與組織均來(lái)源于司法鑒定科學(xué)研究院,本實(shí)驗(yàn)已通過(guò)司法鑒定科學(xué)研究院倫理委員會(huì)批準(zhǔn)。
組織樣本處理:每個(gè)器官均取材20g,加入30mL分析純硝酸和1 mL無(wú)水乙醇,在60℃的恒溫磁力攪拌器(上海梅穎浦儀器儀表制造有限公司)上消化至液體澄清無(wú)大顆粒雜質(zhì)。取10mL澄清消化液,以3 000×g離心5 min,棄去上清液,將沉淀混勻后在載玻片上涂片。
水樣本處理:取10 mL水樣(均為送檢單位提供的現(xiàn)場(chǎng)水樣)以3000×g離心5min,棄去上清液,沉淀混勻后制成水樣涂片。
將器官涂片和水樣涂片均使用Aperio AT2切片掃描儀(德國(guó)Leica Biosystems公司)掃描成400倍的數(shù)字化病理圖像,使用人工智能硅藻自動(dòng)化識(shí)別系統(tǒng)進(jìn)行檢測(cè)。
深度學(xué)習(xí)是近年來(lái)機(jī)器學(xué)習(xí)及人工智能領(lǐng)域新的研究熱點(diǎn),通過(guò)模擬人腦神經(jīng)元結(jié)構(gòu)對(duì)數(shù)據(jù)進(jìn)行特征提取,從而實(shí)現(xiàn)圖像識(shí)別等功能[5]。其中,卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)就是一種常用于圖像識(shí)別的深度學(xué)習(xí)算法[6]。目前,深度學(xué)習(xí)構(gòu)架已經(jīng)被證實(shí)在數(shù)字化病理圖像中疾病程度的自動(dòng)分類(lèi)方面具有非常大的應(yīng)用價(jià)值[7]?;谶@些技術(shù),本研究院團(tuán)隊(duì)自行開(kāi)發(fā)了一套適用于法醫(yī)硅藻檢驗(yàn)的自動(dòng)化識(shí)別系統(tǒng)。
該系統(tǒng)主要由數(shù)字化病理圖像預(yù)處理模塊、識(shí)別模塊和結(jié)果展示模塊組成(圖1)。其中,數(shù)字化病理圖像預(yù)處理模塊包括圖片切割和圖片均值化處理。識(shí)別模塊中涉及的模型為GoogLeNet深度學(xué)習(xí)模型。前期研究[8]結(jié)果顯示,該模型在硅藻識(shí)別方面準(zhǔn)確率可達(dá)到97.67%,其通過(guò)逐區(qū)域掃描切片,自動(dòng)提取包含硅藻信息的區(qū)片。結(jié)果展示模塊是根據(jù)對(duì)提取法醫(yī)實(shí)際檢案中有效的輔助信息所設(shè)計(jì)的,主要可實(shí)現(xiàn)的功能有硅藻計(jì)數(shù)、硅藻圖片的截取等。
圖1 人工智能硅藻自動(dòng)化識(shí)別系統(tǒng)的操作示意圖Fig.1 The operation diagram of artificial intelligence automatic diatom identification system
由于強(qiáng)烈的消化反應(yīng)會(huì)產(chǎn)生硅藻碎片,影響計(jì)數(shù)結(jié)果,因此制定了硅藻計(jì)數(shù)規(guī)則,以保證計(jì)數(shù)的可靠性。此規(guī)則以硅藻面積為標(biāo)準(zhǔn),面積大于50%的硅藻計(jì)數(shù)為1個(gè),小于50%的硅藻則不計(jì)數(shù)。
該系統(tǒng)的硬件配置為:Inter Core i7-8700K@3.70 GHz,六核CPU,NVIDIA TITAN Xp 12 GB獨(dú)立顯卡,8GB內(nèi)存,Ubuntu 16.04操作系統(tǒng),基于Python語(yǔ)言的PyCharm開(kāi)發(fā)工具。
模型評(píng)價(jià)指標(biāo)使用查準(zhǔn)率(precision),并引入受試者操作特征(receiver operator characteristic,ROC)曲線和混淆矩陣,以便更直觀且全面地對(duì)該系統(tǒng)的性能進(jìn)行驗(yàn)證。查準(zhǔn)率是模型預(yù)測(cè)出真陽(yáng)性的數(shù)量占所預(yù)測(cè)出陽(yáng)性的總體數(shù)量的比例,代表了該模型對(duì)陽(yáng)性結(jié)果的預(yù)測(cè)準(zhǔn)確程度。ROC曲線以假陽(yáng)性率(false positive rate,F(xiàn)PR)為橫坐標(biāo)、真陽(yáng)性率(true positive rate,TPR)為縱坐標(biāo),曲線下面積(area under the curve,AUC)取值為0~1,值越接近1,說(shuō)明該模型的性能越好。各類(lèi)指標(biāo)的計(jì)算公式如下:
上述公式中,TP代表真陽(yáng)性,即專(zhuān)家(3位具有5年以上硅藻檢驗(yàn)工作經(jīng)驗(yàn)的法醫(yī),其中2位進(jìn)行初檢,1位進(jìn)行復(fù)檢)標(biāo)識(shí)為硅藻、模型識(shí)別為硅藻的個(gè)數(shù);FP代表假陽(yáng)性,即專(zhuān)家標(biāo)識(shí)為非硅藻、模型識(shí)別為硅藻的個(gè)數(shù);FN代表假陰性,即專(zhuān)家標(biāo)識(shí)為硅藻、模型識(shí)別為非硅藻的個(gè)數(shù);TN代表真陰性,即專(zhuān)家標(biāo)識(shí)為非硅藻、模型識(shí)別為非硅藻的個(gè)數(shù)。
該人工智能硅藻自動(dòng)化識(shí)別系統(tǒng)所搭載的深度學(xué)習(xí)模型的ROC曲線見(jiàn)圖2,其AUC值達(dá)到98.22%,表明該模型在自動(dòng)化識(shí)別硅藻方面具有較好的性能。經(jīng)本系統(tǒng)識(shí)別實(shí)際案例中10mL水樣涂片10張,其硅藻檢驗(yàn)結(jié)果均為陽(yáng)性。肺涂片10張,肝涂片2張,腎涂片4張,共計(jì)檢出硅藻6 467個(gè)。器官涂片中假陽(yáng)性結(jié)果有528個(gè),由此得出硅藻識(shí)別的總體查準(zhǔn)率為92.45%(表1)。其中,案件4雖然肺內(nèi)硅藻只有16個(gè),但在保證無(wú)污染的情況下,肝、腎內(nèi)都檢出1個(gè)硅藻,結(jié)合相關(guān)案情,該結(jié)果提示生前溺水;案件10肺內(nèi)硅藻個(gè)數(shù)為0,不能確證生前溺水,結(jié)合案情調(diào)查及尸體檢驗(yàn),支持死后拋尸入水。結(jié)果表明,該系統(tǒng)靈敏度較高,可以輔助硅藻的檢測(cè)識(shí)別工作。
圖2 人工智能硅藻自動(dòng)化識(shí)別系統(tǒng)搭載的深度學(xué)習(xí)模型ROC曲線及AUCFig.2 ROC curve and AUC of the deep learning model based on the artificial intelligence automatic
表1 人工智能硅藻自動(dòng)化識(shí)別系統(tǒng)識(shí)別10個(gè)實(shí)際案例的硅藻數(shù)量Tab.1 The number of diatoms in 10 actual cases identified by the artificial intelligence automatic diatom identification system (個(gè))
該人工智能硅藻自動(dòng)化識(shí)別系統(tǒng)的結(jié)果展示模塊見(jiàn)圖3。由于計(jì)算機(jī)識(shí)別存在一定的誤差,在這一步需要人工核實(shí)后出具結(jié)果(人工確認(rèn)用時(shí)約5 min)。如圖所示,真陽(yáng)性結(jié)果標(biāo)注為紅色圓點(diǎn),假陽(yáng)性結(jié)果標(biāo)注為綠色圓點(diǎn)。該模塊結(jié)合法醫(yī)學(xué)鑒定中的實(shí)際需求,不但可以直觀地觀察硅藻的分布情況并進(jìn)行圖片截取,還能夠?qū)崿F(xiàn)自動(dòng)化硅藻計(jì)數(shù)。該系統(tǒng)對(duì)像素變化十分敏感,相較于人眼,計(jì)算機(jī)僅在400倍的光鏡視野下就可以在復(fù)雜的背景中發(fā)現(xiàn)肉眼不易發(fā)現(xiàn)的組織樣本中直徑20 μm左右的微型硅藻及硅藻碎片(圖4)。
圖3 人工智能硅藻自動(dòng)化識(shí)別系統(tǒng)的結(jié)果展示模塊Fig.3 The result display module of the artificial intelligence automatic diatom identification system
圖4 人工智能硅藻自動(dòng)化識(shí)別系統(tǒng)識(shí)別出的小硅藻及硅藻碎片(×400)Fig.4 The small diatoms and diatoms fragments identified by the artificial intelligence automatic diatom identification system (×400)
硅藻檢驗(yàn)是法醫(yī)診斷溺死較為常用的方法。目前,用于硅藻檢驗(yàn)的方法較多,但在現(xiàn)有的常用方法中,基于DNA序列的硅藻檢驗(yàn)因其儀器、試劑較為昂貴,不適用于基層的法醫(yī)學(xué)實(shí)驗(yàn)室。而基于形態(tài)學(xué)方法的硅藻檢驗(yàn)常使用各類(lèi)試劑進(jìn)行消解,涂片后鏡下觀察過(guò)程耗時(shí)費(fèi)力,且需要具備一定的專(zhuān)業(yè)知識(shí)和經(jīng)驗(yàn),為法醫(yī)工作者帶來(lái)一定的挑戰(zhàn)。鑒于此,我們開(kāi)發(fā)了基于人工智能的硅藻自動(dòng)化識(shí)別系統(tǒng)[8]。本研究驗(yàn)證了該系統(tǒng)在實(shí)際檢案中的可行性,為溺死的法醫(yī)學(xué)鑒定提供支持。
硅藻作為一種微生物藻類(lèi),形體極為微小,一般只有十幾微米到幾十微米。在溺死案例中,可以穿過(guò)氣血屏障經(jīng)血液循環(huán)到達(dá)肝、腎的硅藻更加微小,且消化過(guò)程中也會(huì)產(chǎn)生硅藻碎片,這些小硅藻及硅藻碎片在光鏡下通過(guò)肉眼難以發(fā)現(xiàn),而本研究所使用的卷積神經(jīng)網(wǎng)絡(luò)通過(guò)對(duì)圖像像素進(jìn)行特征提取從而訓(xùn)練出的自動(dòng)化識(shí)別模型,對(duì)像素變化的靈敏度極高,在400倍的光鏡視野下就可以發(fā)現(xiàn)肉眼不易發(fā)現(xiàn)的小硅藻及硅藻碎片。該系統(tǒng)工作效率遠(yuǎn)高于經(jīng)驗(yàn)豐富的專(zhuān)家[8],而且針對(duì)體積微小的硅藻更具有優(yōu)勢(shì),不僅提高了硅藻的檢出率和檢案效率,結(jié)果也更準(zhǔn)確、直觀。
當(dāng)然,該系統(tǒng)也存在一定的問(wèn)題。第一,所使用的深度學(xué)習(xí)構(gòu)架,其數(shù)據(jù)量的大小直接會(huì)影響訓(xùn)練模型的性能[5]。小的數(shù)據(jù)集訓(xùn)練容易過(guò)擬合,需要海量的樣本進(jìn)行訓(xùn)練才能達(dá)到較好的泛化能力。其二,該系統(tǒng)的識(shí)別能力取決于深度學(xué)習(xí)模型的學(xué)習(xí)量,即新背景的圖片對(duì)系統(tǒng)的識(shí)別能力存在影響。針對(duì)上述問(wèn)題,可以在檢案的同時(shí),不斷對(duì)現(xiàn)有的硅藻數(shù)據(jù)庫(kù)進(jìn)行補(bǔ)充與擴(kuò)建,在現(xiàn)階段最佳模型上繼續(xù)進(jìn)行訓(xùn)練。
綜上所述,本研究通過(guò)自主研發(fā)的人工智能硅藻自動(dòng)化識(shí)別系統(tǒng)對(duì)10例實(shí)際案件中的水中尸體進(jìn)行硅藻檢驗(yàn),證明了該系統(tǒng)在法醫(yī)學(xué)溺死案件中應(yīng)用具有可行性。該系統(tǒng)在降低人工干預(yù)方面具有獨(dú)特的優(yōu)勢(shì),并可與諸多硅藻前處理方法(如酶消化法、真空過(guò)濾等)聯(lián)合使用,為未來(lái)實(shí)現(xiàn)智能化硅藻檢驗(yàn)奠定了基礎(chǔ)。由于本系統(tǒng)仍處于初步研究階段,目前僅具有自動(dòng)化識(shí)別、計(jì)數(shù)等少數(shù)功能,未來(lái)可通過(guò)硅藻訓(xùn)練數(shù)據(jù)庫(kù)的擴(kuò)充、深度學(xué)習(xí)算法的優(yōu)化以及視窗界面的完善等進(jìn)一步提升該系統(tǒng)的功能。此外,我們將在該硅藻自動(dòng)化識(shí)別系統(tǒng)的基礎(chǔ)上建立更為準(zhǔn)確、客觀、高效的硅藻種屬分類(lèi)模型,從而挖掘深度學(xué)習(xí)技術(shù)在溺水地點(diǎn)推斷中的潛在應(yīng)用價(jià)值。