郭玉彬,林欣穎,曾曉銀,孫 堅,李西明
(1.華南農(nóng)業(yè)大學(xué)數(shù)學(xué)與信息學(xué)院,廣東 廣州 510642;2.華南農(nóng)業(yè)大學(xué)獸醫(yī)學(xué)院,廣東 廣州 510642)
【研究意義】目前我國乃至全世界動物源細(xì)菌存在耐藥現(xiàn)象十分普遍,多重耐藥、泛耐藥的菌株不斷出現(xiàn),給公共衛(wèi)生和食品安全造成了很大威脅[1-2]。實現(xiàn)耐藥性控制的前提條件是實時、準(zhǔn)確地進(jìn)行細(xì)菌的耐藥性監(jiān)測。目前耐藥監(jiān)測的主要手段是對采樣細(xì)菌進(jìn)行藥物敏感性試驗,再利用試驗結(jié)果獲取監(jiān)測范圍內(nèi)致病菌感染發(fā)生率及耐藥動態(tài)。而這些結(jié)果是動態(tài)預(yù)測耐藥趨勢及抗菌藥物治療效果、指導(dǎo)臨床用藥、研究耐藥機(jī)理的依據(jù),同時也為政府耐藥性監(jiān)管、新藥研發(fā)等工作提供支持[3]。細(xì)菌藥物敏感性試驗(antimicrobial susceptibility test,AST),簡稱藥敏試驗,是一種定量測定微生物對抗菌藥物耐受程度的方法[2-8]。目前我國大部分養(yǎng)殖場,特別是中小型養(yǎng)殖場使用最多的AST試驗方法是微量肉湯稀釋法[2,6]。因此,研究提高藥敏試驗結(jié)果判讀效率具有重要意義?!厩叭搜芯窟M(jìn)展】微量肉湯稀釋法主要過程是將分離培養(yǎng)后的菌株加入已配置不同濃度藥劑的微孔板試劑盒的各個微孔中,孵育一段時間后,通過觀察試劑盒中微孔的顏色或渾濁度變化來確定最低抑菌濃度(minimal inhibitory concentration,MIC)。目前,多數(shù)實驗室通過實驗人員肉眼觀察來確定細(xì)菌MIC值。雖然近年國內(nèi)外市場已出現(xiàn)了一些基于微量肉湯稀釋法的自動快速檢測系統(tǒng),但儀器價格昂貴、試驗條件要求復(fù)雜,無法支持我國基層的養(yǎng)殖場,特別是中小型養(yǎng)殖戶批量測試的需求。而人工讀取數(shù)據(jù)的方法效率低,且對實驗人員眼力、體力是一個嚴(yán)重考驗,無法長時間連續(xù)工作。近年來人工智能技術(shù)的突破引領(lǐng)計算機(jī)視覺的飛速發(fā)展,物體識別問題已初步解決,例如,ImageNet挑戰(zhàn)賽的物體識別正確率已經(jīng)達(dá)到人類水平。這方面研究成果正大規(guī)模應(yīng)用于人們生產(chǎn)、生活場景,如刷臉支付、視頻/監(jiān)控分析等[9-11]。【本研究切入點(diǎn)】本研究將卷積神經(jīng)網(wǎng)絡(luò)在物體識別方面的研究成果應(yīng)用于藥敏試驗中結(jié)果的判讀,首先利用手機(jī)等設(shè)備采集藥敏試驗結(jié)果圖像,再利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行試驗結(jié)果識別,最終通過微孔坐標(biāo)和藥物濃度分布計算得出細(xì)菌耐藥試驗的MIC值?!緮M解決的關(guān)鍵問題】本研究選擇在圖像分類領(lǐng)域表現(xiàn)優(yōu)異的Inception_V4模型和MobileNet_V1模型進(jìn)行藥敏試驗結(jié)果識別,通過對比分析選擇更適合試驗環(huán)境的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行試驗結(jié)果圖像識別,提高M(jìn)IC值計算的精度和判讀效率。
微量肉湯稀釋法是目前最常用的藥敏試驗方法。該法采用96孔微量梯度稀釋藥敏板(簡稱96孔板),對每個微孔按順序添加不同濃度的多種藥物,用于測量某種細(xì)菌對指定藥物的MIC值[4]。藥敏試驗結(jié)果中粉紅色的圓孔代表有細(xì)菌生長,深藍(lán)色或紫色的圓孔代表無細(xì)菌生長。由于高濃度的微孔中細(xì)菌不易生長而較低濃度的微孔中細(xì)菌容易生長,而且同一種藥物的微孔從高濃度至低濃度按順序排列,因此正常情況下微孔的顏色排列從藍(lán)色逐漸變?yōu)榉凵?。第一個出現(xiàn)的粉色微孔的前一個紫色微孔對應(yīng)的藥物濃度即為所測細(xì)菌對所測藥物的MIC值。如果出現(xiàn)同一種藥物相鄰微孔顏色從粉色突變?yōu)樗{(lán)色,或出現(xiàn)其他漸變的顏色排列,則認(rèn)為發(fā)生“跳孔”現(xiàn)象,無法獲得正確的MIC值,需要重新試驗。
卷積神經(jīng)網(wǎng)絡(luò)能夠?qū)υ紙D像進(jìn)行層次化抽象處理,自行抽取圖像的特征包括顏色、紋理、形狀等,從而取代手工選擇圖像特征的繁重工作[12]。與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)相比,卷積神經(jīng)網(wǎng)絡(luò)具有適用性強(qiáng)、泛化能力強(qiáng)、全局優(yōu)化訓(xùn)練參數(shù)少等優(yōu)點(diǎn)[13]。卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)一般為輸入層-卷積層-池化層-卷積層-池化層-全連接層-輸出層。其中輸入層是整個神經(jīng)網(wǎng)絡(luò)的輸入,在處理圖像的卷積神經(jīng)網(wǎng)絡(luò)中,它是指圖片的像素矩陣。卷積層通過深入分析神經(jīng)網(wǎng)絡(luò)中的每一個小塊獲取抽象程度更高的特征。池化層對卷積層輸出的特征圖傳遞進(jìn)行特征選擇和信息過濾。在多輪卷積層和池化層處理后,一般會由1個或2個全連接層來總結(jié)之前的特征并將其映射到樣本空間中。輸出層使用邏輯函數(shù)或歸一化指數(shù)函數(shù)輸出計算結(jié)果[10,12]。
Inception網(wǎng)絡(luò)源于2014年ILSVRC競賽冠軍神經(jīng)網(wǎng)絡(luò)GoogleNet(Inception_V1),Inception_V4是目前應(yīng)用最廣泛的版本。Inception_V4網(wǎng)絡(luò)結(jié)構(gòu)(圖1)中的stem模塊由多個卷積層和池化層組成,其作用是預(yù)處理數(shù)據(jù)。stem模塊連 接3種Inception模 塊,3種Inception模 塊 間的Reduction模塊起到池化作用。Inception-A模塊使用兩個3×3卷積,并且使用平均池化,主要處理35×35的特征圖。Inception-B模塊使用1×N和N×1卷積,同樣使用平均池化,主要處理17×17的特征圖。Inception-C模塊用1×3卷積和3×1卷積。
圖1 Inception_V4網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Convolutional neural network model of Inception_V4
MobileNet分類網(wǎng)絡(luò)是Google研究團(tuán)隊針對嵌入式設(shè)備提出的一種輕量級的深度神經(jīng)網(wǎng)絡(luò)。MobileNet模型基于深度可分解的卷積,將標(biāo)準(zhǔn)卷積分解為1個深度卷積和1個點(diǎn)卷積(1×1卷積核)。這種分解使計算時間減少為分解前的1/9,計算參數(shù)減少為分解前的1/7。深度卷積層的每個濾波器都跟輸入的每個通道進(jìn)行卷積,點(diǎn)卷積層負(fù)責(zé)合并深度卷積層的結(jié)果[14]。標(biāo)準(zhǔn)卷積分解如圖2所示。
圖2 標(biāo)準(zhǔn)卷積分解過程Fig.2 Decomposition process of standard convolution
MobileNet_V1的網(wǎng)絡(luò)結(jié)構(gòu)如表1所示。Moblienet_V1模型第一層為全卷積層,接著是13對深度卷積層和點(diǎn)卷積層組合,接下來是池化層、全連接層以及softmax層,共30層。所有層都包含批規(guī)格化操作且使用ReLU非線性激活函數(shù),除了全連接層沒有非線性激活函數(shù)直接送入softmax層進(jìn)行分類。
國家獸醫(yī)微生物耐藥性風(fēng)險評估實驗室是國家發(fā)改委、農(nóng)業(yè)部批準(zhǔn)立項的國家重點(diǎn)實驗室。畜禽重要病原菌耐藥性監(jiān)測是該實驗室的一項重要工作,目前已積累從全國各省養(yǎng)殖場獲取并分離到的細(xì)菌4萬多株,且每年新增畜禽樣品1萬多個、新分離細(xì)菌2 000株左右。在藥敏監(jiān)測工作中,已保存大量藥敏監(jiān)測信息,包括樣品、菌株、藥品、藥敏板圖像和試驗結(jié)果等信息。本研究依托該實驗室開展。
首先對藥敏試驗圖像進(jìn)行校正、增強(qiáng)、切割形成適合卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練和驗證的試驗數(shù)據(jù)集。試驗數(shù)據(jù)集中每張圖像是1個微孔圖像。標(biāo)簽分有菌、無菌兩類,依據(jù)人工判讀的試驗結(jié)果為每張圖片設(shè)置標(biāo)簽。
目前業(yè)界開發(fā)了許多成熟的深度學(xué)習(xí)框架包 括Tensorflow[15]、Caffe[16]、PyTorch[17]等,這些框架推動了機(jī)器學(xué)習(xí)和深度神經(jīng)網(wǎng)絡(luò)研究,同時更方便將卷積神經(jīng)網(wǎng)絡(luò)等模型應(yīng)用于更多專業(yè)領(lǐng)域,引領(lǐng)、帶動了應(yīng)用的發(fā)展。本研究選擇Tensorflow中用來構(gòu)建、訓(xùn)練、評估復(fù)雜模型的輕量化庫TF-Slim來開展試驗工作。圖像識別采用Inception_V4和MobileNet_V1兩種神經(jīng)網(wǎng)絡(luò)模型,兩個模型來自TF-Slim。對兩個模型分別進(jìn)行模型訓(xùn)練、圖像識別,目標(biāo)是挑選對藥敏試驗結(jié)果識別準(zhǔn)確率、效率都比較高的模型。對識別結(jié)果結(jié)合96孔板藥物濃度排列對照計算得到藥敏試驗的MIC值結(jié)果,并依據(jù)對獲取的MIC值與人工判別結(jié)果進(jìn)行對比,驗證結(jié)果的可靠性。
表1 MobileNet_V1網(wǎng)絡(luò)結(jié)構(gòu)Table 1 Convolutional neural network of MobileNet_V1
本研究神經(jīng)網(wǎng)絡(luò)訓(xùn)練采用Ubuntu-MS-7A54服務(wù)器、GPU NVIDIA GeForce GTX 1080Ti,2塊,操作系統(tǒng)為Ubuntu16.04,調(diào)用OpenCV3.4.2庫進(jìn)行圖像處理(校正、增強(qiáng)和分割等),MIC計算采用Java1.8.0完成,神經(jīng)網(wǎng)絡(luò)訓(xùn)練用圖像識別,使用Python3.5.4語言調(diào)用Tensorflow1.6.0(GPU版)完成。
國家獸醫(yī)微生物耐藥性風(fēng)險評估實驗室提供歷年MIC試驗有效96孔板圖像約6 000張,圖片由統(tǒng)一專業(yè)設(shè)備拍攝,背景為黑色底板。本研究隨機(jī)抽取其中200張96孔板試驗圖像,裁剪得到微孔圖像19 200張。去掉其中由于光線模糊、切割位置不準(zhǔn)確等原因造成的不可用的微孔圖像。對可用微孔圖像通過旋轉(zhuǎn)、翻轉(zhuǎn)增加噪聲等操作獲取更多圖像,方便神經(jīng)網(wǎng)絡(luò)訓(xùn)練。本試驗所得數(shù)據(jù)情況如表2所示,其中訓(xùn)練集微孔圖像100 000張,驗證集微孔圖像29 976張。
試驗圖像預(yù)處理是指將原始拍攝的藥敏試驗結(jié)果96孔板圖像轉(zhuǎn)換成神經(jīng)網(wǎng)絡(luò)模型可使用格式,得到試驗數(shù)據(jù)集。圖像預(yù)處理過程及各步驟處理結(jié)果見圖3。首先對原始圖像進(jìn)行幾何校正、大小調(diào)整,灰度化,得到96孔板的750×1 000正射灰度圖;第2步進(jìn)行高斯濾波處理,消除和抑制噪聲;第3步進(jìn)行Morphology形態(tài)學(xué)變換處理(開運(yùn)算:先腐蝕再膨脹),進(jìn)一步消除噪聲;第4步進(jìn)行Canny邊緣檢測處理,得到圖像上輪廓的點(diǎn)集合圖像;第5 步對點(diǎn)集集合進(jìn)行直線擬合,擬合出96孔板4條最外圍邊界直線,從直線交點(diǎn)得到每個微孔的外切正方形4個頂點(diǎn)坐標(biāo),利用這些坐標(biāo)在原圖像上標(biāo)注96孔板位置;第6步根據(jù)上一步得到的坐標(biāo)將96孔板從原圖中裁剪下來,通過透視變換得到標(biāo)準(zhǔn)矩形形式的96孔板圖像;第7步根據(jù)孔位置相對不變性調(diào)整參數(shù),在標(biāo)準(zhǔn)96孔板圖像上定位96個微孔;第8步裁剪得到96個正方形微孔圖像,對每個微孔圖像去除4個角的冗余信息得到試驗圖像;最后一步對數(shù)據(jù)設(shè)置標(biāo)簽,本試驗將數(shù)據(jù)集分為有菌、無菌兩類標(biāo)簽。微孔顏色偏紅色的表示有菌生長,標(biāo)簽標(biāo)注為“有菌”,微孔顏色偏紫色表示無菌生長,標(biāo)簽標(biāo)注為“無菌”。對數(shù)據(jù)的標(biāo)注依據(jù)人工判讀的藥敏試驗MIC值進(jìn)行。
表2 試驗數(shù)據(jù)分布情況Table 2 Distribution of experimental data
圖3 圖像預(yù)處理過程Fig.3 Preprocessing procedure of image
經(jīng)過數(shù)據(jù)預(yù)處理后得到微孔圖像19 200張,去掉不可用的微孔圖像(原因可能是拍攝角度、變換失真等)后得到有效微孔圖像15 573張,再經(jīng)過圖像旋轉(zhuǎn)、翻轉(zhuǎn)和添加噪聲數(shù)據(jù)等變換將圖像增加至186 876張,得到標(biāo)注為“有菌”的圖像64 976張,標(biāo)注為“無菌”圖像121 900張,為了平衡樣本數(shù)量從紫色微孔圖像中隨機(jī)篩選65 000張,最后得到的樣本總數(shù)為129 976張,將其中的100 000張圖片作為訓(xùn)練集,29 976張圖片作為驗證集(表2)。
本研究使用Inception_V4和MobileNet_V1兩個卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像識別。兩個卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練過程相同,首先設(shè)置模型的超參數(shù)進(jìn)行訓(xùn)練,依據(jù)損失值和準(zhǔn)確率進(jìn)行模型評估,若收斂到穩(wěn)定損失值和準(zhǔn)確率則停止試驗,否則重復(fù)訓(xùn)練與模型評估過程直到符合停止條件。
模型超參數(shù)設(shè)置:初始學(xué)習(xí)率為0.01,權(quán)重衰減為0.00004,訓(xùn)練和驗證時batch_size為32,采用均方根反向傳播(RMSProp)學(xué)習(xí)策略提高收斂速度。
對兩個卷積神經(jīng)網(wǎng)絡(luò)每訓(xùn)練5萬步進(jìn)行1次模型評估,2個模型都訓(xùn)練了50萬步。模型的損失曲線如圖4所示。由圖4可見,MobileNet_V1模型在訓(xùn)練步數(shù)20萬步左右達(dá)到收斂狀態(tài);Inception_V4模型在訓(xùn)練步數(shù)30萬步左右達(dá)到斂狀態(tài),收斂速度稍慢。由圖5可知,兩個模型的驗證準(zhǔn)確率均隨著訓(xùn)練次數(shù)增加而上升,在相同的驗證集且驗證集數(shù)量達(dá)到29 976張圖片的情況下,MobileNet_V1驗證準(zhǔn)確率達(dá)到99.9733%,而Inception_V4則達(dá)到了99.9966%,兩個模型驗證準(zhǔn)確率都非常高,但略有差異。
圖4 兩種模型的損失曲線Fig.4 Loss curve of two models
圖5 兩種模型的驗證曲線Fig.5 Validation curve of two models
上述圖像識別是針對單個微孔的,若要用于藥敏檢測結(jié)果識別還需要依據(jù)微孔坐標(biāo)及96孔板藥物及濃度排列進(jìn)行判定。首先將每個微孔的分類結(jié)果依據(jù)坐標(biāo)轉(zhuǎn)換形成一個01矩陣(“ 0”表示圖像識別結(jié)果為“無菌”,“1”表示圖像識別結(jié)果為“有菌”)。對每種藥物,因為微孔板上藥物深度從高到低排列,因此正確的識別結(jié)果應(yīng)為全0、全1,或連續(xù)多個0之后連續(xù)多個1(例如0001111)。若出現(xiàn)了從1變?yōu)?的序列(例如0011101)則說明發(fā)生了識別錯誤或“跳孔”現(xiàn)象。計算MIC值的流程如圖6所示。
圖6 MIC值計算流程Fig.6 Flowchart of MIC calculation
計算流程中當(dāng)一種藥物的識別結(jié)果集合大小不為1時檢測藥物集合,該子流程具體情況如圖7所示。識別結(jié)果集合大小為1時則分兩種情況:一表明該“藥物”是陰性對照或陽性對照,需進(jìn)行陰性對照和陽性對照的檢測;二表明微孔板中只為該藥物設(shè)計了1個濃度值,故只需檢測單孔。若識別結(jié)果為1,則該藥物的MIC 值為該微孔所表示的濃度;若識別結(jié)果為0,則該藥物無MIC值。
圖7 藥物集合檢測流程Fig.7 Detection flowchart of medicine set
本研究測試組取80張試驗結(jié)果96孔板圖像,經(jīng)過圖像處理形成微孔圖像,利用已訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行判讀,得到8×12的01矩陣(0代表無菌,1代表有菌),再按圖6、圖7計算得到每種藥物的MIC值,進(jìn)而了解耐藥情況,試驗結(jié)果見表3。
表3 兩種模型對藥敏結(jié)果判讀效果對比Table 3 Comparison of the interpretation effects of two models on drug susceptibility results
通過對Inception_V4和MobileNet_V1兩種神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練,單微孔圖像識別準(zhǔn)確率分別達(dá)到99.99%、99.97%,特異性和敏感性比率也非常高。MIC準(zhǔn)確率略低的原因在于每張96孔板由96單微孔組成,MIC值的計算依賴于不同濃度藥物在微孔板上的排列。但兩個模型的MIC準(zhǔn)確率仍可達(dá)到97.30%、94.40%。因為耐藥性計算依賴于判定標(biāo)準(zhǔn)的折點(diǎn)值,因此,其準(zhǔn)確率高于MIC值準(zhǔn)確率,兩模型的耐藥性準(zhǔn)確率達(dá)到99.13%、98.40%。同時,本研究對Inception_V4和MobileNet_V1在相同驗證集下進(jìn)行了效率對比,對整張96孔板圖像,兩個模型的識別時間分別是55 s和234 s,Inception_V4模型的圖像識別時間約是MobileNet_V1模型的4.25倍。由試驗結(jié)果可得到MobileNet_V1網(wǎng)絡(luò)圖像識別準(zhǔn)確率比Inception_V4較低,但是模型的識別效率比Inception_V4高,這是由于InceptionV4模型網(wǎng)絡(luò)層數(shù)多,而Mobilenet_V1網(wǎng)絡(luò)為輕量化網(wǎng)絡(luò)模型,網(wǎng)絡(luò)層數(shù)較少。
通過試驗分析,Inception_V4和MobileNet_V1模型都可用于藥敏結(jié)果判讀。Inception_V4模型判讀精度略高于MobileNet_V1模型,但其時間消耗高于MobileNet_V1模型。在精度要求高、時間要求不高的場合,可使用Inception_V4模型進(jìn)行試驗結(jié)果判讀;而在時間要求高、精度要求不太高的場合,可使用MobileNet_V1模型進(jìn)行試驗結(jié)果判讀。實時上,通過簡單調(diào)整,MobileNet_V1模型達(dá)到可實用化的程度,即可構(gòu)建應(yīng)用系統(tǒng),讓實驗人員通過網(wǎng)絡(luò)上傳試驗結(jié)果圖像,利用MobileNet_V1進(jìn)行試驗結(jié)果判讀并返回結(jié)果。
與傳統(tǒng)人工判讀試驗結(jié)果的方法相比,本研究提供的方法增加了試驗結(jié)果拍照、相關(guān)資料電子等工作,將試驗結(jié)果判讀環(huán)節(jié)簡化為拍照、上傳、利用神經(jīng)網(wǎng)絡(luò)進(jìn)行結(jié)果判讀、讀取試驗結(jié)果。這一方面可提高實驗人員工作效率,另一方面,可降低對實驗人員的要求,不再需要經(jīng)過專業(yè)的判讀訓(xùn)練,只需按規(guī)程拍照上傳即可獲取試驗結(jié)果。這些工作看似增加了實驗人員的工作量,但此項工作可提高耐藥性監(jiān)測工作的信息化程度,為藥敏監(jiān)測工作積累原始數(shù)據(jù),為后期耐藥性監(jiān)測、預(yù)測和指導(dǎo)臨床用藥等工作保存了原始證據(jù)。另外,也為利用深度學(xué)習(xí)、大數(shù)據(jù)技術(shù)與分析挖掘其中更具價值的規(guī)律性知識提供了基礎(chǔ)。
目前藥敏試驗圖像拍攝環(huán)節(jié)略有困難,使用手機(jī)、相機(jī)等設(shè)備拍照,易受視角、光照等因素影響,從而導(dǎo)致藥敏板上個別微孔試驗結(jié)果無法讀取或判讀錯誤。對此問題,可從兩個方面考慮,一是開發(fā)專用拍照設(shè)備,固定角度與光照條件以提高圖像質(zhì)量;二是對MobileNet_V1模型進(jìn)行改進(jìn),進(jìn)一步提高單孔判讀準(zhǔn)確率。另外,針對藥敏圖像特點(diǎn)改進(jìn)神經(jīng)網(wǎng)絡(luò)模型,進(jìn)一步提高卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練和圖像識別效率后續(xù)要開展的工作。
本研究將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于藥敏監(jiān)測試驗中MIC值判讀和耐藥性判定,利用Inception_V4和MobileNet_V1兩種模型進(jìn)行藥敏試驗單微孔圖像識別,并給出MIC值計算、耐藥性判定及試驗結(jié)果異常判別的算法。單微孔圖像識別試驗結(jié)果表明,兩種模型都可應(yīng)用于藥敏試驗結(jié)果判讀。藥敏試驗MIC值準(zhǔn)確率分別達(dá)到97.30%、94.40%,耐藥性判定的準(zhǔn)確率更是達(dá)到99.13%、98.40%。以MobileNet_V1模型的判讀算法為基礎(chǔ),可對此進(jìn)行實用化推廣,達(dá)到替代人工判讀藥敏試驗結(jié)果的目標(biāo)。與傳統(tǒng)藥敏試驗結(jié)果的人工判讀相比,本研究工作提高藥敏試驗結(jié)果判讀準(zhǔn)確率及效率,可提高藥敏試驗信息化程度。