基于Unet++分割模型的全自動(dòng)高通量菌落計(jì)數(shù)儀

申 鷹 謝 鋒 王玉琳 譚 波 范金旭

(1. 貴州省分析測(cè)試研究院, 貴州 貴陽(yáng) 550014; 2. 貴州省檢測(cè)技術(shù)研究應(yīng)用中心, 貴州 貴陽(yáng) 550014)

在食品、化妝品、環(huán)境監(jiān)測(cè)、醫(yī)療衛(wèi)生檢驗(yàn)等行業(yè)的質(zhì)量檢測(cè)過(guò)程中,菌落計(jì)數(shù)是一項(xiàng)基礎(chǔ)又重要的日常工作,是判斷被檢產(chǎn)品衛(wèi)生質(zhì)量的依據(jù),但菌落計(jì)數(shù)的平板數(shù)量往往較多,計(jì)數(shù)工作較繁重[1]。隨著計(jì)算機(jī)與圖像分析技術(shù)的發(fā)展,借助人工智能及圖像處理工具等降低工作強(qiáng)度,提高工作效率[2],實(shí)現(xiàn)自動(dòng)計(jì)數(shù)已成為一種趨勢(shì),菌落計(jì)數(shù)工作也不再是單純依靠人眼識(shí)別和計(jì)數(shù)[3-4],而是利用基于圖像識(shí)別和處理的自動(dòng)菌落計(jì)數(shù)方法[5-6],不僅大大提高了菌落計(jì)數(shù)的準(zhǔn)確度和工作效率,同時(shí)也相對(duì)減輕了檢測(cè)人員的工作量[7]。

目前,用于菌落計(jì)數(shù)的儀器在計(jì)數(shù)軟件方面大多采用傳統(tǒng)的語(yǔ)義分割模型,通常采用淺層次的特征圖進(jìn)行分割,分割精度不佳、分割結(jié)果的邊界不夠清晰、難以處理遮擋問(wèn)題、分割結(jié)果出現(xiàn)錯(cuò)誤,且只能用于特定領(lǐng)域的數(shù)據(jù)集,具有較大的參數(shù)量,需要耗費(fèi)大量的計(jì)算資源[8-9];在硬件方面存在所采集圖像易受平板背景陰影干擾、需要檢測(cè)人員將待測(cè)平板樣本逐一放到全自動(dòng)菌落計(jì)數(shù)器內(nèi)進(jìn)行拍攝和計(jì)數(shù),從某種程度上說(shuō),檢測(cè)人員需要做的重復(fù)性工作較多,因此常見(jiàn)的菌落計(jì)數(shù)儀在基層檢驗(yàn)實(shí)驗(yàn)室中至今未得到很好的應(yīng)用。另外,目前計(jì)數(shù)系統(tǒng)大多數(shù)局限于菌落的計(jì)數(shù)結(jié)果,無(wú)法實(shí)現(xiàn)檢測(cè)過(guò)程和信息可追溯。因此在檢測(cè)工作數(shù)量大和效率高的雙重要求下,研究擬針對(duì)現(xiàn)存問(wèn)題研發(fā)一種基于流水線操作的全自動(dòng)高通量菌落計(jì)數(shù)儀,在硬件設(shè)計(jì)方面,以實(shí)現(xiàn)批量連續(xù)自動(dòng)采集平板菌落圖像方式,試驗(yàn)人員只需要進(jìn)行平板裝載,系統(tǒng)會(huì)將平板自動(dòng)輸送至指定拍照位置,自動(dòng)對(duì)焦后進(jìn)行拍攝,拍照完成后系統(tǒng)自動(dòng)進(jìn)行下一個(gè)平板的運(yùn)送和拍攝[10];在計(jì)數(shù)軟件方面,采用一種深度學(xué)習(xí)的語(yǔ)義分割模型Unet++模型進(jìn)行計(jì)數(shù)軟件開(kāi)發(fā)[11-12],使其能夠更好地提取特征信息,分割邊界方面表現(xiàn)更好,在較短時(shí)間內(nèi)完成訓(xùn)練和推理,更好地解決遮擋問(wèn)題;同時(shí)將該設(shè)備與實(shí)驗(yàn)室LIMS系統(tǒng)進(jìn)行連接以實(shí)現(xiàn)一鍵生成原始記錄[13],旨在為菌落計(jì)數(shù)的自動(dòng)化和高通量技術(shù)提供依據(jù)。

1 菌落計(jì)數(shù)儀機(jī)械結(jié)構(gòu)設(shè)計(jì)

1.1 菌落計(jì)數(shù)儀機(jī)械結(jié)構(gòu)組成

菌落計(jì)數(shù)儀主要由箱體、上料框、平板輸送系統(tǒng)、拍照系統(tǒng)、物料回收系統(tǒng)組成,其中拍照系統(tǒng)由GigE工業(yè)相機(jī)、可變鏡頭和照明系統(tǒng)組成。

1.2 平板輸送系統(tǒng)設(shè)計(jì)

平板輸送系統(tǒng)主要由箱體、平板裝載載具、平板輸送模塊、平板回收載具、機(jī)械夾具等組成,平板輸送模塊通過(guò)氣缸和機(jī)械抓手將平板輸送至不同階段需要到達(dá)的預(yù)定位置。

試驗(yàn)人員將通過(guò)菌落總數(shù)檢測(cè)試驗(yàn)所形成的菌落平板裝載于平板裝載載具中,由頂升裝置將平板裝載載具移動(dòng)至指定位置;機(jī)械夾具將平板自動(dòng)輸送并投放至指定拍攝點(diǎn),儀器自動(dòng)進(jìn)行載具擋停定位;待拍照完成,平板輸送模塊將平板輸送至回收工位及平板回收載具中。平板輸送系統(tǒng)工作流程如圖1所示。

圖1 平板輸送系統(tǒng)工作流程圖

1.3 圖像采集系統(tǒng)設(shè)計(jì)

圖像采集系統(tǒng)由視覺(jué)工控機(jī)(XEP-2100)、GigE工業(yè)相機(jī)和鏡頭(彩色10.7MP像素相機(jī),10MP像素8MM CCD)、定制光源組(KM-R1D 110V-W,多光源組合定制)組成,采用多光源組合配合背光照明,通過(guò)調(diào)節(jié)環(huán)境亮度、色溫、減少反光等方式改善拍照環(huán)境,選用1 600萬(wàn)像素GigE工業(yè)相機(jī)、可變鏡頭和照明系統(tǒng)組合進(jìn)行拍攝,以保證照片的清晰度[14]。

當(dāng)平板輸送系統(tǒng)將平板輸送至指定拍照位置后,圖像采集器系統(tǒng)會(huì)自動(dòng)運(yùn)行,光源和攝像頭自動(dòng)下移至預(yù)設(shè)高度,自動(dòng)對(duì)焦后進(jìn)行拍照,拍照完成后,光源和攝像頭自動(dòng)歸位。當(dāng)?shù)谝粋€(gè)平板拍照工序全部完成后,機(jī)械夾具、光源和攝像頭自動(dòng)歸位并進(jìn)入下一個(gè)平板的拍照工序,如此循環(huán)完成該批次所有平板的拍照。

2 菌落計(jì)數(shù)軟件設(shè)計(jì)

菌落計(jì)數(shù)包括圖像預(yù)處理、語(yǔ)義分割、菌落計(jì)數(shù)(包括結(jié)果輸出及人工校正)三部分。

2.1 圖像預(yù)處理

2.1.1 改變圖片像素 圖像采集器使用高清攝像頭,所采集到的圖片分辨率大小為4 068×3 456,將該尺寸的圖片直接輸入模型進(jìn)行識(shí)別將會(huì)極大地增加運(yùn)算的復(fù)雜程度,且分辨率過(guò)高的數(shù)據(jù)并不會(huì)明顯提高識(shí)別的準(zhǔn)確程度。因此,將圖片大小變換到912×688,才能在保證較高準(zhǔn)確度的同時(shí)最大限度地減少運(yùn)算復(fù)雜度,提升軟件的運(yùn)行效率[15]。

2.1.2 去除邊界 針對(duì)菌落圖片較為規(guī)則的特點(diǎn),選擇dcircle的方法,首先對(duì)菌落圖片中平板的圓形邊界進(jìn)行學(xué)習(xí),避免去除邊界時(shí)造成菌落未被計(jì)數(shù)而形成計(jì)數(shù)誤差,然后在進(jìn)行菌落識(shí)別前先將圖片的平板邊界去除,以減少邊界對(duì)最終識(shí)別結(jié)果的影響[16]。

2.1.3 頂帽變換 為了增加輸入圖像的對(duì)比度,提升分割效果,需要在識(shí)別之前對(duì)圖像進(jìn)行增強(qiáng)處理,主要目的是根據(jù)實(shí)際需要有選擇地突出圖像的重要信息的過(guò)程。圖像增強(qiáng)處理是圖像分割之前的重要部分,對(duì)于提高圖片質(zhì)量,進(jìn)而提高分割精度有著非常重要的作用。針對(duì)圖片采集過(guò)程中存在的平板照片亮度不均勻的問(wèn)題,同時(shí)菌落相對(duì)于背景而言是在暗背景上亮物體,系統(tǒng)設(shè)計(jì)中選擇通過(guò)形態(tài)學(xué)頂帽變換的方法增強(qiáng)圖片對(duì)比度,提升計(jì)數(shù)精度[17-18]。

2.2 語(yǔ)義分割

選擇Unet、Unet++、Resnet50、Resnet101等8類(lèi)軟件識(shí)別模型[19-20],在相同的數(shù)據(jù)集上進(jìn)行對(duì)比,訓(xùn)練集為有標(biāo)注的224張平板菌落照片,使用mini batch的方法訓(xùn)練20個(gè)epoch,在20張圖片構(gòu)成的驗(yàn)證集上進(jìn)行驗(yàn)證得到各項(xiàng)指標(biāo)見(jiàn)表1,通過(guò)對(duì)各項(xiàng)指標(biāo)進(jìn)行對(duì)比分析,選擇最好的識(shí)別模型作為圖像識(shí)別系統(tǒng)的語(yǔ)義分割模型。

表1 8類(lèi)模型性能驗(yàn)證結(jié)果

由表1可知,Unet++模型在進(jìn)行菌落分割自動(dòng)計(jì)數(shù)時(shí)具有明顯的優(yōu)越性,Unet++模型在訓(xùn)練集與驗(yàn)證集上的F1得分、平均交并比以及誤差率均優(yōu)于其他語(yǔ)義分割模型。因此,在進(jìn)行平板菌落自動(dòng)計(jì)數(shù)軟件開(kāi)發(fā)過(guò)程中,選擇使用Unet++模型作為語(yǔ)義分割的主要模型。

2.3 菌落計(jì)數(shù)

2.3.1 菌落識(shí)別系統(tǒng)運(yùn)行流程 基于python語(yǔ)言進(jìn)行圖像識(shí)別系統(tǒng)開(kāi)發(fā),首先在擁有4塊3080Ti的服務(wù)器上進(jìn)行語(yǔ)義分割模型訓(xùn)練,保存訓(xùn)練完成的模型參數(shù),利用該模型參數(shù)進(jìn)行菌落識(shí)別系統(tǒng)開(kāi)發(fā)。菌落識(shí)別系統(tǒng)的運(yùn)行主要包括平板圖像的采集、數(shù)據(jù)的預(yù)處理以及菌落計(jì)數(shù)3個(gè)部分,整個(gè)運(yùn)行流程如圖2所示。

圖2 軟件運(yùn)行流程圖

2.3.2 菌落識(shí)別系統(tǒng)界面及使用 菌落識(shí)別系統(tǒng)界面主要包括對(duì)圖片的旋轉(zhuǎn)、平板邊緣的去除、在形態(tài)學(xué)上對(duì)圖片進(jìn)行增強(qiáng)、對(duì)菌落的分割、人工校正功能以及最終計(jì)數(shù)的結(jié)果等。

如圖3所示,首先選擇需要計(jì)數(shù)的菌落圖片進(jìn)行上傳,上傳完成后即可在軟件界面左側(cè)顯示所選菌落圖片及該菌落圖片的基本信息,例如采樣時(shí)間、樣品編號(hào)、樣品檢測(cè)時(shí)間等;然后點(diǎn)擊菌落識(shí)別按鈕,菌落識(shí)別系統(tǒng)自動(dòng)進(jìn)行菌落識(shí)別和計(jì)數(shù),系統(tǒng)識(shí)別到的菌落會(huì)在菌落圖片上進(jìn)行顏色標(biāo)注,并將菌落數(shù)量顯示在軟件界面右側(cè)的計(jì)數(shù)結(jié)果欄內(nèi);若檢測(cè)人員發(fā)現(xiàn)在菌落識(shí)別過(guò)程中產(chǎn)生了結(jié)果偏差,可以直接在顯示標(biāo)記狀態(tài)處增加或者減少標(biāo)注,計(jì)數(shù)結(jié)果將根據(jù)菌落識(shí)別的標(biāo)注變化情況而自動(dòng)進(jìn)行計(jì)數(shù)結(jié)果的修改;最后點(diǎn)擊確認(rèn)即可通過(guò)統(tǒng)一格式的命名方式將圖片以及自動(dòng)計(jì)數(shù)的結(jié)果進(jìn)行保存;同時(shí),實(shí)驗(yàn)室 LIMS系統(tǒng)預(yù)先綁定有包含計(jì)算公式的菌落總數(shù)項(xiàng)目原始記錄模板,LIMS系統(tǒng)通過(guò)樣品編號(hào)信息及數(shù)據(jù)接口將計(jì)數(shù)結(jié)果輸入原始記錄模板中對(duì)應(yīng)空格處,完成原始記錄表格的填寫(xiě)。

圖3 軟件功能界面顯示

3 試驗(yàn)驗(yàn)證

3.1 菌落圖像采集效果驗(yàn)證

由圖4可知,其他圖像采集器拍攝的圖片存在不同程度的反光點(diǎn)、背景干擾或者邊緣效應(yīng)等情況,而采用試驗(yàn)所述的菌落計(jì)數(shù)儀圖像采集系統(tǒng)采集的菌落圖片不存在這些問(wèn)題,邊緣和各種形態(tài)的菌落均能被清晰地呈現(xiàn)出來(lái),且不受培養(yǎng)基顏色和菌落形態(tài)的影響,采集一個(gè)平板圖像需要的時(shí)間僅為38 s,能很好地克服其他采集方式的缺點(diǎn),為菌落的準(zhǔn)確識(shí)別和計(jì)數(shù)提供保障。

a～c為通過(guò)試驗(yàn)所述的菌落計(jì)數(shù)儀圖像采集系統(tǒng)采集的菌落圖片;d～f為其他圖像采集器拍攝的圖片

3.2 菌落圖片預(yù)處理效果驗(yàn)證

通過(guò)像素變換、邊緣檢測(cè)、頂帽變換等預(yù)處理[21],得到的菌落圖片預(yù)處理前后的對(duì)比圖。

由圖5可知,通過(guò)形態(tài)學(xué)頂帽變換的方法增強(qiáng)圖片的對(duì)比度,可提升計(jì)數(shù)精度,圖像經(jīng)像素變換、邊緣檢測(cè)、頂帽變換等圖像預(yù)處理后,將邊緣淡化、菌落突出顯示。經(jīng)圖像預(yù)處理后的菌落相對(duì)于背景而言是在暗背景上的亮物體,能很明顯地顯示出系統(tǒng)對(duì)菌落的識(shí)別。

圖5 菌落圖片預(yù)處理前后對(duì)比

3.3 菌落分割計(jì)數(shù)及校正

通過(guò)Unet++模型對(duì)平板圖片進(jìn)行分割,然后計(jì)算分割之后的圖片的連通域個(gè)數(shù),最終實(shí)現(xiàn)菌落圖片的自動(dòng)計(jì)數(shù)[22]。模型分割的結(jié)果將在原圖中以深色標(biāo)注出來(lái),即深色覆蓋的部分為模型自動(dòng)識(shí)別到的菌落,而未覆蓋的部分或者錯(cuò)誤覆蓋的部分即為識(shí)別錯(cuò)誤,語(yǔ)義分割模型進(jìn)行處理后可以將不同的菌落進(jìn)行分割,無(wú)論是較為規(guī)則的偏向圓形的菌落還是不規(guī)則形狀菌落都可以實(shí)現(xiàn)識(shí)別,且圖像傳輸和菌落識(shí)別計(jì)數(shù)整個(gè)過(guò)程所需時(shí)間僅為3～5 s。為了使菌落計(jì)數(shù)結(jié)果更加準(zhǔn)確,在菌落計(jì)數(shù)識(shí)別軟件中增加人工校正功能,研究人員可以通過(guò)對(duì)識(shí)別結(jié)果的觀察,并與原圖和實(shí)物進(jìn)行對(duì)比后根據(jù)需要進(jìn)行人工校正,在模型輔助的情況下通過(guò)對(duì)識(shí)別后的圖像進(jìn)行連通域計(jì)算,系統(tǒng)自動(dòng)計(jì)算出平板的菌落個(gè)數(shù)并顯示在軟件界面中對(duì)應(yīng)的位置。

3.4 菌落圖片采集效率、傳輸速度、計(jì)數(shù)結(jié)果準(zhǔn)確性和重復(fù)性

利用試驗(yàn)設(shè)備對(duì)包含不同形態(tài)菌落的500張菌落圖像進(jìn)行菌落總數(shù)識(shí)別,并將識(shí)別結(jié)果與現(xiàn)行菌落總數(shù)計(jì)數(shù)標(biāo)準(zhǔn)計(jì)數(shù)所得結(jié)果進(jìn)行比較和誤差分析,結(jié)果見(jiàn)表2。

表2 菌落總數(shù)自動(dòng)計(jì)數(shù)結(jié)果及誤差分析?

由表2可知,試驗(yàn)設(shè)備對(duì)包含不同形態(tài)菌落的500張菌落圖像進(jìn)行菌落總數(shù)的識(shí)別平均誤差<8%,且計(jì)數(shù)的重復(fù)性非常好,大部分計(jì)數(shù)結(jié)果無(wú)差別,僅個(gè)別菌落計(jì)數(shù)時(shí)兩次結(jié)果出現(xiàn)微小差別。這可能是因?yàn)榫渲g粘連成片或者成串比較嚴(yán)重的平板,人眼識(shí)別時(shí)也無(wú)法準(zhǔn)確進(jìn)行分割,因此降低了識(shí)別的準(zhǔn)確率。

4 結(jié)論

研究了菌落圖像算法、菌落計(jì)數(shù)系統(tǒng)與LIMS系統(tǒng)的融合,通過(guò)采用GigE工業(yè)相機(jī)、可變鏡頭和多光源組合照明系統(tǒng)進(jìn)行菌落圖像的連續(xù)采集,并采用Unet++分割模型開(kāi)發(fā)了一種全自動(dòng)高通量菌落計(jì)數(shù)儀。結(jié)果表明,該設(shè)備與LIMS系統(tǒng)進(jìn)行無(wú)縫鏈接,實(shí)現(xiàn)了菌落圖像的批處理采集和菌落自動(dòng)計(jì)數(shù),且菌落計(jì)數(shù)結(jié)果可以一鍵上傳至LIMS系統(tǒng)并生成原始記錄,實(shí)現(xiàn)了實(shí)驗(yàn)室設(shè)備的自動(dòng)化、智能化,克服了以往很多菌落計(jì)數(shù)軟件中的模型部署效率低和特征融合匹配度低的缺點(diǎn),且該儀器的菌落識(shí)別軟件設(shè)計(jì)了學(xué)習(xí)功能,軟件會(huì)對(duì)檢驗(yàn)檢測(cè)人員在校正過(guò)程中進(jìn)行的菌落形態(tài)等形成記憶,并應(yīng)用于后續(xù)的菌落識(shí)別中,使菌落計(jì)數(shù)準(zhǔn)確率不斷提高,在提高菌落計(jì)數(shù)工作效率和結(jié)果準(zhǔn)確性的同時(shí),實(shí)現(xiàn)了檢驗(yàn)檢測(cè)過(guò)程的可追溯。采用Unet++分割模型的全自動(dòng)高通量菌落計(jì)數(shù)儀對(duì)蔓延菌落、粘連成片或者成串比較嚴(yán)重的菌落計(jì)數(shù)還存在誤差,后期可利用軟件學(xué)習(xí)功能加大模型訓(xùn)練,逐漸提升這類(lèi)菌落計(jì)數(shù)準(zhǔn)確率。