基于SSD-MobileNet V1深度學(xué)習(xí)算法的藥用植物葉片識(shí)別方法

丁常宏 王守宇 高鵬

摘要：長(zhǎng)期以來(lái)藥用植物的鑒定主要依靠人工和經(jīng)驗(yàn)，為協(xié)助中藥資源研究人員、植物資源研究人員更準(zhǔn)確地完成植物鑒別，數(shù)字圖像模式識(shí)別技術(shù)可以加以應(yīng)用。本研究基于SSD-MobileNetV1深度學(xué)習(xí)算法對(duì)需要查詢(xún)的藥用植物照片進(jìn)行相似性檢索，對(duì)比藥用植物葉片進(jìn)行藥用植物的識(shí)別與鑒定。結(jié)果表明，當(dāng)閾值為0.5時(shí)，精確率及召回率均可達(dá)96.0%，為該深度學(xué)習(xí)模型的最佳值。在此條件下，訓(xùn)練集的學(xué)習(xí)準(zhǔn)確率各標(biāo)簽均為100%;識(shí)別檢驗(yàn)結(jié)果顯示，5種藥用植物共100張不同葉片照片的識(shí)別正確率可以達(dá)到100%。說(shuō)明基于SSD-MobileNetV1深度學(xué)習(xí)算法的藥用植物葉片識(shí)別方法高效準(zhǔn)確，能夠協(xié)助植物資源調(diào)查人員進(jìn)行植物辨識(shí)，為中藥資源普查、研究，植物資源研究等各方面工作提供了強(qiáng)大技術(shù)支持。

關(guān)鍵詞：數(shù)字圖像模式識(shí)別技術(shù);SSD-MobileNetV1深度學(xué)習(xí)算法;相似性檢索;閾值;植物葉片

中圖分類(lèi)號(hào)：TP391.41文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1002-1302（2020）22-0222-06

作者簡(jiǎn)介：丁常宏（1981—），女，黑龍江哈爾濱人，博士，副教授，從事中藥資源學(xué)相關(guān)研究。E-mail：598808726@qq.com。

通信作者：高鵬，博士，高級(jí)工程師，從事計(jì)算機(jī)體系結(jié)構(gòu)與深度學(xué)習(xí)方面的研究。E-mail：40478978@qq.com。

中醫(yī)藥學(xué)包含著中華民族幾千年的健康養(yǎng)生理念及實(shí)踐經(jīng)驗(yàn)，是中華文明的一個(gè)瑰寶，凝聚著中華民族的博大智慧。新中國(guó)成立以來(lái)，我國(guó)中醫(yī)藥事業(yè)取得顯著成就，為增進(jìn)人民健康做出了重要貢獻(xiàn)。近年來(lái)，中藥無(wú)論在我國(guó)還是海外都受到了越來(lái)越多的歡迎和重視。隨著中藥產(chǎn)業(yè)的迅速發(fā)展，關(guān)于中藥的化學(xué)成分、藥理作用等方面的研究越來(lái)越多。中藥資源是中藥產(chǎn)業(yè)發(fā)展的根本和基礎(chǔ)，維持中藥資源的可持續(xù)發(fā)展是一項(xiàng)基本策略。只有清楚中藥資源的現(xiàn)狀，才能制定出切實(shí)可行的政策和措施，這主要依靠中藥資源調(diào)查工作的全面開(kāi)展。20世紀(jì)以來(lái)，中藥資源的現(xiàn)狀令人堪憂(yōu)，一方面隨著社會(huì)和經(jīng)濟(jì)的發(fā)展，人們對(duì)中藥的需求日益增大;另一方面隨著全球氣候改變、環(huán)境污染以及人們對(duì)資源的過(guò)度開(kāi)發(fā)，中藥資源的分布范圍不斷縮小，中藥資源面臨著極大的挑戰(zhàn)。

中藥資源調(diào)查是針對(duì)國(guó)家或區(qū)域的野生、栽培或養(yǎng)殖的藥用動(dòng)植物及礦物資源的種類(lèi)構(gòu)成、數(shù)量、質(zhì)量、分布格局和開(kāi)發(fā)條件等進(jìn)行的考察研究工作，它是進(jìn)行中藥資源開(kāi)發(fā)利用、保護(hù)更新和經(jīng)營(yíng)管理等工作的前提和基礎(chǔ)。

中藥大多數(shù)為植物藥，藥用植物的鑒別與分類(lèi)對(duì)于植物種類(lèi)的區(qū)分、植物藥用價(jià)值的探索等方面具有重要的意義。植物分類(lèi)學(xué)是一門(mén)研究整個(gè)植物界不同類(lèi)群的起源、親緣關(guān)系以及進(jìn)化發(fā)展規(guī)律的基礎(chǔ)學(xué)科，就是把紛繁復(fù)雜的植物界分門(mén)別類(lèi)地鑒別到種，并按系統(tǒng)排列起來(lái)，以便于人們認(rèn)識(shí)和利用植物。長(zhǎng)期以來(lái)藥用植物的鑒定主要靠人工和經(jīng)驗(yàn)鑒別，在信息化的今天，應(yīng)該更高效地利用計(jì)算機(jī)化的藥用植物識(shí)別的方法，利用數(shù)字圖像模式識(shí)別技術(shù)對(duì)藥用植物進(jìn)行辨識(shí)和管理。隨著科技的發(fā)展，模式識(shí)別技術(shù)被應(yīng)用到越來(lái)越多的行業(yè)中，在植物葉片的識(shí)別中也同樣有很好的應(yīng)用前景。目前，已有K最鄰近方法（KNN）分類(lèi)器、雙路卷積神經(jīng)網(wǎng)絡(luò)、傅里葉（Fourier）描述子和局部二值模式（LBP）相結(jié)合技術(shù)、支持向量機(jī)（SVM）算法等技術(shù)應(yīng)用于植物的識(shí)別過(guò)程中，在植物葉片的識(shí)別過(guò)程中發(fā)揮了越來(lái)越重要的作用[1-5]。

SSD-MobileNetV1是Google于2017年發(fā)布的網(wǎng)絡(luò)架構(gòu)，旨在充分利用移動(dòng)設(shè)備和嵌入式應(yīng)用的有限資源，有效地最大化模型的準(zhǔn)確性，以滿(mǎn)足有限資源下的各種應(yīng)用案例。SSD-MobileNetV1可以用于分類(lèi)、檢測(cè)、嵌入和分割等任務(wù)提取圖像卷積特征。其核心是把卷積拆分為Depthwise+Pointwise等2個(gè)部分，通過(guò)Depthwise+Pointwise的拆分，相當(dāng)于將普通卷積的計(jì)算量壓縮為原來(lái)的1/9，計(jì)算時(shí)間壓縮為原來(lái)的1/8，可以更好地解決植物葉片識(shí)別方面的問(wèn)題。本研究是通過(guò)SSD-MobileNetV1利用移動(dòng)設(shè)備和嵌入式應(yīng)用的有限資源，對(duì)照片進(jìn)行識(shí)別。如果圖片置信度大于70%，那么就可以說(shuō)圖片和標(biāo)簽高度相似。

1材料與方法

1.1試驗(yàn)材料

本試驗(yàn)拍攝器材為iPhone4S;開(kāi)發(fā)語(yǔ)言為Python3.5;深度學(xué)習(xí)框架版本為paddle-fluid-v1.5.1;運(yùn)行環(huán)境為圖形處理器（GPU）：V10016GBVMem，中央處理器（CPU）為8Cores56GBMemory。

1.2試驗(yàn)方法

1.2.1藥用植物圖像采集

本研究中所用到的圖片均在中醫(yī)藥大學(xué)藥用植物園采集，共5種植物，分別為杜仲（EucommiaulmoidesOliver）、金銀花（LonicerajaponicaThunb.）、女貞（LigustrumlucidumAit.）、無(wú)花果（FicuscaricaLinn.）、喜樹(shù)（CamptothecaacuminataDecne.），拍攝用于深度學(xué)習(xí)不同角度、不同背景葉片照片共84張，用于深度學(xué)習(xí)后數(shù)據(jù)驗(yàn)證測(cè)試的不同植物照片有100張。

1.2.2植物圖像預(yù)處理

將用于深度學(xué)習(xí)的圖片按照其種類(lèi)進(jìn)行分類(lèi)，統(tǒng)一上傳到系統(tǒng)中。通過(guò)系統(tǒng)中的矩形工具，對(duì)每張照片中的植物進(jìn)行選取，同時(shí)，按照植物的種類(lèi)標(biāo)注相應(yīng)的植物名稱(chēng)標(biāo)簽。此次試驗(yàn)中所使用的植物名稱(chēng)標(biāo)簽為ulmoides（杜仲）、japonica（金銀花）、lucidum（女貞）、carica（無(wú)花果）、acuminata（喜樹(shù)）。

1.2.3深度學(xué)習(xí)方法

編寫(xiě)基于SSD-mobileNetV1算法的深度學(xué)習(xí)腳本，腳本代碼下載地址：https：//pan.baidu.com/s/1aOk2gXoy4On1TlweT0tGQw。根據(jù)實(shí)際情況配置腳本數(shù)據(jù)訓(xùn)練迭代次數(shù)、控制評(píng)估的間隔迭代數(shù)、數(shù)據(jù)預(yù)處理輸入模型的圖像尺寸、訓(xùn)練日志輸出頻率等信息。上傳前期準(zhǔn)備好的用于深度學(xué)習(xí)的84張照片，并按照其植物名稱(chēng)進(jìn)行分類(lèi)，分類(lèi)標(biāo)簽為該植物的拉丁種名。運(yùn)行深度學(xué)習(xí)腳本，讓系統(tǒng)按照設(shè)定好的算法進(jìn)行學(xué)習(xí)。分別上傳測(cè)試植物葉片照片，通過(guò)系統(tǒng)反饋分類(lèi)標(biāo)簽的置信度來(lái)判斷植物識(shí)別的準(zhǔn)確度。

1.2.4測(cè)試復(fù)雜背景環(huán)境下葉片識(shí)別成功率

選擇不同分類(lèi)植物葉片，每組葉片選擇20幅進(jìn)行測(cè)試。通過(guò)上述SSD-MobileNetV1深度學(xué)習(xí)算法訓(xùn)練后的模型進(jìn)行圖像分析，測(cè)試植物葉片識(shí)別成功率。

2試驗(yàn)結(jié)果

2.1訓(xùn)練模型效果

通過(guò)對(duì)ulmoides（杜仲）、japonica（金銀花）、lucidum（女貞）、carica（無(wú)花果）、acuminata（喜樹(shù)）等5種植物的葉片訓(xùn)練集（圖1至圖5）進(jìn)行檢測(cè)，得到基于SSD-MobileNetV1深度學(xué)習(xí)進(jìn)行葉片識(shí)別的訓(xùn)練效果。

物體檢測(cè)（objectdetection）算法中衡量算法效果的指標(biāo)平均準(zhǔn)確率（meanaverageprecision，mAP）為100%（圖6）。在不同閾值下多次計(jì)算和試驗(yàn)，從訓(xùn)練集的檢驗(yàn)中得到一條F1值的曲線(xiàn)（圖6），可以發(fā)現(xiàn)，當(dāng)閾值為0.5～0.7時(shí)，F(xiàn)1值（精確率和召回率的調(diào)和平均數(shù)）為98.0%，其中建議閾值為0.5，為該深度學(xué)習(xí)模型的最佳值，這時(shí)通過(guò)檢測(cè)可得訓(xùn)練中精確率（為該閾值下正確預(yù)測(cè)的物體數(shù)與預(yù)測(cè)物體總數(shù)之比）可達(dá)96.0%，召回率（該閾值下正確預(yù)測(cè)的物體數(shù)與真實(shí)物體數(shù)之比）可達(dá)100.0%（圖7）。在此條件下，各標(biāo)簽訓(xùn)練集的學(xué)習(xí)準(zhǔn)確率均為100%（圖8）。

2.2識(shí)別結(jié)果

2.2.1杜仲葉片識(shí)別結(jié)果

利用基于SSD-MobileNetV1進(jìn)行杜仲葉片的識(shí)別檢驗(yàn)，共識(shí)別20張杜仲葉片的照片（圖9），識(shí)別正確率可以達(dá)到100%（表1）。其中，12張照片識(shí)別出唯一的結(jié)果，另外8張照片的識(shí)別中出現(xiàn)其他的相似項(xiàng)，但置信度均低于正確結(jié)果。

2.2.2金銀花葉片識(shí)別結(jié)果利用基于SSD-MobileNetV1進(jìn)行金銀花葉片的識(shí)別檢驗(yàn)，共識(shí)別20張金銀花葉片的照片（圖10），識(shí)別正確率可以達(dá)到100%（表2）。其中，12張照片識(shí)別出唯一的結(jié)果，另外8張照片的識(shí)別中出現(xiàn)其他的相似項(xiàng)，但置信度均低于正確結(jié)果。

2.2.3女貞葉片識(shí)別結(jié)果

利用基于SSD-MobileNetV1進(jìn)行女貞葉片的識(shí)別檢驗(yàn)，共識(shí)別20張女貞葉片的照片（圖11），識(shí)別正確率可以達(dá)到100%（表3）。其中，13張照片識(shí)別出唯一的結(jié)果，另外7張照片的識(shí)別中出現(xiàn)其他的相似項(xiàng)，但置信度均低于正確結(jié)果。

2.2.4無(wú)花果葉片識(shí)別結(jié)果

利用基于SSD-MobileNetV1進(jìn)行無(wú)花果葉片的識(shí)別檢驗(yàn)，共識(shí)別20張無(wú)花果葉片的照片（圖12），識(shí)別正確率可以達(dá)到100%（表4）。其中，18張照片識(shí)別出唯一的結(jié)果，另外2張照片的識(shí)別中出現(xiàn)其他的相似項(xiàng)，但置信度均低于正確結(jié)果。

2.2.5喜樹(shù)葉片識(shí)別結(jié)果

利用基于SSD-MobileNetV1進(jìn)行喜樹(shù)葉片的識(shí)別檢驗(yàn)，共識(shí)別20張喜樹(shù)葉片的照片（圖13），識(shí)別正確率可以達(dá)到100%（表5）。其中，15張照片識(shí)別出唯一的結(jié)果，另外5張照片的識(shí)別中出現(xiàn)其他的相似項(xiàng)，但置信度均低于正確結(jié)果。

3討論

SSD-MobileNetV1可以用于分類(lèi)、檢測(cè)、嵌入和分割等任務(wù)提取圖像卷積特征。其核心是將卷積拆分為Depthwise+Pointwise等2部分。通過(guò)拆分可以提高原有的計(jì)算效率，得到高效準(zhǔn)確的識(shí)別結(jié)果。并且即使在比較復(fù)雜的背景下的葉片也能較好地識(shí)別，識(shí)別率可以達(dá)到100%。將該技術(shù)推廣應(yīng)用，可以協(xié)助中藥資源研究人員及植物資源研究人員完成植物鑒別。在以往的研究中，曾使用動(dòng)態(tài)時(shí)間規(guī)整算法進(jìn)行植物葉片的識(shí)別和鑒定[6]，但當(dāng)背景過(guò)于凌亂時(shí)會(huì)造成識(shí)別的誤差，而此方法即使在復(fù)雜的背景下也可以準(zhǔn)確識(shí)別。

此研究的訓(xùn)練集僅僅使用了5種藥用植物不同葉片的84張照片，數(shù)量有限。而且此訓(xùn)練集中植物的葉片形態(tài)如喜樹(shù)、杜仲還較為相似，但在最終的識(shí)別試驗(yàn)中準(zhǔn)確率已經(jīng)達(dá)到100%?？梢?jiàn)，如果增加訓(xùn)練集的數(shù)量，讓機(jī)器進(jìn)行更深入的學(xué)習(xí)，檢驗(yàn)結(jié)果的置信度還會(huì)進(jìn)一步提高?？梢試L試擴(kuò)增訓(xùn)練集的植物種類(lèi)，將這一技術(shù)進(jìn)行推廣和應(yīng)用，協(xié)助植物資源調(diào)查人員進(jìn)行植物辨識(shí)，為中藥資源的普查和研究，植物資源研究等各方面工作提供強(qiáng)大的技術(shù)支持。

參考文獻(xiàn)：

[1]梅星宇，李新華，鮑文霞，等.基于復(fù)頻域紋理特征的植物葉片識(shí)別算法[J].江蘇農(nóng)業(yè)學(xué)報(bào)，2019，35（6）：1334-1339.

[2]XiangZ，ZhaoWQ，LuoHZ，etal.Plantrecognitionvialeafshapeandmarginfeatures[J].MultimediaToolsandApplications，2019，78（19）：27463-27489.

[3]于慧伶，麻峻瑋，張怡卓.基于雙路卷積神經(jīng)網(wǎng)絡(luò)的植物葉片識(shí)別模型[J].北京林業(yè)大學(xué)學(xué)報(bào)，2018，40（12）：132-137.

[4]張善文，張晴晴，齊國(guó)紅.基于Fourier描述子和LBP相結(jié)合的植物葉片識(shí)別方法[J].江蘇農(nóng)業(yè)科學(xué)，2019，47（14）：273-276.

[5]馬娜，李艷文，徐苗.基于改進(jìn)SVM算法的植物葉片分類(lèi)研究[J].山西農(nóng)業(yè)大學(xué)學(xué)報(bào)（自然科學(xué)版），2018，38（11）：33-38.

[6]丁常宏，高鵬.基于動(dòng)態(tài)時(shí)間規(guī)整算法的藥用植物葉片識(shí)別方法[J].中醫(yī)藥導(dǎo)報(bào)，2019，25（11）：63-66.