依據(jù)Faster R-CNN的活體植株葉片氣孔檢測方法1)

王靜濤 宋文龍 李克新 黃建平 賈鶴鳴

(東北林業(yè)大學(xué)，哈爾濱，150040)

植物氣孔的研究一向被植物學(xué)家所重視。植物是逐漸由水生過渡到陸生的[1]。通過對植物化石的研究，人們發(fā)現(xiàn)這些占領(lǐng)陸地的先驅(qū)者其外表皮上都有一個特化的結(jié)構(gòu)—氣孔[2]。陸地上生長的植物地上部水勢低，無法滿足代謝需要，為適應(yīng)光合作用氣體交換以及提高地上部水勢的需要，植物表皮組織中逐漸進(jìn)化出通氣孔，進(jìn)而形成氣孔，氣孔復(fù)合體由1對保衛(wèi)細(xì)胞和中間的微孔組成，其功能主要是調(diào)控植物與外界環(huán)境之間的氣體交換和水分散失[3-5]。通過氣孔開閉,使水分和CO2在植物體內(nèi)與外界環(huán)境之間達(dá)到平衡[6]。氣孔是植物與大氣之間進(jìn)行氣體和水分交換的重要器官[7-8]，對調(diào)節(jié)生態(tài)系統(tǒng)碳、水循環(huán)過程起著極其重要的作用[9-11]。氣孔的密度和分布維持著植物體與外界環(huán)境之間水分和氣體的動態(tài)平衡，因此氣孔的密度和分布也受到各種因素的影響[12]。植物由于所處環(huán)境的不同其氣孔密度和分布有較大的差異。光、CO2濃度、溫度和濕度等都會影響氣孔的密度與分布[13]。研究發(fā)現(xiàn)溫度能夠減少或增加氣孔密度[14-18]，通過研究和分析植物歷年的氣孔密度隨環(huán)境因素的變化，能對氣候變化使植物氣孔密度變化有更好的認(rèn)知[2，19-21]，因此研究氣孔的密度和分布有著重要的意義。

本研究針對活體植株的葉片氣孔圖像，利用深度學(xué)習(xí)技術(shù)進(jìn)行活體葉片氣孔的檢測與計數(shù)，提出依據(jù)Faster R-CNN[22]算法的氣孔檢測和計數(shù)方法。該方法能夠?qū)崿F(xiàn)氣孔的自動檢測和計數(shù)，在每張圖像對應(yīng)的植物葉片面積都相同的情況下，進(jìn)一步計算這批氣孔圖像的平均氣孔密度。

1 材料與方法

1.1 氣孔圖像獲取與預(yù)處理

選取培育好的楊樹幼苗，當(dāng)年生、高約2 m，用基恩士公司的VHX-2000型號的數(shù)碼顯微鏡進(jìn)行活體楊樹葉下表皮氣孔圖像采集。利用VHX-2000的實時深度合成技術(shù)，獲取活體楊樹葉片氣孔的全視野清晰圖像。圖像分辨率為1 600×1 200，并在此分辨率下分別采集了500 X鏡頭和1 000 X鏡頭下的兩種氣孔圖像。在每片采摘下的楊樹葉片的不同部位采集4～8氣孔圖片后，更換新鮮的葉片或者新的植株繼續(xù)采集氣孔圖片。

為了保證每張氣孔圖像對應(yīng)的楊樹樹葉表皮的面積相同，用Photoshop軟件把所有500 X鏡頭下采集的像素為1 600×1 200的氣孔圖像裁剪分為四等份，最后得到了500幅像素為800×600的JPG格式的圖像。并把所有1 000 X鏡頭下采集的像素為1 600×1 200的氣孔圖像降采樣為像素800×600的JPG格式的圖像，最后同樣得到500張像素800×600的JPG格式圖像。

1.2 數(shù)據(jù)集制作

用labelimage[19]對以上得到的圖像進(jìn)行標(biāo)注，每張圖像標(biāo)注后能得到一個xml格式文件，該文件記錄著這張圖像中所有目標(biāo)的名稱和位置坐標(biāo)。標(biāo)注氣孔時將氣孔露出部分大于70%的圖像邊緣的氣孔也標(biāo)注正樣本。最后用JPG圖像和xml文件一起來訓(xùn)練模型。本文制作了3個數(shù)據(jù)集，500 X數(shù)據(jù)集(D500 X)、1 000 X數(shù)據(jù)集(D1 000 X)和混合數(shù)據(jù)集(Dmix)，如表1所示，D500 X數(shù)據(jù)集中只包含500 X鏡采集的經(jīng)過裁剪后得到的500幅像素800×600楊樹葉片氣孔圖像，D1 000 X數(shù)據(jù)集中只有1 000 X鏡采集的經(jīng)過降采樣得到的500幅像素800×600楊樹葉片氣孔圖像，混合數(shù)據(jù)集Dmix則是把D500 X數(shù)據(jù)集和D1 000 X數(shù)據(jù)集合起來，混合數(shù)據(jù)集的訓(xùn)練集、驗證集和測試集中500 X數(shù)據(jù)和1 000 X數(shù)據(jù)各占50%。訓(xùn)練過程中訓(xùn)練集和驗證集參與訓(xùn)練和參數(shù)優(yōu)化，測試集最后用來對模型進(jìn)行測試。每幅氣孔圖像中的氣孔個數(shù)不低于10個，因此400幅氣孔圖像的訓(xùn)練驗證集中包含4 000多個氣孔目標(biāo)參與訓(xùn)練。

表1 數(shù)據(jù)集介紹

1.3 Faster R-CNN的算法和模型訓(xùn)練

Faster R-CNN由兩個模塊組成，第1個模塊的深度神經(jīng)網(wǎng)絡(luò)用來提取預(yù)選區(qū)域，第2個模塊的深度神經(jīng)網(wǎng)絡(luò)用來檢測并識別第一個模塊產(chǎn)生的預(yù)選區(qū)域。第1個模塊被稱為RPN，即候選區(qū)域提取網(wǎng)絡(luò)。第2個模塊被稱為Fast R-CNN[23]，對RPN提取的候選區(qū)域進(jìn)行回歸和分類，F(xiàn)ast R-CNN算法則是由R-CNN[24]算法歷經(jīng)SPP net[25]算法改進(jìn)而來。在Faster R-CNN算法出現(xiàn)之前，對于圖像的預(yù)選區(qū)域的提取一直使用的是Selective Search[26]算法，但這個算法速度較慢，并且訓(xùn)練模型時需要分開并先執(zhí)行此算法。因此Faster R-CNN算法創(chuàng)新性的提出了RPN網(wǎng)絡(luò)進(jìn)行圖像預(yù)選區(qū)域的提取，并和Fast R-CNN算法共享部分網(wǎng)絡(luò)，都是基于VGG16[27]網(wǎng)絡(luò)來提取圖像特征圖，共享網(wǎng)絡(luò)大大提高了算法的執(zhí)行速度和效率，如圖1所示。

圖1 Faster R-CNN目標(biāo)檢測網(wǎng)絡(luò)結(jié)構(gòu)圖

本文使用了Faster-RCNN_TF算法的開源代碼[20]。在NVIDIA的TITAN Xp型號的GPU顯卡上來做深度學(xué)習(xí)訓(xùn)練，訓(xùn)練過程中設(shè)置預(yù)選框的大小為128×128、256×256和512×512，預(yù)選框的位置和真實目標(biāo)的位置重疊面積大于70%的設(shè)定為正樣本，重疊面積小于30%的設(shè)定為負(fù)樣本，RPN訓(xùn)練過程中選取128個正樣本和128個負(fù)樣本，利用公式(1)計算RPN網(wǎng)絡(luò)的損失值。在訓(xùn)練RPN網(wǎng)絡(luò)時先用image net[28]網(wǎng)絡(luò)參數(shù)初始化RPN和Fast R-CNN共享的網(wǎng)絡(luò)的參數(shù),其它RPN獨有的網(wǎng)絡(luò)層參數(shù)則使用標(biāo)準(zhǔn)差為0.01的零均值高斯分布進(jìn)行初始化。RPN網(wǎng)絡(luò)的損失函數(shù)如公式(1)[22]，

(1)

(2)

(3)

(4)

公式(3)中的x、y、w、h是標(biāo)注的圖像中目標(biāo)的位置的中心點坐標(biāo)和寬高，xa、ya、wa、ha是預(yù)選框的中心點坐標(biāo)和寬高，x*、y*、w*、h*則是預(yù)測的目標(biāo)的中心點坐標(biāo)和寬高。

Fast R-CNN的訓(xùn)練是利用RPN網(wǎng)絡(luò)提取圖像的感興趣區(qū)域，通過得分排序和非極大值抑制算法，得到2 000個感興趣區(qū)域，把這些預(yù)選框送給Fast R-CNN網(wǎng)絡(luò)，進(jìn)行進(jìn)一步的識別和坐標(biāo)回歸訓(xùn)練。

訓(xùn)練過程中前50 000次迭代的學(xué)習(xí)率設(shè)為0.001，后20 000次迭代的學(xué)習(xí)率為設(shè)為0.000 1，動量參數(shù)為0.9，權(quán)值衰減參數(shù)為0.000 5。每隔10次迭代保存一次損失值。本文訓(xùn)練了3個模型，500 X模型(M500 X)用D500 X數(shù)據(jù)集訓(xùn)練得到，1 000 X模型(M1 000 X)用D1 000 X數(shù)據(jù)集訓(xùn)練得到，混合模型(Mmix)用混合數(shù)據(jù)集Dmix訓(xùn)練得到。

1.4 模型參數(shù)計算方法與公式

模型召回率的計算方法如公式(5)，精度的計算方法如公式(6)，

(5)

(6)

公式(5)中的NTP為檢測結(jié)果中真正的氣孔的個數(shù)，NFN是漏檢的氣孔個數(shù)，NMC為人工計數(shù)氣孔的個數(shù)，這里認(rèn)為人工計數(shù)不存在誤檢和漏檢。公式(6)中NFP是誤檢的氣孔個數(shù)。

氣孔密度計算方法如公式(7)。公式中Ni為輸入的測試集的圖像張數(shù)，S為一張氣孔圖像對應(yīng)的1 000 X鏡下楊樹葉片的真實面積，本文的測試集中的每張圖像對應(yīng)的VHX-2000數(shù)碼顯微鏡下的楊樹葉表皮面積相同，S=0.23 mm×0.31 mm，Ns為程序檢測并輸出的測試集的氣孔總個數(shù)，D則為楊樹葉表皮的氣孔密度。

(7)

2 結(jié)果與分析

2.1 楊樹氣孔圖像檢測結(jié)果

實驗中，采用人工方法獲得氣孔數(shù)量作為真值。在人工計數(shù)期間，對于圖像邊緣的氣孔，采取的辦法和標(biāo)注氣孔時采用的方法相同，氣孔個體露出超過70%面積就計數(shù)一個氣孔。數(shù)據(jù)集D500 X、D1 000 X的測試集氣孔數(shù)量如表2所示。

表2 各模型對測試集的測試結(jié)果

表3 各模型的氣孔檢測的召回率

采用訓(xùn)練后的模型M500 X、M1 000 X和Mmix分別對數(shù)據(jù)集D500 X、D1 000 X和Dmix中的測試集圖像進(jìn)行檢測，結(jié)果如圖2所示，檢測一張圖像僅耗時0.08 s左右。圖中標(biāo)注了氣孔的位置，記錄了氣孔的數(shù)量。對氣孔圖像批檢測時，程序統(tǒng)計了這批圖像中氣孔的總數(shù)。各模型下數(shù)據(jù)集D500 X和D1 000 X的測試集中的氣孔總數(shù)如表2所示。各模型對兩組100張氣孔圖像中氣孔的檢測精度和召回率如表3所示。

2.2 白樺氣孔圖像的模型測試

本文采集了白樺的葉片氣孔圖像，來檢驗?zāi)Ｐ偷姆夯芰Γ瑯邮褂?00張白樺氣孔圖像輸入給楊樹氣孔圖像訓(xùn)練的M1 000 X模型，檢測到白樺氣孔1 086個，漏檢氣孔50個，誤檢氣孔0個，精度為100%，召回率為95.60%，由此可以看出本文提出的模型有一定的泛化能力，圖3是白樺氣孔圖像的檢測結(jié)果。

2.3 楊樹葉片氣孔密度計算

采用M500 X、M1 000 X和Mmix模型對D500 X和D1 000 X測試集計算密度的結(jié)果如表4所示。

圖2 氣孔檢測結(jié)果圖

圖3 白樺氣孔圖像檢測結(jié)果

表4 氣孔密度

注：1 mm2內(nèi)氣孔的數(shù)量。

2.4 檢測算法和模型性能分析

從圖2的檢測結(jié)果圖中可以看出，圖像中的完整的氣孔都能被檢測，但是圖像邊緣的氣孔并不能全都檢測出來。從表2中也可以看出用模型檢測出的兩個測試集的各100幅圖像中的氣孔總數(shù)要比人工計數(shù)的氣孔數(shù)要少。從這200張檢測結(jié)果圖像可以看出，幾乎所有漏檢氣孔都是圖像中邊緣的不完整的氣孔，而且沒有誤檢的氣孔，模型對氣孔檢測的精度能達(dá)到100%。表3數(shù)據(jù)表明只用D500 X數(shù)據(jù)集訓(xùn)練出來的M500 X模型，對500X鏡采集的氣孔圖像識別效果最好，但對1 000 X鏡采集的氣孔圖像檢測時，則會出現(xiàn)很多漏檢的氣孔。同樣的情況也出現(xiàn)在用D1 000 X數(shù)據(jù)集訓(xùn)練的M1 000 X模型。Mmix混合模型是兩種數(shù)據(jù)組合起來訓(xùn)練的模型，Mmix模型的氣孔檢測召回率雖然比交叉驗證的效果好，但還是略低于M500 X模型對D500 X測試集的檢測召回率，同樣也低于M1 000 X模型對D1 000 X測試集的召回率。這表明500 X下的氣孔特征和1 000 X下的氣孔特征存在差異。圖4中的精度曲線和召回率曲線表明了迭代次數(shù)少的模型，召回率高，精度低，即檢測結(jié)果沒有漏檢氣孔，但有誤檢氣孔；迭代次數(shù)多的模型，精度高，召回率低，即0檢測結(jié)果沒有誤檢氣孔，但有漏檢氣孔。本文認(rèn)為檢測出的氣孔都是正確的要好于能檢測出全部氣孔但卻附帶有很多被誤檢為氣孔的背景，因此本文選擇的是迭代次數(shù)多精度高的模型對氣孔密度進(jìn)行計算。圖5中訓(xùn)練驗證集大小和召回率的關(guān)系也說明了訓(xùn)練驗證集包含氣孔圖像增多，模型的召回率也大致呈增大趨勢，制作更大的數(shù)據(jù)集也很有可能使模型有更好的表現(xiàn)效果。

圖4 損失值、精度、召回率和迭代次數(shù)的關(guān)系曲線

圖5 訓(xùn)練驗證集和召回率的關(guān)系曲線

3 結(jié)論與討論

植物葉片氣孔密度的計算通常耗時費力，因為需要在顯微圖像中可視化計數(shù)，或者輔助于圖像處理軟件進(jìn)行人工計數(shù)。傳統(tǒng)的氣孔密度檢測方法主要采用人工計數(shù)每張圖像中的氣孔數(shù)量，除以對應(yīng)的圖像在顯微鏡下的植物葉片的尺寸。該方法耗時費力，且主觀性強(qiáng)。Silve Vialet-Chabrand et al.[29]人提出了一種基于級聯(lián)分類器的植物葉片氣孔檢測方法，該方法能夠自動識別出植物氣孔圖像中氣孔的數(shù)量和位置，當(dāng)忽略位于圖像邊緣的不完整氣孔時，兩種樹種的誤檢率和漏檢率分別為5%/14.8%和1.9%/0.74%，測試集的氣孔檢測率能達(dá)到85.2%。Kaue T. N. Duarte et al.[30]利用小波和分水嶺算法分割高質(zhì)量氣孔數(shù)字圖像來檢測并計數(shù)氣孔，該方法能達(dá)到98.34%的精度和98.24%的召回率。Hiranya Jayakody et al.[31]提出了一種全自動的氣孔檢測和氣孔測量方法，該方法首先用正負(fù)樣本來訓(xùn)練一個級聯(lián)分類器，然后在一張氣孔圖像上進(jìn)行滑窗，根據(jù)分類器的結(jié)果識別滑窗中是否為一個氣孔。該方法能夠達(dá)到91.68%的氣孔識別精度。Takumi Higaki et al.[32]提出了使用快速遺傳算法和CARTA(聚類輔助快速訓(xùn)練)自組圖算法來檢測葉表皮氣孔的方法，這種方法對氣孔檢測的精度顯著依賴于ROI(預(yù)選區(qū)域)大小和數(shù)量參數(shù)的設(shè)置，需要進(jìn)行大量實驗和試錯來對參數(shù)進(jìn)行優(yōu)化。Yosuke Toda et al.[33]將用于面部識別的方法用于氣孔檢測和測量，使用HOG(方向梯度直方圖)檢測氣孔的位置，利用一個神經(jīng)網(wǎng)絡(luò)對提取的候選位置進(jìn)行分類，提取出包含氣孔的預(yù)選位置。朱濟(jì)友[34]、薦圣淇[35]提出了采用eCognition商用遙感智能化影像分析軟件來估算植物葉片氣孔密度及氣孔面積。該方法的關(guān)鍵在于分割參數(shù)的確定及提取規(guī)則的建立，需要通過實驗得到最適當(dāng)?shù)膮?shù)，這些最佳參數(shù)及分類規(guī)則閾值需要人為的根據(jù)實驗結(jié)果進(jìn)行修改，在實驗過程中同樣需要一定的經(jīng)驗和技巧修改參數(shù)以得到最佳結(jié)果。Karl C. Fetter et al.[36]提出的氣孔檢測及標(biāo)注方法采用AlexNet神經(jīng)網(wǎng)絡(luò)提取圖像特征圖，然后對特征圖進(jìn)行背景和目標(biāo)的分類，在不考慮圖像邊緣的氣孔時，采用混合訓(xùn)練的模型對400X測試集檢測概率可達(dá)到98.5%。混合模型的訓(xùn)練所用的數(shù)據(jù)集包括表皮數(shù)據(jù)庫，香脂楊樹，SEM圖像以及一些新鮮葉子圖像[37]?，F(xiàn)有的植物葉片氣孔檢測方法所采用的圖像均是離體并剝下表皮或是指甲油印記法制成玻片在顯微鏡下成像，圖像質(zhì)量好，氣孔清晰。且葉片離體采集并處理得到的氣孔圖像，氣孔性狀已經(jīng)發(fā)生了改變，所獲取的氣孔形貌已不再是其原本的氣孔形態(tài)。

與這些方法相比，本文使用了基于深度學(xué)習(xí)的目標(biāo)檢測算法，精確自動快速的檢測楊樹葉片顯微圖像的氣孔。氣孔召回率最高可達(dá)到99.32%。本文方法很容易評估大量采樣下的氣孔密度，為估計葉子特性和研究氣孔不同分布模式下對氣體交換和適應(yīng)氣候變化方面的影響提供科學(xué)的技術(shù)手段。

顯微圖像邊緣的不完整氣孔影響本文方法的識別率。通過減少迭代次數(shù)來增加對邊緣氣孔的識別率，但是減少迭代次數(shù)也會使誤檢率提高。因此在進(jìn)行活體采集葉表皮氣孔圖像時可以盡量避免有很多的邊緣氣孔出現(xiàn)在視野中，并采集更清晰的氣孔圖像，模型才能有更高的精度和召回率。

本文所用的氣孔圖像數(shù)據(jù)集有限及數(shù)據(jù)集單一，需要后續(xù)進(jìn)行數(shù)據(jù)集的擴(kuò)充，包括不同樹種、不同生長期的葉子氣孔數(shù)據(jù)，以進(jìn)一步驗證算法的可靠性和泛化能力。

本文提出了一種依據(jù)Faster-RCNN的活體植株葉片氣孔快速自動檢測算法。該方法不僅能夠檢測出氣孔，同時還能給出氣孔的位置以及氣孔的數(shù)量。單幅圖像的檢測時間約0.08 s。對現(xiàn)有的數(shù)據(jù)集的檢測召回率最大為99.32%(M1 000 X模型檢測D1 000 X測試集數(shù)據(jù))，最小為89.59%(M500 X模型檢測D1 000 X測試集數(shù)據(jù))，沒有出現(xiàn)誤檢情況。本文提出的方法具有較好的泛化能力，所訓(xùn)練模型對白樺葉片氣孔測試，檢測召回率為95.60%。本文提出的方法能夠自動計算出一批圖像的氣孔密度，最終得到的楊樹葉片氣孔平均密度為183個/mm2。

研究結(jié)果有助于簡化各種活體植物葉片氣孔圖像中氣孔的計數(shù)和氣孔密度的計算，對開展活體植株葉片氣孔的行為研究具有重要的意義。