趙鵬超 戚大偉

摘要：

利用計算機圖像工程技術(shù)和卷積神經(jīng)網(wǎng)絡(luò)將大量樹葉圖像葉脈信息提取并分類，主要研究單一背景下闊葉樹葉脈紋理特征。本實驗采用卷積神經(jīng)網(wǎng)絡(luò)在圖像信息識別準(zhǔn)確率高，無需人工定義樹葉紋理特征減少繁瑣的人工成本。將網(wǎng)絡(luò)在Caffe平臺上面進行定義，使用符合標(biāo)準(zhǔn)正態(tài)分布的一組隨機參數(shù)初始化網(wǎng)絡(luò)。對卷積神經(jīng)網(wǎng)絡(luò)使用BP神經(jīng)網(wǎng)絡(luò)反向傳播算法和隨機梯度下降算法訓(xùn)練。經(jīng)過對于網(wǎng)絡(luò)的訓(xùn)練最終識別率達到95%以上，超過了人眼的識別率，為樹種識別研究提供有效的分類方法。卷積神經(jīng)網(wǎng)絡(luò)在樹葉紋理中省去了人工定義樹葉特征的工作。最終多次實驗得到可觀的識別效果，卷積神經(jīng)網(wǎng)絡(luò)適用于樹葉圖像的識別，其識別率基本達到可以應(yīng)用的要求。

關(guān)鍵詞：

卷積神經(jīng)網(wǎng)絡(luò)；樹種識別；樹葉紋理；圖像工程；闊葉

中圖分類號：S781.1；Q6-3文獻標(biāo)識碼：A文章編號：1001-005X（2018）01-0056-04

Abstract：

This experiment uses the computer image engineering technology and convolution neural network to extract and classify the leaf image information.The major research direction of this study is the vein texture characteristics of broadleaved leaves in a single background.In this experiment，the convolution neural network is adopted.This algorithm has high accuracy in image information recognition，without manual definition of leaf texture features，which can reduce labor cost.The network is defined by Caffe platform and is initialized by a set of random parameters which conform to the standard normal distribution.The BP neural network back propagation algorithm and the random gradient are used to reduce the algorithm training for convolution neural networks.Through the training of the network，the final recognition rate is above 95%，which exceeds the recognition rate of the human eye.It provides an effective classification method for tree species identification research.The convolution neural network eliminates the work of manually defining the features of leaves，and the final recognition effect is basically up to the standard of applicable.

Keywords：

Convolution neural network；tree species identification；leaf texture；image engineering；broad leaf

0引言

世界上沒有兩片一樣的樹葉，而同一樹種的樹木存在很多相似的圖像特征，例如樹葉表皮紋理和葉片葉脈紋理[1-2]。其中葉脈的紋理特征對于區(qū)分樹種具有重要的價值。植物學(xué)專家和《植物志》中的方法是定義人類可以用自然語言描述的葉脈紋理結(jié)構(gòu)特征[3]。這種弊端在于實驗前需要將葉片紋理結(jié)構(gòu)分類，對于具體紋理結(jié)構(gòu)只給出大概文字性描述。在遇到兩種相似樹葉時需要對比特征具體數(shù)據(jù)才能分辨。人工定義許多特征并非所有樹種都具有。并且在識別圖像過程中需要使用復(fù)雜的數(shù)學(xué)方法提取樹葉葉脈[4-5]。卷積神經(jīng)網(wǎng)絡(luò)通過數(shù)據(jù)集訓(xùn)練可以使網(wǎng)絡(luò)自己學(xué)習(xí)圖像中紋理特征[6]。采用卷積神經(jīng)網(wǎng)絡(luò)省去了人工定義樹葉紋理特征的步驟[7]，以及神經(jīng)網(wǎng)絡(luò)對于非線性問題處理能力強的優(yōu)點[8-9]。因此設(shè)計了使用卷積神經(jīng)網(wǎng)絡(luò)模型對于樹葉圖像識別。

1圖像數(shù)據(jù)采集和處理

卷積神經(jīng)網(wǎng)絡(luò)需要大量樣本進行訓(xùn)練[10]。實驗采集了4種樹葉，每種樹葉采集90張，共計360張圖像。采集于2017年7月在黑龍江省哈爾濱市東北林業(yè)大學(xué)校園內(nèi)。使用佳能550D相機拍攝。網(wǎng)絡(luò)訓(xùn)練選用有導(dǎo)師訓(xùn)練模型[11]，因而以1比4的比例分為測試樣本與訓(xùn)練樣本后將文件名分類標(biāo)注。由于單反相機拍攝照片尺寸較大，為了計算速度和計算機可承受數(shù)據(jù)量[12]，使用opencv庫在Linux操作系統(tǒng)中編寫調(diào)整圖像尺寸的應(yīng)用程序?qū)D像縮小為100×75像素（圖1）。

2卷積神經(jīng)網(wǎng)絡(luò)設(shè)計及訓(xùn)練

2.1卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）是基于人工神經(jīng)網(wǎng)絡(luò)帶有卷積層的網(wǎng)絡(luò)結(jié)構(gòu)[13-14]。人工神經(jīng)網(wǎng)絡(luò)（Artificial neural network，ANN）源頭是源自生物體神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，從活體貓的大腦皮層對于視覺信息反應(yīng)研究得出。生物體對于視覺圖像處理是分層處理機制，并且提出了感知野的概念。卷積神經(jīng)網(wǎng)絡(luò)是上世紀(jì)80年代由Fukushima提出基于數(shù)學(xué)卷積計算的一種新型識別機，形成卷積神經(jīng)網(wǎng)絡(luò)模擬生物神經(jīng)元對于圖像識別的結(jié)構(gòu)[15]。使用卷積神經(jīng)網(wǎng)絡(luò)研究樹葉紋理的優(yōu)點是無需人工定義圖像中信息的特征。在訓(xùn)練過程中網(wǎng)絡(luò)會通過大量不同的卷積核與圖像計算獲得不同的特征圖譜。

2.2網(wǎng)絡(luò)設(shè)計

網(wǎng)絡(luò)的層次共分為5層，其中包括2層卷積層、1層池化層和2層全鏈接層。網(wǎng)絡(luò)層次順序首先經(jīng)過兩層卷基層后加入一層池化層進行數(shù)據(jù)壓縮，然后將數(shù)據(jù)送入兩層全鏈接層。網(wǎng)絡(luò)結(jié)尾的全鏈接層用來輸出計算分類向量結(jié)果，該層節(jié)點數(shù)目為網(wǎng)絡(luò)輸入數(shù)據(jù)的類別數(shù)。由于采集了4種樹葉這里設(shè)置為4個節(jié)點（圖2）。

卷積層（Convolutional Layer）是通過卷積核在原圖像中滑動生成一張?zhí)卣鲌D譜。每一個卷積核篩選出整幅圖像中的一種特征值，掃描整幅圖像進行卷積計算，圖3是卷積層在訓(xùn)練過程中的操作。卷積層需要設(shè)定三個參量：

（1）卷積核尺寸為5×5像素。

（2）卷積核在圖像中滑動的步長為1像素。

（3）圖像邊緣擴展區(qū)域像素值，填充像素點值為0。

池化層（Pooling layer）是對前一層網(wǎng)絡(luò)輸出的數(shù)據(jù)進行壓縮，通常使用Max pooling和average pooling進行壓縮。壓縮的目的是減少網(wǎng)絡(luò)中的數(shù)據(jù)量，進而減小過擬合。由于圖像中相鄰像素點之間幅度值產(chǎn)生突變的概率很低，所以選用Max pooling進行圖像處理（圖4）。

為了使網(wǎng)絡(luò)訓(xùn)練收斂更加便捷，本實驗并未采用sigmoid激活函數(shù)，而是采用了收斂速度快、求梯度簡單的ReLU（The Rectified Linear Unit修正線性單元），計算公式如下：

2.3損失函數(shù)選取

最終網(wǎng)絡(luò)的全鏈接層輸出一個關(guān)于所有類別的概率向量（x1，x2，x3，x4）T。為了衡量網(wǎng)絡(luò)計算的結(jié)果與實際類別的差異性。將實際類別對應(yīng)的向量（向量中實際類別為1，其他類別為0）與計算得到的結(jié)果建立交叉熵模型，計算公式如下：

其中，a為網(wǎng)絡(luò)計算得到的結(jié)果，y為實際類別。得到這個損失函數(shù)后便可以對其進行優(yōu)化。為了計算速度和減小果擬合，本試驗并沒有將所有的訓(xùn)練樣本拿來訓(xùn)練網(wǎng)絡(luò)，只采用了其中一部分運用了隨機梯度下降算法（Stochastic gradient descent）。

2.4網(wǎng)絡(luò)參數(shù)設(shè)定

圖像尺寸對于網(wǎng)絡(luò)輸入時的數(shù)據(jù)規(guī)模有直接的影響，上文中已經(jīng)講述將圖像重新調(diào)整尺寸。圖像的數(shù)量對于網(wǎng)絡(luò)訓(xùn)練和識別率有影響，為防止網(wǎng)絡(luò)規(guī)模過大數(shù)據(jù)量過小，產(chǎn)生過擬合現(xiàn)象?；蛘呔W(wǎng)絡(luò)規(guī)模過小數(shù)據(jù)量過大影響識別率。所以參照了Caffe中的mnist數(shù)據(jù)規(guī)模和網(wǎng)絡(luò)規(guī)模進行實驗，并且多次試驗選取了相對理想的卷積層和池化層規(guī)模，具體網(wǎng)絡(luò)參數(shù)如下。

卷積層參數(shù)：

lr_mult：1lr_mult：2#學(xué)習(xí)率2

num_output：50# 50個輸出的map

kernel_size：5#卷積核大小為5*5

stride：1#卷積步長為1

type：“xavier”

bias_filler#偏置值的初始化方式

type：“constant”#

池化層參數(shù)：

pool：MAX

kernel_size：2#池化區(qū)域的大小

stride：2#移動步長

2.5基于Caffe平臺搭建網(wǎng)絡(luò)

使用Caffe平臺在Linux操作系統(tǒng)中搭建，訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)。Caffe是一個深度學(xué)習(xí)框架，包含了許多人工神經(jīng)網(wǎng)絡(luò)搭建和訓(xùn)練過程中的需要的功能[16]。Caffe平臺的網(wǎng)絡(luò)實現(xiàn)是使用純文本模式定義模型和優(yōu)化過程。提供了海量的數(shù)據(jù)和先進的模型。并使用了模塊化思維，開放源代碼使得許多經(jīng)典模型可以參考和實現(xiàn)。linux操作系統(tǒng)采用的ubuntu14.04版本。

第一步：實驗開始之前需要將測試集和訓(xùn)練集樣本分別用caffe提供的工具包Blob分別生成以后綴名為.lmdb格式數(shù)據(jù)庫文件，目的是減少計算機在讀取文件時對于內(nèi)存訪問次數(shù)。

第二步：根據(jù)2.1中設(shè)計的網(wǎng)絡(luò)結(jié)構(gòu)編寫網(wǎng)絡(luò)文件并設(shè)定網(wǎng)絡(luò)參數(shù)。網(wǎng)絡(luò)共有5層（不包含輸入層）層數(shù)較少無需使用python語言，使用protocol buffer 語言定義網(wǎng)絡(luò)即可。

第三步：編寫solver文件設(shè)定訓(xùn)練過程中具體參數(shù)。solver 文件中需要設(shè)定的參數(shù)包含：網(wǎng)絡(luò)模型路徑、最大迭代次數(shù)、學(xué)習(xí)率、使用CPU或GPU進行計算選項等其他一些參數(shù)。

第四步：訓(xùn)練網(wǎng)絡(luò)模型，網(wǎng)絡(luò)經(jīng)過訓(xùn)練后的結(jié)構(gòu)模型會被存放在.caffemodel文件中。訓(xùn)練過程中優(yōu)化損失函數(shù)，使用反向傳播算法，簡稱BP算法[17-19]。通過計算損失函數(shù)與網(wǎng)絡(luò)中權(quán)值的偏導(dǎo)數(shù)，運用了高等數(shù)學(xué)中的鏈?zhǔn)角髮?dǎo)法則，逐層反向求導(dǎo)。不斷計算調(diào)整網(wǎng)絡(luò)中各層權(quán)值得到網(wǎng)絡(luò)損失最小值并輸出。具體使用的公式為：

2.6訓(xùn)練結(jié)果

最終，在4核CPU和4G運行內(nèi)存的虛擬機中使用CPU執(zhí)行計算，在多次訓(xùn)練后，識別率平均在94%以上。以下是選取的識別率最高的一組結(jié)果。實驗經(jīng)過32min46s的訓(xùn)練，完成了10000次迭代任務(wù)，得到測試集圖像識別率為98.25%（圖5）。

3結(jié)論

卷積神經(jīng)網(wǎng)絡(luò)經(jīng)過不同卷積核與圖像進行計算產(chǎn)生對應(yīng)特征圖譜。相比于人工定義樹葉葉脈紋理特征并提取更方便快捷。訓(xùn)練過程采用了有導(dǎo)師訓(xùn)練模型，并使用測試集圖像進行準(zhǔn)確率測試，因而產(chǎn)生的網(wǎng)絡(luò)模型可靠性高。網(wǎng)絡(luò)訓(xùn)練后的識別率達到了95%以上，超過了人眼識別率可以應(yīng)用于工程使用。訓(xùn)練產(chǎn)生的網(wǎng)絡(luò)模型提供了不同語言接口，可以方便的使用python和C++語言進行網(wǎng)絡(luò)的調(diào)用。加入其它種類的樹葉圖像訓(xùn)練網(wǎng)絡(luò)可以識別更多的樹種，為基于樹葉圖像進行樹種分類提供了可靠性強、識別率高、方便使用的網(wǎng)絡(luò)模型。本實驗不足之處在于實驗使用的樹葉樹種較少。由于國內(nèi)并未有針對于圖像識別使用的樹葉圖像數(shù)據(jù)庫，多次尋找關(guān)于樹葉圖像數(shù)據(jù)庫無果，為此研究團隊計劃在接下來的工作中建立一套公開免費的北方樹葉樹種圖像數(shù)據(jù)庫，以便其他研究同仁使用。

【參考文獻】

[1]李可心，戚大偉，牟洪波，等.基于灰度共生矩陣與SOM神經(jīng)網(wǎng)絡(luò)的樹皮紋理特征識別[J].森林工程，2017，33（3）：24-27.

[2]白雪冰，王克奇，王輝.基于灰度共生矩陣的木材紋理分類方法的研究[J].哈爾濱工業(yè)大學(xué)學(xué)報，2005，37（12）：1667-1670.

[3]黃普華.編研《中國植物志》的回顧與體會[J].植物科學(xué)學(xué)報，2017，35（3）：465-468.

[4]陳寅.植物葉形狀與葉脈結(jié)構(gòu)的自動分類研究[D].杭州：浙江理工大學(xué)，2013.

[5]姜蘭池，沈國強，張國煊.基于HSV分塊顏色直方圖的圖像檢索算法[J].機電工程，2009，26（11）：54-57.

[6]許振雷，楊瑞，王鑫春，等.基于卷積神經(jīng)網(wǎng)絡(luò)的樹葉識別的算法的研究[J].電腦知識與技術(shù)，2016，12（10）：194-196.

[7]盧宏濤，張秦川.深度卷積神經(jīng)網(wǎng)絡(luò)在計算機視覺中的應(yīng)用研究綜述[J].數(shù)據(jù)采集與處理，2016，31（1）：1-17.

[8]劉欣.基于卷積神經(jīng)網(wǎng)絡(luò)的聯(lián)機手寫漢字識別系統(tǒng)[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2015.

[9]汪濟民.基于卷積神經(jīng)網(wǎng)絡(luò)的人臉檢測和性別識別研究[D].南京：南京理工大學(xué)，2015.

[10]劉建偉，劉媛，羅雄麟.深度學(xué)習(xí)研究進展[J].計算機應(yīng)用研究，2014，31（7）：1921-1930.

[11]吳正文.卷積神經(jīng)網(wǎng)絡(luò)在圖像分類中的應(yīng)用研究[D].成都：電子科技大學(xué)，2015.

[12]陳雪嬌.基于OpenCV的計算機視覺技術(shù)研究[J].電腦知識與技術(shù)：學(xué)術(shù)交流，2015，11（30）：137-138.

[13]呂國豪，羅四維，黃雅平，等.基于卷積神經(jīng)網(wǎng)絡(luò)的正則化方法[J].計算機研究與發(fā)展，2014，51（9）：1891-1900.

[14]吳裔慧.基于卷積神經(jīng)網(wǎng)絡(luò)的場景理解方法研究[D].北京：清華大學(xué)，2015.

[15]張晴晴，劉勇，潘接林，等.基于卷積神經(jīng)網(wǎng)絡(luò)的連續(xù)語音識別[J].北京科技大學(xué)學(xué)報，2015，37（9）：1212-1217.

[16]魏正.基于Caffe平臺深度學(xué)習(xí)的人臉識別研究與實現(xiàn)[D].西安：西安電子科技大學(xué)，2015.

[17]牟洪波，戚大偉.基于BP和RBF神經(jīng)網(wǎng)絡(luò)的木材缺陷檢測研究[M].哈爾濱：哈爾濱出版社，2011.

[18]楊建華，姚建平，范磊，等.單板表面裂縫圖像處理方法研究[J].林業(yè)機械與木工設(shè)備，2017，45（4）：29-31.

[19]姚建平，肖江，閆磊，等.基于3D結(jié)構(gòu)激光的木材表面缺陷檢測的研究[J].林業(yè)機械與木工設(shè)備，2017，45（3）：20-25.