基于卷積神經(jīng)網(wǎng)絡(luò)的牡丹花品種識(shí)別

何進(jìn)榮，任維鑫，石延新，白宗文3，*

（1.延安大學(xué)數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院,陜西延安716000；2.西北農(nóng)林科技大學(xué)陜西省農(nóng)業(yè)信息感知與智能服務(wù)重點(diǎn)實(shí)驗(yàn)室,陜西楊凌712100；3.延安大學(xué)陜西省能源大數(shù)據(jù)智能處理省市共建重點(diǎn)實(shí)驗(yàn)室,陜西延安716000;4.延安大學(xué)物理與電子信息學(xué)院,陜西延安716000）

牡丹花因其色澤艷麗、富麗堂皇，享有“國色天香”的美譽(yù)。作為中國固有的特產(chǎn)花卉，牡丹花歷來具有很高的觀賞和藥用價(jià)值。根據(jù)花色、花型、葉片和根部等植物性狀特征的不同，牡丹花品種多達(dá)上百種，給牡丹花學(xué)者和愛好者鑒別牡丹花品種帶來了挑戰(zhàn)。目前牡丹花的品種鑒別主要依靠園藝專家的專業(yè)知識(shí)，這種鑒別方法耗時(shí)耗力，不利于推廣牡丹文化和科普教育。近年來，隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展，許多學(xué)者將圖像識(shí)別方法應(yīng)用于農(nóng)業(yè)領(lǐng)域，并取得了成功。

目前在花卉圖像識(shí)別領(lǐng)域，常用的公開數(shù)據(jù)集有Oxford 17花卉數(shù)據(jù)集［1］和102花卉數(shù)據(jù)集［2］，前者包含17個(gè)種類共1360幅花卉圖像，后者包含102個(gè)種類共8189幅花卉圖像。針對(duì)通用花卉樣本庫Oxford 17 flower上的花卉種類識(shí)別問題，Nilsback等人借鑒自然語言處理中的特征向量化思想，提出基于視覺詞袋的花卉圖像特征表示方法［2］。吳笑鑫等人采用基于顯著性檢測(cè)的Grab Cut分割算法進(jìn)行預(yù)處理，采用SVM構(gòu)建分類模型［3］。為了對(duì)比不同圖像預(yù)處理、特征提取和分類器方法的性能，苗金泉等人提出基于插件技術(shù)的花卉種類識(shí)別算法評(píng)估方法［4］。Zhang等人采用SIFT和Harr算子對(duì)圖像特征進(jìn)行檢測(cè)，使用最近鄰方法進(jìn)行花卉種類識(shí)別［5］。

為了提高圖像識(shí)別系統(tǒng)的魯棒性，Kanan等人聯(lián)合稀疏編碼和序列化視覺注意力模型提取特征，在102花卉數(shù)據(jù)集上準(zhǔn)確率達(dá)到75.2%［6］。Zou等人采用參數(shù)化的幾何模型進(jìn)行花卉識(shí)別，并研發(fā)了計(jì)算機(jī)輔助視覺交互式識(shí)別系統(tǒng)，在113個(gè)種類1078幅花卉圖像上識(shí)別準(zhǔn)確率高于人類［7］。Guru等人收集了35個(gè)種類1750幅花卉圖像，在去除背景的圖像上分別提取顏色紋理矩、灰度共生矩陣和Gabor響應(yīng)等特征，然后采用概率神經(jīng)網(wǎng)絡(luò)建立分類器，識(shí)別準(zhǔn)確率達(dá)到79%［8］。為了研發(fā)移動(dòng)端的花卉圖像實(shí)時(shí)識(shí)別系統(tǒng)，Cheng等人提出基于目標(biāo)屬性的花卉圖像分類方法，提取花序、花朵形狀和顏色等屬性特征后采用遺傳算法進(jìn)行判別屬性篩選，最后采用稀疏表示分類方法進(jìn)行識(shí)別［9］。

隨著深度學(xué)習(xí)在感知數(shù)據(jù)建模上的優(yōu)異表現(xiàn)，以卷積神經(jīng)網(wǎng)絡(luò)為代表的圖像分類方法逐漸成為計(jì)算機(jī)視覺領(lǐng)域的主流方法之一。針對(duì)菊花花型和品種識(shí)別問題，袁培森等人采集了5個(gè)品種的6300張菊花圖像，構(gòu)建6層卷積神經(jīng)網(wǎng)絡(luò)逐層學(xué)習(xí)菊花特征［10］。Liu等人收集到79個(gè)種類52775幅花卉圖像，然后采用卷積神經(jīng)網(wǎng)絡(luò)建立識(shí)別模型，分類準(zhǔn)確率達(dá)到76.54%［11］。Xia等人采用預(yù)訓(xùn)練的Inception-v3模型進(jìn)行遷移學(xué)習(xí)，在Oxford 17和102花卉數(shù)據(jù)集上的分類準(zhǔn)確率均達(dá)到99%［12］。

現(xiàn)有花卉圖像數(shù)據(jù)規(guī)模較小，圖像均在控制條件下拍攝，同種類差異性較小且不同種類的花卉在形態(tài)上具有較好的可分性。圖像分類系統(tǒng)的構(gòu)建很大程度上依賴于特定領(lǐng)域圖像數(shù)據(jù)集的構(gòu)建，且圖像采集環(huán)境和目標(biāo)形態(tài)差異會(huì)導(dǎo)致同類目標(biāo)的像素?cái)?shù)值差異大于不同類目標(biāo)。針對(duì)牡丹花品種識(shí)別方法，本文的主要貢獻(xiàn)體現(xiàn)在以下幾個(gè)方面。

（1）在自然環(huán)境下分組采集11624幅牡丹花圖像，并對(duì)牡丹花品種進(jìn)行人工標(biāo)注，建立分布廣泛的牡丹花圖像數(shù)據(jù)集。

（2）實(shí)驗(yàn)對(duì)比分析了傳統(tǒng)手工特征分類模型、預(yù)訓(xùn)練深度模型和卷積神經(jīng)網(wǎng)絡(luò)等3種圖像分類方法在牡丹花品種識(shí)別上的準(zhǔn)確率。

1 數(shù)據(jù)預(yù)處理

牡丹花圖像采集與人工標(biāo)記是建立牡丹花品種識(shí)別模型的基礎(chǔ)。本節(jié)主要介紹牡丹花圖像數(shù)據(jù)集的構(gòu)建過程。

1.1 數(shù)據(jù)采集

牡丹花圖像數(shù)據(jù)于2018年4月上旬在西北農(nóng)林科技大學(xué)南校區(qū)牡丹園采集，由4名學(xué)生使用手機(jī)相機(jī)在不同時(shí)間段拍攝，牡丹花品種信息根據(jù)標(biāo)識(shí)牌指示進(jìn)行記錄，共包括11個(gè)品種的11624幅牡丹花圖像。數(shù)據(jù)采集信息如表1所示，不同采集設(shè)備獲取的原始圖像分辨率不同，在數(shù)據(jù)建模時(shí)統(tǒng)一縮放至224×224。每個(gè)品種的牡丹花圖像個(gè)數(shù)如表2所示，各品種圖像數(shù)目大致相當(dāng)。每個(gè)品種的部分示例圖像如圖1所示，僅通過花瓣顏色和形態(tài)難以將每個(gè)牡丹花品種區(qū)分開，如霓虹幻彩（圖1（d））、墨潤絕倫（圖1（f））和烏龍捧盛（圖1（h））等3個(gè)品種在外觀上十分相似。牡丹花圖像背景復(fù)雜，葉片對(duì)花瓣存在遮擋，花苞形態(tài)和拍攝角度各異，且光照不均衡，這些都給圖像分類增加了一定的難度。

圖1 11個(gè)牡丹花品種的示例圖像Fig.1 Sample images of 11 peony varieties

表1 數(shù)據(jù)采集信息Tab.1 Data collection information

表2 不同品種牡丹花圖像個(gè)數(shù)Tab.2 The number of peony images of different varieties

1.2 數(shù)據(jù)增強(qiáng)

為了提高卷積神經(jīng)網(wǎng)絡(luò)模型的泛化能力，對(duì)每幅牡丹花圖像通過旋轉(zhuǎn)、平移、扭曲、縮放、翻轉(zhuǎn)等傳統(tǒng)數(shù)字圖像處理方法進(jìn)行隨機(jī)變換以擴(kuò)充樣本個(gè)數(shù)。針對(duì)“大胡紅”品種的某幅圖像進(jìn)行數(shù)據(jù)增強(qiáng)后的部分樣本如圖2所示，通過隨機(jī)變換生成的牡丹花圖像大量擴(kuò)充了數(shù)據(jù)集，使樣本分布更廣泛。

圖2 數(shù)據(jù)增強(qiáng)后的部分圖像樣本Fig.2 Some image samples after data augmentation

2 神經(jīng)網(wǎng)絡(luò)模型

本文采用遷移的ResNet網(wǎng)絡(luò)構(gòu)建牡丹花品種識(shí)別模型，其殘差結(jié)構(gòu)有效地解決了深度神經(jīng)網(wǎng)絡(luò)隨著層數(shù)加深而梯度消失的問題。ResNet網(wǎng)絡(luò)的特征提取部分由前幾層的卷積層堆疊和殘差模塊的多次疊加構(gòu)成，最后連接全局平均池化層、全連接層和Softmax輸出層。

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文構(gòu)建的卷積網(wǎng)絡(luò)模型其殘差模塊主要有兩種結(jié)果。如圖3所示。

圖3 殘差模塊Fig.3 Residual module

整體結(jié)構(gòu)如圖4所示。模型輸入圖像設(shè)定為224×224的三通道彩色圖像，殘差結(jié)構(gòu)中依次包含瓶頸殘差模塊、常規(guī)殘差模塊×2、瓶頸殘差模塊、常規(guī)殘差模塊×3、瓶頸殘差模塊、常規(guī)殘差模塊×22、瓶頸殘差模塊、常規(guī)殘差模塊×2。其內(nèi)部卷積核設(shè)置略有調(diào)整。最后，在網(wǎng)絡(luò)全連接層之后采用Softmax分類器輸出每個(gè)類別的分類概率。

圖4 整體結(jié)構(gòu)Fig.4 Overall structure

2.2 損失函數(shù)

牡丹花品種識(shí)別屬于多分類任務(wù)，本文選用交叉熵函數(shù)作為模型的損失函數(shù)，用于評(píng)估卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)輸出的類別概率分布與真實(shí)分布之間的差異，交叉熵?fù)p失函數(shù)對(duì)于不均衡的樣本對(duì)網(wǎng)絡(luò)準(zhǔn)確率的消極影響具有較好的抑制作用。

3 實(shí) 驗(yàn)

為了驗(yàn)證本文建立的卷積神經(jīng)網(wǎng)絡(luò)模型的有效性，實(shí)驗(yàn)設(shè)計(jì)時(shí)分別從數(shù)據(jù)建模方法和數(shù)據(jù)分組測(cè)試兩個(gè)方面展開對(duì)比實(shí)驗(yàn)。

3.1 實(shí)驗(yàn)設(shè)置

在圖像分類實(shí)驗(yàn)中，測(cè)試了不同的網(wǎng)絡(luò)架構(gòu)在不同的遷移方法和不同的優(yōu)化器選擇中表現(xiàn)出來的效果。改造模型結(jié)構(gòu)的方法：將全連接層加分類層中的全連接層替換為新層，使其全連接節(jié)點(diǎn)為11，將1×1卷積層加分類層中的卷積層替換為新層，使其卷積核數(shù)量等于11。

實(shí)驗(yàn)編程開發(fā)環(huán)境為Matlab2019b，計(jì)算設(shè)備為個(gè)人計(jì)算機(jī)，CPU為AMD R2700x，主頻為3.70 GHz，內(nèi)存為16 GB，顯卡為1080TI，顯存為11 GB。訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)的劃分比例為9∶1。

3.2 實(shí)驗(yàn)結(jié)果

3.2.1 最佳實(shí)驗(yàn)結(jié)果

首先，將4組牡丹花圖像數(shù)據(jù)集合并在一起，隨機(jī)分層抽樣90%作為訓(xùn)練集，其余10%作為測(cè)試機(jī)，隨機(jī)打亂順序讀入，訓(xùn)練過程中每次迭代隨機(jī)打亂一次，采用Adam優(yōu)化器，新增層權(quán)重和偏置學(xué)習(xí)率均擴(kuò)大10倍，前六次迭代的基準(zhǔn)學(xué)習(xí)率為1×10-4，下降系數(shù)為0.05，Batch Size設(shè)為64，訓(xùn)練11次，每次訓(xùn)練后驗(yàn)證一次，數(shù)據(jù)增強(qiáng)方法是上下左右隨機(jī)移動(dòng)20個(gè)像素，x軸隨機(jī)反射。識(shí)別準(zhǔn)確率如表3所示。ResNet101訓(xùn)練集準(zhǔn)確率最高但訓(xùn)練耗時(shí)70分13秒，ResNet50訓(xùn)練耗時(shí)38分43秒，從資源消耗與收益比來看，ResNet50性能較強(qiáng)。AlexNet泛化能力較差，存在過擬合的問題且訓(xùn)練過程振蕩較為嚴(yán)重。具體訓(xùn)練曲線如圖5所示。

圖5 ResNet101和AlexNet訓(xùn)練過程圖Fig.5 ResNet101 and AlexNet training process

表3 最佳的識(shí)別結(jié)果Tab.3 The best recognition result

3.2.2 優(yōu)化算法對(duì)神經(jīng)網(wǎng)絡(luò)的影響

首次試驗(yàn)選取SGDM作為優(yōu)化器，新增層的權(quán)重學(xué)習(xí)率和偏差學(xué)習(xí)率均擴(kuò)大20倍，實(shí)驗(yàn)結(jié)果如表4。

表4 選取SGDM優(yōu)化器的測(cè)試結(jié)果Tab.4 The test results of SGDM optimizer

4 結(jié) 論

本文采用卷積神經(jīng)網(wǎng)絡(luò)模型建立牡丹花圖像分類模型，用于自動(dòng)鑒別不同品種的牡丹花。首先，在西北農(nóng)林科技大學(xué)牡丹園共拍攝11個(gè)品種牡丹花圖像11624幅，并人工標(biāo)注牡丹花品種類別；隨后基于ResNet101模型架構(gòu)，遷移學(xué)習(xí)了一種卷積神經(jīng)網(wǎng)絡(luò)，測(cè)試集上的識(shí)別準(zhǔn)確率可達(dá)98%，顯著高于傳統(tǒng)手工提取特征的視覺詞袋模型，略優(yōu)于預(yù)訓(xùn)練的ResNet50、VGG16和Inceptionv3，整體表現(xiàn)較好，對(duì)于植物識(shí)別具有一定的實(shí)際意義。

為了提高牡丹花品種識(shí)別的準(zhǔn)確率和魯棒性，下一步工作將繼續(xù)優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)，改造數(shù)據(jù)集內(nèi)容，結(jié)合特征學(xué)習(xí)的層次化表示思想，將特征遷移、特征學(xué)習(xí)和人工特征相結(jié)合來構(gòu)建易于訓(xùn)練的深度學(xué)習(xí)模型。