基于機器視覺的蛾類三維姿態(tài)中前翅間夾角計算方法*

張睿珂 陳梅香 李 明 楊信廷 溫俊寶(. 北京林業(yè)大學 林木有害生物防治北京市重點實驗室 北京 00083； . 國家農(nóng)業(yè)信息化工程技術(shù)研究中心農(nóng)業(yè)部農(nóng)業(yè)信息技術(shù)重點開放實驗室 北京市農(nóng)業(yè)物聯(lián)網(wǎng)工程技術(shù)研究中心 北京 00097)

基于機器視覺的蛾類三維姿態(tài)中前翅間夾角計算方法*

張睿珂1,2陳梅香2李 明2楊信廷2溫俊寶1
(1. 北京林業(yè)大學 林木有害生物防治北京市重點實驗室 北京 100083； 2. 國家農(nóng)業(yè)信息化工程技術(shù)研究中心農(nóng)業(yè)部農(nóng)業(yè)信息技術(shù)重點開放實驗室 北京市農(nóng)業(yè)物聯(lián)網(wǎng)工程技術(shù)研究中心 北京 100097)

【目的】 在農(nóng)林業(yè)害蟲自動識別分類過程中，目標蛾類三維姿態(tài)的準確獲取可以優(yōu)化識別過程，提高識別效率。通過對復雜的蛾類害蟲三維姿態(tài)進行量化，準確獲取蟲體三維姿態(tài)的信息數(shù)據(jù)，可克服二維姿態(tài)識別的信息缺失問題，提高算法的魯棒性，為蛾類蟲體的自動識別奠定基礎?！痉椒ā?以棉鈴蟲為例，提出一種基于機器視覺原理的蛾類蟲體前翅間夾角計算方法，以確定蟲體的三維姿態(tài)，即：通過角點檢測原理提取蛾類蟲體前翅的標記特征點，獲取標記特征點的空間坐標，進而計算蟲體前翅間夾角角度。【結(jié)果】 此方法能夠快速、便捷、準確地獲取棉鈴蟲成蟲蟲體前翅間夾角，且相對誤差0.10%～3.96%； 該計算方法與激光測量進行偏差分析，均方根誤差為1.421 6； 配對T檢驗無顯著性差異，表明本文提出的方法可行?！窘Y(jié)論】 以棉鈴蟲為例提出一種基于機器視覺的標記特征點蟲體前翅間夾角計算方法，平均用時僅14.6 s，少于激光測量法的1 min，在計算效率上也有所提高，為多姿態(tài)蛾類害蟲的自動監(jiān)測、快速識別提供重要的技術(shù)手段。

機器視覺； 三維姿態(tài)； 蛾類； 前翅間夾角； 特征點提取

蛾類害蟲種類識別是農(nóng)林害蟲測報與防治工作的基礎。隨著計算機技術(shù)的發(fā)展，基于圖像的害蟲自動識別技術(shù)具有省時省力、智能化等優(yōu)點，有助于提高害蟲識別效率(姚青等， 2011)。目前廣泛應用二維圖像技術(shù)進行害蟲的自動監(jiān)測識別，但由于獲取到的二維圖像僅對圖像中蟲體的顏色、幾何形狀(于新文等， 2003)等進行描述與利用，忽略了蟲體姿態(tài)問題，造成識別算法的普適性受到影響，導致識別準確率降低。為了克服害蟲姿態(tài)對識別效果造成的影響，邱道尹等(2007)設計的基于機器視覺的農(nóng)田燈誘害蟲實時檢測系統(tǒng)，使害蟲姿態(tài)減少為正面和背面2種。李文勇(2014a； 2014b)等通過獲取二維圖像信息，開展了基于機器視覺的多姿態(tài)害蟲特征提取與分類方法，在實驗室條件下取得了較好的識別效果。以往對多姿態(tài)害蟲的識別主要基于單一或正反面機器視覺進行圖像獲取，所獲取的害蟲圖像信息受到限制(Wenetal.， 2012)，僅獲得二維姿態(tài)信息，基于二維圖像技術(shù)難以準確估計蛾類蟲體實際空間位置對害蟲特征的量化影響，導致單一基于二維圖像的害蟲識別算法的普適性受到一定的影響(楊紅珍等， 2013； Ashaghathraetal., 2007)。三維姿態(tài)信息是反映目標物體空間位置的重要參數(shù)(陳娟等， 2008)，所以，提取蛾類蟲體的三維姿態(tài)信息以確定蟲體的空間位置有助于提高蛾類害蟲分類識別的準確率。

鱗翅目害蟲是數(shù)量僅次于鞘翅目的主要農(nóng)林害蟲，是害蟲監(jiān)測的重點對象。一般通過黑光燈誘集監(jiān)測，其死亡時蟲體體色及結(jié)構(gòu)基本保持一致但會出現(xiàn)多種死亡姿態(tài)，具體表現(xiàn)在兩翅膀的空間相對位置不盡相同，存在較大差異。因蟲體翅膀間形成不同大小的夾角，致使獲取到的同種蟲體的二維特征相差較遠，增加了識別難度，降低了識別準確率(Nguyenetal., 2013)。張志剛等(2005)進行了人臉的三維姿態(tài)估計，對多姿態(tài)的人臉識別提供了一定基礎的、有效的獲取人臉偏轉(zhuǎn)角度的方法。呂丹等(2015)提出有效獲取目標三維姿態(tài)的方法，能夠簡化識別復雜性，提高識別速率。Nguyen等(2014)通過構(gòu)建昆蟲的真彩色3D模型用于昆蟲物種的鑒定，但其是針對鞘翅目蟲體并通過高精準的測量而構(gòu)建得到蟲體的三維模型，具有一定的復雜度，且對鱗翅目蛾類害蟲的適用性較低。所以，通過機器視覺計算鱗翅目蛾類蟲體前翅間夾角的角度以量化蟲體的三維姿態(tài)，可避免構(gòu)建復雜的蟲體三維模型，從而提高鱗翅目蛾類害蟲的識別效果及效率。

機器視覺(machine vision)是于20世紀60年代中期由美國學者L. R.羅伯茲在研究多面體組成的積木世界開始的，20世紀80年代至今對機器視覺的研究成為全球性熱潮(胥磊, 2016)。機器視覺主要用計算機模擬人的視覺功能從客觀事物的圖像提取信息并進行處理，最終用于測量和判斷(Milanetal., 2016)。機器視覺技術(shù)現(xiàn)已在工業(yè)檢測、機器人導航和視覺伺服系統(tǒng)、醫(yī)學以及農(nóng)林業(yè)等方向均有廣泛的應用。尤其在農(nóng)林業(yè)中，利用機器視覺根據(jù)農(nóng)產(chǎn)品的顏色、形狀、大小等特征參數(shù)進行農(nóng)產(chǎn)品的自動分級(唐向陽等， 2016)； 使用機器視覺采集樹木的實時圖像為分離施藥目標與非施藥目標提供依據(jù)(向海濤等, 2004)； 以機器視覺為基礎的農(nóng)林業(yè)害蟲的自動識別提高了害蟲識別的準確率同時也減少了人工識別的勞動強度(朱莉等, 2016)。機器視覺的應用提高了生產(chǎn)自動化水平，具有廣泛的應用范圍及良好的應用前景。

目前，空間實體的角度測量方法應用較為廣泛的是光學角度測量，主要包括自準直法(Machtovoi， 1993)、光柵法(Torrobaetal., 1998)、激光干涉法(Masajada, 2004； Fanetal., 2013)、環(huán)形激光法(Bournachevetal., 1998； Filatovetal., 1997)等。正交自準直測角裝置可以進行三維角度的測量，但需同時提供2個正交的光學軌道，占用空間大； 光柵法中的正交組合光柵測角法是三維空間角為數(shù)不多的測量方法之一，但是其測量范圍較??； 激光干涉法的測量精度較高，但其結(jié)構(gòu)精密復雜、穩(wěn)定性弱且只能進行一維角度測量并不適用于三維角度； 環(huán)形激光法可以精確地測量動態(tài)角度以及角速度卻無法實現(xiàn)靜態(tài)角度的測量。以上的角度測量方法均不適用于棉鈴蟲(Helicoverpaarmigera)兩前翅間夾角的測量。此外，通過三坐標儀獲取實體坐標點計算得到空間位置信息的描述也是常見的角度測量方法之一。三坐標儀分為接觸型與非接觸型，其中接觸型三維測量儀的探針會對蟲體翅膀造成損害，但專門的非接觸型三維激光坐標儀價格昂貴，安裝調(diào)試不便，應用推廣較難(張國雄， 2000)。

綜上，目前利用機器視覺進行蛾類害蟲蟲體前翅間夾角的獲取，還鮮有報道。本文提出一種簡單易操作的基于機器視覺的方法而非構(gòu)建具體的三維模型，對復雜的蛾類害蟲三維姿態(tài)進行量化的方法： 通過對圖像在顏色空間的轉(zhuǎn)換，利用Harris角點提取法進行特征點的提取并獲得特征點坐標進而計算得到蟲體前翅間夾角，來準確獲取蛾類害蟲三維姿態(tài)信息數(shù)據(jù)，以克服二維形態(tài)識別的信息缺失、不具有較強魯棒性的問題，提高蛾類害蟲種類識別的準確率，為蛾類害蟲的自動識別與計數(shù)提供基礎。

1 材料與方法

1.1 蟲體三維姿態(tài)夾角的定義

鱗翅目蛾類害蟲姿態(tài)變化主要是由于翅膀繞肩角發(fā)生旋轉(zhuǎn)產(chǎn)生的形變。根據(jù)蟲體姿態(tài)變化的特點、害蟲姿態(tài)信息的求解，重在選取能代表姿態(tài)信息的部位，而蛾類害蟲在立體空間中兩翅膀在蟲體背側(cè)形成的夾角是蟲體三維姿態(tài)的一種表現(xiàn)形式，故所求解的蛾類害蟲三維姿態(tài)信息可以通過計算蛾類蟲體兩前翅翅面間夾角獲得。蛾類蟲體的翅膀一般近三角形，翅膀三個頂點分別為肩角、頂角和臀角，選取這些具有代表性的部位進行顏色標記，圖1所示，判斷這些標記點(marked points)所處的空間位置并確定標記點所組成的面，通過計算獲取得到蟲體的三維姿態(tài)信息。

圖1 蛾類蟲體翅膀標記點(仿Snodgrass， 1935)Fig.1 Marked point of moth pest forewing (Snodgrass,1935)

1.2 供試蟲體

選取對農(nóng)林業(yè)均有危害的鱗翅目夜蛾科害蟲棉鈴蟲成蟲作為供試蟲體(包括棉鈴蟲成蟲雌、雄個體)。棉鈴蟲寄主廣泛，包括蘋果(Maluspumila)、泡桐(Paulowniasp.)等林木及棉花(Gossypiumspp.)、玉米(Zeamays)等農(nóng)作物，試驗蟲體于北京市昌平小湯山精準農(nóng)業(yè)示范基地通過黑光燈裝置誘捕獲取。

1.3 蟲體前翅間夾角提取流程

棉鈴蟲前翅間夾角的提取方法的總體流程如圖2所示。首先，進行圖像的采集，獲取棉鈴蟲蟲體試驗樣本圖像； 其次，對獲取到的樣本圖像進行預處理操作： 圖像的裁剪、灰度化、圖像的平滑去噪等處理，使獲取到的圖像后期更易于處理與操作； 然后將預處理得到的圖像進行角點提取處理，從而獲取到棉鈴蟲前翅上的關(guān)鍵標記點，進而提取標記點空間坐標，進行蟲體前翅間夾角計算； 最后將得到的棉鈴蟲蟲體前翅間夾角進行數(shù)據(jù)驗證和誤差分析。

圖2 蟲體前翅間夾角計算處理流程Fig.2 Calculation and processing of forewings angle

1.4 圖像獲取

圖像獲取是在實驗室內(nèi)自主構(gòu)建的拍照環(huán)境中利用圖像獲取系統(tǒng)對選取的試驗蟲體棉鈴蟲進行圖像采集。圖像獲取環(huán)境系統(tǒng)包括雙色溫環(huán)狀光源、密閉箱體，以及標準1 cm×1 cm 方格的白色背景坐標紙板。將白色坐標紙板構(gòu)建成三角立體坐標板并放置于密閉箱體內(nèi)，箱體內(nèi)部上方固定環(huán)狀光源，構(gòu)成亮度較為穩(wěn)定的環(huán)境，如圖3所示。相機型號是SONY DSC-W710，光圈f/ 5.1，焦距12 mm，設置微距模式，采集圖像大小為4 608像素×3 546像素，3臺相機的縮放一致。

圖3 圖像采集裝置示意Fig.3 Diagram of image acquisition device1. 三維坐標板3D coordinate plate； 2. 密閉箱體Closed box； 3. 環(huán)狀光源Light source； 4. SONY相機SONY camera； 5. 棉鈴蟲樣本 H. armigera sample； 6. 固定支架Fixed bracket.

將1.0 cm×1.0 cm×1.0 cm的軟塑料正方體置于分別距離三角立體直角坐標板X-Z平面40 mm且距離Y-Z平面40 mm位置處，利用1#昆蟲針將棉鈴蟲蟲體固定于坐標板正方體中心處(棉鈴蟲蟲體置于昆蟲針頂端)，其中一臺相機伸入環(huán)狀光源中間進行垂直角度圖像獲取，距離X-Y平面20 cm； 另外2臺相機置于蟲體正前方且分別垂直距X-Z平面、Y-Z平面20 cm。在自構(gòu)建的圖像獲取環(huán)境中，每次放置1只棉鈴蟲，根據(jù)害蟲的原有姿態(tài)，調(diào)節(jié)光源且保持光源亮度不變，分別獲取棉鈴蟲蟲體的上方、正面及側(cè)面的圖像，保存。圖4a是由機器視覺獲取到的蟲體上方原始圖像。

蟲體夾角的激光測量參考值即通過激光測距儀分別測得蟲體標記點與固定點的距離并換算成蟲體在空間內(nèi)的實際坐標點后加以計算獲得并作為蟲體兩前翅間夾角的參考值。

本文方法基于MATLAB R2012b編程環(huán)境實現(xiàn)，PC處理器是Inter Core i5-3470，CPU 3.20 GHz。

1.5 圖像預處理

圖像的預處理主要是將圖片中的干擾物去除以及最大限度地提取出目標蟲體，是對于蟲體進行特征點提取的有效前提。預處理部分主要包括：

1.5.1 圖像裁剪 同一個種的昆蟲，也存在一定的個體差異，目標蟲體會大小不同，但是個體差異會在一定范圍之內(nèi)。所以，為突出目標個體首先要對原始圖像進行有效裁剪，去除不必要的背景，以便后期處理。

1.5.2 圖像分割 由相機獲取到的圖像都為真彩色圖像，彩色圖像相比于灰度圖像提供了更多的信息，對彩色圖像進行分割需要選取適合的顏色空間(阮秋琦， 2001)。彩色圖像最常見的是用RGB顏色空間進行表示，但是RGB顏色空間符合顯示系統(tǒng)卻與人眼感知具有較大的差異(林開顏等， 2005)，并且RGB是同時對彩色圖像進行描述，三分量(即R、G、B,取值范圍分別是0～255)具有高度相關(guān)性，而HSV模型是一種復合主觀感覺的顏色模型。其中，H、S、V分別代表的是色調(diào)(hue)、飽合度(saturation)和亮度(value)，H分量表示顏色的種類，S分量表示所選色彩的純度與該色彩的最大純度比例，V分量表示顏色的明暗程度，3個分量的取值范圍歸一化后為0～1。H、S、V3個分量具有不相關(guān)性，且由RGB顏色空間轉(zhuǎn)化到HSV顏色空間是一個快速的非線性變換。由RGB到HSV轉(zhuǎn)換的表達式(包全磊， 2010)：

V=max(R,G,B)，

(1)

S=[max(R,G,B)-min(R,G,B)]/

max(R,G,B)。

(2)

對于式(1)、(2)，若V=0，則S=0。

若V=R，則H=60(G-B)/[V-min(R,G,B)]，

若V=G，則H=120+60(B-R)/[V-min(R,G,B)],

若V=B，則H=240+60(R-G)/[V-min(R,G,B)]，

若Hlt;0，則H=H+360。

(3)

經(jīng)由RGB到HSV顏色空間的轉(zhuǎn)換，分別獲得H分量、S分量、V分量的灰度圖像，根據(jù)獲取的分量灰度圖像得到最后的分割圖像。

1.5.3 圖像去噪 數(shù)字圖像的噪聲主要來源于圖像采集以及傳輸過程，在進行蟲體圖像采樣時，光照強度不僅會對圖像產(chǎn)生雜質(zhì)干擾，同時在顏色通道轉(zhuǎn)換過程中亦產(chǎn)生一定的噪聲。噪聲具有不可預測性，故對圖像進行噪聲去除以提高原圖像的質(zhì)量。本試驗選取中值濾波進行圖像去噪，中值濾波不僅可以去除孤點噪聲，且能保持圖像的邊緣特性，不會使圖像產(chǎn)生明顯的模糊。中值濾波是基于排序統(tǒng)計理論的一種能有效抑制噪聲的非線性圖像增強處理技術(shù)，它是將數(shù)字序列中一點的值用該點的一個鄰域中幾個點值的中值代替，使周圍值更接近真實值，從而對消除孤立點和線性脈沖等噪聲效果佳。中值濾波去噪如式(4)所示：

g(x,y)=med[f(x-k,y-l),(k,l∈W)]。

(4)

式中：f(x,y),g(x,y)分別為原始圖像和處理后的圖像。W為二維模板，通常為2×2，3×3區(qū)域。

1.6 基于Harris的特征點提取

本試驗中棉鈴蟲蟲體的特征點即為蟲體前翅的標記點，標記點選取紅色顏料在蟲體前翅特定位置進行標記，同時標記點也是極值點，指二維圖片中圖像的邊界曲率有極大變化的點或者是灰度變化很大的點。Harris角點檢測算法(stephens, 1988)是在Moravec算法上發(fā)展得到的目前一種經(jīng)典且熱門的圖像特征點提取算法。Harris角點檢測具有定位準確、計算穩(wěn)定和強魯棒性的特點，其原理是通過圖像局部的小窗口觀察圖像特征，窗口向任意方向移動都能夠檢測到圖像灰度明顯變化，即角點。具體提取過程如下：

設圖像窗口平移量為(u,v)，產(chǎn)生的灰度變化為E(u,v)，

有E(u,v)=

sum[w(x,y)[I(x+u,y+v)-I(x,y)]2]

(5)

式中：w(x,y)為窗口函數(shù)，I(x+u,y+v)為平移后的灰度值，I(x,y)為平移前的灰度值。根據(jù)泰勒公式展開得：

I(x+u,y+v)=

I(x,y)+Ixu+Iyv+O(u2,v2)。

(6)

式中：Ix,Iy分別為偏微分，在圖像中為圖像的方向?qū)?shù)。因此，

E(u,v)=

sum[w(x,y)[Ixu+Iyv+O(u2,v2)]2]。

(7)

可以近似得到：

E(u,v)=sum[w(x,y)[Ixu+Iyv]2]，

(8)

即

E(u,v)=[u,v][Ix2,IxIy;IxIy,Iy2][u,v]T，

(9)

令

M=[Ix2,IxIy;IxIyIy2]。

(10)

因此最后對角點的檢測成了對矩陣M的特征值的分析，令M的特征值為x1,x2：

當x1gt;gt;x2或者x2gt;gt;x1，則檢測到的是邊緣部分；

當x1，x2都很小時，圖像窗口在所有移動的方向上移動灰度級都無明顯變化；

當x1，x2都很大且相當時，檢測到的是特征點。

由于計算2個特征點比較耗時，Harris給出角點判別不需要計算出x1和x2，而是通過計算角點響應函數(shù)R：

R=det(M)-ktrace2(M)。

(11)

式中：det(M)為矩陣M的行列式，trace(M)為矩陣M的跡，式中R即為特征點。

1.7 空間坐標獲取

在Harris角點提取的過程的同時也獲取到了每一個標記點的像素坐標，并將其存儲在MATLAB的workspace中。其中，由上方獲取到的蟲體背面圖像中可得圖像每一標記點的像素坐標即表示為該標記點在自構(gòu)建的實際坐標系中X-Y平面坐標，像素坐標原點在圖像左上角，水平方向為X軸，豎直方向為Y軸，與實際坐標相同； 由正前方獲取的圖像中也可獲得相同標記點的像素坐標，但是其像素坐標中X-Y平面則表示為該角點在自構(gòu)建的實際坐標系中X-Z平面的坐標，水平向右為X軸，豎直向下為Z軸，像素坐標原點在左上角，但實際坐標原點在左下角，Z軸相反。

由MATLAB獲取到的標記點坐標為像素坐標，需要與實際坐標進行換算，以獲取蟲體特征點的空間實際坐標。

1.8 夾角角度的計算

根據(jù)空間幾何原理(蘇步青， 1991)，將獲取到的蟲體的特征點的空間坐標點進行整合，由已知的左右翅膀平面上的6個非共線空間坐標點A1、B1、C1；A2、B2、C2分別構(gòu)建2個平面方程：

Plane 1:A1x+B1y+C1z+D1=0

(A12+B12+C12≠0)，

(12)

Plane 2:A2x+B2y+C2z+D2=0

(A22+B22+C22≠0)。

(13)

(14)

(15)

求解方程得到n1、n2坐標，進一步求解得到兩向量之間的夾角θ的余弦值為：

(16)

根據(jù)空間幾何原理并在MATLAB中自主構(gòu)建函數(shù)，可求解獲得棉鈴蟲蟲體前翅間夾角。

由此求得空間蟲體前翅間的夾角，由異面直線所構(gòu)成的角，一定是銳角或直角，不可能是鈍角，但二面角可能存在銳二面角、直二面角和鈍二面角3種情況，故棉鈴蟲蟲體前翅間夾角實際度數(shù)需要利用原始圖像通過試驗者肉眼觀察其角度是否大于直角90°進行綜合判定分析。利用棉鈴蟲蟲體前翅間夾角提取方法，獲取本次樣本蟲體前翅間夾角測量值。

2 結(jié)果與分析

2.1 圖像預處理

圖像裁剪是圖像分割的前提條件，獲取到的原始圖像如圖4a所示，但圖中目標區(qū)域較小，為保證圖像后期處理的速度與質(zhì)量，將其裁剪后(圖4b)保存。對比圖4a與4b，裁剪后的圖像目標更為明顯且圖像質(zhì)量保持良好。

圖4 目標蟲體的圖像預處理Fig.4 Image preprocessing of target insectA、B、C： 左前翅標記點The left forewing marked points；A1、B1、C1： 右前翅標記點The right forewing marked points.a.原始圖像Original image; b.裁剪圖像 Split image; c.S分量灰度圖像S component gray level image; d.中值濾波圖像Median filter image.

2.2 圖像的有效分割

利用本文方法中闡述的顏色空間轉(zhuǎn)換的方法，將RGB空間的圖像轉(zhuǎn)換為HSV空間的圖像，分別得到H、S、V3個分量的灰度圖。相比較之，S分量灰度圖具有較好的分割性，能保持圖像興趣目標部位的完整性及明顯性，如圖4c所示，可以很明顯將蟲體與背景板有所區(qū)分，同時，在蟲體的前翅上的標記點也可以很明顯地顯現(xiàn)于蟲體翅膀之上。

中值濾波有效地去除了孤立噪聲點同時也保持了興趣目標輪廓的完整性，如圖4d。

2.3 特征點提取及坐標獲取

根據(jù)Harris角點提取原理，對獲取到的圖像進行特征點提取，選擇[9,9]高斯窗口以減少偽角點的出現(xiàn)，從而獲得曲率變化及灰度變化的極值點，同時獲取極值點的像素坐標。蟲體角點提取結(jié)果如圖5a、b所示。

圖5 棉鈴蟲蟲體標記點坐標(像素)Fig.5 The coordinate graphs of gauge points on cotton bollworm(pixel)A、B、C:左前翅標記點The left forewing marked points;A1、B1、C1:右前翅標記點The right forewing marked points.

將獲取到的像素坐標轉(zhuǎn)化為實際空間坐標用以后期計算，試驗中采用圖像中每1 cm方格所具有的像素點進行參考，利用1 cm方格的實際長度與1 cm長度中所包含的像素點之比，計算得到每一像素點在該幅圖像中的實際長度，圖像中標準1 cm方格的像素大小為366 pixels，即標定系數(shù)為1/366 cm·pixel-1，從而由標定系數(shù)計算得到實際坐標點。最終，完整獲取到1只蟲體上6個標記特征點的空間實際坐標(X，Y，Z)。

2.4 角度測量精度分析

為了驗證本文提出的蟲體前翅間夾角計算方法的可行性及可靠程度，本文用激光測量方法分別測量每標記點的空間相對距離并計算試驗蟲體前翅間夾角作為參考值，并將本文方法得到的測量值與參考值進行比較分析，同時，本文方法計算每個樣本蟲體夾角角度所需時間也由表1給出。根據(jù)每個樣本的計算時間可得本文中方法運行完成平均所需時間為14.596 7 s(Win7操作系統(tǒng)下基于MATLAB測試得到)，但激光測量時間分為測量與計算時間，所需基本時間都大于1 min，故本文方法在計算效率上有所提高。

針對已獲取的數(shù)據(jù)，根據(jù)統(tǒng)計學原理由測量值與參考值進行比較，計算絕對誤差(absolute error)以及相對誤差(relative tolerance)，計算公式如下：

E=X-XT，

(17)

σ=|E|/XT×100%。

(18)

式中:E為絕對誤差，X和XT分別代表測量值與參考值； σ是相對誤差，|E|/XT是絕對誤差的絕對值與參考值之比。

計算結(jié)果如表1所示，最小相對誤差為0.10%，最大相對誤差3.96%。平均相對誤差1.02%。根據(jù)統(tǒng)計學原理，相對誤差在100%±5%之內(nèi)，數(shù)據(jù)均為可靠數(shù)據(jù)，故此方法所得結(jié)果在允許的誤差范圍之內(nèi)。

為了檢驗2種方法是否存在差異，針對2組數(shù)據(jù)進行了檢驗。由于配對樣本是指同一樣本不同時間做了2次試驗，或者具有2個類似的試驗記錄，從而比較其差異。本文將所有蟲體看成1個樣本，2種方法相當于對樣本做了2次試驗，故2種方法的2組數(shù)據(jù)是配對的，滿足配對樣本T檢驗的條件，可以采用配對樣本T檢驗對數(shù)據(jù)進行分析。其計算原理如下：

(19)

(20)

表2為12頭棉鈴蟲蟲體前翅間夾角參考值與測量值進行配對T檢驗的結(jié)果，P=0.277gt;0.05，表明夾角參考值與測量值之間沒有顯著差異，說明本文方法可用。

為了檢驗本文計算方法的精確度，衡量計算偏差，計算均方根誤差(RMSE)(又稱標準誤差)(郭秀明等， 2012)。設di1表示利用本文方法測得的夾角，di2表示激光測得的夾角，所以，均方根誤差計算公式如下：

i=1,2,3,…,12。

(21)

式中：n表示此次試驗中角度的測量次數(shù)，本文中n=12。

根據(jù)式(21)，RMSE=1.421 6°，RMSE的結(jié)果越小，越靠近于0，精確度越高。說明本文方法具有一定的精確度。

表1 棉鈴蟲蟲體前翅間夾角測量Tab.1 Measurements of forewings angle of H. armigera

表2 參考值與測量值配對T檢驗結(jié)果Tab.2 T-test result between reference values and measured values

3 討論

試驗的核心計算方法是基于立體幾何學中關(guān)于二面角的相關(guān)算法，本文首次嘗試將其應用在蛾類蟲體兩前翅間夾角上。但是，計算過程中也存在不足，為了避免蟲體其他突出部位如觸角、足等在角點檢測過程中形成的偽角點，影響計算的精確性，則對蟲體進行了前翅特征點標記，為同時確定蟲體正面圖像和側(cè)面圖像能的唯一特征點提供保證。同時為提高特征點坐標獲取的精確性，避免圖像中出現(xiàn)的其他干擾成分，構(gòu)建了單純的圖像獲取環(huán)境，以保證蟲體前翅特征點坐標的準確獲取。

鱗翅目蛾類昆蟲種類繁多，但大部分蛾類成蟲前翅結(jié)構(gòu)相似，本文中選取棉鈴蟲為代表進行試驗，但所得前翅膀間夾角計算方法適用于一般蛾類成蟲； 對雌雄成蟲前翅結(jié)構(gòu)差異不大的種類也有普適性； 但對具有明顯性二型現(xiàn)象的蛾類成蟲，其不同性別成蟲前翅間夾角計算方法值得深入探討。對于蛾類昆蟲中具有豐富鱗片及鱗毛的蟲體，在其不影響蟲體前翅標記特征點的前提下，本文方法也是適用的，但若鱗片及鱗毛覆蓋了特征點，本文算法有待改進。獲得的棉鈴蟲成蟲試驗蟲體，其前翅覆于后翅上，所以在本文中僅計算其前翅間夾角，對于前后翅分離的蛾類蟲體，其后翅空間位置與前翅有一定的差距，前后翅夾角計算則會有所不同，但其夾角計算原理相同，本文方法也適用于蛾類成蟲后翅間夾角計算，但其準確率、精確度及前翅是否對后翅角度計算有影響都需要繼續(xù)探討。為進一步提高本文計算方法的普適性，今后的研究重點是對鱗翅目蛾類害蟲蟲體自然環(huán)境下的三維姿態(tài)提取，無需構(gòu)建單純的圖像獲取環(huán)境，通過害蟲自動監(jiān)測誘捕裝置在野外直接獲取蟲體圖像； 同時，將其他能引起偽角點的部位與蟲體進行有效分割提取，減少對前翅特征點的準確定位的影響，無需人工標記特征點的輔助作用，直接提取蟲體的三維姿態(tài)參數(shù)，加快其實用化的步伐。

基于三維姿態(tài)的蛾類蟲體自動識別過程中，可以直接利用蟲體三維姿態(tài)信息即蟲體兩前翅間夾角，作為識別參數(shù)直接輸入識別系統(tǒng)，結(jié)合圖像形態(tài)學技術(shù)和專家系統(tǒng)技術(shù)，通過對蛾類圖像的采集、圖像數(shù)字轉(zhuǎn)化以及姿態(tài)信息的提取，并結(jié)合蟲體其他特征參數(shù)，從而完成對蟲體的形態(tài)特征參數(shù)提取，進而智能識別蟲體種類，同時自動計數(shù)蟲體數(shù)量，最終構(gòu)成一個完備的蛾類蟲體自動識別系統(tǒng)。這樣可以有效避免在對蛾類蟲體整姿、取翅等行為過程中引起的識別準確率下降的問題，為今后農(nóng)林害蟲自動識別與計數(shù)技術(shù)的發(fā)展奠定基礎。

4 結(jié)論

以鱗翅目夜蛾科棉鈴蟲成蟲為代表，提出了基于機器視覺的標記特征點蟲體前翅間夾角角度的獲取方法，可以精確、簡便地對蛾類蟲體前翅間角度進行提取。將激光測量結(jié)果與本方法得到的結(jié)果進行比較，相對誤差0.10%～3.96%，平均相對誤差1.02%，在所允許的誤差范圍之內(nèi)(100%±5%)。本文的角度計算方法與激光測量計算方法進行配對T檢驗，P=0.277gt;0.05，2種方法無顯著差異，利用本方法計算得到的結(jié)果均方根誤差為1.421 6，體現(xiàn)了該方法的可行性。本文方法在計算效率上也有較大提升，完成一只蛾類蟲體的前翅間角度計算平均僅用時14.6 s，小于激光測量所需的1 min。

包全磊. 2010. 基于HSV空間的彩色圖像分割. 軟件導刊, 9(7):171-172.

(Bao Q L. 2010.Color image segmentation based on HSV. Software Guide, 9(7):171-172.[in Chinese])

陳 娟, 陳乾輝. 2008.空間目標三維姿態(tài)估計方法綜述. 長春工業(yè)大學學報:自然科學版, 29(3): 323-327.

(Chen J, Chen Q H. 2008.Summary of the 3D pose estimations for the space targets. Journal of Changchun University of Techology:Natural Science Edition, 29(3): 323-327. [in Chinese])

郭秀明, 趙春江, 楊信廷,等. 2012.蘋果園中2.4GHz無線信道在不同高度的傳播特性. 農(nóng)業(yè)工程學報, 28(12):195-200.

(Guo X M, Zhao C J, Yang X T,etal. 2012. Propagation characteristics of 2.4 GHz wireless channel at different heights in apple orchard. Transactions of the Chinese Society of Agricultural Engineering, 28(12): 195-200.[in Chinese])

李文勇, 陳梅香, 李 明,等. 2014. 基于姿態(tài)描述的果園靶標害蟲自動識別方法. 農(nóng)業(yè)機械學報, 45(11): 54-57.

(Li W Y, Chen M X, Li M,etal. 2014. Orchard pest automated identification method bases on posture description. Transaction of the Chinese Society for Agricultural Machinery, 45(11): 54-59. [in Chinese])

李文勇, 李 明, 陳梅香, 等. 2014. 基于機器視覺的作物多姿態(tài)害蟲特征提取與分類方法. 農(nóng)業(yè)工程學報, 30(14): 154-162.

(Li W Y, Li M, Chen M X,etal. 2014. Feature extraction and classification method of multi-pose pests using machine vision. Transactions of the Chinese Society of Agricultural Engineering, 30(14): 154-162.[in Chinese])

林開顏, 吳軍輝, 徐立鴻. 2005. 彩色圖像分割方法綜述. 中國圖象圖形學報, 10(1):1-10.

(Lin K Y, Wu J H, Xu L H. 2005. A survey on color image segmentation techniques. Journal of Image and Graphics, 10(1): 1-10. [in Chinese])

呂 軍, 姚 青, 劉慶杰,等. 2012. 基于模板匹配的多目標水稻燈誘害蟲識別方法的研究. 中國水稻科學, 26(5):619-623.

(Lü J, Yao Q, Liu Q J,etal. 2012. Identification of multi-objective rice light-trap pests based on template matching.Chinese Journal of Rice Science, 16(5):619-623.[in Chinese])

呂 丹, 孫劍鋒, 李 琦, 等. 2015. 基于激光雷達距離像的目標3D姿態(tài)估計. 紅外與激光工程, 44(4): 1115-1120.

(Lü D, Sun J F, Li Q,etal. 2015. 3D pose estimation of target based on ladar range image. Infrared and Laser Engineering, 44(4): 1115-1120. [in Chinese])

邱道尹, 張紅濤, 劉新宇, 等. 2007. 基于機器視覺的大田害蟲檢測系統(tǒng). 農(nóng)業(yè)機械學報, 38(1):120-122.

(Qiu D Y,Zhang H T,Liu X Y,etal. 2007. Design of detection system for agriculture field pests based on machine vision. Transaction of the Chinese Society for Agricultural Machinery, 38(1): 120-122. [in Chinese])

阮秋琦. 2001. 數(shù)字圖像處理學. 北京: 電子工業(yè)出版社.

(Ruan Q Q. 2001. Digital Image Processing. Beijing: Electronic Industry Press. [in Chinese])

Sonka M, Hlavac V, Boyle R. 2016. 圖像處理、分析與機器視覺.4版. 興軍亮, 艾海舟. 北京: 清華大學出版社.

(Sonka M, Hlavac V, Boyle R. 2016. Image Processing, Analysis, and Machine Vision.4th ed.Xing J L, Ai H Z. Beijing: Tsinghua University Press.[in Chinese])

蘇步青. 1991.高等幾何學五講. 上海: 上海教育出版社, 15-32.

(Su B Q. 1991. Five Lessons of Higher Geometry. Shanghai: Shanghai Educational Publishing House,15-32. [in Chinese])

唐向陽, 張 勇, 李江有,等. 2004. 機器視覺關(guān)鍵技術(shù)的現(xiàn)狀及應用展望. 昆明理工大學學報:自然科學版, 29(2):36-39.

(Tang X Y, Zhang Y, Li J Y,etal. 2004.Present situation and application of machine vision’s key techniques. Journal of Kunming University of Science and Technology:Science and Technology, 29(2):36-39.[in Chinese])

向海濤, 鄭加強, 周宏平. 2004. 基于機器視覺的樹木圖像實時采集與識別系統(tǒng). 林業(yè)科學, 40(3):144-148.

(Xiang H T, Zheng J Q, Zhou H P,etal. 2004. Real-time tree image acquisition and recognition system based on machine vision. Scientia Silvae Sinicae, 40(3):144-148.[in Chinese])

胥 磊. 2016. 機器視覺技術(shù)的發(fā)展現(xiàn)狀與展望. 設備管理與維修, (9):7-9.

(Xu L.2016. The present situation and prospect of machine vision technology. Equipment Management and Maintenance,(9):7-9.[in Chinese])

楊紅珍,蔡小娜,李湘濤,等. 2013. 幾何形態(tài)計量學在昆蟲自動鑒定中的應用與展望.四川動物, 32(3):464-469.

(Yang H Z, Cai X N, Li X T,etal. 2013. Application of geometric morphometrics in insect identification. Sichuan Journal of Zoology, 32(3):464-469. [in Chinese])

姚 青, 呂 軍, 楊保軍,等. 2011. 基于圖像的昆蟲自動識別與計數(shù)研究進展. 中國農(nóng)業(yè)科學, 44(14): 2886-2899.

(Yao Q, Lü J, Yang B J,etal. 2011. Progress in research on digital image processing technology for automatic insect identification and counting. Scientia Agricultura Sinica, 44(14): 2886-2899. [in Chinese])

于新文, 沈佐銳, 高靈旺,等. 2003. 昆蟲圖像幾何形狀特征的提取技術(shù)研究. 中國農(nóng)業(yè)大學學報, 8(3):47-50.

(Yu X W, Shen Z R, Gao L W,etal. 2003. Feature measuring and extraction for digital image of insects. Journal of China Agricultural University, 8(3):47-50. [in Chinese])

張國雄. 2000.三坐標測量機的發(fā)展趨勢. 中國機械工程, 11(2):222-226.

(Zhang G X. 2000. The development trend of three coordinate measuring machine. China Mechanical Engineering, 11(2):222-226. [in Chinese])

張志剛, 周明全, 耿國華. 2007.基于單幅圖像的人臉三維姿態(tài)估計. 計算機應用, 27(5): 1138-1140.

(Zhang Z G, Zhou M Q, Geng G H. 2007. 3D pose estim ation based on single face in age. Computer Applications, 27(5): 1138-1140. [in Chinese])

朱 莉, 羅 靖, 徐勝勇,等. 2016. 基于顏色特征的油菜害蟲機器視覺診斷研究. 農(nóng)機化研究, 38(6):55-58.

(Zhu L, Luo J, Xu S Y,etal. 2016. Machine vision recognition of rapeseed pests based on color feature. Journal of Agricultural Mechanization Research, 38(6):55-58. [in Chinese])

Ashaghathra S M A, Weckler P, Solie J,etal. 2007. Identifying Pecan Weevils through image processing techniques based on template matching. American Society of Agricultural and Biological Engineering,Annual meeting,Mineapolis,Minnesota,June,17-20,2007.

Bournachev M N, Filatov Y V, Kirianov K E,etal. 1998. Precision angle measurement in a diffractional spectrometer by means of a ring laser. Measurement Science amp; Technology, 9(7):1067-1071.

Fan K C, Liao B H, Cheng F. 2013. Ultra-precision angle measurement based on Michelson interferometry. Journal of the Chinese Society of Mechanical Engineers, Transactions of the Chinese Institute of Engineers-Series C, 34(1):39-44.

Filatov Y V, Loukianov D P, Probst R. 1997. Dynamic angle measurement by means of a ring laser. Metrologia,34(4):343-351.

Machtovoi I A. 1993. High-precision real-time measurement of large angular displacements of structures. Soviet Journal of Optical Technology, 60(1): 73-74.

Masajada J.2004. Small-angle rotations measurement using optical vortex interferometer. Optics Communications, 239(4-6):373-381.

Nguyen C, Lovell D, Oberprieler R,etal. 2013. Virtual 3D Models of Insects for Accelerated Quarantine Control. The IEEE International Conference on Computer Vision (ICCV) Workshops,161-167.

Nguyen C V, Lovell D R,Adcock M,etal. 2014. Capturing natural-colour 3D models of insects for species discovery and diagnostics. Plos One, 9(4): e94346-e94346.

Stephens M.1988.A combined comer and edge detector.Proceedings of 4th Alvey Vision Conference,Manchester,UK,189-192.

Torroba R, Tagliaferri A A. 1998. Precision small angle measurements with a digital moiré technique. Optics Communications, 149(4-6):213-216.

Wen C, Guyer D. 2012. Image-based orchard insect automated identification and classification method. Computers and Electronics in Agriculture, 89(1): 110-115.

(責任編輯 朱乾坤)

MethodofExtractingForewingsAngleof3DPosefortheMothBasedonMachineVision

Zhang Ruike1,2Chen Meixiang2Li Ming2Yang Xinting2Wen Junbao1
(1.BeijingKeyLaboratoryforForestPestControlBeijingForestryUniversityBeijing100083;2.NationalEngineeringResearchCenterforInformationTechnologyinAgricultureKeyLaboratoryforInformationTechnologiesinAgriculture,MinistryofAgricultureBeijingEngineeringResearchCenterforAgriculturalIOTBeijing100097)

【Objective】 In this study, the 3D gesture of complex moth pests was quantified, and the information of 3D gesture of insects was acquired accurately, which was ableto overcome the problems of missing information in 2D images recognition,and improve the robustness of the algorithm.【Method】This study usedHelicoverpaarmigera(Lepidoptera: Noctuidae) as the experimental object. Firstly, the images were obtained in the closed box, in which three cameras were set. Triangle three-dimensional coordinate system was made up of 1 cm × 1 cm white grid plate and ring light source. Before being preprocessed, the images were cropped into 935 pixels ×568 pixels to get the scope of the target moth pest. In order to enhance the visibility of the target area, the RGB and HSV color space was transformed. TheH,S,Vcomponent grayscale images were obtained, respectively. Comparing three component grayscale, it was obviously thatScomponent grayscale image can maintain the integrity of the image target site effectively. After the above image preprocessing, it was appeared a lot of noise in the image, using median filter to remove isolated noise points and it also can be keep the image edge features. Secondly, the mark point on the moth pest forewings was extracted by the Harris corner extraction method, then the pixel coordinates of feature points were obtained. Later, the reference object, white coordinates plate was 366 pixels and its actual size was 1 cm. Thus the calibration coefficient was 1/366 mm·pixel-1. Finally, according to the principle of space geometry, the forewings angle ofH.armigerawas calculated by MATLAB.【Result】The result of preprocessing showed that the image segmentation based on color space conversion could not only weaken the brightness of the background, but also maintain the all of target moth pest. Based on these, we could get accurately the forewings angle of the moth pest. At last, the calculated results and the laser measurement ones were compared. The experiment results showed that the relative error was between 0.10% and 3.96%, and the minimum root mean square error (RMSE) value was 1.421 6, and showed that there was no significant difference between the calculated results and the manual measurement by the pairedTtest. In addition, it was found that the calculation result of the forewings angle of the moth pest had larger error, and the reason was that each mark point was obtained by manual.【Conclusion】In conclusion, the paper proposes a new approach to acquire the forewings angle of theH.armigera, and the calculated results are consistent with the results of manual measurement, which could provide data of 3D gesture. At the same time, the algorithm is only 14.6 s, less than that obtained by the laser measuring method. It has also improved computing efficiency. This paper approach could improve the accuracy of moth pest identification, robustness and it has important significance in the future practical application.

machine vision； 3D pose； moth； forewings angle； corner detection

10.11707/j.1001-7488.20171114

2017-01-05;

2017-06-11。

北京市自然科學基金項目(4132027)； 北京市自然科學基金青年項目(6164034)； 國家自然科學基金青年科學基金項目(31301238)。

*溫俊寶為通訊作者。

S718.7

A

1001-7488(2017)11-0120-11