田間稻飛虱圖像遠(yuǎn)程實(shí)時(shí)采集系統(tǒng)的研制

陳京，劉德營(yíng)*，謝堂勝，蔡俊

(1.南京農(nóng)業(yè)大學(xué)工學(xué)院，江蘇 南京 210031；2.江蘇省智能化農(nóng)業(yè)裝備重點(diǎn)實(shí)驗(yàn)室，江蘇 南京 210031)

田間稻飛虱圖像遠(yuǎn)程實(shí)時(shí)采集系統(tǒng)的研制

陳京1,2，劉德營(yíng)1,2*，謝堂勝1,2，蔡俊1,2

(1.南京農(nóng)業(yè)大學(xué)工學(xué)院，江蘇 南京 210031；2.江蘇省智能化農(nóng)業(yè)裝備重點(diǎn)實(shí)驗(yàn)室，江蘇 南京 210031)

研制了一種田間稻飛虱圖像遠(yuǎn)程實(shí)時(shí)采集系統(tǒng)。該系統(tǒng)由圖像采集裝置、自動(dòng)控制系統(tǒng)和遠(yuǎn)程傳輸系統(tǒng)組成。利用稻飛虱的趨光性，將其引誘至圖像采集裝置的白色幕布上，可編程邏輯控制器(PLC)為自動(dòng)控制系統(tǒng)的核心，發(fā)出脈沖控制相機(jī)拍攝，同時(shí)控制交流伺服電機(jī)運(yùn)行，驅(qū)動(dòng)拍攝裝置，實(shí)現(xiàn)對(duì)幕布的自動(dòng)掃描拍攝稻飛虱圖像。遠(yuǎn)程傳輸系統(tǒng)選用4G技術(shù)和基于TCP協(xié)議的客戶端/服務(wù)器模式傳輸方法，將所拍攝昆蟲圖像自動(dòng)傳輸至監(jiān)測(cè)中心處。驗(yàn)證試驗(yàn)結(jié)果表明，該系統(tǒng)可直接獲得768×576像素的田間稻飛虱圖像。通過(guò)二維離散傅里葉變換驗(yàn)證，采集系統(tǒng)所采集到的稻飛虱圖像與其他昆蟲圖像存在明顯特征差異，說(shuō)明該系統(tǒng)可滿足稻飛虱圖像采集要求。

稻飛虱； 圖像；遠(yuǎn)程；實(shí)時(shí)采集

投稿網(wǎng)址：http://xb.ijournal.cn

機(jī)器視覺技術(shù)的發(fā)展為利用圖像處理、模式識(shí)別技術(shù)對(duì)采集到的昆蟲圖像進(jìn)行處理分析，識(shí)別田間害蟲的種類，統(tǒng)計(jì)害蟲的數(shù)量，從而預(yù)測(cè)蟲害的發(fā)生提供了可能[1–5]。Larios等[6]提取了石蠅的特征點(diǎn)并用尺度不變特征轉(zhuǎn)換(SIFT)方法描述檢測(cè)到的昆蟲特征，準(zhǔn)確率達(dá)82%；Mayo等[7]用支持向量機(jī)分類器鑒別了英國(guó)35種蛾類昆蟲，識(shí)別率達(dá)到85%；張建華等[8]利用徑向基支持向量機(jī)識(shí)別棉花害蟲，正確率達(dá)88.1%，但這些研究所使用的昆蟲均為靜態(tài)標(biāo)準(zhǔn)樣本，難以滿足田間害蟲測(cè)報(bào)要求的時(shí)效性。筆者設(shè)計(jì)了田間稻飛虱圖像遠(yuǎn)程實(shí)時(shí)采集系統(tǒng)，實(shí)時(shí)采集處于自然狀態(tài)下的稻飛虱圖像，并將采集到的圖像自動(dòng)傳輸?shù)奖O(jiān)測(cè)中心，便于直觀了解田間蟲情發(fā)生情況，還可為科研、教學(xué)及生產(chǎn)實(shí)踐提供自然昆蟲數(shù)字圖像，現(xiàn)將結(jié)果報(bào)道如下。

1 田間稻飛虱圖像遠(yuǎn)程實(shí)時(shí)采集系統(tǒng)的組成及工作原理

系統(tǒng)拍攝對(duì)象以稻飛虱為主。系統(tǒng)由圖像采集裝置、自動(dòng)控制系統(tǒng)和遠(yuǎn)程傳輸系統(tǒng)組成(圖1)。利用稻飛虱的趨光性[9]，采用光源誘集的方式將其引誘至圖像采集裝置的白色幕布上。自動(dòng)控制系統(tǒng)的核心為可編程邏輯控制器(PLC)，根據(jù)設(shè)定好的時(shí)間，PLC發(fā)出脈沖控制相機(jī)連續(xù)拍攝，同時(shí)控制交流伺服電機(jī)運(yùn)行，驅(qū)動(dòng)拍攝裝置，對(duì)工作臺(tái)上指定區(qū)域進(jìn)行掃描拍攝。遠(yuǎn)程傳輸系統(tǒng)選用4G技術(shù)和基于TCP協(xié)議的客戶端/服務(wù)器模式傳輸方法，在采集圖片的同時(shí)，將這些圖片自動(dòng)傳輸至檢測(cè)中心。

圖1 系統(tǒng)設(shè)計(jì)框圖Fig.1 Diagram of the entire system

2 圖像采集裝置的設(shè)計(jì)

圖像采集裝置如圖2所示。采集工作臺(tái)和拍攝系統(tǒng)都安裝在底座上，底座為田字形的框架。采集裝置共有X向、Y向和Z向距離調(diào)節(jié)裝置，其中X向和Z向分別裝有交流伺服電機(jī)ECMA–C20604RS和ECMA–C20604SS，通過(guò)改變控制信號(hào)的電壓來(lái)控制其轉(zhuǎn)速及轉(zhuǎn)向。2個(gè)電機(jī)的區(qū)別在于后者自帶電磁機(jī)械抱閘裝置，可克服斷電時(shí)垂直方向上重力產(chǎn)生的影響，實(shí)現(xiàn)準(zhǔn)確定位。交流伺服電機(jī)由PLC進(jìn)行控制運(yùn)動(dòng)，型號(hào)為DVP32EH00T3。伺服電機(jī)與圖像采集裝置連接處的傳動(dòng)裝置選用滾珠絲杠，將電機(jī)的旋轉(zhuǎn)運(yùn)動(dòng)轉(zhuǎn)化為直線運(yùn)動(dòng)，在PLC的控制下，相機(jī)和鏡頭按照設(shè)定的路線運(yùn)動(dòng)。Y向的調(diào)節(jié)裝置為手動(dòng)，根據(jù)現(xiàn)場(chǎng)相機(jī)拍攝害蟲的實(shí)際效果進(jìn)行調(diào)節(jié)，試驗(yàn)中調(diào)節(jié)Y裝置將鏡頭和幕布之間的距離設(shè)置為30 cm。

圖2 圖像采集裝置的結(jié)構(gòu)Fig.2 Schematic diagram of the acquisition device structure

3 自動(dòng)控制系統(tǒng)的設(shè)計(jì)

自動(dòng)控制系統(tǒng)以PLC為核心，實(shí)現(xiàn)拍攝系統(tǒng)的自動(dòng)拍攝和交流伺服電機(jī)的自動(dòng)運(yùn)行，PLC外圍電路如圖3所示。采用220 V交流電源作為PLC、直流穩(wěn)壓電源以及誘蟲燈的供電電源。傍晚時(shí)，開啟懸掛于圖像采集裝置的前上方位置的誘蟲燈，稻飛虱等昆蟲受到吸引會(huì)繞燈飛舞，并不斷附著在采集工作臺(tái)的白色幕布上。待PLC控制器計(jì)時(shí)到預(yù)先設(shè)定的時(shí)刻，系統(tǒng)啟動(dòng)，PLC的Y4端口輸出信號(hào)，與中間繼電器共同作用，得到能驅(qū)動(dòng)工業(yè)相機(jī)的外部電壓觸發(fā)信號(hào)，實(shí)現(xiàn)自動(dòng)拍攝功能。PLC同時(shí)又輸出2路“脈沖+方向”信號(hào)，其中Y0與Y1為1組，Y2與Y3為1組，分別控制X軸和Z軸2個(gè)軸向的伺服電機(jī)驅(qū)動(dòng)器，再由各軸的驅(qū)動(dòng)器分別驅(qū)動(dòng)各軸的交流伺服電機(jī)完成相應(yīng)的動(dòng)作。

圖3 PLC外圍電路Fig.3 Wiring diagram of PLC

PLC每次發(fā)送10 000個(gè)脈沖，驅(qū)動(dòng)X軸電機(jī)轉(zhuǎn)動(dòng)10圈，滾珠絲杠的螺距為5 mm，故相機(jī)和鏡頭移動(dòng)5 cm，電機(jī)轉(zhuǎn)動(dòng)結(jié)束后會(huì)靜止5 s，留給相機(jī)充分的觸發(fā)時(shí)間，每次拍攝1張照片，連續(xù)循環(huán)，直到X向拍攝完畢。此時(shí)，向Z方向運(yùn)行1次，拍攝1張照片，再向X軸相反方向連續(xù)運(yùn)行和拍照，像這樣逐行掃描拍攝直到拍完整個(gè)預(yù)先選取的區(qū)域。所拍攝的圖像會(huì)自動(dòng)保存至計(jì)算機(jī)提前設(shè)定的文件夾內(nèi)，并自動(dòng)編號(hào)。控制系統(tǒng)流程如圖4所示。

圖4 自動(dòng)控制系統(tǒng)的流程Fig. 4 The flow chart of control system

用于圖像采集的高速圖像采集卡選用MV–E1394型號(hào)，安裝于計(jì)算機(jī)主機(jī)箱的PCI Express插槽中，通過(guò)IEEE1394標(biāo)準(zhǔn)接口的電纜與工業(yè)數(shù)字?jǐn)z像機(jī)連接。數(shù)字?jǐn)z像機(jī)Guppy PRO F–503B/C最高分辨率2 588×1 940，與畸變非常小的鏡頭TEC–M55配合使用，適用于高精度檢測(cè)。此外采用型號(hào)為OPT–RI12030的RI環(huán)形光源與型號(hào)為OPT–AP1024–4的AP模擬式機(jī)器視覺光源控制器，用于調(diào)節(jié)RI環(huán)形光源的亮度，為拍攝補(bǔ)光。利用拍攝軟件AVT SmartView預(yù)先調(diào)試相機(jī)的拍攝效果。

4 遠(yuǎn)程傳輸系統(tǒng)的設(shè)計(jì)

遠(yuǎn)程傳輸系統(tǒng)的作用是把拍攝的圖片從田間自動(dòng)發(fā)送至本地的實(shí)驗(yàn)室監(jiān)測(cè)中心，用于后續(xù)圖像處理分析。由于照片單幅容量大、整體數(shù)量多，要求傳輸速度相對(duì)較快、穩(wěn)定性相對(duì)較高，所以選擇通信速度快、網(wǎng)絡(luò)頻譜寬、通信質(zhì)量高、費(fèi)用便宜的4G通信技術(shù)。

4.1 傳輸系統(tǒng)的搭建

遠(yuǎn)程傳輸網(wǎng)絡(luò)設(shè)備主要由計(jì)算機(jī)、4G無(wú)線路由器和1張中國(guó)移動(dòng)4G SIM卡組成。4G路由器，選用廈門才茂公司生產(chǎn)的工業(yè)級(jí)LTE 4G路由器，型號(hào)為CM8565R，可以實(shí)現(xiàn)大量數(shù)據(jù)的快速穩(wěn)定傳輸。為了達(dá)到將拍攝到的圖片實(shí)時(shí)、自動(dòng)傳輸?shù)哪康模捎没赥CP協(xié)議的客戶端/服務(wù)器模式的網(wǎng)絡(luò)傳輸方法，傳輸系統(tǒng)的設(shè)計(jì)如圖5所示。

圖5 傳輸系統(tǒng)的結(jié)構(gòu)Fig.5 Diagram of transmission system structure

4.2 客戶端的設(shè)計(jì)

客戶端是通信的發(fā)起者，客戶端首先需知道服務(wù)器的地址和端口號(hào)。利用Socket對(duì)象創(chuàng)建TCP客戶端Socket服務(wù)，主動(dòng)向服務(wù)器端發(fā)出連接請(qǐng)求。如果連接成功，說(shuō)明數(shù)據(jù)傳輸通道已經(jīng)建立，該通道就是底層建立好的Socket流?？蛻舳私缑嬖O(shè)計(jì)如圖6–a所示，點(diǎn)擊圖上用于選擇目標(biāo)文件夾的按鈕，可以事先設(shè)置好用于存放拍攝圖片的文件夾路徑。應(yīng)用程序每隔1 min讀取1次文件夾中的文件，獲取Socket輸出流將新讀取到的圖片發(fā)送給服務(wù)器。每發(fā)送成功1張圖片，讀取服務(wù)器端發(fā)回的內(nèi)容。直到該路徑下無(wú)新拍攝到的圖片，關(guān)閉Socket。

4.3 服務(wù)器的設(shè)計(jì)

服務(wù)器被動(dòng)等待客戶端發(fā)起通訊，對(duì)其作出響應(yīng)。利用Server Socket對(duì)象創(chuàng)建TCP服務(wù)器端Socket服務(wù)。服務(wù)器端必須對(duì)外提供一個(gè)接口，否則客戶端無(wú)法連接。建立連接后，服務(wù)器端獲取連接過(guò)來(lái)的客戶端對(duì)象，通過(guò)客戶端對(duì)象獲取Socket流，讀取客戶端發(fā)來(lái)的數(shù)據(jù)，將讀取到的數(shù)據(jù)保存到事先設(shè)定好的文件中。反復(fù)讀取這些數(shù)據(jù)，得到拍攝的稻飛虱圖片。每讀取到1張完整的照片，獲取Socket輸出流，將上傳的結(jié)果發(fā)送給客戶端。直到客戶端不再發(fā)送數(shù)據(jù)，關(guān)閉Socket。服務(wù)器界面的設(shè)計(jì)如圖6–b所示。

圖6 客戶端和服務(wù)器端的界面Fig.6 The interface of client and server

5 驗(yàn)證試驗(yàn)

驗(yàn)證試驗(yàn)于2015年6—10月在南京農(nóng)業(yè)大學(xué)江浦農(nóng)場(chǎng)進(jìn)行。該農(nóng)場(chǎng)2006年曾暴發(fā)稻飛虱災(zāi)害[10]。相機(jī)調(diào)整為自動(dòng)白平衡模式和自動(dòng)曝光模式，鏡頭的光圈根據(jù)現(xiàn)場(chǎng)的光照調(diào)節(jié)，試驗(yàn)中設(shè)置為F8.0，增益設(shè)置為8 dB，拍攝大小設(shè)置為768×576像素。每次共采集12×13=156張圖片，共進(jìn)行了10次試驗(yàn)。采集了近百?gòu)堄袃r(jià)值的稻飛虱圖片。圖7–a中，從左至右依次為葉蟬、水蠅、蠼螋和白背飛虱，圖7–b中，為蠼螋和多只白背飛虱。在采集到的昆蟲圖像中，有些昆蟲圖像比較相似，如圖7–a中的葉蟬與白背飛虱，水蠅和蠼螋，故需要對(duì)圖像進(jìn)行處理，以驗(yàn)證采集到的稻飛虱圖像是否與其他昆蟲圖像存在特征差異。至此，稻飛虱圖像遠(yuǎn)程實(shí)時(shí)采集系統(tǒng)已完成工作過(guò)程。

圖7 采集的照片F(xiàn)ig.7 Collected photos

6 圖像預(yù)處理與結(jié)果

以圖7–a為例，對(duì)獲得的圖像進(jìn)行處理，分析所拍攝的昆蟲的特征差異。首先選用最大類間方差法(otsu)進(jìn)行閾值分割，自動(dòng)選取閾值進(jìn)行二值化。二值化后的圖片存在噪聲，對(duì)其進(jìn)行開運(yùn)算，填充小孔，去除細(xì)小噪聲并且使昆蟲圖片邊界更為平滑。將去除噪聲后的圖像和灰度化后的昆蟲圖像進(jìn)行邏輯與運(yùn)算，得到昆蟲背部區(qū)域灰度圖像，再逐一提取單個(gè)昆蟲的背部圖像，裁剪為128×128像素的圖片，如圖8所示。

圖8 處理后的照片F(xiàn)ig.8 Images have been processed

對(duì)單個(gè)昆蟲圖像進(jìn)行二維離散傅里葉變換，從空間域變換到頻率域，更容易分辨昆蟲圖像的特征[11–13]。昆蟲傅里葉頻譜，如圖9所示。頻譜圖直觀地反映出圖像的能量分布，代表了昆蟲背部顏色和紋理與傅里葉頻譜數(shù)值大小的關(guān)系，頻譜數(shù)值的大小反映不同頻率成分的強(qiáng)度，中心較亮區(qū)域?yàn)槟芰考袇^(qū)域，也是頻譜圖的低頻區(qū)域，代表了大面積背景區(qū)域和昆蟲背部緩慢變化部分。圖片邊緣是高頻區(qū)域，高頻部分代表了昆蟲背部的細(xì)節(jié)和紋理信息。圖9中心較亮區(qū)域水蠅和蠼螋最大，葉蟬次之，白背飛虱最小，這與各類昆蟲背部圖像面積有關(guān)，昆蟲背部面積越大，則黑色背景越小，影響了低頻區(qū)域的面積。圖8中水蠅和蠼螋較為相似，但背部紋理信息的細(xì)小差異，如水蠅頭部與尾部連接處較為透明，在頻譜圖高頻部分中體現(xiàn)為亮斑與黑點(diǎn)分布差異，水蠅的頻譜圖比蠼螋多了1排較為規(guī)則的垂直亮斑，最為明顯。葉蟬的高頻區(qū)域較為均勻，白背飛虱則多了1條呈對(duì)角線狀的亮斑，邊緣各點(diǎn)分布較為均勻密集，說(shuō)明白背飛虱背部紋理具有獨(dú)特性。各個(gè)昆蟲頻譜圖高頻區(qū)域的差異較為明顯，故所采集圖片能夠反映出各類昆蟲的特征差異，其中白背飛虱特征尤為突出。

圖9 傅里葉變換后的昆蟲頻譜Fig.9 Spectrum of fourier transform

結(jié)果表明，所采集的圖片可以清晰地反映出稻飛虱在自然狀態(tài)下背部的顏色、紋理，經(jīng)過(guò)二維離散傅里葉變換驗(yàn)證，目標(biāo)昆蟲稻飛虱圖像與其他昆蟲圖像存在明顯特征差異，達(dá)到了圖像采集的預(yù)期要求。

[1] 韓瑞珍，何勇．基于計(jì)算機(jī)視覺的大田害蟲遠(yuǎn)程自動(dòng)識(shí)別系統(tǒng)[J]．農(nóng)業(yè)工程學(xué)報(bào)，2013，29(3)：156–162．

[2] 張潔．基于圖像識(shí)別的農(nóng)作物害蟲診斷技術(shù)研究與應(yīng)用[D]．合肥：中國(guó)科學(xué)技術(shù)大學(xué)，2014．

[3] Wen C L，Guyer D．Image-based orchard insect automated identification and classification method[J]. Computers and Electronics in Agriculture，2012，89：110–115．

[4] Sarpola M J，Paasch R K，Mortensen E N．An aquatic insect imaging system to automate insect classification[J]. Transactions of the ASABE，2008，51(6)：2217–2225．

[5] 周志艷，羅錫文，張揚(yáng)，等．農(nóng)作物蟲害的機(jī)器檢測(cè)與監(jiān)測(cè)技術(shù)研究進(jìn)展[J]．昆蟲學(xué)報(bào)，2010，53(1)：98–109．

[6] Larios N，Deng H L，Zhang W．Automated insect identification through concatenated histograms of local appearance features：feature vector generation and region detection for deformable objects[J]．Machine Vision Applications，2008，19(2)：105–123．

[7] Mayo M，Watson A T．Automatic species identification of live moths[J]．Knowledge Based Systems，2007，20(2)：195–202．

[8] 張建華，冀榮華，袁雪，等．基于徑向基支持向量機(jī)的棉花蟲害識(shí)別[J]．農(nóng)業(yè)機(jī)械學(xué)報(bào)，2011，42(8)：178–183．

[9] 邊磊，孫曉玲，高宇，等．昆蟲光趨性機(jī)理及其應(yīng)用進(jìn)展[J]．應(yīng)用昆蟲學(xué)報(bào)，2012，49(6)：1677–1686．

[10] 鄒圣龍，劉天龍．2006年褐飛虱發(fā)生原因初探及防控措施[J]．安徽農(nóng)學(xué)通報(bào)，2007(5)：141–142．

[11] 劉德營(yíng)，趙三琴，丁為民，等．基于圖像頻譜特征的稻飛虱識(shí)別方法[J]．農(nóng)業(yè)工程學(xué)報(bào)，2012，28(7)：184–188．

[12] 張強(qiáng)．精通MATLAB圖像處理[M]．北京：電子工業(yè)出版社，2012．

[13] 溫芝元，曹樂平．椪柑果實(shí)病蟲害的傅里葉頻譜重分形圖像識(shí)別[J]．農(nóng)業(yè)工程學(xué)報(bào)，2013，29(23)：159–165．

責(zé)任編輯：羅慧敏

英文編輯：吳志立

A remote real-time acquisition system for rice plant hopper images in the fields

Chen Jing1,2, Liu Deying1,2, Xie Tangsheng1,2, Cai Jun1,2
(1.College of Engineering, Nanjing Agricultural University, Nanjing 210031, China; 2.Key Laboratory of Intelligent Agricultural Equipment of Jiangsu Province, Nanjing 210031, China)

A remote real-time acquisition system for rice plant hopper images in the fields has been designed and developed. The whole system consists of the image acquisition device, the automatic control system and the remote transmission system. Under the condition of night, rice plant hoppers will be attracted to the white cotton curtain based on the phototaxis of wild insects. The image acquisition device scanned the curtain screen line by line and took photos of the plant hoppers on the screen under the control of the PLC. The remote transmission system is set up with 4G technology and the method of network transmission based on the model TCP client/server, which can transmit the images taken in the wild fields to local lab for subsequent analysis. According to the result of the experiment taken in the wild field environment, the images of the rice plant hoppers can be obtained directly with the pixel of 768×576. There are obvious differences between these pictures and the images of other insects through the verification of two-dimensional discrete Fourier transform, which means the system meets the requirements of image acquisition.

rice plant hopper; image; remote; real-time acquisition

TP391.41

A

1007-1032(2016)06-0693-06

2016–04–18

2016–10–09

江蘇省科學(xué)技術(shù)廳前瞻性聯(lián)合研究項(xiàng)目(BY2014095)

陳京(1991—)，男，江蘇新沂人，碩士研究生，主要從事農(nóng)業(yè)裝備智能控制技術(shù)研究，2014112038@njau.edu.cn；*通信作者，劉德營(yíng)，博士，副教授，主要從事模式識(shí)別與自動(dòng)控制研究，dyliu@njau.edu.cn