基于數(shù)字孿生的虛擬現(xiàn)實農(nóng)場系統(tǒng)

摘 要：針對城市周邊出租農(nóng)場，文章提出一個基于數(shù)字孿生的虛擬現(xiàn)實農(nóng)場系統(tǒng)。本系統(tǒng)由用戶節(jié)點、云和APP三部分組成，用戶節(jié)點通過圖像識別技術(shù)，將環(huán)境信息、農(nóng)作物生長狀態(tài)信息映射到二維的農(nóng)場游戲APP中，從而實現(xiàn)現(xiàn)實農(nóng)場與虛擬農(nóng)場游戲之間的數(shù)字孿生。APP端分為兩部分，基于數(shù)字孿生信息的虛擬游戲界面和基于實時攝像頭的現(xiàn)實監(jiān)控界面。這兩個界面均支持澆水、施肥等遠程操作功能。同時，通過遠程采摘機制通知管理員進行采摘，并根據(jù)用戶地址提供送貨入戶服務(wù)。

關(guān)鍵詞：數(shù)字孿生；物聯(lián)網(wǎng)；智慧農(nóng)業(yè)；深度學(xué)習(xí)

中圖分類號：TP311 文獻標識碼：A 文章編號：2096-4706（2024）17-0195-04

0 引 言

中國農(nóng)業(yè)面臨著產(chǎn)業(yè)結(jié)構(gòu)失衡、產(chǎn)業(yè)鏈效益低、科技支撐力不足以及高質(zhì)量產(chǎn)品供給不足等問題[1]。對此，國家先后頒布了《關(guān)于全面深化農(nóng)村改革加快推進農(nóng)業(yè)現(xiàn)代化的若干意見》《鄉(xiāng)村振興戰(zhàn)略規(guī)劃（2018—2022年）》《關(guān)于做好2023年全面推進鄉(xiāng)村振興重點工作的意見》等一系列政策文件，以推進農(nóng)業(yè)現(xiàn)代化進程。

消費群體對農(nóng)產(chǎn)品品質(zhì)需求在不斷提升，而目前市場上農(nóng)產(chǎn)品生產(chǎn)銷售過程監(jiān)管透明度不足，農(nóng)產(chǎn)品的品質(zhì)難以得到保障。然而，隨著物聯(lián)網(wǎng)、自動化技術(shù)的發(fā)展，使得種植趨向自動化，減輕了農(nóng)民種植農(nóng)作物實地操作的工作量，提高了工作效率，有效降低了農(nóng)業(yè)生產(chǎn)成本。在智慧農(nóng)場系統(tǒng)構(gòu)建方面，國內(nèi)外諸多學(xué)者已經(jīng)展開了大量研究。文獻[2]利用物聯(lián)網(wǎng)技術(shù)完成遠程監(jiān)控系統(tǒng)設(shè)計，促進農(nóng)業(yè)生產(chǎn)活動走向智能化，提高農(nóng)業(yè)的生產(chǎn)效率。文獻[3]借助先進的監(jiān)測軟件來分析田間的土壤水含量，明確土壤灌溉飽和點與補償點，并提出具體的灌溉方案。通過中央控制系統(tǒng)將相關(guān)指令發(fā)送至閥門控制系統(tǒng)，實現(xiàn)農(nóng)業(yè)節(jié)水灌溉的智能化。文獻[4]通過外部傳感器等元件，采集環(huán)境的溫度、濕度、光照時間等信息，然后由計算機進行相應(yīng)的分析并發(fā)出控制指令，實現(xiàn)對智慧農(nóng)業(yè)監(jiān)測系統(tǒng)的控制。文獻[5]講述了利用農(nóng)業(yè)機器人完成除草、收割、噴施肥料、播種等農(nóng)業(yè)日常工作，代替大量的勞動力，推動了智慧農(nóng)業(yè)的發(fā)展。文獻[6]利用云服務(wù)分布計算存儲性能對數(shù)據(jù)分析處理，提升大數(shù)據(jù)平臺應(yīng)用價值，為農(nóng)業(yè)園區(qū)提供了相應(yīng)的AI能力和定制化管理服務(wù)，實現(xiàn)農(nóng)業(yè)數(shù)字化。文獻[7]融合物聯(lián)網(wǎng)、智能感知、大數(shù)據(jù)和智能終端等技術(shù)，在農(nóng)作物生產(chǎn)管理上取得了顯著增效、減損和提質(zhì)的效果。文獻[8]提出通過一系列無人化作業(yè)手段與模式對農(nóng)田生態(tài)系統(tǒng)進行生態(tài)化管理與改造，來實現(xiàn)農(nóng)業(yè)生產(chǎn)的可持續(xù)發(fā)展。文獻[9]以智能農(nóng)場為農(nóng)業(yè)4.0的代表，闡述了智能農(nóng)場的概念及發(fā)展現(xiàn)狀，以及包含的主要技術(shù)。文獻[10]提出了"六域模型"農(nóng)業(yè)物聯(lián)網(wǎng)參考體系結(jié)構(gòu)，并將其應(yīng)用于家庭農(nóng)場露地蔬菜種植，實現(xiàn)了家庭智慧農(nóng)場系統(tǒng)結(jié)構(gòu)設(shè)計。

現(xiàn)今，城市周邊出現(xiàn)了很多出租農(nóng)場，這些農(nóng)場將土地出租給城市用戶用于種植體驗。但是由于城市用戶時間緊缺，常出現(xiàn)很多農(nóng)作物成熟但腐爛在地里的情況。針對此應(yīng)用場景，本文設(shè)計了一種基于數(shù)字孿生的虛擬現(xiàn)實農(nóng)場系統(tǒng)。依靠傳感器的精準性，用戶能夠隨時隨地在APP上查看農(nóng)場信息，并依靠圖像識別技術(shù)直觀地觀察植物生長狀態(tài)。當農(nóng)作物成熟后，用戶可下發(fā)訂單至農(nóng)場管理員進行采摘，并以快遞的形式送至用戶手中。

1 數(shù)字孿生農(nóng)場系統(tǒng)的實現(xiàn)

1.1 整體系統(tǒng)

數(shù)字孿生的概念是指根據(jù)現(xiàn)實環(huán)境的量化數(shù)據(jù)生成虛擬世界，并確保現(xiàn)實環(huán)境與虛擬世界之間的實時同步。為了實現(xiàn)實際農(nóng)場與APP之間的數(shù)字孿生，需要經(jīng)過農(nóng)場環(huán)境信息的量化、量化信息的實時傳輸、量化信息與虛擬世界元素映射，最終實現(xiàn)現(xiàn)實農(nóng)場與虛擬農(nóng)場（APP）之間的實時同步。我們把農(nóng)場環(huán)境信息分為兩類，一類為環(huán)境信息，另一類為農(nóng)作物生長狀態(tài)信息。環(huán)境信息通過傳感器采集處理后已經(jīng)達到了量化目的，而農(nóng)作物的生長狀態(tài)信息則需要通過攝像頭采集圖片，再通過神經(jīng)網(wǎng)絡(luò)分類量化。量化后的數(shù)據(jù)通過通信模塊傳輸?shù)皆品?wù)器，再轉(zhuǎn)發(fā)至虛擬農(nóng)場接口（APP數(shù)據(jù)端），根據(jù)量化數(shù)據(jù)進行解映射，并實現(xiàn)虛擬農(nóng)場與現(xiàn)實農(nóng)場的聯(lián)動。

虛擬現(xiàn)實農(nóng)場系統(tǒng)如圖1所示，主要由四部分組成：硬件終端、云平臺、圖像識別模塊和用戶APP。該系統(tǒng)考慮的場景為市郊農(nóng)場將分塊的土地租出給用戶，每個用戶都具備獨立的節(jié)點終端用于收集各自農(nóng)場的環(huán)境信息。在硬件終端中，傳感器負責收集環(huán)境信息并進行量化處理，圖像識別模塊負責收集農(nóng)作物生長狀態(tài)信息并進行分類處理。這些信息經(jīng)過STM32單片機匯總后，通過Wi-Fi模塊以MQTT協(xié)議發(fā)送至云平臺。云平臺匯總所有用戶的數(shù)據(jù)，并將這些數(shù)據(jù)發(fā)送至指定的用戶APP端口。每個用戶的虛擬農(nóng)場（APP端）根據(jù)現(xiàn)實環(huán)境的量化信息調(diào)用植物模型構(gòu)建虛擬農(nóng)場?？紤]到農(nóng)作物的生長緩慢以及用戶體驗感，現(xiàn)實農(nóng)場與虛擬農(nóng)場之間的同步數(shù)據(jù)一般每30秒進行一次。此外，農(nóng)場的實時監(jiān)控數(shù)據(jù)通過一個單獨的攝像頭采集，并通過云平臺轉(zhuǎn)發(fā)至用戶APP，用于生成實時監(jiān)控畫面。用戶也可通過APP向單片機下發(fā)命令，對光照和灌溉設(shè)備進行相關(guān)操作。

1.2 硬件節(jié)點

硬件節(jié)點的電路圖如圖2所示，采用STM32F103ZET6單片機為主控單元，土壤溫度傳感器DS18B20、LED模塊、土壤濕度傳感器LM393、空氣溫濕度傳感器DHT11和光強度傳感器BH1750分別接在單片機的PA0、PA1、PA5、PA6以及PA11和PA12數(shù)據(jù)接口。考慮到系統(tǒng)所需的傳送速率，通信模塊采用ESP8266Wi-Fi模塊并通過PA2、PA3串行數(shù)據(jù)接口與單片機相連。圖像識別部分采用了輕量化的OpenMV模塊來實現(xiàn)農(nóng)作物生長狀態(tài)信息的分類，并與STM32通過PB10和PB11串行數(shù)據(jù)接口相連。硬件節(jié)點的工作的流程圖如圖3所示，硬件設(shè)備啟動后，先對需要用到的各個端口進行初始化，初始化完成后通過各個傳感器獲取環(huán)境信息，由串型數(shù)據(jù)接口PB10和PB11獲取圖像識別信息，并將環(huán)境信息顯示在單片機屏幕上，最后將所有采集到的數(shù)據(jù)打包，通過Wi-Fi模塊以MQTT協(xié)議發(fā)送至云平臺。

1.3 云管理平臺

云管理平臺使用OneNET物聯(lián)網(wǎng)云平臺。該平臺接收到單片機傳輸?shù)沫h(huán)境信息和圖像識別的植物信息，將數(shù)據(jù)進行整合、存儲，并繪制成動態(tài)數(shù)據(jù)圖，在云管理平臺的可視化界面上顯示。同時，云管理平臺提供API接口供APP調(diào)用。

1.4 圖像識別

圖像識別的主要目的是為了量化農(nóng)作物的生長狀態(tài)信息，因此，我們采用了神經(jīng)網(wǎng)絡(luò)對農(nóng)作物圖片進行分類，更多的分類數(shù)量可以使虛擬農(nóng)作物更加接近真實農(nóng)作物。本文以簡單的九分類為例，簡單說明農(nóng)作物生長狀態(tài)的量化過程。首先，農(nóng)作物種類分為三類：番茄、辣椒、蘑菇；其次，每種農(nóng)作物生長階段分為幼苗、生長和成熟三個階段，如圖表1所示。農(nóng)作物種類和生長階段量化后的信息為[S0，S1]，其中S0和S1的長度都為2 bit。

圖像識別模塊OpenMV4支持多種神經(jīng)網(wǎng)絡(luò)模型，考慮到硬件的算力支持和計算延遲，本文采用了輕量級MobileNet網(wǎng)絡(luò)。首先，我們制作了一個小型的訓(xùn)練集對MobileNet神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，達到最優(yōu)性能后，將訓(xùn)練好的MobileNet網(wǎng)絡(luò)下載到OpenMV4模塊中。圖片識別模塊的工作過程如圖4所示，OpenMV4模塊的攝像頭采集到320×320尺寸的圖片后，對圖片進行預(yù)處理得到128×128尺寸的圖像，并將其輸入MobileNet網(wǎng)絡(luò)，最終得到識別結(jié)果[S0，S1]。用戶APP端根據(jù)得到的[S0，S1]對照表1，改變虛擬農(nóng)作物模型元素。

1.5 用戶APP設(shè)計

用戶APP分為虛擬界面、現(xiàn)實界面，用戶可以通過點擊導(dǎo)航欄對應(yīng)的圖標進行切換。無論在哪個界面，用戶都可以通過點擊按鈕的方式進行遠程灌溉、補光等操作。APP定時向云平臺發(fā)送REQUEST請求以獲取包含環(huán)境溫濕度、土壤溫濕度的環(huán)境信息，以及包含農(nóng)作物種類S0、生長階段S1的農(nóng)作物信息。這些環(huán)境信息會在虛擬界面和現(xiàn)實界面的信息欄中顯示，而農(nóng)作物種類S0、生長階段S1的農(nóng)作物信息用來構(gòu)建虛擬農(nóng)場?；跀?shù)字孿生的虛擬農(nóng)場構(gòu)建過程如圖5所示，APP對農(nóng)作物種類和生長階段信息[S0，S1]進行分割，首先根據(jù)S0判斷農(nóng)作物種類并定位至相應(yīng)的文件夾，其次根據(jù)生長階段S1定位至生長階段模型，獲取相應(yīng)的模型圖片，以此構(gòu)成數(shù)字孿生虛擬農(nóng)場畫面。種類和生長階段信息與模型圖片的映射關(guān)系如表2所示。APP端的現(xiàn)實界面顯示的是農(nóng)場實時監(jiān)控畫面，當APP切換至現(xiàn)實界面后，它會直接接入監(jiān)控API。當用戶使用采摘功能時，APP將用戶的采摘信息（農(nóng)作物種類、用戶ID）發(fā)送至云平臺，管理員通過云平臺接收到信息后，會安排工作人員進行采摘和派送服務(wù)。

2 結(jié)果和分析

通過攝像頭拍攝的農(nóng)作物圖片作為數(shù)據(jù)集，其包含不同植物種類、不同生長狀態(tài)、不同角度、不同光照下的圖片，將訓(xùn)練集中的圖片標注后，通過神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，并通過測試集驗證其識別率及方案可行性。農(nóng)作物生長階段的數(shù)據(jù)集由334張圖片組成，對圖中植物進行處理后進行訓(xùn)練，訓(xùn)練集共267張圖片，另外67張圖片被用作測試集。訓(xùn)練完成后，導(dǎo)出模型文件。圖像識別模塊通過模型實時識別攝像頭畫面，輸出植物的名稱及其所處生長階段，為用戶端虛擬界面提供數(shù)據(jù)。農(nóng)作物生長階段的訓(xùn)練結(jié)果如表3所示，包括幼苗、生長、成熟等生長階段，其中幼苗階段和成熟階段的識別精準度達到100%，生長階段的識別精準度達到96.2%。

如圖6（a）所示，系統(tǒng)選取了農(nóng)場種植的番茄、辣椒、蘑菇三種農(nóng)作物進行識別。以番茄為例，系統(tǒng)識別植物名稱S0為“番茄”，生長階段S1為“生長”，因此輸出結(jié)果S0S1為“0001”。如圖6（b）所示，用戶APP基于此結(jié)果，呈現(xiàn)出數(shù)字孿生畫面。當用戶點擊番茄的數(shù)字模型時，系統(tǒng)會高亮所選土地并顯示其詳細信息。在數(shù)字孿生畫面下方，依次顯示包含環(huán)境溫濕度、土壤溫濕度的環(huán)境信息、遠程操控按鈕，以及供用戶切換界面的導(dǎo)航欄。

3 結(jié) 論

本文提出的基于數(shù)字孿生的虛擬現(xiàn)實農(nóng)場系統(tǒng)，充分利用了深度學(xué)習(xí)，對農(nóng)作物進行智能識別，通過數(shù)字孿生技術(shù)，該系統(tǒng)增強了農(nóng)業(yè)互動感，使得農(nóng)場游戲也能模擬真實農(nóng)作物產(chǎn)出。系統(tǒng)依靠傳感器對農(nóng)場環(huán)境進行精準識別，調(diào)動灌溉系統(tǒng)為農(nóng)作物提供更好的生長環(huán)境。農(nóng)作物成熟時通知管理員采摘，有效避免農(nóng)產(chǎn)品未及時采摘造成的腐爛和浪費等問題。綜上所述，基于數(shù)字孿生的虛擬現(xiàn)實農(nóng)場系統(tǒng)為用戶提供了一個培育農(nóng)作物的管理平臺，可以有效地提高農(nóng)作物生產(chǎn)的效率、資源利用率和產(chǎn)品質(zhì)量，幫助消費者樹立對農(nóng)產(chǎn)品質(zhì)量安全的信心，同時幫助生產(chǎn)者合理規(guī)劃生產(chǎn)。

參考文獻：

[1] 夏顯力，陳哲，張慧利，等.農(nóng)業(yè)高質(zhì)量發(fā)展：數(shù)字賦能與實現(xiàn)路徑 [J].中國農(nóng)村經(jīng)濟，2019（12）：2-15.

[2] 張清淘.基于物聯(lián)網(wǎng)技術(shù)的智慧農(nóng)業(yè)遠程監(jiān)控系統(tǒng)設(shè)計 [J].南方農(nóng)機，2023，54（2）：84-86.

[3] 宋衛(wèi)東.物聯(lián)網(wǎng)技術(shù)在智慧農(nóng)業(yè)節(jié)水灌溉中的應(yīng)用 [J].黑龍江糧食，2022（11）：52-54.

[4] 朱斌.基于物聯(lián)網(wǎng)技術(shù)的智慧農(nóng)業(yè)大棚監(jiān)測系統(tǒng)研究 [J].南方農(nóng)機，2023，54（6）：84-86.

[5] 劉元剛，熊剛.基于物聯(lián)網(wǎng)技術(shù)的智慧農(nóng)業(yè)無線控制系統(tǒng)設(shè)計 [J].自動化技術(shù)與應(yīng)用，2021，40（6）：70-73.

[6] 陳菁，劉靖永，錢煒.基于5G和物聯(lián)網(wǎng)的智慧農(nóng)業(yè)大數(shù)據(jù)管理平臺 [J].張江科技評論，2022（1）：71-73.

[7] 吳文福，張娜，李姝峣，等.5T智慧農(nóng)場管理系統(tǒng)構(gòu)建與應(yīng)用探索 [J].農(nóng)業(yè)工程學(xué)報，2021，37（9）：340-349.

[8] 蘭玉彬，趙德楠，張彥斐，等.生態(tài)無人農(nóng)場模式探索及發(fā)展展望 [J].農(nóng)業(yè)工程學(xué)報，2021，37（9）：312-327.

[9] 穆悅，丁艷鋒.智能農(nóng)場：以水稻為例的一個未來農(nóng)場運營的設(shè)想 [J].中國稻米，2020，26（5）：80-83.

[10] 王旭，周開利.“六域模型”農(nóng)業(yè)物聯(lián)網(wǎng)參考體系結(jié)構(gòu)及應(yīng)用 [J].現(xiàn)代電子技術(shù)，2022，45（6）：53-57.

[11] 張彥通，蘇前敏.基于遷移學(xué)習(xí)的玉米病害圖像識別 [J].中國農(nóng)業(yè)科技導(dǎo)報，2023，25（10）：119-125.

作者簡介：劉明輝（2001.10—），男，漢族，江西撫州人，本科，研究方向：物聯(lián)網(wǎng)技術(shù)、圖像識別；通信作者：尚玉龍（1988.02—），男，漢族，河南焦作人，副教授，博士，研究方向：無線通信、物聯(lián)網(wǎng)技術(shù)、智能反射面、數(shù)字廣播。

DOI：10.19850/j.cnki.2096-4706.2024.17.038

收稿日期：2024-03-19

基金項目：2023年省級大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計劃一般項目（202311463052Y）

Virtual Reality Farm System Based on Digital Twin

LIU Minghui， ZHANG Zheng， ZHU Lihong， LIU Xinyang， SHANG Yulong， XIAO Shuyan

（Jiangsu University of Technology， Changzhou 213001， China）

Abstract： In view of the rental farms in the urban periphery， this paper proposes a Virtual Reality farm system based on digital twin. The system consists of three parts of user node， cloud and APP. The user node maps the environmental information and crop growth status information to the two-dimensional farm game APP through image recognition technology， thus realizing the digital twin between the real farm and the virtual farm game. The APP terminal is divided into two parts， the virtual game interface based on the digital twin information and the real monitoring interface based on the real-time camera， and both interfaces support remote operations such as watering and fertilizing. Meanwhile， it notifies the administrator of picking through the remote picking mechanism， and provides the service of delivering goods to the home according to the user's address.

Keywords： digital twin; Internet of Things; intelligent agriculture; Deep Learning