張保巖 趙麗華 辛北軍
摘要:天津市農(nóng)業(yè)信息化發(fā)展中存在的數(shù)據(jù)不能有效整合、數(shù)據(jù)利用率低、分析模型缺乏等問(wèn)題,導(dǎo)致增加了數(shù)據(jù)統(tǒng)一治理的難度和成本,降低了政府在服務(wù)水平和監(jiān)管效率上的施政能力。本研究在充分分析數(shù)據(jù)資源和應(yīng)用現(xiàn)狀及問(wèn)題的基礎(chǔ)上,提出了天津市“三農(nóng)”大數(shù)據(jù)平臺(tái)的整體框架,設(shè)計(jì)了包括農(nóng)業(yè)大數(shù)據(jù)中心基礎(chǔ)子平臺(tái)、數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)、基礎(chǔ)管理服務(wù)子平臺(tái)、數(shù)據(jù)開發(fā)開放子平臺(tái)、可視化數(shù)據(jù)挖掘系統(tǒng)、智能檢索系統(tǒng)、農(nóng)業(yè)大數(shù)據(jù)“一張圖”應(yīng)用、運(yùn)維管理系統(tǒng)的核心功能,描述了基于J2EE平臺(tái)的實(shí)現(xiàn)方式。通過(guò)建設(shè)天津市“三農(nóng)”大數(shù)據(jù)平臺(tái),進(jìn)一步加快實(shí)施針對(duì)農(nóng)口各部門信息資源在基礎(chǔ)數(shù)據(jù)元及共享業(yè)務(wù)元中的整理和挖掘,實(shí)現(xiàn)全市統(tǒng)一的涉農(nóng)基礎(chǔ)數(shù)據(jù)元管理體系,構(gòu)建統(tǒng)一的大數(shù)據(jù)集中處理基礎(chǔ)設(shè)施和大數(shù)據(jù)綜合服務(wù)平臺(tái),全面服務(wù)于天津農(nóng)口各單位對(duì)大數(shù)據(jù)信息共享、數(shù)據(jù)挖掘和智能服務(wù)的需求,推動(dòng)天津市農(nóng)業(yè)農(nóng)村大數(shù)據(jù)產(chǎn)業(yè)共建融合和創(chuàng)新發(fā)展。
關(guān)鍵詞:農(nóng)業(yè)大數(shù)據(jù);天津;三農(nóng);數(shù)據(jù)共享;平臺(tái);農(nóng)業(yè)信息化
中圖分類號(hào):S126 ??文獻(xiàn)標(biāo)志碼: A ?文章編號(hào):1002-1302(2020)17-0245-05
信息技術(shù)與經(jīng)濟(jì)社會(huì)的交匯融合引發(fā)了數(shù)據(jù)迅猛增長(zhǎng),數(shù)據(jù)已成為國(guó)家基礎(chǔ)性戰(zhàn)略資源,大數(shù)據(jù)正日益對(duì)全球生產(chǎn)、流通、分配、消費(fèi)活動(dòng)以及經(jīng)濟(jì)運(yùn)行機(jī)制、社會(huì)生活方式和國(guó)家治理能力產(chǎn)生重要影響。大數(shù)據(jù)源于互聯(lián)網(wǎng)及信息技術(shù)的廣泛應(yīng)用,大數(shù)據(jù)概念體系在2014年左右逐漸成形,發(fā)展出相關(guān)的技術(shù)、產(chǎn)品、應(yīng)用和標(biāo)準(zhǔn),并逐步形成包括數(shù)據(jù)資源與API、開源平臺(tái)與工具、數(shù)據(jù)基礎(chǔ)設(shè)施、數(shù)據(jù)分析、數(shù)據(jù)應(yīng)用等內(nèi)容的大數(shù)據(jù)生態(tài)系統(tǒng)[2-3]。隨著云計(jì)算、互聯(lián)網(wǎng)、泛在網(wǎng)、物聯(lián)網(wǎng)等現(xiàn)代信息技術(shù)在各行各業(yè)的大量應(yīng)用和實(shí)踐,大數(shù)據(jù)產(chǎn)業(yè)正快速發(fā)展成為對(duì)數(shù)量巨大、來(lái)源分散、格式多樣的數(shù)據(jù)進(jìn)行采集、存儲(chǔ)和關(guān)聯(lián)分析,從中發(fā)現(xiàn)新知識(shí)、創(chuàng)造新價(jià)值、提升新能力的新一代信息技術(shù)和服務(wù)業(yè)態(tài)[4]。
我國(guó)農(nóng)業(yè)農(nóng)村信息化工作經(jīng)過(guò)近十多年的發(fā)展,信息化基礎(chǔ)設(shè)施已有較大改善,廣播、電視、電話、互聯(lián)網(wǎng)等紛紛入村入戶,智能手機(jī)、農(nóng)業(yè)物聯(lián)網(wǎng)、智能農(nóng)機(jī)具逐漸發(fā)展并普及,為農(nóng)業(yè)大數(shù)據(jù)的發(fā)展應(yīng)用提供了堅(jiān)實(shí)的基礎(chǔ)[5]。以大數(shù)據(jù)為代表的現(xiàn)代信息技術(shù)推動(dòng)了農(nóng)業(yè)生產(chǎn)方式、流通方式、貿(mào)易方式的變革[6-7]。2015年,原農(nóng)業(yè)部發(fā)布了《關(guān)于推進(jìn)農(nóng)業(yè)農(nóng)村大數(shù)據(jù)發(fā)展的實(shí)施意見》,明確了農(nóng)業(yè)農(nóng)村大數(shù)據(jù)發(fā)展和應(yīng)用的總體要求、農(nóng)業(yè)農(nóng)村大數(shù)據(jù)發(fā)展和應(yīng)用的重點(diǎn)領(lǐng)域、實(shí)施進(jìn)度安排以及組織領(lǐng)導(dǎo)和保障。2020年中央一號(hào)文件更是提出了依托現(xiàn)有資源建設(shè)農(nóng)業(yè)農(nóng)村大數(shù)據(jù)中心,加快物聯(lián)網(wǎng)、大數(shù)據(jù)、區(qū)塊鏈、人工智能、第五代移動(dòng)通信網(wǎng)絡(luò)、智慧氣象等現(xiàn)代信息技術(shù)在農(nóng)業(yè)領(lǐng)域的應(yīng)用[8-9]。
近年來(lái),天津市緊緊圍繞自身智慧城市定位,以“推動(dòng)數(shù)據(jù)整合、深化應(yīng)用創(chuàng)新、培育壯大產(chǎn)業(yè)”為重點(diǎn),強(qiáng)化大數(shù)據(jù)發(fā)展和應(yīng)用的頂層設(shè)計(jì),統(tǒng)籌建設(shè)大數(shù)據(jù)基礎(chǔ)設(shè)施,在保障網(wǎng)絡(luò)信息安全的前提下,推進(jìn)政務(wù)信息數(shù)據(jù)和社會(huì)公共數(shù)據(jù)資源共享開放[10-11]。天津市農(nóng)業(yè)農(nóng)村委員會(huì)及其下屬單位還分別建設(shè)和使用了48套信息化系統(tǒng),涵蓋種植業(yè)生產(chǎn)、畜牧業(yè)生產(chǎn)、漁業(yè)生產(chǎn)、服務(wù)業(yè)以及農(nóng)業(yè)科教、產(chǎn)業(yè)、監(jiān)管、農(nóng)產(chǎn)品質(zhì)量安全、新農(nóng)村建設(shè)、農(nóng)村經(jīng)營(yíng)、農(nóng)村改革等各類三農(nóng)行業(yè),以上系統(tǒng)已采集大量結(jié)構(gòu)化和非結(jié)構(gòu)化信息資源,并分散部署和存儲(chǔ)在異構(gòu)網(wǎng)絡(luò)環(huán)境中,目前缺乏在統(tǒng)一的基礎(chǔ)設(shè)施環(huán)境和統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)體系框架內(nèi)完成數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)加載和資源分享,增加了數(shù)據(jù)統(tǒng)一治理的難度和成本,降低了政府在服務(wù)水平和監(jiān)管效率上的施政能力,并在信息資源整合挖掘和大數(shù)據(jù)服務(wù)層面沒(méi)有做到統(tǒng)一管理和精準(zhǔn)服務(wù),數(shù)據(jù)資源的使用效率較低,數(shù)據(jù)壁壘仍然存在[12-13]。因此,需通過(guò)建設(shè)天津市“三農(nóng)”大數(shù)據(jù)平臺(tái),進(jìn)一步加快實(shí)施針對(duì)農(nóng)口各部門信息資源在基礎(chǔ)數(shù)據(jù)元及共享業(yè)務(wù)元中的整理和挖掘,實(shí)現(xiàn)全市統(tǒng)一的涉農(nóng)基礎(chǔ)數(shù)據(jù)元管理體系,構(gòu)建統(tǒng)一的大數(shù)據(jù)集中處理基礎(chǔ)設(shè)施和大數(shù)據(jù)綜合服務(wù)平臺(tái),全面服務(wù)于天津農(nóng)口各單位對(duì)大數(shù)據(jù)信息共享、數(shù)據(jù)挖掘和智能服務(wù)的需求,推動(dòng)天津市農(nóng)業(yè)農(nóng)村大數(shù)據(jù)產(chǎn)業(yè)共建融合和創(chuàng)新發(fā)展[14-15]。
1 現(xiàn)狀及問(wèn)題分析
1.1 數(shù)據(jù)資源現(xiàn)狀及問(wèn)題
隨著天津市涉農(nóng)信息資源梳理工作的開展,全市農(nóng)業(yè)農(nóng)村數(shù)據(jù)資源收集、整合、處理、分析等方面取得了一定的成效,已完成天津市農(nóng)業(yè)農(nóng)村委員會(huì)26個(gè)專題、48件業(yè)務(wù)事項(xiàng)、105個(gè)數(shù)據(jù)大項(xiàng)、1 800多個(gè)指標(biāo)小項(xiàng)的業(yè)務(wù)元數(shù)據(jù)進(jìn)行專項(xiàng)采集,共采集數(shù)據(jù)資源326萬(wàn)多條,其中結(jié)構(gòu)化數(shù)據(jù)2 421 439條、非結(jié)構(gòu)化數(shù)據(jù)159 971條共計(jì)35.8 GB、WEB接口數(shù)據(jù) 32 637 條、外部單位數(shù)據(jù)共計(jì)645 439條,數(shù)據(jù)規(guī)模涵蓋了3 683個(gè)行政村、213家龍頭企業(yè)、544家農(nóng)民合作社、22 188 名村干部、139 404 名基層黨員、6 355 名入黨積極分子、790個(gè)幫扶單位、2 062 名駐村干部和120 075戶農(nóng)村困難群體,為全市農(nóng)業(yè)大數(shù)據(jù)處理中心建設(shè)提供了數(shù)據(jù)基礎(chǔ)和業(yè)務(wù)基礎(chǔ),同時(shí)天津市農(nóng)業(yè)農(nóng)村委員會(huì)也出臺(tái)了一系列的政策措施,為今后農(nóng)業(yè)農(nóng)村大數(shù)據(jù)發(fā)展及智能農(nóng)業(yè)建設(shè)提供了政策保障。但目前還存在一些亟待解決的問(wèn)題,如農(nóng)口信息化系統(tǒng)建設(shè)較多、數(shù)據(jù)資源相對(duì)分散、數(shù)據(jù)資源共享互通方式單一、大數(shù)據(jù)分析挖掘深度不足、數(shù)據(jù)綜合利用效能不足等。
1.2 應(yīng)用系統(tǒng)現(xiàn)狀及問(wèn)題
近年來(lái),天津市農(nóng)業(yè)農(nóng)村委員會(huì)在農(nóng)業(yè)物聯(lián)網(wǎng)區(qū)域試驗(yàn)工程、“三網(wǎng)聯(lián)動(dòng)”工程和“金農(nóng)工程”等框架體系下完成了農(nóng)業(yè)信息化和智能農(nóng)業(yè)建設(shè)和改進(jìn),建設(shè)了共計(jì)48個(gè)在用農(nóng)業(yè)信息化應(yīng)用系統(tǒng),極大地增強(qiáng)了天津農(nóng)業(yè)農(nóng)村工作的信息化水平,并取得了較好的示范效應(yīng)和規(guī)模效應(yīng),完成了異構(gòu)信息系統(tǒng)在共享數(shù)據(jù)資源和縱深業(yè)務(wù)領(lǐng)域的整合和歸并。但是在大數(shù)據(jù)處理中心以及大數(shù)據(jù)智慧化平臺(tái)建設(shè)方面卻凸顯出一些問(wèn)題,如大數(shù)據(jù)中心建設(shè)滯后、大數(shù)據(jù)分析模型應(yīng)用缺乏、鄉(xiāng)村數(shù)據(jù)分析應(yīng)用類型片面。
2 “三農(nóng)”大數(shù)據(jù)平臺(tái)架構(gòu)
結(jié)合天津市農(nóng)業(yè)農(nóng)村委員會(huì)及其下轄單位工作特點(diǎn)和實(shí)際情況,在進(jìn)行平臺(tái)規(guī)劃、設(shè)計(jì)、開發(fā)、部署和運(yùn)行管理規(guī)劃時(shí)應(yīng)堅(jiān)持“實(shí)用、可靠、先進(jìn)、標(biāo)準(zhǔn)、開放”的方針,遵循“總體規(guī)劃、統(tǒng)籌兼顧,需求牽引、面向應(yīng)用,統(tǒng)一規(guī)劃、分級(jí)使用,整合資源、集中管理,統(tǒng)一標(biāo)準(zhǔn)、統(tǒng)一架構(gòu),平臺(tái)統(tǒng)建、資源共享,安全運(yùn)行、穩(wěn)定可靠,維護(hù)便捷、跟蹤可控,技術(shù)創(chuàng)新、能力拓展,服務(wù)驅(qū)動(dòng)、開放協(xié)作”的基本原則,設(shè)計(jì)平臺(tái)框架如圖1所示。
從圖1可以看到,基礎(chǔ)管理服務(wù)平臺(tái)完成對(duì)現(xiàn)有系統(tǒng)及數(shù)據(jù)資源進(jìn)行收取和歸集,建設(shè)數(shù)據(jù)治理、數(shù)據(jù)集成、任務(wù)調(diào)度和專題管理等子功能,并將處理后的數(shù)據(jù)結(jié)果集通過(guò)數(shù)據(jù)清洗、規(guī)則引導(dǎo)和結(jié)果合并存儲(chǔ)在數(shù)據(jù)倉(cāng)庫(kù)子系統(tǒng)中,建設(shè)農(nóng)業(yè)基礎(chǔ)數(shù)據(jù)倉(cāng)庫(kù)、農(nóng)業(yè)資源要素?cái)?shù)據(jù)倉(cāng)庫(kù)、農(nóng)業(yè)經(jīng)營(yíng)交易數(shù)據(jù)倉(cāng)庫(kù)和農(nóng)業(yè)管理服務(wù)數(shù)據(jù)倉(cāng)庫(kù),并為可視化數(shù)據(jù)挖掘系統(tǒng)提供指標(biāo)數(shù)據(jù)分解和業(yè)務(wù)模型解析渠道,形成數(shù)據(jù)挖掘算法、數(shù)據(jù)挖掘流程和數(shù)據(jù)挖掘?qū)嵗?,為農(nóng)業(yè)大數(shù)據(jù)“一張圖”系統(tǒng)和數(shù)據(jù)開放系統(tǒng)提供數(shù)據(jù)和模型支撐。其中農(nóng)業(yè)大數(shù)據(jù)“一張圖”系統(tǒng)提供數(shù)據(jù)檢索和瀏覽、地圖數(shù)據(jù)專題分析以及地圖預(yù)警功能為天津市農(nóng)業(yè)農(nóng)村委員會(huì)各級(jí)領(lǐng)導(dǎo)、業(yè)務(wù)處室和行業(yè)局辦提供一張圖“畫圖作戰(zhàn)”功能;建設(shè)智能檢索系統(tǒng)提供全文檢索和語(yǔ)音檢索服務(wù);建設(shè)數(shù)據(jù)開放系統(tǒng)為農(nóng)口直屬單位和社會(huì)公眾提供數(shù)據(jù)資源開放訪問(wèn)和下載業(yè)務(wù)。
3 功能設(shè)計(jì)
基于對(duì)業(yè)務(wù)需求和用戶需求描述,本平臺(tái)在功能需求方面主要建設(shè)基礎(chǔ)管理服務(wù)子平臺(tái)、數(shù)據(jù)開發(fā)開放子平臺(tái)、可視化數(shù)據(jù)挖掘系統(tǒng)、智能檢索以及農(nóng)業(yè)大數(shù)據(jù)“一張圖”等五大類主要功能。
3.1 農(nóng)業(yè)大數(shù)據(jù)中心基礎(chǔ)子平臺(tái)
以大數(shù)據(jù)技術(shù)體系架構(gòu)下的數(shù)據(jù)源技術(shù)、數(shù)據(jù)采集層技術(shù)、數(shù)據(jù)存儲(chǔ)層技術(shù)、數(shù)據(jù)計(jì)算層技術(shù)、數(shù)據(jù)業(yè)務(wù)層技術(shù)以及數(shù)據(jù)展現(xiàn)層技術(shù)實(shí)現(xiàn)集數(shù)據(jù)統(tǒng)一采集、數(shù)據(jù)清洗整合、數(shù)據(jù)分布式存儲(chǔ)、流式并行計(jì)算、智能搜索引擎、挖掘算法模型于一體的農(nóng)業(yè)大數(shù)據(jù)處理中心基礎(chǔ)技術(shù)平臺(tái)。
3.2 數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)
通過(guò)Hadoop資源權(quán)限管理技術(shù)和分布式數(shù)據(jù)倉(cāng)庫(kù)(基于HIVE)技術(shù)建設(shè)農(nóng)業(yè)大數(shù)據(jù)處理中心數(shù)據(jù)倉(cāng)庫(kù)子系統(tǒng)。數(shù)據(jù)倉(cāng)庫(kù)子系統(tǒng)主要由以下五大類數(shù)據(jù)倉(cāng)庫(kù)構(gòu)成:農(nóng)業(yè)基礎(chǔ)數(shù)據(jù)倉(cāng)庫(kù)、農(nóng)業(yè)資源要素?cái)?shù)據(jù)倉(cāng)庫(kù)、農(nóng)業(yè)經(jīng)營(yíng)交易數(shù)據(jù)倉(cāng)庫(kù)、農(nóng)業(yè)管理服務(wù)數(shù)據(jù)倉(cāng)庫(kù)以及涉農(nóng)大數(shù)據(jù)處理中心日志類數(shù)據(jù)倉(cāng)庫(kù)。
3.3 基礎(chǔ)管理服務(wù)子平臺(tái)
基礎(chǔ)管理服務(wù)平臺(tái)基于Hadoop大數(shù)據(jù)處理框架,整合開源技術(shù)庫(kù)和商業(yè)化的工具組件,對(duì)農(nóng)業(yè)大數(shù)據(jù)處理中心數(shù)據(jù)倉(cāng)庫(kù)中的各類數(shù)據(jù)資源進(jìn)行整合、挖掘、歸并、處理和共享?;A(chǔ)管理服務(wù)平臺(tái)主要由以下9個(gè)功能子系統(tǒng)組成:數(shù)據(jù)治理子系統(tǒng)、數(shù)據(jù)集成子系統(tǒng)、云化ETL子系統(tǒng)、任務(wù)管理子系統(tǒng)、專題管理子系統(tǒng)、文件管理子系統(tǒng)、接口管理子系統(tǒng)、資源申請(qǐng)子系統(tǒng)以及統(tǒng)計(jì)分析和數(shù)據(jù)畫像子系統(tǒng)。
3.4 數(shù)據(jù)開發(fā)開放子平臺(tái)
數(shù)據(jù)開發(fā)開放平臺(tái)將建立統(tǒng)一的面向農(nóng)口各業(yè)務(wù)部門和單位內(nèi)部使用的數(shù)據(jù)開放信息門戶,對(duì)農(nóng)業(yè)大數(shù)據(jù)處理中心中匯聚的信息資源進(jìn)行數(shù)據(jù)檢索、數(shù)據(jù)申請(qǐng)和數(shù)據(jù)下載等操作。數(shù)據(jù)開放子系統(tǒng)建設(shè)內(nèi)容包括:數(shù)據(jù)開放后臺(tái)管理、數(shù)據(jù)開放資源管理、數(shù)據(jù)開放統(tǒng)一門戶、數(shù)據(jù)開放統(tǒng)計(jì)分析、注冊(cè)及授權(quán)管理以及個(gè)人中心等功能。
3.5 可視化數(shù)據(jù)挖掘系統(tǒng)
可視化數(shù)據(jù)挖掘系統(tǒng)以知識(shí)圖譜為可視化數(shù)據(jù)挖掘模型體系,以數(shù)據(jù)挖掘算法為手段,以Hadoop大數(shù)據(jù)計(jì)算框架下的數(shù)據(jù)挖掘組件Mahout為計(jì)算組件,搭建起一套基于海量農(nóng)業(yè)信息資源的可視化數(shù)據(jù)挖掘系統(tǒng),用戶可以在這套系統(tǒng)提供的圖形化數(shù)據(jù)挖掘操作平臺(tái)中的完成數(shù)據(jù)挖掘流程配置、挖掘節(jié)點(diǎn)關(guān)聯(lián),數(shù)據(jù)挖掘算法配置等操作,此外通過(guò)數(shù)據(jù)挖掘系統(tǒng)提供的語(yǔ)義關(guān)聯(lián)、數(shù)據(jù)關(guān)聯(lián)、動(dòng)態(tài)感知等底層功能,天津市農(nóng)業(yè)農(nóng)村委員會(huì)決策機(jī)構(gòu)用戶還能在系統(tǒng)中完成智能查找、伴隨分析、智能標(biāo)簽(畫像系統(tǒng))等功能操作,全面提升用戶對(duì)農(nóng)業(yè)農(nóng)村智慧型大數(shù)據(jù)分析系統(tǒng)的使用體驗(yàn)。
3.6 智能檢索系統(tǒng)
智能檢索系統(tǒng)通過(guò)完成對(duì)Hadoop大數(shù)據(jù)技術(shù)體系下的搜索引擎分布式處理框架和語(yǔ)音識(shí)別技術(shù)的集成,搭建智能檢索門戶系統(tǒng),對(duì)農(nóng)業(yè)大數(shù)據(jù)處理中心中存儲(chǔ)的海量農(nóng)業(yè)信息數(shù)據(jù)資源進(jìn)行快速、準(zhǔn)確、高效的智能化信息檢索,可實(shí)現(xiàn)對(duì)結(jié)構(gòu)化數(shù)據(jù)資源、非結(jié)構(gòu)化數(shù)據(jù)資源以及其他數(shù)據(jù)資源的即席搜索、模糊搜索、高級(jí)搜索、空間搜索。
3.7 農(nóng)業(yè)大數(shù)據(jù)“一張圖”應(yīng)用
通過(guò)建設(shè)底層的地圖服務(wù)和應(yīng)用引擎,建設(shè)農(nóng)業(yè)大數(shù)據(jù)“一張圖”應(yīng)用系統(tǒng),實(shí)現(xiàn)農(nóng)業(yè)土地現(xiàn)狀、農(nóng)業(yè)產(chǎn)業(yè)結(jié)構(gòu)、農(nóng)村經(jīng)濟(jì)發(fā)展、農(nóng)產(chǎn)品生產(chǎn)流通和特色品牌農(nóng)業(yè)建設(shè)等領(lǐng)域?qū)崿F(xiàn)業(yè)務(wù)圖層疊加顯示、“一張圖”專題分析、地圖檢索以及信息監(jiān)測(cè)和異常預(yù)警等服務(wù)。
3.8 運(yùn)維管理系統(tǒng)
運(yùn)維管理系統(tǒng)能實(shí)現(xiàn)自動(dòng)化腳本部署、集成可控的任務(wù)調(diào)度、集成運(yùn)維管理、可視化管理操作界面、平臺(tái)安全審計(jì)等功能。另外可通過(guò)運(yùn)維管理系統(tǒng)實(shí)現(xiàn)信息資源目錄、三農(nóng)大數(shù)據(jù)管理平臺(tái)、數(shù)據(jù)采集平臺(tái)等多個(gè)系統(tǒng)的一體化運(yùn)維,降低平臺(tái)管理難度。此外運(yùn)維管理系統(tǒng)實(shí)現(xiàn)對(duì)集群的狀態(tài)和上層應(yīng)用服務(wù)的運(yùn)行狀態(tài)和性能指標(biāo)進(jìn)行監(jiān)控,對(duì)異常事件產(chǎn)生警報(bào)和記錄,為運(yùn)行維護(hù)人員提供農(nóng)業(yè)大數(shù)據(jù)處理中心以及上層應(yīng)用的部署和配置管理。
4 平臺(tái)實(shí)現(xiàn)
平臺(tái)基于J2EE平臺(tái)進(jìn)行開發(fā),利用Spring boot、Duboo、Zookeeper搭建的共享服務(wù)平臺(tái),用于RESTful、XML/JSON服務(wù)的快速開發(fā)、注冊(cè)、發(fā)現(xiàn)、路由等工作;利用Hadoop大數(shù)據(jù)體系技術(shù),對(duì)海量農(nóng)業(yè)數(shù)據(jù)進(jìn)行并行計(jì)算和分布式處理;支持結(jié)構(gòu)化數(shù)據(jù)庫(kù)系統(tǒng)Oracle\Mysql\Sqlserver、利用NoSql數(shù)據(jù)庫(kù)作為前端界面緩存數(shù)據(jù)庫(kù);同時(shí)構(gòu)建文件庫(kù)和異構(gòu)索引庫(kù)存儲(chǔ)非結(jié)構(gòu)化數(shù)據(jù)信息。平臺(tái)核心界面如圖2、圖3所示。
5 結(jié)論
天津市“三農(nóng)”大數(shù)據(jù)平臺(tái),符合電子政務(wù)、大數(shù)據(jù)、云計(jì)算產(chǎn)業(yè)整體發(fā)展規(guī)律,適合天津市農(nóng)業(yè)農(nóng)村委員會(huì)電子政務(wù)及信息化發(fā)展現(xiàn)狀的要求,是天津市農(nóng)業(yè)農(nóng)村委員會(huì)當(dāng)前最為關(guān)鍵的信息化建設(shè)需要,為天津市農(nóng)業(yè)信息化及農(nóng)業(yè)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的深化與開展做出必要的拓展,對(duì)推動(dòng)政府改革、提升政府工作效率、提升管理機(jī)構(gòu)的科學(xué)決策能力,都有著重要意義。
平臺(tái)統(tǒng)一天津全市農(nóng)口各單位、各部門農(nóng)業(yè)信息化推廣及相關(guān)農(nóng)業(yè)大數(shù)據(jù)建設(shè)底層計(jì)算環(huán)境,全面構(gòu)建開放型、服務(wù)型、共享型的大數(shù)據(jù)處理技術(shù)中心;新建設(shè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)、基礎(chǔ)服務(wù)管理系統(tǒng)和數(shù)據(jù)開放開放平臺(tái),完成農(nóng)業(yè)大數(shù)據(jù)處理中心技術(shù)管理平臺(tái)的搭建,實(shí)現(xiàn)對(duì)農(nóng)業(yè)生產(chǎn)、農(nóng)業(yè)經(jīng)營(yíng)、農(nóng)業(yè)科技、農(nóng)業(yè)貿(mào)易、農(nóng)業(yè)市場(chǎng)、農(nóng)業(yè)流通等各環(huán)節(jié)、各節(jié)點(diǎn)、各流程數(shù)據(jù)的分類管理、整合入庫(kù)、精準(zhǔn)定位和開放服務(wù),完成農(nóng)業(yè)農(nóng)村大數(shù)據(jù)“聚通用”最后一千米的建設(shè);新建設(shè)可視化數(shù)據(jù)挖掘應(yīng)用系統(tǒng)、智能檢索系統(tǒng)以及農(nóng)業(yè)大數(shù)據(jù)“一張圖”應(yīng)用系統(tǒng),完成農(nóng)業(yè)大數(shù)據(jù)處理中心技術(shù)服務(wù)平臺(tái)的搭建,構(gòu)建面向天津市農(nóng)業(yè)農(nóng)村委員會(huì)各單位、部門綜合業(yè)務(wù)場(chǎng)景應(yīng)用體系下的數(shù)據(jù)挖掘、預(yù)警預(yù)測(cè)、數(shù)據(jù)關(guān)聯(lián)、即席查詢、數(shù)據(jù)地圖等上層服務(wù)應(yīng)用,最終實(shí)現(xiàn)天津市農(nóng)業(yè)農(nóng)村委員會(huì)各類信息資源的互聯(lián)互通、業(yè)務(wù)協(xié)同、信息共享和挖掘應(yīng)用,進(jìn)而全面提高天津市三農(nóng)管理的綜合決策、監(jiān)管治理和服務(wù)公眾的水平,加快天津市農(nóng)業(yè)農(nóng)村委員會(huì)農(nóng)業(yè)農(nóng)村管理方式和工作模式轉(zhuǎn)變,創(chuàng)新綠色經(jīng)濟(jì)發(fā)展新業(yè)態(tài),以大數(shù)據(jù)和信息化打造精準(zhǔn)治理、多方協(xié)作的農(nóng)業(yè)農(nóng)村社會(huì)治理新模式[16]。
參考文獻(xiàn):
[1]Gandomi A,Haider M. Beyond the hype: big data concepts,methods,and analytics[J]. International Journal of Information Management,2015,35 (2): 137-144.
[2]Mayer-Schnberger V. 大數(shù)據(jù)時(shí)代[M]. 杭州:浙江人民出版社,2012:23-25.
[3]Kamilaris A,Kartakoullis A,Prenafeta-Boldú F X. A review on the practice of big data analysis in agriculture[J]. Computers and Electronics in Agriculture,2017,143:23-37.
[4]羅治情,官 波,陳娉婷,等. “三農(nóng)”數(shù)據(jù)云平臺(tái)設(shè)計(jì)研究[J]. 江蘇農(nóng)業(yè)科學(xué),2018,46(17):209-212.
[5]郝 炘,李建華,牛明雷,等. 物聯(lián)網(wǎng)背景下農(nóng)業(yè)信息化建設(shè)的現(xiàn)狀、問(wèn)題與對(duì)策研究[J]. 農(nóng)學(xué)學(xué)報(bào),2019,9(11):67-71.
[6]吳文斌,史 云,段玉林,等. 天空地遙感大數(shù)據(jù)賦能果園生產(chǎn)精準(zhǔn)管理[J]. 中國(guó)農(nóng)業(yè)信息,2019,31(4):1-9.
[7]Mario L,Jorge E H,Maria M E A D,et al. Agri-food 4.0:a survey of the supply chains and technologies for the future agriculture[J]. Computers in Industry,2020,117:103187.
[8]盧文林,李秀峰. 全國(guó)基層農(nóng)技推廣信息化平臺(tái)農(nóng)技咨詢數(shù)據(jù)庫(kù)的構(gòu)建[J]. 中國(guó)科技成果,2013(2):38-39.
[9]溫孚江,宋長(zhǎng)青. 農(nóng)業(yè)大數(shù)據(jù)應(yīng)用、研究與展望[J]. 農(nóng)業(yè)網(wǎng)絡(luò)信息,2017(5): 31-36.
[10]海云瑞,張學(xué)儉. 寧夏農(nóng)業(yè)物聯(lián)網(wǎng)大數(shù)據(jù)共享及綜合應(yīng)用平臺(tái)研究與設(shè)計(jì)[J]. 寧夏農(nóng)林科技,2017,58(9):51-53.
[11]康春鵬,董春巖,王文月,等. 我國(guó)農(nóng)業(yè)農(nóng)村大數(shù)據(jù)發(fā)展應(yīng)用研究[J]. 中國(guó)農(nóng)業(yè)信息,2018,30(6):100-104.
[12]郭雷風(fēng). 面向農(nóng)業(yè)領(lǐng)域的大數(shù)據(jù)關(guān)鍵技術(shù)研究[D]. 北京:中國(guó)農(nóng)業(yè)科學(xué)院,2018.
[13]Perakis K,Lampathaki F,Nikas K,et al. CYBELE-fostering precision agriculture & livestock farming through secure access to large-scale HPC enabled virtual industrial experimentation environments fostering scalable big data analytics[J]. Computer Networks,2020,168:107035.
[14]Shrivastava S,Marshall-Colon A. Big data in agriculture and their analyses[J]. Encyclopedia of Food Security and Sustainability,2019(1):233-237.
[15]Sabarina K,Priya N. Lowering data dimensionality in big data for the benefit of precision agriculture[J]. Procedia Computer Science,2015,48: 548-554.
[16]錢 曄,孫吉紅,張 悅. 智能算法在農(nóng)業(yè)大數(shù)據(jù)中的探究[J]. 北方園藝,2019(20):156-161.