• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      基于智能移動終端的農(nóng)產(chǎn)品供需對接系統(tǒng)

      2015-11-30 05:49:54蔡昭權(quán)莊冬梅
      惠州學(xué)院學(xué)報 2015年3期
      關(guān)鍵詞:爬蟲帖子供需

      李 慧,蔡昭權(quán),徐 濤,胡 輝,莊冬梅

      (惠州學(xué)院 計算機(jī)科學(xué)系,廣東 惠州 516007)

      1 引言

      我國的農(nóng)業(yè)生產(chǎn)主要是農(nóng)戶小規(guī)模分散經(jīng)營,這與我國大市場大流通的要求相矛盾,對于農(nóng)村來說,市場消息相對閉塞,農(nóng)民生產(chǎn)的產(chǎn)品多數(shù)在本地的農(nóng)貿(mào)市場進(jìn)行交易,這就容易造成市場過度飽和,農(nóng)產(chǎn)品價格降低甚至造成大量堆積的嚴(yán)重后果[1]。

      目前國內(nèi)農(nóng)產(chǎn)品交易信息化普遍存在以下問題:(1)大部分農(nóng)產(chǎn)品市場信息網(wǎng)站信息量大且雜,主要面向批發(fā)商到經(jīng)營者,不能直接惠及農(nóng)民[2];(2)大部分農(nóng)產(chǎn)品網(wǎng)上交易平臺提供了商品對接,但使用不方便,查找信息不夠智能,主要面向大農(nóng)戶需求[3];(3)基于中國移動等運(yùn)營商的農(nóng)業(yè)資訊平臺存在收費(fèi)高和信息更新速度慢等問題,并且供需信息不能全部群發(fā)[4]。

      針對上述問題,本文設(shè)計一個基于智能移動終端的農(nóng)產(chǎn)品對接系統(tǒng),為農(nóng)民提供最新的農(nóng)業(yè)市場信息和農(nóng)產(chǎn)品供需關(guān)系的自動對接服務(wù),使得農(nóng)民能夠快速方便得獲得市場信息,且能夠讓農(nóng)產(chǎn)品為外部市場所知,從而促進(jìn)農(nóng)產(chǎn)品的流通,滿足現(xiàn)階段我國農(nóng)村農(nóng)業(yè)生產(chǎn)銷售的需求。

      2 系統(tǒng)框架

      基于智能移動終端的農(nóng)產(chǎn)品供需對接系統(tǒng)與其他在線交易平臺相比,其特色之處為實現(xiàn)供需關(guān)系的自動連接和對供需用戶的推薦功能。該系統(tǒng)采用的MVC(Model-View-Controller)三層架構(gòu),模型層通過JavaBean來實現(xiàn),視圖層通過JSP頁面產(chǎn)生,控制層主要聯(lián)系模型層和視圖層,由一個Servlet實現(xiàn)。MVC把顯示模塊和功能模塊通過分層的方式隔離開來,提高系統(tǒng)的可擴(kuò)展性,如圖1所示。

      圖1 MVC體系結(jié)構(gòu)

      圖2 系統(tǒng)結(jié)構(gòu)圖

      該系統(tǒng)結(jié)構(gòu)框架如圖2所示,主要分以下三部分實現(xiàn)。

      (1)用戶與數(shù)據(jù)庫的交互

      系統(tǒng)給用戶提供了一個信息展示和獲取信息的平臺,實現(xiàn)了在線聊天和自動推薦等功能,用戶不需要主動查找,就能獲取自己需要的信息。系統(tǒng)的架構(gòu)和普通論壇類似,但比較簡潔,只有兩個板塊,供給板塊和需求板塊,顛覆傳統(tǒng)論壇的板塊里分主題塊的思路。

      由于很多農(nóng)產(chǎn)品本身的類別多種多樣,有些商品根本無法歸于某個類,所以系統(tǒng)中的每條信息包含的屬性要比其他網(wǎng)站系統(tǒng)的多[5],因此確定信息之間的邏輯關(guān)系,設(shè)計良好的數(shù)據(jù)結(jié)構(gòu)是用戶與數(shù)據(jù)庫能進(jìn)行正常交互的關(guān)鍵。良好的數(shù)據(jù)結(jié)構(gòu)是指符合數(shù)據(jù)庫設(shè)計的范式要求,在還原數(shù)據(jù)間邏輯關(guān)系的前提下,將數(shù)據(jù)的冗余度降至最低,同時需要兼顧到實現(xiàn)功能的執(zhí)行效率。

      (2)數(shù)據(jù)庫與索引器的交互

      系統(tǒng)采用Lucene進(jìn)行全文檢索,將搜索引擎的技術(shù)引進(jìn)網(wǎng)站系統(tǒng),對數(shù)據(jù)庫的數(shù)據(jù)進(jìn)行索引,對每一條新的供需帖子進(jìn)行全站的檢索,擺脫了網(wǎng)站靠數(shù)據(jù)庫模糊匹配關(guān)鍵字的問題,做到了最準(zhǔn)確、最人性化的推薦,方便用戶閱讀。同時,為了更好地進(jìn)行索引和檢索,系統(tǒng)進(jìn)行良好的分詞,研究常用分詞算法,并選擇最有效率的算法。

      (3)爬蟲與數(shù)據(jù)庫的交互

      當(dāng)系統(tǒng)的有效帖子數(shù)量低于某個閾值時,為了能更好地向用戶進(jìn)行推薦,讓用戶獲得有用的信息,需要從其他同類網(wǎng)站進(jìn)行抓取新聞和建立索引,以獲取相關(guān)的信息,這里需要研究網(wǎng)絡(luò)爬蟲和信息抽取器的實現(xiàn)。

      3 系統(tǒng)實現(xiàn)

      3.1 網(wǎng)站系統(tǒng)實現(xiàn)

      系統(tǒng)為了增加客戶量、提高使用程度、減少開發(fā)和維護(hù)量,采用B/S模式。整個系統(tǒng)的核心分為前臺和后臺模塊的設(shè)計。

      前臺模塊包括:(1)用戶注冊、登錄模塊,通過手機(jī)號注冊,每個手機(jī)號對應(yīng)唯一的賬號,可以防止惡意注冊;(2)發(fā)帖回帖模塊,分為供應(yīng)帖子和需求帖子板塊,并以列表的形式體現(xiàn);(3)瀏覽模塊,用戶可以瀏覽帖子和信箱,其中信箱里的消息是系統(tǒng)推薦給用戶的;(4)聊天模塊,通過該模塊用戶可以聯(lián)系推薦給他的用戶。

      后臺模塊包括:(1)論壇設(shè)置模塊,設(shè)置論壇分頁及用戶相關(guān)參數(shù);(2)管理板塊模塊,管理員對論壇的帖子進(jìn)行審核;(3)管理用戶模塊,管理員賦予用戶特定的權(quán)限后,用戶才能對論壇的相關(guān)功能進(jìn)行使用。

      在數(shù)據(jù)庫連接方式上,系統(tǒng)采用連接池技術(shù),在初始化啟動db.properties文件中配置的連接池,如果程序還需要連接,則從該池中取出一個連接使用,使用完返回連接池,這樣不僅這些連接可以重復(fù)使用,而且還提高了效率。

      3.2 Lucene全文檢索實現(xiàn)

      系統(tǒng)中智能供需對接功能的實現(xiàn)基于Lucene全文檢索。Lucene是一個高性能的信息搜索庫,可以為本系統(tǒng)中的應(yīng)用程序添加索引和搜索能力,也可以根據(jù)系統(tǒng)特點(diǎn)選定所需的核心功能[6]。

      系統(tǒng)使用Lucene索引數(shù)據(jù)庫,首先需要創(chuàng)建一個數(shù)據(jù)庫表,添加相關(guān)的記錄,然后通過JDBC連接數(shù)據(jù)庫,創(chuàng)建數(shù)據(jù)流,最后按照數(shù)據(jù)表中記錄順序,循環(huán)添加紀(jì)錄,創(chuàng)建索引。帖子數(shù)據(jù)庫表格式如表1所示。

      表1 帖子實體在數(shù)據(jù)庫中的存儲結(jié)構(gòu)

      在索引前必須對帖子內(nèi)容進(jìn)行分詞,本系統(tǒng)采用IK-CAnalyzer中文分詞器來實現(xiàn)。IK-CAnalyzer的實現(xiàn)是基于逆向最大匹配法的分詞方法和分詞詞典進(jìn)行的。

      在對帖子進(jìn)行搜索時,需要把新增加的每一條帖子作為一個搜索項。如果帖子過長,進(jìn)行分詞后,需要進(jìn)行命名,把帖子中出現(xiàn)的名詞、地名等關(guān)鍵詞提取出來當(dāng)作檢索詞,然后通過索引查詢,索引出符合要求的帖子。檢索查詢過程流程如圖3所示。

      圖3 檢索查詢過程基本流程示意圖

      3.3 爬蟲實現(xiàn)

      為了能夠定向抓取一些資訊網(wǎng)發(fā)布的供求消息,系統(tǒng)設(shè)計實現(xiàn)了一個網(wǎng)絡(luò)爬蟲程序。當(dāng)本站點(diǎn)的信息不足時,作為額外的索引項,用戶可以通過這些消息的鏈接訪問到自己想獲取的信息[7]。

      爬蟲抓取網(wǎng)頁的順序采用寬度優(yōu)先的方法。整個寬度優(yōu)先爬蟲過程就是一系列的種子節(jié)點(diǎn)開始,把這些網(wǎng)頁中的“子節(jié)點(diǎn)”(超鏈接)提取出來,放入隊列中依次順序進(jìn)行抓取,被處理過的鏈接需要放入一個表內(nèi)(通常為visited表)。每次新處理一個鏈接之前,需要查看這個鏈接是否已經(jīng)在了這個visited表內(nèi),如果存在,證明鏈接已經(jīng)處理過,跳過,不做處理,否則進(jìn)行下一步處理。網(wǎng)絡(luò)爬蟲程序抓取網(wǎng)頁流程圖如圖4所示。

      圖4 抓取網(wǎng)頁流程圖

      對不同的網(wǎng)頁,要抽取其中的有用的信息,需要編寫特定的內(nèi)容抽取器。抽取正文在網(wǎng)絡(luò)爬蟲程序中具有重要意義,如果不能很好得提取文章網(wǎng)頁的有效內(nèi)容,那么抓下來的網(wǎng)頁就根本沒有利用價值。抽取的方法有很多種,如配置模板、視覺匹配、關(guān)鍵字識別等。在本系統(tǒng)中,由于是定向抓取幾個網(wǎng)站的信息,因此采用了基于配置模板的內(nèi)容解析方法,為每個網(wǎng)站配置一個模板來抽取其中的供給和需求信息,然后寫入數(shù)據(jù)庫,再由索引器構(gòu)建索引。

      4 結(jié)論

      本文設(shè)計實現(xiàn)的基于移動智能終端的農(nóng)產(chǎn)品供需對接系統(tǒng),經(jīng)試用推廣后,反映效果良好,為用戶提供最新的農(nóng)業(yè)市場信息和農(nóng)產(chǎn)品供需關(guān)系的自動對接服務(wù)。本系統(tǒng)屬于農(nóng)業(yè)信息化的范疇,為改變農(nóng)村“信息貧窮導(dǎo)致物質(zhì)貧窮”的局面做出了貢獻(xiàn)。

      [1]王俊輝,曹靜,凡靜,等.基于Android手機(jī)系統(tǒng)的農(nóng)村信息服務(wù)平臺[J].江蘇農(nóng)業(yè)科學(xué),2013,41(4):370-371,405.

      [2]張軍,尚敏,陳劍,等.基于3G技術(shù)的智能農(nóng)業(yè)遠(yuǎn)程監(jiān)控與管理系統(tǒng)[J].計算機(jī)測量與控制,2011,19(5):1058-1061.

      [3]錢建平,楊信廷,李明等.以PDA為終端的便攜式農(nóng)產(chǎn)品智能配送系統(tǒng)[J].農(nóng)業(yè)工程學(xué)報,2009,25(10):298-302.

      [4]LU Yingrong,YANG Yinsheng,LU Feng,et al.Study on distribution patternsof E-businessbased agricultural products logistics[C]∥Shaping Business Strategy in a Networked World 2004,2004:169-174.

      [5]韓蓄,張景,等.基于角色的個性化門戶網(wǎng)站設(shè)計與實現(xiàn)[J].計算機(jī)工程應(yīng)用,2005,4:153-155,226

      [6]顧珺.基于Nutch的用戶行為分析搜索引擎的實現(xiàn)[J].科技資訊,2009,15(5):20,22.

      [7]周腳根,邊馥苓.一種基于位置的移動服務(wù)系統(tǒng)的設(shè)計與實現(xiàn)[J].武漢大學(xué)學(xué)報,2006,31(4):352-355.

      猜你喜歡
      爬蟲帖子供需
      利用網(wǎng)絡(luò)爬蟲技術(shù)驗證房地產(chǎn)灰犀牛之說
      供需緊張局勢拉動煤炭價格上漲
      基于Python的網(wǎng)絡(luò)爬蟲和反爬蟲技術(shù)研究
      供需略微寬松 價格波動縮窄
      油價上漲的供需驅(qū)動力能否持續(xù)
      中國外匯(2019年9期)2019-07-13 05:46:30
      我國天然氣供需呈現(xiàn)緊平衡態(tài)勢
      利用爬蟲技術(shù)的Geo-Gnutel la VANET流量采集
      電子測試(2018年1期)2018-04-18 11:53:04
      大數(shù)據(jù)環(huán)境下基于python的網(wǎng)絡(luò)爬蟲技術(shù)
      電子制作(2017年9期)2017-04-17 03:00:46
      暴力老媽
      情事圈點(diǎn)
      女性天地(2012年11期)2012-04-29 00:44:03
      讷河市| 将乐县| 印江| 五寨县| 开原市| 吉安县| 洪江市| 南京市| 汝阳县| 麻栗坡县| 尉犁县| 普洱| 清新县| 尉氏县| 闽清县| 巩义市| 冀州市| 台中市| 宁强县| 大新县| 资兴市| 富阳市| 河津市| 屯门区| 沐川县| 星子县| 鄂伦春自治旗| 池州市| 宁河县| 南溪县| 邵阳市| 鸡泽县| 威信县| 新泰市| 班玛县| 资溪县| 秦安县| 宁国市| 射洪县| 大兴区| 虞城县|