互聯(lián)網(wǎng)輿情監(jiān)控系統(tǒng)的設(shè)計與實現(xiàn)研究

摘要：現(xiàn)階段，網(wǎng)民對互聯(lián)網(wǎng)技術(shù)的發(fā)展情況十分關(guān)注，究其原因，主要是在互聯(lián)網(wǎng)高速發(fā)展的背景下，網(wǎng)絡(luò)熱點和焦點話題的傳播速度非?？欤苋菀妆粍e有用心之人所利用，從而引發(fā)突發(fā)性問題。而互聯(lián)網(wǎng)輿情監(jiān)控系統(tǒng)的設(shè)計和實現(xiàn)，可以對上述情況進(jìn)行預(yù)防和控制。本文以互聯(lián)網(wǎng)輿情監(jiān)控系統(tǒng)的設(shè)計與實現(xiàn)為主要研究內(nèi)容，首先介紹網(wǎng)絡(luò)輿情監(jiān)控相關(guān)技術(shù)，然后對網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)功能框架設(shè)計和詳細(xì)設(shè)計進(jìn)行分析，希望為相關(guān)行業(yè)提供借鑒。

關(guān)鍵詞：互聯(lián)網(wǎng);輿情監(jiān)控系統(tǒng);輿情預(yù)警

引言：在互聯(lián)網(wǎng)普及應(yīng)用的背景下，人人都是信息的制造者和傳播者，網(wǎng)絡(luò)也因此成為了眾多輿論事件的發(fā)源地，微博、BBS、貼吧就產(chǎn)生了大量的輿情信息，所造成的社會影響十分巨大。由于網(wǎng)絡(luò)輿情具有傳播速度快、傳播渠道多、異構(gòu)性和復(fù)雜性等特點，因此對輿情信息正確性和傳播范圍進(jìn)行控制的難度非常之高，面對眾多輿情信息成為引發(fā)社會事件導(dǎo)火索的情況，應(yīng)通過互聯(lián)網(wǎng)輿情監(jiān)控系統(tǒng)的設(shè)計和應(yīng)用，從海量的輿情信息中挖掘有價值的數(shù)據(jù)，為政府部門管理網(wǎng)絡(luò)輿情信息，提供技術(shù)方面的支持。在此背景下，對此項課題進(jìn)行研究，其意義十分重大。

一、網(wǎng)絡(luò)輿情監(jiān)控相關(guān)技術(shù)簡介

網(wǎng)絡(luò)信息分類、網(wǎng)絡(luò)信息分析、網(wǎng)絡(luò)信息識別、網(wǎng)絡(luò)信息跟蹤等技術(shù)是互聯(lián)網(wǎng)輿情監(jiān)控系統(tǒng)所運用的技術(shù)，這些技術(shù)均屬于計算機(jī)文本信息處理技術(shù)的范疇。接下來本文會對網(wǎng)絡(luò)信息提取識別技術(shù)和網(wǎng)絡(luò)爬蟲技術(shù)進(jìn)行簡單介紹：

（一）網(wǎng)絡(luò)輿情信息提取和識別技術(shù)

這項技術(shù)可以分析信息，這里所說的信息是指系統(tǒng)通過搜集所得到的網(wǎng)絡(luò)輿情信息，如果輿情信息類型為網(wǎng)絡(luò)新聞數(shù)據(jù)，則需要找出信息中與新聞有關(guān)的要素，主要包括時間、內(nèi)容和標(biāo)題。如果信息類型為網(wǎng)絡(luò)論壇數(shù)據(jù)，所找出的內(nèi)容主要是用戶信息，比如：用戶的ID、回復(fù)用戶的ID等等，然后在信息數(shù)據(jù)庫中保存這些數(shù)據(jù)即可。

在查閱資料后得知，一種將模板和自動機(jī)器識別相結(jié)合作為基礎(chǔ)的信息提取方法，是輿情信息提取分析的實現(xiàn)方式。這種方法需要將啟發(fā)式規(guī)則作為依據(jù)，然后通過自動識別的方式，對網(wǎng)絡(luò)文本中不同屬性輿論信息之間的分隔符進(jìn)行處理，與此同時，在相應(yīng)的模板中進(jìn)行配置，并將模板作為依據(jù)，對相同類型的輿論網(wǎng)頁信息加以分析和識別，最終以話題線索的方式保存即可。對網(wǎng)絡(luò)輿論相關(guān)數(shù)據(jù)信息的描述就是話題線索，比如：網(wǎng)頁點擊率、帖子回復(fù)數(shù)量等。相較于傳統(tǒng)提取技術(shù)而言，這種技術(shù)較為先進(jìn)，在處理多結(jié)構(gòu)類型的網(wǎng)絡(luò)輿論網(wǎng)頁數(shù)據(jù)信息時的效果極為顯著。與此同時，還能促進(jìn)輿論信息準(zhǔn)確率和效率的提升，且這一目標(biāo)的實現(xiàn)無需對算法進(jìn)行修改，有利于滿足不同用戶的需求，并為研究提供信息數(shù)據(jù)上的支持。

總而言之，提取到的輿論數(shù)據(jù)信息是輿情信息分析識別的主要對象，在內(nèi)容和行為識別的基礎(chǔ)上，對輿情信息是否為需求信息進(jìn)行判斷，將判斷結(jié)果作為依據(jù)，開展有針對性的輿情數(shù)據(jù)分析，可以取得良好的效果[1]。

（二）網(wǎng)絡(luò)爬蟲技術(shù)

在互聯(lián)網(wǎng)技術(shù)高速發(fā)展的背景下，人們可以借助網(wǎng)絡(luò)獲取所需的各類信息，但有用信息僅占信息總量的少數(shù)，再加上信息始終增加，導(dǎo)致信息獲取難度不斷提升，幾乎成為一件不可能的事情，在這種情況下，網(wǎng)絡(luò)爬蟲技術(shù)應(yīng)運而生，實踐應(yīng)用結(jié)果表明，這項技術(shù)的應(yīng)用，可以降低有價值信息獲取的難度。

在本文所設(shè)計的輿情監(jiān)控系統(tǒng)之中，網(wǎng)絡(luò)爬蟲技術(shù)起到了關(guān)鍵性的作用，具體表現(xiàn)為運用這項技術(shù)在網(wǎng)絡(luò)中抓下正在更新的數(shù)據(jù)信息，滿足輿情監(jiān)控系統(tǒng)對信息數(shù)據(jù)的需求，為下一階段工作的開展，創(chuàng)造有利的條件。

二、互聯(lián)網(wǎng)輿情監(jiān)控系統(tǒng)的設(shè)計與實現(xiàn)

（一）網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)功能框架的設(shè)計

輿論數(shù)據(jù)信息采集、預(yù)處理和分析處理是監(jiān)控系統(tǒng)所具備的基礎(chǔ)功能。除基礎(chǔ)功能之外，系統(tǒng)還要對輿情信息未來發(fā)展趨勢、傳播方式和途徑進(jìn)行簡單預(yù)測，同時，還能設(shè)置人工監(jiān)控點，負(fù)責(zé)對重點區(qū)域的輿情信息事件進(jìn)行監(jiān)控，并在標(biāo)記預(yù)警信息后，對其進(jìn)行處理，處理措施包括跟蹤、識別、提取和報告。本文將現(xiàn)行技術(shù)和標(biāo)準(zhǔn)作為依據(jù)，整理和歸納系統(tǒng)，在此基礎(chǔ)上，設(shè)計出具有可行性的系統(tǒng)方案，使網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)功能框架設(shè)計需求得到明確。

網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)主要由四個功能模塊構(gòu)成，分別為采集系統(tǒng)、預(yù)處理系統(tǒng)、分析系統(tǒng)和應(yīng)用系統(tǒng)。各系統(tǒng)功能如下所述：

1 采集系統(tǒng)：采集系統(tǒng)應(yīng)用了網(wǎng)絡(luò)爬蟲技術(shù)，具備抓取和存儲網(wǎng)絡(luò)輿情信息數(shù)據(jù)的功能，且無需人工操作，可實現(xiàn)自動抓取。

2 信息預(yù)處理系統(tǒng)：以采集信息為對象，對其進(jìn)行去重、關(guān)鍵詞篩選和分析處理[2]。

3 監(jiān)控分析系統(tǒng)：通過文本的方式對輿情數(shù)據(jù)進(jìn)行表示，同時，還能識別和分析數(shù)據(jù)庫內(nèi)存儲的數(shù)據(jù)，并在處理完成后向分析庫中傳遞分析結(jié)果。

4 應(yīng)用系統(tǒng)：實現(xiàn)用戶交互功能。

（二）網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)功能模塊的詳細(xì)設(shè)計

輿情監(jiān)控系統(tǒng)工作流就是所謂的數(shù)據(jù)流，由4個處理環(huán)節(jié)構(gòu)成：（1）采集子系統(tǒng)會在網(wǎng)絡(luò)中抓取輿情信息數(shù)據(jù)，并存儲到本地數(shù)據(jù)庫之中;（2）信息預(yù)處理子系統(tǒng)會對本地數(shù)據(jù)庫中所存儲的數(shù)據(jù)進(jìn)行預(yù)處理，主要處理方法包括分析、識別和加工，簡言之，就是將無用數(shù)據(jù)剔除，并通過建立索引的方式，降低后續(xù)處理難度;（3）將輿情監(jiān)控系統(tǒng)的特定需求作為依據(jù)，分析和處理輿情信息和數(shù)據(jù);（4）在客戶端上呈現(xiàn)處理后的輿情數(shù)據(jù)，設(shè)計流程如圖1所示。

1.信息采集功能的模塊設(shè)計

論壇、微博和貼吧等網(wǎng)站是輿情信息的主要來源，信息采集功能模塊在設(shè)計過程中，對API與網(wǎng)頁抽取相結(jié)合的方法進(jìn)行了應(yīng)用，通過采集和管理關(guān)鍵詞、話題語義、URL管理和過濾詞典管理等方式，使分類歸一管理的目標(biāo)達(dá)成。在數(shù)據(jù)采集完成后，會在HBase數(shù)據(jù)庫之中存儲，采集存儲流程如下所述：首先網(wǎng)絡(luò)爬蟲技術(shù)會對網(wǎng)絡(luò)中輿情數(shù)據(jù)進(jìn)行抓取，同時將Dom作為依據(jù)，實現(xiàn)數(shù)據(jù)解析和提取的目的，其中，數(shù)量眾多的爬蟲器和獲取器會在slaver機(jī)器上運行，而調(diào)度器的所在位置是master機(jī)器，其中前者數(shù)量較多[3]。

2.信息預(yù)處理功能模塊設(shè)計

在獲取輿情數(shù)據(jù)信息之后，需要通過預(yù)處理的方式，剔除其中的無用信息，保留有價值的數(shù)據(jù)信息即可。無用信息包括網(wǎng)站導(dǎo)航、友情鏈接、索引等。就事實而言，網(wǎng)絡(luò)輿情數(shù)據(jù)信息以非結(jié)構(gòu)化數(shù)據(jù)為主，且在形式上具有復(fù)雜性的特點，很難被直接應(yīng)用，如果直接分析和加工處理，不僅難度較大，且處理效果極為有限。而信息預(yù)處理功能模塊可以提前對輿情數(shù)據(jù)信息進(jìn)行清洗和去噪，為后續(xù)處理創(chuàng)造有利的條件。所謂的清洗和去噪，就是指分析和提取輿情數(shù)據(jù)信息的主要內(nèi)容和特征。

3.輿情分析功能子模塊設(shè)計

在輿情監(jiān)控系統(tǒng)之中，輿情分析功能子模塊的作用不言而喻，具有十分重要的功能，模塊應(yīng)用的關(guān)鍵技術(shù)包括兩種，一種是聚類技術(shù);另一種是分類技術(shù)。對輿情數(shù)據(jù)信息進(jìn)行深入分析和挖掘是模塊的主要功能，值得注意的是，這里所說的輿情信息數(shù)據(jù)是預(yù)處理后的數(shù)據(jù)信息，在分析和挖掘后，輿情數(shù)據(jù)信息就會成為滿足話題發(fā)現(xiàn)和熱點跟蹤需求的結(jié)構(gòu)化數(shù)據(jù)。接下來，筆者會對該模塊的主要功能進(jìn)行介紹：

（1）熱點信息話題的發(fā)現(xiàn)和分析。這項功能主要是指依據(jù)輿情信息數(shù)據(jù)內(nèi)容，對其進(jìn)行話題的劃分，如果內(nèi)容較為特殊，創(chuàng)新話題亦可。而追蹤是指跟蹤分析社會上的熱點話題，這項功能的實現(xiàn)，所應(yīng)用的關(guān)鍵技術(shù)為文本聚類分析方法。將標(biāo)準(zhǔn)的格式規(guī)律作為依據(jù)，歸納和區(qū)分信息內(nèi)容較為相似的文檔，這個過程就是所謂的聚類分析。

（2）社會網(wǎng)絡(luò)分析。社會網(wǎng)絡(luò)是復(fù)雜網(wǎng)絡(luò)的重要組成部分，存在一定的特殊性，比如：微博就是典型的社會網(wǎng)絡(luò)，輿情監(jiān)控系統(tǒng)所采用的社會網(wǎng)絡(luò)分析法，能夠?qū)ξ⒉┯脩羲l(fā)布的信息數(shù)據(jù)進(jìn)行分析，在話題確定后，計算數(shù)據(jù)信息中粉絲數(shù)量和關(guān)注數(shù)量的出入度和聚類系數(shù)，通過多個Map階段和Reduce階段的運用，將計算結(jié)果存儲到分析庫之中，滿足客戶端可視化的使用需要。聚類系數(shù)在社會網(wǎng)絡(luò)分析法中作用較大，是對網(wǎng)絡(luò)集團(tuán)化程度的體現(xiàn)，同時，還能在一定程度上反映網(wǎng)絡(luò)內(nèi)聚。

4.輿情展示預(yù)警功能模塊設(shè)計

實現(xiàn)和管理者之間的實時交互操作，向管理者反饋系統(tǒng)分析后的結(jié)果，是該模塊的主要作用。其功能主要包括熱點話題排序、敏感話題趨勢。由于該模塊具有可視化功能，因此，管理者可以調(diào)用分析結(jié)果，對輿情數(shù)據(jù)信息的后續(xù)發(fā)展趨勢進(jìn)行預(yù)測，并且，系統(tǒng)針對輿情信息的警示觸發(fā)，具有自動化的特點。從而為管理者提前采取預(yù)防和控制措施，應(yīng)對可能會出現(xiàn)的輿情事件，創(chuàng)造有利的條件。

結(jié)論：綜上所述，在互聯(lián)網(wǎng)技術(shù)高速發(fā)展的背景下，網(wǎng)絡(luò)輿情信息數(shù)據(jù)量不斷增加，如果不對其加以管控，這些輿情信息可能會成為引發(fā)社會性事件的導(dǎo)火索。而傳統(tǒng)監(jiān)控管理方式較為落后，需要使用大量的硬件設(shè)備，且監(jiān)控和管理效果極為有限。而本文設(shè)計的網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)可以實現(xiàn)云端硬件資源的共享，在應(yīng)用該系統(tǒng)后，用戶無需借助大量硬件設(shè)備即可挖掘數(shù)據(jù)，從而節(jié)省了大量的費用。與此同時，云計算的集群處理能力也會得到充分地利用。實踐應(yīng)用結(jié)果表明，這種技術(shù)的應(yīng)用，能夠在節(jié)省管理成本的基礎(chǔ)上，提升工作效率，具有應(yīng)用的價值。

參考文獻(xiàn)：

[1]劉小滿，王小輝.基于“互聯(lián)網(wǎng)+”的網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)的設(shè)計與實現(xiàn)[J].電腦知識與技術(shù)，2019，15（31）：37-40.

[2]蘇鵬，楊文順.監(jiān)控互聯(lián)網(wǎng)輿情助推民族地區(qū)黨建工作智能化[J].云南民族大學(xué)學(xué)報（哲學(xué)社會科學(xué)版），2019，36（02）：31-33.

[3]黃霄漢，馬兆豐.Android移動互聯(lián)網(wǎng)輿情推送技術(shù)研究與實現(xiàn)[J].軟件，2017，37（12）：26-31.

作者簡介：

李建新，1977年10月，男，河北唐山人，本科，政工師，網(wǎng)絡(luò)輿情、黨務(wù)、融媒體中心建設(shè)、思想宣傳等方向