面向網(wǎng)絡輿情監(jiān)控的熱點話題發(fā)現(xiàn)技術研究

崇陽

摘要：隨著我國科學技術的不斷發(fā)展，互聯(lián)網(wǎng)信息技術也得到了飛速的發(fā)展和進步，我國的網(wǎng)民的數(shù)量直線上升，互聯(lián)網(wǎng)的相關資源，如新聞、視頻、論壇、課程等正在呈現(xiàn)飛速的增長，網(wǎng)絡在人們的正常生活中展現(xiàn)著很多的優(yōu)勢，例如傳達社情民意，已經成為傳統(tǒng)的主流媒體形式之后的主要地位，承載著反應社會輿情的主要責任，在反應社會輿情方面正在發(fā)揮著極其重要的作用。本文就互聯(lián)網(wǎng)入手，簡單談談網(wǎng)絡輿情與監(jiān)控的相關概述和意義，并提出幾種熱點話題發(fā)現(xiàn)的技術，以期為能夠更好的管理互聯(lián)網(wǎng)的秩序和安全提供一定的幫助。

關鍵詞：網(wǎng)絡輿情監(jiān)控 熱點話題 發(fā)現(xiàn)技術研究

引言

隨著我國社會經濟與科學技術的不斷發(fā)展，互聯(lián)網(wǎng)的發(fā)展也十分迅速，國民對于網(wǎng)絡也越來越依賴，網(wǎng)絡已經逐漸形成了自己的特有文化，也產生了一定的網(wǎng)絡輿論，輿論演化的形式也從純粹的的人類社會網(wǎng)絡演化成為向以人為主、人類與機器結合，形成了一個十分雜亂的網(wǎng)絡系統(tǒng)。但是在實際的網(wǎng)絡運行過程中，網(wǎng)絡的引入也會加速網(wǎng)絡輿情在人們之間的傳播，并且正在突破原有儀器和技術的限制，傳播的范圍更加廣泛，速度更加快。因此，如果相關的部門和工作人員不能對這些輿情進行有效的管理和監(jiān)控，不利的網(wǎng)絡話題和輿情會對正常的社會秩序出現(xiàn)一定的影響。

1.網(wǎng)絡輿情的相關概述

網(wǎng)絡輿情，即針對網(wǎng)絡中出現(xiàn)的反應現(xiàn)實生活中的具有偏向性和針對性的觀點和相關的言論，國民對其進行關注和討論并且已經成為熱點話題的相關言論。網(wǎng)絡輿情涉及到的范圍比較廣泛，但是對社會熱點問題的關注還是十分集中的，這種關注度比較集中的實踐就稱為話題。在網(wǎng)絡飛速發(fā)展的情況下，網(wǎng)絡輿情涉及到的熱點話題在很短時間內發(fā)生，也會快速地隨著時間的發(fā)展被新的話題壓下來，就發(fā)生在某特定的時間、地點，可能是一場活動、一場比賽等由一個核心事件或活動和與之相關的事件和活動。

2.網(wǎng)絡輿情監(jiān)控的必要性

網(wǎng)絡環(huán)境具有一定的復雜性，主要表現(xiàn)在兩個方面，首先第一個方面，隨著我國互聯(lián)網(wǎng)的不斷發(fā)展，國民對于互聯(lián)網(wǎng)越來越依賴，在網(wǎng)絡上對于網(wǎng)民發(fā)表和討論的社會中的某些事件中，會有大量的言論和看法的表達，甚至會推動著網(wǎng)絡輿情的風向發(fā)展，也在很大程度上影響著社會輿論的演化和發(fā)展；在另一方面，互聯(lián)網(wǎng)的發(fā)展十分迅速，已經深入國民的正常的生活和工作中，但是互聯(lián)網(wǎng)在發(fā)展過程中不可避免的會出現(xiàn)雜亂無章，虛擬性很強，很多違法的東西隱蔽在其中，難以完全進行監(jiān)管，使得很多時候網(wǎng)絡上一直不可避免的摻雜著正面和負面的言論，一些負面的話題甚至會嚴重影響到我國的正常的社會安全。很多犯罪分子往往會利用網(wǎng)絡針對國民傳播虛假的信息，誤導輿論走向，更有甚者為了分裂我國，擴散一些反動的評論或話題。因此，針對網(wǎng)絡輿情進行監(jiān)控和管理是十分必要的。

另外，傳統(tǒng)的輿情監(jiān)控系統(tǒng)在處理網(wǎng)絡輿情的時候，如果在管理過程中發(fā)現(xiàn)違規(guī)的內容或者敏感問題或者言論的話，直接采取對言論刪除，對用戶進行強行注銷，甚至拉入黑名單，避免這些言論對社會和公共事業(yè)造成嚴重的影響。但是上述已經談到，互聯(lián)網(wǎng)是具有很強的隱蔽性和復雜性的，采用傳統(tǒng)的輿情監(jiān)控技術在工作效率方面還是有很多的不足的。首先，網(wǎng)絡上的東西很復雜，紛亂無章，即使網(wǎng)站中的大量網(wǎng)頁經過輿情系統(tǒng)處理之后，話題出現(xiàn)的速度還是很快，敏感問題等很難進行逐一的排查和監(jiān)控，網(wǎng)絡用戶還是經常會被這些大量的信息給迷惑，分散了精力和注意力；另外，很多時候，關于同一事件會同時又很多網(wǎng)站的若干網(wǎng)頁進行同時講述，報道不斷的更新，很容易造成紛亂的現(xiàn)象，這樣的話就會穿插著雜亂無序的和不相關的報道，不利于相關部門對事件進行集中處理和考量；最后，在輿情事件大量的擺在用戶面前，系統(tǒng)中不能及時對輿情事件的重要程度進行度量化，對于十分緊急的輿情信息不能與一般重要程度的信息有明顯的的區(qū)分，顯得信息輕重不明，對于重要程度高的，影響力強的事件不能及時分散相關的精力和時間，不能很好的控制輿情態(tài)勢。

3.熱點話題發(fā)現(xiàn)的相關技術研究

3.1 經典 single-pass 算法

熱點話題發(fā)現(xiàn)與話題追蹤的技術研究簡稱為TDT評測，是最原始公開和通用的話題發(fā)現(xiàn)與追蹤的技術之一，具有良好的作用。在使用過程中根據(jù)發(fā)生的事件對文本信息進行相關的語言組織和分析，然后檢驗各種聚類和分類算法的功能和性能。Single-Pass算法就是TDT評測中使用最多的算法。該算法計算方式簡單，運算速度相對比較快，根據(jù)這樣的優(yōu)勢，該算法比較適用于大數(shù)據(jù)量的應用或者動態(tài)的數(shù)據(jù)源，并且在計算過程中可以保證具有良好的聚類精度；對于以向量空間模型的高維度文本來說，該計算方法也能夠處理一些高維的數(shù)據(jù)，另外，對于網(wǎng)絡新聞報道的大數(shù)量的及時性新聞對于算法提出的相關的要求該算法也是具有優(yōu)勢的。但是特殊的一點就是當算法對相關語料輸入的順序比較敏感的時候，語料的輸入順序對于聚類算法的結果就會有很大的不同，這是該算法的一個小的缺點，但是該缺點對于整體的情況的影響并不會太大，因為對于互聯(lián)網(wǎng)新聞報道的話題發(fā)現(xiàn)在實際應用中對于輸入的順序是確定的，因為事件發(fā)生是有事件順序的。Single-pass算法在計算的時候首先是將網(wǎng)絡上的文本或者語料進行累計，然后將累計的結果使用動態(tài)聚類方法進行聚合處理，第一次可以用發(fā)表的第一篇語料作為對之后文本處理的話題模型，然后設定一個相似度的閾值，之后輸入的文本和語料和之前的模型進行相似度比較，根據(jù)之前設定的閾值對不同的話題或者文本加以區(qū)分。

3.2 基于層次的聚類算法

基于層次的聚類算法被認為是隨著類簇層次的變化，使得類簇中的相關對象也相應發(fā)生變化的一種算法。典型的層次聚類算法主要包括BIRCH算法和CURE 算法這兩種，BIRCH算法在使用過程中，將簇認為是樹，并且將對象的劃分按照平常見到的大樹的樣子，然后結合其他的聚類的算法對聚類形式進行優(yōu)化；而CURE算法則是將相應的聚用一定數(shù)目的對象進行表現(xiàn)，然后對各聚類向之前設定好的聚類中心進行匯聚。層次聚類法有很多的優(yōu)點，譬如，層次聚類法相比于其他的計算方法來說，聚類的粒度比較靈活，在話題發(fā)現(xiàn)和輿情的監(jiān)督方面有廣泛的適用性，對于各種形狀的對象形成的簇，不同的相似度和不同的對象的距離的代表形式等的適用性都很廣泛。除此之外也有一些不足之處，在很多情況下需要發(fā)現(xiàn)和監(jiān)控的語料、話題等數(shù)據(jù)的規(guī)模都比較大，而且根據(jù)新聞話題的時效性來說，數(shù)據(jù)更新速度比較快，在數(shù)據(jù)處理的時候應該使用動態(tài)聚集的方式。對于層次聚類法來說，雖然使用范圍很廣，但是對于以上說到的大規(guī)?；蛘邉討B(tài)的數(shù)據(jù)情況還是有一定的不足的。類簇是有一定層次的，隨著類簇層次的變化，類簇中的相關對象也會發(fā)生相應的變化，在計算過程中可以將層次聚類法的計算結果變成一個類簇樹，將每個類結點都包含若干子結點，在不同的粒度上對相應數(shù)據(jù)進行類簇劃分。

3.3 基于密度的聚類算法

基于密度的聚類算法是一種需要考慮多邊形分段區(qū)域和數(shù)據(jù)的空間密度、與外界的連通性和邊界的算法，減少了搜索的復雜度，而且，在基于密度的聚類方法適用于發(fā)現(xiàn)的各種形狀的簇，在噪聲數(shù)據(jù)的處理過程中有很好的作用和效果，對噪聲數(shù)據(jù)有天然的抵制和限制作用，這是基于密度的聚類方法的優(yōu)勢。但是還有一定的不足，在使用該算法的時候，很多用戶并不十分理解相關參數(shù)的含義和表達意義。

3.4 基于網(wǎng)格的聚類算法

在基于網(wǎng)格的聚類算法中，為了減少搜索的復雜度，是利用劃分空間的方法進行聚類的，一個區(qū)域就是在空間中劃分出的一個個小的超立方體。在基于網(wǎng)絡的聚類算法中，對網(wǎng)絡語料或者文本數(shù)據(jù)的處理首先是將數(shù)據(jù)進行分割，但是網(wǎng)絡聚類就是將分割方式由二維分割轉變?yōu)槿S分割，也就是在輸入數(shù)據(jù)或者語料并進行累計的過程中的空間小立方體中進行的，而數(shù)據(jù)的分割就是在基于數(shù)據(jù)點之間的關系導致空間的分割，所以本質上在基于網(wǎng)絡的聚類算法就是不直接對輸入的數(shù)據(jù)進行處理，而是相應的轉換和變化，然后進行切割，這樣也會有一定的優(yōu)勢，可以增加網(wǎng)格的數(shù)量，提高數(shù)據(jù)的承受空間，提升對話題的發(fā)現(xiàn)速度。在基于網(wǎng)格的聚類算法中，根據(jù)算法的不同也有很多的種類區(qū)別，其中最具代表性的算法有STING算法、Wave Cluster，其中STING 算法是一種使用小波轉換的方法對聚類進行數(shù)據(jù)處理的多分辨聚類技術；Wave Cluster算法是一種在高維數(shù)據(jù)空間中基于網(wǎng)格和密度的多分辨聚類方法。

結語

在網(wǎng)絡世界如此發(fā)達的現(xiàn)在，網(wǎng)絡上的信息紛繁不清，多種多樣，一些話題的出現(xiàn)甚至會將社會輿論和網(wǎng)絡輿論進行錯誤的引導，對國家和社會的安定以及國民的生活質量產生十分惡劣的威脅和影響。因此，國家和政府有必要采取一定的研究技術，將話題發(fā)現(xiàn)研究投入到輿情監(jiān)控的實際應用中，對網(wǎng)絡上的熱點話題和及時新聞話題進行嚴格的監(jiān)管和控制，合理的控制輿論的導向，促進國家公共事業(yè)的發(fā)展和進步，對構建和諧的具有中國特色的社會主義社會有十分重要的作用，同時也是現(xiàn)階段創(chuàng)建健康安全的互聯(lián)網(wǎng)輿情工作中面臨的一個很重要的課題。

參考文獻：

[1]中國互聯(lián)網(wǎng)絡發(fā)展狀況統(tǒng)計報告.http：//www.Cnnic.net.cn/index/0E/00/l1/. 2010.07.

[2]駱衛(wèi)華，劉群，程學旗.話題檢測與跟蹤技術的發(fā)展與研究[A].全國計算語言學聯(lián)合學術會議（J SCL 2003）論文集[C].北京：清華大學出版社，2013，560-566.

[3]李保利，俞士汶.話題識別與跟蹤研究[J].計算機工程與應用，2015，39 （17）：6-10.