杜芳

【摘要】輿情來源于網(wǎng)頁內(nèi)容，對網(wǎng)頁內(nèi)容的理解程度，即對自然語言處理的能力，在一定程度上決定了對網(wǎng)絡(luò)軍事輿情分析的準(zhǔn)確性及有效性。自然語言處理屬于文本挖掘領(lǐng)域，隨著人工智能的發(fā)展，自然語言處理成為人工智能與語言學(xué)領(lǐng)域的交叉學(xué)科，對該學(xué)科的研究有著重要的現(xiàn)實意義，包括文本分類、信息檢索、智能摘要、機器翻譯等行業(yè)，因此，大量的專家和學(xué)者均對該課題進行了深入的探索。

【關(guān)鍵詞】自然語言處理;中文分詞;詞向量

自然語言處理通常包括了詞向量，文本向量，文本壓縮，模型預(yù)測四個方面。對自然語言進行處理，第一步是對文本進行詞向量，詞向量算法中，不僅要考慮詞本身的準(zhǔn)確識別，同時還應(yīng)考慮語義距離，使得對單詞的識別能夠結(jié)合上下文語義。第二步是文本向量，大多數(shù)自然語言處理問題面對的不是單個詞語，而是通篇的文章，根據(jù)詞向量的結(jié)果，將整個文章編碼為矩陣模型。第三步文本壓縮，也稱為注意力機制，將文本向量矩陣壓縮為向量表示，即對高緯度信息進行降維。第四步為模型預(yù)測，將壓縮好的文本向量輸入預(yù)測模型中，輸出相應(yīng)的預(yù)測標(biāo)簽。

一、中文分詞

在自然語言處理，尤其是對輿情信息進行分析前，需要對大量的文本信息進行處理，文本信息主要是抽象的非結(jié)構(gòu)化信息，對于人類來說非常容易理解，但是對于機器而言，很難結(jié)合句子上下文，對整個文本的意見進行識別，挖掘文本中的話題、事件及情感傾向。

（1）中文分詞

中文分詞的主要難點包括歧義消除和未錄入詞語，分詞歧義的產(chǎn)生主要是由于分詞粒度難以標(biāo)準(zhǔn)化產(chǎn)生的，具體的包括詞語組合產(chǎn)生的歧義，單詞共用產(chǎn)生的歧義。如對于“軍事網(wǎng)絡(luò)輿情”為例，粗粒度的劃分可以直接識別出這個詞語是“軍事網(wǎng)絡(luò)輿情”，細粒度劃分可以識別為“軍事”，“網(wǎng)絡(luò)”，“輿情”三個詞。中文分詞在搜索引擎中屬于很重要的一個科學(xué)分支，通常的做法是，為保證搜索的召回率，在構(gòu)建索引時使用細粒度分詞，為保證精度，在查詢的時候使用粗粒度分詞。

分詞算法主要包括基于詞典的分詞和基于機器學(xué)習(xí)的分詞，基于詞典的使用了傳統(tǒng)的基于字符串匹配的方法，以預(yù)先寫好的正則表達式作為策略，將待分詞的文本信息與一個類似詞典的知識庫進行匹配，若詞典中包含了該詞條，則識別為匹配，由于漢字固有特性，通常出現(xiàn)一個單詞屬于詞典中多個單詞的子集，出現(xiàn)一對多的關(guān)系，造成歧義，因此需要制定相關(guān)的匹配粒度，常使用的包括正向最大匹配法，在一些文章中也稱之為最長詞有限匹配法，雙向匹配法等。隨著機器學(xué)習(xí)和人工智能的興起，單純的使用正則匹配策略無法達到分詞應(yīng)有的準(zhǔn)確率和召回率。現(xiàn)階段，通常使用機器學(xué)習(xí)與詞典算法相結(jié)合的方式，在保證精確度的前提下，提升領(lǐng)域適應(yīng)性。

二、詞向量

語言作為人類進化過程中總結(jié)、傳承知識的載體，具有極高的抽象性，僅根據(jù)字面意義，機器幾乎無法判定兩個詞語之間的關(guān)系，因此，如何對文本數(shù)據(jù)進行合理的劃分，即特征工程，使得文本數(shù)據(jù)能夠被神經(jīng)網(wǎng)絡(luò)等機器學(xué)習(xí)模型使用，變得尤為重要，常見的詞向量模型包括獨熱表示和分布式表示。

單詞的獨熱表示，是根據(jù)其英文含義one-hot representation翻譯而來的，獨熱表示在處理結(jié)構(gòu)化數(shù)據(jù)的過程中表現(xiàn)了優(yōu)異的性能，將數(shù)據(jù)進行符號化，在用戶推薦等領(lǐng)域占到了主導(dǎo)的地位[29]。設(shè)機器學(xué)習(xí)模型所有的輸入集合為N，定義一個列向量，V=[P1，P2，P3，……，PN]，其維度為N，且每個維度上的取值僅有0和1兩種選項，每個位置均描述了輸入的一種可能條件是否存在，如果存在，則置1，如果不存在，則為0，因此，為了描述單個節(jié)點的輸入內(nèi)容，任何時刻，一個列向量中只可能有一位為1。以“機器學(xué)習(xí)”，“軍事”，“網(wǎng)絡(luò)”，“輿情”，“分析”這五個詞為例，其輸入集合N=5，則器編碼為：“分析”：[0，0，0，0，1]

當(dāng)輸入情況較多時，為了避免向量維度過高產(chǎn)生的不必要運算，使用Hash表為每個單詞分配編號。這種表示方法在進行一般的二分類或多分類的過程中，極大地解決了計算機語言與實際情況之間的映射問題，如MINIST數(shù)據(jù)集中，對于手寫數(shù)字的識別只可能為0到9中的一個，共計10中可能，使用獨熱編碼完全可以滿足要求，而面對文本識別的問題時，文本中的單詞量非常大，以在“中華軍事網(wǎng)”2018年3月1日發(fā)布的文章“中國空軍發(fā)布殲-16宣傳片，飛行畫面披露”為例，其中共有498個字，使用中科院計算所的NLPIR的分詞器得到了共計169個單詞，為了能夠描述這篇短文，需要構(gòu)建169維的列向量對每個單詞進行表示，隨著文章的篇幅不斷增加，這個數(shù)字會不斷擴充，最終由于維度過大導(dǎo)致計算量過載。在自然語言處理方面，獨熱編碼的缺點主要包括：一是使用獨熱編碼表示自然語言維度過大，難以計算;二是任意詞語之間是孤立的，無法結(jié)合上下文對語義進行分析，即無法解決詞匯鴻溝問題。

通過分析獨熱編碼的缺點，明確了在對自然語言進行處理時，單詞向量化的目標(biāo)包括緯度不能過大，否則會出現(xiàn)計算過載的問題，同時，需要不僅要刻畫目標(biāo)詞本身的含義，還需要刻畫其上下文的關(guān)系。根據(jù)Harris與1954年提出的分布假設(shè)，表明單個單詞的語義需要由其上下文決定。其核心思想為：通過對語言進行訓(xùn)練，得出每個詞的低緯向量表示，通常維度為50到100之間，這里所談及的低緯度是相對于獨熱編碼動輒成百上千維度而言的，可以得到一個向量空間，該語言所有的詞語都可以在向量空間中進行定位，通過訓(xùn)練，可以得到空間點的距離，在對語義進行相似度判定是，可以引入空間距離，很好的結(jié)合了上下文。將單詞映射到三維空間中，基于對已經(jīng)人工標(biāo)記文章的訓(xùn)練，可以通過模型將所有單詞均映射在同一個三維空間中，亦可以得到其距離。根據(jù)建模方式的不同，將分布式表示分為基于矩陣的分布式表示、基于聚類的分布式表示和基于神經(jīng)網(wǎng)絡(luò)的分布式表示。

綜上，詞向量在自然語言處理中扮演著重要的角色，使用機器學(xué)習(xí)、深度學(xué)習(xí)等模型能夠有效地對單詞進行分詞和向量化，為下一步的文本分析和話題識別提供適用于模型的優(yōu)質(zhì)數(shù)據(jù)。

參考文獻：

[1]朱丹浩，楊蕾，王東波.基于深度學(xué)習(xí)的中文機構(gòu)名識別研究一種漢字級別的循環(huán)神經(jīng)網(wǎng)絡(luò)方法[J].數(shù)據(jù)分析與知識發(fā)現(xiàn)，2017，32（12）：36-43.

[2]牛耘，潘明慧，魏歐，等.基于詞典的中文微博情緒識別[J].計算機科學(xué)，2014，41（9）：253-258.