攻擊性言論識(shí)別的研究

萬珂藍(lán)

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都610065）

0 引言

社交是人們?nèi)粘Ｉ钪兄匾幕顒?dòng)之一。人們的社交渠道之所以產(chǎn)生了質(zhì)的飛躍，這都離不開互聯(lián)網(wǎng)的興起和發(fā)展。隨著各種網(wǎng)絡(luò)平臺(tái)的出現(xiàn)，人們分享和獲取信息的成本變得十分低廉，然而方便的同時(shí)攻擊性言論也充斥在人們視野中。本文將攻擊性言論定義為能夠激怒個(gè)體或群體的文字內(nèi)容，其包含方面甚廣，涉及仇恨言論、人身攻擊、騷擾、嘲諷等。近年來，言論濫用相關(guān)的研究越來越得到重視。皮尤研究中心2017 年針對(duì)美國網(wǎng)絡(luò)騷擾的調(diào)查報(bào)告[1]指出，受調(diào)查的美國成年人中有41%曾在網(wǎng)絡(luò)上經(jīng)歷過騷擾行為；《2018 中國青少年互聯(lián)網(wǎng)使用與網(wǎng)絡(luò)安全情況調(diào)研報(bào)告》[2]也說明了受調(diào)查的青少年中有71.11%遭遇過暴力辱罵、77%經(jīng)歷過侮辱嘲笑。

防止攻擊性言論的濫用對(duì)維護(hù)社會(huì)和諧有重要意義。有效避免言論濫用的基礎(chǔ)是快速自動(dòng)且準(zhǔn)確地識(shí)別攻擊性言論。本文旨在對(duì)目前主流的攻擊性言論識(shí)別成果進(jìn)行介紹。識(shí)別任務(wù)本質(zhì)是對(duì)文本進(jìn)行分類，分類方法大致能分為兩種：一類是基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法，該方法首先需要對(duì)文本進(jìn)行特征的挖掘，然后使用合適的機(jī)器學(xué)習(xí)算法對(duì)特征進(jìn)行分類。第二類是基于深度學(xué)習(xí)的方法，該方法需要將文本轉(zhuǎn)換為對(duì)應(yīng)的向量，將其作為輸入?yún)⑴c到深度學(xué)習(xí)模型的訓(xùn)練，訓(xùn)練好的模型則可以對(duì)文本進(jìn)行分類。

1 文本特征

使用基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法進(jìn)行文本分類時(shí)，輸入的特征數(shù)據(jù)會(huì)對(duì)算法結(jié)果產(chǎn)生影響，所以為算法找到正確的特征是重點(diǎn)也是難點(diǎn)。對(duì)不同任務(wù)，適用的特征可能不同，也可能需要多種特征混合使用以達(dá)到更優(yōu)的效果。

（1）詞典

使用字典/詞典是文本挖掘中最簡(jiǎn)單的方法。此類方法需要構(gòu)建盡量完備的任務(wù)相關(guān)詞典，然后對(duì)目標(biāo)文本進(jìn)行關(guān)鍵詞匹配并計(jì)數(shù)，匹配結(jié)果可直接作為特征，計(jì)數(shù)結(jié)果可用于計(jì)算程度得分。在攻擊性言論檢測(cè)中，使用到的詞典一般會(huì)包括：臟話、含有冒犯意味的代詞、俗語、常出現(xiàn)的網(wǎng)絡(luò)詞等。Elisa Bassignana 等人[3]創(chuàng)建了多語言仇恨詞匯詞典HurtLex，其中不僅包含相關(guān)詞匯，還帶有詞匯特性。經(jīng)過人工評(píng)估過濾后留下精準(zhǔn)信息，機(jī)器翻譯為53 種語言，根據(jù)人工結(jié)果分為廣義和狹義兩個(gè)版本，可作為多語言的言論濫用檢測(cè)工具。詞典方法只負(fù)責(zé)為文本匹配提供基礎(chǔ)，將句子看做詞匯或短語的集合，不考慮上下文關(guān)系。

（2）N-Grams

N-Grams 是文本檢測(cè)任務(wù)中最常用的技術(shù)，同樣也是攻擊性言論識(shí)別任務(wù)中常使用的特征之一。最常見的N-Grams 方法是將句子中N 個(gè)連續(xù)單詞分為一組，然后枚舉所有組合并計(jì)算其出現(xiàn)次數(shù)。N-Grams相對(duì)于詞典，一定程度上考慮了上下文詞匯間的關(guān)系。在攻擊性言論檢測(cè)任務(wù)中，字符N-Grams 比單詞N-Grams 表現(xiàn)更好[4]，這是由于用戶可能在發(fā)表攻擊性言論時(shí)為了避免詞典的搜索，對(duì)敏感詞匯進(jìn)行了有意的錯(cuò)誤拼寫。N-Grams 的難點(diǎn)在于N 值的選擇，N 值過大會(huì)影響文本處理速度，N 值過小則可能忽略掉關(guān)系信息直至退化為詞典方法。N-Grams 通常與其他特征結(jié)合時(shí)表現(xiàn)更優(yōu)。Cynthia Van Hee 等人[5]在社交媒體網(wǎng)絡(luò)欺凌檢測(cè)任務(wù)中使用了N-Grams 方法，通過驗(yàn)證，當(dāng)單獨(dú)使用特征時(shí)，表現(xiàn)最好的是單詞N-Grams 方法，在英文數(shù)據(jù)中F1 得分為0.60。但是結(jié)合了其他特征之后整體效果提高了4 個(gè)百分點(diǎn)。

（3）情感特征

文本情感分析是自然語言處理中一個(gè)不同于攻擊性言論識(shí)別的任務(wù)，但情感特征在攻擊性言論識(shí)別中是有意義的。一般而言，攻擊性言論在情感極性上更有可能是消極負(fù)面的。當(dāng)然，并非所有極性為負(fù)的言論都是攻擊性的，所以情感特征需要和其他特征結(jié)合在一起使用。在文本情感分析任務(wù)中，可以使用基于情感詞典的方法，還可以使用基于機(jī)器學(xué)習(xí)的方法。Hajime Watanabe 等人[6]在Twitter 仇恨言論檢測(cè)任務(wù)中使用了基于情感詞典的方法提取出的情感特征，從每條推文中提取正負(fù)詞匯數(shù)目、正負(fù)俚語數(shù)目、正負(fù)表情符號(hào)數(shù)目、正負(fù)標(biāo)簽數(shù)目，然后計(jì)算得分值用于判斷極性。

列舉了攻擊性言論識(shí)別任務(wù)中常用的三種特征，識(shí)別任務(wù)中還有更多的特征：可用于故意錯(cuò)誤拼寫檢測(cè)的距離度量特征、能提高語境重要性的詞性特征、主題分類特征、模式特征等。

2 基于機(jī)器學(xué)習(xí)的方法

基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法在攻擊性言論識(shí)別任務(wù)中的應(yīng)用十分廣泛。此類方法通常會(huì)先提取文本特征，相應(yīng)特征的選擇基于特定的任務(wù)內(nèi)容，然后再使用機(jī)器學(xué)習(xí)算法作為分類器進(jìn)行學(xué)習(xí)，不同的算法對(duì)特征的適應(yīng)性不一，最后的效果也會(huì)有些許差別。當(dāng)然，基于傳統(tǒng)機(jī)器學(xué)習(xí)的算法不僅可以用于檢測(cè)分類任務(wù)，還可以用于特征提取任務(wù)，但在攻擊性言論的特征提取任務(wù)中可能會(huì)因?yàn)閿?shù)據(jù)稀疏而導(dǎo)致特征提取難度較大，所以主流使用傳統(tǒng)機(jī)器學(xué)習(xí)的方法都是先提取特征，然后再使用分類器進(jìn)行分類。

2.1 相關(guān)技術(shù)

基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法在分類器的選擇上提供了多種可能。一般研究都是以實(shí)驗(yàn)結(jié)果為標(biāo)準(zhǔn)，然后再確定最合適的分類器。在攻擊性言論識(shí)別任務(wù)中常用的分類器有邏輯回歸、支持向量機(jī)、隨機(jī)森林、樸素貝葉斯等。

（1）邏輯回歸（Logistic Regression）

邏輯回歸又稱對(duì)數(shù)幾率回歸，常用于二分類問題，以估計(jì)目標(biāo)屬于某一個(gè)類別的可能性。邏輯回歸因其簡(jiǎn)單、可并行的特點(diǎn)而被廣泛使用。邏輯回歸首先假設(shè)數(shù)據(jù)服從某個(gè)分布，然后使用極大似然法進(jìn)行估計(jì)。邏輯回歸可以簡(jiǎn)單理解為以線性回歸模型為基礎(chǔ)的，使用了Sigmoid 函數(shù)以引入非線性因素的分類模型，其目標(biāo)是為了盡量好地?cái)M合非線性決策邊界。決策邊界可以標(biāo)識(shí)出分類邊界，結(jié)合決策函數(shù)就能得出目標(biāo)樣本的類別。

（2）支持向量機(jī)（SVM）

支持向量機(jī)也是一種線性分類器，是使用監(jiān)督學(xué)習(xí)方式進(jìn)行二分類的廣義線性分類器。其目標(biāo)是找到具有最大間隔的劃分超平面即決策邊界。SVM 在圖像、文本分類領(lǐng)域應(yīng)用廣泛。實(shí)際問題可分為線性可分與線性不可分兩種情況：線性可分即樣本特征空間中存在能使兩個(gè)類別分開且與之間隔最大的劃分超平面，在這種情況下，SVM 需要通過監(jiān)督學(xué)習(xí)找出這個(gè)超平面。線性不可分即樣本特征空間中存在的是超曲面，此時(shí)一般思路是將樣本從原始空間通過核函數(shù)映射到一個(gè)更高維的特征空間中，使得樣本在高維特征空間內(nèi)線性可分，以此將問題轉(zhuǎn)化，常用的核函數(shù)包括了高斯核函數(shù)、Sigmoid 核函數(shù)等。

（3）隨機(jī)森林（Random Forest）

隨機(jī)森林是包含了多個(gè)決策樹的機(jī)器學(xué)習(xí)算法，其分類結(jié)果由單個(gè)決策樹輸出類別的眾數(shù)決定。決策樹是基于樹結(jié)構(gòu)的，決策樹的葉節(jié)點(diǎn)對(duì)應(yīng)于決策樹的決策結(jié)果，通常需要經(jīng)過一系列判斷才能得到。決策樹的學(xué)習(xí)目標(biāo)是找出準(zhǔn)確分類邊界的同時(shí)樹的泛化能力能保持較強(qiáng)。在構(gòu)建樹的過程中會(huì)不斷剪枝優(yōu)化以防止出現(xiàn)過擬合現(xiàn)象降低模型的泛化能力。同時(shí)，決策樹的分類邊界有軸平行的特點(diǎn)，結(jié)合特殊的樹形結(jié)構(gòu)也使得結(jié)果相較于其他算法擁有較好的可解釋性。隨機(jī)森林在決策樹的基礎(chǔ)上，數(shù)據(jù)和待選特征都是隨機(jī)選取的。在攻擊性言論識(shí)別任務(wù)中，通常數(shù)據(jù)比較稀疏且類別不平衡，使用隨機(jī)森林可以在一定程度上平衡誤差。

2.2 國內(nèi)外研究

Thomas Davidson 等人[7]在研究仇恨言論自動(dòng)識(shí)別的研究中，從Twitter 上獲取了隨機(jī)推文并分為仇恨、冒犯和中性三類。他們使用了多種N 值的N-Grams 特征以及語法特征，分類器使用了邏輯回歸、樸素貝葉斯、決策樹和線性SVM。實(shí)驗(yàn)結(jié)果表明邏輯回歸和線性SVM 的效果顯著優(yōu)于其他算法。

Shervin Malmasi 等人[8]同樣在仇恨言論檢測(cè)的研究中使用了Twitter 數(shù)據(jù)。并且使用了基于字符的和基于詞匯的不同N 值的N-Grams 特征，然后直接使用線性SVM 作為多分類任務(wù)的分類器。通過實(shí)驗(yàn)結(jié)果，發(fā)現(xiàn)使用4 個(gè)字符為一組的N-Grams 作為特征能得到最高的精確度，但是與基線模型還有一定差距，說明這些特征并不能很好地表示樣本。

Despoina Chatzakou 等人[9]在對(duì)Twitter 進(jìn)行網(wǎng)絡(luò)欺凌檢測(cè)時(shí)使用了多種特征，基于用戶的、基于文本的以及基于社交網(wǎng)絡(luò)的特征。分類器在比較多種樹算法之后選擇了由10 棵決策樹組成的隨機(jī)森林。實(shí)驗(yàn)在數(shù)據(jù)集上的結(jié)果精準(zhǔn)度較高，也說明了結(jié)合多種類型的特征之后能提高分類的效果。

George W.Kennedy III 等人[10]在網(wǎng)絡(luò)騷擾的研究中使用了字符N-Grams、單詞N-Grams、情感極性等特征，然后以實(shí)驗(yàn)效果最好的隨機(jī)森林作為分類器對(duì)特征進(jìn)行學(xué)習(xí)。學(xué)習(xí)了從Twitter 和Reddit 上獲取的評(píng)論，分類F1 得分達(dá)到了0.90 的優(yōu)秀效果。

3 基于深度學(xué)習(xí)的方法

近年來，深度學(xué)習(xí)在自然語言處理中應(yīng)用范圍逐漸增加。深度學(xué)習(xí)可以通過簡(jiǎn)單的表示來構(gòu)建復(fù)雜的表示，旨在學(xué)習(xí)樣本數(shù)據(jù)的規(guī)律和表示。簡(jiǎn)單而言，深度學(xué)習(xí)可以自行學(xué)習(xí)樣本的特征，并進(jìn)一步分析。盡管深度學(xué)習(xí)從屬于機(jī)器學(xué)習(xí)的范疇，但相比傳統(tǒng)機(jī)器學(xué)習(xí)算法，深度學(xué)習(xí)擁有較復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)，能結(jié)合簡(jiǎn)單特征形成復(fù)雜表示。在文本挖掘任務(wù)中使用深度學(xué)習(xí)，首先需要將文本處理為合適的詞向量作為輸入，然后構(gòu)建網(wǎng)絡(luò)結(jié)構(gòu)用于訓(xùn)練。在攻擊性言論識(shí)別任務(wù)中，使用深度學(xué)習(xí)方法通常效果會(huì)比傳統(tǒng)機(jī)器學(xué)習(xí)方法更好，但詞向量的優(yōu)劣會(huì)對(duì)訓(xùn)練結(jié)果產(chǎn)生影響。

3.1 相關(guān)技術(shù)

在自然語言處理領(lǐng)域，詞向量的訓(xùn)練可以作為一個(gè)單獨(dú)的任務(wù)，其成果也為下游任務(wù)提供了基礎(chǔ)。深度學(xué)習(xí)可以理解為表示學(xué)習(xí)，起源于對(duì)神經(jīng)網(wǎng)絡(luò)的研究，通過增加隱層的數(shù)目使網(wǎng)絡(luò)結(jié)構(gòu)更深，將低層的特征表示轉(zhuǎn)化為高層的特征表示以完成更為復(fù)雜的任務(wù)。

（1）詞嵌入

詞嵌入是語言模型與表征學(xué)習(xí)的統(tǒng)稱，目的是將文本中的詞語映射為向量空間中的向量。簡(jiǎn)單而言，就是把文本形式轉(zhuǎn)化為數(shù)字向量形式。最基本的詞嵌入方法為One-Hot 編碼，即獨(dú)熱編碼。獨(dú)熱編碼根據(jù)文本詞匯數(shù)目轉(zhuǎn)化為0/1 向量形式，只有對(duì)應(yīng)詞的位置為1，其余位置為0。獨(dú)熱編碼在表示詞向量時(shí)不考慮詞之間的相關(guān)性，而Word2Vec 方法[11]則會(huì)查看詞的上下文并以數(shù)字向量形式表示出來。Word2Vec 是目前較主流的詞向量表示方法，分為連續(xù)詞袋模型（CBOW）和Skip-gram 模型，CBOW 模型從上下文單詞預(yù)測(cè)目標(biāo)單詞，Skip-gram 模型從目標(biāo)單詞預(yù)測(cè)上下文單詞。近年，預(yù)訓(xùn)練模型的成果顯著，Glove 全局向量表示[12]、BERT 多語言預(yù)訓(xùn)練模型[13]等模型的分享，使詞嵌入技術(shù)進(jìn)入新的高度。

（2）深度神經(jīng)網(wǎng)絡(luò)

在文本分類任務(wù)中，最常見的基礎(chǔ)深度神經(jīng)模型有卷積神經(jīng)網(wǎng)絡(luò)模型（CNN）以及循環(huán)神經(jīng)網(wǎng)絡(luò)模型（RNN）。卷積神經(jīng)網(wǎng)絡(luò)由輸入層、隱含層、輸出層構(gòu)成，其深度體現(xiàn)在隱含層的多層結(jié)構(gòu)中。隱含層主要包含對(duì)數(shù)據(jù)進(jìn)行特征提取的卷積層、對(duì)信息進(jìn)行過濾的池化層、對(duì)特征進(jìn)行非線性組合的全連接層。卷積神經(jīng)網(wǎng)絡(luò)在進(jìn)行文本建模時(shí)，通過卷積層的卷積核滑動(dòng)窗口對(duì)文本向量做卷積操作，用以提取文本局部的特征。通常文本詞匯之間是有上下文序列關(guān)系的，此時(shí)需要有序列信息處理能力的深度網(wǎng)絡(luò)，以此遞歸式的循環(huán)神經(jīng)網(wǎng)絡(luò)產(chǎn)生，其序列關(guān)系處理能力體現(xiàn)為每一刻的輸入都包含了上一刻隱層的輸出。最常見的循環(huán)神經(jīng)網(wǎng)絡(luò)是長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM），比基本的RNN多出了遺忘的功能，只有算法認(rèn)可的部分能被記憶，否則信息不重要被遺忘。

（3）注意力機(jī)制

注意力機(jī)制是對(duì)人類注意力行為的仿生模擬。當(dāng)閱讀時(shí)，人類對(duì)詞匯注意力的分布是不均勻的，注意力機(jī)制的目標(biāo)就是從任務(wù)中找到關(guān)鍵信息并賦予更高的權(quán)重。簡(jiǎn)單來講，注意力機(jī)制就是強(qiáng)化關(guān)鍵信息，弱化無關(guān)信息。注意力機(jī)制通常會(huì)根據(jù)具體的任務(wù)調(diào)整關(guān)注方向和加權(quán)模型。Ashish Vaswani 等人[14]將注意力定義為將查詢和一組鍵值對(duì)映射到輸出的方法。注意力機(jī)制有時(shí)空之分，也可以根據(jù)作用范圍分為全局權(quán)值計(jì)算和局部權(quán)值計(jì)算兩種。

3.2 國內(nèi)外研究

Pinkesh Badjatiya 等人[15]在Twitter 仇恨言論檢測(cè)中使用了CNN 和LSTM 的方法，實(shí)驗(yàn)表明深度學(xué)習(xí)效果在任務(wù)中的表現(xiàn)顯著優(yōu)于傳統(tǒng)機(jī)器學(xué)習(xí)，并且單獨(dú)使用網(wǎng)絡(luò)時(shí)CNN 的效果比LSTM 效果更優(yōu)，但結(jié)合梯度提升決策樹后LSTM 的效果明顯優(yōu)于CNN。

Ji Ho Park 等人[16]在言論濫用檢測(cè)任務(wù)中，考慮到Twitter 言論的特殊性，需要同時(shí)獲取詞匯級(jí)別和字符級(jí)別上的特征，所以使用了結(jié)合字符CNN 和單詞CNN的混合CNN 模型，同時(shí)提取不同級(jí)別的特征。從實(shí)驗(yàn)結(jié)果可以看出結(jié)合之后的模型比單獨(dú)的模型效果更優(yōu)秀。但針對(duì)不同標(biāo)簽的數(shù)據(jù)，在數(shù)據(jù)平衡性不一的情況下，可能適用的算法不同。

Shiwei Zhang 等人[17]在嘲諷識(shí)別任務(wù)中，使用了從情感分析任務(wù)中遷移的結(jié)合注意力機(jī)制的雙向長(zhǎng)短期記憶網(wǎng)絡(luò)。利用了在情感分析訓(xùn)練中學(xué)習(xí)到的隱式情緒特征，提高了模型檢測(cè)嘲諷言論中不協(xié)調(diào)性的能力。實(shí)驗(yàn)也說明了相較于單一的神經(jīng)網(wǎng)絡(luò)方法，結(jié)合相關(guān)特征之后效果會(huì)很好，同時(shí)通過遷移學(xué)習(xí)效果可能會(huì)更好。

Pushkar Mishra 等人[18]在言論濫用檢測(cè)任務(wù)中使用了圖卷積網(wǎng)絡(luò)，本質(zhì)上是加入了更多的相關(guān)信息如用戶個(gè)人信息、用戶社交信息等，而非單一的言論文本內(nèi)容。將特征作為圖節(jié)點(diǎn)輸入到圖卷積網(wǎng)絡(luò)中進(jìn)行學(xué)習(xí)，結(jié)合邏輯回歸和圖卷積網(wǎng)絡(luò)之后得到的結(jié)果令人驚喜。通過圖卷積網(wǎng)絡(luò)，模型能夠直接捕捉用戶的語言行為和群體結(jié)構(gòu)特征。

4 結(jié)語

本文對(duì)攻擊性言論識(shí)別任務(wù)進(jìn)行了研究。介紹了文本識(shí)別任務(wù)中可能使用到的典型文本特征，并歸類了兩種常用方法：基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法和基于深度學(xué)習(xí)的方法。攻擊性言論識(shí)別任務(wù)在近年來得到了很多關(guān)注，也有相關(guān)的比賽和研討會(huì)。攻擊性言論檢測(cè)可以應(yīng)用于網(wǎng)絡(luò)平臺(tái)的言論濫用對(duì)抗，也可以用在風(fēng)格遷移任務(wù)中。相信在未來，相關(guān)研究的熱度將持續(xù)。