深度學(xué)習(xí)下的情感分析與推薦算法

郭 慧，柳 林，劉 曉，程 鵬

(山東科技大學(xué)測繪科學(xué)與工程學(xué)院，山東 青島 266590)

如今的餐飲越來越離不開網(wǎng)絡(luò)，在篩選商家時歷史評價起到至關(guān)重要的作用。傳統(tǒng)的美食推薦算法只是基于用戶的地理位置、歷史消費(fèi)及瀏覽記錄，未充分利用用戶的反饋數(shù)據(jù)。本研究利用情感分析技術(shù)將海量的評價數(shù)據(jù)作為個性化推薦的依據(jù)。情感分析(sentiment analysis，SA)是通過用戶對產(chǎn)品的評價，判斷用戶情感態(tài)度的分類過程[1]，主要包括語義方法與機(jī)器學(xué)習(xí)方法[2]。利用機(jī)器學(xué)習(xí)進(jìn)行情感分析的結(jié)果更精準(zhǔn)，有廣闊的研究空間[3]。最早，Pang等[4]作了初步探索，此后，Mikolov等[5-6]系統(tǒng)性提出word2vec框架，Socher等[7-8]提出利用循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行情感分析?；谇叭说难芯?，本文將重點討論利用優(yōu)化循環(huán)神經(jīng)網(wǎng)絡(luò)對美食評價數(shù)據(jù)進(jìn)行情感分析與推薦算法的實現(xiàn)。

1 傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)的情感分析

循環(huán)神經(jīng)網(wǎng)絡(luò)是一種對序列數(shù)據(jù)建模的網(wǎng)絡(luò)[9]，其結(jié)構(gòu)如圖1所示。

圖1 循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

a〈n〉=g1(Waaa〈n-1〉+WaxX〈n〉+ba)

(1)

(2)

式中，g1為tanh或Rell激勵函數(shù)；g2為sigmoid激勵函數(shù)；ba、by為偏重值。

2 多重屬性聚類加權(quán)輸出的循環(huán)神經(jīng)網(wǎng)絡(luò)

2.1 屬性聚類

不同用戶評價時采用的屬性詞不同，為避免龐大的計算量[10]，本研究提出一種屬性聚類的方法。首先，根據(jù)評價主題，建立n個母類屬性W母類={W1，…，Wn}，然后識別評價中的屬性詞w={w1，…，wm}(n

similarity(W母類，w)=

(3)

計算結(jié)果越大表示此屬性詞與該母類屬性的含義越相似。不同于傳統(tǒng)PMI計算表達(dá)式，本公式經(jīng)試驗調(diào)試引入?yún)?shù)，增大共現(xiàn)概率的準(zhǔn)入口徑以提高特定主題評價信息的權(quán)重。

2.2模型結(jié)構(gòu)

傳統(tǒng)利用循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行情感分析的方法僅僅是多對一的RNN結(jié)構(gòu)，不利于捕捉用戶對店鋪不同屬性的情感態(tài)度。因此，本研究提出一種基于聚類屬性加權(quán)輸出的循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN-multiple attribute clustering weighting output，RNN-MACWO)模型，如圖2所示。

圖2 多重屬性聚類加權(quán)輸出的循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

對第一個屬性“味道”的態(tài)度詞進(jìn)行情感分析后，得到第一部分的分析結(jié)果，然后參數(shù)重置，分析下一個屬性的情感得分，最終將每一個屬性得分按照注意力機(jī)制分配得出該條評價總體的情感態(tài)度。

2.3 注意力機(jī)制

為了符合情感表達(dá)的一般特點，對評價內(nèi)容的分析需要有所側(cè)重，因此，引入注意力機(jī)制，提高特定詞句的注意力參數(shù)，參數(shù)計算公式為

(4)

2.4 模型訓(xùn)練

本模型的情感分類器采用多分類模型，訓(xùn)練分類器時選用Softmax函數(shù)[11]，將交叉熵作為損失函數(shù)，L2函數(shù)作正則化(如式(5)所示)，利用反向傳播進(jìn)行參數(shù)的修正[12]。

(5)

3 基于店鋪屬性與用戶聚類推薦

3.1 建立商鋪數(shù)據(jù)庫

為了利用RNN-MACWO模型更高效地分析海量評價信息，建立商鋪數(shù)據(jù)庫，該數(shù)據(jù)庫包含屬性、好評、中評、差評4個字段，屬性字段中包括環(huán)境、味道等屬性詞，在好、中、差評價中分別添加與更新店鋪的名稱。

3.2 用戶聚類與用戶數(shù)據(jù)庫

每位用戶對店鋪的關(guān)注點和挑剔度不同，而這些信息往往體現(xiàn)在其評價中，基于這兩個特征聚類相似用戶并建立數(shù)據(jù)庫，使之作為推薦商家的依據(jù)，具有更強(qiáng)的匹配度與個性化。

(6)

式中，j為店鋪；i為用戶，分別設(shè)定0、1、2為低、中、高挑剔度的標(biāo)簽。將每位用戶的關(guān)注點與其挑剔度映射到某一空間，采用余弦相似度計算公式(如式(7)所示)對用戶進(jìn)行相似聚類并為每位用戶建立數(shù)據(jù)庫，包含用戶名、關(guān)注點、挑剔度、相似用戶4個字段。

(7)

3.3 構(gòu)建推薦算法

(8)

4 試驗過程與驗證

4.1 數(shù)據(jù)預(yù)處理

本文利用GooSeeker數(shù)據(jù)爬取工具得到美團(tuán)軟件中2016—2018年80家店鋪的美食評價數(shù)據(jù)，總計3萬條。數(shù)據(jù)涵蓋：店鋪名稱、人均消費(fèi)、評價用戶、評價時間、評價內(nèi)容與星級評分。綜合用戶的評價與評分，人工為評價的情感態(tài)度建立標(biāo)簽，然后引用jieba分詞工具對數(shù)據(jù)進(jìn)行分詞操作后刪除停用詞，再進(jìn)行文本數(shù)字化[13]。

4.2 建立詞庫

建立屬性詞庫。根據(jù)評價內(nèi)容，確定10個關(guān)于美食店鋪的母類屬性詞，包含環(huán)境、味道、服務(wù)等，利用本文提出的屬性聚類方法，將評價數(shù)據(jù)中其他的屬性詞依次聚類到母類屬性詞中得到屬性詞庫。強(qiáng)注意力詞句庫的建立，包含否定詞、程度詞、轉(zhuǎn)折詞，將“下次再去”等這類表示高度認(rèn)可的詞語納入強(qiáng)注意力詞庫中。

4.3 試驗流程

本試驗的主要流程如圖3所示。

4.4 RNN-MACWO模型試驗對比分析

本試驗共3萬條評價數(shù)據(jù)，將其中80%作為訓(xùn)練數(shù)據(jù)，20%作為交叉驗證數(shù)據(jù)。對訓(xùn)練結(jié)果評價的指標(biāo)主要包括：精準(zhǔn)率(precision)、召回率(recall)和F1-Measure[14]。

經(jīng)過3項指標(biāo)檢測，得到RNN-MACWO模型的測試結(jié)果，見表1。

圖3 情感分析與店鋪推薦試驗流程

標(biāo)簽precisionrecallF1好評0.860760.837960.84920中評0.811540.819800.81564差評0.878640.893360.88593

為更好驗證本研究所提出模型作情感分析的質(zhì)量，利用相同試驗數(shù)據(jù)分別對多層全連接神經(jīng)網(wǎng)絡(luò)模型(multilayer fully connected neural network，MFCNN)與長短記憶神經(jīng)網(wǎng)絡(luò)模型(long short-term memory，LSTM)作試驗對比[15]，測評結(jié)果見表2、表3。

表2 MFCNN模型測試結(jié)果

表3 LSTM模型測試結(jié)果

為了更直觀地比較分析測評結(jié)果，將其可視化，如圖4、圖5、圖6所示。

由圖可知，RNN-MACWO模型相較于另外兩種模型的準(zhǔn)確率有所提高，尤其體現(xiàn)在好評與差評的分類上，因為本模型結(jié)合屬性多輸出結(jié)果，并引入注意力參數(shù)，增強(qiáng)了模型對情感態(tài)度的敏感度，使情感特征更清晰。且本模型具有更高的召回率，因為本模型提高轉(zhuǎn)折詞與否定詞后的評價內(nèi)容的權(quán)重，使模型對消極情感的捕捉更精準(zhǔn)可靠。

圖4 3種模型的準(zhǔn)確率對比圖

圖5 3種模型的召回率對比圖

圖6 3種模型的F1值對比圖

4.5 推薦算法試驗分析

為驗證本文提出推薦算法的準(zhǔn)確性，基于80%的訓(xùn)練數(shù)據(jù)為其余20%的用戶做推薦，將得分排名前8的商鋪作為最終推薦商家，利用標(biāo)簽中的好評商鋪驗證推薦效果。

根據(jù)標(biāo)簽信息，該20%評價數(shù)據(jù)中包含2249條好評，經(jīng)測算，利用推薦算法得到的推薦商鋪在好評商鋪中占比高達(dá)92%，由此可見，本推薦算法具有較高的可靠性，符合用戶對優(yōu)質(zhì)商鋪快速篩選的需求。

5 結(jié) 語

本文利用深度學(xué)習(xí)提出了一種RNN-MACWO情感分析模型。該模型挖掘出用戶潛在興趣點，利用注意力機(jī)制得到細(xì)粒度的分析結(jié)果。綜合考慮大量語料與特定主題下屬性詞的相似度，提出了一種屬性聚類算法，實現(xiàn)屬性詞聚類更全面準(zhǔn)確的效果，并結(jié)合商鋪數(shù)據(jù)與用戶偏好構(gòu)建推薦算法，達(dá)到個性化推薦效果，也為商家及時得到用戶反饋，提升店鋪品質(zhì)創(chuàng)造了可能。