BiLSTM_DPCNN模型在電力客服工單數(shù)據(jù)分類中的應(yīng)用①

李 燦,田秀霞,趙 波

(上海電力大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院,上海 200090)

電力客服系統(tǒng)作為供電企業(yè)與電力客戶交流的窗口,不僅為電力客戶提供了便捷的服務(wù),還直接客觀地反映客戶用電訴求[1,2],其工單數(shù)據(jù)記錄著電力客戶對供電企業(yè)的訴求信息,根據(jù)工單信息描述,準(zhǔn)確地定位用戶所屬類別,有利于提升客戶滿意度.目前對工單數(shù)據(jù)的分析方式,主要是由調(diào)查人員通過對用戶訴求數(shù)據(jù)的分析,來判別用戶需求信息所屬的服務(wù)類型[3,4].這種方式缺乏有效的分析方法,嚴(yán)重影響信息分析和解決問題的效率,直接影響到電力系統(tǒng)的高效運行和發(fā)展[5].因此,找到一種高效的工單分類方法來實現(xiàn)對工單數(shù)據(jù)進(jìn)行自動、準(zhǔn)確的分類,是電力客服系統(tǒng)亟待解決的主要問題[1].

傳統(tǒng)的工單分類,主要是采用特征工程和機(jī)器學(xué)習(xí)方法相結(jié)合的方式[6].林溪橋等[7]分析各種類型工單的出現(xiàn)規(guī)律,結(jié)合主成分分析方法,實現(xiàn)客服工單分類模型的優(yōu)化.Sun 等[8]利用中文數(shù)據(jù)挖掘的方法,對停電工單進(jìn)行分析,并結(jié)合支持向量機(jī)(Support Vector Machine,SVM)構(gòu)建了故障案例句子分類模型.上述分類模型雖然有著結(jié)構(gòu)簡單,訓(xùn)練速度快的優(yōu)點,但在分類過程中,依賴于特征工程的選擇,模型分類效果表現(xiàn)不突出.

近年來,神經(jīng)網(wǎng)絡(luò)技術(shù)被廣泛應(yīng)用到文本分類任務(wù)中[9].謝季川等[10]使用Word2Vec 語言模型訓(xùn)練電力工單數(shù)據(jù),得到電力文本詞向量,最后構(gòu)建多分類文本模型,實現(xiàn)95 598 電力工單分類任務(wù).劉梓權(quán)等[11]通過分析電力設(shè)備缺陷記錄,構(gòu)建了一種基于CNN的電力缺陷文本分類模型.受以上啟發(fā),我們將CNN 網(wǎng)絡(luò)用于工單數(shù)據(jù)的分類中.然而,分類的效果并不理想,這是因為工單數(shù)據(jù)存在依賴性強(qiáng)、冗余度高的特征,傳統(tǒng)的CNN 網(wǎng)絡(luò)在處理這些數(shù)據(jù)時遇到以下問題:

(1)文本表示:由于數(shù)據(jù)的高依賴性,在特征文本表示時,要考慮前后詞語間的語義關(guān)系;

(2)特征提取:在句子高級建模階段,使用CNN 網(wǎng)絡(luò)只能捕獲局部的語義信息,造成隱層語義信息丟失.

為了解決上述問題,本文將BiLSTM 與CNN 混合的神經(jīng)網(wǎng)絡(luò)應(yīng)用到工單分類的任務(wù)中,該模型充分利用了BiLSTM 遞歸序列模型學(xué)習(xí)句子中的全局語義信息的特點;CNN 結(jié)構(gòu)可以通過卷積運算,挖掘句子局部語義特征的優(yōu)勢.本文從以下3 個方向入手,并進(jìn)行創(chuàng)新:

(1)詞向量標(biāo)準(zhǔn)化:對詞向量作標(biāo)準(zhǔn)化處理,去除噪音,加快網(wǎng)絡(luò)訓(xùn)練收斂速度,提高分類精度;

(2)稀疏特征提取:由于數(shù)據(jù)稀疏性,包含大量的邊際信息,為了提取邊際有效信息,利用BiLSTM 代替RNN;

(3)特征融合:本文在卷積網(wǎng)絡(luò)上進(jìn)行改進(jìn),克服了Max-Pooling 丟失特征信息的問題,保留了強(qiáng)特征詞信息,捕獲全局深層的隱層語義信息.

1 相關(guān)工作

文本分類是將待分類文本數(shù)據(jù)合理地劃分到相應(yīng)的類別中,是有監(jiān)督學(xué)習(xí)的過程.工單文本也是文本分類中的經(jīng)典問題,通過分析文本特征,本文所采用的文本分類算法是基于BiLSTM 神經(jīng)網(wǎng)絡(luò)和CNN 網(wǎng)絡(luò)這兩種模型.以下分別對實驗中所涉及的相關(guān)技術(shù)進(jìn)行介紹.

1.1 向量模型

2013年,Hinton 提出了Word Embedding 概念,Word Embedding 方法將單詞映射到向量空間,不僅可以避免“維度災(zāi)害”問題,還能從更深層學(xué)習(xí)詞與詞之間的語義信息[12].與此同時,Mikolov 等[13,14]提出了Word2Vec 框架,該神經(jīng)網(wǎng)絡(luò)語言在語言訓(xùn)練時,考慮上下詞語義間的相關(guān)性.基于Word2Vec 模型解決了傳統(tǒng)的文本表示中數(shù)據(jù)稀疏和語義鴻溝的問題[15,16].本文實驗部分,采用上述神經(jīng)網(wǎng)絡(luò)語言模型得到文本的向量表示.

1.2 BiLSTM 神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)LSTM 網(wǎng)絡(luò)是RNN 網(wǎng)絡(luò)的擴(kuò)展,它解決了傳統(tǒng)RNN 網(wǎng)絡(luò)中梯度消失或爆炸問題[17].使用LSTM 網(wǎng)絡(luò)可以學(xué)習(xí)到當(dāng)前文本過去的信息,但無法編碼從后到前的信息,因此出現(xiàn)了BiLSTM 神經(jīng)網(wǎng)絡(luò)可以更好的捕捉雙向的語義依賴[18,19].網(wǎng)絡(luò)的結(jié)構(gòu)通常包括3 部分:輸入層、隱藏層和輸出層.BiLSTM 單元示意圖,如圖1所示.

上述計算公式為經(jīng)過LSTM 三個門信息保留計算表達(dá)式,其中,Wj是權(quán)重矩陣,bj是偏差向量,j∈{i,f,q,o}·?表示逐點相乘,σ是激活函數(shù).ft決定哪些信息需要從單元狀態(tài)中丟棄,it決定哪些值需要更新,ot決定模型的最終輸出.

圖1 BiLSTM 單元示意圖

本文實驗中使用BiLSTM 網(wǎng)絡(luò)是由兩個方向的LSTM 組成,使用前向和后向LSTM 網(wǎng)絡(luò)可以學(xué)習(xí)句子的上下文信息,得到全局的句子語義信息.

1.3 卷積神經(jīng)網(wǎng)絡(luò)

TextCNN是一種前饋神經(jīng)網(wǎng)絡(luò),最初應(yīng)用于計算機(jī)視覺,在圖像處理中有突出的表現(xiàn)[20].隨著深度學(xué)習(xí)的發(fā)展,CNN 被廣泛應(yīng)用自然語言處理的任務(wù)中,如文本分類、情感分析等[21,22].

TextCNN 網(wǎng)絡(luò)結(jié)構(gòu)主要包括卷積和池化層,實現(xiàn)過程如下:首先,將卷積層輸出的特征向量分別輸入最大池化層;其次,將池化的輸出結(jié)果拼接表示最終的句子特征向量.為了提取不同位置的局部信息,實驗中同時使用多個通道和不同卷積核大小進(jìn)行卷積操作.其結(jié)構(gòu)圖2所示.

圖2 TextCNN 網(wǎng)絡(luò)結(jié)構(gòu)示意圖

設(shè)給定矩陣W∈RM×N,卷積核F∈RM×N,且m?M,n?N,則卷積的表達(dá)式如(7)所示:

B表示卷積后的結(jié)果,卷積后得到由句子局部信息構(gòu)成的特征矩陣,輸入到Max-Pooling 層提取整個矩陣中最大值,作為當(dāng)前通道的特征信息,再與其他通道的特征信息融合,得到多通道組合篩選后的句子特征向量.

2 模型架構(gòu)與算法設(shè)計

考慮到傳統(tǒng)CNN 網(wǎng)絡(luò)在工單分類中不足,而BiLSTM 神經(jīng)網(wǎng)絡(luò)在文本分類中可以很好地提取上下文信息,在高級語義建模階段,CNN 網(wǎng)絡(luò)可以憑借多通道組合篩選,對句子進(jìn)行二次特征提取,從而得到句子特征向量.鑒于以上兩種模型的優(yōu)點,本文在BiLSTM+CNN 組合網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行優(yōu)化.即在TextCNN 網(wǎng)絡(luò)層中采用雙池化操作,我們稱之為雙池化的卷積神經(jīng)網(wǎng)絡(luò)(Double Pooling Convolution Neural Network,DPCNN),并將優(yōu)化后的組合模型應(yīng)用到電力客服工單數(shù)據(jù)的分類中,其模型結(jié)構(gòu)如圖3所示.整個分類過程從左向右,包括文本向量化表示和訓(xùn)練BiLSTM_DPCNN分類器兩部分,以下按模型的搭建過程逐一論述.

2.1 向量的優(yōu)化表示

在以往的模型訓(xùn)練過程中,都是直接將訓(xùn)練出的文本詞向量輸入到模型中,這種方法導(dǎo)致模型難收斂,分類準(zhǔn)確率低.究其原因,主要是因為短文本數(shù)據(jù)的高稀疏性,不同詞的出現(xiàn)頻率不同,對于一些高特征詞出現(xiàn)頻率較高,同時也存在邊緣流特征信息.這將使得到詞向量的權(quán)值存在較大的偏差,分布不均衡.

為了解決上述問題,本文實驗中采用Word2Vec 模型訓(xùn)練以字為單位的詞向量的前提下,并對詞向量進(jìn)行標(biāo)準(zhǔn)化處理,達(dá)到降噪效果.首先,遍歷詞匯表,統(tǒng)計每個單詞出現(xiàn)的次數(shù),計算其頻次;其次,計算所有詞的權(quán)重誤差;最后,采用標(biāo)準(zhǔn)化處理,得到均值表示的詞向量.再把處理后的詞向量作為訓(xùn)練模型的輸入,具體計算公式如下:

其中,fj表示單詞出現(xiàn)的次數(shù),k表示詞的個數(shù),vj表示對應(yīng)詞的權(quán)重.經(jīng)標(biāo)準(zhǔn)化后的詞向量,其范圍固定在一個固定值之間,弱化某些詞向量的權(quán)重值過大對模型的影響.加快網(wǎng)絡(luò)的收斂速度,提高模型的分類精度.

圖3 基于BiLSTM_DPCNN 混合神經(jīng)網(wǎng)絡(luò)模型

2.2 BiLSTM_DPCNN 分類模型

實驗中所采用的BiLSTM_DPCNN 組合模型的思想,充分利用了各個模塊的優(yōu)點.首先,待分類文本經(jīng)過數(shù)據(jù)預(yù)處理后通過Embedding Layer 層把單詞表示成模型可以識別的文本向量.再利用BiLSTM 網(wǎng)絡(luò)提取句子特征語義信息,由于文本在處理時,調(diào)用Keras庫提供的pad_sequence 方法將文本pad為固定長度,因此在BiLSTM 輸出時乘以MASK 矩陣來減小pad帶來的影響.最后,將BiLSTM的輸出作為改進(jìn)CNN網(wǎng)絡(luò)的輸入,進(jìn)行二次特征提取,最后實現(xiàn)分類.

BiLSTM_DPCNN 模型由輸入層、BiLSTM 層、卷積層、雙池化層、分類輸出層五部分組成.以下詳細(xì)介紹每一層的實現(xiàn)過程.

首先,采用BiLSTM 網(wǎng)絡(luò)學(xué)習(xí)每個字的向量語義,BiLSTM 因其雙向計算的特點,可以獲取目標(biāo)序列的“左序列”和“右序列”的文本信息.具體計算公式如下.

其中,Cl(xi)表示左邊的文本向量,Wl是一個從當(dāng)前隱藏層到下一隱藏層轉(zhuǎn)換的Wsl矩陣表示連接當(dāng)詞的左文本的語義信息.Cl(xi?1)表示前一個詞的左邊文本信息,E(xi?1)表示前一個詞的字向量.同理,可計算xi的右文本Cr(xi).

根據(jù)式(11)、式(12),得到當(dāng)前字xi的向量表示.計算公式如下:

其次,把BiLSTM 網(wǎng)絡(luò)層輸出的句子特征矩陣輸入到卷積層中進(jìn)行卷積操作,提取深層語義信息.經(jīng)卷積操作后,使用雙通道池化進(jìn)行特征篩選,進(jìn)而提取句子特征矩陣中相鄰文字的關(guān)聯(lián)特征,其中池化部分的具體計算公式如下:

其中,cmax表示最大池化的輸出,cavg表示平均池化的輸出,⊕表示拼接運算,h表示滑動窗口大小.該方法彌補了由于每次最大池化操作只能取一次最大值,從而丟失強(qiáng)特征詞信息的缺點.將兩個池化操作的結(jié)果進(jìn)行特征融合,保證了文本特征信息的完整性,得到的更全面的、深層次的句子特征.

最后,由雙池化層提取到句子的特征表示作為Softmax 層的輸入,分類過程的具體計算公式所示:

其中,y∈{0,1},Ws∈R|Z|,bs代偏置項,Z表示句子特征矩陣.

2.3 模型算法流程

BiLSTM_DPCNN 組合模型的算法過程如算法1.

算法1.BiLSTM_DPCNN 模型訓(xùn)練過程1)初始化模型參數(shù)配置,設(shè)置每批訓(xùn)練量batch_size和總迭代次數(shù)epochs;2)將由標(biāo)準(zhǔn)化后的字向量表示的句子信息輸入到BiLSTM 網(wǎng)絡(luò)層中,提取全局句子語義信息;3)將第2)步的輸出句子矩陣輸入到DPCNN 網(wǎng)絡(luò)中,通過卷積操作,進(jìn)一步捕獲局部語義信息;4)將第3)步中卷積后的結(jié)果分別輸入到雙通道池化層進(jìn)行降維操作,并將特征融合;5)將第4)步融合后文本向量經(jīng)過矩陣的concat和reshape 之后送入Softmax 分類器,輸出類別標(biāo)簽;6)模型訓(xùn)練過程中,采用mini-batch的梯度下降法進(jìn)行訓(xùn)練,訓(xùn)練過程中保存最優(yōu)的模型,減少再訓(xùn)練過程中的開銷;7)重復(fù)2)～6)步,設(shè)置epochs=50,若訓(xùn)練集的精度不在上升,則提前結(jié)束訓(xùn)練.

實驗中batch的大小設(shè)置為30,能夠獲得較好的效果,則所有參數(shù)θ的計算公式如下所示.

其中,λ表示學(xué)習(xí)率.

3 實驗設(shè)計及分析

3.1 實驗環(huán)境

本實驗基于Python 編程語言和Tensorflow 1.8.0深度學(xué)習(xí)框架展開,主要參數(shù)配置CPU:Intel Core i9-9900 K;內(nèi)存:32 GB;操作系統(tǒng):Windows 10.

3.2 數(shù)據(jù)來源和預(yù)處理

在本次實驗中采用來自電網(wǎng)公司客服工單記錄的真實數(shù)據(jù),數(shù)據(jù)主要記錄客戶對電力公司的用電反饋信息.其中每條工單數(shù)據(jù)以短文本的形式記錄著工單類別及相應(yīng)的信息反饋,共分為停電、安全隱患、停電未送電、電壓不穩(wěn)、缺相、供電故障、用戶資產(chǎn)故障7 個工單類別,下述分別用C1～C7命名.所有數(shù)據(jù)都經(jīng)過數(shù)據(jù)清洗和停用詞過濾,實驗中將數(shù)據(jù)集劃分為訓(xùn)練集、驗證集和測試集,其比例為3:1:1.

3.3 模型超參數(shù)設(shè)置

模型中主要參數(shù)包括字向量的維度d,濾波器的個數(shù)m等,另外BiLSTM 層中隱藏層層數(shù)為2 層,神經(jīng)元個數(shù)256 個.模型最優(yōu)參數(shù)設(shè)置如表1所示.

3.4 評估指標(biāo)

由于工單數(shù)據(jù)是多分類問題,工單類別分為7 類,采用查準(zhǔn)率(P),召回率(R),F1 值(F1)和宏平均(Macro_F1)等4 個指標(biāo),對分類的準(zhǔn)確度進(jìn)行評估,其計算公式如下:

其中,V表示工單類別個數(shù),TP表示正確的標(biāo)記為正,FP錯誤的標(biāo)記為正,FN錯誤的標(biāo)記為負(fù),TN正確的標(biāo)記為負(fù).

表1 模型參數(shù)配置

3.5 對比實驗設(shè)置

實驗中設(shè)置以下幾個分類模型來評估本文模型,通過對比模型驗證BiLSTM_DPCNN 模型的分類性能:

(1)TextCNN 模型.CNN 模型采用文獻(xiàn)[23]中的網(wǎng)絡(luò)結(jié)構(gòu),以字符粒度建模,使用卷積提取文本特征圖后,輸入到最大池化層,提取矩陣實現(xiàn)對文本的分類.

(2)BiLSTM 模型.BiLSTM 模型是由兩個不同方向的LSTM 組合,它可以同時捕獲上下文語義信息,解決了分類過程中長距離依賴問題.

(3)RCNN 模型.RCNN 模型采用文獻(xiàn)[24]中的結(jié)構(gòu),使用循環(huán)網(wǎng)絡(luò)學(xué)習(xí)單詞的上下文信息,得到當(dāng)前詞的向量表示,再通過一維卷積,提取句子特征,經(jīng)池化后輸入到Softmax 分類器中獲得分類結(jié)果,可以簡單看成LSTM和CNN的混合網(wǎng)絡(luò).

為了更好地評估模型,以上對比模型輸入的詞向量均是隨機(jī)生成,不做標(biāo)準(zhǔn)化處理.

3.6 實驗結(jié)果及分析

如表2所示,給出各個模型在電力客服工單數(shù)據(jù)集上的測試結(jié)果,其中Dev-Macro_F和Test-Macro_F分別表示在驗證集和測試集上的宏平均分?jǐn)?shù).

表2 實驗中各個模型分類精度

通過表2中的實驗結(jié)果可看出,BiLSTM 網(wǎng)絡(luò)在分類結(jié)果上與TextCNN 網(wǎng)絡(luò)相比而言,其在測試級上的精度,達(dá)到96%,明顯高于TextCNN 分類模型.這是因為BiLSTM 網(wǎng)絡(luò)具有記憶單元,選擇性記憶和遺忘信息,具有遞歸學(xué)習(xí)信息的優(yōu)勢,此外,又能捕獲前后兩個方向上的時序信息,在電力短文本數(shù)據(jù)集中表現(xiàn)突出.但是在一般的文本分類任務(wù)中,較多采用TextCNN結(jié)構(gòu),因為訓(xùn)練速度較快,模型易收斂.RCNN 網(wǎng)絡(luò)模型由于其結(jié)構(gòu)較為簡單,其分類指標(biāo)低于其他模型.而本文提出的將BiLSTM和DPCNN 網(wǎng)絡(luò)組合的模型,無論是在測試級和驗證集,模型的分類準(zhǔn)確率都表現(xiàn)最優(yōu).其在測試集上的Macro_F1 值較TextCNN 模型提高了2.0%.主要原因是因為在文本實驗中,不僅在網(wǎng)絡(luò)模型上進(jìn)行組合優(yōu)化,還在詞向量上做進(jìn)一步處理.具體而言,首先以字符級嵌入詞向量,從細(xì)粒度層次分析字與字之間的語義關(guān)系,并對詞向量進(jìn)行歸一化處理,減少數(shù)據(jù)噪音;其次,將 BiLSTM_DPCNN 模型應(yīng)用到客服工單數(shù)據(jù)的任務(wù)中.該模型首先,利用BiLSTM網(wǎng)絡(luò)具有“門控”結(jié)構(gòu),對句子特征信息選擇性保留,又可以同時捕獲上下文信息,在文本分類任務(wù)中具有較高的準(zhǔn)確率;其次,考慮到對TextCNN 網(wǎng)絡(luò)而言,不僅對相鄰語義信息的捕獲能力較強(qiáng),又能通過設(shè)置不同滑窗大小來提取不同位置的局部信息,最后融合多層卷積特征,得到較好的分類效果.但模型存在一個最大的弊端,即采用最大池化操作,只能取一次最大值,從而丟失強(qiáng)特征詞信息.因此,本文實驗中的在原有網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行改進(jìn),添加平均池化層,把卷積層提取的句子特征,分別輸入到最大池化和平均池化層,最終把池化輸出的特征進(jìn)行融合,通過全連接的方式和Softmax分類器,實現(xiàn)分類輸出.因此,在分類性能上要高于單一網(wǎng)絡(luò)結(jié)構(gòu).

由于本文以字為單位作為模型的輸入,所以在這里研究了字向量的特征維度對模型分類效果的影響.圖4表示字向量的特征維度從50 維變換到400 維的過程中,宏平均值(Macro_F1)的變化情況.由圖4可知,隨著字向量維度的逐漸增加,整體的分類性能不斷上升,但當(dāng)維度為超過300 時,分類性能趨于下降狀態(tài),原因是字符級別過大導(dǎo)致計算成本增大.本次實驗選300 作為字向量的表示維度,此時模型的分類效果最佳.

圖4 分類性能與字向量特征維度的關(guān)系

表3給出不同模型在各個分類中的P、R、F1 值,通過表3可以看出BiLSTM 模型在C1、C3、C6類別上的F1 值高于TextCNN 模型.RCNN 模型分別在C2、C5、C7類別上的F1 值高于BiLSTM 模型,尤其是在C5類別中F1 值相比BiLSTM 模型,提高了5%.但從整體分類效果看,本文模型表現(xiàn)優(yōu)于其他模型,其中最好的區(qū)分類別是C1和C5,F1 值達(dá)到99%和97%,在其他類別中的F1 值也均有提升.

表3 不同神經(jīng)網(wǎng)絡(luò)模型的實驗對比

表4給出不同模型的訓(xùn)練和測試時間對比,從表中數(shù)據(jù)可以看出,就訓(xùn)練時間而言,TextCNN 模型的訓(xùn)練速度快比BiLSTM 快很多,主要是因為該模型適合并行計算;本文實驗中的BiLSTM_DPCNN 混合模型,時間復(fù)雜度要高些.

表4 各模型時間復(fù)雜度對比(單位:s)

4 結(jié)論與展望

本文通過分析電力客服工單數(shù)據(jù)特征,基于字符級嵌入的BiLSTM_DPCNN 分類算法對工單文本進(jìn)行分類.在模型訓(xùn)練過程中,首先對詞向量進(jìn)行優(yōu)化表示;其次,使用BiLSTM 循環(huán)結(jié)構(gòu)學(xué)習(xí)上下文信息,獲取全局語義信息;最后,采用卷積雙池化方法提取全局最優(yōu)的語義特征值.通過與其他分類算法對比,驗證了該模型分類效果的優(yōu)越性.但在大量客服工單數(shù)據(jù)中仍存在可用樣本較少,不足以構(gòu)成訓(xùn)練集類別的問題.因此,下一步需對模型進(jìn)行完善使其同樣適用于樣本不均衡分布的客服工單數(shù)據(jù),這對促進(jìn)電網(wǎng)智能化發(fā)展有著重要意義.