吳舒霞，陳煉，高勝保

(1.南昌大學(xué) 信息工程學(xué)院，江西 南昌 330031；2.中國電信股份有限公司 江西分公司，江西 南昌 330029)

?

混合Markov與Bayes的客戶欠費(fèi)預(yù)測模型

吳舒霞1，陳煉1，高勝保2

(1.南昌大學(xué) 信息工程學(xué)院，江西 南昌 330031；2.中國電信股份有限公司 江西分公司，江西 南昌 330029)

為有效規(guī)避客戶欠逃費(fèi)和實(shí)現(xiàn)差異化處置，針對具有長期定時付費(fèi)特征的后付費(fèi)類服務(wù)，提出混合馬爾科夫與貝葉斯的客戶欠費(fèi)預(yù)測模型，基于全客戶多要素信息增益分析，給出潛在欠費(fèi)客戶的欠費(fèi)概率，為客戶欠費(fèi)預(yù)警和處置提供全面、客觀、精細(xì)的決策信息，并支持客戶差異化處置.首先，基于其付費(fèi)特點(diǎn)，建立k序馬爾科夫模型，計(jì)算客戶的初始欠費(fèi)概率；然后，融合客戶基本屬性、行為特征和欠費(fèi)信息等要素，基于條件互信息和爬山法生成目標(biāo)貝葉斯網(wǎng)絡(luò)，對初始欠費(fèi)概率予以修正，形成客戶最終欠費(fèi)概率；最后，基于實(shí)際數(shù)據(jù)進(jìn)行實(shí)證分析，驗(yàn)證了該模型的有效性.

后付費(fèi)客戶；欠費(fèi)預(yù)測模型；混合馬爾科夫；貝葉斯

中國服務(wù)業(yè)的迅速發(fā)展，使得人們的工作、生活更為快捷、便利.然而，對于各種具有長期使用定時付費(fèi)特征的后付費(fèi)型服務(wù)(如電信、電力、煤氣等)的欠逃費(fèi)現(xiàn)象也日益增加，造成服務(wù)企業(yè)的經(jīng)濟(jì)損失與資產(chǎn)流失，增加其運(yùn)營成本，影響企業(yè)的業(yè)務(wù)發(fā)展，導(dǎo)致企業(yè)難以向社會提供更優(yōu)質(zhì)的服務(wù).為有效解決上述問題，可以基于服務(wù)企業(yè)積累的海量數(shù)據(jù)，從中挖掘欠費(fèi)行為的潛在規(guī)律及其主要影響因素，應(yīng)用各種數(shù)據(jù)分析工具，構(gòu)建數(shù)學(xué)預(yù)測模型，對客戶的欠費(fèi)可能性進(jìn)行預(yù)測分析.目前，國內(nèi)關(guān)于欠費(fèi)預(yù)測模型的可參考文獻(xiàn)很少.文獻(xiàn)[1]通過貝葉斯和關(guān)聯(lián)規(guī)則算法，對已有住院病人欠費(fèi)現(xiàn)象進(jìn)行分析，提出了住院病人欠費(fèi)預(yù)測模型，給出其欠費(fèi)概率；此模型基于歷史數(shù)據(jù)，分析影響欠費(fèi)的重要屬性并根據(jù)現(xiàn)實(shí)場景予以調(diào)整，能夠較好地規(guī)避一次性的欠逃費(fèi)行為，但其不適用于長期定時付費(fèi)型服務(wù).文獻(xiàn)[2]提出基于決策樹算法的電信客戶欠費(fèi)預(yù)測模型，可以預(yù)測長期定時付費(fèi)型服務(wù)的欠費(fèi)客戶，但僅依據(jù)歷史客戶欠費(fèi)行為數(shù)據(jù)預(yù)測新增客戶是否欠費(fèi)和提供二值結(jié)果(欠費(fèi)/不欠費(fèi))，而不是欠費(fèi)概率.文獻(xiàn)[3]提出了基于SVM的電信客戶欠費(fèi)分析模型，基于客戶的行為分析，通過多項(xiàng)式核函數(shù)對客戶進(jìn)行欠費(fèi)預(yù)測分析，能夠獲得較好的效果，其主要不足：1)僅用于預(yù)測分析已經(jīng)欠費(fèi)停機(jī)的客戶是否會繼續(xù)欠費(fèi)；2)僅提供二值結(jié)果(欠費(fèi)/不欠費(fèi))，而不是欠費(fèi)概率.

綜上，文獻(xiàn)[2]和文獻(xiàn)[3]一方面都僅側(cè)重于對特定欠費(fèi)客戶的分析，存在客戶局部性的不足；他們都僅給出二值結(jié)果(欠費(fèi)/不欠費(fèi))，無法支持客戶的差異化處置.文獻(xiàn)[1]雖然給出了全體客戶預(yù)測分析的欠費(fèi)概率，但其僅使用已發(fā)生欠逃費(fèi)病人的局部數(shù)據(jù)進(jìn)行分析，而不是全部病人的全類型數(shù)據(jù)，并且僅適用于規(guī)避一次性的欠、逃費(fèi)行為，不適用于長期定時付費(fèi)型服務(wù).為此，本文針對長期定時付費(fèi)特征的后付費(fèi)型服務(wù)，提出混合馬爾科夫和貝葉斯的欠費(fèi)預(yù)測模型HMBPM (prediction model of customer arrears based on hybrid Markov and Bayesian).該模型基于海量歷史數(shù)據(jù)，融合客戶基本屬性、行為特征和欠費(fèi)信息等多要素進(jìn)行綜合信息增益分析，給出潛在欠費(fèi)客戶的欠費(fèi)概率.由此，就可以為客戶欠費(fèi)預(yù)警和處置提供更為全面、客觀、精細(xì)的輔助決策信息，從而對其予以重點(diǎn)關(guān)注和處置，以有效地規(guī)避欠逃費(fèi)行為；依據(jù)潛在欠費(fèi)客戶的欠費(fèi)行為分析與欠費(fèi)概率，可以針對性地采取差異化處置措施，從而優(yōu)化客戶感知，降低處置成本；通過分析數(shù)據(jù)，有助于企業(yè)提升服務(wù)質(zhì)量和管理水平.主要工作：1)根據(jù)歷史數(shù)據(jù)中欠費(fèi)的狀態(tài)轉(zhuǎn)移情況，構(gòu)建k序馬爾科夫模型，計(jì)算客戶的初始欠費(fèi)概率；2)利用條件互信息和爬山法生成目標(biāo)貝葉斯網(wǎng)絡(luò)；3)對生成的目標(biāo)貝葉斯網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)，計(jì)算其邊緣概率和條件概率，修正初始欠費(fèi)概率，生成客戶的最終欠費(fèi)概率；4)基于電信運(yùn)營商的實(shí)際數(shù)據(jù)進(jìn)行實(shí)證分析，驗(yàn)證HMBPM模型的有效性.

1 HMBPM預(yù)測模型

1.1 數(shù)據(jù)定義

對于欠費(fèi)問題的描述，通常從客戶屬性出發(fā)來評估客戶的欠費(fèi)行為，包括：客戶的信用額度、開戶時間、平均月消費(fèi)、欠費(fèi)次數(shù)、欠費(fèi)原因、欠費(fèi)金額、平均欠費(fèi)時長，等.客戶未欠費(fèi)或者欠費(fèi)金額在信用額度以內(nèi)則稱之為正?？蛻簦駝t為欠費(fèi)客戶，兩者分別用C1和C2表示.假設(shè)使用m個指標(biāo)數(shù)據(jù)為n個欠費(fèi)客戶給出評價(jià)，其中Xi表示客戶的屬性，Ci表示第i個客戶的客戶類型，Ci=1表示該客戶屬于正?？蛻?，Ci=2表示該客戶為欠費(fèi)客戶.樣本集為G={(Xi,Ci)|i=1,2,…，n}，之后需要解決的問題就是如何根據(jù)已知數(shù)據(jù)，分析出哪些是正?？蛻裟男┦乔焚M(fèi)客戶.

1.2 k序馬爾科夫預(yù)測模型

基本馬爾科夫模型的狀態(tài)遷移過程中,從狀態(tài)ii遷移到ii+1僅取決ii，而與ii-1及其之前的狀態(tài)無關(guān),而實(shí)際應(yīng)用場景非常復(fù)雜，從ii到ii+1的遷移一般都與ii-1及其之前更多的狀態(tài)相關(guān).鑒于HMBPM必須考慮ii+1之前的k(k>1)個狀態(tài)，才能保證預(yù)測的準(zhǔn)確率，因而必須使用k序馬爾科夫模型[4]，對客戶進(jìn)行預(yù)測，判斷該客戶下一時刻的欠費(fèi)傾向.此時，k值的選擇至關(guān)重要：一般而言，預(yù)測準(zhǔn)確率正比于k的取值，但其計(jì)算復(fù)雜度也正比于k；若k值取得太小，卻會由于樣本的減少導(dǎo)致不能獲得理想的預(yù)測準(zhǔn)確率，故必須綜合權(quán)衡計(jì)算復(fù)雜度和準(zhǔn)確率，選取適當(dāng)?shù)膋值.

第1步，構(gòu)建基本馬爾科夫模型.C={c1,c2,…，cn}為所有客戶的集合，狀態(tài)I={i1,i2,…，in}為所有狀態(tài)的集合，則條件概率P(in+1|in,in-1,…,i1)表示此前狀態(tài)分別為i1,i2,…，in的客戶轉(zhuǎn)移到下一狀態(tài)in+1的概率.于是，基于基本馬爾科夫模型對的in+1預(yù)測可以表示為

in+1=arg max{P{in+1|in,in-1,…,i1}}=argmax(P{in+1|in})，

(1)

其中，in表示客戶在第n時刻的狀態(tài)，則要預(yù)測在n+1時刻客戶的狀態(tài)，就要計(jì)算出條件概率P(in+1|in)值最大時的客戶狀態(tài)，即為此客戶n+1時刻的狀態(tài)[5].

第2步，構(gòu)建k序馬爾科夫預(yù)測模型.主要思想是“客戶下一時刻的狀態(tài)僅與最近的k個狀態(tài)有關(guān)”，即下一時刻的預(yù)測與較近時刻的狀態(tài)具有較強(qiáng)相關(guān)性，時間距其越遠(yuǎn)，則相關(guān)性隨之遞減,于是公式(1)可以表示為

in+1=argmax{P{in+1|in,in-1,…，i1}}=argmax{P{in+1|in,in-1,…，in-k+1}}.

(2)

第3步，計(jì)算該客戶此前k個狀態(tài)中分別為in,in-1,…，in-k+1的頻數(shù)，結(jié)果記作S(in,in-1,…，in-k+1.根據(jù)似然估計(jì)法可知：P(in+1|in,in-1,…,in-k+1)，可表示為

(3)

其中S((in,in-1,…，in-k+1),in+1)表示客戶的前k個狀態(tài)分別為in,in-1,…，in-k+1，并且下一狀態(tài)為in+1的頻數(shù).

基于以下原因，HMBPM需要進(jìn)一步引入貝葉斯網(wǎng)絡(luò)對客戶欠費(fèi)概率進(jìn)行修正.1)k序馬爾科夫模型僅給出是否欠費(fèi)的預(yù)測概率，無法深入分析客戶欠費(fèi)的原因，特別當(dāng)樣本狀態(tài)數(shù)較少時，其正確率較低.2)計(jì)算每個客戶的欠費(fèi)概率時，其值有可能趨近0.5，導(dǎo)致進(jìn)入判定客戶是否欠費(fèi)的模糊區(qū).

1.3 基于貝葉斯的概率修正

1.3.1 事件因子提取

造成欠費(fèi)的原因有很多，需要在眾多的屬性中提取符合惡意欠費(fèi)判斷條件的屬性[6].需要考慮的屬性可以分成動態(tài)屬性和靜態(tài)屬性，靜態(tài)屬性一般是客戶的基本資料，動態(tài)屬性一般是客戶欠費(fèi)金額、平均月消費(fèi)、付費(fèi)時間等.以下采取多元邏輯回歸的方式提取相關(guān)屬性.定義：

P=β0+β1X1+β2X2+…+βmXm，

(4)

其中，客戶X={X1,X2,…，Xm},Xi(i<=m)表示客戶的屬性.當(dāng)P≤α?xí)r，屬性變量對決策屬性有很大影響；反之，該屬性變量與決策屬性無關(guān).最終得到N個屬性值，用于全面估計(jì)客戶的欠費(fèi)概率.

1.3.2 數(shù)據(jù)離散化

在上述N個屬性值中，很多屬性為數(shù)值型，而貝葉斯網(wǎng)絡(luò)需要的數(shù)據(jù)是離散化數(shù)據(jù)，從而需要進(jìn)行離散化處理.為此，采用等頻率劃分算法，根據(jù)給定的參數(shù)k將m個對象分成段,每一段中有m/k個對象.然后，將相關(guān)屬性在所有實(shí)例上的取值按從小到大進(jìn)行排列,每隔m/k取值作為一個斷點(diǎn)段.參數(shù)k可以選取業(yè)務(wù)人員的經(jīng)驗(yàn)值,以保證離散化的結(jié)果能夠更真實(shí)地反映出數(shù)據(jù)的分布情況.離散化結(jié)果如表1，其中是否欠費(fèi)屬于決策屬性，其余為條件屬性.

表1 客戶屬性值離散化處理

1.3.3 基于互信息和爬山法的貝葉斯計(jì)算

1)應(yīng)用互信息公式計(jì)算事件因子與XiXj之間的條件概率依賴值生成無向圖.如果兩者的互信息值大于某個閾值，即MI(Xi,Xj,Ck)>ε,則二者之間存在一條邊，否則兩者之間相互獨(dú)立，即不存在邊；

(5)

2)確定無向圖中邊的方向:為使貝葉斯網(wǎng)絡(luò)中不存在回路和環(huán)，假定方向由編號小的屬性指向編號大的屬性[7]，生成原始貝葉斯網(wǎng)絡(luò)；

3)應(yīng)用爬山算法采用加邊、減邊、轉(zhuǎn)邊的方法進(jìn)行搜索，比較貝葉斯網(wǎng)絡(luò)的評分函數(shù)值的高低，選取其中分值最高者作為目標(biāo)貝葉斯網(wǎng)絡(luò)，相應(yīng)的貝葉斯評分函數(shù)[8-9]如下：

(6)

其中，MID(Xi,π(Xi))表示Xi與其父節(jié)點(diǎn)之間的互信息，si為Xi的父節(jié)點(diǎn)的個數(shù)，χα,liσi(j)表示置信度為α自由度為liσi(j)的卡方分布值.

4)預(yù)測客戶的欠費(fèi)概率P2：通過對目標(biāo)貝葉斯網(wǎng)絡(luò)的學(xué)習(xí)，計(jì)算各個節(jié)點(diǎn)與父節(jié)點(diǎn)之間的條件概率值和邊緣概率值，通過公式(7)[10]計(jì)算客戶的欠費(fèi)概率P2.

|π(Xi)),

(7)

其中Xi(i=1,2,…，n)表示貝葉斯網(wǎng)絡(luò)中的節(jié)點(diǎn)，π(Xi)表示Xi節(jié)點(diǎn)的父節(jié)點(diǎn)集.

5)計(jì)算客戶的欠費(fèi)概率：經(jīng)過k序馬爾科夫模型計(jì)算得到初始欠費(fèi)概率P1，使用貝葉斯網(wǎng)絡(luò)進(jìn)行概率修正得到欠費(fèi)概率P2.對兩者進(jìn)行加權(quán)相加可得最終概率為P=ω1p1+ω2p2，則不欠費(fèi)概率為1-P，其中ω1+ω2=1.

2 實(shí)證分析

本文實(shí)驗(yàn)數(shù)據(jù)來源于某電信分公司的計(jì)費(fèi)系統(tǒng)和欠費(fèi)催繳系統(tǒng)，時間跨度6個月.其中，客戶欠費(fèi)情況如表2；客戶欠費(fèi)詳細(xì)數(shù)據(jù)見表3，包括以下屬性值：客戶開戶時間、客戶類型、月平均話費(fèi)、信譽(yù)額度、欠費(fèi)次數(shù)、平均欠費(fèi)金額、催繳次數(shù)、平均欠費(fèi)時長、付費(fèi)類型、是否欠費(fèi).隨機(jī)抽取10 000條數(shù)據(jù)作為訓(xùn)練數(shù)據(jù).決策屬性用y=1表示正?？蛻簦瑈=2表示欠費(fèi)客戶.最近6個月欠費(fèi)情況如表2、表3.

表2 客戶最近6個月欠費(fèi)情況

表3 客戶欠費(fèi)詳單

1)基于6個月欠費(fèi)數(shù)據(jù)，利用k序馬爾科夫模型計(jì)算出客戶的欠費(fèi)概率P1.

2)對客戶屬性數(shù)據(jù)預(yù)處理，包括：分析出影響決策屬性的重要屬性，刪減不重要的屬性值以及對數(shù)值型屬性進(jìn)行離散化.

3)將客戶屬性作為訓(xùn)練集，利用互信息和爬山法得出評分函數(shù)評分值最高的目標(biāo)貝葉斯網(wǎng)絡(luò).目標(biāo)貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)圖如圖1.

4)基于目標(biāo)貝葉斯網(wǎng)絡(luò)，構(gòu)建屬性條件概率依賴表，然后計(jì)算客戶的欠費(fèi)概率P2.

5)利用欠費(fèi)概率P2對欠費(fèi)概率P1進(jìn)行加權(quán)修正，公式為P=ω1p1+ω2p2.

6)通過對后一個月的數(shù)據(jù)和HMBPM模型預(yù)測結(jié)果進(jìn)行比較，計(jì)算HMBPM模型的準(zhǔn)確率，對HMBPM模型有效性進(jìn)行分析和驗(yàn)證，結(jié)果如圖2.其中ω1=0.3，ω2=0.7.為了進(jìn)一步了解權(quán)重系數(shù)對模型的影響，比較ω1不同取值的準(zhǔn)確率,結(jié)果如圖3.

圖1 目標(biāo)貝葉斯網(wǎng)絡(luò)Fig.1 Final Bayesian network

圖2 各個模型準(zhǔn)確率比較Fig.2 Comparison of every model’s accuracy

ω1的取值圖3 ω1不同取值下模型準(zhǔn)確率比較Fig.3 Comparison of the model’s accuracy under the different ω1

結(jié)論1：HMBPM在準(zhǔn)確率上高于單一的馬爾科夫模型或貝葉斯網(wǎng)絡(luò)模型.

結(jié)論2：基本馬爾科夫模型、2序馬爾科夫模型、3序馬爾科夫模型，準(zhǔn)確率先上升然后有一定程度上的下降.2序的HMBPM和3序的HMBPM準(zhǔn)確率相當(dāng)，綜合考慮準(zhǔn)確率和計(jì)算復(fù)雜度，一般宜采用2序HMBPM.

結(jié)論3：ω1和ω2不同的取值對HMBPM有一定的影響，若ω1取值較大時，準(zhǔn)確率接近于馬爾科夫模型，ω2取值較大時接近于貝葉斯網(wǎng)絡(luò)模型.同時ω1取值為0.2附近時，模型準(zhǔn)確率達(dá)到峰值.

3 結(jié)束語

對于各種具有長期定時付費(fèi)特征的后付費(fèi)類服務(wù)，急需潛在欠費(fèi)客戶的全面、客觀、精細(xì)的欠費(fèi)概率信息，以有效規(guī)避欠逃費(fèi)行為，通過差異化處置優(yōu)化客戶感知并降低處置成本，提升企業(yè)服務(wù)質(zhì)量和管理水平.為此，本文針對已有各種欠費(fèi)預(yù)測模型的局限性與不足，基于全客戶多要素信息增益分析的思路，提出了混合馬爾科夫和貝葉斯的欠費(fèi)預(yù)測模型HMBPM，并基于實(shí)際數(shù)據(jù)進(jìn)行實(shí)證分析，驗(yàn)證了該模型的有效性.

[1] 李斌杰.住院病人的欠費(fèi)預(yù)測模型研究[J].中國數(shù)字醫(yī)學(xué)，2010,26(12):60-62.DOI:10.3969/j.issn.1673-7571.2010.012.019. LI B J.The research of inpatient delinquency forecasting model[J].Health Information Forum.2010,26(12):60-62.DOI: 10.3969/j.issn.1673-7571.2010.012.019.

[2] 王棟，董理，占守義.基于分類技術(shù)的電信欠費(fèi)預(yù)測模型[J].計(jì)算機(jī)工程與應(yīng)用,2003,38(7):123-125. WANG D，DONG L，ZHAN S Y.Owing fee model in telecommunication based on classifying[J].Computer Engineering and Appliations,2003,38(7):1123-125.

[3] 李學(xué)鵬,張國基.基于支持向量機(jī)的電信欠費(fèi)客戶分析模型[J].計(jì)算機(jī)應(yīng)用,2006,5(12): 214-215.

[4] 李玉華，李棟才，畢威，等.混合馬爾科夫預(yù)測模型及其在反洗錢中的應(yīng)用研究[J].計(jì)算機(jī)科學(xué).2011,38(7):170-174. LI Y H，LI D C，BI W,et al.Hybrid Markov prediction model and research of application in anti-money laundering[J].Computer Science,2011,38(7):170-174.

[5] DERRODE S，PIECZYNSKI W.Unsupervised classification using hidden Markov chain with unknown noise copulas and margins[J].Signal Processing，2016,128:8-17.DOI:10.1016/j.sigpro.2016.03.008.

[6] 鄭莉華，陳佳.基于貝葉斯網(wǎng)絡(luò)的電信話費(fèi)欺詐的模型研究及應(yīng)用[J].計(jì)算機(jī)應(yīng)用,2008,28(2):510-512. ZHENG L H ,CHEN J.Research and application of telecom charge fraudulent model based on Bayesian network[J].Computer Applications,2008,28(2):510-512.

[7] 金焱，胡云安,張瑾,等.互信息和爬山算法相結(jié)合的貝葉斯結(jié)構(gòu)學(xué)習(xí)[J].計(jì)算機(jī)應(yīng)用與軟件,2012,29(9): 122-125.DOI:10.3969/j.issn.1000-386x.2010.09.032. JIN Y，HU Y A，ZHANG J,et al.Bayesian network structure learning combining mutual information with hill climbing algorithm [J].Computer Applications and Software,2012,29(9): 122-125.DOI:10.3969/j.issn.1000-386x.2010.09.032.

[8] GHEISARI S，MEYBODI M R.BNC-PSO: structure learning of Bayesian networks by particle swarm optimization[J].Information Sciences，2016，348:272-289.DOI:10.1016/j.jns.2016.01.090.

[9] 朱明敏.貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)與推理研究[D].西安：西安電子科技大學(xué)，2013. ZHU M M.Research on structural learning and inference in Bayesian networks[D].Xi′an:Xidian University,2013.

[10] JIANG J，WANG J，YU H，et al.Poison identification based on Bayesian network: A novel improvement on K2 algorithm via Markov blanket[J].Lecture Notes in Computer Science,2013:173-182.DOI:10.1007/978-3-642-38715-9-21.

(責(zé)任編輯：孟素蘭)

A prediction model of customer arrears based on hybrid Markov and Bayesian

WU Shuxia1，CHEN Lian1，GAO Shengbao2

(1.Information Engineering College,Nanchang University,Nanchang 330031,China；2.Jiangxi Branch of China Telecom Co,Nanchang 330029,China)

In order to analyze the post-paid services with the characteristics of long term and on time pay，we put forward a prediction model based on hybrid Markov and Bayesian. It is based on the multi-factor information gain of all the customers，and computes the potential owe customers' probability of arrears.Moreover，it can provide comprehensive，objective and subtle decision information to the warning of customer arrears and disposal，and it can support differentiation treatment.First of all，we build the k-order Markov model based on the characteristics of the pay，then calculate the customers' initial probability.Secondly，we merge the customers' basic attributes，behavior feature and own information.Then，using the conditional mutual information and the hill climbing algorithm to generate the target Bayesian network to modify the initial probability of arrears，which form the final client own probability.Finally，through experiment by using the real data,we prove that this predict model is efficient in customer prediction.

post-paid customer；probability prediction model；hybrid Markov；Bayesian

10.3969/j.issn.1000-1565.2016.05.014

2016-02-29

國家自然科學(xué)基金資助項(xiàng)目(61463033)；江西省教育廳科學(xué)技術(shù)研究項(xiàng)目(GJJ14136)

吳舒霞(1991—)，女，江西南昌人，南昌大學(xué)在讀碩士研究生.E-mail:352901867@qq.com

TP181

A

1000-1565(2016)05-0535-06