張坤　陳曦　宋云　傅明

摘要：為了改善樹增強(qiáng)樸素貝葉斯（TAN）的分類精度，對(duì)TAN結(jié)構(gòu)進(jìn)行了擴(kuò)展，提出了一種利用可分解的評(píng)分函數(shù)構(gòu)建樹形貝葉斯網(wǎng)絡(luò)分類模型的學(xué)習(xí)方法。在構(gòu)建TAN網(wǎng)絡(luò)時(shí)允許屬性沒有父結(jié)點(diǎn)。采用低階CI測試初步剔除無效屬性，再結(jié)合改進(jìn)的BIC評(píng)分函數(shù)利用貪婪搜索獲得每個(gè)屬性結(jié)點(diǎn)的父結(jié)點(diǎn)，從而建立分類模型。對(duì)比樸素貝葉斯（NB）和TAN，提出的分類算法在分類準(zhǔn)確率和AUC面積兩個(gè)指標(biāo)上表現(xiàn)更好，說明本文模型擁有比TAN更好的分類效果。

關(guān)鍵詞：樹增強(qiáng)樸素貝葉斯;分類網(wǎng)絡(luò);評(píng)分函數(shù)：

中圖分類號(hào)：TP311.1

文獻(xiàn)識(shí)別碼：A

分類是一種常見的監(jiān)督學(xué)習(xí)方法，其目標(biāo)是在訓(xùn)練集上建立分類模型，從而為測試集實(shí)例指定合適的類別。貝葉斯網(wǎng)絡(luò)[1]表達(dá)了一種因果關(guān)系，它用圖模型理論和統(tǒng)計(jì)學(xué)知識(shí)來表示屬性之間的概率。在貝葉斯網(wǎng)絡(luò)中，分類是根據(jù)類別的先驗(yàn)分布計(jì)算后驗(yàn)概率，從而選擇最可能的類。樸素貝葉斯（NB）分類器[2]是一種簡單有效的貝葉斯網(wǎng)絡(luò)，但由于其屬性變量之間存在條件獨(dú)立性假設(shè)，分類精度不佳。Friedman等人[3]提出樹增強(qiáng)的樸素貝葉斯（TAN），它允許屬性結(jié)點(diǎn)最多只能依賴于一個(gè)非類結(jié)點(diǎn)，綜合性能良好，是學(xué)習(xí)效率與分類精度之間的一種折衷。

目前關(guān)于TAN分類器的研究通常從構(gòu)建合適的貝葉斯網(wǎng)絡(luò)著手：文獻(xiàn)[4]提出一種不確定條件互信息度量方法來學(xué)習(xí)樹形貝葉斯分類網(wǎng)絡(luò)結(jié)構(gòu);文獻(xiàn)[5]根據(jù)條件對(duì)數(shù)似然性提出一種平均樹增強(qiáng)樸素貝葉斯;文獻(xiàn)[6]對(duì)TAN分類器結(jié)構(gòu)空間和TAN分類器結(jié)構(gòu)等價(jià)類空間進(jìn)行了研究，提出一個(gè)不考慮邊重定向的TAN分類器學(xué)習(xí)算法。這類低階或受限（如k-BAN[10]）的貝葉斯分類模型既避免了由高維計(jì)算導(dǎo)致的不穩(wěn)定性[7]，同時(shí)也增強(qiáng)了網(wǎng)絡(luò)結(jié)構(gòu)中屬性之間的因果關(guān)系。因此，關(guān)于TAN分類器的應(yīng)用研究也較為常見，如高血壓診斷模型[8]、物種豐富度的估計(jì)模型[9]等等。然而，TAN模型雖然簡潔高效，但在構(gòu)建網(wǎng)絡(luò)結(jié)構(gòu)時(shí)并沒有進(jìn)行相關(guān)屬性選擇或引入新屬性，這對(duì)TAN分類模型的分類精度有所影響本文在保證TAN精簡結(jié)構(gòu)的基礎(chǔ)上，提出擴(kuò)展的TAN分類器（Extended Tree AugmentedNaive Bayes，簡稱ETAN），額外允許TAN模型中部分屬性沒有父結(jié)點(diǎn)?？紤]到屬性對(duì)類貢獻(xiàn)程度差異，采用互信息測試進(jìn)行屬性選擇，用于確定后續(xù)每個(gè)屬性結(jié)點(diǎn)的候選連接。隨后給出了利用可分解的評(píng)分函數(shù)來構(gòu)建TAN模型的詳細(xì)過程，提出一種利用改進(jìn)的BIC評(píng)分函數(shù)來構(gòu)建樹形貝葉斯網(wǎng)絡(luò)分類模型的學(xué)習(xí)方法（ Extended Tree AugmentedNaive Bayes with the scoring function，簡稱SETAN）.通過與其它同類分類器進(jìn)行對(duì)比實(shí)驗(yàn)，提出的SE-TAN分類模型取得了更好的分類精度。

1 基于BIC評(píng)分函數(shù)的SETAN分類器

1.1 TAN模型

1.1.1 TAN模型

由此可知，學(xué)習(xí)TAN結(jié)構(gòu)首先要建立一個(gè)無向圖結(jié)構(gòu)，再找到合適的算法來解決最大權(quán)重生成樹問題，其中每條邊的權(quán)重是圖中兩個(gè)屬性結(jié)點(diǎn)之間的條件互信息，并且用有向弧代替邊，則無向樹就可以被轉(zhuǎn)化呈有向樹，最后加入類結(jié)點(diǎn)C即可建立所需分類模型。

1.1.2 STAN模型

評(píng)分與搜索方法是當(dāng)前常見的一種貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)方法，它將網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)轉(zhuǎn)化成最優(yōu)化問題，學(xué)習(xí)目標(biāo)即搜索評(píng)分較高的網(wǎng)絡(luò)結(jié)構(gòu)。評(píng)分搜索的結(jié)構(gòu)學(xué)習(xí)方法分為兩步：網(wǎng)絡(luò)結(jié)構(gòu)評(píng)分函數(shù)和網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)算法的確定。一旦定義好評(píng)分函數(shù)，貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)問題就是一個(gè)最優(yōu)化搜索問題。

①評(píng)分函數(shù)

假設(shè)給定完整訓(xùn)練集D，D= {X1，X2，…，X_n}，G是以X1，X2，…，X_n為結(jié)點(diǎn)的貝葉斯網(wǎng)絡(luò)。假設(shè)數(shù)據(jù)集滿足獨(dú)立同分布假設(shè)，則G相對(duì)于數(shù)據(jù)D的優(yōu)劣可以用評(píng)分函數(shù)來度量。即，探索最佳貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)，就是找到可使得評(píng)分函數(shù)最大化的一個(gè)有向無環(huán)圖G。即

常見的MDL、BIC、BDe評(píng)分函數(shù)都具備可分解性和似然等價(jià)性。文獻(xiàn)[12]提出貝葉斯信息標(biāo)準(zhǔn)（ Bayesian information criterion），簡稱BIC評(píng)分。BIC評(píng)分函數(shù)是在樣本滿足獨(dú)立同分布假設(shè)的前提下，用對(duì)數(shù)似然度度量結(jié)構(gòu)與數(shù)據(jù)的擬合程度。具體形式為：

②模型描述

下面給出TAN分類模型結(jié)合評(píng)分搜索方法的一般性表達(dá)式（Tree Augmented Naive Bayes with ascoring function，簡稱STAN）。

TAN分類器基于NB分類器對(duì)屬性之間的依賴關(guān)系進(jìn)行了擴(kuò)展，將構(gòu)造最大似然樹的問題簡化為構(gòu)造最大權(quán)重跨度樹。當(dāng)給定評(píng)分函數(shù)時(shí)，在TAN無向圖中，有

1.2 SETAN模型

1.2.1 理論分析

由TAN的定義和公式（7）可知，TAN結(jié)構(gòu)限制每個(gè)屬性結(jié)點(diǎn)對(duì)其父結(jié)點(diǎn)有如下兩種連接選擇：1，只有類父結(jié)點(diǎn)C;2，具有類父結(jié)點(diǎn)C和一個(gè)屬性父結(jié)點(diǎn)。TAN的學(xué)習(xí)是在完全圖中搜索弧空間，通過這種限制，減小了搜索空間;同時(shí)父結(jié)點(diǎn)的數(shù)量受限使得條件概率計(jì)算相應(yīng)地減少。

然而，TAN結(jié)構(gòu)并不能充分地表示屬性結(jié)點(diǎn)之間的依賴關(guān)系，而且在構(gòu)建網(wǎng)絡(luò)結(jié)構(gòu)時(shí)未能去除冗余的屬性結(jié)點(diǎn)。準(zhǔn)確地說，TAN是在維持原始屬性變量集合的基礎(chǔ)上建立低階樹形分類模型，而不是通過引入新的屬性變量來放松條件獨(dú)立性假設(shè)。Greiner等人[13]通過實(shí)驗(yàn)證明，與數(shù)據(jù)集實(shí)際分布近似或比數(shù)據(jù)集實(shí)際分布簡單的網(wǎng)絡(luò)結(jié)構(gòu)都具有一定的局限性。對(duì)于前者，文獻(xiàn)[7]已給出證明，限制父結(jié)點(diǎn)的數(shù)量可以有效避免具有指數(shù)復(fù)雜度的高維計(jì)算。后者的原因是，即使NB網(wǎng)絡(luò)或TAN網(wǎng)絡(luò)相對(duì)簡單，但也可能由于存在冗余的結(jié)點(diǎn)和弧邊而使得網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜化。因此，在建立TAN結(jié)構(gòu)前進(jìn)行有效的屬性選擇非常有必要。

另外，TAN結(jié)構(gòu)僅僅強(qiáng)化了屬性之間的因果關(guān)系，而沒有考慮不同屬性對(duì)類的貢獻(xiàn)，這同樣也降低了TAN模型的分類準(zhǔn)確性。文獻(xiàn)[14][15]的一系列對(duì)比實(shí)驗(yàn)證實(shí)了這一結(jié)論。

基于上述分析，本文進(jìn)一步擴(kuò)展了TAN網(wǎng)絡(luò)結(jié)構(gòu)，該網(wǎng)絡(luò)結(jié)構(gòu)相對(duì)于TAN能夠更充分地表示在類約束下屬性之間的依賴關(guān)系，同時(shí)嘗試剔除對(duì)分類模型沒有貢獻(xiàn)的屬性結(jié)點(diǎn)。

1.2.2 SETAN模型

①CI測試

由香農(nóng)的信息論可知，兩個(gè)隨機(jī)變量X_i和x_j之間的互信息為：

②改進(jìn)TAN模型

為了避免貝葉斯網(wǎng)絡(luò)分類器的高維計(jì)算，同時(shí)為了在構(gòu)建SETAN結(jié)構(gòu)時(shí)去除冗余結(jié)點(diǎn)并減少候選父結(jié)點(diǎn)集的搜索空間，增強(qiáng)分類模型的可靠性與健壯性，在TAN結(jié)構(gòu)基礎(chǔ)上，允許屬性結(jié)點(diǎn)沒有父結(jié)點(diǎn)。即具有如下額外兩種選擇：3，只有一個(gè)屬性父結(jié)點(diǎn);4，沒有父結(jié)點(diǎn)。其中符合第4種情況的結(jié)點(diǎn)被視為對(duì)分類模型沒有貢獻(xiàn)的冗余結(jié)點(diǎn)。

考慮到SETAN結(jié)構(gòu)中各個(gè)屬性結(jié)點(diǎn)X_i和類結(jié)點(diǎn)C的相關(guān)性不同，先對(duì)類結(jié)點(diǎn)和屬性結(jié)點(diǎn)進(jìn)行互信息測試，如圖1（c）（d）所示：

基于上述改動(dòng)，每個(gè)屬性結(jié)點(diǎn)不必將類結(jié)點(diǎn)納入候選父結(jié)點(diǎn)集，則公式（5）中的對(duì)稱性無法成立，從而無法在公式（7）中利用最小生成樹算法求得SETAN結(jié)構(gòu)。此時(shí)對(duì)于經(jīng)過0階CI測試后的無環(huán)圖，采用BIC評(píng)分函數(shù)貪婪查找下一個(gè)局部無環(huán)圖G，從而得到圖l（d）所示的最終有向無環(huán)圖。則有

1.2.3 算法描述

基于BIC評(píng)分函數(shù)的SETAN分類算法主要有如下改進(jìn)：

1，提出SETAN網(wǎng)絡(luò)結(jié)構(gòu)，在TAN結(jié)構(gòu)基礎(chǔ)上中放松了每個(gè)屬性結(jié)點(diǎn)的父結(jié)點(diǎn)選擇條件，允許部分屬性沒有類父結(jié)點(diǎn)，在保證同等計(jì)算復(fù)雜度下提高了分類模型的可靠性。

2，采用低階CI測試去除無效結(jié)點(diǎn)，結(jié)合上述屬性依賴關(guān)系，獲得各個(gè)屬性的候選父結(jié)點(diǎn)集合，獲得冗余結(jié)點(diǎn)，減小候選父結(jié)點(diǎn)集的搜索空間。

3，利用改進(jìn)的BIC評(píng)分函數(shù)對(duì)局部最優(yōu)無環(huán)圖進(jìn)行貪婪查找，從而獲得最終的SETAN網(wǎng)絡(luò)結(jié)構(gòu)。進(jìn)一步去除無效結(jié)點(diǎn)，提高算法的分類精度。下面給出構(gòu)建SETAN結(jié)構(gòu)圖的一般性過程。

1.2.4 時(shí)間復(fù)雜度分析

SETAN分類器學(xué)習(xí)算法主要分為兩個(gè)部分：

第一部分是類結(jié)點(diǎn)與各個(gè)屬性結(jié)點(diǎn)之間的0階CI測試。主要的計(jì)算耗時(shí)是互信息測試/（C;X_i），復(fù)雜度是O（N_n），N是訓(xùn)練集實(shí)例數(shù)量，n是屬性結(jié)點(diǎn)數(shù)量。

第二部分是構(gòu)建SETAN網(wǎng)絡(luò)結(jié)構(gòu)，主要是需要比較每個(gè)結(jié)點(diǎn)和其候選父結(jié)點(diǎn)集的連接得分，以此確定其父結(jié)點(diǎn)。時(shí)間復(fù)雜度是O（Nk1 +Nk1·k2），因?yàn)閗l+k2≤n，ε一般取值為0.01-0.05，大多數(shù)屬性結(jié)點(diǎn)可符合互信息測試，即k2《k1。因此，SETAN分類器最終可在O（ Nn2）內(nèi)完成，和TAN分類模型的時(shí)間復(fù)雜度相同。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 改進(jìn)的BIC評(píng)分函數(shù)評(píng)估

本節(jié)實(shí)驗(yàn)的主要目的是確定公式（9）中改進(jìn)后BIC評(píng)分函數(shù)的合適的懲罰系數(shù)ξ。分別采用http：//www.norsys.com提供的Asia網(wǎng)和Alarm網(wǎng)進(jìn)行仿真實(shí)驗(yàn)。Asia網(wǎng)包含8個(gè)變量和8條邊，Alarm網(wǎng)包含33個(gè)結(jié)點(diǎn)，46條邊，樣本數(shù)量均為5000。利用常見的K2算法和改進(jìn)后的BIC評(píng)分函數(shù)學(xué)習(xí)貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)，懲罰系數(shù)ξ分別取0.01，0.001，0.0001。實(shí)驗(yàn)結(jié)果如表所示，A為增加邊，D為確實(shí)邊，R為正確邊。

從表1的實(shí)驗(yàn)結(jié)果可以看出，ξ= 0.01時(shí)，Asia網(wǎng)絡(luò)和Alarm網(wǎng)絡(luò)結(jié)構(gòu)缺式邊數(shù)量相對(duì)比較多，沒有增加邊，說明懲罰系數(shù)偏大，導(dǎo)致數(shù)據(jù)和網(wǎng)絡(luò)結(jié)構(gòu)欠擬合;ξ= 0.0001時(shí)，網(wǎng)絡(luò)結(jié)構(gòu)增加邊相對(duì)較多，導(dǎo)致數(shù)據(jù)和網(wǎng)絡(luò)結(jié)構(gòu)過擬合;而當(dāng)ξ= 0.001時(shí)，各項(xiàng)數(shù)據(jù)比較合理，說明數(shù)據(jù)和網(wǎng)絡(luò)結(jié)構(gòu)擬合較好。

2.2 SETAN分類性能評(píng)估

實(shí)驗(yàn)數(shù)據(jù)選取UCI資源庫中6個(gè)具有代表性的離散數(shù)據(jù)集，每個(gè)數(shù)據(jù)集的數(shù)據(jù)信息如表2所示。實(shí)驗(yàn)環(huán)境在Windows7操作系統(tǒng)上進(jìn)行，集成開發(fā)環(huán)境Intellij Idea，Weka 3.8，硬件配置為Intel？Core（TM）i5-2410MCPU@2.30GHz，內(nèi)存4GB。實(shí)現(xiàn)了NB分類器、TAN分類器和SETAN分類器。

實(shí)驗(yàn)的主要目的是驗(yàn)證在同等時(shí)間復(fù)雜度下SETAN分類算法的有效性，本文采用一組常見的分類指標(biāo)進(jìn)行性能評(píng)估：準(zhǔn)確率（Accuracy）、召回率（ Recall）、精確率（Precision）、F1值（F1 -measure）、AUC面積（AUC）。結(jié)合表3給出如下相關(guān)定義：

所用的CI測試閾值ε一般取值為0.01-0.05，BIC評(píng)分函數(shù)的懲罰系數(shù)ξ取0.001。在實(shí)驗(yàn)中采用十折交叉有效性驗(yàn)證的方法，對(duì)于數(shù)據(jù)集中的缺失值，將其作為一個(gè)單獨(dú)的值來處理，實(shí)驗(yàn)結(jié)果取平均值。表4給出了本文提出的SETAN算法與NB、TAN算法的詳細(xì)實(shí)驗(yàn)結(jié)果。

從表4可以看出，5個(gè)評(píng)價(jià)指標(biāo)所得的結(jié)果大致相同，準(zhǔn)確率越高，其它4個(gè)指標(biāo)相應(yīng)越大。從各個(gè)評(píng)價(jià)指標(biāo)上看，首先，SETAN在多分類或二分類數(shù)據(jù)集上相對(duì)有更好的分類效果;對(duì)于類別分布不均衡的數(shù)據(jù)集（如Balance、Car、Nursery），SETAN的各項(xiàng)分類指標(biāo)均明顯優(yōu)于NB和TAN分類器;其次，SETAN分類模型也適用于不同數(shù)據(jù)規(guī)模的數(shù)據(jù)集，但在SPECT、Connect數(shù)據(jù)集上的分類精度較差，說明屬性數(shù)量對(duì)分類模型的影響比較明顯。其原因是，對(duì)于具有22個(gè)屬性的SPECT數(shù)據(jù)集，80個(gè)樣本相對(duì)于網(wǎng)絡(luò)復(fù)雜度而言數(shù)據(jù)集規(guī)模太小，分類模型欠擬合導(dǎo)致各項(xiàng)分類指標(biāo)不佳;而對(duì)于Connect數(shù)據(jù)集，樣本數(shù)量和屬性數(shù)量均較大，相應(yīng)的計(jì)算復(fù)雜度較高，導(dǎo)致評(píng)分搜索得到的模型指標(biāo)不太理想。

總之，在數(shù)據(jù)規(guī)模、類別分布、屬性數(shù)量這三個(gè)因素上，數(shù)據(jù)集的規(guī)模和類別分布對(duì)3種分類器的影響都比較小，而屬性數(shù)量會(huì)明顯影響分類效果。屬性越多，分類準(zhǔn)確率相應(yīng)下降，但SETAN相比NB和TAN模型來說仍然占有優(yōu)勢(shì)。而且注意到，對(duì)于類別分布不均衡的數(shù)據(jù)集（如Balance，Car，Nursery），SETAN的分類準(zhǔn)確率有明顯改善。

為了更直觀地看出提出的SETAN算法與TAN、NB算法的分類效果差異，圖2給出了三種算法的AUC面積的polar圖。由于三種算法在Mushroom數(shù)據(jù)集上的AUC面積非常接近，因此圖2沒有給出。在圖2中可以明顯看出SETAN在各個(gè)polar圖中面積都是最大的;此外，SPECT屬于二分類的小數(shù)據(jù)集，所以在圖3中給出了三種算法的ROC曲線圖?？梢钥闯?，在處理屬性數(shù)較多的小數(shù)據(jù)集SPECT時(shí)，SETAN算法的分類結(jié)果也具有一定的參考價(jià)值。

3 結(jié)論

提出一種基于評(píng)分搜索的樹增強(qiáng)樸素貝葉斯分類器改進(jìn)方法。考慮到屬性對(duì)類貢獻(xiàn)程度有所不同，該分類算法在此約束條件下利用低階CI測試獲得候選無效屬性，隨后通過改進(jìn)的BIC評(píng)分函數(shù)結(jié)合K2算法的方式確定網(wǎng)絡(luò)結(jié)構(gòu)中弧邊的方向，并去除無效屬性，進(jìn)而構(gòu)建分類模型。本方法額外允許屬性沒有父結(jié)點(diǎn)或只有一個(gè)屬性父結(jié)點(diǎn)，從而構(gòu)建了一種更好的樹形貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)，去除了冗余屬性，增強(qiáng)了分類模型的可靠性。該算法和TAN分類模型的時(shí)間復(fù)雜度相同。實(shí)驗(yàn)結(jié)果表明，與NB、TAN分類器相比，SETAN的分類準(zhǔn)確率更高。下一步嘗試在大規(guī)模數(shù)據(jù)集上進(jìn)行該分類算法的分布式并行化研究。

參考文獻(xiàn)

[1]

PEARL J. Probabilistic reasoning in intelligent systems： networksof plausible inference [J]. Computer Science ArtificialIntelligence， 1991， 70（2）：1022-1027.

[2] MURALIDHARAN V，SUGUMARAN V.A comparative study ofNalve Bayes classifier and Bayes net classifier for fault diagnosisof monoblock centrifugal pump using wavelet analysis [J].Applied Soft Computing， 2012 ， 12（ 8 ）：2023-2029.

[3]

FRIEDMAN N， GEICER D，GOLDSZMIDT M. Bayesian network classifiers [J]. Machine Learning ， 1997 ， 29（ 2-3 ） ：131-163.

[4] CAN H，ZHANC Y ， SONG Q. Bayesian belief network for positiveunlabeled learning with uncertainty [J]. Pattem Recognition Letters ， 2017 ， 90 ： 28-35.

[5]

JIANC L， CAI Z， WANC D ， et al. Improving tree augmented NaiveBayes for class probability estimation [J]. Knowledge -BasedSystems， 2012.26：239-245.

[6]王中鋒，王志海. TAN 分類器結(jié)構(gòu)等價(jià)類空間及其在分類器學(xué)習(xí)算法中的應(yīng)用 [J]. 北京郵電大學(xué)學(xué)報(bào) ，2012，35（1）：72- 76.

[7] WONG M L.LEUNG K S. An e～ficient data mining method forlearning bayesian networks using an evolutionary algorithm-basedhyhrid approach [J]. IEEE Transactions on EvolutionaryComputation， 2004 ， 8（4） ：378-404.

[8] OUYANG W W，LIN X Z，REN Y.et al. TCM syndromesdiagnostic model of hypertension： Study based on tree augmentedNaive Bayes.[J]. IEEE ， 2011：834-837.

[9] MALDONADO A D，ROPERO R F，ACUILERA P A，et al.Continuous bayesian networks for the estimation of speciesrichness

[J]. Progress in Artificial Intelligence， 2015 ， 4

（ 3 -4）：49-57.

[10]馮月進(jìn)，張鳳斌，最大相關(guān)最小冗余限定性貝葉斯網(wǎng)絡(luò)分類器學(xué)習(xí)算法[J].報(bào)：自然科學(xué)版 ， 2014，37（6）：71-77.

[11] ROBINSON R W. Counting unlaheled acyclic digraphs [M]//Combinatorial Mathematics V. Springer Berlin Heidelberg， 1977：28-43.

[12] SCHWARZ G. Estimating the dimension of a model[J]. Annals ofStatistics， 1978 ， 6（ 2 ）：15-18.

[13]

GREINER R ， ZHOU W.Structural extension to logistic regression：discriminative parameter learning of belief net classifiers [J].Machine Learning， 2005 ， 59（ 3） ：297-322.

[14] MADDEN M G. On the classification performance of TAN andgeneral Bayesian networks [J]. Knowledge -Based Systems，2009 ， 22（ 7 ） ：489-495.

[15] DRUCAN M M，WIERING M A. Feature selection for Bayesiannetwork classifiers using the MDL -FS score

[J]. IntemationalJournal of Approximate Reasoning， 2010 ， 51（6） ：695-717.