基于Benford-SVR的數(shù)據(jù)異常檢驗(yàn)?zāi)Ｐ蜆?gòu)建及其應(yīng)用

李斐斐 周向陽(yáng) 秦朗 葛章明 韓書(shū)慶 張晶 吳建寨

摘要：當(dāng)前數(shù)據(jù)數(shù)量劇增的同時(shí)，大量異常數(shù)據(jù)的存在降低了數(shù)據(jù)質(zhì)量，數(shù)據(jù)分析工作面臨著數(shù)據(jù)豐富而信息貧乏的困境，尋找有效的數(shù)據(jù)異常檢驗(yàn)?zāi)Ｐ停蔀閿?shù)據(jù)科學(xué)研究的重要內(nèi)容。本研究以農(nóng)業(yè)生產(chǎn)數(shù)據(jù)為對(duì)象，融合應(yīng)用Benford定律與SVR模型的技術(shù)優(yōu)勢(shì)，構(gòu)建Benford-SVR異常數(shù)據(jù)檢驗(yàn)?zāi)Ｐ?，并以河北?個(gè)地市131個(gè)縣為例進(jìn)行實(shí)證分析。結(jié)果表明，滄州、邢臺(tái)、邯鄲的數(shù)據(jù)集質(zhì)量較好，保定、石家莊、唐山、張家口數(shù)據(jù)集質(zhì)量較差，并從中有效挖掘出異常較大的數(shù)據(jù)點(diǎn)。本研究結(jié)果為農(nóng)業(yè)數(shù)據(jù)應(yīng)用與信息提取提供了參考，Benford-SVR模型可以作為數(shù)據(jù)質(zhì)量檢驗(yàn)中精準(zhǔn)挖掘異常點(diǎn)的有效工具。

關(guān)鍵詞：數(shù)據(jù)質(zhì)量;Benford定律;SVR;農(nóng)業(yè)生產(chǎn)數(shù)據(jù)

中圖分類(lèi)號(hào)：S126：TP393文獻(xiàn)標(biāo)識(shí)號(hào)：A文章編號(hào)：1001-4942（2019）07-0136-07

近年來(lái)數(shù)據(jù)資源量劇增的同時(shí)，數(shù)據(jù)質(zhì)量問(wèn)題引起了各界高度重視[1]，去冗分類(lèi)、去粗取精，提高數(shù)據(jù)質(zhì)量成為當(dāng)前主要任務(wù)[2，3]。已有研究表明，當(dāng)前海量數(shù)據(jù)中不僅存在著許多冗余、缺失、一致性差等問(wèn)題，還充斥著大量異常數(shù)據(jù)。這些異常數(shù)據(jù)并不完全是錯(cuò)誤數(shù)據(jù)，而是指數(shù)據(jù)集中與眾不同的數(shù)據(jù)，讓人懷疑這些數(shù)據(jù)并非隨機(jī)偏差，而是產(chǎn)生于完全不同的機(jī)制[4，5]。基于這種思想，從大數(shù)據(jù)池中尋找異常數(shù)據(jù)，提升數(shù)據(jù)質(zhì)量，逐漸成為數(shù)據(jù)科學(xué)的一個(gè)重要方向，學(xué)者們不斷提出基于統(tǒng)計(jì)[6]、距離[7]、密度[8]、聚類(lèi)[9]、BP神經(jīng)網(wǎng)絡(luò)[10]等校驗(yàn)與挖掘的算法，并應(yīng)用到經(jīng)濟(jì)、金融、地理、交通等領(lǐng)域。

Benford定律由Simon Newcomb于1881年發(fā)現(xiàn)，后在1938年經(jīng)Benford再次提出引起學(xué)術(shù)界重視，現(xiàn)已被廣泛應(yīng)用于異常數(shù)據(jù)的檢驗(yàn)中[11]。Benford定律最早被用于網(wǎng)絡(luò)入侵[12]、生物生理[13]等自然科學(xué)領(lǐng)域數(shù)據(jù)的檢驗(yàn)，近年來(lái)在會(huì)計(jì)[14]、統(tǒng)計(jì)[15]、財(cái)務(wù)[16]、保險(xiǎn)[17]等社會(huì)科學(xué)領(lǐng)域的數(shù)據(jù)檢驗(yàn)中亦取得了較好效果。Benford定律研究的重點(diǎn)是數(shù)據(jù)準(zhǔn)確性，而非探究數(shù)據(jù)背后存在的問(wèn)題。而支持向量機(jī)（support vector machine，SVM）能夠攻克“過(guò)學(xué)習(xí)”、“欠學(xué)習(xí)”、“維數(shù)災(zāi)難”等一些異常數(shù)據(jù)挖掘中的典型困難[18]，已有研究表明，基于SVM的SVR（support vector regression）模型具備總體殘差較小、魯棒性高的特點(diǎn)，且能有效發(fā)現(xiàn)異常數(shù)據(jù)點(diǎn)[5，19]。

本研究融合兩個(gè)模型的優(yōu)點(diǎn)，構(gòu)建了Benford-SVR異常數(shù)據(jù)檢驗(yàn)?zāi)Ｐ?，并以河北省農(nóng)業(yè)數(shù)據(jù)進(jìn)行了實(shí)證分析，為數(shù)據(jù)質(zhì)量校核及相關(guān)研究工作的開(kāi)展提供支持與參考。

1 材料與方法

1.1 基礎(chǔ)理論

1.1.1 Benford定律 Benford定律也被稱為“首位數(shù)定律”，它指出在自然界中數(shù)據(jù)集中的第一位非零有效整數(shù)的統(tǒng)計(jì)概率滿足對(duì)數(shù)分布。在數(shù)學(xué)上，Benford定律是唯一具有標(biāo)度不變性的數(shù)位定理[20]。Benford定律首數(shù)字為1～9的分布概率如公式（1）所示：

由圖1可知，數(shù)字1～9在第二位、第三位的概率都是單調(diào)遞減的。根據(jù)數(shù)字的聯(lián)合分布函數(shù)和乘數(shù)法則，可以推導(dǎo)出各數(shù)位的條件概率如公式（2）所示：

1.1.2 顯著性檢驗(yàn)方法 數(shù)據(jù)的形成受多種外界因素影響，對(duì)首位數(shù)統(tǒng)計(jì)結(jié)果進(jìn)行顯著性檢驗(yàn)在一定程度上可以避免隨機(jī)誤差干擾。假設(shè)檢驗(yàn)的原假設(shè)和備擇假設(shè)如下：

原假設(shè)H0 ：樣本數(shù)據(jù)集的首位數(shù)（更高位數(shù)字）統(tǒng)計(jì)結(jié)果服從Benford定律分布;備擇假設(shè)H1：樣本數(shù)據(jù)集中首位數(shù)（更高位數(shù)字）統(tǒng)計(jì)結(jié)果不服從Benford定律分布。

常用的方法有四種：χ2擬合優(yōu)度檢驗(yàn)、修正K-S擬合優(yōu)度檢驗(yàn)、距離測(cè)量檢驗(yàn)、相關(guān)系數(shù)檢驗(yàn)[21]?？紤]到統(tǒng)計(jì)量受樣本量影響較大，綜合分析各檢驗(yàn)方法特點(diǎn)，當(dāng)樣本量不大時(shí)，使用χ2、VN對(duì)結(jié)果進(jìn)行判定;當(dāng)樣本量較大時(shí)，使用相關(guān)系數(shù)r對(duì)結(jié)果進(jìn)行判定。

表1給出統(tǒng)計(jì)量χ2、VN*臨界值情況，其中α表示顯著水平。

（3）Pearson相關(guān)系數(shù)：是衡量?jī)蓚€(gè)數(shù)據(jù)集之間相關(guān)關(guān)系的重要統(tǒng)計(jì)量，其判斷標(biāo)準(zhǔn)如表2所示。

1.1.4 核函數(shù) 在支持向量回歸過(guò)程中，核函數(shù)能將原始數(shù)據(jù)映射到高維特征空間，從而避免原始數(shù)據(jù)集進(jìn)行復(fù)雜非線性變化時(shí)可能發(fā)生的“維數(shù)災(zāi)難”，極大提高支持向量回歸效率。核函數(shù)變換如圖2所示。

在統(tǒng)計(jì)學(xué)中，任意滿足Mercer定理的函數(shù)都可以作為核函數(shù)，從而實(shí)現(xiàn)高維映射。常用的有高斯徑向基函數(shù)、多項(xiàng)式核函數(shù)、Sigmoid核函數(shù)、樣條核函數(shù)4種，其中，徑向基（RBF）函數(shù)可以將數(shù)據(jù)映射到無(wú)窮維，解決大部分支持向量回歸問(wèn)題[23]，是最常用的核函數(shù)之一，具體形式如下：

1.1.5 粒子群算法 核函數(shù)中的參數(shù)對(duì)回歸效果有很大影響，需要用優(yōu)化算法獲取最優(yōu)值。常用的優(yōu)化算法有網(wǎng)格搜索法、遺傳算法和粒子群算法等，其中，粒子群（PSO）算法簡(jiǎn)單、搜索速度快、效率高，在求解最優(yōu)參數(shù)過(guò)程中具有明顯優(yōu)勢(shì)，應(yīng)用范圍最廣[24，25]。粒子群算法數(shù)學(xué)描述為：

1.2 模型構(gòu)建

綜合利用Benford定律和SVR建立組合模型，其中，SVR模型選取RBF核函數(shù)，優(yōu)化算法采取PSO算法。Benford-SVR模型處理流程如圖3所示。

1.3 數(shù)據(jù)來(lái)源與處理

1.3.1 數(shù)據(jù)獲取 以農(nóng)業(yè)GDP為分析數(shù)據(jù)對(duì)象，選取2000、2005、2010、2015年河北省石家莊、邯鄲、邢臺(tái)、滄州、張家口、唐山、保定7個(gè)市131個(gè)縣的農(nóng)業(yè)生產(chǎn)數(shù)據(jù)進(jìn)行研究。同時(shí)，為了試驗(yàn)準(zhǔn)確性，引入農(nóng)用化肥、農(nóng)作物總播種面積、農(nóng)業(yè)機(jī)械總動(dòng)力、農(nóng)業(yè)勞動(dòng)力、有效灌溉面積、農(nóng)業(yè)固定資產(chǎn)投資額等作為關(guān)聯(lián)驗(yàn)證數(shù)據(jù)。數(shù)據(jù)來(lái)源于《中國(guó)縣域統(tǒng)計(jì)年鑒》。

1.3.2 數(shù)據(jù)預(yù)處理 首先，采用線性插值法對(duì)缺失數(shù)據(jù)進(jìn)行填補(bǔ)，得到可用數(shù)據(jù)集;其次，采用主成分分析法（PCA）進(jìn)行關(guān)鍵指標(biāo)選取，確定農(nóng)用化肥、農(nóng)作物總播種面積、農(nóng)業(yè)機(jī)械總動(dòng)力、農(nóng)業(yè)勞動(dòng)力、有效灌溉面積五個(gè)指標(biāo)作為在農(nóng)業(yè)GDP研究過(guò)程中的重要輸入向量。

2 結(jié)果與分析

2.1 異常數(shù)據(jù)池篩選

2.1.1 整體樣本檢驗(yàn) 樣本集數(shù)據(jù)首數(shù)字的頻率分布如表3所示。可知，數(shù)據(jù)集實(shí)際頻率與Benford頻率分布趨勢(shì)基本一致，只有首數(shù)字為2時(shí)有明顯差別。因?yàn)閿?shù)據(jù)集為小樣本數(shù)據(jù)，在顯著水平為0.05條件下，χ2統(tǒng)計(jì)量為18.056，大于自由度為8時(shí)的臨界值15.51，數(shù)據(jù)真實(shí)性較可疑。

2.1.2 時(shí)間維度檢驗(yàn) 分別統(tǒng)計(jì)2000、2005、2010、2015年4組數(shù)據(jù)集的首數(shù)字頻率分布，結(jié)果顯示，首數(shù)字“2”的頻率與相應(yīng)的Benford頻率有明顯差別（表4）;在顯著性水平0.05條件下，這4組數(shù)據(jù)的χ2統(tǒng)計(jì)量都小于自由度為8時(shí)的臨界值15.51，數(shù)據(jù)集質(zhì)量較高（表5）。

2.1.3 空間維度檢驗(yàn) 分別統(tǒng)計(jì)滄州、邢臺(tái)、邯鄲、保定、唐山、張家口、石家莊7組數(shù)據(jù)集的首數(shù)字頻率分布，結(jié)果顯示，數(shù)據(jù)集首數(shù)字的頻率與相應(yīng)的Benford頻率有明顯差別（表6）;在顯著性水平0.05條件下，對(duì)數(shù)據(jù)集進(jìn)行擬合優(yōu)度檢驗(yàn)，保定、張家口、石家莊的χ2統(tǒng)計(jì)量都大于15.51，而唐山的Pearson相關(guān)系數(shù)僅為0.931（表7），這四組數(shù)據(jù)集存在異常數(shù)據(jù)可能性較大。

綜上，滄州、邢臺(tái)、邯鄲的數(shù)據(jù)集質(zhì)量較好，保定、唐山、張家口、石家莊數(shù)據(jù)質(zhì)量較差，屬于異常數(shù)據(jù)池。這個(gè)異常數(shù)據(jù)池范圍較大，難以直接從中精確挖掘異常點(diǎn)，所以需要用SVR進(jìn)一步處理。

2.2 異常數(shù)據(jù)點(diǎn)挖掘

通過(guò)樣本檢驗(yàn)已知，滄州、邯鄲、邢臺(tái)的數(shù)據(jù)集質(zhì)量較好，而保定、石家莊、唐山、張家口數(shù)據(jù)集異?？梢尚暂^大?；诖耍醪竭x取滄州、邯鄲、邢臺(tái)作為訓(xùn)練集，共184個(gè)樣本;而唐山、保定、張家口、石家莊四個(gè)市的數(shù)據(jù)作為測(cè)試集，分別包含40、88、52、68個(gè)樣本。

2.2.1 確定訓(xùn)練集 從滄州、邯鄲、邢臺(tái)的184個(gè)樣本中選取160個(gè)樣本點(diǎn)作為訓(xùn)練集，另外24個(gè)樣本點(diǎn)作為預(yù)測(cè)集。用粒子群算法優(yōu)化參數(shù)對(duì)（C，g），優(yōu)化結(jié)果為C=1.4142，g=0.8284，帶入SVR模型中進(jìn)行分析，結(jié)果（圖4）顯示，模型的MSE=0.0061，決定系數(shù)R2=0.9175，預(yù)測(cè)值和真實(shí)值差別較小，確定該樣本集可以作為訓(xùn)練集。

2.2.2 異常數(shù)據(jù)挖掘 以滄州、邯鄲、邢臺(tái)的184個(gè)樣本作為訓(xùn)練集，分別選擇唐山、保定、張家口、石家莊的樣本作為預(yù)測(cè)集，用粒子群算法優(yōu)化參數(shù)C、g，并分別帶入SVR模型中進(jìn)行訓(xùn)練，再對(duì)五個(gè)地區(qū)的數(shù)據(jù)集進(jìn)行異常分析。

由圖5可見(jiàn)，唐山數(shù)據(jù)集的MSE=0.0189，決定系數(shù)R2=0.8640，數(shù)據(jù)集誤差變大，回歸效果變差，數(shù)據(jù)集中許多樣本點(diǎn)的預(yù)測(cè)值和真實(shí)值存在差異，異常表現(xiàn)較大的10個(gè)點(diǎn)序號(hào)依次為189、205、157、211、195、199、185、20、213、187。

保定數(shù)據(jù)集的MSE=0.0147，決定系數(shù)R2=0.8033，異常表現(xiàn)最大的10個(gè)點(diǎn)序號(hào)依次為81、270、165、185、265、152、264、87、240、258（圖6）;張家口數(shù)據(jù)集的MSE=0.0084，決定系數(shù)R2=0.8687，異常表現(xiàn)最大的10個(gè)點(diǎn)序號(hào)依次為193、143、222、71、208、83、196、209、216、187（圖7）;石家莊數(shù)據(jù)集的MSE=0.0225，決定系數(shù)R2=0.7500，異常表現(xiàn)最大的10個(gè)點(diǎn)序號(hào)依次為226、200、19、194、202、212、227、147、236、233（圖8）。

3 討論與結(jié)論

本文在研究了Benford定律和支持向量回歸（SVR）不同特點(diǎn)的基礎(chǔ)上，充分利用兩者的技術(shù)優(yōu)勢(shì)，構(gòu)建了Benford-SVR異常數(shù)據(jù)檢驗(yàn)的組合模型。從對(duì)河北省7個(gè)市131個(gè)縣生產(chǎn)數(shù)據(jù)集進(jìn)行實(shí)證分析的結(jié)果看，該模型可以通過(guò)甄別數(shù)據(jù)集的數(shù)據(jù)質(zhì)量，挖掘出影響數(shù)據(jù)質(zhì)量的最大可疑異常點(diǎn)。

在當(dāng)前大數(shù)據(jù)迅猛發(fā)展的背景下，數(shù)據(jù)質(zhì)量的重要性更加突出，數(shù)據(jù)質(zhì)量檢驗(yàn)的研究也越來(lái)越受到重視。但研究不應(yīng)僅停留在對(duì)數(shù)據(jù)質(zhì)量的判定上，還應(yīng)能有效找到“污數(shù)據(jù)”，這樣才對(duì)實(shí)踐管理工作中的數(shù)據(jù)校核、研究工作中的缺失數(shù)據(jù)插值等更具有價(jià)值[2，17]。Benford定律和SVR模型都是基于數(shù)據(jù)客觀分布規(guī)律開(kāi)展分析，沒(méi)有考慮數(shù)據(jù)代表的意義或所在行業(yè)屬性[15，18]，只能在大數(shù)據(jù)背景下才有效。當(dāng)前，數(shù)據(jù)檢驗(yàn)?zāi)Ｐ驮谵r(nóng)業(yè)中的應(yīng)用較少，雖然Benford-SVR異常數(shù)據(jù)檢驗(yàn)?zāi)Ｐ鸵呀?jīng)展現(xiàn)出了可行性，但還需進(jìn)一步研究和完善，如對(duì)異常點(diǎn)數(shù)據(jù)的處理以及針對(duì)行業(yè)屬性特點(diǎn)開(kāi)展針對(duì)性的模型等。

參 考 文 獻(xiàn)：

[1]楊青云，趙培英，楊冬青，等. 數(shù)據(jù)質(zhì)量評(píng)估方法研究[J]. 計(jì)算機(jī)工程與應(yīng)用， 2004（9）：3-4，15.

[2]李國(guó)杰，程學(xué)旗. 大數(shù)據(jù)研究：未來(lái)科技及經(jīng)濟(jì)社會(huì)發(fā)展的重大戰(zhàn)略領(lǐng)域——大數(shù)據(jù)的研究現(xiàn)狀與科學(xué)思考[J].中國(guó)科學(xué)院院刊， 2012， 27（6）：647-657.

[3]許世衛(wèi)，王東杰，李哲敏. 大數(shù)據(jù)推動(dòng)農(nóng)業(yè)現(xiàn)代化應(yīng)用研究[J]. 中國(guó)農(nóng)業(yè)科學(xué)， 2015， 48（17）：3429-3438.

[4]黃守坤. 異常數(shù)據(jù)挖掘及在經(jīng)濟(jì)欺詐發(fā)現(xiàn)中的應(yīng)用[J]. 統(tǒng)計(jì)與決策， 2003（4）：32-33.

[5]王雷，張瑞青，盛偉，等. 基于支持向量機(jī)的回歸預(yù)測(cè)和異常數(shù)據(jù)檢測(cè)[J]. 中國(guó)電機(jī)工程學(xué)報(bào)， 2009， 29（8）：92-96.

[6]梁昇，肖宗水，許艷美. 基于統(tǒng)計(jì)的網(wǎng)絡(luò)流量異常檢測(cè)模型[J]. 計(jì)算機(jī)工程， 2005（24）：123-125.

[7]趙澤茂，何坤金，胡友進(jìn). 基于距離的異常數(shù)據(jù)挖掘算法及其應(yīng)用[J]. 計(jì)算機(jī)應(yīng)用與軟件， 2005（9）：105-107.

[8]趙春暉，王鑫鵬，閆奕名. 基于密度背景純化的高光譜異常檢測(cè)算法[J]. 哈爾濱工程大學(xué)學(xué)報(bào)， 2016， 37（12）：1722-1727.

[9]朱燕，李宏偉，樊超，等. 基于聚類(lèi)的出租車(chē)異常軌跡檢測(cè)[J]. 計(jì)算機(jī)工程， 2017， 43（2）：16-20.

[10]馬黎，趙麗紅，傅惠.基于BP神經(jīng)網(wǎng)絡(luò)的交通異常事件自動(dòng)檢測(cè)算法[J].交通科技與經(jīng)濟(jì)， 2010， 12（6）：47-50.

[11]Benford F.The law of anomalous numbers [J]. Proceedings of the American Philosophical Society， 1938， 78（4）：551-572.

[12]Arshadi L， Jahangir A H. Benfords law behavior of Internet traffic[J]. Journal of Network and Computer Applications， 2014， 40：194-205.

[13]de Vries P， Murk A J. Compliance of LC50 and NOEC data with Benford[KG-*3]s law： an indication of reliability [J]. Ecotoxicology and Environmental Safety， 2013， 98： 171-178.

[14]Nigrini M J. A taxpayer compliance application of Benford[KG-*3]s law[J]. The Journal of the American Taxation Association， 1996， 18： 72-91.

[15]Rauch B， Gttsche M， Brhler G， et al. Deficit versus social statistics： empirical evisence for the effectiveness of Benfords law [J]. Applied Economics Letters， 2014， 21（3）：147-151.

[16]朱文明，王昊，陳偉. 基于Benford法則的舞弊檢測(cè)方法研究[J]. 數(shù)理統(tǒng)計(jì)與管理， 2007（1）：41-46.

[17]劉云霞，曾五一. 關(guān)于綜合利用Benford法則與其他方法評(píng)估統(tǒng)計(jì)數(shù)據(jù)質(zhì)量的進(jìn)一步研究[J]. 統(tǒng)計(jì)研究，2013， 30（8）：3-9.

[18]Vapnik V N， Levin E， Cunn Y L. Measuring the VC dimension of a learning machine [J]. Neural Computation， 1994， 6（5）：851-876.

[19]項(xiàng)前，徐蘭，劉彬，等. 基于粗糙集與支持向量機(jī)的加工過(guò)程異常檢測(cè)[J]. 計(jì)算機(jī)集成制造系統(tǒng)， 2015，21（9）：2467-2474.

[20]Pinkham R S. On the distribution of first significant digits [J]. The Annals of Mathematical Statistics， 1961， 32：1223-1230.

[21]Ciornei I，Kyriakides E. A GA-API solution for the economic dispatch of generation in power system operation [J]. IEEE Transactions on Power Systems， 2012， 27（1）：233-242.

[22]丁世飛，齊丙娟，譚紅艷. 支持向量機(jī)理論與算法研究綜述[J]. 電子科技大學(xué)學(xué)報(bào)， 2011， 40（1）：2-10.

[23]杜樹(shù)新，吳鐵軍. 用于回歸估計(jì)的支持向量機(jī)方法[J]. 系統(tǒng)仿真學(xué)報(bào)， 2003（11）：1580-1585，1633.

[24]張麗平. 粒子群優(yōu)化算法的理論及實(shí)踐[D]. 杭州：浙江大學(xué)， 2005.

[25]肖曉偉，肖迪，林錦國(guó)，等. 多目標(biāo)優(yōu)化問(wèn)題的研究概述[J]. 計(jì)算機(jī)應(yīng)用研究， 2011， 28（3）：805-808，827.