一種基于一階差分的野值類型判別及處理方法1

饒云峰，白燕，3

一種基于一階差分的野值類型判別及處理方法1

饒云峰1，2，白燕1，2，3

（1.中國科學(xué)院 國家授時中心，西安 710600；2.中國科學(xué)院大學(xué)，北京 100049；3.中國科學(xué)院 精密導(dǎo)航定位與定時技術(shù)重點實驗室，西安 710600）

為了剔除違反規(guī)律的異常測量值，采用一種基于一階差分的野值類型判別及處理方法。仿真結(jié)果表明，該算法能準(zhǔn)確地判別野值類型及其位置，尤其是對于斑點型野值具有較好的效果，同時可以提高數(shù)據(jù)處理精度，縮短數(shù)據(jù)處理時間。

斑點型野值；散點型野值；一階差分；判別和修正

0　引言

測量設(shè)備記錄的測量數(shù)據(jù)往往包含較大的隨機誤差，個別值可能與其他值截然不同，違反了數(shù)據(jù)的整體變化規(guī)律，這些異常測量值就是野值[1]。工程測量中不可避免地存在野值，其對測量精度和數(shù)據(jù)處理的結(jié)果都會帶來嚴重的影響[2]，在數(shù)據(jù)處理過程中必須對這這些違反測量規(guī)律的野值進行修正和剔除。野值的表現(xiàn)形式主要有以下2種[3]：

①散點型野值：野值以孤立點的形式出現(xiàn)。具體表現(xiàn)是：i時刻的觀測數(shù)據(jù)為野值，而在包含i時刻的某一時段內(nèi)其他觀測數(shù)據(jù)是正常的。

②斑點型野值：因相關(guān)性影響，野值成片出現(xiàn)，若i時刻的觀測數(shù)據(jù)為野值，其后一段時間內(nèi)的值或絕大部分值也是異常的。

野值點的成因、野值類型、野值模型等可參見文獻[1]～[3]。野值類型不同，剔除方法也不同。很多野值識別或剔除方法實現(xiàn)起來較復(fù)雜，如文獻[1]～[6]中提到的方法；有些方法只對散點型野值有很好的處理結(jié)果，而對斑點型野值的處理結(jié)果卻并不是很理想，如文獻[7]中提到的統(tǒng)計學(xué)方法和一些非統(tǒng)計學(xué)方法（Tukey53H法和灰自助法）、文獻[8]中提到的相位空間法。文獻[7]～[8]中提到的方法能很好地剔除散點型野值，而對于斑點型野值就很難剔除，尤其是文獻[8]中提到的相位空間法，它能很好地剔除散點型野值，且相比于其他野值剔除算法其最大優(yōu)勢是不需要設(shè)定門限值[7-8]，但當(dāng)工程實踐中的測量數(shù)據(jù)出現(xiàn)大量斑點型野值時，即使多次利用相位空間法也無法剔除斑點型野值。為了解決此問題，本文提出一種基于一階差分的野值類型判別及處理方法。該方法可以判別數(shù)據(jù)中是否存在斑點型野值，精確找出斑點型野值在原始數(shù)據(jù)中的位置并加以剔除。

1　野值類型判別及處理算法

1.1野值類型判別算法

當(dāng)測量數(shù)據(jù)中存在野值，則該數(shù)據(jù)序列的一階差分序列會出現(xiàn)明顯的函數(shù)跳躍點（通過與經(jīng)驗閾值比較后確定是否為跳躍點）。若出現(xiàn)單點跳躍點，表明此點前后數(shù)據(jù)中至少有一段數(shù)據(jù)是斑點型野值；若出現(xiàn)連續(xù)2個以上的跳躍點，表明這段連續(xù)跳躍點的第一個和最后一個跳躍點的前后數(shù)據(jù)中至少有一段數(shù)據(jù)是斑點型野值；若僅出現(xiàn)2個連續(xù)的跳躍點，表明原始數(shù)據(jù)中對應(yīng)2跳躍點后者的點為散點。這些跳躍點把原始數(shù)據(jù)分成若干數(shù)據(jù)段和散點型野值點，求每段數(shù)據(jù)的均值，并將得到的均值與對應(yīng)擬合數(shù)據(jù)段的均值進行比較，兩者之差超過經(jīng)驗閾值的這段數(shù)據(jù)即為斑點型野值。這樣就確定了野值類型及野值在原始數(shù)據(jù)中的位置。設(shè)原始數(shù)據(jù)序列為 u（i），1≤i≤n，n為原始測量數(shù)據(jù)的總長度。判斷原始數(shù)據(jù)中野值類型及位置的具體步驟如下：

①求 u（i）的一階差分：Δu（i）=u（i+1）-u（i），1≤i≤n；

③散點型野值類型判斷：若Mark中的某段相鄰元素有且只有2個元素值是連續(xù)的，則后一個元素對應(yīng)的原始數(shù)據(jù)為散點型野值；

④數(shù)據(jù)分段：根據(jù)Mark中相鄰元素值是否連續(xù)，可將原始數(shù)據(jù)分段。具體分段方法為：當(dāng)Mark中某個元素的值與其后一個元素的值不連續(xù)時，取該元素加入數(shù)列End；當(dāng)Mark中某段元素僅有2個值連續(xù)時，取前一個元素加入End，后一個元素作為散點型野值點；當(dāng)Mark中某段元素有2個以上的值連續(xù)時，取該段連續(xù)值的第一個元素和最后一個元素加入End；另外將原始數(shù)據(jù)的最后一個數(shù)據(jù)點的序數(shù)也作為最后一個元素加入End；所構(gòu)成的數(shù)列End的長度為m，此時就將原始數(shù)據(jù)分為了m段。對于Mark中僅有2個值連續(xù)的情況，若放入End的元素對應(yīng)為End（j），則其對應(yīng)的第j+1段數(shù)據(jù)的起點為End（j）+2，終點為End（j+1）；其余情況時，若第j個數(shù)據(jù)段的終止點為End（j），起始點為End（j -1）+1；另外對于第一個數(shù)據(jù)段，其終止點為End中的第一個元素，起始點為原始數(shù)據(jù)的第一個數(shù)據(jù)；

⑥對判斷出的野值進行修正。

通過上述步驟①～⑤就可識別出原始數(shù)據(jù)中的斑點型野值和散點型野值，并精確定位其在原始數(shù)據(jù)中的位置。

1.2野值修正

在進行野值修正時，若原始數(shù)據(jù)量大，則可直接剔除野值點，但這樣會導(dǎo)致數(shù)據(jù)的不連續(xù)；也可將野值用一定值替代，其他正常值保持不變。一般有以下幾種替代方法[8]：

④擬合值；

⑤根據(jù)野值兩端的數(shù)值做插值。

對于靜態(tài)數(shù)據(jù)（無運動趨勢的測量數(shù)據(jù)），上述5種野值替代的方法都可使用，但對于動態(tài)數(shù)據(jù)（數(shù)據(jù)有明顯的運動趨勢），方法①～③反而會使數(shù)據(jù)處理精度變得更差，所以對于動態(tài)數(shù)據(jù)可使用方法④～⑤進行野值修正，也可以把動態(tài)數(shù)據(jù)的運動趨勢去除[9]后，再用上述5種方法中的任意一種替代野值，野值剔除后再把該運動趨勢加回至剔除野值后的數(shù)據(jù)中。當(dāng)野值對整體數(shù)據(jù)影響比較大時，可多次使用本文提出的野值判別及修正方法，直至數(shù)據(jù)中無明顯的粗大值。

2　數(shù)據(jù)處理及結(jié)果分析

2.1仿真數(shù)據(jù)處理

為了進一步說明不同類型的野值判別方法，模擬仿真了一組帶有白噪聲的數(shù)據(jù)，其長度n=1000，均值為500，在此基礎(chǔ)上將點80，150，500，760改為散點型野值，點[20，35]，[255，285]改為斑點型野值，野值總數(shù)為51，占總數(shù)據(jù)的5.1%，記該組仿真數(shù)據(jù)為data。仿真數(shù)據(jù)data如圖1所示。

圖1原始數(shù)據(jù)

對原始數(shù)據(jù)data求一階差分，一階差分的絕對值與閾值1R比較，得到一階差分函數(shù)中的跳躍點。本文設(shè)跳躍點的判決閾值113Rσ=，1σ為一階差分的標(biāo)準(zhǔn)方差。原始數(shù)據(jù)的一階差分如圖2所示。圖2中，實線代表原始數(shù)據(jù)的一階差分，虛線代表跳躍點的判決閾值。

圖2　原始數(shù)據(jù)的一階差分及其閾值

圖3為2種類型野值的一階差分局部放大圖，由于篇幅限制，此處只給出其中2段存在野值的數(shù)據(jù)（19，35），（499，500）的情況。一階差分與閾值1R比較，跳躍點的位置為Mark={19，35，79，80，149，150，254，285，499，500，759，760}，其中[79，80]，[149，150]，[499，500]，[759，760]是2個連續(xù)跳躍的點（圖3（b）所示），根據(jù)2.1節(jié)中的步驟③可知，原始數(shù)據(jù)data中的點80，150，500，760為散點型野值。一階差分在點19，35，254，285處為單個的跳躍點（圖3（a）所示），由步驟④可得，原始數(shù)據(jù)被分為[1，19]，[20，35]，[36，79]，[81，149]，[151，254]，[255，285]，[286，499]，[501，759]，[761，1000]9段數(shù)據(jù)和散點80，150，500，760，需進一步對數(shù)據(jù)組判斷，判斷其是否為斑點型的野值。

圖3　一階差分對應(yīng)野值的局部放大圖

根據(jù)步驟⑤判斷上述9段數(shù)據(jù)是否為斑點型野值，設(shè)斑點型野值判決閾值為各數(shù)據(jù)段的均值減去對應(yīng)擬合數(shù)據(jù)段的均值的標(biāo)準(zhǔn)方差，即為求標(biāo)準(zhǔn)方差函數(shù)。經(jīng)過比較，只有數(shù)據(jù)組[20，35]，[255，285]滿足條件，所以數(shù)據(jù)組[20，35]，[255，285]為斑點型野值。

綜上可得，點80，150，500，760被識別為散點型野值，數(shù)據(jù)組[20，35]，[255，285]被識別為斑點型野值，該判別結(jié)果與仿真數(shù)據(jù)中的野值類型及位置一致。

由于該組仿真數(shù)據(jù)為靜態(tài)數(shù)據(jù)，所以這里用原始數(shù)據(jù)的均值代替野值，其他數(shù)據(jù)保持不變。野值修正結(jié)果如圖4所示。

圖4　原始數(shù)據(jù)與野值剔除結(jié)果比較圖

圖4中，實線代表原始數(shù)據(jù)，帶“*”的曲線為使用一次本文提出算法的數(shù)據(jù)處理結(jié)果。從圖中可以看出，[20，35]，[255，285]中的斑點型野值被完全修正，點80，150，500，760處的散點型野值也被完全修正。所以本文提出的算法能準(zhǔn)確判別野值類型，并精確定位野值在原始數(shù)據(jù)中的位置。

2.2實測數(shù)據(jù)處理結(jié)果

為了驗證本文提出的算法的可行性和有效性，將本文提出的算法應(yīng)用于處理一組實際無線環(huán)境中的測距數(shù)據(jù)，并將經(jīng)過該算法處理后的數(shù)據(jù)與原始數(shù)據(jù)進行比較。同時利用本文提出的算法與相位空間法分別對該組實測數(shù)據(jù)進行處理，并比較2種算法對于測距精度的影響。

1）基于一階差分的野值類型判別及處理結(jié)果

圖5為中國科學(xué)院國家授時中心2015年1月的某次無線綜合試驗中一組偽距測量原始數(shù)據(jù)。從圖5可知，該段測量數(shù)據(jù)在點（250，410）之間明顯包含數(shù)段斑點型野值，整段數(shù)據(jù)中也包含一些散點型野值。根據(jù)2.1節(jié)所述步驟對該組數(shù)據(jù)進行處理，取為一階差分的標(biāo)準(zhǔn)方差；σ2為所分數(shù)據(jù)段的均值減去對應(yīng)段擬合數(shù)據(jù)的均值的標(biāo)準(zhǔn)方差，即，野值用6階最小二乘擬合值代替。

圖6給出利用本文提出的算法對野值進行修正后的結(jié)果，實線代表原始數(shù)據(jù)，帶“*”的曲線表示本文提出的算法的數(shù)據(jù)處理結(jié)果。從圖中可以看出，原始數(shù)據(jù)中的點（250，410）內(nèi)的野值被完全修正，處理結(jié)果達到了預(yù)期的目的。

圖5　實測原始數(shù)據(jù)

圖6　基于一階差分的野值類型判別及處理方法

2）相位空間法野值修正結(jié)果

相位空間法[8]：以原始數(shù)據(jù) u（i）的殘差及原始數(shù)據(jù)的二階導(dǎo)為軸畫一個橢圓，其中，的一階導(dǎo)。若數(shù)據(jù)點在橢圓外，則判為野值，用修正值代替；若數(shù)據(jù)點在橢圓內(nèi)，則判為正常的測量數(shù)據(jù)，不處理。

為了與基于一階差分的野值類型判別及處理方法比較，此方法中的野值也用6階最小二乘擬合值代替。

圖7為循環(huán)使用相位空間法4次修正后的數(shù)據(jù)，實線代表原始數(shù)據(jù)，帶“o”的曲線代表循環(huán)使用相位空間法4次的野值剔除結(jié)果。對該組數(shù)據(jù)，循環(huán)使用相位空間法4次后，所有的數(shù)據(jù)都滿足在橢圓內(nèi)的條件，即該組數(shù)據(jù)最多只能循環(huán)使用相位空間法4次。從圖中可以看出，原始數(shù)據(jù)中的點（250，410）內(nèi)的斑點型野值只有部分被修正，處理結(jié)果并不是很理想，但數(shù)據(jù)中的部分散點型野值得到相應(yīng)的修正。

圖7　循環(huán)使用相位空間法4次修正后的數(shù)據(jù)

3）2種方法的比較

圖8給出了采用2種方法處理后的數(shù)據(jù)與原始數(shù)據(jù)的比對結(jié)果，實線代表原始數(shù)據(jù)，帶“o”的曲線代表循環(huán)使用相位空間法4次的野值剔除結(jié)果，帶“*”的曲線代表本文提出的算法的數(shù)據(jù)處理結(jié)果。從圖中可以看出，2種方法都能修正數(shù)據(jù)中的散點型野值，但是對（250，410）區(qū)間內(nèi)的斑點型野值，相位空間法處理結(jié)果并不是很好，而采用本文提出的方法能判斷出該部分的斑點型野值并能很好地修正該部分斑點型野值。

圖8　2種方法處理結(jié)果與原始數(shù)據(jù)的比較

另外，不同的數(shù)據(jù)處理方法對測量數(shù)據(jù)的精度會產(chǎn)生不同的影響。對采用上述2種算法進行處理后的數(shù)據(jù)分別求取其均值和標(biāo)準(zhǔn)方差，結(jié)果如表1所示。從表中可看出，采用2種算法分別對該組數(shù)據(jù)進行預(yù)處理后再求其測距精度，相比對沒有經(jīng)過處理的原始數(shù)據(jù)直接求得的測距精度，均有明顯提高；另外，當(dāng)處理次數(shù)相同（1次）的情況下，經(jīng)過本文提出的算法處理后求得的測距精度要比經(jīng)過相位空間法處理后的測距精度高出0.0115；即使循環(huán)使用4次相位空間法，其野值修正后的測距精度也沒有使用本文算法（1次）后得到的測距精度高。因此，本文提出的算法在處理速度上要快于相位空間法，且數(shù)據(jù)處理后的精度也明顯優(yōu)于相位空間法。

表 1　實測數(shù)據(jù)的處理結(jié)果

3　結(jié)論

野值的判別及剔除是測量數(shù)據(jù)處理過程中非常重要的一個環(huán)節(jié)，本文提出了一種基于一階差分的野值類型判別及處理方法，該方法能準(zhǔn)確判別數(shù)據(jù)中的野值類型及其在原數(shù)據(jù)中的位置，相比相位空間法，該算法具有更高的數(shù)據(jù)處理精度和數(shù)據(jù)處理速度，可為有關(guān)工程實踐中的數(shù)據(jù)處理提供一定的參考。

[1]黃家貴,呂紅寧,王安麗.斑點型野值的進一步識別與處理[J].裝備指揮技術(shù)學(xué)院學(xué)報,2002,13(6):56-59.

[2]胡紹林,孫國基.靶場外測數(shù)據(jù)野值點的統(tǒng)計診斷技術(shù)[J].宇航學(xué)報,1999,20(2):68-73.

[3]祝轉(zhuǎn)明,秋宏興,李濟生,等.動態(tài)測量數(shù)據(jù)野值的辨識與剔除[J].系統(tǒng)工程與電子技術(shù),2004,26(2):147-149,190.

[4]胡峰,孫國基.Kalman濾波的抗野值修正[J].自動化學(xué)報,1999,25(5):694-695.

[5]王佳,王敏,徐曉輝.一種干涉儀數(shù)據(jù)斑點型野值修正方法[J].彈箭與制導(dǎo)學(xué)報,2013,33(2):106-108.

[6]卓寧.靶場外彈道數(shù)據(jù)處理中野值點剔除方法[J].測試技術(shù)學(xué)報,2008,22(4):313-317.

[7]楊筱.衛(wèi)星導(dǎo)航系統(tǒng)數(shù)據(jù)與信號質(zhì)量評估技術(shù)研究[D].長沙:國防科學(xué)技術(shù)大學(xué),2009.

[8]GORING D G.NIKORA V I.Despiking acoustic doppler velocimeter data[J].Journal of Hydraulic Engineering,2002,128(1): 117-126.

[9]BAHAER.趨勢項提取+萊特準(zhǔn)則的野值剔除方法[EB/OL].(2010-10-10)[2015-01-13].http://blog.sina.com.cn/s/blog_5de f5a660100m3mr.html.

Amethod based on first-order difference for type-judging and processing of outliers

RAO Yun-feng1，2，BAI Yan1，2，3
（1.National Time Service Center，ChineseAcademy of Sciences，Xi′an 710600，China；2.University of ChineseAcademy of Sciences，Beijing 100049，China；3.Key Laboratory of Precision Navigation and Timing Technology，National Time Service Center，ChineseAcademy of Sciences，Xi′an 710600，China）

For eliminating the abnormal measured values，a method based on the first-order difference is adopted for judging the types of the outliers and processing them.The simulation results show that the type of outliers can be accurately differentiated and the location of outliers in the original data can be precisely pinpointed by using this algorithm，especially for the spotted outliers the processing result is rather good.At the same time，processing precision can be improved and the processing time can be reduced.

spotted outliers；isolated outliers；first-order difference；differentiation and correction

TP274

A

1674-0637（2015）04-0227-08

10.13875/j.issn.1674-0637.2015-04-0227-08

2015-06-25

國家自然科學(xué)基金資助項目（11203027）

饒云峰，女，碩士研究生，主要從事Ka頻段星間鏈路信號質(zhì)量性能評估方法的研究。