林洪樺

特約論文

測(cè)量誤差分析及數(shù)據(jù)處理若干要點(diǎn)系列論文（三）——隨機(jī)性分布統(tǒng)示法推薦應(yīng)用

林洪樺

（北京理工大學(xué)，北京 100081）

闡述現(xiàn)代數(shù)據(jù)處理中隨機(jī)性分布統(tǒng)示法應(yīng)用，分析小樣本數(shù)據(jù)處理難點(diǎn)與對(duì)策，詳細(xì)描述分布統(tǒng)示法的矩估計(jì)方法、分布統(tǒng)示法的分位數(shù)估計(jì)方法、高斯混合模型用于粒子濾波等方法應(yīng)有的觀念、對(duì)策與基本方法、步驟及應(yīng)予關(guān)注的問題等。

數(shù)據(jù)處理；數(shù)學(xué)模型；誤差；統(tǒng)示法

在文獻(xiàn)[1]中，筆者闡述了現(xiàn)代數(shù)據(jù)處理基本觀念，包括數(shù)據(jù)處理目標(biāo)、依據(jù)、實(shí)質(zhì)、現(xiàn)實(shí)問題的性質(zhì)和隨機(jī)性分布，并根據(jù)數(shù)據(jù)處理對(duì)策，對(duì)現(xiàn)代數(shù)據(jù)處理歸結(jié)出“實(shí)、佳、智、驗(yàn)”四字要訣。在文獻(xiàn)[2]中，筆者闡述了現(xiàn)代數(shù)據(jù)處理中隨機(jī)性分布統(tǒng)示法的必要性以及表示方法。數(shù)據(jù)處理實(shí)質(zhì)在于按樣本數(shù)據(jù)推測(cè)其待求總體信息，依據(jù)可靠先驗(yàn)信息十分必要，須輔以對(duì)先驗(yàn)信息的處理，其中重中之重在于處理現(xiàn)實(shí)的隨機(jī)性分布問題。本文延續(xù)文獻(xiàn)[2]，在非高斯性為常態(tài)觀念下，論述運(yùn)用隨機(jī)性分布統(tǒng)示法處理概率分布模式的實(shí)用統(tǒng)計(jì)處理方法。

1 隨機(jī)性分布統(tǒng)示法應(yīng)用概述

傳統(tǒng)的誤差分析多基于誤差呈正態(tài)分布的假定。實(shí)際上，這樣的假定經(jīng)常并不成立，有些起決定性因素的誤差呈均勻分布、瑞利（Rayleigh）分布或反正弦分布等非正態(tài)分布，其與一些次要因素的誤差合成后，經(jīng)常表現(xiàn)為一種非典型的概率分布。如齒輪測(cè)量、雷達(dá)回波、水聲信號(hào)，生物與醫(yī)學(xué)、社會(huì)學(xué)與經(jīng)濟(jì)學(xué)中的測(cè)量數(shù)據(jù)等更常遇到非典型的概率分布，現(xiàn)統(tǒng)稱為非高斯分布。實(shí)際上，以往并非不認(rèn)為非高斯性誤差為常態(tài)，但對(duì)其沒有實(shí)用處理方法。當(dāng)前已有非高斯性數(shù)據(jù)實(shí)用處理方法，且仍在不斷發(fā)展完善中，可見分布統(tǒng)示法值得提倡應(yīng)用，尤其有必要探討分布形態(tài)覆蓋面廣，且簡捷有效的小樣本數(shù)據(jù)處理方法。

2 小樣本數(shù)據(jù)處理難點(diǎn)與對(duì)策

文獻(xiàn)[1]總結(jié)：大多數(shù)現(xiàn)實(shí)數(shù)據(jù)宜按小樣本處理。小樣本數(shù)據(jù)處理的特點(diǎn)：1）本質(zhì)特征在于含有總體信息較少，同一總體的小樣本分布并不相同，不同總體的小樣本分布可能類同，難以推斷其總體分布；2）小樣本分布不對(duì)稱，難以體現(xiàn)出其總體對(duì)稱性；3）小樣本特征量欠穩(wěn)定，同一總體的小樣本矩或分位數(shù)不盡相同，難以推斷其總體特征量及待求的總體特性。

為得出實(shí)且準(zhǔn)的待求總體特性處理結(jié)果，需擬定合適的小樣本數(shù)據(jù)處理對(duì)策。文獻(xiàn)[1]、文獻(xiàn)[2]根據(jù)現(xiàn)代數(shù)據(jù)處理對(duì)策歸結(jié)出四字要訣“實(shí)、佳、智、驗(yàn)”，且大體上對(duì)應(yīng)4方面要素：模型、準(zhǔn)則、算法、驗(yàn)證?，F(xiàn)從其中歸納出如下具體對(duì)策：

總原則為從特殊到特殊的轉(zhuǎn)導(dǎo)型推理原則，即按所掌握的有限信息直接估計(jì)、預(yù)測(cè)現(xiàn)實(shí)問題待求的結(jié)果；

1）在模型化上，在概率分布模式未掌握確切信息時(shí)運(yùn)用統(tǒng)示法，并按分布統(tǒng)示法優(yōu)先，需覆蓋拖尾分布時(shí)用分布統(tǒng)示法，需覆蓋多峰型分布時(shí)才選用混合分布統(tǒng)示法的次序建模策略；

2）以樣本統(tǒng)計(jì)特征量（樣本前四階矩或分位數(shù)等）為主，且輔以可靠先驗(yàn)信息；

3）充分利用統(tǒng)示分布參數(shù)，如按樣本前四階矩估計(jì)統(tǒng)示分布參數(shù)，按樣本分位數(shù)估計(jì)統(tǒng)示分布參數(shù)，進(jìn)而確定待求總體特性，以往刻意地求出小樣本所屬的典型概率分布毫無實(shí)際意義；

5）可用自助（Bootstrap）法擴(kuò)展樣本所含有總體信息，即運(yùn)用統(tǒng)示法要求樣本容量大才夠準(zhǔn)，采用自助法對(duì)原樣本{x,= 1,…,}進(jìn)行重新獨(dú)立隨機(jī)抽樣，獲得再生大量自助樣本= [x],1,2,…,= 20，借其估計(jì)前四階矩或分位數(shù)等可多含些總體信息，使估計(jì)的結(jié)果更準(zhǔn)確可靠[3]。

在做數(shù)據(jù)處理對(duì)策之前，首先，進(jìn)行一些必要的數(shù)據(jù)預(yù)處理：觀察數(shù)據(jù)圖（如坐標(biāo)圖、直方圖等）、分析特征量、檢驗(yàn)異常值、檢驗(yàn)對(duì)稱性、檢驗(yàn)趨勢(shì)性和周期性；然后，通過理論分析、實(shí)驗(yàn)結(jié)果、技術(shù)資料以及主觀經(jīng)驗(yàn)等搜集先驗(yàn)信息；最后，匯集便于初步擬定數(shù)據(jù)處理方案。

3 β分布統(tǒng)示法的矩估計(jì)方法

分布統(tǒng)示法已應(yīng)用多年，詳見文獻(xiàn)[3]~文獻(xiàn)[5]。由文獻(xiàn)[2]表1可知：分布統(tǒng)示法優(yōu)先應(yīng)用，且宜運(yùn)用矩估計(jì)。設(shè)樣本數(shù)據(jù)為{x}，按上述小樣本數(shù)據(jù)處理對(duì)策擬出分布統(tǒng)示法的矩估計(jì)方法如下：

2）檢測(cè)、排除異常數(shù)據(jù)和顯著系統(tǒng)誤差，推薦采用文獻(xiàn)[3]中式(7.5.3)或式(7.5.4)作為初判，若置信概率(+1)，樣本容量≥ 20，則

系統(tǒng)誤差主要應(yīng)排除變量系統(tǒng)誤差，通過檢驗(yàn)數(shù)據(jù)隨機(jī)性（符號(hào)檢驗(yàn)、游程檢驗(yàn)、秩相關(guān)檢驗(yàn)等）即可發(fā)現(xiàn)是否存在變量系統(tǒng)誤差；排除變量系統(tǒng)誤差主要依靠專業(yè)技術(shù)，可輔以回歸分析；

*必要時(shí)，如< 20，可采用自助法借自助樣本估計(jì)前四階矩[3]：

7）估計(jì)非對(duì)稱分布界限，

【示例1】測(cè)長儀重復(fù)20次實(shí)測(cè)數(shù)據(jù)為： 150.14, 150.04, 149.97, 150.08, 149.93, 149.99, 150.13, 150.09, 149.89, 150.01, 149.99, 150.04, 150.02, 149.94, 150.19, 149.93, 150.09, 149.83, 150.03, 150.07(mm)。

【示例2】原始數(shù)據(jù)(= 30)：4.4, 4.9, 4.5, 4.4, 4.6, 4.5, 4.6, 4.3, 4.2, 4.4, 4.3, 4.5, 4.6, 4.2, 4.3, 4.8, 4.8, 4.2, 4.2, 5.3, 4.6, 4.6, 4.5, 4.9, 4.1, 4.5, 4.4, 4.7, 4.2, 4.8 (μm)。

注：該例以往基于正態(tài)性數(shù)據(jù)處理結(jié)果，原始數(shù)據(jù)中5.3判為異常值而棄之。

4 λ分布統(tǒng)示法的分位數(shù)估計(jì)方法

由文獻(xiàn)[2]可知：現(xiàn)實(shí)問題用到拖尾型概率分布時(shí)宜應(yīng)用分布統(tǒng)示法，如壽命、磨損等專業(yè)領(lǐng)域。小樣本下應(yīng)用分布統(tǒng)示法，實(shí)際上就是按樣本數(shù)據(jù)確定分布參數(shù) (1,2,3,4)，因其更宜用分位數(shù)形式表述，且前四階矩較分位數(shù)與 (1,2,3,4) 的關(guān)系更為復(fù)雜，故運(yùn)用樣本分位數(shù)估計(jì)統(tǒng)示分布參數(shù)的方法（盡管也能應(yīng)用矩估計(jì)法）[7]。

以常量測(cè)量下按樣本數(shù)據(jù)求其總體分布范圍為例，可歸納出分布統(tǒng)示法具體數(shù)據(jù)處理方法及步驟。

1）預(yù)處理

②檢測(cè)異常數(shù)據(jù)：一般采用文獻(xiàn)[3]中式(7.5.4)作為初判，即粗差e判別式為

用樣本分位數(shù)估計(jì)時(shí)，也可采用文獻(xiàn)[3]中具有穩(wěn)健性的式(7.5.16)作為初判，即異常數(shù)據(jù)判別式為

式中，1.5由正態(tài)性導(dǎo)出，可另用非高斯性范圍。

③排除變量系統(tǒng)誤差：如前述，通過檢驗(yàn)數(shù)據(jù)隨機(jī)性即可發(fā)現(xiàn)是否存在變量系統(tǒng)誤差；排除變量系統(tǒng)誤差主要依靠專業(yè)技術(shù)，可輔以回歸分析。

2）原數(shù)據(jù)的分位數(shù)估計(jì)

對(duì)原數(shù)據(jù)統(tǒng)計(jì)其順序統(tǒng)計(jì)量為(1),(2), …,(n)，則樣本的分位數(shù)估計(jì)為

式中，為正整數(shù)；為余數(shù)。

按文獻(xiàn)[2]中表2，分位數(shù)特征量的4式估計(jì)分別為

且取= (0.05, 0.10, 0.15, 0.20, 0.25, 0.50, 0.75, 0.80, 0.85, 0.90, 0.95)。

3）自助法估計(jì)分位數(shù)

對(duì)原數(shù)據(jù)生成自助樣本x1,x2,…,x，1,2,…,，按式(2)同樣方法估計(jì)自助樣本分位數(shù)，即

1,2,…,

且取= (0.05, 0.10, 0.15, 0.20, 0.25, 0.50, 0.75, 0.80, 0.85, 0.90, 0.95)。

4）對(duì)稱性處理優(yōu)先

估計(jì)對(duì)稱分布參數(shù)：

②估計(jì)(1,2)：同理利用文獻(xiàn)[2]表2相應(yīng)的分位數(shù)特征量公式，可得

5）估計(jì)一般分布參數(shù)

②估計(jì)(1,2)：按中位數(shù)和分位差公式，可得

6）估計(jì)總體分布范圍

估計(jì)(1,2,3,4)后，按文獻(xiàn)[2]表2中分位數(shù)函數(shù)式，令= 0，= 1算出總體分布范圍[,] = [(0),(1)]。

【示例3】：示例2的數(shù)據(jù)按上述分布統(tǒng)示法的數(shù)據(jù)處理方法及其步驟估計(jì)其總體分布范圍，結(jié)果如下：

分位數(shù)關(guān)系：（中位數(shù)，10分位差，10分位比，10分位差比）=（4.5, 0.3, 2, 1)；

異常數(shù)據(jù)檢測(cè)：若= 2.9449_4= 3.6512，則判定該樣本不含有粗差，其中為標(biāo)準(zhǔn)化樣本最大值；_4為粗差界限；

估計(jì)結(jié)果：原數(shù)據(jù)范圍為[4.1, 5.3]，重復(fù)3次估計(jì)統(tǒng)示分布參數(shù)與總體分布范圍的結(jié)果如下：

①分布參數(shù)：(1,2,3,4) = (4.51, 1.06141, 0.166337, 0.166337 )；

分布范圍：[a, b] = [3.56786, 5.45214]；

②分布參數(shù)：(1,2,3,4) = (4.51, 0.737381, 0.110353, 0.110353 )

分布范圍：[a, b] = [3.15385, 5.86615]；

③分布參數(shù)：(1,2,3,4) = (4.51, 1.18289, 0.18882, 0.18882)；

分布范圍：[a, b] = [3.66461, 5.35539]。

該估計(jì)結(jié)果與示例2同樣否定按正態(tài)性處理識(shí)別5.3為異常。

綜上所述，在小樣本下適于應(yīng)用分布統(tǒng)示法，且宜按樣本分位數(shù)估計(jì)（采取自助法及多點(diǎn)平均法）統(tǒng)示分布參數(shù)后求解待求現(xiàn)實(shí)問題，如總體分布范圍[,]。顯然，按樣本分位數(shù)估計(jì)與按樣本矩估計(jì)構(gòu)成兩類相輔相成基本方法。

5 高斯混合模型用于粒子濾波

現(xiàn)實(shí)的科技問題多具有三非性（非線性、非高斯、非平穩(wěn)），導(dǎo)致當(dāng)前不斷研究適于求解三非性問題的數(shù)據(jù)處理方法，如粒子濾波（PF）方法。在現(xiàn)實(shí)問題隨機(jī)性分布信息不足且分布較復(fù)雜時(shí)，可用適于對(duì)稱性、非對(duì)稱性、拖尾型、多峰型等覆蓋面最大的高斯混合模型（GMM），以及其樣本數(shù)據(jù)直接統(tǒng)示分布的馬爾科夫鏈-蒙特卡羅（MC-MC）方法。

PF方法實(shí)質(zhì)是以遞歸貝葉斯統(tǒng)計(jì)分析為理論基礎(chǔ)的動(dòng)態(tài)濾波方法。過程或系統(tǒng)模型化：

狀態(tài)空間模型為

濾波過程的核心問題在于表述濾波過程的后驗(yàn)分布，其核心技術(shù)為序貫重要性分布重采樣（SIR）。對(duì)后驗(yàn)分布作恒等變換

式中，重要性分布(*)可按需任選；(*)為權(quán)函數(shù)，即歸一化加權(quán)值。

于是，一列不同的加權(quán)粒子樣本可逼近不一樣的后驗(yàn)分布。為避免粒子退化和樣本枯竭而保持粒子集有效性和多樣性，按該權(quán)值方差確定是否重采樣閾值。最后做出任一后驗(yàn)分布期望估計(jì)。

在文獻(xiàn)[8]中運(yùn)用如下方法：盡管其中后一ARMA模型階數(shù)已定的參數(shù)估計(jì)部分欠妥，應(yīng)當(dāng)運(yùn)用一般參數(shù)估計(jì)方法。在此僅作為PF算法示例（其中GMM-EM算法見文獻(xiàn)[2]）。

---------------------------------------------------------------------

雙重PF聯(lián)合估計(jì)狀態(tài)與參數(shù)方法：

For= 1:;

%估計(jì)狀態(tài)

%估計(jì)參數(shù)

---------------------------------------------------------------------

仿真結(jié)果見文獻(xiàn)[8]，表明其運(yùn)行的均方差都較小。初步驗(yàn)證應(yīng)用GMM-EM及MC-MC方法重采樣的PF方法是可行、有效的。

6 結(jié)語

本文闡述了當(dāng)前對(duì)小樣本數(shù)據(jù)處理應(yīng)有的觀念、對(duì)策與基本方法，及對(duì)分布統(tǒng)示法推薦分布、分布及高斯混合分布等應(yīng)用中應(yīng)有的觀念、對(duì)策與基本方法、步驟及應(yīng)予關(guān)注的問題。對(duì)分布統(tǒng)示法推薦只是提示性應(yīng)用，遠(yuǎn)未能達(dá)到解決實(shí)際問題程度。其中涉及自助法、異常數(shù)據(jù)檢測(cè)、系統(tǒng)誤差檢測(cè)和排除、粒子濾波算法等具體問題和應(yīng)用，均非一紙即可道明。

[1] 林洪樺.測(cè)量誤差分析及數(shù)據(jù)處理若干要點(diǎn)系列論文（一）——現(xiàn)代數(shù)據(jù)處理基本觀念與四字要訣[J].自動(dòng)化與信息工程,2020,41(1):1-4,9.

[2] 林洪樺.測(cè)量誤差分析及數(shù)據(jù)處理若干要點(diǎn)系列論文（二）——隨機(jī)性分布統(tǒng)示法綜論[J].自動(dòng)化與信息工程,2020, 41(2):1-7.

[3] 林洪樺.測(cè)量誤差與不確定度評(píng)估[M].北京:機(jī)械工業(yè)出版社,2010.

[4] 林洪樺,潘峰.重復(fù)測(cè)量數(shù)據(jù)分布的自助法估計(jì)[J].北京理工大學(xué)學(xué)報(bào),2004(11):947-951.

[5] 林洪樺.再薦誤差的分布統(tǒng)示法[J].中國計(jì)量學(xué)院學(xué)報(bào)，2004(2):96-101.

[6] 席同鑫,林洪樺,王中宇.誤差分布對(duì)稱性的識(shí)別方法研究[C]//第20屆測(cè)控、計(jì)量、儀器儀表學(xué)術(shù)年會(huì)論文集.2010.

[7] 林洪樺,席同鑫,王中宇.分布統(tǒng)示法用于小樣本數(shù)據(jù)處理的探討[C],第十一次全國誤差理論與不確定度學(xué)術(shù)與教學(xué)交流研討會(huì),海南三亞,2011.

[8] Li Shuhui, Feng Xiaoxue, Lin Honghua, et al. Joint State and Parameter Estimation of Stationary ARMA Model with Unknown Noise[Z]. CCC,Dalian, 2017.

[9] 林洪樺.探討小樣本下“三非”問題的分析與處理[C].第十四次全國誤差理論與不確定度學(xué)術(shù)與教學(xué)交流研討會(huì),南京,2018.

Some Key Points of Measurement Error Analysis and Data Processing Series Papers (3)——Recommended Applications of Random Distribution Uniform Expression Method

Lin Honghua

(Beijing Institute of Technology, Beijing 10081, China)

This paper expounds the applications of random distribution uniform expression method in modern data processing, the difficulties and countermeasures of small sample data processing are analyzed. The moment estimation method ofdistribution uniform expression method, the quantile estimation method ofdistribution uniform expression method and Gaussian mixture models for particle filtering are described in detail, including concepts, countermeasures, basic methods, steps and issues that should be paid attention to.

data processing; mathematical model; error; uniform expression method

林洪樺，男，1932年生，教授，主要研究方向：測(cè)試誤差分析及數(shù)據(jù)處理。

TP274

A

1674-2605(2020)03-0001-07

10.3969/j.issn.1674-2605.2020.03.001