基于自適應(yīng)加權(quán)的多傳感器實時數(shù)據(jù)特征值提取

全恩懋,秦小平,許宏科,孫中洋

(1.重慶水利電力職業(yè)技術(shù)學院 市政工程學院,重慶 402160;2.長安大學 電子與控制工程學院,西安 710064;3.招商局重慶公路工程檢測中心有限公司,重慶 400067)

0 引 言

目前,長期監(jiān)測系統(tǒng)在交通、環(huán)境、水利、土木工程等諸多領(lǐng)域都得到了大量應(yīng)用和發(fā)展。監(jiān)測系統(tǒng)采用高頻率的實時采集方式能獲得監(jiān)測對象的大數(shù)據(jù)信息,并且同一位置同一指標通常設(shè)置有2個以上的傳感器,因此,監(jiān)測數(shù)據(jù)結(jié)果為多傳感器實時大數(shù)據(jù)。為反映監(jiān)測對象的工作狀態(tài),通常需要將監(jiān)測數(shù)據(jù)融合為一個代表值,稱為數(shù)據(jù)特征值。該融合過程稱為數(shù)據(jù)特征值的提取。文獻[1]提出了多傳感器加權(quán)數(shù)據(jù)狀態(tài)估計的方法,考慮了傳感器精度,減小了數(shù)據(jù)偏差;文獻[2]基于線性最小方差最優(yōu)融合準則,提出了一種加權(quán)融合魯棒增量Kalman濾波算法;文獻[3]利用動態(tài)貝葉斯原理,建立貝葉斯數(shù)學模型,對數(shù)據(jù)測試段進推理估計,處理數(shù)據(jù)異常;文獻[4]針對水質(zhì)監(jiān)測無線傳感網(wǎng)絡(luò)數(shù)據(jù)的高精度要求,提出了一種基于支持度函數(shù)的數(shù)據(jù)融合算法,通過對各傳感器數(shù)據(jù)進行一致性檢測,采用改進的動態(tài)時間彎曲距離對支持度函數(shù)進行優(yōu)化,并采用加權(quán)算法完成數(shù)據(jù)融合,實現(xiàn)了錯誤數(shù)據(jù)的校正,獲得了高質(zhì)量融合數(shù)據(jù);文獻[5]采用grubbs準則檢驗實測數(shù)據(jù),基于傳感器自身精度的固定方差和傳感器測量時的實際方差,提出了一種優(yōu)化的自適應(yīng)最優(yōu)權(quán)值分配方法,實現(xiàn)了傳感器數(shù)據(jù)的空間融合;文獻[6]采用給定門限進行一致性檢驗,利用分批估計自適應(yīng)加權(quán)技術(shù)實現(xiàn)了多傳感器數(shù)據(jù)融合;文獻[7]通過對實測數(shù)據(jù)的統(tǒng)計分析,提出了傳感器工作狀態(tài)的實際精度近似計算模型,并在此基礎(chǔ)上對多傳感器數(shù)據(jù)進行了自適應(yīng)加權(quán)空間融合;文獻[8]基于RSSI的無線傳感器網(wǎng)絡(luò),提出了節(jié)點動態(tài)選擇的數(shù)據(jù)融合方法;文獻[9]利用分布圖法剔除異常數(shù)據(jù),通過計算各傳感器間的置信距離得出傳感器支持度,以支持度最高的傳感器數(shù)據(jù)代替剔除數(shù)據(jù)進行自適應(yīng)加權(quán),實現(xiàn)了所有時刻的傳感器數(shù)據(jù)空間融合;文獻[10]在群集無線傳感器網(wǎng)絡(luò)中提出一種使用網(wǎng)絡(luò)編碼的自適應(yīng)數(shù)據(jù)融合分析方法;文獻[11]利用四分位離散度對異常值進行剔除,采用分批估計理論實現(xiàn)了單傳感器數(shù)據(jù)的融合,將傳感器支持度作為局部期望權(quán)重,將自適應(yīng)權(quán)重作為局部方差權(quán)重,對二者加權(quán)平均得到綜合權(quán)重,實現(xiàn)了多傳感器數(shù)據(jù)的融合?？梢?在眾多的數(shù)據(jù)融合方法中,自適應(yīng)加權(quán)融合理論因不需任何先驗知識且融合結(jié)果精度較高等優(yōu)點,得到廣泛的研究和應(yīng)用,其典型的應(yīng)用場景:傳感器作為頻率固定數(shù)據(jù)源,通過現(xiàn)場采集設(shè)備、臨時存儲設(shè)備對數(shù)據(jù)進行收集,并通過現(xiàn)場通訊設(shè)備將數(shù)據(jù)發(fā)送至服務(wù)器終端,在終端上采用軟件實現(xiàn)數(shù)據(jù)融合[12]。該場景與監(jiān)測系統(tǒng)工作模式基本一致,故以自適應(yīng)加權(quán)融合算法為基礎(chǔ)探索監(jiān)測數(shù)據(jù)特征值提取方法。

如前述文獻,基于自適應(yīng)加權(quán)的數(shù)據(jù)融方法已有一定研究成果,但針對長期監(jiān)測數(shù)據(jù),特別是土木工程監(jiān)測系統(tǒng),仍有改進的必要。首先,由于監(jiān)測系統(tǒng)受工作環(huán)境、設(shè)備耐久性等因素的影響,監(jiān)測數(shù)據(jù)不可避免會產(chǎn)生異常值。目前異常值檢驗方法主要包括grubbs準則檢驗[5]、門限法[6]、分布圖法[9]、引入門限參數(shù)的分布圖法[9]等。門限方法檢驗速度最快,但可靠性稍差,特別是門限參數(shù)采用主觀設(shè)置時,缺乏理論依據(jù);grubbs準則檢驗效果較好,但檢驗過程需查表,影響了檢驗速度;分布圖法需先對數(shù)據(jù)序列進行排序且計算參數(shù)更多,檢驗速度較慢。因此,對于監(jiān)測大數(shù)據(jù),特別是長期數(shù)據(jù),研究兼顧速度與精度的數(shù)據(jù)預(yù)處理方法,具有重要意義。再者,實際工程中的傳感器本身可能存在精度差異,客觀上應(yīng)考慮傳感器精度對數(shù)據(jù)融合結(jié)果的影響。針對以上問題,為實現(xiàn)監(jiān)測數(shù)據(jù)的特征值提取,本文對傳感器數(shù)據(jù)的預(yù)處理及時間維、空間維融合方法開展研究。

1 基于時-空融合的數(shù)據(jù)特征值提取過程

監(jiān)測數(shù)據(jù)特征值提取的實質(zhì)為傳感器數(shù)據(jù)在時間維和空間維的融合,簡稱數(shù)據(jù)的時-空融合。數(shù)據(jù)特征值提取過程如圖1所示。

圖1 數(shù)據(jù)特征值提取過程Fig.1 Data feature extraction process

針對m個傳感器時序數(shù)據(jù)段Di={di1,di2,…,din}(i=1,2,…,m),數(shù)據(jù)的時-空融合步驟如下。

2 基于3σ-grubbs檢驗的數(shù)據(jù)預(yù)處理

監(jiān)測數(shù)據(jù)因為傳感器精度、設(shè)備安裝連接缺陷、周邊環(huán)境影響、傳輸過程干擾等常出現(xiàn)一些數(shù)據(jù)孤立點,該類數(shù)據(jù)對正常數(shù)據(jù)的信息必然產(chǎn)生干擾,導(dǎo)致評估結(jié)果失真,特別是數(shù)據(jù)誤差較大時,會導(dǎo)致提取的數(shù)據(jù)特征嚴重偏離真實值,甚至完全覆蓋實際信息。這類孤立點數(shù)據(jù)稱為異常數(shù)據(jù),其帶來的誤差稱為疏失誤差。目前常用的異常數(shù)據(jù)剔除方法主要有萊特準則、3σ準則、分布圖法以及grubbs準則等。

由于3σ準則的閾值具有很好的動態(tài)性[13],目前較多學者在監(jiān)測數(shù)據(jù)處理中都采用3σ準則,其計算過程如下。

若編號為i的傳感器某時段時序數(shù)據(jù)段為Di={di1,di2,…,din}(i=1,2,…,m),則Di的均值和標準差分別為

(1)

(2)

令閾值為

(3)

對超出閾值范圍的數(shù)據(jù)進行剔除,對剩余數(shù)據(jù)再次計算閾值,迭代剔除異常數(shù)據(jù),直到所有數(shù)據(jù)均滿足準則要求。

3σ準則的閾值僅依賴樣本數(shù)據(jù)本身,因此檢驗速度快,但3σ準則對全局孤立點異常數(shù)據(jù)較有效,對局部孤立點異常數(shù)據(jù)缺乏有效的檢出率。而grubbs準則能很好地解決該問題,確保消除疏失誤差的可靠性[14-15],其計算過程如下。

時序數(shù)據(jù)段Di={di1,di2,…,din}(i=1,2,…,m)是服從正態(tài)分布的數(shù)據(jù)集,根據(jù)順序統(tǒng)計原理,可計算grubbs統(tǒng)計量的確切分布[16]。并定義

(4)

P[gij≥g0(n,β)]=β

(5)

gij

(6)

grubbs準則保證了異常數(shù)據(jù)剔除的有效性,但檢驗過程并非完全依靠樣本數(shù)據(jù)本身,需進行查表,故檢驗速度較慢。

可見3σ準則精度較低但數(shù)據(jù)處理速度更快,grubbs準則精度較高但數(shù)據(jù)處理速度較慢。因此,本文提出3σ-grubbs檢驗方法:先采用3σ準則對數(shù)據(jù)進行處理,盡量減少查表次數(shù),再對滿足3σ準則的數(shù)據(jù)采用grubbs準則進行處理,提高檢驗精度,計算過程如下。

1)3σ準則檢驗。

步驟2按(2)式計算Di的標準差σi;

步驟3按(3)式計算閾值δi,并對超出閾值范圍的數(shù)據(jù)進行剔除;

2)grubbs準則檢驗。

步驟3按(4)式計算統(tǒng)計量gij(j=1,2,…,t);

步驟4給定顯著水平β,查grubbs檢驗臨界值表得到臨界值g0(t,β);

步驟5滿足(5)式的數(shù)據(jù)判定為異常數(shù)據(jù),進行剔除;

3 基于分批估計的單傳感器數(shù)據(jù)時間維融合

(7)

按分批估計理論,計算融合后數(shù)據(jù)序列的方差為

(8)

取p=2時,有

(9)

計算數(shù)據(jù)序列的最優(yōu)融合估計值為

(10)

取p=2時,有

(11)

4 基于自適應(yīng)加權(quán)的多傳感器特征值空間維融合

(12)

(13)

(14)

可見,傳感器數(shù)據(jù)融合壓縮后的分批估計值的方差越大,權(quán)重越小。因此,考慮傳感器精度的數(shù)據(jù)融合權(quán)重wi的計算式為

(15)

5 實例驗證

某懸索橋采用鋼箱加勁梁,橋梁健康監(jiān)測系統(tǒng)在加勁梁跨中截面監(jiān)測點設(shè)置了2個撓度傳感器,位于鋼箱上下游邊緣,上游傳感器實際線性精度為0.11%,下游傳感器實際線性精度為0.09%,采樣周期為10 min。對某采樣時段,時長為6.5 h,每個傳感器采得40個數(shù)據(jù),撓度數(shù)據(jù)樣本如表1所示。

表1 數(shù)據(jù)樣本

現(xiàn)對該時段加勁梁跨中截面監(jiān)測點撓度數(shù)據(jù)進行特征值提取,具體計算過程如下。

1)數(shù)據(jù)預(yù)處理。

按(1)式計算均值。

按(2)式計算標準差。

步驟1上游傳感器異常數(shù)據(jù)檢驗與剔除。

①3σ準則檢驗。

②grubbs準則檢驗。

對剩下的39個觀測值重新計算均值和標準差

同樣,取顯著水平β=0.05,查詢grubbs數(shù)值表,有g(shù)0(39,0.05)=2.857,按(4)式得g0(39,0.05)·σ1=2.857×11.135=31.813。經(jīng)驗證,剩下的39個觀測值均滿足(6)式,即上游數(shù)據(jù)段剔除第20個數(shù)據(jù)后為有效數(shù)據(jù)段。

可見,grubbs準則異常數(shù)據(jù)剔除效果優(yōu)于3σ準則。

步驟2下游傳感器異常數(shù)據(jù)檢驗與剔除。

①3σ準則檢驗。

對剩下的39個數(shù)據(jù)重新計算均值和方差

對剩下的38個數(shù)據(jù)重新計算均值和方差

②grubbs準則檢驗。

取顯著水平β=0.05,查詢grubbs數(shù)值表,有g(shù)0(38,0.05)=2.846。按(4)式得g0(38,0.05)·σ2=2.846×6.292=17.907。

經(jīng)驗證,剩下的38個觀測值均滿足(6)式,即下游數(shù)據(jù)段剔除第14、第15個數(shù)據(jù)后為有效數(shù)據(jù)段。

經(jīng)異常數(shù)據(jù)剔除后,加勁梁跨中截面上下游傳感器撓度數(shù)據(jù)如表2所示。

表2 預(yù)處理后數(shù)據(jù)樣本

為驗證方法的有效性,對下游數(shù)據(jù)段直接采用grubbs準則進行檢驗。

可見,采用本文方法與直接采用grubbs準則檢驗結(jié)果一致,本文方法先采用3σ準則進行檢驗,減少了查表次數(shù),檢驗速度更快。

若對表1數(shù)據(jù)進行算術(shù)平均濾波,上游傳感器數(shù)據(jù)方差為155.020,下游傳感器數(shù)據(jù)方差為85.857。對表2數(shù)據(jù)進行算術(shù)平均濾波,上游傳感器數(shù)據(jù)方差為123.998,下游傳感器數(shù)據(jù)方差為39.592?？梢?經(jīng)預(yù)處理后,上游傳感器數(shù)據(jù)方差減小了20%,下游傳感器數(shù)據(jù)方差減小了54%,表明數(shù)據(jù)離散程度降低,準確性得到提高。

2)數(shù)據(jù)分批估計融合。

將上游傳感器有效數(shù)據(jù)段的39個樣本值采用奇偶分組分為2個數(shù)據(jù)組,第1組20個數(shù)據(jù),第2組19個數(shù)據(jù),數(shù)據(jù)分組結(jié)果見表3。

表3 上游傳感器有效數(shù)據(jù)段分組結(jié)果

將下游傳感器有效數(shù)據(jù)段的38個樣本值采用奇偶分組分為2個數(shù)據(jù)組,第1組19個數(shù)據(jù),第2組19個數(shù)據(jù),數(shù)據(jù)分組結(jié)果見表4。

表4 下游傳感器有效數(shù)據(jù)段分組結(jié)果

根據(jù)表3、表4中分組數(shù)據(jù)的均值和方差,按(11)式計算上下游測點數(shù)據(jù)的特征估計值,表示為

按(9)式計算融合方差,表示為

可見,采用分批估計方法將時序數(shù)據(jù)段融合為單個特征估計值,實現(xiàn)了數(shù)據(jù)在時間維上的融合,對橋梁監(jiān)測數(shù)據(jù)的應(yīng)用具有實際意義,以此為基礎(chǔ)將便于開展橋梁評估、分析等后續(xù)工作。根據(jù)前述結(jié)果,上游傳感器σ1+明顯小于預(yù)處理后數(shù)據(jù)的算術(shù)平均濾波方差123.998;下游傳感器σ2+明顯小于預(yù)處理后數(shù)據(jù)的算術(shù)平均濾波方差39.592。可見,與傳統(tǒng)的算術(shù)平均濾波方法相比,分批估計融合的方差更小,準確性更高。

3)多傳感器數(shù)據(jù)融合。

考慮上、下游傳感器實際線性精度,按(15)式計算上下游撓度傳感器的最優(yōu)權(quán)值,并按(13)式計算加勁梁跨中截面撓度監(jiān)測數(shù)據(jù)融合特征值及方差,結(jié)果如表5所示。

表5 多傳感器數(shù)據(jù)融合結(jié)果

可見,采用自適應(yīng)加權(quán)融合算法將多個傳感器特征估計值融合為監(jiān)測點融合特征值,實現(xiàn)了數(shù)據(jù)在空間維上的融合。數(shù)據(jù)融合總方差明顯小于表2數(shù)據(jù)算術(shù)平均濾波總方差81.944,且較各傳感器方差更小。因此,與傳統(tǒng)的算術(shù)平均濾波方法相比,自適應(yīng)加權(quán)融合算法的結(jié)果更加準確;且融合過程中均方誤差越大,傳感器權(quán)重越低,實現(xiàn)了融合誤差的最小優(yōu)化;同時,由于考慮了傳感器精度,使融合特征值更接近高精度傳感器值,可靠性更好。

6 結(jié)束語

為解決監(jiān)測系統(tǒng)實時數(shù)據(jù)的特征值提取問題,本文對多傳感器數(shù)據(jù)的預(yù)處理及融合方法進行了研究。針對監(jiān)測數(shù)據(jù)的預(yù)處理,提出了3σ-grubbs數(shù)據(jù)檢驗方法,兼顧了3σ準則速度快、grubbs準則精度高的特點,很好地消除了數(shù)據(jù)的疏失誤差,實例結(jié)果中,數(shù)據(jù)經(jīng)預(yù)處理后方差減小了20%～54%。在時間維上,采用分批估計原理,將傳感器實時數(shù)據(jù)融合為單個特征值;在空間維上,采用自適應(yīng)加權(quán)融合算法,并提出了考慮傳感器精度的算法修正,實現(xiàn)了多傳感器特征值的融合。實例結(jié)果表明,與傳統(tǒng)的算術(shù)平均濾波方法相比,分批估計自適應(yīng)加權(quán)融合算法的數(shù)據(jù)融合方差明顯更小,考慮傳感器精度后融合結(jié)果更接近高精度傳感器值,特征值提取結(jié)果更加準確、可靠。