一種改進的分布式數(shù)據(jù)Chernoff融合方法*

田 來，吳照林，王 龍

（國防科技大學 信息通信學院，湖北 武漢 430010）

0 引 言

在設計用于戰(zhàn)術軍事應用的分布式傳感系統(tǒng)時，一些實際的因素使假定數(shù)據(jù)輸入具有統(tǒng)計獨立性的經(jīng)典算法的使用受到限制。首先，戰(zhàn)術環(huán)境通常由傳感器和數(shù)據(jù)處理節(jié)點組成，這些節(jié)點通過移動自組網(wǎng)連接，其網(wǎng)絡動態(tài)變化且不可預測。由于在這些處理節(jié)點中部分數(shù)據(jù)是由融合產(chǎn)生的，不是直接取自傳感器的數(shù)據(jù)，實際上不可能實時消除節(jié)點之間的冗余數(shù)據(jù)。其次，許多提供傳感數(shù)據(jù)的現(xiàn)有系統(tǒng)不能升級產(chǎn)生統(tǒng)計獨立的數(shù)據(jù)源，或提供有助于識別目標的譜系信息的數(shù)據(jù)流。最后，在這些處理節(jié)點之間具有各種主動、被動、高斯和非高斯等統(tǒng)計特征的傳感數(shù)據(jù)是共享的，因此要在戰(zhàn)術軍事應用中實現(xiàn)可擴展的分布式傳感系統(tǒng)。尤其是在存在“謠言傳播”的情況下，需要用于融合各種類型的多輸入數(shù)據(jù)的數(shù)據(jù)融合方法。

譜系標記[1]是一種處理謠言傳播問題的方法。該方法涉及元數(shù)據(jù)的交換，該元數(shù)據(jù)表示特定傳感數(shù)據(jù)的處理歷史和源信息。理論上，使用這種方法可以在運行時識別冗余數(shù)據(jù)，并采用替代處理來消除冗余。但是，在實踐中存在一些問題：實施譜系標記需要修改現(xiàn)有的產(chǎn)生傳感數(shù)據(jù)的傳感器處理系統(tǒng)；即使冗余數(shù)據(jù)被識別，譜系信息（元數(shù)據(jù)）也不足以從狀態(tài)估計中精確消除冗余；譜系標記無法在通信帶寬方面進行擴展[2]。因此，出現(xiàn)了協(xié)方差交叉算法來替代譜系標記方法。

協(xié)方差交叉算法是為了融合可能包含統(tǒng)計相關的冗余數(shù)據(jù)輸入的狀態(tài)估計而開發(fā)的。它的優(yōu)點是并不需要各數(shù)據(jù)源之間具體的統(tǒng)計相關知識。后對協(xié)方差交叉算法進行推廣，用于兩個有任意概率密度函數(shù)的輸入的融合[3]。這些突破性發(fā)展使得可擴展的分布式數(shù)據(jù)融合成為可能。雖然目前已能對任何數(shù)量的高斯輸入進行融合[4]，但在更廣泛的情況下，如融合任何數(shù)量的具有任意概率密度函數(shù)的輸入，還沒有很好的解決方案。

1 協(xié)方差交叉及其近似解

考慮融合兩個統(tǒng)計獨立的高斯概率分布狀態(tài)估計的特殊情況，給出一階和二階矩，即均值和協(xié)方差矩陣。這種情況下，融合時使用信息過濾器[5]。由兩個統(tǒng)計獨立的狀態(tài)估計的均值a、b和協(xié)方差矩陣A、B得到融合均值TE和和協(xié)方差矩陣TC：

式（1）、式（2）用于早期的實時傳感系統(tǒng)。由于它具有簡單性，在輸入不一定是統(tǒng)計獨立的情況下，經(jīng)常被錯誤地使用，導致融合結果的協(xié)方差失真，是分布式數(shù)據(jù)融合架構中謠言傳播的典型問題。在多個平臺上進行融合時，這種方法很難實現(xiàn)。因為多個平臺和外部傳感系統(tǒng)被集成到融合架構中，這些外部系統(tǒng)不受任何內(nèi)部程序的控制。隨著整合越來越多外部系統(tǒng)，謠言傳播問題變得更加難以管控。

為了解決這個問題并實現(xiàn)可擴展的分布式數(shù)據(jù)融合，協(xié)方差交叉算法將高斯輸入的特殊情況擴展到具有未知統(tǒng)計相關性的輸入。協(xié)方差交叉方程對經(jīng)典信息過濾器做了改進：

式（3）、式（4）提供的解決方案是在區(qū)間[0，1]中優(yōu)化參數(shù)ω，通常是通過選擇ω的值使融合協(xié)方差LC行列式最小化[3]。協(xié)方差交叉的一個重要性質(zhì)是輸入{,}a A和{,}b B一致時，融合解 },{LLCE 保證對任何值都一致。因此，ω的選擇不需要精確，但是應該提供一個比任何一個輸入?yún)f(xié)方差都小的融合協(xié)方差LC。

在一些實際應用場合中，通常要求融合2＞n個統(tǒng)計相關的高斯狀態(tài)估計，其中每個估計由平均值和協(xié)方差矩陣},{iiVμ表示。雖然這可以通過使式（3）、式（4）迭代執(zhí)行1?n次來實現(xiàn)，但是與文獻[4]給出的解決方案相比，迭代方法產(chǎn)生的結果并不太理想。

式（5）、式（6）、式（7）引出對于n個iω值的優(yōu)化問題，其中每個值被限制在區(qū)間[0，1]，這比式（3）、式（4）的優(yōu)化問題復雜得多。在文獻[4]中已證明，當輸入?yún)f(xié)方差矩陣具有完全不同的特征值時，這種優(yōu)化變得較為困難。因此，下面的快速近似方法被用來代替數(shù)值優(yōu)化：

式（8）、式（9）中，是融合了假設統(tǒng)計獨立的n個輸入的信息矩陣。是第i個狀態(tài)估計輸入的信息矩陣。是通過融合除第i個輸入之外的所有輸入獲得的信息矩陣。因此，優(yōu)化參數(shù)由信息過濾器解決方案和每個輸入之間的相互信息決定。就經(jīng)典的信息濾波結果而言，式（8）、式（9）能夠簡單實時地實現(xiàn)更一般的協(xié)方差交叉問題。因此，現(xiàn)有的融合算法可以很容易地“升級”來對可能遭受謠言傳播的n個輸入實現(xiàn)協(xié)方差交叉。

2 Chernoff融合

前面討論了原始的協(xié)方差交叉點及其對n個輸入的推廣。但是，在這兩種情況下的算法都是限于均值和協(xié)方差矩陣指定的高斯輸入。要適應任何概率密度函數(shù)的廣義融合，則應以貝葉斯方程作為基礎：

式（10）提供了假定為統(tǒng)計獨立的兩個任意概率密度函數(shù)融合的貝葉斯方程。在高斯情況下，式（10）呈現(xiàn)出等同于式（1）、式（2）的對數(shù)線性形式。因此，文獻[3]中提出了用于融合兩個具有未知相關性的任意概率密度函數(shù)的Chernoff融合：

和協(xié)方差交叉一樣，式（11）中每個參數(shù)ω值都有一個解決方案。文獻[3]中提出了計算參數(shù)ω的兩個準則：最小化融合概率密度函數(shù)的香農(nóng)熵和最小化融合概率密度函數(shù)的Chernoff信息。文獻[3]中已證明，最小化香農(nóng)熵等價于使高斯情形的協(xié)方差的行列式最小化。Chernoff信息標準試圖找到處于輸入概率密度函數(shù)“中間”的融合概率密度函數(shù)。雖然這兩個標準都具有令人滿意的信息理論解釋，但還存在幾個實際的實施問題。首先，雖然香農(nóng)熵標準可以很容易地擴展到兩個以上輸入的情況，但是Chernoff信息擴展并不明顯。其次，如果香農(nóng)熵標準用于兩個以上的輸入，則計算復雜度取決于概率密度函數(shù)的性質(zhì)。一般來說，這相當于一個多維優(yōu)化問題，往往會包含許多局部最小值。因此，許多情況下可能難以實現(xiàn)。

用MATLAB對兩個輸入情況下的融合實例進行仿真，并將結果與貝葉斯融合進行比較。圖1顯示了對于兩個概率密度函數(shù)具有相同的香農(nóng)熵的關于ω的Chernoff融合解，同時給出了貝葉斯融合解作為對比。這個例子中，文獻[3]的最小化準則ω的值為0.5。圖2顯示了香農(nóng)熵不同時Chernoff融合的例子。這種情況下，計算ω的值是0.47。

3 改進的廣義Chernoff融合

最終，需要開發(fā)一種處理一般融合問題的算法，即融合n個統(tǒng)計相關的概率密度函數(shù)。另外，為了使分布式融合實際中可應用，需要計算量較小的算法。對式（11）進行擴展，得出對于多輸入的Chernoff融合的方程：

圖1 不同ω取值時的Chernoff融合解（香農(nóng)熵相同）

圖2 不同ω取值時的Chernoff融合解（香農(nóng)熵不同）

其中優(yōu)化參數(shù)iω需要使用一些標準來計算。如前所述，實際中這個優(yōu)化問題的實現(xiàn)比較復雜。

前面的研究表明，存在廣義Chernoff融合問題的近似解：

（1）式（8）、式（9）中的優(yōu)化參數(shù)取決于高斯分布的協(xié)方差矩陣的行列式。

（2）協(xié)方差矩陣的行列式與高斯分布的香農(nóng)熵有關。

（3）式（11）中ω的“最優(yōu)”值取決于輸入的香農(nóng)熵。

這表明了存在一個類似式（8）、式（9）的公式，是任意概率密度函數(shù)輸入的香農(nóng)熵的函數(shù)。首先，針對m變量高斯分布的香農(nóng)熵H是根據(jù)它們的協(xié)方差給出的：

其次，行列式具有以下屬性：

式（14）和式（15）結合，可以得到遵循高斯概率密度函數(shù)的協(xié)方差矩陣與其香農(nóng)熵之間的關系：

這里對香農(nóng)熵進行定義：BH 是所有輸入的貝葉斯融合，iH是第i個輸入的貝葉斯融合，iBH?是除了第i個輸入的所有輸入的貝葉斯融合。將式（16）代入式（8）、式（9）進行簡化，得到：

和式（8）、式（9）一樣，式（17）使用每個輸入的相對信息含量與融合結果進行比較來計算優(yōu)化參數(shù)。特別地，是加入第i個輸入而導致的信息增加，則是加入除第i個輸入以外的所有數(shù)據(jù)而導致的信息增加。

雖然式（17）比多參數(shù)優(yōu)化要簡單，但它仍然不能提供計算優(yōu)化參數(shù)iω的實用方法。為了實現(xiàn)式（17），還需要進行以下步驟：

（1）計算每一個輸入概率密度函數(shù)的香農(nóng)熵Hi。

（2）計算 1+n 個貝葉斯融合解：包含所有n個輸入的一個解；和另外n個包含除了第i個輸入的所有輸入的解。

（3）計算上一步描述的每個貝葉斯融合解的香農(nóng)熵，并計算式（17）。

作為上述方法的替代方案，可以進行一些非常簡單的近似來加快計算。首先，可以假設貝葉斯融合結果的香農(nóng)熵等于具有最小熵的輸入除以輸入的數(shù)量，即可以做出以下下限近似值：

使用式（18）、式（19），可以將式（17）簡化為：

式（20）提供了只有概率密度函數(shù)輸入的香農(nóng)熵情況下的優(yōu)化參數(shù)。因此，它為廣義Chernoff融合提供了一個易處理的解決方案。

為了驗證其效果，用MATLAB對幾個融合實例進行仿真，并將結果與使用數(shù)值優(yōu)化獲得的“最優(yōu)”解進行比較。

圖3顯示了3個輸入時廣義Chernoff融合近似的仿真結果。得到的近似解用粗虛線示出，而數(shù)值優(yōu)化結果用極粗虛線示出。為了便于比較，繪出了所有3個輸入的貝葉斯融合結果。用式（20）計算以下優(yōu)化參數(shù)ω1(A)=0.42、ω2(A)=0.32、ω3(A)=0.35，而數(shù)值優(yōu)化得出的優(yōu)化參數(shù)為ω1(I)=0.32、ω2(I)=0.32、ω3(I)=0.36。

圖4提供了5個輸入時廣義Chernoff融合近似的仿真結果。這種情況下，計算5個輸入概率密度函數(shù)的優(yōu)化參數(shù)ω1(A)=0.42、ω2(A)=0.17、ω3(A)=0.18、ω4(A)=0.18、ω5(A)=0.23作為對比，數(shù)值優(yōu)化的參數(shù)為 ω1(I)=0.20、ω2(I)=0.20、ω3(I)=0.12、ω4(I)=0.20、ω5(I)=0.19。

從圖3、圖4可以看出，盡管解決方案的值確實不同，但是解決方案彼此差別不大。與數(shù)值優(yōu)化的一般問題相比，考慮到極其簡單的算法，這些小的差異是可以接受的。

圖3 三個輸入的廣義Chernoff融合

圖4 五個輸入的廣義Chernoff融合

4 結 語

從協(xié)方差交叉算法和其擴展著手，處理多個高斯和非高斯概率密度函數(shù)的輸入，開發(fā)了通用情況下的快速近似方法。該方法來源于：（1）香農(nóng)熵與高斯協(xié)方差行列式之間的關系；（2）協(xié)方差交叉的快速近似方法捕獲了每個輸入相對于貝葉斯融合方法的相對信息量。本文的創(chuàng)新貢獻與用于驗證的數(shù)值優(yōu)化相比較，發(fā)現(xiàn)廣義Chernoff融合產(chǎn)生了非常相似的解。以后的工作將研究這種近似方法在極端情況下如輸入概率密度函數(shù)的香農(nóng)熵都非常大或非常小的情況下的表現(xiàn)。

[1] Ceruti M G,Wright T L,Powers B J,et al.Data Pedigree and Strategies for Dynamic Level-One Sensor Data Fusion[C].Information Fusion,2006 9th International Conference,2006:1-5.

[2] Nicholson D,Lloyd C M,Julier S J,et al.Scalable Distributed Data Fusion[C].Information Fusion,2002 Proceedings of the Fifth International Conference,2002:630-635.

[3] Hurley M B.An Information Theoretic Justification for Covariance Intersection and Its Generalization[C].Information Fusion,2002 Proceedings of the Fifth International Conference,2002:505-511.

[4] Franken D,Hupper A.Improved Fast Covariance Intersection for Distributed Data Fusion[C].Information Fusion,2005 8th International Conference,2005:25-28.

[5] BU Xiang-yi.Research on Moving Target Tracking and Information Filtering in Complex Building Environment[C].2016 3rd International Conference on Materials Engineering,Manufacturing Technology and Control,2016:56-59.