非平衡集成遷移學(xué)習(xí)模型及其在橋梁結(jié)構(gòu)健康監(jiān)測中的應(yīng)用

于重重，吳子珺，譚勵，涂序彥，田蕊

(1.北京工商大學(xué)計算機與信息工程學(xué)院，北京100048;2.北京科技大學(xué) 計算機與通信工程學(xué)院，北京100083)

隨著智能監(jiān)測方法與評估技術(shù)的不斷發(fā)展，橋梁結(jié)構(gòu)健康監(jiān)測及狀態(tài)評估的研究逐漸成為熱點.為了對橋梁的安全和維護提供有力保障，通常需要連續(xù)監(jiān)測橋梁靜應(yīng)變、沉降等數(shù)據(jù)，同時必須保證監(jiān)測數(shù)據(jù)的真實可靠.但通常存在一些干擾因素，如傳感器損壞、異常受力、天氣條件惡劣等，會造成監(jiān)測數(shù)據(jù)的間斷性異?；蛉睋p，從而無法對所獲得的監(jiān)測數(shù)據(jù)進行有效的數(shù)據(jù)分析［1-2］.因此，利用相似的輔助測點數(shù)據(jù)，實現(xiàn)對有效數(shù)據(jù)量少的目標測點的建模與分析，是解決上述問題的重要思路.

遷移學(xué)習(xí)是一種強調(diào)在相似但不完全相同的領(lǐng)域、任務(wù)和分布之間實現(xiàn)知識轉(zhuǎn)化的學(xué)習(xí)方式.本文針對橋梁監(jiān)測數(shù)據(jù)的間斷性異?；蛉睋p的特點，將遷移學(xué)習(xí)引入到橋梁結(jié)構(gòu)健康監(jiān)測領(lǐng)域，通過建模分析，解決目標測點實測有效數(shù)據(jù)過少時的數(shù)據(jù)分類和預(yù)測問題.文中提出了一個改進的遷移模型，首先通過對原始監(jiān)測數(shù)據(jù)進行預(yù)處理，得到能夠表征數(shù)據(jù)變化規(guī)律的訓(xùn)練數(shù)據(jù)集，然后再利用相似性度量函數(shù)，完成對具有相似數(shù)據(jù)變化規(guī)律的測點聚類，最后運用非平衡集成遷移學(xué)習(xí)算法(the unbalanced integrated transfer learning algorithm，UBITLA)［3］建立橋梁結(jié)構(gòu)健康監(jiān)測的分類模型，利用過往監(jiān)測數(shù)據(jù)模型的遷移對新數(shù)據(jù)進行預(yù)測，以達到對監(jiān)測數(shù)據(jù)的類別劃分和評定橋梁結(jié)構(gòu)損傷級別的目的.

1 遷移學(xué)習(xí)的基本理論

遷移學(xué)習(xí)作為機器學(xué)習(xí)和人工智能領(lǐng)域研究的新方向，近年越來越受到關(guān)注.遷移學(xué)習(xí)強調(diào)的是區(qū)域、任務(wù)、分布相似但不相同的知識的傳遞［4-5］，其突破了傳統(tǒng)數(shù)據(jù)挖掘的兩大假設(shè):一是訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)必須同概率分布;二是兩者必須同特征空間.然而，隨著對遷移學(xué)習(xí)的研究，不同學(xué)者對遷移學(xué)習(xí)中存在的一些缺陷，提出了很多解決問題的算法，并得到了有效的應(yīng)用.如運用基于EM的跨語言文本分類算法用以解決跨特征空間的遷移學(xué)習(xí)問題［6］，基于樸素貝葉斯分類器的支持跨領(lǐng)域文本分類的分類器實現(xiàn)了不同領(lǐng)域文本之間知識的遷移問題［7］，基于TrAdboost算法解決對稱的二分類問題等［8-9］.這些成功的應(yīng)用推動了遷移學(xué)習(xí)在處理新任務(wù)中標記數(shù)據(jù)量小的問題中的迅猛發(fā)展.

在橋梁結(jié)構(gòu)健康監(jiān)測領(lǐng)域，監(jiān)測數(shù)據(jù)存在以下特點:

1)不同類別的樣本分布極度不平衡，差異大;

2)輔助數(shù)據(jù)中存在大量的與目標數(shù)據(jù)集不相似的冗余信息;

3)橋梁實際監(jiān)測的表征結(jié)構(gòu)健康的正數(shù)據(jù)和表征結(jié)構(gòu)損傷的負數(shù)據(jù)分布極度不平衡，負樣本數(shù)量遠遠小于正樣本，但負樣本對于橋梁健康監(jiān)測影響很大.因此，對于橋梁結(jié)構(gòu)的損傷判定可以將其看作是一個非對稱的二分類問題.

本文將遷移學(xué)習(xí)引入到橋梁結(jié)構(gòu)健康監(jiān)測領(lǐng)域，利用已有監(jiān)測點數(shù)據(jù)，基于非平衡集成遷移學(xué)習(xí)算法(UBITLA)，提出了一種改進的遷移學(xué)習(xí)模型，該方法能夠有效地解決橋梁結(jié)構(gòu)健康監(jiān)測中存在的實際問題.

2 改進的遷移學(xué)習(xí)模型在橋梁結(jié)構(gòu)健康監(jiān)測中的應(yīng)用

2.1 改進的遷移學(xué)習(xí)模型描述

本文提出的遷移學(xué)習(xí)模型總體思路如下:1)將橋梁結(jié)構(gòu)健康監(jiān)測系統(tǒng)中監(jiān)測到的原始數(shù)據(jù)進行預(yù)處理，其中包括信息篩選、去冗余、去噪聲以及去除重復(fù)數(shù)據(jù);2)對預(yù)處理后的監(jiān)測數(shù)據(jù)，根據(jù)測點間的相似度，對具有相似變化規(guī)律的測點進行聚類;3)對聚類結(jié)果使用非平衡集成遷移學(xué)習(xí)算法，建立針對目標測點的數(shù)據(jù)分類模型，對目標數(shù)據(jù)集中的無標簽數(shù)據(jù)進行預(yù)測分類，以實現(xiàn)對監(jiān)測數(shù)據(jù)進行類別劃分，評定橋梁各級損傷情況的目的.總體流程圖如圖1所示.

圖1 改進的遷移學(xué)習(xí)模型Fig.1 Improved transfer learning model

2.2 基于相似測點的SOM聚類

相似度函數(shù)是聚類的前提條件，這是由于分類是將相似的模式樣本聚為一類.因為數(shù)據(jù)存在不同的類型，所以有不同的方法計算相似度，如歐氏距離、切比雪夫距離、曼哈頓距離、明氏距離、加權(quán)的明氏距離、馬氏距離、夾角余弦函數(shù)等［10］.在自組織映射(self-organizing map，SOM)算法中經(jīng)常使用相似度函數(shù)作為分類的基礎(chǔ).SOM算法是一個由全連接的神經(jīng)元陣列組成的無導(dǎo)師的自組織、自學(xué)習(xí)網(wǎng)絡(luò)，是神經(jīng)網(wǎng)絡(luò)用于解決聚類問題的典型應(yīng)用［11-12］.

由于橋梁結(jié)構(gòu)健康監(jiān)測系統(tǒng)所獲得的監(jiān)測數(shù)據(jù)受突發(fā)應(yīng)力與異常負載等影響，經(jīng)常會出現(xiàn)個別監(jiān)測點數(shù)據(jù)存在異常，如果使用上述方法難以有效克服個別維度的干擾，且易受到高維特性的干擾，若存在2個數(shù)據(jù)的個別維度上的值差異過大或過小，這會影響整體度量效果，使數(shù)據(jù)間的相似信息被這少數(shù)維度的過大差異所淹沒［13-14］.因此為減小這些異常數(shù)據(jù)對整體數(shù)據(jù)的影響，對傳統(tǒng)的距離度量函數(shù)進行修改，從根本上解決傳統(tǒng)的相似度度量函數(shù)在高維數(shù)據(jù)空間中存在的不足，有效地緩解大差異個別維度對相似度的影響，具體如下.

定義1 設(shè)有d維數(shù)據(jù)向量X=(x1，x2，…，xd)及 Y=(y1，y2，…，yd)，則相似度度量函數(shù)(similarity measurement points clustering，SMPC)如式 (1)所示:

改進后的相似度度量函數(shù)通過引入指數(shù)e，實現(xiàn)了在xi與yi大差異的情況下，分子數(shù)值變小的需求.通過對比計算發(fā)現(xiàn)，改進后的相似度度量函數(shù)SMPC對比于傳統(tǒng)的相似性度量函數(shù)，具有如下性質(zhì):

1)新函數(shù)充分考慮了2個數(shù)據(jù)向量間的所有維度，使大差異維度的貢獻率降低;

2)新函數(shù)的最大值為1，代表X和Y在所有維度上的值都相等，此時X和Y在d維空間上是完全重合的，相似度最大.若最小值為0，則代表X和Y在每個維度上的差異均接近于無窮大，此時X和Y相似度最小.

通過基于SMPC相似度度量函數(shù)的SOM網(wǎng)絡(luò)，完成對橋梁監(jiān)測點的聚類，其具體訓(xùn)練步驟如下:

1)初始化SOM網(wǎng)絡(luò)結(jié)構(gòu)，對神經(jīng)元權(quán)值向量隨機賦初值;

2)隨機選擇輸入樣本;

3)計算各神經(jīng)元之間的相似度，選擇具有最大相似度的神經(jīng)元作為獲勝神經(jīng)元;

4)使用單調(diào)遞減函數(shù)對獲勝神經(jīng)元及其鄰域范圍內(nèi)的神經(jīng)元的權(quán)值進行調(diào)整;

5)對算法的收斂性進行判斷，若不滿足收斂條件則重復(fù)上述步驟3)直至算法達到收斂.

2.3 UBITLA 算法

針對橋梁結(jié)構(gòu)健康監(jiān)測系統(tǒng)表征橋梁結(jié)構(gòu)健康與否的正、負數(shù)據(jù)分布極度不均衡，若對其施行相同的權(quán)值調(diào)整策略會由于稀缺類樣本權(quán)值的迅速減小而導(dǎo)致訓(xùn)練的失敗問題，因此模型采用非平衡樣本分類的集成遷移學(xué)習(xí)算法UBITLA進行處理.算法在TrAdaboost算法的基礎(chǔ)上，通過改變稀缺類樣本權(quán)值的調(diào)整策略，使其不會迅速變小，從而保證這部分樣本對模型建立的貢獻率;另外該算法還引入冗余數(shù)據(jù)動態(tài)剔除策略，適時剔除輔助訓(xùn)練數(shù)據(jù)集中的冗余數(shù)據(jù)，以確保訓(xùn)練數(shù)據(jù)的高質(zhì).UBITLA算法流程如圖2所示.

圖2 UBITLA算法Fig.2 UBITLA algorithm

UBITLA算法的主體思想為:將遷移輔助數(shù)據(jù)集A與目標數(shù)據(jù)集O按比例抽取部分數(shù)據(jù)后混合成訓(xùn)練數(shù)據(jù)集C，并通過初始化樣本權(quán)重與歸一化樣本完成對原始樣本的預(yù)處理;然后在每次的訓(xùn)練結(jié)果中選擇誤差最小的弱分類器ht，經(jīng)T輪迭代后得到弱分類序列h1，h2，…，ht;最終將多個弱分類器疊加起來得到一個強分類器.

3 實驗結(jié)果與分析

3.1 實驗樣本數(shù)據(jù)

實驗采用已有2年監(jiān)測歷史的杭州灣大橋作為研究對象，選用某天6:00—20:00共20個測點所測得的相鄰時段的數(shù)據(jù)差值作為實驗數(shù)據(jù)，其中包含了早、中、晚3個高峰時段，以及上、下午低峰時段的數(shù)據(jù)變化情況，并分別從各數(shù)據(jù)類型中抽取一定數(shù)目的數(shù)據(jù)按比例組成初始數(shù)據(jù)集S1和初始目標數(shù)據(jù)集S2，其具體組成如表1所示.

表1 實驗數(shù)據(jù)組成描述Table 1 Description of the experimental data

其中，正負樣本比例為5∶1;輸入數(shù)據(jù)為以1 h為監(jiān)測周期，采集當日從6:00—20:00共14 h的靜應(yīng)變數(shù)據(jù)，并組成具有14維的屬性向量(其包含監(jiān)測數(shù)據(jù)在1 d內(nèi)的變化情況).在訓(xùn)練過程中從S1內(nèi)隨機抽取1/2的數(shù)據(jù)，經(jīng)數(shù)據(jù)預(yù)處理后作為源數(shù)據(jù)集Y1，同樣從S2內(nèi)分別隨機抽取1/2的數(shù)據(jù)，經(jīng)數(shù)據(jù)預(yù)處理后作為目標數(shù)據(jù)集G1與測試數(shù)據(jù)集T1，并通過由源數(shù)據(jù)集Y1與目標數(shù)據(jù)集G1所組成的訓(xùn)練數(shù)據(jù)完成對遷移學(xué)習(xí)模型的訓(xùn)練，實現(xiàn)對目標數(shù)據(jù)集T1中無標簽數(shù)據(jù)的預(yù)測分類，這樣就可以通過監(jiān)測數(shù)據(jù)的類別來評定橋梁的級別損傷.

3.2 結(jié)果與分析

3.2.1 不同距離函數(shù)

通過對訓(xùn)練數(shù)據(jù)采用不同的相似度距離函數(shù)的SOM網(wǎng)絡(luò)完成對監(jiān)測點的聚類，其聚類結(jié)果如表2所示，其中 D(2)(x，y)為歐式距離的相似性度量函數(shù).

表2 杭州灣大橋沉降數(shù)據(jù)監(jiān)測點聚類Table 2 Hangzhou Bay Bridge settlement data monitoring points clustering

然后將上述2種不同的聚類結(jié)果，應(yīng)用UBITLA遷移學(xué)習(xí)算法建立針對目標數(shù)據(jù)的分類模型，完成對目標數(shù)據(jù)中無標簽數(shù)據(jù)的預(yù)測分類.采用歐式距離作為相似度距離函數(shù)與采用SMPC相似度距離函數(shù)的SOM網(wǎng)絡(luò)聚類結(jié)果，對遷移學(xué)習(xí)模型分類精度的影響如圖3所示.

圖3 2種不同的距離函數(shù)對遷移學(xué)習(xí)模型分類精度的影響Fig.3 Effects of two different distance functions on migration learning model classification accuracy

從上述的結(jié)果來看，2種度量函數(shù)的總體聚類效果基本相近，但是對于個別測點，如杭州灣大橋的20號測點，在采用歐式距離作為相似度距離函數(shù)的SOM網(wǎng)絡(luò)的聚類結(jié)果中將其分入了類別2中，而在采用SMPC相似度距離函數(shù)的SOM網(wǎng)絡(luò)的聚類結(jié)果中將該測點分入了類別1中.通過對該測點和所在類別特點的進一步分析發(fā)現(xiàn)，該測點只是在某2個維度上的數(shù)據(jù)波動較大而在其余的12個維度的波動均比較小.由于傳統(tǒng)的距離函數(shù)將所獲得的14維數(shù)據(jù)向量都均等看待，放大了個別維度中異常數(shù)據(jù)所造成的影響，因此影響了整個聚類結(jié)果的合理性;但是本文提出的SMPC距離函數(shù)克服了傳統(tǒng)度量函數(shù)的這一缺陷，使得聚類結(jié)果更接近實際.因此，采用SMPC距離函數(shù)所獲得的遷移學(xué)習(xí)模型分類精度高于傳統(tǒng)的歐式距離函數(shù).

3.2.2 輔助數(shù)據(jù)集的加入

選擇杭州灣大橋測點20作為目標分類測點，分別選擇同類輔助測點5和異類輔助測點8作為輔助訓(xùn)練測點，代入UBITLA算法進行訓(xùn)練.輔助數(shù)據(jù)集對遷移學(xué)習(xí)模型分類精度的影響如圖4和5所示.

圖4 同類輔助數(shù)據(jù)集的加入對遷移學(xué)習(xí)模型分類精度的影響Fig.4 Effects of similar auxiliary data sets on migration learning model classification accuracy

圖5 異類輔助數(shù)據(jù)集的加入對遷移學(xué)習(xí)模型分類精度的影響Fig.5 Effects of heterogeneous auxiliary data sets on migration learning model classification accuracy

實驗結(jié)果表明，同類輔助數(shù)據(jù)集的加入可以有效地幫助目標數(shù)據(jù)的學(xué)習(xí)，隨著目標數(shù)據(jù)集比例的增加，遷移學(xué)習(xí)模型分類精度不斷提高;異類輔助數(shù)據(jù)集的添加，有時會對目標數(shù)據(jù)的學(xué)習(xí)起到促進作用，但是隨著目標數(shù)據(jù)集所占比例的增加會出現(xiàn)相反的情況，這可能是由于異類輔助數(shù)據(jù)集數(shù)據(jù)與目標數(shù)據(jù)差異性較大，對遷移學(xué)習(xí)模型分類精度造成了一定的消極影響，導(dǎo)致分類精度下降.總之，引入同類輔助數(shù)據(jù)集能夠有效地在輔助數(shù)據(jù)與目標數(shù)據(jù)間進行知識遷移，提高對目標數(shù)據(jù)的學(xué)習(xí)效率和遷移學(xué)習(xí)模型分類的準確性.

4 結(jié)束語

本文圍繞遷移學(xué)習(xí)的基本理論和在數(shù)據(jù)分類問題中的應(yīng)用，針對橋梁健康監(jiān)測中監(jiān)測數(shù)據(jù)存在的問題，提出了一個改進的遷移學(xué)習(xí)模型，并且介紹了模型總體思路和關(guān)鍵技術(shù).通過對現(xiàn)役橋梁的監(jiān)測數(shù)據(jù)的實驗，證明了該模型的有效性.隨著技術(shù)的創(chuàng)新、方法的完善，遷移學(xué)習(xí)在不久的將來會應(yīng)用在不同的領(lǐng)域上，期待其有更好的創(chuàng)新.

［1］劉永前.大型橋梁結(jié)構(gòu)健康監(jiān)測技術(shù)研究與應(yīng)用［D］.北京:北京交通大學(xué)，2007:1-12.LIU Yongqian.Research and application on structural health monitoring of long-span bridge［D］.Beijing:Beijing Jiaotong University，2007:1-12.

［2］李鵬飛，吳太成.橋梁健康監(jiān)測技術(shù)研究綜述［J］.建筑監(jiān)督檢測與造價，2010，7(7):28-31，40.LI Pengfei，WU Taicheng.A review of health monitoring techniques of bridge［J］.Supervision Test and Cost of Construction，2010，7(7):28-31，40.

［3］于重重，田蕊，譚勵，等.非平衡樣本分類的集成遷移學(xué)習(xí)算法［J］.電子學(xué)報，2012，40(7):1358-1363.YU Chongchong，TIAN Rui，TAN Li，et al.Integrated transfer learning algorithmic for unbalanced samples classification［J］.Acta Electronica Sinica，2012，40(7):1358-1363.

［4］許至杰.遷移學(xué)習(xí)理論與算法研究［D］.上海:華東師范大學(xué)，2012:4-10.XU Zhijie.Research about the theories and algorithms of transfer learning［D］.Shanghai:East China Normal University，2012:4-10.

［5］戴文淵.基于實例和特征的遷移學(xué)習(xí)算法研究［D］.上海:上海交通大學(xué)，2008:14-21.DAI Wenyuan.Instance-based and feature-based transfer learning［D］.Shanghai:Shanghai Jiao Tong University，2008:14-21.

［6］UNKELBACH J，YI S，SCHMIDHUBER J.An EM based training algorithm for recurrent neural networks［J］.Proceedings of the 19th International Conference on Artificial NeuralNetworks. Berlin/Heidelberg:Springer-Verlag，2009:964-974.

［7］DAI Wenyuan，XUE Guirong，YANG Qiang，et al.Transferring naive Bayes classifiers for text classification［C］//Proceedings of the 22nd National Conference on Artificial Intelligence.Vancouver，Canada，2007:540-545.

［8］RAINA R，BATTLE A，LEE H，et al.Self-taught learn-ing:transfer learning from unlabeled data［C］//The Twenty-fourth International Conference on Machine Learning.Corvallis，USA，2007:759-766.

［9］劉偉，張化祥.數(shù)據(jù)集動態(tài)重構(gòu)的集成遷移學(xué)習(xí)［J］.計算機工程與應(yīng)用，2010，46(12):126-128.LIU Wei，ZHANG Huaxiang.Ensemble transfer learning algorithm based on dynamic dataset regroup［J］.Computer Engineering and Applications，2010，46(12):126-128.

［10］邵昌昇，樓巍，嚴利民.高維數(shù)據(jù)中的相似性度量算法的改進［J］.計算機技術(shù)與發(fā)展，2011，2(2):7-10.SHAO Changsheng，LOU Wei，YAN Limin.Optimization of algorithm of similarity measurement in high-dimensional data［J］.Computer Technology and Development，2011，2(2):7-10.

［11］杜俊衛(wèi)，李愛軍.一種基于聚類的文本遷移學(xué)習(xí)算法［J］.計算機系統(tǒng)應(yīng)用，2010，19(12):238-241.DU Junwei，LI Aijun.Transfer learning algorithm for text classification based on clustering［J］.Computer Systems ＆ Applications，2010，19(12):238-241.

［12］戴群，陳松燦，王喆.一個基于自組織特征映射網(wǎng)絡(luò)的混合神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)［J］.軟件學(xué)報，2009，20(5):1329-1336.DAI Qun，CHEN Songcan，WANG Zhe.Hybrid neural network architecture based on self-organizing feature maps［J］.Journal of Software，2009，20(5):1329-1336.

［13］王戒躁，鐘繼衛(wèi)，王波.大跨橋梁健康監(jiān)測系統(tǒng)設(shè)計構(gòu)成及其進展［J］.橋梁建設(shè)，2009(增刊2):11-16.WANG Jiezao，ZHONG Jiwei，WANG Bo.Designed components and development of health monitoring systems for long span bridges［J］.Bridge Construction，2009(S2):11-16.

［14］于重重，楊揚，涂序彥，等.DBSCAN算法在橋梁健康監(jiān)測預(yù)測模型中的應(yīng)用［J］.計算機工程與應(yīng)用，2008，44(12):224-227.YU Chongchong，YANG Yang，TU Xuyan，et al.Application of DBSCAN algorithm in bridge-health monitoring prediction model［J］.Computer Engineering and Applications，2008，44(12):224-227.