支周+屈肅

摘 要：為了解決由于每個用戶的行為都有自身的特點(diǎn)和習(xí)慣，加之手機(jī)放置位置和方向的不確定性及多樣性所導(dǎo)致的通用模型識別率低的問題，文章提出了利用TrELM（Transfer Extreme Learning Machine）算法實(shí)現(xiàn)遷移學(xué)習(xí)，并基于智能手機(jī)中內(nèi)置的加速度傳感器進(jìn)行信息采集并通過機(jī)器學(xué)習(xí)方法構(gòu)建人體行為識別模型。該方法是一種基于參數(shù)遷移的方法，通過對ELM的目標(biāo)函數(shù)進(jìn)行修改，引入一個可以表示兩域差異的遷移學(xué)習(xí)量，從而實(shí)現(xiàn)ELM模型的遷移學(xué)習(xí)。實(shí)驗結(jié)果表明，該模型可以有效的提高新用戶的行為識別正確率。

關(guān)鍵詞：遷移學(xué)習(xí);人體行為識別;極速學(xué)習(xí)機(jī);機(jī)器學(xué)習(xí)

中圖分類號：TP391 ? ? ? ? ? ?文獻(xiàn)標(biāo)識碼：A ? ? ? ? ?文章編號：2095-1302（2015）09-00-03

0 ?引 ?言

基于智能手機(jī)進(jìn)行人體行為識別是移動情景識別的一個重要研究方向，在健康監(jiān)控、行為檢測、老年人監(jiān)管等方面有廣泛應(yīng)用[1]。在構(gòu)建行為識別模型時，利用智能手機(jī)中內(nèi)置的三軸加速度傳感器，對人們多種日常行為的加速度數(shù)據(jù)進(jìn)行采集，并通過機(jī)器學(xué)習(xí)的方法，構(gòu)建用戶行為識別模型[2]。

由于每個用戶的行為都有自身的特點(diǎn)和習(xí)慣，加之手機(jī)放置位置和方向的不確定性及多樣性，導(dǎo)致不同用戶的行為加速度數(shù)據(jù)特征的數(shù)據(jù)分布差異較大，以至于識別模型的不適用性大大增加。為了解決識別模型的自適應(yīng)性問題，并且以最小的代價獲得較大收獲，這就需要利用遷移學(xué)習(xí)對通用模型進(jìn)行修改。

為了解決通用行為模型在面對新用戶時的不適用問題，本文提出了TrELM算法實(shí)現(xiàn)遷移學(xué)習(xí)。該方法是一種基于參數(shù)遷移的方法，通過對ELM的目標(biāo)函數(shù)進(jìn)行修改，引入一個可以表示兩域差異的遷移學(xué)習(xí)量，實(shí)現(xiàn)ELM模型的遷移學(xué)習(xí)。利用TrELM算法實(shí)現(xiàn)通用模型的遷移，首先利用ELM分類器構(gòu)建通用行為識別模型，可以得到源域中識別模型的輸出權(quán)值向量βS;之后通過對新用戶的少量行為樣本進(jìn)行學(xué)習(xí)，修改通用模型的輸出向量為βt，實(shí)現(xiàn)對通用模型的修改，完成具有遷移學(xué)習(xí)功能的行為識別模型。

1 ?已有研究

Dai提出了一種TrAdaBoost方法[3]，該方法的假設(shè)前提為源域和目標(biāo)域?qū)嵗龜?shù)據(jù)的特征和標(biāo)記相同，但數(shù)據(jù)分布不同。該方法利用AdaBoost方法構(gòu)建了一個數(shù)據(jù)樣本權(quán)值自動調(diào)整的機(jī)制，在迭代過程中對源域和目標(biāo)域的數(shù)據(jù)采取不同的權(quán)重調(diào)整機(jī)制，進(jìn)而可以實(shí)現(xiàn)減少有害數(shù)據(jù)對目標(biāo)域?qū)W習(xí)的影響。該方法雖然可以借助源域的部分?jǐn)?shù)據(jù)樣本作為輔助數(shù)據(jù)來在目標(biāo)域進(jìn)行學(xué)習(xí)，但是當(dāng)源域和目標(biāo)域的數(shù)據(jù)樣本相似性較差時，負(fù)遷移效果會增加。Jiang等在文獻(xiàn)[4]中的處理辦法是對源域數(shù)據(jù)樣本進(jìn)行領(lǐng)域適應(yīng)性的轉(zhuǎn)變，將產(chǎn)生負(fù)遷移效應(yīng)的源域樣本刪除后再進(jìn)行賦值，增加其在目標(biāo)域中的權(quán)值大小，最終可以利用具有預(yù)測標(biāo)簽的目標(biāo)域樣本對源域樣本的質(zhì)量進(jìn)行提升。

Dai等人在文獻(xiàn)[5]中提出翻譯特征遷移學(xué)習(xí)方法，該方法是一種較為基礎(chǔ)的特征遷移學(xué)習(xí)方法，主要通過對跨領(lǐng)域的特征進(jìn)行學(xué)習(xí)，用以解決訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)所屬特征空間不同的問題，利用不相關(guān)的數(shù)據(jù)幫助目標(biāo)分類和聚類學(xué)習(xí)。

Lawrence在文獻(xiàn)[6]中提出了一種高效算法MT-IVM，該方法構(gòu)建了多任務(wù)的高斯過程，在其特性上獲取知識，以實(shí)現(xiàn)知識共享。Bonilla在文獻(xiàn)[7]中也研究了高斯過程下的多任務(wù)學(xué)習(xí)，提出了基于任務(wù)間自由形式的協(xié)方差矩陣，進(jìn)而模擬交互任務(wù)的依賴性，最終利用高斯過程中知識對任務(wù)間的相互關(guān)系進(jìn)行學(xué)習(xí)。Schwaighofer等人構(gòu)建了基于高斯過程和貝葉斯算法的統(tǒng)一模型，以解決多任務(wù)學(xué)習(xí)問題[8]。在文獻(xiàn)[9]中，Evgeniou提出了一種以分層貝葉斯模型為前提的規(guī)則化框架，并實(shí)現(xiàn)了在遷移學(xué)習(xí)中的應(yīng)用，解決了多任務(wù)學(xué)習(xí)的問題。該方法的實(shí)現(xiàn)基于如下假設(shè)，即在面臨每個任務(wù)時，將SVMs中的特征分為兩部分，一部分是所有任務(wù)都具有的共同體，另一部分是針對某個任務(wù)的專有部分，這種方法適用于具有較多樣本，且源域和目標(biāo)域樣本較為單一的情況。

Mihalkova在文獻(xiàn)[10]中提出了TAMAR算法，通過馬爾科夫邏輯網(wǎng)絡(luò)在相關(guān)聯(lián)領(lǐng)域間遷移相關(guān)知識。在馬爾科夫模型中，關(guān)聯(lián)領(lǐng)域的實(shí)體通過預(yù)測表現(xiàn)出來，他們的關(guān)聯(lián)性可由一階邏輯表示。該方法基于這樣一個事實(shí)，若兩個域是相關(guān)的，則存在一種從源域到目標(biāo)域的實(shí)體之間及關(guān)系的映射。TAMAR算法分為兩個階段，首先構(gòu)造一個基于加權(quán)的對數(shù)似然度的從源域到目標(biāo)域的映射;之后利用FORTE算法修正目標(biāo)域的映射結(jié)構(gòu)，修改后的馬爾科夫邏輯網(wǎng)絡(luò)可以用作目標(biāo)域的關(guān)聯(lián)模型來使用。此外，Davis等人構(gòu)建了二階馬氏邏輯，實(shí)現(xiàn)相關(guān)知識的遷移學(xué)習(xí)，該方法根據(jù)反相馬爾科夫鏈的形式實(shí)現(xiàn)源域中某一樣本的架構(gòu)構(gòu)造，進(jìn)而可以在目標(biāo)域中獲取該樣本的公式。

本文所提出的TrELM算法結(jié)合了參數(shù)遷移方法，實(shí)現(xiàn)了ELM在模型層面上的遷移學(xué)習(xí)功能。

2 ?基于遷移極速學(xué)習(xí)機(jī)的行為識別模型

目前，針對ELM遷移學(xué)習(xí)方法的研究主要是基于實(shí)例遷移學(xué)習(xí)方法，基于參數(shù)的遷移學(xué)習(xí)大多是在SVM結(jié)構(gòu)中實(shí)現(xiàn)的。遷移學(xué)習(xí)算法TL-SVM通過對SVM分類器進(jìn)行深入研究，從判別函數(shù)f（x）=wTx+b中發(fā)現(xiàn)不同域間的差異體現(xiàn)在其w值上。通過構(gòu)造可以體現(xiàn)兩域間差異的項μ‖wt-wS‖2，將其添加至SVM目標(biāo)式中，根據(jù)一系列運(yùn)算規(guī)則，即可實(shí)現(xiàn)不同域間的遷移學(xué)習(xí)。

用ELM構(gòu)建模型，會得到輸出權(quán)值向量β，針對數(shù)據(jù)分布不同的領(lǐng)域，在其上訓(xùn)練的ELM模型中的β向量必然不同，雖然模型構(gòu)建時輸入節(jié)點(diǎn)加權(quán)值向量以及偏差向量均是隨機(jī)賦值的，但其模型構(gòu)建理論可以說明，以不同域數(shù)據(jù)樣本構(gòu)建的多個ELM分類模型間的差異，可以用輸出權(quán)值向量β表示。

鑒于SVM及ELM的相關(guān)性以及基于SVM的遷移學(xué)習(xí)研究，構(gòu)造TrELM（Transfer Extreme Learning Machine）算法模型。通過在ELM的目標(biāo)式中增加μ‖βt-βS‖2項，可以表示兩個域間的差異，通過嚴(yán)密的數(shù)學(xué)公式推導(dǎo)求解后，可以得到目標(biāo)域內(nèi)的ELM目標(biāo)式，進(jìn)而實(shí)現(xiàn)兩域間的遷移學(xué)習(xí)。其中，‖βt-βS‖2表示兩域分類器之間的差異程度，該值越大則分類器間的差異越大，反之越小;參數(shù)μ控制懲罰程度。TrELM算法原理如圖1所示。

圖1 ?TrELM算法原理

3 ?實(shí)驗結(jié)果

項目組是以智能手機(jī)為背景的行為識別模型的遷移學(xué)習(xí)，將九名測試者p1至p9按其年齡分布分為A、B、C三組，其中，A組成員為p1-p3，年齡分布為20-30歲，相應(yīng)樣本集記DA;B組成員為p4-p6，年齡分布在31-40歲，相應(yīng)樣本集記DB;C組成員為p7-p9，年齡分布在41-50歲，相應(yīng)樣本集記DC。上述每個樣本集均按比例（1：3）分為兩部分，即DA1、DA2，DB1、DB2和DC1、DC2。

為了論證方法的有效性，實(shí)驗將分為遷移學(xué)習(xí)前和遷移學(xué)習(xí)后模型的適應(yīng)性統(tǒng)計兩部分。第一部分分別以DA、DB和DC作為訓(xùn)練集，構(gòu)建ELM通用行為識別模型，之后對其余兩個樣本集進(jìn)行測試，統(tǒng)計測試集正確率，以衡量未遷移學(xué)習(xí)時的模型適應(yīng)性;第二部分是在第一部分的基礎(chǔ)上，以其余樣本集中較少部分作為遷移學(xué)習(xí)訓(xùn)練樣本集，對模型進(jìn)行TrELM算法的自適應(yīng)性修改，以測試集正確率作為遷移學(xué)習(xí)后的模型適應(yīng)性能力進(jìn)行統(tǒng)計。每組實(shí)驗均進(jìn)行20次，統(tǒng)計正確率的平均值。

在構(gòu)建通用行為識別模型時，由于ELM算法的輸入權(quán)值向量是隨機(jī)賦值的，故只需要確定隱藏層節(jié)點(diǎn)數(shù)即可。目前統(tǒng)一規(guī)范確定隱藏層數(shù)量，只能靠經(jīng)驗值確定。選取隱藏層參數(shù)為100，以達(dá)到構(gòu)建最優(yōu)網(wǎng)絡(luò)的目的。

另外，在ELM的輸出函數(shù)中，C的取值范圍[2^（-10）， 2^（25）]，選取分類器性能最優(yōu)時的C值為2^（18）。

在遷移學(xué)習(xí)過程中，假設(shè)TrELM算法的性能是由其相關(guān)參數(shù)μ和Ct確定的。令μ的取值范圍為[0，1]，Ct的取值范圍為[2^（-5）， 2^（20）] 。統(tǒng)計遷移訓(xùn)練集20次實(shí)驗的平均正確率如圖2所示。圖2中所示為三軸坐標(biāo)，坐標(biāo)系中每個點(diǎn)表示取該點(diǎn)所在的Ct和μ值時，模型在遷移訓(xùn)練集上所得到的正確率。由圖2可知，在保證TrELM算法性能最優(yōu)的前提下，取μ為0.4，Ct為2^（10）。

圖2 ?TrELM算法的相關(guān)參數(shù)關(guān)系圖

表1至表6為各交叉用戶組在模型遷移學(xué)習(xí)前后的行為識別準(zhǔn)確率平均值的統(tǒng)計，上述兩部分實(shí)驗的相關(guān)樣本集及正確率統(tǒng)計結(jié)果分別列于各表中的第一行和第二行。

表1 ?新用戶組遷移學(xué)習(xí)前后的行為識別正確率

（A為已知用戶組，B為新用戶組）

訓(xùn)練集 測試集 測試集正確率平均值（%）

遷移學(xué)習(xí)前 DA DB2 78.68

遷移學(xué)習(xí)后 DA+DB1 DB2 82.19

表2 ?新用戶組遷移學(xué)習(xí)前后的行為識別正確率

（A為已知用戶組，C為新用戶組）

訓(xùn)練集 測試集 測試集正確率平均值（%）

遷移學(xué)習(xí)前 DA DC2 69.35

遷移學(xué)習(xí)后 DA+DC1 DC2 87.37

表3 ?新用戶組遷移學(xué)習(xí)前后的行為識別正確率

（B為已知用戶組，A為新用戶組）

訓(xùn)練集 測試集 測試集正確率平均值（%）

遷移學(xué)習(xí)前 DB DA2 76.44

遷移學(xué)習(xí)后 DB+DA1 DA2 83.77

表4 ?新用戶組遷移學(xué)習(xí)前后的行為識別正確率

（B為已知用戶組，C為新用戶組）

訓(xùn)練集 測試集 測試集正確率平均值（%）

遷移學(xué)習(xí)前 DB DC2 72.16

遷移學(xué)習(xí)后 DB+DC1 DC2 82.92

表5 ?新用戶組遷移學(xué)習(xí)前后的行為識別正確率

（C為已知用戶組，A為新用戶組）

訓(xùn)練集 測試集 測試集正確率平均值（%）

遷移學(xué)習(xí)前 DC DA2 64.75

遷移學(xué)習(xí)后 DC+DA1 DA2 89.38

表6 ?新用戶組遷移學(xué)習(xí)前后的行為識別正確率

（C為已知用戶組，B為新用戶組）

訓(xùn)練集 測試集 測試集正確率平均值（%）

遷移學(xué)習(xí)前 DC DB2 68.59

遷移學(xué)習(xí)后 DC+DB1 DB2 80.19

通過上述表格的第一行可以看出，對于所構(gòu)建的通用行為模型，在面臨新用戶時，行為識別正確率較低，平均值最低為64.75%，說明了對新用戶進(jìn)行行為識別時，通用模型的不適應(yīng)性以及遷移學(xué)習(xí)的必要性。通過對比各表格中第一二行的測試集正確率，可以看出，利用新用戶的行為數(shù)據(jù)進(jìn)行了基于TrELM算法的模型遷移學(xué)習(xí)后，行為識別正確率有了明顯提高，表5中正確率的增加幅度最大，為24.63%，說明了TrELM算法可以有效達(dá)到遷移學(xué)習(xí)的目的。

另外，表2和表5中測試集正確率增加值要大于其余四個表，這是由于當(dāng)所遷移到的目標(biāo)域用戶組年齡組成與源域訓(xùn)練組差異較大時，兩組行為特征值的數(shù)據(jù)分布也會有較大不同，通用模型的不適應(yīng)性增大，在這種情況下進(jìn)行遷移學(xué)習(xí)，可以得到更好的效果，識別正確率也會有較大提高。

4 ?結(jié) ?語

為了解決通用行為模型在面對新用戶時的不適用問題，本節(jié)提出了TrELM算法實(shí)現(xiàn)遷移學(xué)習(xí)。該方法是一種基于參數(shù)遷移的方法，是通過對ELM的目標(biāo)函數(shù)進(jìn)行修改，引入一個可以表示兩域差異的遷移學(xué)習(xí)量，實(shí)現(xiàn)ELM模型的遷移學(xué)習(xí)。利用TrELM算法實(shí)現(xiàn)通用模型的遷移，首先利用ELM分類器構(gòu)建通用行為識別模型，可以得到源域中識別模型的輸出權(quán)值向量βS;之后通過對新用戶的少量行為樣本進(jìn)行學(xué)習(xí)，修改通用模型的輸出向量為βt，實(shí)現(xiàn)對通用模型的修改，完成具有遷移學(xué)習(xí)功能的行為識別模型。實(shí)驗在真實(shí)數(shù)據(jù)集上進(jìn)行，結(jié)果表明，該模型可以有效提高新用戶的行為識別正確率。

參考文獻(xiàn)

[1]張爍，段富.基于智能移動平臺的情景感知技術(shù)研究[J].計算機(jī)應(yīng)用與軟件，2013，30（8）： 166-169.

[2]徐川龍，顧勤龍，姚明海.一種基于三維加速度傳感器的人體行為識別方法[J].計算機(jī)系統(tǒng)應(yīng)用，2013，22（6）：132-135.

[3] Dai Wenyuan，Yang Qiang，Xue Guirong，et al.Boosting for transfer learning[Z]. Proceedings of the 24th international conference on Machine learning ACM International Conference Proceeding Series， 2007：193-200.

[4] Dai W，Chen Y，Xue G，et al.Translated Learning：Transfer Learning across Different Feature Spaces[Z].In Advances in Neural Information ?Processing Systems，2008.

[5] Lawrence N D，Platt J C.Learning to Learn with the Informative Vector Machine[Z].In Proceedings of the International Conference in Machine Learning，2004.

[6] Bonilla E V， Chai K M A， Williams C K I. ?[Z].Nips，2008.

[7] Schwaighofer A，Tresp V，Yu K.Learning Gaussian Process Kernels via Hierarchical Bayes[J].In Advances in Neural Information Processing Systems， 2004： 1209-1216.

[8] Evgeniou T，Pontil M.Regularized multi-task learning[J].In Proceedings of 17th SIGKDD Conf[J]. on Knowledge Discovery and Data Mining，2004，28（1）：109-117.

[9] Mihalkova L，Huynh T，Mooney R J. Mapping and revising Markov logic networks for transfer learning[C].National Conference on Artificial Intelligence-volume：AAAI Press，2007，608--614.

[10] Davis J， Domingos P. Deep Transfer via Second-Order Markov Logic[J]. Proceedings of the Aaai Workshop on Transfer Learning for Complex Tasks， 2009.