多任務(wù)模糊聚類驅(qū)動(dòng)的多任務(wù)TSK模糊系統(tǒng)模型

蔣亦樟，華 蕾，張 群,2，錢鵬江，夏開建,3,4

1.江南大學(xué)人工智能與計(jì)算機(jī)學(xué)院,江蘇無(wú)錫214122

2.江南大學(xué)圖書館,江蘇無(wú)錫214122

3.蘇州大學(xué)附屬常熟醫(yī)院信息科,江蘇蘇州215500

4.中國(guó)礦業(yè)大學(xué)信息與控制工程學(xué)院,江蘇徐州221116

經(jīng)典的機(jī)器學(xué)習(xí)方法已廣泛用于如聚類、分類、回歸[1]等實(shí)際應(yīng)用.很多方法因其簡(jiǎn)單性和優(yōu)越性而聞名，如k均值[2-3]、模糊c 均值（FCM）[4-6]、神經(jīng)網(wǎng)絡(luò)[7-8]、支持向量機(jī)[9-10]、模糊系統(tǒng)[11-17].但這些經(jīng)典方法都面向單任務(wù)學(xué)習(xí)場(chǎng)景，不能有效滿足當(dāng)前多任務(wù)學(xué)習(xí)場(chǎng)景的需求.以生化發(fā)酵過(guò)程[18]為例，其谷氨酸發(fā)酵過(guò)程需要同時(shí)處理多個(gè)任務(wù).這種學(xué)習(xí)場(chǎng)景就是一個(gè)典型的多輸入多輸出（multiple-input-multiple-output,MIMO）系統(tǒng)，對(duì)應(yīng)的數(shù)據(jù)集可分解為多個(gè)多輸入單輸出（multiple-input-single-output,MISO）的數(shù)據(jù)集.如果將每個(gè)MISO數(shù)據(jù)集視為一個(gè)任務(wù)且所有任務(wù)具有相同的輸入但每個(gè)任務(wù)的輸出不同，那么經(jīng)典的單任務(wù)建模方法（如傳統(tǒng)的Takagi-Sugeno-Kang(TSK)模糊系統(tǒng)[14]）可以獨(dú)立地對(duì)這些MISO 數(shù)據(jù)集進(jìn)行建模并取得一定的性能.但相較于用多任務(wù)學(xué)習(xí)機(jī)制的模型而言，這些經(jīng)典的單任務(wù)學(xué)習(xí)模型顯得效率低[19-21].

對(duì)于一個(gè)明確的多任務(wù)場(chǎng)景問(wèn)題，一種有效地方式是設(shè)計(jì)出新的具有多任務(wù)協(xié)同學(xué)習(xí)能力的學(xué)習(xí)框架.當(dāng)前，針對(duì)不同的機(jī)器學(xué)習(xí)問(wèn)題，提出了各種多任務(wù)學(xué)習(xí)機(jī)制并已廣泛應(yīng)用于聚類[22-24]、分類[20-21,25-26]、回歸[16,17,27-29]問(wèn)題中，本文工作重點(diǎn)將放在回歸問(wèn)題上.模糊系統(tǒng)作為一種經(jīng)典的回歸方法，因其可解釋性和學(xué)習(xí)能力而廣泛應(yīng)用于智能控制、信號(hào)處理、模式識(shí)別[14,15,30-34]等領(lǐng)域.

眾所周知，模糊系統(tǒng)建模優(yōu)化通常包括前件參數(shù)優(yōu)化和后件參數(shù)優(yōu)化兩個(gè)步驟.為了將多任務(wù)學(xué)習(xí)機(jī)制整合到以上兩個(gè)步驟中，本文首先提出了一種多任務(wù)模糊c 均值（multi-task fuzzy c-means,MT-FCM）聚類算法用于優(yōu)化多任務(wù)TSK模糊系統(tǒng)（multi-task TSK fuzzy system，MT-TSK-FS）的前件參數(shù).所提出的多任務(wù)模糊c 均值聚類算法具備在每個(gè)任務(wù)上得到最優(yōu)的共享前件參數(shù)和獨(dú)立前件參數(shù)用于后期多任務(wù)模糊系統(tǒng)的構(gòu)建.其次，設(shè)計(jì)了一種具備多任務(wù)協(xié)同學(xué)習(xí)機(jī)制的后件參數(shù)優(yōu)化方法，用于優(yōu)化多任務(wù)TSK 模糊系統(tǒng)的后件參數(shù).該方法源自經(jīng)典的L2-范數(shù)TSK 模糊系統(tǒng)后件學(xué)習(xí)策略[16-17]，通過(guò)融入新的多任務(wù)協(xié)同學(xué)習(xí)機(jī)制改進(jìn)了目標(biāo)函數(shù)最終用于優(yōu)化多任務(wù)TSK 模糊系統(tǒng)的后件參數(shù).最后，基于優(yōu)化的前件參數(shù)和后件參數(shù)構(gòu)建出具體的多任務(wù)TSK 模糊系統(tǒng)用于實(shí)際應(yīng)用.大量的模擬實(shí)驗(yàn)和真實(shí)數(shù)據(jù)實(shí)驗(yàn)表明本文所提之多任務(wù)TSK 模糊系統(tǒng)具有更加的性能以及良好的解釋性.

1 相關(guān)工作

基于聚類的模糊系統(tǒng)是目前常用的TSK 模糊系統(tǒng)，模糊規(guī)則的前件和后件參數(shù)時(shí)往往分階段計(jì)算.模糊規(guī)則的前件參數(shù)通過(guò)聚類結(jié)果計(jì)算得到，模糊規(guī)則的后件參數(shù)通過(guò)一定的學(xué)習(xí)策略得到.由于常規(guī)聚類是將數(shù)據(jù)空間的劃分視為單個(gè)任務(wù)，因此單任務(wù)聚類構(gòu)建的規(guī)則前件也是單任務(wù)的，如文獻(xiàn)[35-37].單任務(wù)模糊系統(tǒng)只能對(duì)各個(gè)獨(dú)立的任務(wù)分別進(jìn)行建模學(xué)習(xí)，是因?yàn)闊o(wú)法充分利用每個(gè)任務(wù)數(shù)據(jù)之間的聯(lián)系.面對(duì)多個(gè)任務(wù)的建模場(chǎng)景，單任務(wù)模糊系統(tǒng)的性能往往不能令人滿意.為了提升模型在多任務(wù)建模中的性能，一些研究者提出了多任務(wù)模糊系統(tǒng).如文獻(xiàn)[38]將動(dòng)態(tài)集成選擇的方法引入TSK 模糊系統(tǒng)，構(gòu)成含多個(gè)分類器的動(dòng)態(tài)系統(tǒng)，其動(dòng)態(tài)生成和集成分類器的機(jī)制可以為特定分類對(duì)象選擇合適的分類器.文獻(xiàn)[39]提出了基于模糊集的在線多任務(wù)學(xué)習(xí)進(jìn)化系統(tǒng)，該系統(tǒng)使用數(shù)據(jù)流驅(qū)動(dòng)的遞歸更新信息粒，并將它解釋為If-Then 模糊規(guī)則的前件部分.信息粒的交集則解釋為If-Then 模糊規(guī)則之間的稀疏結(jié)構(gòu)關(guān)系圖和多任務(wù)學(xué)習(xí)中任務(wù)間的關(guān)系橋梁.文獻(xiàn)[40]提出了一種緊湊的模糊規(guī)則和共享的結(jié)果參數(shù)的多任務(wù)模糊系統(tǒng)，該方法通過(guò)在模型的學(xué)習(xí)準(zhǔn)則中設(shè)計(jì)新的稀疏正則化來(lái)考慮模糊規(guī)則的約簡(jiǎn)和任務(wù)間的參數(shù)選擇，同時(shí)實(shí)現(xiàn)了任務(wù)間關(guān)系的整合.文獻(xiàn)[16-17]則將傳統(tǒng)的TSK 模糊系統(tǒng)擴(kuò)展到多任務(wù)學(xué)習(xí)場(chǎng)景的方法.在文獻(xiàn)[16]中，基于經(jīng)典的L2-范數(shù)TSK 模糊系統(tǒng)，提出了一種稱為MT-TSK-FS 的多任務(wù)TSK 模糊系統(tǒng).多任務(wù)學(xué)習(xí)機(jī)制用于重構(gòu)目標(biāo)函數(shù)以學(xué)習(xí)不同任務(wù)的結(jié)果參數(shù).新的目標(biāo)函數(shù)不僅可以利用每個(gè)任務(wù)的獨(dú)立信息，而且可以有效地利用任務(wù)間的相關(guān)信息.在文獻(xiàn)[17]中，低維子空間假定為在所有任務(wù)之間共享，因此所有任務(wù)的隱藏相關(guān)信息都用于多任務(wù)學(xué)習(xí).因此通過(guò)挖掘上述常見的隱藏結(jié)構(gòu)，提出了一種稱為MTCS-TSK-FS 的多任務(wù)TSK 模糊系統(tǒng)模型.這兩種多任務(wù)學(xué)習(xí)策略仍然存在一些不足：1）MT-TSK-FS 和MTCS-TSK-FS 都共享TSK-FS 模型的先驗(yàn)參數(shù)，對(duì)于每個(gè)任務(wù)顯然與多任務(wù)學(xué)習(xí)機(jī)制相矛盾，而更合理的是每個(gè)任務(wù)的前提都應(yīng)包含與其他任務(wù)共享的公共部分和單個(gè)部分；2）文獻(xiàn)[16-17]中的結(jié)果參數(shù)的學(xué)習(xí)仍然很薄弱，要服從共享的先驗(yàn)參數(shù)；3）模糊系統(tǒng)的可解釋性受共享前件參數(shù)的阻礙，導(dǎo)致規(guī)則的IF部分對(duì)所有任務(wù)都是相同的，因此對(duì)于不同的任務(wù)生成的模糊規(guī)則的可解釋性變得很弱.為了克服上述局限性，本文構(gòu)想了一種基于多任務(wù)聚類的多任務(wù)TSK-FS 建模方法，需要建立一個(gè)多任務(wù)學(xué)習(xí)機(jī)制來(lái)學(xué)習(xí)相應(yīng)的參數(shù).總體上，提出了一種新的多任務(wù)TSK 模糊系統(tǒng)學(xué)習(xí)框架，并通過(guò)為模糊系統(tǒng)的前件參數(shù)和后繼參數(shù)提供多任務(wù)學(xué)習(xí)來(lái)進(jìn)行區(qū)分.表1總結(jié)了所提方法與相關(guān)工作的簡(jiǎn)要比較，例如經(jīng)典的單任務(wù)TSK模糊建模方法[35-37]與我們已提出的多任務(wù)TSK 模糊建模方法[16-17].

表1 基于TSK 模糊系統(tǒng)的回歸方法Table 1 TSK fuzzy systems based methods for regression

2 多任務(wù)模糊c 均值算法

模糊c 均值算法（fuzzy c-means，F(xiàn)CM）是傳統(tǒng)單任務(wù)聚類的經(jīng)典算法之一[4-6].本文將以此模型作為基礎(chǔ)，提出一種多任務(wù)模糊c 均值聚類算法（multi-task fuzzy c-means,MT-FCM）.

2.1 經(jīng)典的單任務(wù)FCM 算法

經(jīng)典FCM 算法的主要目標(biāo)函數(shù)為

式中，xj為第j個(gè)樣本，vi(vi1,···,vik)為第i個(gè)聚類中心，μij為第i個(gè)樣本隸屬于第j個(gè)類中心的程度，模糊指數(shù)m滿足條件m >1.通過(guò)使用拉格朗日優(yōu)化來(lái)最小化式(1)，可得出中心vi和模糊隸屬度μij的更新規(guī)則為

基于迭代更新學(xué)習(xí)原理，可得最佳的隸屬度U和類中心V.

作為一種經(jīng)典的數(shù)據(jù)驅(qū)動(dòng)的類別劃分方法，F(xiàn)CM 算法在不同的應(yīng)用中獲得了較大的成功[14-17,41-42].但經(jīng)典的FCM 算法僅針對(duì)傳統(tǒng)的單任務(wù)聚類場(chǎng)景而設(shè)計(jì)，不能直接用于同時(shí)處理多任務(wù)場(chǎng)景中的所有數(shù)據(jù)集.因此，在面對(duì)多任務(wù)聚類問(wèn)題時(shí)，一種常見的解決方案是用經(jīng)典FCM 算法對(duì)多任務(wù)數(shù)據(jù)集中每個(gè)任務(wù)的數(shù)據(jù)進(jìn)行單獨(dú)的聚類.這種做法由于算法自身的限制性導(dǎo)致任務(wù)間的關(guān)聯(lián)信息無(wú)法被使用，進(jìn)而造成最終聚類效果普遍不佳的情況.因此，本文提出了一種用于多任務(wù)場(chǎng)景的多任務(wù)FCM 聚類算法.

2.2 多任務(wù)模糊c 均值算法

在多任務(wù)聚類問(wèn)題中，若給定一個(gè)包含K個(gè)任務(wù)的多任務(wù)數(shù)據(jù)集，每一個(gè)任務(wù)對(duì)應(yīng)Nk個(gè)數(shù)據(jù)，該數(shù)據(jù)集可表示為Xk={xi,k,i=1,···,Nk}，xi,k ∈Rd.為了從多任務(wù)數(shù)據(jù)中提取共有和私有信息及個(gè)人信息，在FCM 框架中引入多任務(wù)學(xué)習(xí)機(jī)制，本文重新設(shè)計(jì)了新的目標(biāo)函數(shù)為

式中，Ck和P分別為獨(dú)立類中心和公共類中心的總數(shù)；xi,k為第k個(gè)任務(wù)中的第i個(gè)樣本；表示包含所有任務(wù)數(shù)據(jù)樣本中的第i個(gè)數(shù)據(jù)樣本；Uk=[μij,k]Ck×Nk為第k個(gè)任務(wù)的私有模糊劃分矩陣；Vk=[v1,k,···,vCk,k]為第k任務(wù)的私有聚類中心；R=[r1]為所有任務(wù)的公有模糊劃分矩陣；O=[o1,···,oP]為所有任務(wù)的公有聚類中心；λa和λb是兩個(gè)可人工調(diào)節(jié)的正則化參數(shù)，用于控制不同項(xiàng)對(duì)整體目標(biāo)函數(shù)的影響，可用交叉驗(yàn)證的方式來(lái)確定.

接下來(lái)，可以求解方程(4)以獲得多任務(wù)FCM 聚類的最優(yōu)解.式(4)的拉格朗日函數(shù)可以表示為

通過(guò)對(duì)各項(xiàng)求導(dǎo)數(shù)，最終可得到各參數(shù)的優(yōu)化更新公式如下：

根據(jù)上述更新公式，本文所提出的MTFCM 算法的具體計(jì)算步驟可總結(jié)如下：

步驟1給定K個(gè)任務(wù)，需預(yù)先設(shè)定Ck(2CK < Nk)，P(2P <)，收斂閾值ε，模糊指數(shù)m，正則化參數(shù)λa(λa >0)，λb(λb >0)，最大迭代次數(shù)T；此外，還需初始化每個(gè)任務(wù)的獨(dú)立聚類中心vj,k和所有任務(wù)的公共聚類中心op，設(shè)置迭代次數(shù)的初始值s=1.

步驟2用式(6)更新私有模糊隸屬度

步驟3用式(7)更新私有聚類中心

步驟4用式(8)更新公有模糊隸屬度

步驟5用式(9)更新公有聚類中心

步驟6如果|J(s+1)?J(s)| < ε或迭代次數(shù)l > T，迭代終止，否則使l=l+1 并跳轉(zhuǎn)到步驟2.

3 多任務(wù)模糊c 均值算法驅(qū)動(dòng)的多任務(wù)TSK 模糊系統(tǒng)

3.1 系統(tǒng)架構(gòu)

為了克服我們已經(jīng)提出的兩種多任務(wù)TSK 模糊系統(tǒng)建模方法所存在的局限性[16-17]，本文將基于提出的多任務(wù)模糊c 均值聚類算法構(gòu)建一種新的多任務(wù)TSK 模糊系統(tǒng)模型（multitask fuzzy c-means based multi-task TSK fuzzy system,MTFCM-MT-TSK-FS），以實(shí)現(xiàn)以下兩個(gè)目標(biāo)：

1）在文獻(xiàn)[16-17]中，每個(gè)任務(wù)的模糊系統(tǒng)前件參數(shù)均是私有化的無(wú)公有參數(shù)，MTFCMMT-TSK-FS 方法將首次提出公有前件參數(shù)和私有前件參數(shù)并用的全新形式.

2）通過(guò)更有效的多任務(wù)學(xué)習(xí)機(jī)制，進(jìn)一步優(yōu)化模糊系統(tǒng)后件參數(shù)的學(xué)習(xí)策略，進(jìn)而增強(qiáng)模糊規(guī)則的可解釋性.

為了實(shí)現(xiàn)上述目標(biāo)，可以借助圖1來(lái)理解MTFCM-MT-TSK-FS 的構(gòu)建框架.

圖1 多任務(wù)模糊系統(tǒng)：多任務(wù)學(xué)習(xí)策略Figure 1 Fuzzy systems for multiple tasks:multi-task learning strategy

圖1顯示了MTFCM-MT-TSK-FS 模型的框架.對(duì)于這個(gè)多任務(wù)模糊系統(tǒng)構(gòu)建框架，每個(gè)任務(wù)的模糊規(guī)則定義如下：

1）所有任務(wù)的公有模糊規(guī)則

2）第k個(gè)任務(wù)的私有模糊規(guī)則

式(10)和(11)中，xk為第k個(gè)任務(wù)的樣本，表示輸入變量xi為所有任務(wù)的第l個(gè)公有模糊子集；表示輸入變量xi,k為第k個(gè)任務(wù)的第g個(gè)私有模糊子集；Gk表示第k個(gè)任務(wù)的單個(gè)模糊規(guī)則的數(shù)量；∧為模糊合取運(yùn)算符.根據(jù)模糊推理，最終第k個(gè)任務(wù)的多任務(wù)TSK 模糊模型的輸出可表示為

式中，和表示模糊隸屬函數(shù)，和表示為歸一化后的模糊隸屬度，和分別與任務(wù)k中公有和私有模糊集和相關(guān)聯(lián).

3.2 學(xué)習(xí)算法

模糊系統(tǒng)的學(xué)習(xí)包含前件和以及歸一化后的和，其計(jì)算方法如下：

然后，本文選用高斯隸屬度函數(shù)作為模糊隸屬度函數(shù)

式中，rjl表示所有任務(wù)中第j個(gè)數(shù)據(jù)點(diǎn)隸屬于第l個(gè)聚類中心的公共模糊隸屬度，ujg,k表示第k個(gè)任務(wù)中第j個(gè)數(shù)據(jù)點(diǎn)=(xj,k,yj,k)=(xj1,k,···,xjd,k,yj,k)T隸屬于第g個(gè)類的私有模糊隸屬度，h和hk為自定義參數(shù)，可以手動(dòng)設(shè)置或通過(guò)交叉驗(yàn)證進(jìn)行優(yōu)化.本文參考以前的工作將h和hk參數(shù)值固定為0.5[16-17].

對(duì)于多任務(wù)TSK 模糊系統(tǒng)的后件參數(shù)學(xué)習(xí)，首先令

式中，fl(xk)為第l個(gè)公有模糊規(guī)則的后件輸出；為第k個(gè)任務(wù)中第g個(gè)私有模糊規(guī)則的后件輸出，wl為第l個(gè)公有模糊規(guī)則的后件參數(shù)；Θg為第k個(gè)任務(wù)中第g個(gè)私有模糊規(guī)則的后件參數(shù).將式(23)和(24)代入式(12)可得

因此，上述多任務(wù)TSK 模型的訓(xùn)練問(wèn)題可以轉(zhuǎn)化為相應(yīng)線性回歸模型中參數(shù)的學(xué)習(xí)問(wèn)題.參照文獻(xiàn)[14,17,35]，本文基于經(jīng)典的不敏感準(zhǔn)則和L2 范數(shù)懲罰項(xiàng)設(shè)計(jì)了多任務(wù)TSK 模糊系統(tǒng)的后件優(yōu)化目標(biāo)函數(shù)

其中，

式(31)中第1 項(xiàng)用于學(xué)習(xí)任務(wù)k的私有后件參數(shù)θk，而式(33)則用于學(xué)習(xí)所有任務(wù)的公有后件參數(shù)w.值得注意的是，正則化參數(shù)τk >0 需手動(dòng)設(shè)置，也可以通過(guò)交叉驗(yàn)證策略來(lái)確定[43].

為了獲得最佳的后件參數(shù)w和θk，給出拉格朗日函數(shù)JMT-TSK(w,θk,ξk,εk)如下：

通過(guò)設(shè)置函數(shù)L(?)關(guān)于w,θk,,和εk的導(dǎo)數(shù)為0，可以獲得

當(dāng)將式(35)～(39)代入式(34)時(shí)，則可獲得其對(duì)偶問(wèn)題

根據(jù)拉格朗日最優(yōu)化理論，令

則式(31)可進(jìn)一步表示為

其中，

綜上，MTFCM-MT-TSK-FS 的后件參數(shù)優(yōu)化問(wèn)題則轉(zhuǎn)化成了一個(gè)典型的Quadratic Programming(QP)問(wèn)題.本文使用傳統(tǒng)的QP 算法[44]求解式(45)得到對(duì)偶的最優(yōu)解公有后件參數(shù)和私有后件參數(shù)的計(jì)算式可以寫為

基于上述推導(dǎo)，則所提的MTFCM-MT-TSK-FS 模型的學(xué)習(xí)算法可以描述如下：

算法MTFCM-MT-TSK-FS

步驟1設(shè)置每個(gè)任務(wù)的正則化參數(shù)τk和λ，公有模糊規(guī)則數(shù)L，私有模糊規(guī)則Gk.

步驟2使用多任務(wù)聚類算法MTFCM 根據(jù)輸入數(shù)據(jù)x和輸出y確定先行參數(shù)，并生成每個(gè)任務(wù)的公有回歸數(shù)據(jù)集和私有回歸數(shù)據(jù)集Dk={xri,k,yi,k}.

步驟3使用式(40)或式(45)輸出拉格朗日乘子

步驟4根據(jù)步驟3，分別為所有任務(wù)和每個(gè)任務(wù)k獲取最終的私有后件參數(shù)w和θk.

步驟5利用步驟2 的最終前件參數(shù)和步驟4 的后件參數(shù)，為每個(gè)任務(wù)生成所需的多任務(wù)TSK 模糊系統(tǒng).

最后，我們來(lái)分析MTFCM-MT-TSK-FS 模糊系統(tǒng)的時(shí)間復(fù)雜度.MTFCM-MT-TSK-FS使用MTFCM 聚類得到規(guī)則前件，其時(shí)間復(fù)雜度是其中T是算法迭代的次數(shù)，是k個(gè)任務(wù)總的樣本數(shù)目；是私有聚類數(shù)，P是公有聚類數(shù).用多任務(wù)后件優(yōu)化學(xué)習(xí)后件參數(shù)的時(shí)間復(fù)雜度是O(N3).因此，MTFCM-MT-TSK-FS的時(shí)間復(fù)雜度是

4 實(shí) 驗(yàn)

本節(jié)將評(píng)估由多任務(wù)模糊c 均值算法驅(qū)動(dòng)的多任務(wù)TSK 模糊系統(tǒng)MTFCM-MT-TSK-FS模型的性能，并與3 種單任務(wù)TSK 模糊系統(tǒng)學(xué)習(xí)方法（L2-TSK-FS模型[35]、TSFS-SVR模型[36]、FS-FCSVM 模型[37]）及2 種多任務(wù)TSK 型模糊建模方法（MT-TSK-FS[16]和MTCSTSK-FS[17]）進(jìn)行性能比較.為了進(jìn)行公平地比較，本研究用4 組合成的多任務(wù)數(shù)據(jù)集和3 組真實(shí)的多任務(wù)數(shù)據(jù)集.

4.1 實(shí)驗(yàn)設(shè)置

4.1.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)所使用的計(jì)算機(jī)的CPU 為Intel Core i5-3317U 1.70 GHz，RAM 為16GB，開發(fā)環(huán)境為MATLAB.

4.1.2 性能評(píng)估方法

泛化性能指標(biāo)J[16-17,35]：其中N為測(cè)試數(shù)據(jù)集中的樣本個(gè)數(shù)；yi為第i個(gè)測(cè)試數(shù)據(jù)的輸出；y＇ 第i個(gè)測(cè)試數(shù)據(jù)的模糊模型輸出，J值越小，泛化性能越好.

4.1.3 參數(shù)設(shè)置

1）對(duì)于L2-TSK-FS、TSFS-SVR、FS-FCSVM、MTCS-TSK-FS，采用與文獻(xiàn)[17]相同的實(shí)驗(yàn)設(shè)置.

2）對(duì)于MTFCM-MT-TSK-FS 模型，采用以下實(shí)驗(yàn)設(shè)置：a）模糊規(guī)則數(shù)量：對(duì)于合成數(shù)據(jù)集，在參數(shù)集{5,10,15,20,25,30} 內(nèi)設(shè)置單獨(dú)的和通用的模糊規(guī)則的數(shù)量.對(duì)于真實(shí)數(shù)據(jù)集，根據(jù)數(shù)據(jù)集的規(guī)模，分別在參數(shù)集{5,10,15,20,25,30} 和{2,3,4,5,6,7,8,9,10,11,12,13,14,15} 內(nèi)設(shè)置個(gè)體規(guī)則和公共模糊規(guī)則的數(shù)量.b）針對(duì)所提出的MTFCM 的設(shè)置，將模糊系數(shù)m設(shè)為2，閾值Θ設(shè)為0.95，MTFCM 中的λa，λb設(shè)置范圍為{2?6,2?5,···,25,26}；c）MTFCM-MT-TSK-FS 的正則化參數(shù)τ和參數(shù)λc，它們的取值范圍均為{2?6,2?5,···,25,26}.

4.2 合成數(shù)據(jù)實(shí)驗(yàn)結(jié)果與分析

4.2.1 合成數(shù)據(jù)集描述

為進(jìn)行公平地比較，采用文獻(xiàn)[17]中的4 種合成多任務(wù)數(shù)據(jù)集，這些數(shù)據(jù)集能夠模擬不同的多任務(wù)場(chǎng)景，具體如表2所述.

表2 4 種合成數(shù)據(jù)的詳細(xì)描述Table 2 Detailed descriptions and settings of four multi-task synthetic datasets

4.2.2 性能比較

本節(jié)采用5 種基于TSK 模型的相關(guān)模糊系統(tǒng)建模方法，對(duì)4 種不同的多任務(wù)數(shù)據(jù)集進(jìn)行了比較研究.這些方法的相應(yīng)結(jié)果示于表3和圖2中.該實(shí)驗(yàn)設(shè)計(jì)了兩個(gè)不同的比較方向：一是性能比較如表3所示，二是模糊規(guī)則數(shù)的比較如圖2所示.通過(guò)對(duì)表3和圖2的詳細(xì)分析，可得到如下結(jié)論：

表3 不同模糊系統(tǒng)在合成數(shù)據(jù)集上的泛化性能Table 3 Generalization performance of different fuzzy systems on synthetic datasets

圖2 各個(gè)模型在5 種合成數(shù)據(jù)集上得到的模糊規(guī)則數(shù)Figure 2 Numbers of fuzzy rules obtained by different methods on five synthetic datasets

1）在表3中，在不同的多任務(wù)場(chǎng)景中，MTFCM-MT-TSK-FS 的泛化性能明顯優(yōu)于L2-TSK-FS，TSFS-SVR 和FS-FCSVM 這3 種單任務(wù)TSK 模糊系統(tǒng)建模方法.結(jié)果表明，與3種單任務(wù)建模方法相比，所提出的MTFCM-MT-TSK-FS 模型可以有效地利用每個(gè)任務(wù)的私有信息和所有任務(wù)之間的公有信息，而單任務(wù)TSK 模糊系統(tǒng)建模方法僅可利用每個(gè)任務(wù)的私有信息.因此，提出的MTFCM-MT-TSK-FS 模型建模方法獲得了較之其他3種方法更好的泛化性能.

2）通過(guò)與兩種多任務(wù)TSK 模糊系統(tǒng)建模方法MT-TSK-FS 和MTCS-TSK-FS 比較，表3中的結(jié)果表明，所提的MTFCM-MT-TSK-FS 模型建模方法可以與現(xiàn)有的多任務(wù)模糊系統(tǒng)建模方法性能相當(dāng).結(jié)果進(jìn)一步表明，所提出的用于學(xué)習(xí)前件參數(shù)的多任務(wù)模糊c 均值聚類方法和用于學(xué)習(xí)后件參數(shù)的多任務(wù)協(xié)同學(xué)習(xí)后件優(yōu)化方法能夠提升多任務(wù)TSK模糊系統(tǒng)的泛化性能.

3）圖2中淺藍(lán)色的柱子表示由各方法構(gòu)成的模糊系統(tǒng)的規(guī)則總數(shù)，深藍(lán)色的柱子表示公有模糊規(guī)則的數(shù)量.紅線表示各方法構(gòu)成的模糊系統(tǒng)的模糊規(guī)則的平均數(shù).根據(jù)圖2中的結(jié)果，MTFCM-MT-TSK-FS 比其他方法擁有更少的模糊規(guī)則，間接地說(shuō)明本文提出的方法具有更好的可解釋性和更簡(jiǎn)潔的模型結(jié)構(gòu).

4.3 真實(shí)數(shù)據(jù)實(shí)驗(yàn)結(jié)果與分析

4.3.1 真實(shí)數(shù)據(jù)描述

為了進(jìn)一步評(píng)估所提出的MTFCM-MT-TSK-FS 方法在實(shí)際應(yīng)用中的性能，本節(jié)給出了5 個(gè)真實(shí)多任務(wù)建模問(wèn)題.這些數(shù)據(jù)集簡(jiǎn)要描述如下：1）谷氨酸發(fā)酵過(guò)程建模問(wèn)題[16-18]；2）聚合物測(cè)試工廠建模問(wèn)題[17]；3）葡萄酒偏好建模問(wèn)題[16-17,45]；4）混凝土坍落度建模問(wèn)題[17]；5）多值（MV）數(shù)據(jù)建模問(wèn)題[17].

4.3.2 性能比較

表4給出了6 個(gè)模型在5 個(gè)真實(shí)多任務(wù)回歸數(shù)據(jù)集上獲得的實(shí)驗(yàn)結(jié)果.圖3給出了各個(gè)方法在5 個(gè)真實(shí)數(shù)據(jù)集上的模糊規(guī)則數(shù).實(shí)驗(yàn)結(jié)果與合成數(shù)據(jù)類似，結(jié)果進(jìn)一步表明，所提的MTFCM-MT-TSK-FS 模型建模方法比單任務(wù)TSK 模糊系統(tǒng)建模方法具有更好的泛化性能.此外，圖3也進(jìn)一步說(shuō)明了MTFCM-MT-TSK-FS 模型再保持泛化性能的同時(shí)具有更少的模糊規(guī)則數(shù).總體而言，基于真實(shí)數(shù)據(jù)的應(yīng)用結(jié)果表明，所提出的MTFCM-MT-TSK-FS 模型建模方法在泛化性能和可解釋性兩個(gè)方面均優(yōu)于現(xiàn)有的單任務(wù)或多任務(wù)TSK 模糊系統(tǒng)[16-17].

表4 不同TSK 的模糊系統(tǒng)在真實(shí)多任務(wù)數(shù)據(jù)集上的泛化性能Table 4 Generalization performance of different TSK-based fuzzy systems on real-world multitask datasets

圖3 各個(gè)方法在5 個(gè)真實(shí)數(shù)據(jù)集上的模糊規(guī)則數(shù)Figure 3 Numbers of fuzzy rules of different methods on five real-world datasets

5 結(jié) 語(yǔ)

本文旨在提出一種多任務(wù)聚類機(jī)制用于優(yōu)化多任務(wù)TSK 模糊系統(tǒng)的前件參數(shù)，以及一種具備多任務(wù)協(xié)同學(xué)習(xí)能力的后件參數(shù)學(xué)習(xí)方法用于優(yōu)化多任務(wù)TSK 模糊系統(tǒng)的后件參數(shù).實(shí)驗(yàn)結(jié)果表明，所提出的MTFCM-MT-TSK-FS 模型建模方法在泛化性能和可解釋性兩個(gè)方面均優(yōu)于現(xiàn)有的單任務(wù)或多任務(wù)TSK 模糊系統(tǒng).盡管所提出的MTFCM-MT-TSK-FS 模型建模方法有諸多優(yōu)勢(shì)，但該模型仍有進(jìn)一步研究的空間.具體地，MTFCM-MT-TSK-FS 模型建模方法擁有多個(gè)需人工預(yù)設(shè)的參數(shù)，如模糊指標(biāo)和正則化參數(shù)，這將導(dǎo)致獲取模型最優(yōu)性能的計(jì)算代價(jià)過(guò)高.在本研究中，我們使用五重交叉驗(yàn)證的策略來(lái)確定這些預(yù)設(shè)參數(shù)，這需要耗費(fèi)大量的時(shí)間成本.理論上，進(jìn)化學(xué)習(xí)技術(shù)可以解決這一問(wèn)題.然而，使用這些技術(shù)進(jìn)行參數(shù)調(diào)優(yōu)也面臨一些挑戰(zhàn)，如計(jì)算復(fù)雜度高、隨機(jī)性強(qiáng).今后我們將在此問(wèn)題上開展更深入的研究工作.