劉歡,王駿,鄧趙紅,王士同
(江南大學 數字媒體學院,江蘇 無錫 214122)
?
堆疊隱空間模糊C回歸算法及其在發(fā)酵數據多模型建模中的應用
劉歡,王駿,鄧趙紅,王士同
(江南大學 數字媒體學院,江蘇 無錫 214122)
切換回歸算法FCR的性能容易受到噪聲點以及離群點的影響,同時該算法對于復雜數據的處理能力較差。對此,文中提出一種基于堆疊隱空間的模糊C回歸算法。該算法將基于ELM特征映射技術,利用主成分分析進行特征提取,再結合多層前饋神經網絡學習結構對隱空間進行多次擴展和壓縮。實驗結果表明,該算法具有更好的抗噪性能,對模糊指數的變化不敏感,同時在處理復雜數據以及在多模型建模中更加精確、高效、穩(wěn)定。
隱空間映射;極限學習機;主成分分析;模糊C回歸算法;多層神經網絡;多模型建模
切換回歸模型在經濟、數據挖掘等領域中有著廣泛的應用。近年來,基于模糊聚類分析[1-4]的切換回歸技術得到了廣泛的研究。如文獻[5]在模糊C均值聚類算法(fuzzy C clustering algorithm, FCM)的基礎上提出了模糊C均值回歸算法(fuzzy C regression algorithm, FCR)算法,從而實現了對多個模型的切換回歸;在此基礎上,文獻[6]結合牛頓萬有引力定律提出了關于切換回歸的集成模糊聚類算法(gravity-based fuzzy clustering algorithm, GFC)算法,文中實驗表明該算法與FCR相比具有更快的收斂速度;文獻[7]通過向FCR中引入動態(tài)的樣本權值,提出了離群模糊切換回歸模型,從而使模型具有更強的魯棒性,并且能通過權值發(fā)現數據集中的離群點。雖然這些方法在一定條件下可以較好地解決切換回歸模型中的參數學習問題,但是面向現實生活中的復雜數據,仍然有諸多局限性,其學習能力有待進一步提高。
近年來,以極速學習機(extreme learning machine,ELM)為代表的單隱層前饋神經網絡快速學習理論得到了研究人員的深入研究[8-11]。研究表明,將ELM特征映射技術代替已有核方法中的核映射,可以有效提高學習器的學習能力,目前該技術已被廣泛用于分類、回歸、聚類等學習任務中。結合已有的研究工作,本文重點研究基于ELM隱空間學習理論的切換回歸模型。首先研究基于主成分分析(principal component analysis, PCA)[12]的壓縮隱空間構建新方法。在此基礎上,結合多層神經網絡學習方法,將單隱層結構改造為多隱層結構[13],提出堆疊隱空間模糊C回歸算法(cascaded hidden space FCR, CHS-FCR)。該方法通過使用層次化的學習結構對數據對象在不同層次上的表達形式進行抽象,并通過重組低層概念來重新定義高層概念,從而有效提高了學習系統(tǒng)處理復雜問題的能力。經實驗驗證,該算法能有效地彌補經典FCR的若干不足,在保證學習精度和學習效率的前提下,該方法對噪聲數據和離群點有很好的魯棒性。
1.1 ELM隱空間
在ELM中,隱節(jié)點所形成的特征空間構成隱空間[14]。其映射過程如下:1)隨機生成權重矩陣W∈RL×d和偏移量矩陣B=[b1b2…bL]T,其中L是ELM隱節(jié)點總數,d是原始數據的維數。2)將原始數據映射到L維的隱空間中。每一個輸入數據都是一個d維的向量,x=[x1x2…xd]T。該特征映射可以表示為:
式中G(x)是激勵函數,其映射過程如圖1所示。
圖1 隱空間特征映射的過程
常用的激勵函數有以下幾種:
1.2 模糊C回歸算法及其問題分析
1993年Richard J.Hathaway[5]和James C.Bezdek[15]提出了FCR算法。該算法能在對觀察數據進行模糊劃分的同時估計出劃分數據滿足的回歸模型參數。設數據集D={(x1,y1),(x2,y2),…,(xn,yn)},其中n是數據點個數,xj=(xj1,xj2,…,xjd)∈Rd,yj∈R表示觀察數據模型,d是數據集的特征數。FCR算法構建的回歸模型為
yj,i=βi0+βi1xj1+…+βidxjd
式中:c是模型數目,j是樣本點個數,βi為模型參數。FCR算法的目標函數為
FCR的目標函數是一個基于模糊劃分的多模型最小二乘擬合準則問題,任何現有的能解決加權最小二乘問題的方法都可以用來估計參數。模型參數可以通過式(8)求解:
1)給定模型參數c(1≤c≤n),模糊指數m>1,迭代終止條件ε>0,并初始化劃分矩陣U(0),迭代步驟l=0;
3)根據(yj-yj,i)2計算擬合誤差,代入式(7)求隸屬度矩陣U;
研究表明,FCR可以較好地解決切換回歸問題,但是也存在以下問題:對噪聲和離群點敏感,當數據集中含有離群點或大量噪聲數據時,算法性能就會受到影響;FCR算法在數據原空間中進行學習,針對現實生活中的復雜數據,FCR算法的性能很難得到有效地提升。
本文將ELM隱空間學習理論與特征降維技術相結合,基于多隱層神經網絡學習方法,將傳統(tǒng)的基于淺層結構的學習方法改造為多隱層學習結構,從而提高對復雜數據的無監(jiān)督學習能力。通過提出堆疊隱空間學習結構,從而有效精簡冗余信息和過濾噪聲數據,同時補充必要的信息,使得切換回歸算法具有更強的魯棒性,并將其應用于多模型建模以取得更好的效果。
2.1 基于主成分分析的壓縮ELM隱空間
在ELM學習技術中,可以通過隨機賦值的方法來快速生成ELM隱空間,隨著隱節(jié)點數目的增加,學習精度也不斷提高[16-17]。但是隨之而來的一個重要問題是計算效率會逐步降低。此外,由于隱節(jié)點生成過程中相關參數是隨機生成的,因此不可避免地會引入大量噪聲。針對這一問題,本文中將ELM隱空間技術與主成分分析相結合,提出基于主成分分析的壓縮隱空間構建方法,其過程如下:
1)根據圖1所示過程將原始數據映射到高維空間RL中,得到矩陣H(1)∈Rn×L,n為樣本點個數;
3)計算矩陣A的協方差矩陣C,并計算矩陣C的特征值λi和特征向量Vi,i=1,2,…,L;
其結構可映射為如圖2所示的前饋神經網絡模型。輸入數據經過輸入層后,通過ELM特征映射被映射到高維ELM隱空間中。在此過程中,生成ELM隱空間時的隨機賦值操作會引入噪聲,后續(xù)的PCA對高維隱空間中的數據進行降維,從而有效地過濾掉部分噪聲,這有利于提高學習性能。
圖2 基于PCA的壓縮ELM隱空間
2.2 堆疊隱空間模糊C回歸算法CHS-FCR
在隱空間構建過程中,為了使學習器得到更好的表達能力和穩(wěn)定的學習效果,通常會使用較多的隱節(jié)點數目。但是,這增加了額外的計算負擔。研究表明,在保證學習器泛化能力的前提下,將單隱層結構改造為多隱層結構是降低隱節(jié)點數目的有效方法。為此,本文對上述基于PCA的壓縮隱空間映射過程進行改造,通過把ELM隱層中的隱節(jié)點分散到多個隱含層中,并與PCA層的隱結點相結合,形成新的混合隱含層。將若干個混合隱含層進行疊加,得到多隱層學習結構,該過程如圖3所示。
圖3 堆疊隱空間學習結構
堆疊隱空間模糊C回歸算法CHS-FCR的描述如下:
設隱節(jié)點總數為L,數據集D的維數為d,PCA壓縮后的維數為p,隱空間壓縮的次數為f,每層隱空間的ELM隱節(jié)點數T=L/f,n為樣本點個數。
1)① 隨機生成值在[0,1]之間的權重矩陣W∈RT×d以及值在[0.5,1]之間的偏移量矩陣B∈RT×1。
②根據式(1)以及圖1將數據集D進行特征映射,得到高維數據矩陣H(1)∈Rn×T。
2)利用基于PCA的壓縮隱空間方法對H(1)進行壓縮,得到維數為p的數據矩陣H(2);
3)forj=1:f-1
①重復步驟1中1)、2);
②將H(2)與H(1)合并存入矩陣H(3)中,H(3)=[H(2)H(1)]。
③利用PCA對H(3)進行特征提取,得到矩陣記為H(2);
循環(huán)結束;
4)構造全一矩陣1∈Rn×1,將最終獲取的數據H(2)=[1,H(2)]利用FCR框架進行切換回歸。
CHS-FCR算法將基于PCA的壓縮ELM隱空間單隱層學習結構改造為多隱層學習結構。假設從第二層開始,每個隱含層中隨機生成的ELM隱節(jié)點數都是T,由前一層PCA壓縮后得到的隱節(jié)點數為T′,易得隱節(jié)點總數為
其中隨機生成的ELM隱節(jié)點總數為
經過多次隱空間壓縮,噪聲信息被過濾,同時會發(fā)生相應的信息損失;但是每個混合層中新生成的ELM隱節(jié)點信息彌補了這些丟失的信息,因此本文的堆疊隱空間結構能得到更好的學習效果。
3.1 實驗平臺以及算法性能的評價指標
本文在表1中實驗平臺上進行所有實驗并且采用式(13)和(14)所示的指標來評價各算法的性能。
(13)
表1 實驗平臺
3.2 魯棒性實驗
本實驗中,基于文獻[5]的模擬回歸數據集,通過分別加入噪聲點和離群點來比較FCR以及CHS-FCR算法的魯棒性。實驗中,FCR算法和CHS-FCR算法的模型個數c=2,模糊指數m=2,CHS-FCR隱空間壓縮次數f=5,PCA特征提取后的維數p=3。
3.2.1 離群點實驗
在切換回歸分析中,離群點主要是指不符合任一模型的數據,它主要是在收集數據的過程中出現誤操作或異常情況而引入的。本實驗中基于式(15)和(16)生成2個回歸數據集,并分別加入離群點(16,8)。實驗數據集分布如圖4所示。
圖5和圖6給出了加入離群點之前模糊C均值回歸算法(fuzzy C regression algorithm, FCR)和堆疊隱空間模糊C回歸算法(cascaded hidden space FCR, CHS-FCR)的回歸結果,圖7和圖8給出了加入離群點之后兩算法的回歸結果。從中可以看出,加入離群點之前,FCR和CHS-FCR這2個算法均可以得到理想的結果。加入離群點之后,FCR的擬合效果明顯受到離群點的影響;但是CHS-FCR仍然能得到令人滿意的擬合結果。可見,壓縮隱空間方法的引入使本文所提的CHS-FCR算法對離群點具有更好的魯棒性。
(a)數據集A
(b)數據集B
(a)數據集A
(b)數據集B
(a)數據集A
(b)數據集B
(a)數據集A
(b)數據集B
(a)數據集A
(b)數據集B
3.2.2 抗噪聲實驗
為了進一步驗證本文算法的抗噪性能并將其與FCR進行比較,本實驗采用式(17)生成帶隨機噪聲的數據集。
式中δ∈[-0.5,0.5]為服從均勻分布的隨機值。分別運行FCR和CHS-FCR,所得結果如圖9所示。從圖9的模擬實驗結果中可以看出,在模擬數據集C中,FCR算法易受噪聲點的影響,無法得到準確的實驗結果。相反,CHS-FCR算法在該數據集中能夠取得較好的擬合效果。
(a)加入噪聲的數據集C
(b)FCR測試結果
(c)CHS-FCR測試結果
綜合以上2個實驗不難發(fā)現,傳統(tǒng)的FCR算法性能易受離群點和噪聲數據的干擾,而CHS-FCR算法利用多次隱空間映射和壓縮,使得隱空間中的冗余信息被精簡,噪聲被有效過濾,同時每一層中進行了適度的信息彌補,這使得該算法在不同回歸模型中均能很好地完成學習過程。
3.3 發(fā)酵數據集多模型建模
式中:j=1,2,…,c;dit=‖vi-h(xt)‖2。
本文使用參考文獻[18]中所用的發(fā)酵數據集并且采用10折交叉驗證的方法進行實驗。將CHS-FCR (f=5)算法和FCR、HS-FCR、CHS-FCR (f=1)算法進行比較。實驗中,對于不同的數據集,采用不同的模糊指數m和模型個數c,并且讓各算法都在同樣的參數條件下運行。表2給出各數據集的詳細信息及該數據集在實驗中的相關參數設置,表3給出各算法說明及相關參數設置。
表2 實驗數據集
3.3.1 算法的擬合性能對比實驗
本實驗從擬合精度出發(fā)來研究CHS-FCR(f=5)、CHS-FCR (f=1)與FCR以及HS-FCR在表2所示中的發(fā)酵數據集上的多模型建模效果。實驗中,分別運行各算法10次,得到JRRSE、JSCC這2個指標的均值和標準差如表4所示。
表3 各算法的說明以及相關參數設置
Table 3 The description of each algorithms and associated parameters
算法算法說明以及相關參數FCR最大迭代次數100次,收斂閾值10-5。HS-FCR通過ELM特征映射后進行執(zhí)行FCR算法,ELM隱節(jié)點總數1000,激勵函數Sigmoid,最大迭代次數100次,收斂閾值10-5。CHS-FCR(f=1)通過ELM特征映射后利用PCA進行1次隱空間壓縮后執(zhí)行FCR算法,ELM隱節(jié)點總數1000,PCA提取的特征數為5,最大迭代次數100次,收斂閾值10-5。CHS-FCR(f=5)通過ELM特征映射后利用PCA進行5次隱空間壓縮后執(zhí)行FCR算法,ELM隱節(jié)點總數1000,PCA提取的特征數為5,最大迭代次數100次,收斂閾值10-5。
從表4的實驗結果可以發(fā)現,在發(fā)酵數據集中 CHS-FCR(f=5)與FCR和HS-FCR這2個算法相比擁有更好的學習效果。將CHS-FCR(f=5)與CHS-FCR(f=1)進行比較,不難發(fā)現,將ELM隱節(jié)點分散到多個混合隱含層中,經過多次隱空間壓縮,有助于進一步提高算法的學習精度和算法的穩(wěn)定性。
表4 各算法在不同數據集中的擬合精度對比
3.3.2 算法效率對比實驗
本實驗研究在相同ELM隱節(jié)點總數的前提下,淺層學習結構和多層學習結構對算法效率的影響。實驗中分別執(zhí)行CHS-FCR(f=5)與HS-FCR算法,并為2個算法設置相同的ELM隱節(jié)點總數目為500、1 000。分別使2個算法各運行10次,記錄JRRSE、JSCC以及算法運行時間這3個指標的均值如表5所示。由表5中的HS-FCR的運行結果可以看出,通過ELM映射將原數據經映射到高維ELM隱空間使得隱節(jié)點總數增加,后續(xù)學習過程的效率明顯降低。而本文所提出的CHS-FCR (f=5)中,雖然涉及了多次隱空間映射和壓縮,但是在隱空間壓縮過程中,冗余信息被有效精簡,這使得CHS-FCR(f=5)算法能夠在高效處理復雜數據的同時具有更好的擬合效果。由此可見,相同ELM隱節(jié)點總數的情況下,本文提出的具有多層學習結構堆疊隱空間構造技術可以使后續(xù)的回歸算法取得更好的學習效果。
表5 CHS-FCR(f=5)與HS-FCR算法的效率對比
3.3.3 參數敏感性實驗
在CHS-FCR(f=5)和FCR算法中,模糊指數m是一個重要指標,它嚴重影響著算法的執(zhí)行效果?;诒?中的各數據集,本實驗將研究模糊指數m的變化對算法性能產生的影響。給出了JRRSE、JSCC指標的變化情況,實驗中,m值在{2,2.2,2.4,2.6,2.8,3.0,3.2,3.4,3.6,3.8,4.0}上變化,算法的其他參數如表3所示,2個算法分別運行10次。記錄JRRSE和JSCC指標的均值,實驗結果如圖10、11所示。
(a)FCR
(b)CHS-FCR(f=5)
從圖10、11結果中可以看出FCR算法的性能在4個數據集中隨著m的變化有著較大的波動。例如在圖11(a)中,當m=3.2時FCR算法的JRRSE指標會出現明顯的波動現象,而圖11(b)中的CHS-FCR(f=5)算法無論其m值怎樣變化,其JRRSE指標基本呈現平穩(wěn)變化的趨勢。由此可見,雖然模糊指數m在較為寬廣的范圍內變化,但是CHS-FCR(f=5)在各數據集上均可以取得令人滿意且較穩(wěn)定的結果。
(a)FCR
(b)CHS-FCR(f=5)
綜上所述,經過堆疊隱空間的壓縮與重組,CHS-FCR(f=5)算法對模糊指數m的變化具有更好的魯棒性,這有利于用戶在實際應用中更方便地選取模糊指數。
本文基于主成分分析和ELM映射技術將復雜數據映射到低維空間中,并結合多層神經網絡學習方法將單隱層結構改造為多隱層結構;在此基礎上提出堆疊隱空間模糊C回歸算法CHS-FCR。通過在模擬以及發(fā)酵數據集的實驗結果,均表明本文方法較其他相關算法有更好的魯棒性且能夠高效地處理復雜數據,可以有效地應用于發(fā)酵數據集多模型建模工作中。當前,隨著回歸模型算法研究的不斷深入,人們已經基于不同理論提出了更先進的回歸技術。如何將本文所提的堆疊隱空間技術應用于這些回歸算法中,這將是今后研究的重點。
[1]王駿, 王士同, 鄧趙紅. 聚類分析研究中的若干問題[J]. 控制與決策, 2012, 27(3): 321-328. WANG Jun, WANG Shitong, DENG Zhaohong. Survey on challenges in clustering analysis research[J]. Control and decision, 2012, 27(3): 321-328.
[2]蔣亦樟, 鄧趙紅, 王駿, 等. 熵加權多視角協同劃分模糊聚類算法[J]. 軟件學報, 2014, 25(10): 2293-2311. JIANG Yizhang, DENG Zhaohong, WANG Jun, et al. Collaborative partition multi-view fuzzy clustering algorithm using entropy weighting[J]. Journal of software, 2014, 25(10): 2293-2311.
[3]張敏, 于劍. 基于劃分的模糊聚類算法[J]. 軟件學報, 2004, 15(6): 858-868. ZHANG Min, YU Jian. Fuzzy partitional clustering algorithms[J]. Journal of software, 2004, 15(6): 858-868.
[4]秦蓓蓓. 基于聚類分析的魯棒自適應切換回歸算法研究[D]. 上海: 上海交通大學, 2012: 14-39. QIN Beibei. Research on the robust and adaptive switching C-regressions models based on cluster analysis[D]. Shanghai: Shanghai Jiao Tong University, 2012: 14-39.
[5]HATHAWAY R J, BEZDEK J C. Switching regression models and fuzzy clustering[J]. IEEE transactions on fuzzy systems, 1993, 1(3): 195-204.
[6]WANG Shitong, JIANG Haifeng, LU Hongjun. A new integrated clustering algorithm GFC and switching regressions[J]. International journal of pattern recognition and artificial intelligence, 2002, 16(4): 433-446.
[7]沈紅斌, 王士同, 吳小俊. 離群模糊切換回歸模型研究[J]. 華東船舶工業(yè)學院學報: 自然科學版, 2003, 17(3): 31-36. SHEN Hongbin, WANG Shitong, WU Xiaojun. Research on fuzzy switching regression models with outliers[J]. Journal of east China shipbuilding institute: natural science edition, 2003, 17(3): 31-36.
[8]WANG Shitong, CHUNG Fulai, WANG Jun, et al. A fast learning method for feedforward neural networks[J]. Neurocomputing, 2015, 149: 295-307.
[9]HUANG Guangbin, ZHU Qinyu, SIEW C K. Extreme learning machine: theory and applications[J]. Neurocomputing, 2006, 70(1/2/3): 489-501.
[10]HUANG Guangbin, ZHOU Hongming, DING Xiaojian, et al. Extreme learning machine for regression and multiclass classification[J]. IEEE transactions on systems, man, and cybernetics, part b (cybernetics), 2012, 42(2): 513-529.
[11]HUANG Guangbin, WANG Dianhui, LAN Yuan. Extreme learning machines: a survey[J]. International journal of machine learning and cybernetics, 2011, 2(2): 107-122.
[12]JOLLIFFE I T. Principal component analysis[J]. New York: Springer, 2002.
[13]ZHOU Hongming, HUANG Guangbin, LIN Zhiping, et al. Stacked extreme learning machines[J]. IEEE transactions on cybernetics, 2014, 45(9): 2013-2025.
[14]HE Qing, JIN Xin, DU Changying, et al. Clustering in extreme learning machine feature space[J]. Neurocomputing, 2014, 128: 88-95.
[15]BEZDEK J C. Pattern recognition with fuzzy objective function algorithms[M]. New York: Plenum Press, 1981: 203-239.
[16]HUANG Guangbin, CHEN Lei. Convex incremental extreme learning machine[J]. Neurocomputing, 2007, 70(16/17/18): 3056-3062.
[17]HUANG Guangbin, CHEN Lei. Enhanced random search based incremental extreme learning machine[J]. Neurocomputing, 2008, 71(16/17/18): 3460-3468.
[18]DENG Zhaohong, CHOI K S, CHUNG Fulai, et al. Enhanced soft subspace clustering integrating within-cluster and between-cluster information[J]. Pattern recognition, 2010, 43(3): 767-781. .
劉歡,男,1993年生,碩士研究生,主要研究方向為人工智能與模式識別、智能計算、數據挖掘。
王駿,男,1978年生,副教授,博士,CCF會員,主要研究方向為人工智能與模式識別、智能計算、數據挖掘。
鄧趙紅,男,1981年生,教授,博士,CCF高級會員,主要研究方向為人工智能與模式識別、智能計算、系統(tǒng)建模。
2017第二屆IEEE云計算與大數據分析國際會議
2017 the 2nd IEEE International Conference on Cloud Computing and Big Data Analysis
云計算和大數據是近年來非常熱的話題,也是近年來非常重要的技術。隨著大數據時代來臨,在以云計算為代表的技術創(chuàng)新大幕的襯托下,它將在眾多領域掀起變革的巨浪,大數據會逐步為人類創(chuàng)造更多的價值。與此同時,中央和國家今年也在力推“互聯網+”以及大數據戰(zhàn)略,以及在十三五規(guī)劃中強調的創(chuàng)新驅動,均離不開當前信息技術中的云計算和大數據。
就目前國際國內對云計算和大數據發(fā)展趨勢來看,加大對云計算和大數據的技術層面的理解,加深對云計算和大數據在推動社會發(fā)展的層面的理解,以及增強各個研究和應用領域之間的交流顯得尤為重要。
為此,將于2017年4月在中國成都聯合展開為期3天的第二屆IEEE云計算與大數據分析國際會議。會議旨在促進云計算與大數據分析等領域的學術交流與合作,熱忱歡迎從事相關技術研究的專家、學者和專業(yè)技術人員踴躍投稿并參加大會。
會議網站:http://www.icccbd.com/
A cascaded hidden space fuzzy C-regression algorithm and its application in multi-model modeling for the fermentation process
LIU Huan, WANG Jun, DENG Zhaohong, WANG Shitong
(School of Digital Media, JiangNan University, WuXi 214122, China)
The switching regression algorithm FCR is sensitive to noise data and outliers. The algorithm also has low levels of capability for dealing with complex data. In order to handle these problems, an improved fuzzy C-regression algorithm is proposed based on cascaded hidden space. In our method, principal component analysis is combined with extreme machine learning feature mapping and multilayer feedforward neural networks. The experimental results show that our proposed method is more stable as regards noise data and outliers, and thus more suitable for handling complex data and multi-model modeling problems for the fermentation process.
hidden space feature mapping; extreme learning machine; principal component analysis; fuzzy C-regression algorithm; multilayer neural network; multi-model modeling.
2015-08-14.
日期:2016-08-24.
國家自然科學基金項目(61300151); 江蘇省自然科學基金項目(BK20130155,BK20130160).
劉歡.E-mail:771627297@qq.com.
TP181
A
1673-4785(2016)05-0670-10
10.11992/tis.201508015
http://www.cnki.net/kcms/detail/23.1538.TP.20160824.0928.002.html
劉歡,王駿,鄧趙紅,等.堆疊隱空間模糊C回歸算法及其在發(fā)酵數據多模型建模中的應用[J]. 智能系統(tǒng)學報, 2016, 11(5): 670-679.
英文引用格式:LIU Huan, WANG Jun, DENG Zhaohong, et al. A cascaded hidden space fuzzy C-regression algorithm and its application in multi-model modeling for the fermentation process [J]. CAAI transactions on intelligent systems, 2016,11(5): 670-679.