樣本線性化與數(shù)據(jù)去重的極限學習機

張燦　代子彪　安鑫　李建華

摘 要： 對于多標簽分類中存在非線性的數(shù)據(jù)樣本和重復的樣本數(shù)據(jù)問題，本文提出了一種基于在線順序極限學習機（Online Sequential Extreme Learning Machine， OS-ELM）的改進算法—樣本線性化和數(shù)據(jù)預處理極限學習機（PDC-ELM）。PDC-ELM算法對線性不可分的數(shù)據(jù)樣本先利用核函數(shù)進行處理，使數(shù)據(jù)樣本具有線性可分的特征，對于處理后的數(shù)據(jù)樣本，利用在線順序極限學習機（OS-ELM）在計算之前對分類數(shù)據(jù)進行預處理，即從訓練和測試數(shù)據(jù)集中查找不一樣的特征標簽并保存類標簽中，實驗中新生成的標簽組將不具有重復的特征標簽，大大減少了訓練的對比次數(shù)。實驗表明，相比于其他沒有樣本線性化和數(shù)據(jù)預處理的極限學習機模型，計算的準確度得到很大的提升，計算時間也有所降低。

關(guān)鍵詞： 極限學習機; 核函數(shù); 多標簽分類; 多標簽數(shù)據(jù); 支持向量機

文章編號： 2095-2163（2021）07-0024-08中圖分類號：TP181文獻標志碼： A

Extreme learning machine for sample linearization and data deduplication

ZHANG Can， DAI Zibiao， AN Xin， LI Jianhua

（School of Computer Science and Information Engineering， Hefei University of Technology， Hefei 230009， China）

【Abstract】For the problem of nonlinear data samples and duplicate data in multi-label classification， this paper proposes an improved algorithm based on Online Sequential Extreme Learning Machine （OS-ELM） for sample linearization and data preprocessing extreme learning machine （PDC-ELM）.The PDC-ELM algorithm first uses the kernel function to process the linearly inseparable data samples， so that the data samples have linearly separable characteristics.For the processed data samples， the Online Sequential Extreme Learning Machine （OS-ELM） is used to preprocess the classified data before calculation.That is， different feature labels from the training and test data sets are searched and saved in the class labels，the newly generated label group in the experiment will not have repeated feature labels， which greatly reduces the number of training comparisons.? Experimental results show that compared with other extreme learning machine models without sample linearization and data preprocessing， the calculation accuracy is significantly improved and the calculation time is also reduced.

【Key words】extreme learning machine; kernel function; multi-label classification; multi-label data; support vector machine

0 引 言

極限學習機是Huang提出的一種訓練單隱層前饋神經(jīng)網(wǎng)絡(luò)[1]的新型機器學習算法。在過去的20多年里，很多學者[2-5]已對單隱層前饋神經(jīng)網(wǎng)絡(luò)展開深入研究。單隱層前饋神經(jīng)網(wǎng)絡(luò)有2種主要架構(gòu)。一種是帶有加性隱藏節(jié)點的架構(gòu)，另一種是帶有徑向基函數(shù)隱藏節(jié)點的架構(gòu)。對于使用單隱層前饋神經(jīng)網(wǎng)絡(luò)的許多應(yīng)用程序來說，訓練方法通常是批處理學習類型的。多數(shù)情況下，批處理學習是一個耗時的事情，因為其中可能涉及到對訓練數(shù)據(jù)的多次迭代。在大多數(shù)應(yīng)用程序中，這可能需要幾分鐘到幾個小時，并且必須正確地選擇學習參數(shù)，以確保收斂。此外，每當接收到新數(shù)據(jù)時，批處理學習都會將歷史數(shù)據(jù)和新數(shù)據(jù)一起使用，并進行再訓練，因此會消耗大量時間。在許多工業(yè)應(yīng)用中，在線順序?qū)W習算法比批處理學習算法更受歡迎，因為順序?qū)W習算法在接收新數(shù)據(jù)時不需要再訓練。

與此同時，許多研究者將經(jīng)典的極限學習機擴展到核學習，證明了極限學習機不僅適用于Sigmoid網(wǎng)絡(luò)和RBF網(wǎng)絡(luò)[6]等經(jīng)典的特征映射，還適用于多種類型的特征映射。在對類別分布不平衡的數(shù)據(jù)進行分類時，Priya等人[7-8]提出了一種統(tǒng)一的加權(quán)極限學習機方法（weighted ELM）來處理復雜的數(shù)據(jù)分布，即在其中對每個樣本點額外賦予一個權(quán)重。然而，上文論述的極限學習機方法并沒有將樣本線性化和數(shù)據(jù)預處理數(shù)據(jù)添加到操作中。

極限學習機算法在泛化性能上也有較高的效率和精度[9]。在線順序極限學習機[10-12]（OS-ELM）算法是基于極限學習機框架的在線學習版本。在線順序極限學習機不僅可以逐個地學習訓練數(shù)據(jù)，而且可以逐塊地學習，丟棄已經(jīng)訓練過的數(shù)據(jù)。在以下意義上，這就是一個通用的順序?qū)W習算法。將訓練觀察結(jié)果按順序，逐個地或塊接塊，呈現(xiàn)給學習算法。在任何時候，只有新到達的單個或大塊的觀察，而不是整個過去的數(shù)據(jù)被看到和學習。一旦某一特定、單個或組塊，觀察的學習過程結(jié)束，就丟棄單個或一組訓練觀察。在線順序極限學習機起源于批量學習極限學習機[13-16]，為具有加性和徑向基函數(shù)節(jié)點的單隱層前饋神經(jīng)網(wǎng)絡(luò)開發(fā)。在函數(shù)回歸和分類領(lǐng)域的一些基準問題上對極限學習機的性能進行了評估。結(jié)果表明，與其他基于梯度下降的學習算法（包括反向傳播 [17-18]算法）相比，極限學習機在更高的學習速度下提供了更好的泛化性能，許多應(yīng)用的學習階段在秒內(nèi)即可完成[19]。

需要一提的是，確定標簽子集時，在線順序極限學習機卻忽略了樣本的特征。一方面，由標簽子集轉(zhuǎn)換而來的類可能具有較低的可分離性;另一方面，一些標簽組合會導致分布高度不平衡[20]，導致現(xiàn)有的單標簽學習算法難以應(yīng)用。這對這些不足，需要解決2個問題：

（1）如何挖掘樣本特征，設(shè)計有效的指標來評價標簽子集的質(zhì)量。

（2）如何基于質(zhì)量度量從大量候選子集中實現(xiàn)快速選擇。

針對問題（1），研究中采用基于線性判別比的測度來評價主標簽類的可分性，再使用聯(lián)合熵來描述數(shù)據(jù)的不平衡程度。由于核技術(shù)在特征空間中更容易分析可分性，因此可采用核支持向量機（kernel support vector machine， SVM）作為基礎(chǔ)學習器[21-22]。對于問題（2），應(yīng)在極限學習機中預先從訓練和測試數(shù)據(jù)集中查找不同的標簽并保存類標簽中，如此一來，在時間和效率上都得到了很大的提升。

極限學習機算法在單標簽分類[23]中表現(xiàn)出更優(yōu)異的性能?；跇O限學習機算法的多標簽分類[24-25]研究相對較少。針對多標簽分類問題，Sun等人[25]提出了一種基于閾值法的極限學習機算法。此外，文獻[7]也提出了一種多標簽分類的核極限學習機算法。然而，現(xiàn)有的基于極限學習機的多標簽分類方法并沒有考慮到樣本線性化和樣本數(shù)據(jù)預處理。本文中介紹了一種新的基于在線順序極限學習機來處理多標簽分類問題的改進算法，即樣本線性化和數(shù)據(jù)預處理極限學習機（PDC-ELM）。本文對多標簽分類方案的主要貢獻如下：

（1）針對線性不可分的數(shù)據(jù)樣本，先采用核函數(shù)進行處理，使之線性可分。

（2）對于處理后的數(shù)據(jù)樣本，為了減少計算量，預先從訓練數(shù)據(jù)集和測試數(shù)據(jù)集中查找不一樣的標簽并保存類標簽中。

（3）將多標簽分類問題分解為單獨的單標簽分類問題，就是將多標簽問題轉(zhuǎn)化為一組單標簽問題。

（4）在極限學習機算法中，輸出權(quán)值由最小二乘法確定。

本文組織如下：首先，介紹了相關(guān)背景工作，包括多標簽分類和極限學習機的探討。其次，研究相關(guān)工作有在線順序極限學習機與核函數(shù)。然后，詳細分析了PDC-ELM相關(guān)操作與處理，包括動機、優(yōu)化的預處理、算法分析和處理過程。接下來，給出了實驗相關(guān)數(shù)據(jù)和比較結(jié)果。最后，是本文的結(jié)論部分。

1 背景

1.1 多標簽分類

傳統(tǒng)的監(jiān)督學習是著名的機器學習范式之一，其中每個例子由一個實例和一個標簽組成。 然而，在多標簽應(yīng)用程序中，每個例子也由一個單獨的實例表示，同時與一組標簽相關(guān)聯(lián)，多標簽問題更符合現(xiàn)實世界的應(yīng)用，同時也給監(jiān)督學習領(lǐng)域帶來了挑戰(zhàn)[26]。

多標簽分類的目的是將一個實例x∈Rd映射到標簽集YL={1，2，…，k}，其中k是類的數(shù)量。多標簽分類的任務(wù)是根據(jù)訓練集D={（xi，yi）|i=1，2，…，n}構(gòu)造一個函數(shù)f（·）： f（X）→Y。對于任何看不見的實例x∈X，多標簽分類器f（·）將f（x）y預測為x的正確標簽集。

1.2 極限學習機

一般情況下，給定一個由N個任意不同樣本組成的訓練集個隱節(jié)點的單隱層前饋網(wǎng)絡(luò)函數(shù)可以表示為：

其中，aj和bj表示隨機確定的學習參數(shù);βj表示輸出權(quán)重矩陣連接第j個隱藏輸出節(jié)點;xi和ti分別是第i個觀測的特征和輸出;G（aj，bj，cj）是一個滿足極限學習機通用逼近能力定理的非線性分段連續(xù)函數(shù)。

2 在線順序極限學習機

在初始階段，假設(shè)有N0個任意的訓練樣本（Xi，ti），其中Xi=xi1，xi2，…，ximT∈Rn， ti=ti1，ti2，…，timT∈Rm。利用基本的極限學習機算法的思想，希望求得滿足‖H0β-T0‖最小的β0，運算時需用到：

此時，根據(jù)廣義逆的計算方法，可以計算出β0。

3 PDC-ELM

3.1 動機

相比于代表性的極限學習機模型（包括ELM，L21-ELM[27]），在線順序極限學習機有比較明顯的優(yōu)勢，在線順序極限學習機不僅可以逐個地學習訓練數(shù)據(jù)，而且可以逐塊地學習，丟棄已經(jīng)訓練過的數(shù)據(jù)。在以下操作上，這就是一個通用的順序?qū)W習算法。對此可做詳述如下。

（1）將訓練觀察結(jié)果按順序，逐個或塊接塊，呈現(xiàn)給學習算法。

（2）在任何時候，只有新到達的單個或大塊的觀察，而不是整個過去的數(shù)據(jù)，被看到和學習。

（3）如果某一特定單個或組塊的觀察學習過程完成，就丟棄單個或一組訓練觀察。

在線順序極限學習機雖然有以上的優(yōu)勢，但卻未能很好地去處理非線性樣本。與之相對應(yīng)，核函數(shù)的優(yōu)勢恰在于此，對其特點可概述如下。

（1）核函數(shù)的引入避免了復雜維數(shù)，大大減小了計算量。而輸入空間的維數(shù)n對核函數(shù)矩陣并無影響，因此，核函數(shù)方法可以有效處理高維輸入。

（2）無需知道非線性變換函數(shù)的形式和參數(shù)。

（3）核函數(shù)的形式和參數(shù)的變化會隱式地改變從輸入空間到特征空間的映射，如此即會對特征空間的性質(zhì)產(chǎn)生影響，從而改變各種核函數(shù)方法的性能。

（4）核函數(shù)方法能和不同的算法相結(jié)合，形成多種不同的基于核函數(shù)技術(shù)的方法，且這2部分的設(shè)計可以單獨進行，并可以為不同的應(yīng)用選擇不同的核函數(shù)和算法。

綜上所述可知，若是將核函數(shù)的自身優(yōu)勢與在線順序極限學習機相結(jié)合，不僅能夠減少計算量，而且在時間效率上也會獲得提升。

3.2 預處理分析

對于非線性數(shù)據(jù)樣本通過核函數(shù)處理使樣本線性化，降低后續(xù)在線順序極限學習機處理的計算量。通常訓練樣本數(shù)據(jù)較大，實驗樣本中很多處理后的特征值相同，文中采用比較和統(tǒng)計的方法，對分類的數(shù)據(jù)進行預處理，即從訓練集和測試集中找到不同的標簽，存儲到類標簽中，這樣操作即可把所有不同的標簽類存儲到一起，成為一個標簽組，而數(shù)量遠低于原來的數(shù)據(jù)樣本容量。

3.3 算法

為了解決樣本數(shù)據(jù)中比較重復的問題，研究提出一種新的基于在線順序極限學習機的算法來處理多標簽分類問題的改進算法、即樣本線性化和數(shù)據(jù)預處理極限學習機（PDC-ELM），以適應(yīng)多標簽的應(yīng)用。對于線性不可分的數(shù)據(jù)樣本，PDC-ELM算法先利用核函數(shù)進行處理，使數(shù)據(jù)樣本具有線性可分的特征，而對于處理后的數(shù)據(jù)樣本，可利用在線順序極限學習機在計算前對分類數(shù)據(jù)進行預處理，也就是從訓練和測試數(shù)據(jù)集中查找不同的特征標簽并保存類標簽中。形成一個新的和沒有重復的樣本標簽組，為后續(xù)的比較實驗提供便利。PDC-ELM算法的研發(fā)實現(xiàn)步驟可參考算法1。

算法 1 PDC-ELM 算法

輸入 訓練集{（xi，yi）xi∈Rn，yi∈Rn，i=1，2，…，N}，測試集{（xj，yj）xj∈Rn，yj∈Rn，j=1，2，…，N}，激活函數(shù)g（·），和隱藏層節(jié)點數(shù)p

輸出 訓練和測試的分類準確度和時間

Step 1 對樣本數(shù)據(jù)使用相關(guān)核函數(shù)算法。

Step 2 預處理分類數(shù)據(jù)，

for訓練集中第1個到第N個實例執(zhí)行。

Step 3 從訓練和測試數(shù)據(jù)集找到不同標簽并保存在類標簽中。

Step 4 處理訓練目標和測試目標，生成隱藏層節(jié)點的輸入權(quán)重w_i和偏差b_i。

Step 5 計算隱神經(jīng)元輸出矩陣H。

Step 6end for

對于實驗中的數(shù)據(jù)樣本處理，共設(shè)置了5個參數(shù)。其中，2個參數(shù)是從數(shù)據(jù)樣本中挑選出來的測試集和訓練集。數(shù)據(jù)樣本需要進行多次訓練、多次試驗，增加實驗的可靠性。再有一個參數(shù)是極限學習機訓練類型。分類則設(shè)置為1，在實驗中，0表示回歸，1表示分類，考慮到實驗就是處理分類問題，故設(shè)定為1;另外，還有一個參數(shù)是隱藏層節(jié)點數(shù)目、即p。隱藏層節(jié)點數(shù)目的不同會影響到訓練時間、測試時間、訓練準確度和測試準確度，在不斷的調(diào)試中找到最佳的隱藏層節(jié)點數(shù)目，使得實驗結(jié)果最好;最后一個參數(shù)是激活函數(shù)、即g（·），根據(jù)數(shù)據(jù)樣本需要設(shè)置好最恰當?shù)募せ詈瘮?shù)。

4 實驗

為了更好地評價PDC-ELM模型的性能，本節(jié)從實驗環(huán)境、數(shù)據(jù)集、代表性的ELM模型比較、性能評估和實驗結(jié)果對比進行分析。為了更好地呈現(xiàn)模型的數(shù)據(jù)比較，在表與圖上分別從相關(guān)數(shù)據(jù)對比上進行研究。

4.1 運行環(huán)境

試驗運行環(huán)境為Windows 10企業(yè)版，處理器為Inter（R）Core（TM）i5-8400 CPU@2.80 GHz，內(nèi)存16.0 GB，64位操作系統(tǒng)。實驗模型調(diào)試、運行、結(jié)果對比和圖形繪制在Matlab 2016中。

4.2 實驗數(shù)據(jù)集

本實驗在擴展iris、abalone、wine和yeast 4個數(shù)據(jù)集上進行。4組數(shù)據(jù)集將用于本文的優(yōu)化模型PDC-ELM與代表性的ELM模型（包括ELM、L21-ELM [25]和OS-ELM [10]）的效果比較。

4.3 比較模型

本實驗擬與代表性的ELM模型（包括ELM、L21-ELM和OS-ELM）進行比較。其中，ELM是一種具有競爭力的機器學習方法，也是基于最小二乘的學習算法，可為分類和回歸應(yīng)用提供高效統(tǒng)一的學習解決方案。ELM就是一種針對單隱含層前饋神經(jīng)網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)的算法，訓練時的目的旨在尋得輸出層的權(quán)值求解。ELM的顯著特點就是輸入權(quán)值和隱含節(jié)點的偏置都是在給定范圍內(nèi)隨機生成的，現(xiàn)已證得其學習效率高、且泛化能力強，并已廣泛應(yīng)用于分類、回歸、聚類、特征學習等問題中。但是ELM魯棒性較差，穩(wěn)定性也差。L21-ELM是一種低秩正則化極限學習機，將提取的特征與ELM上的相關(guān)特征進行低秩約束。首先，在低秩重構(gòu)過程中通過對重構(gòu)矩陣施加具有旋轉(zhuǎn)不變性的L_（2，1）模約束，可在挖掘目標域數(shù)據(jù)的關(guān)鍵特征的同時提高算法對不同姿態(tài)圖片分類的魯棒性。其次，在目標函數(shù)中引入結(jié)構(gòu)的正則化，使得遷移時數(shù)據(jù)中的局部幾何結(jié)構(gòu)信息得以充分利用，進一步提高了分類性能。最后，為解決源域數(shù)據(jù)較少帶來的欠完備特征空間覆蓋問題，在公共子空間中利用源域數(shù)據(jù)和目標域數(shù)據(jù)聯(lián)合構(gòu)造字典，保證了重構(gòu)的魯棒性。但卻很容易過擬合，求解效果欠佳。OS-ELM是一種快速、準確的在線序列學習算法，可以遞增地添加隱藏節(jié)點，并可按塊大小變化或固定的塊大小逐塊地輸入訓練數(shù)據(jù)。OS-ELM分為2個部分。一部分為通過少量的訓練樣本，利用ELM算法計算并初始化輸出權(quán)重;另一部分開始在線學習，每當一個新的數(shù)據(jù)樣本到來時，通過一個遞推公式得到新的輸出權(quán)重，從而實現(xiàn)在線且快速的訓練。OS-ELM具備了ELM的速度和泛化能力上的優(yōu)點，并且可以隨著新數(shù)據(jù)的到來不斷更新模型，而不是重新訓練模型。但是對于樣本重復數(shù)據(jù)較多和非線性化樣本處理卻并未臻至完善。此外，為了與傳統(tǒng)方法進行仿真對比，還對SVM[21-22]模型進行了研究。其主要思想即為找到空間中的一個能夠?qū)⑺袛?shù)據(jù)樣本劃開的超平面，并且使得樣本集中所有數(shù)據(jù)到這個超平面的距離最短，雖然通過使用核函數(shù)可以向高維空間進行映射，使用核函數(shù)對于解決非線性的分類是有著長足優(yōu)勢的，不僅思想簡單，分類效果也較好，但是對于大規(guī)模數(shù)據(jù)訓練卻比較困難，也無法直接支持多分類，而只能使用間接的方法來做。

4.4 實驗結(jié)果與分析

在本節(jié)中，研究給出了PDC-ELM算法在多標簽分類應(yīng)用中的仿真結(jié)果。研發(fā)所得數(shù)據(jù)詳見表1～表4。

圖1表示實驗模型PDC-ELM分別在iris和abalone數(shù)據(jù)集下的訓練準確度和測試準確度。圖1中，紅線表示訓練結(jié)果，藍線表示測試結(jié)果。由圖1可以看出，隨著隱藏層節(jié)點數(shù)目的增加，PDC-ELM的訓練準確性也有所增加。 隱藏層節(jié)點數(shù)越多，就能夠提取更多的特征，使得準確度更高。ELM模型對任何非線性函數(shù)都具有普遍的逼近能力。隨著隱藏層節(jié)點數(shù)目的增加，預測誤差趨于零。圖1給出了隨著ELM隱含層隱藏節(jié)點數(shù)增加分類精度的變化情況。在本實驗中，隱藏節(jié)點的數(shù)量從100增加到1 000，步長增幅為100。分析圖1可知，隨著隱藏層節(jié)點數(shù)目的增加，預測精度也逐漸提高。

耗時結(jié)果對比見表5所示。由表5可以看出，在這種情況下，PDC-ELM算法的學習速度比其他方法要快。分析可知，在預處理時進行了去重，也就是過濾了重復的特征標簽，減少了比較次數(shù)，但在數(shù)據(jù)較少時其優(yōu)勢并不明顯?；蛘咧貜蛿?shù)據(jù)較少時，優(yōu)勢也并不突出。在今后的工作中需繼續(xù)提高PDC-ELM的訓練性能。

本次研究中，在選取的各個數(shù)據(jù)集上進行實驗，仿真后得到的平均識別率如圖2～圖5所示。由圖2～圖5可知，PDC-ELM明顯優(yōu)于其他代表ELM模型，證明了PDC-ELM采用預處理標簽數(shù)據(jù)的方法應(yīng)用在多標簽分類上是有效的，也是有優(yōu)勢的。隨著隱藏層節(jié)點數(shù)目的增加，PDC-ELM的準確性也在增加，一定程度上隱藏層節(jié)點數(shù)越多，越多的特征即被隱藏層提取在圖2和圖3中。當隱藏層節(jié)點數(shù)量小于300時，PDC-ELM的結(jié)果比其他ELM方法比較接近，究其原因即在于較少的神經(jīng)元不能有效地提取良好的特征。PDC-ELM要優(yōu)于OS-ELM方法，根本原因在于：一方面，PDC-ELM進行了樣本線性化處理;另一方面將特征選擇在測試集和訓練集進行了預處理，有明顯提升的效果。L21-ELM優(yōu)于原始的ELM方法，根本原因在于L21-ELM將特征選擇融入到線性回歸模型中，這樣一來分類提取特征就比較方便，可以更好地描述輸入數(shù)據(jù)。但從圖4和圖5可以看出，當神經(jīng)元數(shù)量超過600個時，L21-ELM的性能急劇下降，分析原因則可能是隱藏層節(jié)點太多導致了算法的過擬合。由圖2還可以看出，也許是因為數(shù)據(jù)及樣本容量的影響，與其他3組數(shù)據(jù)集比較而言，iris數(shù)據(jù)集的樣本容量相對來說較小，可能造成PDC-ELM模型無法充分地發(fā)揮自身優(yōu)勢，數(shù)據(jù)樣本容量較少，樣本的特征較為分散，預處理的訓練集和測試集的特征效果也未得到很好的呈現(xiàn)，造成的后果就是多組訓練模型的測試結(jié)果較為接近，無法更好地突出自身的優(yōu)勢。在隱藏層神經(jīng)元較少的情況下，SVM優(yōu)于大多數(shù)ELM方法，然而，隨著隱藏層神經(jīng)元數(shù)量的增加，本文提出的PDC-ELM優(yōu)于SVM，由圖4和圖5可以看出，當隱藏神經(jīng)元數(shù)量大于為700時，只有本文研發(fā)的模型獲得了最好的結(jié)果。

5 結(jié)束語

在本文中，提出了一種基于在線順序極限學習機的多標簽分類改進方法、即PDC-ELM，對非線性樣本通過核函數(shù)進行線性處理，再進行樣本特征數(shù)據(jù)預處理，與其他ELM方法相比，不僅降低了計算量，還能提高準確率，在多標簽分類實驗中有明顯的效果。

參考文獻

[1]SHEN Guorui， YUAN Ye. On theoretical analysis of single hidden layer feedforward Neural Networks with relu activations[C]//2019 34rd Youth Academic Annual Conference of Chinese Association of Automation （YAC）.? Jinzhou， China： IEEE，2019：706-709.

[2]LEE D， KIM S， TAK S， et al. Real-time feed-forward Neural network-based forward collision warning system under cloud communication environment[J]. IEEE Transactions on Intelligent Transportation Systems， 2019，20（12）：4390-4404.

[3]ENE A， STIRBU C. A Java application for the failure rate prediction using feed forward neural networks[C]// 2016 8th International Conference on Electronics， Computers and Artificial Intelligence （ECAI）. Ploiesti， Romania： IEEE， 2016：1-4.

[4]ENE A， STIRBU C. A Java simulation software for the study of the effects of the short-circuit faults in a feed forward neural network[C]// 2015 7th International Conference on Electronics， Computers and Artificial Intelligence （ECAI）.? Bucharest， Romnia：IEEE， 2015：1-4.

[5]VENKADESAN A， BHAVANA G， HANEESHA D， et al. Comparison of feed forward and cascade neural network for harmonic current estimation in power electronic converter[C]//2017 International Conference on Innovative Research in Electrical Sciences （IICIRES）. Nagapattinam， India：IEEE，2017：1-5.

[6]VIPANI R， HORE S， BASAK S， et al. Gait signal classification tool utilizing Hilbert transform based feature extraction and logistic regression based classification[C]//2017 Third International Conference on Research in Computational Intelligence and Communication Networks （ICRCICN）. Kolkata， India：IEEE， 2017：57-61.

[7]PRIYA S， MANAVALAN R. A hybrid classifier using weighted ELM with biogeography based optimization for hepatitis diagnosis[C]//2019 International Conference on Intelligent Computing and Control Systems （ICCS）. Madurai， India：IEEE， 2019：1463-1467.

[8]PRIYA S， MANAVALAN R. Optimum parameters selection using ACOR algorithm to improve the classification performance of weighted extreme learning machine for hepatitis disease dataset[C]// 2018 International Conference on Inventive Research in Computing Applications （ICIRCA）. Coimbatore：IEEE， 2018：986-991.

[9]MA Liancai ， LI Jun. Short-term wind power prediction based on multiple kernel extreme learning machine method[C]// 2020 7th International Forum on Electrical Engineering and Automation （IFEEA）. Hefei， China：IEEE，2020：871-874.

[10]CHUPONG C， PLANGKLANG B. Comparison study on artificial Neural Network and online sequential extreme learning machine in regression problem[C]//2019 7th International Electrical Engineering Congress （iEECON）. Hua Hin， Thailand：IEEE，2019：1-4.

[11]LIN Jun， ZHANG Qinqin， SHENG Gehao， et al. Prediction system for dynamic transmission line load capacity based on PCA and online sequential extreme learning machine[C]//2018 IEEE International Conference on Industrial Technology （ICIT）. Lyon， France：IEEE， 2018：1714-1717.

[12]CHEN Yita， CHUANG Yuchuan， WU A Y. Online extreme learning machine design for the application of federated learning[C]//2020 2nd IEEE International Conference on Artificial Intelligence Circuits and Systems （AICAS）.Genova， Italy：IEEE， 2020：188-192.

[13]VANLI N D， SAYIN M O，DELIBALTA I， et al. Sequential nonlinear learning for distributed multiagent systems via extreme learning machines[J]. IEEE Transactions on Neural Networks and Learning Systems， 2017，28（3）：546-558.

[14]LU Xinjiang， LIU Chang， HUANG Minghui. Online probabilistic extreme learning machine for distribution modeling of complex batch forging processes[J].IEEE Transactions on Industrial Informatics， 2015，11（6）：1277-1286.

[15]TANG Jiexiong， DENG Chenwei， HUANG Guangbin. Extreme learning machine for multilayer perceptron[J]. IEEE Transactions on Neural Networks and Learning Systems， 2016，27（4）：809-821.

[16]CILIMKOVIC M. Neural networks and back propagation algorithm[D]. North Dublin：Institute of Technology Blanchardstown， 2015.

[17]PRIANDANA K， ABIYOGA I， WULANDARI， et al. Development of computational intelligence-based control system using backpropagation neural network for wheeled robot[C]// 2018 International Conference on Electrical Engineering and Computer Science （ICECOS）. Pangkal， Indonesia：IEEE， 2018：101-106.

[18]MOGHADAM M H， SAADATMAND M， BORG M， et al. Learning-based response time analysis in real-time embedded systems： A simulation-based approach[C]//2018 IEEE/ACM 1st International Workshop on Software Qualities and their Dependencies （SQUADE）. Gothenburg，Sweden：ACM， 2018：21-24.

[19]CAO Jiuwen， WANG Tianlei， SHANG Luming， et al. A novel distance estimation algorithm for periodic surface vibrations based on frequency band energy percentage feature[J]. Mechanical Systems and Signal Processing， 2018，113：222-236.

[20]WU Xiaohe， ZUO Wangmeng， LIN Liang， et al. F-SVM： Combination of feature transformation and SVM learning via convex relaxation[J]. IEEE Transactions on Neural Networks and Learning Systems， 2018，29（11）：5185-5199.

[21]YAPP E K Y， LI X， LU W F， et al. Comparison of base classifiers for multi-label learning[J]. Neurocomputing， 2020：394：51-60.

[22]CAHYANI D E， NUZRY K A P. Trending topic classification for single-label using multinomial Naive Bayes （MNB） and multi-label using K-Nearest Neighbors （KNN）[C]//2019 4th International Conference on Information Technology， Information Systems and Electrical Engineering （ICITISEE）. Yogyakarta， Indonesia：IEEE，2019：547-557.

[23]鄭倫川， 鄧亞平. 一種獲取標簽相關(guān)信息的多標簽分類方法[J]. 計算機工程與應(yīng)用，2016，52（14）：156-160.

[24]李鋒， 楊有龍. 基于標簽特征和相關(guān)性的多標簽分類算法[J]. 計算機工程與應(yīng)用，2019， 55（4）： 48-55.

[25]SUN Xia， XU Jingting， JIANG Changmeng， et al. Extreme learning machine for multi-label classification[J]. Entropy， 2016， 18（6）： 225.

[26]JIANG Mingchu， LI Na， PAN Zhisong. Multi-label text categorization using L21-norm minimization extreme learning machine[M]//CAO J， MAO K， WU J， et al. Proceedings of ELM-2015 Volume 1. Proceedings in Adaptation， Learning and Optimization. Cham：Springer， 2015，6：121-133.

[27]HUANG Gao， HUANG Guangbin， SONG Shiji， et al. Trends in extreme learning machines： A review[J]. Neural Networks：The Official Journal of the International Neural Network Society， 2015，61：32-48.

基金項目： 國家自然科學基金青年基金 （61402145，61673156）。

作者簡介：張 燦（1995-），男，碩士研究生，主要研究方向：數(shù)據(jù)挖掘; 代子彪（1994-），男，碩士研究生，主要研究方向：情感語音合成; 安 鑫（1986-），男，博士，副教授，主要研究方向：情感計算、語音合成; 李建華（1985-），男，博士，副研究員，主要研究方向：鍵值存儲、預取。

通訊作者： 李建華Email：jhli@hfut.edu.cn

收稿日期： 2021-04-07