基于Optuna框架的Lp范數(shù)約束下多核支持向量機(jī)在違約風(fēng)險(xiǎn)預(yù)測中的應(yīng)用

摘 "要： 針對違約數(shù)據(jù)存在數(shù)據(jù)量大、維度多、不平衡及噪聲大等缺點(diǎn)，提出一種改進(jìn)的支持向量機(jī)方法，即基于Optuna框架的Lp范數(shù)約束的代價(jià)敏感的多核支持向量機(jī)（Lp?Optuna?SVM）。該方法采用成本矩陣對不同預(yù)測錯(cuò)誤賦予不同數(shù)值，通過多核學(xué)習(xí)引入多核混合核函數(shù)組合；同時(shí)采用Optuna優(yōu)化框架對犯錯(cuò)成本、核函數(shù)的參數(shù)和權(quán)重實(shí)現(xiàn)了自動(dòng)化的調(diào)優(yōu)過程；還在核函數(shù)權(quán)重上引入Lp范數(shù)約束，以提高模型對噪聲和異常數(shù)據(jù)的魯棒性。最后，對4種常用的基礎(chǔ)核函數(shù)組合的Lp?Optuna?SVM進(jìn)行探討，并與單核支持向量機(jī)以及K鄰近法、邏輯回歸、高斯貝葉斯進(jìn)行對比。結(jié)果表明，在給定數(shù)據(jù)集上，Lp?Optuna?SVM在違約數(shù)據(jù)上的g?mean和AUC均高于其他算法，并且在加了不同方差的噪聲數(shù)據(jù)集上，該算法整體依舊保持較好的魯棒性。

關(guān)鍵詞： 多核支持向量機(jī)； Optuna優(yōu)化框架； Lp范數(shù)約束； 多核學(xué)習(xí)； 不平衡數(shù)據(jù)集； 違約風(fēng)險(xiǎn)預(yù)測

中圖分類號： TN919?34； TP311 " " " " " " " " " 文獻(xiàn)標(biāo)識碼： A " " " " " " " " " " "文章編號： 1004?373X（2024）06?0147?07

Application of Lp?norm?constrained multi?kernel support vector machine based on Optuna framework in default risk prediction

ZHENG Yixin， WANG Chongren

（Shandong University of Finance and Economics， Jinan 250002， China）

Abstract： In allusion to the drawbacks of large data volume， multiple dimensions， imbalance， and high noise in default data， an improved support vector machine method is proposed， which is a cost sensitive multi kernel support vector machine （Lp Optuna SVM） based on the Lp?norm?constrained of the Optuna framework. In this method， a cost matrix is used to assign different values to different prediction errors， and the combinations of multi kernel mixed kernel function is introduced by means of multi kernel learning. The Optuna optimization framework is used to automate the tuning process for error costs， kernel function parameters， and weights. The Lp?norm?constrained is introduced on kernel function weights， so as to improve the model's robustness against noise and outlier data. The Lp?Optuna?SVM of four commonly used combinations of basic kernel functions is explored and compared with single kernel support vector machines， K?nearest neighbor method， logistic regression， and Gaussian Bayes. The results show that， on the given dataset， Lp?Optuna?SVM has higher g?mean and AUC on default data than those of other algorithms， and this algorthm can overall maintain good robustness on noisy datasets with different variances.

Keywords： multi?kernel support vector machine; Optuna optimization framework; Lp?norm?constrained; multi?kernel learning; unbalanced dataset; default risk prediction

近年來，為了提高金融違約風(fēng)險(xiǎn)預(yù)測的準(zhǔn)確度，很多研究聚焦于提高單個(gè)模型的預(yù)測性能，其中，支持向量機(jī)（SVM）因其在非線性問題上有出色表現(xiàn)，常被用于違約風(fēng)險(xiǎn)預(yù)測領(lǐng)域。I. O. Eweoya等利用支持向量機(jī)，通過數(shù)據(jù)中的隱藏趨勢來預(yù)測貸款申請中欺詐的可能性[1]。但支持向量機(jī)對離群點(diǎn)和噪聲數(shù)據(jù)十分敏感，且金融數(shù)據(jù)多為多源異構(gòu)數(shù)據(jù)，存在分布不平衡的特點(diǎn)，因此許多研究選擇多核學(xué)習(xí)（Multiple Kernel Learning， MKL）以提高模型預(yù)測的準(zhǔn)確性和穩(wěn)定性。多核學(xué)習(xí)中關(guān)鍵的問題是確定核函數(shù)的組合權(quán)重及其參數(shù)。對此，已提出很多相關(guān)的方法及模型。Zhou等選擇多項(xiàng)式核函數(shù)（POLY）和徑向基核函數(shù)（RBF）來構(gòu)造混合核函數(shù)，并應(yīng)用粒子群優(yōu)化算法來確認(rèn)核函數(shù)的組合權(quán)重[2]。祁祥洲等在構(gòu)造組合核函數(shù)時(shí)，利用中心核對齊（Centered Kernel Alignment， CKA）來計(jì)算每個(gè)核函數(shù)的權(quán)重，再將不同類型的核函數(shù)加以線性組合，最后將組合核函數(shù)引入到傳統(tǒng)單類支持向量機(jī)中代替單個(gè)核函數(shù)[3]。戴小路等將基于加權(quán)馬氏距離的模糊支持向量機(jī)方法拓展到多核維度，采用啟發(fā)式方法來計(jì)算多核權(quán)重系數(shù)，以加權(quán)求和的方式構(gòu)建多核組合函數(shù)[4]。Wang等為了提高高光譜圖像分類的準(zhǔn)確性，將多核支持向量機(jī)與粒子群優(yōu)化算法結(jié)合，并將最佳權(quán)重分配給不同的核函數(shù)，通過在不同數(shù)據(jù)集上實(shí)現(xiàn)自適應(yīng)權(quán)重，解決了在學(xué)習(xí)多個(gè)特征時(shí)人為選擇權(quán)重的問題[5]。Zhao等開發(fā)了一種基于混合核對齊最大化的多核模型（HKAM?MKM）來確認(rèn)多核核函數(shù)的權(quán)重分配，這樣既確保有效利用基本核函數(shù)，又避免忽略樣本與其相鄰樣本之間的差異[6]。

綜上可知，確認(rèn)多核核函數(shù)權(quán)重的常用方法有的計(jì)算復(fù)雜[4]，有的雖然速度快，但是容易陷入局部最優(yōu)[7]。因此本文在預(yù)測違約時(shí)進(jìn)行以下創(chuàng)新：

1） 因違約案例較少，金融數(shù)據(jù)通常不平衡。這使得模型為減少錯(cuò)誤，預(yù)測時(shí)偏向多數(shù)類，但不同類別預(yù)測錯(cuò)誤產(chǎn)生的后果不同，故采用代價(jià)敏感的SVM，通過構(gòu)建成本矩陣對不同類別預(yù)測錯(cuò)誤賦予不同成本。

2） 為了克服上述常用方法的缺點(diǎn)，選擇超參數(shù)框架Optuna[8]來確定核函數(shù)權(quán)重、參數(shù)和犯錯(cuò)成本。Optuna通過自動(dòng)搜索超參數(shù)空間以降低復(fù)雜性，根據(jù)目標(biāo)函數(shù)的表現(xiàn)來優(yōu)化樣本點(diǎn)的分布，從而更有可能找到全局最優(yōu)解。

3） 為了防止核函數(shù)權(quán)重過大或過小，對核函數(shù)的權(quán)重施加Lp范數(shù)約束，提高模型的穩(wěn)定性。為提高模型的性能和表現(xiàn)，在考慮多樣性的同時(shí)保證核函數(shù)的互補(bǔ)性和相對獨(dú)立性，對線性核函數(shù)、多項(xiàng)式核函數(shù)、sigmoid核函數(shù)和徑向基核函數(shù)進(jìn)行任意組合。

1 "Lp?Optuna?SVM

1.1 "代價(jià)敏感的支持向量機(jī)

假設(shè)存在一個(gè)線性可分的二分類數(shù)據(jù)集（樣本分為正類和負(fù)類），其輸入特征為[xi]，對應(yīng)的目標(biāo)類別變量標(biāo)簽為[yi]。在處理非樣本數(shù)據(jù)時(shí)，SVM通過核函數(shù)變換[?（xi）]在高維特征空間Z中進(jìn)行映射，然后在高維特征空間Z中構(gòu)建最優(yōu)分類超平面以實(shí)現(xiàn)分類，公式如下：

[minω，b，ξ12ω2+Ci=1nξi]

[s.t. "yi（ωT?（xi）+b）≥1-ξi， ξi≥0，i=1，2，…，n] （1）

在特征空間Z構(gòu)建超平面的過程中，核函數(shù)[K（xi，xj）]把非線性映射和特征空間中兩個(gè)向量[?（xi）]和[?（xj）]的內(nèi)積相結(jié)合，可以避免明確指定非線性映射函數(shù)[?（xi）]，通過計(jì)算特征空間中向量之間的內(nèi)積來隱式地表示高維空間中的線性超平面，有效地解決了維度災(zāi)難。但這種方法假設(shè)所有錯(cuò)誤分類的代價(jià)相同，在處理不平衡的數(shù)據(jù)集時(shí)，因忽視了錯(cuò)誤分類的成本不同，導(dǎo)致效果并不理想。因此，K. Veropoulos等人提出一種懲罰正則化的代價(jià)敏感支持向量機(jī)模型，以減少預(yù)測不平衡數(shù)據(jù)時(shí)遇到的負(fù)面影響[9]。對于正類和負(fù)類，該模型為正、負(fù)松弛變量引入[C+]和[C-]懲罰因子，如下：

[minω，b，ξ12ω2+C+i=1nξi+C-i=1nξi]

[s.t. "yi（ωT?（xi）+b）≥1-ξi， "ξi≥0，i=1，2，…，n] （2）

1.2 "多核支持向量機(jī)

對于高維、分布不均衡、包含異構(gòu)信息的樣本數(shù)據(jù)，采用單核進(jìn)行映射，對樣本的處理不一定合適。因此，為了進(jìn)一步提高支持向量機(jī)的數(shù)據(jù)處理能力，使用多個(gè)核函數(shù)線性融合成的混合核函數(shù)，且該混合核函數(shù)依然是核函數(shù)。設(shè)有M個(gè)核函數(shù)，每個(gè)核函數(shù)的權(quán)重是[βm]，混合核函數(shù)被定義為：

[Kmix（x，x'）=m=1MβmKm（x，x'）] （3）

式中[m=1Mβm=1]。為確保SVM的優(yōu)化問題合理且可行，設(shè)基礎(chǔ)核函數(shù)[K1，K2，…，Km]的格拉姆矩陣均是半正定，滿足Mercer條件，則[Kmix（x，x'）]也滿足Mercer條件[10]，因?yàn)椋?/p>

[αTKmix（x，x'）α=αTm=1MβmKm（x，x'）α=αT（β1K1（x，x'）+β2K2（x，x'）+…+βMKM（x，x'））α=β1αTK1（x，x'）α+β2αTK2（x，x'）α+…+βMαTKM（x，x'）α] （4）

式中：[α]為給定數(shù)據(jù)集上的任意向量。對于每個(gè)m，[αTKmα≥0]，所以[αTKmixα≥0]，即混合核函數(shù)的矩陣是半正定的，滿足Mercer條件，可在SVM進(jìn)行計(jì)算和優(yōu)化。

1.3 "Lp范數(shù)約束的多核支持向量機(jī)

構(gòu)建多核混合核函數(shù)時(shí)，核函數(shù)權(quán)重過大或過小均會造成病態(tài)矩陣。為此，對核函數(shù)的權(quán)重施加范數(shù)約束，公式如下：

[minω，b，ξ12m=1Mβmω（m）2+C+i=1nξi+C-i=1nξi+λm=1Mβmp1p]

[s.t. "yim=1Mβm（（ω（m））T?（m）（x（m）i）+b）≥1-ξi， " " " " " "ξi≥0，i=1，2，…，n] （5）

通過控制過擬合，從而改善數(shù)值穩(wěn)定性和計(jì)算的精度。對于多核支持向量機(jī)，其優(yōu)化問題為：

[minω，b，ξ12m=1Mβmω（m）2+C+i=1nξi+C-i=1nξi]

[s.t. "yim=1Mβm（（ω（m））T?（m）（x（m）i）+b）≥1-ξi， " " " " "ξi≥0，i=1，2，…，n] （6）

式中：[ω（m）]是第m個(gè)核函數(shù)對應(yīng)的向量；[?（m）（x（m）i）]是第m個(gè)核函數(shù)對應(yīng)的高維特征映射；[βm]是第m個(gè)核函數(shù)的權(quán)重。在特定的問題和數(shù)據(jù)集上，可以通過調(diào)整權(quán)重[βm]來平衡各個(gè)核函數(shù)的貢獻(xiàn)，進(jìn)一步提升模型的性能。通過使用合適的優(yōu)化算法確認(rèn)p的取值，可以求得滿足約束且穩(wěn)定的多核支持向量機(jī)。

1.4 "基于Optuna框架的參數(shù)優(yōu)化方法

Optuna[11]是一款新興的優(yōu)化工具。本研究基于Optuna框架的超參數(shù)的確定步驟如下：

1） 輸入機(jī)器學(xué)習(xí)模型的超參數(shù)。使用基于不同混合核函數(shù)的SVM模型，每個(gè)模型都有不同的超參數(shù)集和權(quán)重。

2） 確定超參數(shù)的搜索范圍和類型。為了確保所選核函數(shù)的格拉姆矩陣是半正定的，且滿足Mercer條件，具體表達(dá)式及核函數(shù)參數(shù)取值要求如表1所示。

3） 為Optuna設(shè)置目標(biāo)函數(shù)，然后確定優(yōu)化方向。本研究的目標(biāo)函數(shù)和方向是最大化g?mean（geometric mean和AUC（Area Under the Curve）。

[g?mean=recall·specificity] （7）

式中：recall是召回率，即在正樣本上取得的準(zhǔn)確率；specificity是特異度，即在負(fù)樣本上所取得的準(zhǔn)確率。

4） 設(shè)置Optuna的試驗(yàn)次數(shù)。本試驗(yàn)中采樣器、方向和試驗(yàn)次數(shù)分別設(shè)置為TPE采樣器、最大化和100。

2 "實(shí)驗(yàn)結(jié)果與分析

2.1 "實(shí)驗(yàn)設(shè)計(jì)

采用Kaggle網(wǎng)站上與違約有關(guān)的3個(gè)公開數(shù)據(jù)集（Company Bankruptcy Prediction、Marketing Campaign和Credit Risk Customers），如表2所示，把本文所提出的模型和其他方法進(jìn)行比較，驗(yàn)證其有效性。其中每個(gè)數(shù)據(jù)集按比例6∶4劃分，即60%為訓(xùn)練集，40%為測試集。為檢驗(yàn)所提出模型的抗噪聲能力，在3個(gè)數(shù)據(jù)集的訓(xùn)練集中加入0、0.05、0.1、0.15、0.2、0.25、0.3不同方差的異常數(shù)據(jù)作為噪聲。在算法的對比中，為了確保算法的多元性，不僅有4個(gè)基礎(chǔ)核的SVM間的比較，還選擇KNN、邏輯回歸、高斯貝葉斯進(jìn)行對比。為了消除訓(xùn)練集隨機(jī)選擇的影響，在每個(gè)數(shù)據(jù)集上進(jìn)行20次重復(fù)試驗(yàn)。

把表1中4個(gè)核函數(shù)的任意組合，即2個(gè)核函數(shù)的組合、3個(gè)核函數(shù)的組合以及4個(gè)核函數(shù)的組合進(jìn)行混合核函數(shù)構(gòu)造。為了避免病態(tài)矩陣的出現(xiàn)，只選擇不同的核函數(shù)進(jìn)行組合，以確保模型的穩(wěn)定性和可靠性[12]。

2.2 "實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)所用主機(jī)CPU型號為Intel[?] CoreTM i5?8250U CPU，主頻為1.6 GHz，內(nèi)存為8 GB，編程語言為Python 3.8，主要使用的庫為scikit?learn和Optuna。

2.3 "參數(shù)設(shè)置

針對二分類問題，構(gòu)建了成本矩陣。其中，預(yù)測準(zhǔn)確時(shí)的成本為0；正類錯(cuò)誤預(yù)測被賦予成本記為C1；負(fù)類錯(cuò)誤預(yù)測被賦予成本記為C2；核函數(shù)的參數(shù)及權(quán)重一起通過Optuna優(yōu)化框架確定。多項(xiàng)式核函數(shù)的d、徑向基核函數(shù)的σ、sigmoid核函數(shù)的δ和k，以及犯錯(cuò)成本C1和C2，在不同模型不同數(shù)據(jù)集的取值見表3。關(guān)于約束范數(shù)p的取值，當(dāng)p=1時(shí)，部分[βm]取值趨向于0，得到[βm]的最稀疏解；當(dāng)[p→∞]時(shí)，部分[βm]取值趨向于1，混合核函數(shù)[Kmix（x，x'）=m=1MKm（x，x'）]為非加權(quán)多核學(xué)習(xí)。根據(jù)實(shí)驗(yàn)可得，最優(yōu)的性能通常介于兩者之間，因此試驗(yàn)中p最終取值為5。這樣既能保持一定的稀疏性，又能使表現(xiàn)較好的核函數(shù)能夠保留較高的權(quán)重系數(shù)。

2.4 "試驗(yàn)結(jié)果分析

在沒有噪聲的情況下，任意核函數(shù)組合的Lp?Optuna?SVM的g?mean和AUC均優(yōu)于常用分類器——KNN、邏輯回歸、高斯貝葉斯以及不同單核SVM。隨著噪聲方差的增加，不同模型性能有不同程度的下降，如表4～表6所示。

雖然在方差為0.3的噪聲下，一些多核核函數(shù)組合的性能弱于高斯貝葉斯算法，不過從整體來看，這些多核核函數(shù)組合仍保持了相對較好的魯棒性，在多樣化的噪聲條件下仍能夠保持相對一致的表現(xiàn)。而在低噪聲方差情況下，這些核函數(shù)組合的性能優(yōu)于高斯貝葉斯算法，進(jìn)一步表明它們在處理較為干凈數(shù)據(jù)時(shí)的優(yōu)越性。

在不同數(shù)據(jù)集上，性能最優(yōu)的Lp?Optuna?SVM組合均不相同。Company Bankruptcy Prediction數(shù)據(jù)集中l(wèi)inear+POLY+sigmoid+RBF組合性能最好；在Marketing Campaign數(shù)據(jù)集中，linear+POLY+sigmoid組合呈現(xiàn)出較好的性能優(yōu)勢；而在Credit Risk Customers數(shù)據(jù)集中，POLY+RBF組合展現(xiàn)出最為出色的性能水平。因?yàn)镃ompany Bankruptcy Prediction數(shù)據(jù)集維度較高（96維），不同特征之間的關(guān)系更為復(fù)雜，需要4個(gè)核函數(shù)來捕捉復(fù)雜的關(guān)系；而Marketing Campaign數(shù)據(jù)集（58維）和Credit Risk Customers數(shù)據(jù)集（21維）分別選擇3個(gè)和2個(gè)核函數(shù)的組合在適應(yīng)性和泛化能力之間取得了較好的平衡。與使用更多核函數(shù)的組合相比，這種情況下的2個(gè)或3個(gè)核函數(shù)組合可能更好地捕捉數(shù)據(jù)集的關(guān)系，避免了模型過于復(fù)雜。因此，在處理較為復(fù)雜的數(shù)據(jù)集時(shí)，根據(jù)數(shù)據(jù)集的特征數(shù)量適度地減少核函數(shù)的數(shù)量，可能有助于提高模型的性能，并降低過擬合的風(fēng)險(xiǎn)。

3 "結(jié) "論

在支持向量機(jī)的多核學(xué)習(xí)中，傳統(tǒng)方法如中心核對齊在確認(rèn)核函數(shù)權(quán)重時(shí)存在復(fù)雜度較高的問題，需要額外設(shè)定各個(gè)核函數(shù)的參數(shù)，耗費(fèi)大量時(shí)間。為了解決這一問題并提高模型的魯棒性，本文選擇了Optuna優(yōu)化框架，通過自動(dòng)化調(diào)優(yōu)，同時(shí)搜索最優(yōu)的核函數(shù)組合和參數(shù)，有效減少了手動(dòng)調(diào)參的繁瑣過程，提高了優(yōu)化的效率。為進(jìn)一步增強(qiáng)模型的魯棒性，本文引入Lp范數(shù)約束對模型的權(quán)重進(jìn)行限制，防止過度擬合和過大的權(quán)重，從而增加了模型對噪聲和異常樣本的魯棒性。這種約束能夠使模型具有更高的泛化能力和抗噪聲能力。

此外，本文還對支持向量機(jī)常用基礎(chǔ)核函數(shù)的所有不同組合進(jìn)行了探索。實(shí)驗(yàn)結(jié)果表明，在處理不同數(shù)據(jù)集時(shí)，所需的核函數(shù)組合數(shù)量可能與數(shù)據(jù)的特征數(shù)量相關(guān)。然而，這些結(jié)果可能受到多個(gè)因素的影響，包括數(shù)據(jù)的維度、分布、特征之間的關(guān)系以及模型的復(fù)雜度等。因此，在核函數(shù)選擇和組合的問題上，存在著更多的復(fù)雜性和不確定性，可能需要更深入的實(shí)驗(yàn)和分析來確定最優(yōu)的策略。此外，本文通過窮舉法探討了基礎(chǔ)核函數(shù)范圍內(nèi)的所有不同核函數(shù)組合，但這個(gè)過程需要耗費(fèi)大量時(shí)間。因此，在未來的工作中，可以考慮探索基礎(chǔ)核以外的核函數(shù)組合，并嘗試改進(jìn)特定數(shù)據(jù)集下的最優(yōu)核函數(shù)組合的篩選方法，以提高優(yōu)化的效率。此外，還可以考慮探索其他融合方法的混合核函數(shù)，如深度融合多核核函數(shù)等，以進(jìn)一步提高模型性能和泛化能力。

注：本文通訊作者為王重仁。

參考文獻(xiàn)

[1] EWEOYA I O， ADEBIYI A A， AZETA A A， et al. Fraud prediction in loan default using support vector machine [J]. Journal of physics： conference series， 2019， 1299： 1?4.

[2] ZHOU J， WANG W X， LU J， et al. Small unmanned helicopter modeling method based on a hybrid kernel function PSO?LSSVM [J]. Journal of supercomputing， 2023， 79（12）： 13889?13906.

[3] 祁祥洲，邢紅杰.基于中心核對齊的多核單類支持向量機(jī)[J].計(jì)算機(jī)應(yīng)用，2022，42（2）：349?356.

[4] 戴小路，汪廷華，周慧穎.基于加權(quán)馬氏距離的模糊多核支持向量機(jī)[J].計(jì)算機(jī)科學(xué)，2022，49（z2）：302?306.

[5] WANG H， CHEN M Q， NIU J Q. Hyperspectral image classification method by coupling particle swarm optimization and multiple kernel support vector machine [J]. Journal of applied remote sensing， 2022， 16（3）： 034534.

[6] ZHAO S L， DING Y J， LIU X B， et al. HKAM?MKM： A hybrid kernel alignment maximization?based multiple kernel model for identifying DNA?binding proteins [J]. Computers in biology and medicine， 2022， 145： 105395.

[7] 吳程昊，莫路鋒.基于改進(jìn)獅群算法的支持向量機(jī)參數(shù)優(yōu)化方法[J].現(xiàn)代電子技術(shù)，2022，45（14）：79?83.

[8] LAI J P， LIN Y L， LIN H C， et al. Tree?based machine learning models with optuna in predicting impedance values for circuit analysis [J]. Micromachines， 2023， 14（2）： 265.

[9] VEROPOULOS K， CAMPBELL C， CRISTIANINI N. Controlling the sensitivity of support vector machines [C]// Proceedings of the International Joint Conference on Artifcial Intelligence. Montreal： IEEE， 1999： 55?60.

[10] LI Y， ZHU Z C， HOU A L， et al. Pulmonary nodule recognition based on multiple kernel learning support vector machine?PSO [J]. Computational and mathematical methods in medicine， 2018（21）： 1461470.

[11] AKIBA T， SANO S， YANASE T， et al. Optuna： a next?generation hyperparameter optimization framework [C]// Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery amp; Data Mining， Anchorage. AK， USA： IEEE， 2019： 2623?2631.

[12] HE Q， ZHANG Q S， WANG H Y. Kernel?target alignment based multiple kernel one?class support vector machine [C]// 2019 IEEE International Conference on Systems， Man and Cybernetics. Bari， Italy： IEEE， 2019： 2083?2088.

[13] WANG Z， HONG S S， YAO L J， et al. Multiple universum empirical kernel learning [J]. Engineering applications of artificial intelligence， 2020， 89： 103461.

[14] OIKONOMOU V P， NIKOLOPOULOS S， KOMPATSIARIS I. A Bayesian multiple kernel learning algorithm for SSVEP BCI detection [J]. IEEE journal of biomedical and health informatics， 2019， 23（5）： 1990?2001.

[15] WANG T H， ZHANG L， HU W Y. Bridging deep and multiple kernel learning：a review [J]. Information fusion， 2021， 67： 3?13.

[16] 蔡桂全，陶建平.基于細(xì)菌覓食優(yōu)化多核支持向量機(jī)的作物生長環(huán)境控制[J].濟(jì)南大學(xué)學(xué)報(bào)（自然科學(xué)版），2023（3）：303?308.

[17] 趙婉婉，任靜，劉燕南，等.基于AdaBoost多核支持向量機(jī)的跌倒檢測研究[J].輕工學(xué)報(bào)，2019（3）：84?91.