分類器
- 基于動態(tài)異構(gòu)集成的多標(biāo)簽數(shù)據(jù)流分類算法
更高生成多樣化分類器的潛力[3]。在單標(biāo)簽分類算法中，文獻(xiàn)[3]利用異構(gòu)集成來進(jìn)行不平衡學(xué)習(xí)。文獻(xiàn)[4]提出一種基于基分類器多樣性的動態(tài)加權(quán)異構(gòu)自適應(yīng)集成分類器，該算法在集成中利用不同類型的基分類器和使用Q統(tǒng)計量來度量集成分類器之間的多樣性。在處理概念隨時間變化的動態(tài)數(shù)據(jù)流時，動態(tài)自適應(yīng)集成可以提供一種合適的方法，可以保留長期存在的歷史概念并覆蓋新出現(xiàn)的概念[4]。同時在以往的研究中，異構(gòu)集成分類器中的基分類器數(shù)量是根據(jù)分類算法的數(shù)量來確定，即它使用H個不
計算機(jī)工程與設(shè)計 2023年10期2023-11-03
- 分類器集成綜述
25)0 引言分類器是利用已知的數(shù)據(jù)來建立模型，并用這個模型去預(yù)測待測數(shù)據(jù)的類別。在監(jiān)督學(xué)習(xí)中，分類問題是基于訓(xùn)練數(shù)據(jù)樣本中提供的已知輸出標(biāo)簽來監(jiān)督的，分類器在學(xué)習(xí)待測數(shù)據(jù)的同時，主要目標(biāo)是盡可能地接近真正的未知函數(shù)，減少泛化誤差。然而，并不是所有的樣本都能被一個單獨的分類器很好地學(xué)習(xí)到，在這種情況下，模型的泛化能力降低，分類器在測試集上表現(xiàn)不佳，所以采用多分類器集成技術(shù)為解決該問題提供了思路，若在對同一個樣本進(jìn)行測試時，不同的基分類器的分類結(jié)果不同，使用
計算機(jī)時代 2022年9期2022-11-03
- 引入注意力機(jī)制的AdaBoost算法
學(xué)習(xí)得到一組弱分類器，最終將弱分類器組合成強(qiáng)分類器。其思想是：對于復(fù)雜任務(wù)而言，將多個專家的判斷進(jìn)行適當(dāng)綜合而作出的判斷，往往要比其中任何一個專家的單獨判斷好。AdaBoost有很多良好特性：首先弱分類器權(quán)重可以通過計算得到而非人工調(diào)整；其次在數(shù)學(xué)上可以證明隨著訓(xùn)練次數(shù)的增加，訓(xùn)練誤差以指數(shù)速率下降[1]。正因如此，它已被廣泛應(yīng)用于人臉識別、目標(biāo)檢測等領(lǐng)域。AdaBoost的學(xué)習(xí)過程可以分成三個步驟：①找到若干個誤差相互獨立的弱分類器；②訓(xùn)練得到弱分類器的
計算機(jī)仿真 2022年7期2022-08-22
- 少樣本條件下基于K-最近鄰及多分類器協(xié)同的樣本擴(kuò)增分類
個高效且準(zhǔn)確的分類器，大量的已標(biāo)記樣本是必不可少的。但在許多情況下，標(biāo)記樣本十分耗時耗力，導(dǎo)致每個類別的訓(xùn)練樣本很可能只有一個或者少量幾個，無法使分類器的分類精度得到有效提高。同時，很多的數(shù)據(jù)集也會存在樣本類別數(shù)量不平衡的問題。樣本數(shù)量不足以及樣本類別數(shù)量不平衡而導(dǎo)致分類器性能下降的問題統(tǒng)稱為少樣本問題。少樣本問題的本質(zhì)是訓(xùn)練樣本數(shù)量過少，大量的無標(biāo)記樣本信息無法得到應(yīng)用。面對少樣本問題，文獻(xiàn)[2]提出通過數(shù)據(jù)增強(qiáng)的方法對原有的少量樣本數(shù)據(jù)集進(jìn)行樣本擴(kuò)充，
現(xiàn)代電子技術(shù) 2022年15期2022-07-28
- 學(xué)貫中西（6）:闡述ML分類器的工作流程
號MlL模型：分類器在上一期里，曾經(jīng)在Excel 畫面的幕后，設(shè)計了一個分類器（Classifier）模型，將各<詩句>歸類到各自所屬的<作品>。此時，把一個作品名稱（如靜夜思），當(dāng)作一個類（Class ）。于是，這種ML模型，就通稱為：分類器。在ML（機(jī)器學(xué)習(xí)）領(lǐng)域中，分類器就是天字第1號模型。在本專欄的前面幾期里，曾經(jīng)介紹過分類器的幕后實踐技術(shù)。在本期里，就來把去年介紹過的技術(shù)，與華夏的藝術(shù)、文化創(chuàng)作，連結(jié)起來，讓您能夠貫通ML的知識體系及其實現(xiàn)技術(shù)，
電子產(chǎn)品世界 2022年4期2022-04-21
- ELM-Adaboost分類器在軸承故障診斷中的運用
因此將多個基本分類器變成一個強(qiáng)分類器成為一種研究趨勢［14］。在國內(nèi)外學(xué)者的努力下，基于不同弱分類器的強(qiáng)分類器模型取得研究進(jìn)展。文獻(xiàn)［15］將SVM作為基本分類器，建立基于Ada-boost_SVM分類器的滾動軸承故障診斷模型；文獻(xiàn)［16］將BP網(wǎng)絡(luò)作為基本分類器，建立基于BP-AdaBoost的耦合碰摩故障特征識別模型；文獻(xiàn)［17］將BP-AdaBoost算法用于列車關(guān)鍵零件故障識別；文獻(xiàn)［18］將BP-AdaBoost算法用于機(jī)載燃油泵故障診；文獻(xiàn)［1
機(jī)械設(shè)計與制造 2022年2期2022-02-23
- 一種基于SVM的主動多分類方法
之間構(gòu)造一個二分類器，如果有k類樣本，二分類器的個數(shù)將達(dá)到，該方法構(gòu)造的分類器個數(shù)過多，存在分類器個數(shù)過多導(dǎo)致不可分區(qū)域出現(xiàn)的弊端?！耙粚Χ唷倍喾诸愃惴ǖ闹饕悸肥擎i定某一類數(shù)據(jù)，其余類別的數(shù)據(jù)都?xì)w為另一類，在兩者之間構(gòu)造一個分類器，如果有k類樣本，二分類器的個數(shù)為k，該方法構(gòu)造的二分類器個數(shù)較少，但是在訓(xùn)練分類器的過程中，需要所有的訓(xùn)練樣本參與計算，計算量過大，訓(xùn)練時間過長?！皼Q策樹”多分類算法通過計算數(shù)據(jù)類別的信息熵增益，首先分離出類別屬性最易區(qū)分的數(shù)
山西大學(xué)學(xué)報（自然科學(xué)版） 2021年2期2021-05-19
- 基于機(jī)器學(xué)習(xí)評估光纖鏈路傳輸質(zhì)量
量的方法基于二分類器，如隨機(jī)森林（RF），K近鄰（KNN），支持向量機(jī)（SVM）三種分類器對光路傳輸質(zhì)量進(jìn)行二分類，SVM獲得最高0.9915分類準(zhǔn)確度[6]；KNN，SVM，人工神經(jīng)網(wǎng)絡(luò)（ANN），邏輯回歸算法（LR）分類器對光路的剩余冗余進(jìn)行二分類,通過比較準(zhǔn)確率，F(xiàn)1分?jǐn)?shù)，得到ANN是獲得最佳泛化能力的模型，兩個指標(biāo)分?jǐn)?shù)均達(dá)到0.99以上[7]。除了經(jīng)典的機(jī)器學(xué)習(xí)算法，在機(jī)器學(xué)習(xí)中，集成學(xué)習(xí)也是研究的熱點。集成學(xué)習(xí)利用一定的規(guī)則組合不同的學(xué)習(xí)器構(gòu)建具
電子元器件與信息技術(shù) 2021年11期2021-03-26
- 面向概念漂移集成分類的三支決策優(yōu)化方法
習(xí)器[5]、單分類器設(shè)計模式[6]和多分類器集成技術(shù)[7-10]。自適應(yīng)基學(xué)習(xí)器通過對傳統(tǒng)機(jī)器學(xué)習(xí)算法加以改進(jìn)，使其在復(fù)雜多變的數(shù)據(jù)流環(huán)境中具有較好的適應(yīng)性。單分類器設(shè)計模式通常采用的方法有滑動窗口技術(shù)和樣本加權(quán)，以此對數(shù)據(jù)集進(jìn)行重新構(gòu)造以獲得良好的實時表現(xiàn)。多分類器集成技術(shù)被認(rèn)為是處理概念漂移問題更為有效的方法，其主要思想是在不同時期的數(shù)據(jù)塊上構(gòu)造多個基分類器，并利用相應(yīng)結(jié)合策略產(chǎn)生最終的分類結(jié)果。在多分類器集成過程中，基分類器應(yīng)是準(zhǔn)確且多樣的[11-1
鄭州大學(xué)學(xué)報（理學(xué)版） 2021年1期2021-03-24
- 基于樸素Bayes組合的簡易集成分類器①
素Bayes 分類器是一種簡單易用的分類器,在文本分類方面表現(xiàn)出色[1–4].垃圾郵件過濾是它最為成功的商業(yè)應(yīng)用[5].到現(xiàn)在一直有人嘗試把它應(yīng)用于各種領(lǐng)域[6–9].樸素Bayes 分類器建立在條件獨立假設(shè)的基礎(chǔ)上:其中,一個只和x有關(guān)的系數(shù)被省略了.而這個假設(shè)比較強(qiáng),通常無法被滿足;計算出的后驗概率和實際值也相差較大.不過,樸素Bayes 分類器卻不會因此而受太大影響[10].實際上,樸素Bayes 分類器是一種可加模型[1],即有下述分解:歷史上人們
計算機(jī)系統(tǒng)應(yīng)用 2021年2期2021-02-23
- 自適應(yīng)概念漂移問題的增量集成分類算法*
持續(xù)到達(dá)的，在分類器學(xué)習(xí)過程中要求對每個樣本只進(jìn)行一次處理，對內(nèi)存使用和處理時間上也提出更高的要求[4]。此外還要求更新現(xiàn)有分類器以適應(yīng)新概念的同時又不影響對舊數(shù)據(jù)的分類性能，這就造成了“穩(wěn)定性-可塑性困境”[5]。集成分類器可以選擇性地刪除或添加弱分類器，比較適合處理概念漂移問題，依據(jù)每次輸入樣本數(shù)量不同，集成算法可分為在線學(xué)習(xí)和批量學(xué)習(xí)兩類，在線學(xué)習(xí)每次處理一個樣本，而批量學(xué)習(xí)每次處理一個數(shù)據(jù)塊，數(shù)據(jù)塊包含多個樣本。典型的批量學(xué)習(xí)集成算法，當(dāng)一個新的數(shù)
計算機(jī)與生活 2020年7期2020-07-10
- 基于動態(tài)策略的多源遷移學(xué)習(xí)數(shù)據(jù)流分類研究
到的多個源領(lǐng)域分類器進(jìn)行集成來對目標(biāo)領(lǐng)域新到樣本進(jìn)行分類,能夠解決源領(lǐng)域和目標(biāo)領(lǐng)域相似度較低以及目標(biāo)領(lǐng)域標(biāo)注樣本不足的問題[5-7]。根據(jù)多源領(lǐng)域分類器的不同集成方式,可以將多源領(lǐng)域分類器集成分為多源領(lǐng)域分類器直接集成和多源領(lǐng)域分類器選擇集成兩類。多源領(lǐng)域分類器直接集成的方法將所有源領(lǐng)域分類器進(jìn)行集成。文獻(xiàn)[8]建立一種多源遷移學(xué)習(xí)算法OMS-TL,該算法根據(jù)二部圖實現(xiàn)對目標(biāo)領(lǐng)域樣本的預(yù)測,通過對數(shù)據(jù)樣本進(jìn)行重用來實現(xiàn)遷移學(xué)習(xí)。文獻(xiàn)[9]設(shè)計OTLMS算法
計算機(jī)工程 2020年5期2020-05-18
- 基于動態(tài)分類器集成系統(tǒng)的卷煙感官質(zhì)量預(yù)測方法
究大多使用單一分類器對卷煙感官質(zhì)量進(jìn)行預(yù)測。數(shù)據(jù)挖掘研究[10]表明，目前還不存在一種分類學(xué)習(xí)算法可以在任何情況下都比其他分類算法表現(xiàn)出更好的性能[10]。即使是針對同一分類問題，針對不同的預(yù)測樣本的特點，不同的分類算法也表現(xiàn)出不同的分類效果。基于這個事實，研究人員提出了動態(tài)選擇分類器，并且成為了數(shù)據(jù)挖掘領(lǐng)域重要的研究方向。另一方面，文獻(xiàn)[11-12]表明，集成學(xué)習(xí)能夠有效改善學(xué)習(xí)效果，并且對不同分類問題具有良好的魯棒性。結(jié)合動態(tài)分類器選擇和集成學(xué)習(xí)優(yōu)勢，
計算機(jī)應(yīng)用與軟件 2020年1期2020-01-14
- 基于特征選擇的SVM選擇性集成學(xué)習(xí)方法
使用多個單獨的分類器通過投票的方式來綜合分析判斷。其中的基分類器類型又可以分為兩類：異質(zhì)類型和同質(zhì)類型。其中生成同質(zhì)類型分類器的方法主要有：Bagging(bootstrap aggregating)算法[2]和Boosting算法[3]。Bagging是一種可以并行執(zhí)行的方法，其產(chǎn)生的訓(xùn)練子集通過有放回的數(shù)據(jù)抽樣產(chǎn)生，最后將由訓(xùn)練數(shù)據(jù)產(chǎn)生的各個基分類器進(jìn)行集成組合。而Boosting方法構(gòu)成最終分類器的方式，則是給各個分類器賦予不同的權(quán)重來集合完成。之前
電子技術(shù)與軟件工程 2019年18期2019-11-18
- DAGSVM 多分類技術(shù)研究
VM 的多類別分類器，它引入了OVO 分類器中利用每兩個類別作為基礎(chǔ)二類分類器的方法，保證了分類的準(zhǔn)確率，而且采用了有向無環(huán)圖結(jié)構(gòu)，使得每次分類只需要k-1個分類器，大大提升了分類的效率。但是由于采用了層次結(jié)構(gòu)，也保留了層次結(jié)構(gòu)固有的的缺陷：誤差累積，在上層的節(jié)點產(chǎn)生的錯誤會一直保留下來，因此，距離根節(jié)點越近的節(jié)點，對整個結(jié)構(gòu)的分類結(jié)果影響越大。而DAG-SVM 的節(jié)點選取方式采用了隨機(jī)的方式，這就使得最終的分類結(jié)果十分的不穩(wěn)定。另外，由于采用了與一對一相
數(shù)字通信世界 2019年7期2019-08-23
- 一種自適應(yīng)子融合集成多分類器方法
決這樣的問題，分類器融合技術(shù)成為了模式識別領(lǐng)域的一個重要技術(shù)。當(dāng)前許多研究表明，多分類器融合技術(shù)對于模式識別的性能有較大的提高[1-3]。目前多分類器融合技術(shù)已經(jīng)在很多領(lǐng)域上得到實踐，例如圖像分類、語音識別、手寫技術(shù)識別等[4]。模式識別領(lǐng)域統(tǒng)一將分類器技術(shù)劃分為以下兩種形式：分類器動態(tài)選擇[5]和分類器融合。動態(tài)分類器選擇方法的核心思想是：預(yù)測當(dāng)前識別任務(wù)多分類器系統(tǒng)中識別最準(zhǔn)確的基分類器，選擇預(yù)測的基分類器作為多分類器系統(tǒng)融合決策的輸出。而分類器融合方
計算機(jī)測量與控制 2019年4期2019-05-08
- 一種基于樣本近鄰分類精度的支持向量機(jī)集成方法
集合多個SVM分類器， 可以提高系統(tǒng)的泛化能力[4-6]. Zhou[3]等人在研究中進(jìn)一步發(fā)現(xiàn)， 選擇部分SVM分類器集成， 性能要優(yōu)于使用所有個體SVM分類器. 文獻(xiàn)[4]構(gòu)建了二級SVM分類器， 利用投票法集成. 文獻(xiàn)[6]提出了多級支持向量機(jī). 文獻(xiàn)[7]將灰色理論引入SVM的集成， 進(jìn)行預(yù)測等. 這些研究為SVM的集成學(xué)習(xí)提供了新的思路[8-10]. 但實際應(yīng)用中， 分類器常常需要隨著新樣本的特征， 能自動調(diào)整， 以增加自適應(yīng)性.基于此， 本文提
中北大學(xué)學(xué)報(自然科學(xué)版) 2019年2期2019-04-09
- 基于Adaboost的行人檢測綜述
作為正樣本進(jìn)行分類器訓(xùn)練。該類算法魯棒性較好。因此，本文系統(tǒng)地分析了Adaboost弱分類器和強(qiáng)分類器的迭代，描述了Haar特征的提取和積分圖的計算方法，最后給出了Adaboost分類器的訓(xùn)練過程和完整分類流程，并總結(jié)了該算法的優(yōu)缺點。1 AdaBoost算法1.1 AdaBoost概述AdaBoost是迭代算法。它的原理是利用一個訓(xùn)練樣本進(jìn)行特征提取,從而訓(xùn)練出各個不同的弱分類器,然后將這些弱分類器組合成一個能力很強(qiáng)的強(qiáng)分類器。具體流程:(1)初始化每一
電子制作 2019年1期2019-01-21
- 一種新穎的識別酶EC編號的計算方法
構(gòu)造了一種新的分類器來識別酶的EC編號。為了訓(xùn)練這個分類器,所有的酶以及它們的EC編號都是從ENZYME數(shù)據(jù)庫中檢索出來的[13]。不同于以前把酶分為幾類的方法,在本文中是把一個酶和它的所屬EC編號配對為一個正樣本。負(fù)樣本隨機(jī)被產(chǎn)生并且產(chǎn)生的個數(shù)和正樣本的個數(shù)一樣多。然后,酶的EC編號的確定問題被轉(zhuǎn)換成一個二分類問題,即,測定一個酶和一個EC編號是否可以配對。從蛋白質(zhì)相互作用數(shù)據(jù)庫STRING（https://string-db.org/,version
現(xiàn)代計算機(jī) 2018年24期2018-10-15
- 用于SAR圖像海面溢油自動識別的Bagging-AdaBoost決策樹分類器系統(tǒng)
個高檢測率的單分類器。實際上，獲得一個高檢測率及優(yōu)秀泛化性能和穩(wěn)定性能的強(qiáng)單分類器是相當(dāng)困難的，因此，Schipire等于1990年代在計算機(jī)學(xué)習(xí)領(lǐng)域提出了將多個弱分類器組合為強(qiáng)分類器的算法[24]，其中包括Boosting算法及其改進(jìn)型AdaBoost算法[25-26]和Bagging算法[30-31]。這些算法在計算機(jī)領(lǐng)域已成為分類器性能增強(qiáng)的通用方法。2006年，Geraldo L B Ramalho等在模式識別國際會議上首次以神經(jīng)網(wǎng)絡(luò)作為Boost
中國海洋大學(xué)學(xué)報（自然科學(xué)版） 2018年10期2018-10-12
- 使用混合差異性度量的分類器選擇方法*
001 引言多分類器集成的目的是為了獲得更好的識別性能，在該項技術(shù)的研究過程中，可以很輕松地獲取大量分類器集合并通過某種手段進(jìn)行融合。但是這種做法存在一些弊端：首先隨著分類器數(shù)量的增加勢必會加大存儲空間與運行時間的消耗；其次是經(jīng)過研究發(fā)現(xiàn)，當(dāng)分類器數(shù)量過大時，反而會由于分類器間差異度的減小而降低識別率[1]。因此分類器的選擇成為集成學(xué)習(xí)的重要研究方向之一，即從大量的分類器集合中挑選出具有一定差異度與準(zhǔn)確率的分類器參與集成。通常研究人員認(rèn)為集成若干完全一致的
計算機(jī)與生活 2018年9期2018-09-12
- 基于AHP的SMOTEBagging改進(jìn)模型
模型，它將多個分類器的預(yù)測結(jié)果進(jìn)行集成，得到相比于單個分類器更穩(wěn)定更準(zhǔn)確的預(yù)測結(jié)果，有著廣泛的應(yīng)用[1～2]。在實際應(yīng)用過程中，常常會面臨數(shù)據(jù)不平衡的問題，比如信用風(fēng)險預(yù)測中，違約用戶的數(shù)量是遠(yuǎn)少于正常用戶的數(shù)量的，在病情診斷中，檢查呈陽性的樣本數(shù)量總是少于呈陰性的樣本數(shù)量。在這些應(yīng)用中，少類樣本往往才是最重要的樣本[3～4]，傳統(tǒng)分類模型會傾向于將樣本預(yù)測為數(shù)量較多的那一類樣本，導(dǎo)致對少類樣本的預(yù)測準(zhǔn)確率較差[5]。Bagging模型不能直接用于處理不平
電子科技大學(xué)學(xué)報(社科版) 2018年4期2018-08-16
- 基于差異性和準(zhǔn)確性的加權(quán)調(diào)和平均度量的基因表達(dá)數(shù)據(jù)選擇性集成算法
通過結(jié)合多個基分類器以提高整體泛化性能的算法［2］。常 見 的 集 成 學(xué) 習(xí) 算 法 有 Bagging［3］、Boosting［4］等。Tumer等［5］指出基分類器之間的差異性和基分類器自身的準(zhǔn)確性是決定集成系統(tǒng)泛化性能的兩個重要因素;周志華［6］也提出基分類器的差異性越大、準(zhǔn)確性越高，則集成的效果越好;張春霞等［7］指出基分類器的差異性難以衡量，現(xiàn)有的選擇性集成算法大多只考慮到基分類器之間的差異性而忽略基分類器自身的準(zhǔn)確性;陸慧娟等［8］提出了一種
計算機(jī)應(yīng)用 2018年5期2018-07-25
- 基于并行組合分類器的脫機(jī)手寫體數(shù)字識別
鑒于傳統(tǒng)的單一分類器對數(shù)字之間差異的敏感性不同，許多學(xué)者開始研究組合分類器所產(chǎn)生的效果[2]。文獻(xiàn)[3]使用四種特征和三種傳統(tǒng)分類器構(gòu)造了九種不同的分類器進(jìn)行組合。文獻(xiàn)[4]構(gòu)造了兩級的組合分類器，第一級是最小距離分類器，第二級由三個反向傳播網(wǎng)絡(luò)并聯(lián)而成。文獻(xiàn)[5]提出了一種基于量子神經(jīng)網(wǎng)絡(luò)的二級識別系統(tǒng)。這些方法雖然在一定程度上提高了識別率與可靠性，但分類器的組合結(jié)構(gòu)卻十分復(fù)雜，因此識別速度隨之下降。文中提出使用一種特征、三種分類器、并行結(jié)構(gòu)組織的組合分
計算機(jī)技術(shù)與發(fā)展 2018年3期2018-03-20
- 利用多分類器自適應(yīng)級聯(lián)模型的高分二號影像分類
830)利用多分類器自適應(yīng)級聯(lián)模型的高分二號影像分類王 耀1,2，楊化超1，王光輝1,2，黃 杰1,2，王 更1,2，劉 笑1,2(1. 中國礦業(yè)大學(xué)，江蘇 徐州 221116； 2. 國家測繪地理信息局衛(wèi)星測繪應(yīng)用中心, 北京 100830)針對傳統(tǒng)單一分類器分類效果不夠理想，存在各自的不足，以及已有的多分類器級聯(lián)模型不能根據(jù)待識別樣本特征進(jìn)行動態(tài)調(diào)整優(yōu)化等問題，提出了一種基于多分類器自適應(yīng)級聯(lián)模型的遙感影像分類方法。該模型選取各類別最優(yōu)分類器進(jìn)行級聯(lián)組
測繪通報 2017年11期2017-12-05
- 基于差異性測度的遙感自適應(yīng)分類器選擇
度的遙感自適應(yīng)分類器選擇文/李光麗 王瑋哲 姚樂樂 李霖 馬天舒遙感影像分類在遙感專題信息提取、動態(tài)變化監(jiān)測等應(yīng)用中都發(fā)揮著重要作用。現(xiàn)階段遙感分類器與分類方法很多，造成了遙感分類結(jié)果的差異性或多樣性，多分類器組合已成為提高遙感分類精度有效的途徑。但并非所有的分類器組合都能提高分類精度，如何選擇合適的分類器組合非常重要。通過構(gòu)建基于差異性測度的啟發(fā)式搜索算法，實現(xiàn)分類器成員的自適應(yīng)選擇，選用AVIRIS數(shù)據(jù)進(jìn)行試驗，結(jié)果表明，基于差異性測度的啟發(fā)式搜索有助
電子技術(shù)與軟件工程 2017年14期2017-09-08
- 基于實例的強(qiáng)分類器快速集成方法
)基于實例的強(qiáng)分類器快速集成方法許業(yè)旺1*，王永利1，趙忠文21.南京理工大學(xué) 計算機(jī)科學(xué)與工程學(xué)院，南京 210094； 2.裝備學(xué)院 復(fù)雜電子系統(tǒng)仿真重點實驗室，北京 101416)(*通信作者電子郵箱381181495@qq.com)針對集成分類器由于基分類器過弱，需要犧牲大量訓(xùn)練時間才能取得高精度的問題，提出一種基于實例的強(qiáng)分類器快速集成方法——FSE。首先通過基分類器評價方法剔除不合格分類器，再對分類器進(jìn)行精確度和差異性排序，從而得到一組精度最高
計算機(jī)應(yīng)用 2017年4期2017-06-27
- 基于AdaBoost算法的在線連續(xù)極限學(xué)習(xí)機(jī)集成算法
ELM）作為基分類器，根據(jù)AdaBoost集成各個基分類器，用AdaBoost集成分類器的權(quán)值，得出最終結(jié)果。實驗結(jié)果表明，該方法具有較高的準(zhǔn)確率。關(guān)鍵詞：AdaBoost；在線連續(xù)極限學(xué)習(xí)機(jī)；集成算法DOI：10.11907/rjdk.162759中圖分類號：TP312文獻(xiàn)標(biāo)識碼：A文章編號：16727800（2017）0040049020引言 隨著不均衡數(shù)據(jù)不斷涌現(xiàn)，針對不均衡數(shù)據(jù)分類算法的研究方興未艾。針對數(shù)據(jù)分類的主要有基于支持向量機(jī)（SVM）[1
軟件導(dǎo)刊 2017年4期2017-06-20
- 采用互補信息熵的分類器集成差異性度量方法
用互補信息熵的分類器集成差異性度量方法趙軍陽1,2,韓崇昭2,韓德強(qiáng)2,張春霞3(1.第二炮兵工程大學(xué)202教研室, 710025, 西安;2.西安交通大學(xué)電子與信息工程學(xué)院, 710049, 西安;3.西安交通大學(xué)數(shù)學(xué)與統(tǒng)計學(xué)院, 710049, 西安)針對多分類器系統(tǒng)差異性評價中無法直接處理模糊數(shù)據(jù)的問題,提出了一種采用互補信息熵的分類器集成差異性度量(CIE)方法。首先利用訓(xùn)練數(shù)據(jù)生成一系列基分類器,并對測試數(shù)據(jù)進(jìn)行分類,將分類結(jié)果依次組合生成分類數(shù)
西安交通大學(xué)學(xué)報 2016年2期2016-12-21
- 基于垂直數(shù)據(jù)格式頻繁閉項集的選擇性集成算法的研究
性集成通過對基分類器進(jìn)行選擇來提高集成分類器的泛化能力，降低預(yù)測開銷。模式挖掘是一種將問題轉(zhuǎn)化為事務(wù)數(shù)據(jù)庫中模式的全新挖掘策略。本文將垂直數(shù)據(jù)格式頻繁閉項集的模式挖掘方法應(yīng)用于分類器的選擇過程，利用垂直數(shù)據(jù)結(jié)構(gòu)、頻繁閉項集及模式挖掘方法的優(yōu)勢，提出一種預(yù)測性能更好、更加高效的選擇性集成分類算法。選擇性集成；垂直數(shù)據(jù)格式；頻繁閉項集；模式挖掘；分類器分類器集成是將若干個學(xué)習(xí)得到的基分類器以某種方式組合來解決同一個學(xué)習(xí)任務(wù)，國際機(jī)器學(xué)習(xí)界的權(quán)威學(xué)者Diette
電子設(shè)計工程 2016年19期2016-11-09
- 基于在線遷移學(xué)習(xí)的重現(xiàn)概念漂移數(shù)據(jù)流分類
剛學(xué)習(xí)的一個基分類器，然后計算最近的樣本與存儲的各歷史分類器之間的領(lǐng)域相似度，以選擇最適合對后續(xù)樣本進(jìn)行學(xué)習(xí)的源分類器，從而改善從源領(lǐng)域到目標(biāo)領(lǐng)域的知識遷移.另外，RC-OTL還在概念漂移檢測之前根據(jù)分類準(zhǔn)確率選擇合適的分類器對后續(xù)樣本分類.初步的理論分析解釋了RC-OTL為什么能有效克服“負(fù)遷移”，實驗結(jié)果進(jìn)一步表明：RC-OTL的確能有效提高分類準(zhǔn)確率，并且在遭遇概念漂移后能更快地適應(yīng)后續(xù)樣本.概念漂移；遷移學(xué)習(xí)；重現(xiàn)概念；在線學(xué)習(xí)；負(fù)遷移隨著大數(shù)據(jù)時
計算機(jī)研究與發(fā)展 2016年8期2016-08-31
- 近紅外光譜和多分類器融合的葡萄酒品種判別研究
近紅外光譜和多分類器融合的葡萄酒品種判別研究李 凱1，李雪瑩1，欒麗麗1，胡文雁1，王宇恒1，李景明2*，李軍會1，勞彩蓮1，趙龍蓮1*1. 中國農(nóng)業(yè)大學(xué)信息與電氣工程學(xué)院，北京 100083 2. 中國農(nóng)業(yè)大學(xué)食品科學(xué)與營養(yǎng)工程學(xué)院，北京 100083將多種單分類器模型融合，并用融合后的模型對不同品種干紅葡萄酒進(jìn)行判別分析。用BRUKER MPA傅里葉變換型近紅外光譜儀采集170個干紅葡萄酒樣品的近紅外透射光譜，選取PLS-DA，SVM，F(xiàn)isher和A
光譜學(xué)與光譜分析 2016年11期2016-07-12
- 基于弱分類器調(diào)整的多分類Adaboost算法
24)?基于弱分類器調(diào)整的多分類Adaboost算法楊新武*馬壯袁順 (北京工業(yè)大學(xué)計算機(jī)學(xué)院北京100124)摘要：Adaboost.M1算法要求每個弱分類器的正確率大于1/2，但在多分類問題中尋找這樣的弱分類器較為困難。有學(xué)者提出了多類指數(shù)損失函數(shù)的逐步添加模型(SAMME)，把弱分類器的正確率要求降低到大于1/k(k為類別數(shù))，降低了尋找弱分類器的難度。由于SAMME算法無法保證弱分類器的有效性，從而并不能保證最終強(qiáng)分類器正確率的提升。為此，該文通過
電子與信息學(xué)報 2016年2期2016-04-20
- 半動態(tài)集成選擇分類方法
引言近年來，多分類器系統(tǒng)(MCS)得到了越來越廣泛的關(guān)注，并且已經(jīng)成功應(yīng)用到多個領(lǐng)域，比如風(fēng)險評估［1］、文本分類［2］、以及變化檢測［3］、故障診斷［4］、遙感分類［5］等。目前，已經(jīng)提出一些經(jīng)典的集成策略，比 如Bagging［6-7］、Boosting［8-9］和隨機(jī)子空間方法［10-11］。由于以上這些方法中的每一個子分類器都要為測試樣本輸出一個結(jié)果，可能會存在冗余，而這會導(dǎo)致較高的計算復(fù)雜度。更為嚴(yán)重的是，如果子分類器集合中存在弱分類器，那么分類
計算機(jī)與現(xiàn)代化 2015年2期2015-11-26
- AdaBoost人臉檢測定點型優(yōu)化算法
de瀑布式級聯(lián)分類器中弱分類器與強(qiáng)分類器分類計算的特點，有效分解了弱分類器與強(qiáng)分類器的計算過程，從而現(xiàn)實了強(qiáng)分類器與弱分類器相關(guān)模型參數(shù)有效分離標(biāo)定。優(yōu)化算法進(jìn)一步利用圖像積分圖及弱分類器計算特點，完成對弱分類器計算過程及相關(guān)模型參數(shù)的定點型轉(zhuǎn)化；同時，利用強(qiáng)分類器浮點的計算精度要求，完成強(qiáng)分類器計算過程及相關(guān)模型參數(shù)的定點型轉(zhuǎn)化。該定點型AdaBoost人臉檢測方法計算精度逼近原浮點型算法計算精度，保持了較高的人臉檢測正確率，并利于后期的SIMD并行計算
電子科技大學(xué)學(xué)報 2015年4期2015-10-09
- 淺談多分類器動態(tài)集成技術(shù)
的準(zhǔn)確性是衡量分類器性能的最重要指標(biāo)之一，集成分類器的目的在于獲得高性能的分類結(jié)果。分類器集成主要是通過對多個單分類器進(jìn)行組合來提高分類性能。盡管傳統(tǒng)的集成分類技術(shù)已經(jīng)應(yīng)用到很多領(lǐng)域，但隨著科技的發(fā)展，人們對應(yīng)用結(jié)果有了更高的要求。這就意味著人們希望通過對傳統(tǒng)的靜態(tài)集成分類技術(shù)的改進(jìn)，得到滿足應(yīng)用領(lǐng)域深層次要求的高性能的集成算法。于是，多分類器動態(tài)集成技術(shù)應(yīng)運而生，研究分類器集成技術(shù)以提高集成分類的性能指標(biāo)，已成為眾多領(lǐng)域的研究熱點。1 多分類器集成1.1
科技視界 2015年24期2015-08-22
- 基于混合多樣性生成與修剪的集成單類分類算法
直接應(yīng)用于單類分類器效果不理想的問題，該文首先證明了集成學(xué)習(xí)方法能夠提升單類分類器的性能，同時證明了若基分類器集不經(jīng)選擇會導(dǎo)致集成后性能下降；接著指出了經(jīng)典集成方法直接應(yīng)用于單類分類器集成時存在基分類器多樣性嚴(yán)重不足的問題，并提出了一種能夠提高多樣性的基單類分類器混合生成策略；最后從集成損失構(gòu)成的角度拆分集成單類分類器的損失函數(shù)，針對性地構(gòu)造了集成單類分類器修剪策略并提出一種基于混合多樣性生成和修剪的單類分類器集成算法，簡稱為PHD-EOC。在UCI標(biāo)準(zhǔn)數(shù)
電子與信息學(xué)報 2015年2期2015-07-18
- 一種基于權(quán)重融合的JPEG隱寫分析方法
出一種基于集成分類器的新檢測方法。算法以CC-PEV為特征對圖像進(jìn)行描述并作為隱寫分析特征；然后，隨機(jī)構(gòu)造若干個特征子空間，用bootstrap方法構(gòu)造圖像訓(xùn)練子集，分別進(jìn)行訓(xùn)練得到數(shù)個基分類器；根據(jù)基分類器的分類結(jié)果賦予基分類器不同的權(quán)重，將基分類器的結(jié)果按照其權(quán)重進(jìn)行融合得到最終的結(jié)果。本文對該算法進(jìn)行了測試，對它的集成性、檢測準(zhǔn)確率和訓(xùn)練時間進(jìn)行分析。實驗結(jié)果表明，相對于傳統(tǒng)的集成方法，本文方法用自舉方法構(gòu)造訓(xùn)練集、隨機(jī)方法構(gòu)造子特征空間、賦予基分類
液晶與顯示 2015年2期2015-06-10
- 人臉檢測的繼承式集成學(xué)習(xí)方法＊
Stump）弱分類器為基礎(chǔ)，以善于解決高維樣本分類問題的集成學(xué)習(xí)算法AdaBoost為核心，以能夠極大地加快檢測速度的層疊結(jié)構(gòu)（Cascade Structure）為翅膀，維爾納（Viola P）和瓊斯（Jones M）［1］在2001年提出的人臉檢測器取得了該研究領(lǐng)域中的飛躍性進(jìn)展。他們用AdaBoost算法在多個不同的訓(xùn)練集上訓(xùn)練出多個強(qiáng)分類器，再用層疊結(jié)構(gòu)將它們組織成層疊分類器，大大地加快了人臉檢測的速度。在這樣的基本層疊分類器BCC（Basic C
計算機(jī)工程與科學(xué) 2015年1期2015-04-01
- 一種改進(jìn)的AdaBoost人臉檢測算法
VM算法訓(xùn)練弱分類器，并結(jié)合AdaBoost算法組成特征選擇與泛化能力更好的強(qiáng)分類器，提出一種AdaBoost-SVM算法。Ma Songyan等［5］結(jié)合膚色檢測與AdaBoost算法，采用膚色模型過濾檢測圖像，并用AdaBoost算法在候選區(qū)域進(jìn)行精準(zhǔn)檢測。盡管這些改進(jìn)使AdaBoost算法的收斂速度達(dá)到了對數(shù)級水平，但AdaBoost算法在訓(xùn)練強(qiáng)分類器的過程中刪除了部分分類器(如錯誤率＞0.5)，對噪聲數(shù)據(jù)比較敏感，尤其是有難分樣本點存在時，生成的弱
桂林電子科技大學(xué)學(xué)報 2015年3期2015-04-01
- 基于貝葉斯分類器的骨肉瘤MRI成像輔助診斷的研究
提出利用貝葉斯分類器對骨肉瘤MRI成像進(jìn)行診斷的方法。該方法將患者的骨肉瘤病灶MRI成像的紋理、顏色、粗糙度等特征進(jìn)行提取，通過貝葉斯分類器對病灶進(jìn)行自動分析、識別，來精確判斷骨肉瘤的良惡性及腫瘤范圍，從而幫助醫(yī)生提高診斷的敏感性和特異性。1 貝葉斯分類器貝葉斯分類器的分類原理是通過某對象的先驗概率，利用貝葉斯公式計算出其后驗概率，即該對象屬于某一類的概率，選擇具有最大后驗概率的類作為該對象所屬的類。貝葉斯網(wǎng)絡(luò)中包含類節(jié)點C，其中C的取值來自于類集合(c1
長春師范大學(xué)學(xué)報 2014年4期2014-12-29
- 基于多分類器組合的高光譜圖像波段選擇方法
，構(gòu)成一種智能分類器，進(jìn)行高光譜遙感圖像分類。吳昊等[8]將分組的概念引入波段選擇中，利用條件互信息將波段分成若干組，再使用支持向量機(jī)和遺傳算法相結(jié)合的搜索算法(GA－SVM)搜索出相對最優(yōu)的波段組合。Yang等提出了最小估計豐度協(xié)方差(MEAC)的波段選擇方法[9]，在選擇過程中估計候選波段與已經(jīng)選擇波段的豐度協(xié)方差矩陣的跡。葛亮等為使無監(jiān)督的波段選擇能夠更好地保留高光譜圖像的鑒別信息，提出一種基于波段聚類的高光譜圖像波段選擇方法[10]。王立國與魏芳潔
智能系統(tǒng)學(xué)報 2014年3期2014-11-26
- 基于Adaboost的人臉檢測算法研究
矩形特征組成強(qiáng)分類器，從而使分類器的速度大大提高。此外，構(gòu)造層疊分類器，首先簡單的強(qiáng)分類器排除大多數(shù)非人臉窗口，減輕復(fù)雜分類器的負(fù)擔(dān)，進(jìn)而提高速度?！娟P(guān)鍵詞】Adaboost；人臉檢測1.人臉特征的選取Haar-Like特征是Viola等提出的一種簡單矩形特征，因類似于Haar小波而得名。Haar-Like特征的定義是由兩個或多個全等的矩形相鄰組合而成，特征模板內(nèi)有白色和黑色兩種矩形。將此特征模板的特征值定義為白色矩形像素灰度和減去黑色矩形像素灰度和?？梢?/div>
電子世界 2014年12期2014-10-21
- 利用旋轉(zhuǎn)森林變換的異構(gòu)多分類器集成算法
林變換的異構(gòu)多分類器集成算法毛莎莎,熊 霖,焦李成,張 爽,陳 博(西安電子科技大學(xué)智能感知與圖像理解教育部重點實驗室,陜西西安 710071)為了增強(qiáng)集成系統(tǒng)中各分類器之間的差異性,提出了一種使用旋轉(zhuǎn)森林策略集成兩種不同模型分類器的方法,即異構(gòu)多分類器集成學(xué)習(xí)算法.首先采用旋轉(zhuǎn)森林對原始樣本集進(jìn)行變換劃分,獲得新的樣本集;然后通過特定比例選擇分類精度高的支撐矢量機(jī)或分類速度較快的核匹配追蹤作為基本的集成個體分類器,并對新樣本集進(jìn)行分類,獲得其預(yù)測標(biāo)記;最西安電子科技大學(xué)學(xué)報 2014年5期2014-07-25
- 一種基于置換的組合分類器剪枝方法
訓(xùn)練信息，組合分類器往往比單個分類器表現(xiàn)出更好的泛化能力，這是因為其創(chuàng)建有差異且具備高準(zhǔn)確率的基分類器。構(gòu)建有差異且具備高準(zhǔn)確率組合分類器的方法有很多。例如，通過抽樣為每個基分類器構(gòu)建有差異的訓(xùn)練集；通過操縱特征基將訓(xùn)練集映射到不同的特征空間，進(jìn)而為基分類器構(gòu)建不同的訓(xùn)練集(如COPEN[1])；通過操縱算法的參數(shù)或結(jié)構(gòu)從而構(gòu)建準(zhǔn)確且有差異的組合分類器。然而，大部分組合分類器的方法存在一個共同的問題：傾向于構(gòu)建大量的基分類器，這樣不但需要大量的存儲空間，而中原工學(xué)院學(xué)報 2014年4期2014-04-01
- 動態(tài)自適應(yīng)加權(quán)的多分類器融合詞義消歧模型
的構(gòu)建其實就是分類器的構(gòu)建。由于不同分類器在不同領(lǐng)域的表現(xiàn)效果不同，因此，近年來集成學(xué)習(xí)方法成為機(jī)器學(xué)習(xí)領(lǐng)域的發(fā)展趨勢［1］，采用多分類器融合方法建立詞義消歧模型的技術(shù)越來越受到研究者的關(guān)注，并在實際中得到應(yīng)用［2－3］。多分類器融合就是通過某種規(guī)則將多個基分類器的判定結(jié)果融合起來，使得各基分類器之間相互彌補，得到系統(tǒng)最終的決策結(jié)果。構(gòu)建多分類器融合詞義消歧模型的工作一般由四步構(gòu)成［4］，包括模型參數(shù)輸入、基分類器的設(shè)計與選擇、模型體系結(jié)構(gòu)、融合規(guī)則。模型中文信息學(xué)報 2012年1期2012-10-15
- 基于集成支持向量機(jī)的故障診斷方法研究
通過訓(xùn)練多個基分類器，并將結(jié)果按一定的方法進(jìn)行集成，可以顯著地提高分類系統(tǒng)的泛化能力，許多學(xué)者對其進(jìn)行了廣泛的研究，許多學(xué)者開始致力于研究集成學(xué)習(xí)的理論基礎(chǔ)和進(jìn)行算法設(shè)計［1－2］。支持向量機(jī) (Support Vector Machines，SVM)是基于統(tǒng)計學(xué)習(xí)理論的一種適合高維、小樣本數(shù)據(jù)分類的學(xué)習(xí)器。和傳統(tǒng)的學(xué)習(xí)機(jī)器相比，它可以獲得和可利用樣本相匹配的學(xué)習(xí)能力，從而可以具有很好的推廣能力，在模式識別方面有很重要的應(yīng)用［3］。SVM具有較好的泛化能力電光與控制 2012年2期2012-08-27
- 基于多分類器組合的遙感影像分類方法研究
083)基于多分類器組合的遙感影像分類方法研究彭正林，毛先成，劉文毅，何美香(中南大學(xué)地學(xué)與環(huán)境工程學(xué)院，長沙410083)針對遙感影像分類特點，提出了一種基于多分類器組合的遙感影像分類方法。該方法選取分類性能以及多樣性最好的馬氏距離、支持向量機(jī)(SVM)和最大似然等3種分類器作為子分類器，自定義規(guī)則對簡單投票法、最大概率類別法以及模糊積分法進(jìn)行組合，并以山西懷仁縣為研究區(qū)，對基于航攝數(shù)字正射影像進(jìn)行分類。結(jié)果表明，與單個子分類器中精度最高的SVM分類相比自然資源遙感 2011年2期2011-09-07
- 基于多分類器融合的語音識別方法研究
立模板庫、以及分類器的設(shè)計等幾個步驟。計算機(jī)通過對音頻采集工具獲得的語音信息進(jìn)行分析，求取能夠反映語音本質(zhì)的一系列語音特征，最后使用分類器與訓(xùn)練模板進(jìn)行比對得出識別結(jié)果。顯然，在此過程中，分類器的設(shè)計是語音識別系統(tǒng)性能好壞的關(guān)鍵。目前用于語音識別的分類方法有:采用判別函數(shù)或準(zhǔn)則的方法;隱馬爾科夫(hidden merkovmodel，HMM)模型的方法;人工神經(jīng)網(wǎng)絡(luò)(artificial neural network，ANN)的方法;支持向量機(jī)(suppo重慶郵電大學(xué)學(xué)報(自然科學(xué)版) 2011年4期2011-02-26
- 利用旋轉(zhuǎn)森林變換的異構(gòu)多分類器集成算法