隱層
- 修正的線性和冪函數(shù)的神經(jīng)網(wǎng)絡(luò)算子的構(gòu)造與逼近
的一種模型就是單隱層前向神經(jīng)網(wǎng)絡(luò),其數(shù)學(xué)表達式為其中aj是連接隱層與輸出層之間的權(quán)值(也稱外權(quán)),x∈Rd是網(wǎng)絡(luò)的輸入,ωj∈Rd是連接輸入層與隱層之間的權(quán)值(也稱內(nèi)權(quán)),bj是閾值或偏置, 而φ是定義在R上的激活函數(shù),n是隱層神經(jīng)元的個數(shù). 第二種是近年來引起人們極大興趣的, 在計算機視覺、自然語言處理及模式識別等領(lǐng)域取得突破性成功應(yīng)用的深度網(wǎng)絡(luò)或多隱層神經(jīng)網(wǎng)絡(luò). 由于深度網(wǎng)絡(luò)有多個隱層, 從而其網(wǎng)絡(luò)的拓撲結(jié)構(gòu)就較單隱層而言更復(fù)雜, 且網(wǎng)絡(luò)隱層數(shù)越多,
紹興文理學(xué)院學(xué)報(自然科學(xué)版) 2022年4期2022-11-17
- 基于GABP神經(jīng)網(wǎng)絡(luò)的供應(yīng)鏈合作伙伴評價方法
三層，即輸入層、隱層以及輸出層，輸入層和輸出層節(jié)點個數(shù)根據(jù)任務(wù)確定，重要的是隱層節(jié)點個數(shù)的確定。過多的隱層節(jié)點數(shù)會使新的輸入集難以適應(yīng)該網(wǎng)絡(luò)，而過少的隱層節(jié)點數(shù)會使網(wǎng)絡(luò)的精度受到影響，因此合理選擇隱層節(jié)點數(shù)是BP神經(jīng)網(wǎng)絡(luò)應(yīng)用必須解決的問題之一。文獻[11]中提出設(shè)置隱層節(jié)點數(shù)為ab，其中a、b為輸入和輸出的節(jié)點個數(shù)。但是固定的隱層節(jié)點數(shù)會降低神經(jīng)網(wǎng)絡(luò)的自適應(yīng)性。另一方面，BP神經(jīng)網(wǎng)絡(luò)可將網(wǎng)絡(luò)誤差逆向傳輸從而優(yōu)化節(jié)點間的權(quán)重和閾值，直到誤差滿足要求為止。因此
物流技術(shù) 2022年10期2022-11-05
- 基于RTD可編程邏輯門的n變量函數(shù)實現(xiàn)算法
經(jīng)網(wǎng)絡(luò)由輸入層、隱層和輸出層三層網(wǎng)絡(luò)結(jié)構(gòu)組成[16]。文獻[9]和文獻[17]均基于三層網(wǎng)絡(luò)結(jié)構(gòu)，提出RTD可編程邏輯門的函數(shù)綜合算法，且文獻[17]算法較文獻[9]算法的效率更高、設(shè)計的電路更簡單，但仍存在不足。本文將基于新的定理，提出一種n變量函數(shù)實現(xiàn)算法，能有效解決文獻[17]算法的不足，且算法準確性更高、設(shè)計的電路更簡單。1 相關(guān)理論及RTD可編程邏輯門1.1 相關(guān)理論1.2 RTD可編程邏輯門基于RTD的閾值電路結(jié)構(gòu)通常由MOBILE和輸入分支組
浙江大學(xué)學(xué)報（理學(xué)版） 2022年4期2022-07-25
- 一種自適應(yīng)確定隱層節(jié)點數(shù)的增量半監(jiān)督超限學(xué)習(xí)機算法
自適應(yīng)確定合理的隱層節(jié)點個數(shù)；2) 當隱層節(jié)點數(shù)增加后，如何重新訓(xùn)練網(wǎng)絡(luò)。本文基于流形正則化，在半監(jiān)督超限學(xué)習(xí)機的基礎(chǔ)上，提出了一種增量半監(jiān)督超限學(xué)習(xí)機(Incremental SS-ELM, ISS-ELM)算法。對于給定的學(xué)習(xí)精度，該算法能夠逐個或者成批地增加隱層節(jié)點，并自適應(yīng)確定隱層節(jié)點數(shù)量。在此過程當中，網(wǎng)絡(luò)的外權(quán)矩陣不需要重新訓(xùn)練，只需逐步更新，當隱層節(jié)點數(shù)較大時，能大幅減少半監(jiān)督超限學(xué)習(xí)機的訓(xùn)練時間。2 相關(guān)工作本文在超限學(xué)習(xí)機和半監(jiān)督超限學(xué)習(xí)
復(fù)旦學(xué)報（自然科學(xué)版） 2022年1期2022-06-16
- 基于原型學(xué)習(xí)與深度特征融合的腦功能連接分類方法研究
征跨越模型中間的隱層直接與全連接層連接起來,最后使用該特征來預(yù)測樣本類別.該方法可以有效地將高層次特征和低層次特征結(jié)合起來,在人臉性別分類任務(wù)中獲得了比傳統(tǒng)CNN更高的準確率.李勇等[10]針對LeNet-5 在表情識別中識別率不高的問題提出了一種基于跨連接LeNet-5 網(wǎng)絡(luò)的面部表情識別方法,該方法能夠?qū)⑸窠?jīng)網(wǎng)絡(luò)提取的低層次特征和高層次特征融合,提高了表情識別率.最近,又有研究表明,將原型學(xué)習(xí)與深度學(xué)習(xí)結(jié)合能夠提取到類內(nèi)差異小,類間差異大的鑒別性特征.
自動化學(xué)報 2022年2期2022-03-10
- 基于雙層GRU神經(jīng)網(wǎng)絡(luò)的油田注水預(yù)測方法研究
據(jù)，分別建立了單隱層和雙隱層兩種不同隱層的人工神經(jīng)網(wǎng)絡(luò)（ANN）模型對葉綠素a （Chl-a） 濃度進行了預(yù)測； 文獻［12］ 基于雙層GRU神經(jīng)網(wǎng)絡(luò)和飛蛾火焰優(yōu)化（MFO） 算法提出了一種新型自動駕駛行為決策方法，實驗表明，該方法在汽車自動駕駛的行為決策方面比現(xiàn)有的方法準確性更高。由于注水流量數(shù)據(jù)具有一定的周期性，且當前注水量受上一時刻注水量的影響，為了充分利用該特性，提高注水流量預(yù)測精度，筆者考慮采用GRU神經(jīng)網(wǎng)絡(luò)模型進行注水流量預(yù)測。 但是以往采用G
化工自動化及儀表 2022年1期2022-02-15
- 基于多視圖自編碼器及高斯模糊的缺陷檢測方法
的每個維度與所有隱層特征相連，每個隱層特征與重構(gòu)的每個維度相連，導(dǎo)致模型無法有效地分離缺陷、背景和噪聲信息。雖然AE已經(jīng)有了各種改進，比如稀疏自編碼器[6]、降噪自編碼器[7]、堆棧降噪自編碼器[8]等，但都無法有效提取深層缺陷信息。多視圖學(xué)習(xí)作為機器學(xué)習(xí)的一個分支，因其處理高維數(shù)據(jù)不會引起過擬合而受到歡迎[9-10]。Jia等[11]將多視圖學(xué)習(xí)的所有視圖(輸入數(shù)據(jù))映射到一個公共空間和幾個私有空間。在多視圖學(xué)習(xí)方法中，基于子空間學(xué)習(xí)的方法旨在獲取比輸入
湖北理工學(xué)院學(xué)報 2021年4期2021-08-04
- 充油電氣設(shè)備油色譜故障診斷ANN方法的性能優(yōu)化
；②有文獻給出了隱層神經(jīng)元數(shù)量的選擇方法[23-24]，但不確定對基于油色譜的ANN方法是否適用，關(guān)于隱層神經(jīng)元數(shù)量、隱層和輸出層神經(jīng)元激活函數(shù)選擇和訓(xùn)練目標選擇對基于油色譜的ANN訓(xùn)練速度和診斷準確率的影響未見文獻公開報道。以上問題可能會影響網(wǎng)絡(luò)診斷的準確性，非常有必要進行研究。為了解決這個問題，本文基于搜集得到的470個典型故障特征氣體樣本，構(gòu)建單隱層多層前饋ANN系統(tǒng)，研究訓(xùn)練算法、隱層神經(jīng)元數(shù)量、網(wǎng)絡(luò)輸入和訓(xùn)練目標、隱層和輸出層神經(jīng)元激活函數(shù)對訓(xùn)練
廣東電力 2021年6期2021-07-02
- 卷積神經(jīng)網(wǎng)絡(luò)模型信息的深層安全控制方法及其優(yōu)化
度神經(jīng)網(wǎng)絡(luò)的單一隱層的偏置加入變異因子，只有授權(quán)用戶能夠解耦受控神經(jīng)網(wǎng)絡(luò)，實現(xiàn)對用戶的訪問控制。本文在上述文獻的基礎(chǔ)上，提出卷積神經(jīng)網(wǎng)絡(luò)深層控制方法。當目標模型訓(xùn)練完成，通過在目標神經(jīng)網(wǎng)絡(luò)多個隱層的眾多參數(shù)處加入控制因子，使未授權(quán)用戶無法訪問目標模型。授權(quán)用戶輸入用戶ID使用目標深度神經(jīng)網(wǎng)絡(luò)模型時，目標模型可以對用戶輸入做出正確預(yù)測。2 深度神經(jīng)網(wǎng)絡(luò)多層控制方法2.1 基本思想在人工智能即服務(wù)模式下，用戶能夠通過授權(quán)訪問的方式使用云環(huán)境下深度神經(jīng)網(wǎng)絡(luò)模型，
計算機應(yīng)用與軟件 2021年6期2021-06-21
- 基于多隱層小波卷積極限學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的滾動軸承故障識別
征提取較困難。多隱層自動編碼網(wǎng)絡(luò)[2]能自動地從滾動軸承振動信號中學(xué)習(xí)有價值的特征，克服了傳統(tǒng)基于“人工特征提取+模式識別”方法受主觀影響大的缺陷[3]，在滾動軸承故障識別領(lǐng)域取得了較大突破。文獻[4]在缺少滾動軸承故障信息的情況下，利用多隱層玻爾茲曼網(wǎng)絡(luò)取得了較高的識別準確率；文獻[5]提出的融合多隱層自動編碼網(wǎng)絡(luò)能更有效、更穩(wěn)健地對滾動軸承的多種故障進行識別。自動編碼網(wǎng)絡(luò)[6]不需要標記數(shù)據(jù)，其訓(xùn)練過程為非監(jiān)督過程，因此，可將自動編碼網(wǎng)絡(luò)的思想應(yīng)用到極
工礦自動化 2021年5期2021-06-02
- 基于粒子群優(yōu)化極限學(xué)習(xí)機及電容層析成像的兩相流流型及其參數(shù)預(yù)測
∈Rm,定義一個隱層節(jié)點數(shù)為,激活函數(shù)為g(x)的SLFNs的數(shù)學(xué)模型為[6～7]:(1)式中:j=1,…,N;wi=[wi1,wi2,…,win]T為連接輸入層和第i個隱層節(jié)點的權(quán)重;βi=[βi1,βi2,…,βim]T為連接輸出層和第i個隱層節(jié)點的權(quán)重;bi為第i個隱層節(jié)點的閾值;wi·xj為wi和xj的內(nèi)積;oj為前饋神經(jīng)網(wǎng)絡(luò)的輸出值;g(x)可選為Sigmoid函數(shù)或徑向基函數(shù)等。(2)將式(2)簡寫為:Hβ=T(3)式中:H為神經(jīng)網(wǎng)絡(luò)隱層的輸出
計量學(xué)報 2020年12期2021-01-19
- 基于棧式降噪稀疏自編碼器的極限學(xué)習(xí)機
一種簡單高效的單隱層前饋神經(jīng)網(wǎng)絡(luò)(Single Hidden Layer Feedforward Neural Network,SLFN)算法。ELM網(wǎng)絡(luò)的輸入權(quán)重和隱層偏置均為隨機生成,輸出權(quán)值則通過求解最小化平方損失函數(shù)得到,能夠有效解決傳統(tǒng)SLFN算法收斂速度慢、容易產(chǎn)生局部最優(yōu)解的問題。ELM因?qū)崿F(xiàn)簡單、訓(xùn)練速度快和泛化性能好等特點,現(xiàn)已被廣泛應(yīng)用于語音識別[2]、故障診斷[3-4]、生物醫(yī)學(xué)[5-6]、計算機視覺[7-8]等多個領(lǐng)域。大量研究表明
計算機工程 2020年9期2020-09-18
- 一種深度梯度提升回歸預(yù)測模型
習(xí)，分為輸入層、隱層和輸出層。輸入層(L1)包括若干學(xué)習(xí)器(R11,R12,…,R1m)進行初級特征學(xué)習(xí)，每個學(xué)習(xí)器使用隨機子空間方法隨機選擇相同大小的不同特征組合的子空間作為輸入。隱層中含有隱層學(xué)習(xí)器進行高層特征抽象。為保持數(shù)據(jù)集原始特征信息，第一層隱層(L2)的輸入為原始特征和輸入層若干學(xué)習(xí)器的輸出。從第二層隱層開始(L3)，每一層的輸入包含原始數(shù)據(jù)集中的所有特征和所有隱層學(xué)習(xí)器的輸出作為下一層隱層學(xué)習(xí)器的輸入。根據(jù)學(xué)習(xí)結(jié)果，隱層層數(shù)自適應(yīng)確定，當上一
計算機應(yīng)用與軟件 2020年9期2020-09-09
- 基于BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的圖像壓縮技術(shù)研究
傳播是由輸入層到隱層的一個過程，反向傳播是輸出層到隱層的一個誤差反傳過程[5]。1.1 BP神經(jīng)網(wǎng)絡(luò)模型BP算法的多層前饋網(wǎng)絡(luò)可以看作是目前最廣泛的神經(jīng)網(wǎng)絡(luò)，以較大的比率應(yīng)用于生活中，當然單隱層網(wǎng)絡(luò)更為普遍地應(yīng)用于語言神經(jīng)網(wǎng)絡(luò)中。BP神經(jīng)網(wǎng)絡(luò)模型如圖1所示，主要由輸入層、隱層和輸出層三部分組成[6]。圖1 三層BP網(wǎng)絡(luò)模型三層的網(wǎng)絡(luò)中，輸入向量X=(x1,x2,…,xi,…,xn)T，比如加入x0=-1，此時，可以為隱層引入閾值；隱層輸出向量為Y=(y1,
商洛學(xué)院學(xué)報 2020年4期2020-07-08
- 基于改進煙花算法的ELM 分類模型*
一種快速學(xué)習(xí)的單隱層前饋神經(jīng)網(wǎng)絡(luò)，隱層輸入權(quán)值和偏置根據(jù)輸入節(jié)點和隱層節(jié)點數(shù)隨機生成，根據(jù)隱層輸入權(quán)值和偏置求得隱層輸出矩陣。盡管極限學(xué)習(xí)機與標準的神經(jīng)網(wǎng)絡(luò)相比有很多的優(yōu)點，但是并不能滿足人們對精度更高和速度更快的需要，因此，很多優(yōu)化的ELM 算法出現(xiàn)。例如小波核極限學(xué)習(xí)機、粒子群極限學(xué)習(xí)機、蟻群優(yōu)化極限學(xué)習(xí)機、人工蜂群算法優(yōu)化極限學(xué)習(xí)機等［2］，優(yōu)化了極限學(xué)習(xí)機的分類性能或極限學(xué)習(xí)機的隱層節(jié)點。受煙花在空中爆炸產(chǎn)生火花，照亮臨近的天空并構(gòu)造出美麗的圖案這
火力與指揮控制 2020年2期2020-04-02
- 基于粒子群優(yōu)化的深度隨機神經(jīng)網(wǎng)絡(luò)
LM)[1]為單隱層前饋隨機神經(jīng)網(wǎng)絡(luò)的一類有效學(xué)習(xí)算法．該算法隨機選擇輸入層權(quán)值和隱單元閾值,并通過摩爾-彭若斯廣義逆解析，確定網(wǎng)絡(luò)輸出層權(quán)值．相對于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)梯度學(xué)習(xí)算法,超限學(xué)習(xí)機能夠以極快的速度獲得更優(yōu)的泛化性能;同時,超限學(xué)習(xí)機中隱單元激活函數(shù)不需要一定可微,在學(xué)習(xí)過程中不用考慮停止規(guī)則、學(xué)習(xí)率和迭代次數(shù)等問題．相對于支持向量機，超限學(xué)習(xí)機僅需確定隱層節(jié)點數(shù),不需要進行復(fù)雜的參數(shù)選擇,在多類別分類問題和回歸問題上均能獲得良好性能．因此,近十年來
江蘇科技大學(xué)學(xué)報(自然科學(xué)版) 2020年1期2020-03-30
- 基于深度架構(gòu)網(wǎng)絡(luò)的矮新星自動分類研究
E)是僅包含一個隱層的經(jīng)典神經(jīng)網(wǎng)絡(luò)模型， 能夠自動挖掘樣本數(shù)據(jù)的低層次特征。 然而一層AE編碼能力有限， 數(shù)據(jù)表征學(xué)習(xí)能力不足。 具有多層次分布式架構(gòu)的網(wǎng)絡(luò)可彌補淺層模型在數(shù)據(jù)表征學(xué)習(xí)方面的欠缺， 對混亂無序的海量原始數(shù)據(jù)進行抽象， 挖掘隱藏在數(shù)據(jù)內(nèi)部具有區(qū)分度的潛在特征[10]。 本文結(jié)合AE算法在參數(shù)估計上的計算優(yōu)勢， 以AE為基礎(chǔ)構(gòu)建了基于多層感知器架構(gòu)的深度前饋堆棧式自編碼器網(wǎng)絡(luò)， 其深度分布式結(jié)構(gòu)能夠提供有效的數(shù)據(jù)抽象和表征學(xué)習(xí)能力， 特征檢測層
光譜學(xué)與光譜分析 2020年2期2020-02-25
- 基于噪聲數(shù)據(jù)與干凈數(shù)據(jù)的深度置信網(wǎng)絡(luò)?
.pgRBM 把隱層節(jié)點分為與分類有關(guān)的和與分類無關(guān)的兩個部分,其連接權(quán)值的初值是用特征選擇的方法對RBM 學(xué)習(xí)的權(quán)值處理得到的.pgrncRBM 就是在傳統(tǒng)的pgRBM 基礎(chǔ)上對pgRBM 學(xué)習(xí)到的數(shù)據(jù)二次去噪,其與分類無關(guān)的隱層節(jié)點相連權(quán)值的初值是用特征選擇的方法對RBM 對一次降噪的數(shù)據(jù)學(xué)習(xí)到的權(quán)值處理得到的,但是其與分類有關(guān)的隱層節(jié)點相連權(quán)值的初值是用RBM 對不含噪聲的數(shù)據(jù)學(xué)習(xí)得到的.這樣,pgrncRBM 在處理隨機噪聲數(shù)據(jù)時可以學(xué)習(xí)到更為“干
軟件學(xué)報 2019年11期2019-12-11
- 基于深度學(xué)習(xí)的金融衍生品RSI指標預(yù)測模型
時刻的50 個隱層輸出，故有(30+50+1)*50=4050 個參數(shù);RNN2: 100 個節(jié)點，接受dense1 的100 個隱層輸出，以及自身的偏置值，故有(100+1)*100=10100 個參數(shù);2RNN2: 50 個節(jié)點，接受2RNN1 的50 個隱層的輸出、自身t-1 隱層的輸出，以及自身的偏置值，故有(50+50+1)*50=5050 個參數(shù);output: 3 個節(jié)點，接受RNN2 的100 個隱層的輸出、rnn2 的50 個隱層的輸出
電子技術(shù)與軟件工程 2019年12期2019-08-22
- 基于多隱層Gibbs采樣的深度信念網(wǎng)絡(luò)訓(xùn)練方法
反向傳播算法在多隱層神經(jīng)網(wǎng)絡(luò)上存在著梯度消失的問題,使得深度網(wǎng)絡(luò)的性能甚至還不如淺層網(wǎng)絡(luò)[1].這兩個關(guān)鍵問題在2006年Hinton提出的文獻[2]中得到了很大程度上的解決.在文獻[2]中提出的多層限制玻爾茲曼機(Restrict Boltzmann machine,RBM)堆疊降維的方法,在無監(jiān)督的情況下實現(xiàn)了自動化的特征學(xué)習(xí),實驗表明效果比傳統(tǒng)的PCA方法要好得多.在此基礎(chǔ)上增加分類器就構(gòu)成了深度信念網(wǎng)絡(luò)模型(Deep belief network,
自動化學(xué)報 2019年5期2019-06-11
- 基于RDPSO結(jié)構(gòu)優(yōu)化的三隱層BP神經(jīng)網(wǎng)絡(luò)水質(zhì)預(yù)測模型及應(yīng)用
際應(yīng)用中，由于單隱層BP神經(jīng)網(wǎng)絡(luò)初始權(quán)值閾值等參數(shù)通過隨機確定，致使BP神經(jīng)網(wǎng)絡(luò)收斂速度慢、易陷入局部最優(yōu)而不能獲得較好的預(yù)測效果。目前，普遍采用遺傳算法[5-6]、粒子群算法[7-8]等智能算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)權(quán)值及閾值或增加BP神經(jīng)網(wǎng)絡(luò)隱層數(shù)來改善BP神經(jīng)網(wǎng)絡(luò)的預(yù)測性能。研究表明，同單隱層相比，多隱層BP神經(jīng)網(wǎng)絡(luò)泛化能力強，預(yù)測精度高，是提高BP神經(jīng)網(wǎng)絡(luò)預(yù)測性能的重要途徑之一。目前已在徑流預(yù)測[9]、水質(zhì)預(yù)測[10]、風(fēng)電功率預(yù)測[11]以及水安全評價
人民珠江 2019年4期2019-04-20
- 連續(xù)音素的改進深信度網(wǎng)絡(luò)的識別算法?
包含一個由隨機的隱層單元構(gòu)成的隱層和一個由隨機的可見單元構(gòu)成的顯層，其中隱層一般為伯努利分布，顯層一般是高斯分布或伯努利分布[9]。RBM可以表示成雙向圖，只有不同層之間的單元才會存在邊，同層單元之間都不會有邊連接，即層間全連接，層內(nèi)無連接。RBM是一種基于能量的模型，其可見矢量v和隱層矢量h的聯(lián)合配置能量由公式(1)給出。其中，vi是可見單元的二值狀態(tài)，hj是隱層單元的二值狀態(tài)，ai和bj分別是可見單元i和隱層單元j的偏置值，wij是鏈接權(quán)值。通過E可以
應(yīng)用聲學(xué) 2019年1期2019-04-02
- BP網(wǎng)絡(luò)結(jié)構(gòu)和算法對非線性系統(tǒng)進行辨識
網(wǎng)絡(luò)輸入、輸出、隱層節(jié)點的個數(shù)，BP網(wǎng)絡(luò)還是具有相當高的精度,對非線性系統(tǒng)辨識也是一種切實可行的方法[2]。1 BP網(wǎng)絡(luò)設(shè)計BP網(wǎng)絡(luò)主要包含輸出輸入層和隱層，建立BP網(wǎng)絡(luò)首先要選擇好網(wǎng)絡(luò)的層數(shù)和每層的節(jié)點數(shù)。輸入輸出層的節(jié)點數(shù)是根據(jù)要分析的變量數(shù)而定，當要分析非線性模擬信號量時，一般采用按時序采樣的方式選取數(shù)點作為輸入層節(jié)點數(shù)。輸出層節(jié)點數(shù)要根據(jù)實際需要考慮輸出數(shù)據(jù)的類型和數(shù)據(jù)大小來決定。網(wǎng)絡(luò)的層數(shù)一般時預(yù)先設(shè)定的，確定網(wǎng)絡(luò)層數(shù)就是確定有幾個隱層，理論上，
山東化工 2019年2期2019-02-21
- 改進磷蝦群算法優(yōu)化ELM的入侵檢測*
改進，在極大減少隱層節(jié)點數(shù)的同時提高了節(jié)點的學(xué)習(xí)質(zhì)量，使得精簡的IKH-ELM的泛化性能明顯提高，且超過需要眾多隱層節(jié)點的原始ELM的性能。同時，本文將IKH-ELM應(yīng)用到入侵檢測中，通過實驗驗證其效果，并與原始ELM、BP、SVM等算法進行比較，結(jié)果表明IKH-ELM具有更好的綜合性能。1 極限學(xué)習(xí)機極限學(xué)習(xí)機（Extreme Learning Machine，ELM）是單隱層前饋神經(jīng)網(wǎng)絡(luò)（Single-hidden Layer feed-Forward
火力與指揮控制 2018年12期2019-01-14
- 基于局部自動編碼器的手寫數(shù)字分類
C2ELM在不同隱層結(jié)點數(shù)下的訓(xùn)練時間，接著將C2ELM和RF-C2ELM擴展為多層神經(jīng)網(wǎng)絡(luò)，并與ML-ELM(Multi Layer Extreme Learning Machine)作比較.2 相關(guān)知識2.1 ELM對于任意N個互不相同的訓(xùn)練樣本與對應(yīng)標簽的集合，數(shù)據(jù)組織形式為(xi，ti)，其中xi=[xi1，xi2，…，xin]T∈Rn是模型的輸入，ti=[ti1，ti2，…，tim]T∈Rm是整個模型的期望輸出，i=1，2，…，N.假設(shè)SLFNs
小型微型計算機系統(tǒng) 2018年11期2018-11-15
- 集成自編碼與PCA的高爐多元鐵水質(zhì)量隨機權(quán)神經(jīng)網(wǎng)絡(luò)建模
度,但是存在最優(yōu)隱層節(jié)點數(shù)的選擇問題,且易出現(xiàn)過擬合問題;文獻[17]進一步采用在線序貫學(xué)習(xí)型RVFLNs實現(xiàn)多元鐵水質(zhì)量的在線軟測量建模,但是當隱層節(jié)點選擇不當時,會出現(xiàn)過擬合現(xiàn)象;文獻[18]提出的增量型RVFLNs一定程度解決隱層節(jié)點的選擇問題和過擬合問題,但是該方法中隱層節(jié)點數(shù)較多,網(wǎng)絡(luò)結(jié)構(gòu)過于復(fù)雜,計算效率低.毫無疑問,RVFLNs比BP等常規(guī)神經(jīng)網(wǎng)絡(luò)具有更高的計算效率,且RVFLNs及其改進算法都具有較高的模型精度,但這些算法仍然存在如下兩方面
自動化學(xué)報 2018年10期2018-11-01
- 基于BP神經(jīng)網(wǎng)絡(luò)的鐵路軌道幾何不平順預(yù)測方法
計算結(jié)果顯示，雙隱層神經(jīng)網(wǎng)絡(luò)具有較高的預(yù)測精度，能夠用于重載鐵路軌道質(zhì)量預(yù)測。1 理論模型1.1 多元多重回歸模型多元回歸模型是用來對多變量進行回歸分析的數(shù)學(xué)模型，通常含有多個自變量與一個因變量。當該模型用于分析多個因變量與多個自變量的依賴關(guān)系時，則稱為多元多重回歸模型，其模型結(jié)構(gòu)為( 1 )式中：x1,x2,…,xm為自變量；y1,y2,…,yp為因變量；β為模型參數(shù)；ε～N(0,σ2)為隨機誤差。該模型的矩陣表示形式為( 2 )利用拉直法及矩陣四塊求逆
鐵道學(xué)報 2018年9期2018-09-28
- 循環(huán)流化床鍋爐燃燒系統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型研究
一種性能出色的單隱層前饋神經(jīng)網(wǎng)絡(luò)，稱為極限學(xué)習(xí)機(Extreme Learning Machine，ELM)。ELM的模型和理論[14-15]被成功應(yīng)用于函數(shù)逼近[16-17]、模式分類[18]和系統(tǒng)辨識等許多領(lǐng)域。ELM的核心內(nèi)容是將單隱層模糊神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)化為求解線性最小二乘問題，然后通過Moore Penrose(MP)廣義逆計算輸出權(quán)值。2013年，Li等[19]提出了一種基于ELM的新型人工神經(jīng)網(wǎng)絡(luò)——快速學(xué)習(xí)網(wǎng)(Fast Learning Netw
動力工程學(xué)報 2018年6期2018-06-27
- 代價敏感正則化有限記憶多隱層在線序列極限學(xué)習(xí)機及圖像識別應(yīng)用
正則化有限記憶多隱層在線序列極限學(xué)習(xí)機（CSR-FMML-OSELM）算法。極限學(xué)習(xí)機（ELM）[4]是一種新型的單隱層前饋神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法，近年來針對該算法進行了不少研究和拓展。Yang等人[5]提出了一種雙端增量型極限學(xué)習(xí)機，這是一種通過網(wǎng)絡(luò)余差反向傳遞的方式直接計算部分隱層神經(jīng)元參數(shù)的算法，擺脫了隱層神經(jīng)元完全隨機選取的任意性對算法性能造成的不利影響。Cao等人[6]借鑒Learn++思想提出了一種基于投票機制的集成ELM算法，也屬于一種ELM隱層參
鐵路計算機應(yīng)用 2018年5期2018-06-01
- 深度學(xué)習(xí)的研究進展與發(fā)展
一個可視層和一個隱層組成[2]，如圖1所示，其中v和h分別表示可視層和隱層，可視單元和隱單元間均存在連接，而同層單元間無連接。記可視層和隱層的神經(jīng)元個數(shù)分別為I和J，可視單元vi∈{0,1}和隱單元hj∈{0,1}之間的連接權(quán)值為wij，ai和bj分別為可視層和隱層的偏置，θ={wij,ai,bj}。圖1 RBM的網(wǎng)絡(luò)結(jié)構(gòu)通常假設(shè)RBM的隱單元服從伯努利分布，可視單元服從伯努利分布或高斯分布。為了學(xué)習(xí)模型參數(shù)θ，先定義可視單元不同分布下的兩種能量函數(shù)[2]
計算機工程與應(yīng)用 2018年10期2018-05-21
- 一種基于共軛梯度法的廣義單隱層神經(jīng)網(wǎng)絡(luò)
提出了一種針對單隱層前饋神經(jīng)網(wǎng)絡(luò)的快速構(gòu)建與學(xué)習(xí)算法[4]，因其快速特性而稱之為超限學(xué)習(xí)機(extreme learning machine, ELM)．ELM算法的整個學(xué)習(xí)過程一次完成，使得網(wǎng)絡(luò)訓(xùn)練大大簡化，運算速度幾十倍甚至幾千倍于BP算法[5-6]，ELM在許多領(lǐng)域都取得了突出成果[7-9]．雖然網(wǎng)絡(luò)訓(xùn)練效果很好，但ELM相對于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，需要更多的隱層節(jié)點才能達到同樣的訓(xùn)練精度[10]．由于使用大量隱層節(jié)點，計算工作量會大大增加，特別是樣本超高
鄭州大學(xué)學(xué)報（工學(xué)版） 2018年2期2018-04-13
- 基于ADS的KBNN在帶通濾波器優(yōu)化設(shè)計中的應(yīng)用
作為先驗知識構(gòu)成隱層的知識神經(jīng)元,并對微帶發(fā)夾型帶通濾波器進行建模,以驗證該方法的參考價值．1 知識神經(jīng)網(wǎng)絡(luò)模型1.1 網(wǎng)絡(luò)構(gòu)造方法KBNN自提出以來,國內(nèi)外有許多學(xué)者研究知識神經(jīng)網(wǎng)絡(luò),提出了多種模型,例如差值模型[7]、先驗知識注入模型[8]、知識基神經(jīng)網(wǎng)絡(luò)模型[9]等．文中在差值模型和知識基神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上,提出了一種新的構(gòu)建方法,如圖1．圖1 知識神經(jīng)網(wǎng)絡(luò)構(gòu)造方法圖1中,該網(wǎng)絡(luò)與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)具有相同的輸入層和輸出層,不同點在于隱層的構(gòu)造方法．在
江蘇科技大學(xué)學(xué)報(自然科學(xué)版) 2018年1期2018-04-11
- 基于混沌優(yōu)化極限學(xué)習(xí)機的庫岸邊坡變形預(yù)測
數(shù)；βi為第i個隱層神經(jīng)元與輸出層間的連接權(quán)值；g(x)為激勵函數(shù)；wi為輸入層與第i個隱層神經(jīng)元間的連接權(quán)值；xj為第j個輸入樣本；bi為第i個隱藏層神經(jīng)元處的閾值。根據(jù)網(wǎng)絡(luò)訓(xùn)練，可得訓(xùn)練誤差E，即式中，N為訓(xùn)練樣本個數(shù)；tj為第j個期望值。若訓(xùn)練參數(shù)設(shè)置得當，訓(xùn)練值可零誤差趨近于期望值，即根據(jù)變換，可將上式轉(zhuǎn)變?yōu)榫仃囆问?，即Y=Hβ式中，Y為輸出矩陣；H為輸入矩陣；β為權(quán)值矩陣。在訓(xùn)練過程中，連接權(quán)值和閾值可隨機給定，加之輸入、輸出矩陣為常數(shù)矩陣，進而
水力發(fā)電 2018年12期2018-03-25
- 矩陣輸入的多層前向神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法
入.又因為它是單隱層的,故稱之為單隱層矩陣輸入的神經(jīng)網(wǎng)絡(luò).通過與向量形式輸入的單隱層神經(jīng)網(wǎng)絡(luò)的實驗對比,單隱層矩陣輸入的神經(jīng)網(wǎng)絡(luò)取得了很好的效果.但是由于單隱層矩陣輸入神經(jīng)網(wǎng)絡(luò)的客觀局限性,它不能足夠好地表達樣本特征信息.基于多層神經(jīng)網(wǎng)絡(luò)具有更好的特征提取能力和泛化能力,本文在文獻[18]的基礎(chǔ)上提出了多層矩陣輸入的神經(jīng)網(wǎng)絡(luò)算法,并將此算法應(yīng)用于圖像分類中.通過實驗對比,本文算法取得了良好的效果.本文章節(jié)結(jié)構(gòu)如下：第一節(jié)介紹向量輸入和矩陣輸入的單隱層神經(jīng)網(wǎng)
中國計量大學(xué)學(xué)報 2017年4期2018-01-23
- 訓(xùn)練樣本數(shù)量選擇對圖像特征提取的影響分析
時，增加RBM的隱層神經(jīng)元個數(shù)并不總是有價值的。圖像特征提??；受限玻爾茲曼機；CD算法1 背景圖像特征提取是圖像處理過程中非常重要的環(huán)節(jié)，特征提取的質(zhì)量直接影響后續(xù)工作的開展。圖像特征提取方法包括Fourier變換法[1]、小波變換法[2]、最小二乘法[3]、直方圖法[4]、信號處理法[5]和模型法[6]等。模型法是用模型參數(shù)作為圖像特征，典型方法有卷積神經(jīng)網(wǎng)絡(luò)[6]、馬爾科夫隨機場[7]、受限玻爾茲曼機[8]等。其中，受限玻爾茲曼機作為特征提取器被廣泛研
重慶理工大學(xué)學(xué)報(自然科學(xué)) 2017年10期2017-11-04
- 基于微分同胚優(yōu)化極端學(xué)習(xí)機的人臉識別
并沒有充分考慮到隱層節(jié)點輸出矩陣對極端學(xué)習(xí)機泛化能力的影響。通過實驗發(fā)現(xiàn)激活函數(shù)選取不當及數(shù)據(jù)維數(shù)過高將導(dǎo)致隱層節(jié)點輸出值趨于零，使得輸出權(quán)值矩陣求解不準，降低ELM的分類性能。為此，提出一種微分同胚優(yōu)化的極端學(xué)習(xí)機算法。該算法結(jié)合降維和微分同胚技術(shù)提高激活函數(shù)的魯棒性，克服隱層節(jié)點輸出值趨于零的問題。為驗證所提算法的有效性使用人臉數(shù)據(jù)進行實驗。實驗結(jié)果表明所提算法具有良好的泛化性能。極端學(xué)習(xí)機 激活函數(shù) 微分同胚0 引 言近來Huang等人[1-3]基于
計算機應(yīng)用與軟件 2017年4期2017-04-24
- 深度自編碼觀測器飛機操縱面快速故障診斷
于基礎(chǔ)自編碼器的隱層節(jié)點數(shù)選取經(jīng)驗公式,推導(dǎo)了兩種深度自編碼器的隱層節(jié)點數(shù)選取的遞推公式。仿真結(jié)果表明,該方法無需精確的飛機模型,故障診斷速度快、精度高。飛機操縱面故障; 狀態(tài)估計; 深度學(xué)習(xí); 故障診斷0 引言操縱面是飛行控制系統(tǒng)中最重要的組成部分之一。飛機在飛行過程中會受到外界環(huán)境的影響,尤其是戰(zhàn)斗機在戰(zhàn)斗過程中將不可避免地產(chǎn)生各種操縱面故障,嚴重威脅飛行安全。因此,飛機操縱面故障診斷至關(guān)重要[1]。在能夠獲得系統(tǒng)精確數(shù)學(xué)模型的情況下,多模型自適應(yīng)估計
飛行力學(xué) 2016年6期2016-12-21
- 基于改進仿電磁學(xué)ELM在相機標定中的應(yīng)用
習(xí)機(ELM)在隱層節(jié)點數(shù)少時逼近精度低的問題，提出了基于改進仿電磁學(xué)(EM)優(yōu)化ELM的雙目視覺相機標定方法。在標定過程中，采用極限學(xué)習(xí)機精確逼近圖像坐標與世界坐標間的非線性關(guān)系，利用改進EM策略，包括使用自適應(yīng)步長以及空間解收縮，優(yōu)化ELM的輸入權(quán)重和隱層偏置，提高ELM的收斂速度和泛化能力。實驗結(jié)果表明，改進EM-ELM優(yōu)化算法的收斂速度快于PSO的，且用更少的隱層節(jié)點數(shù)取得較高的標定精度。相機標定；仿電磁學(xué)；極限學(xué)習(xí)機0 引 言相機標定是機器視覺中
廣西大學(xué)學(xué)報（自然科學(xué)版） 2016年5期2016-11-12
- 帶后續(xù)迭代的雙極S函數(shù)激勵的WASD神經(jīng)網(wǎng)絡(luò)*
moid)函數(shù)為隱層神經(jīng)元激勵函數(shù)的三層前向神經(jīng)網(wǎng)絡(luò)可以實現(xiàn)對任何連續(xù)函數(shù)的任意精度的逼近。學(xué)習(xí)能力和泛化能力是神經(jīng)網(wǎng)絡(luò)性能的重要反映，沒有學(xué)習(xí)能力和泛化能力的神經(jīng)網(wǎng)絡(luò)是沒有使用價值的[13]。值得指出的是，影響神經(jīng)網(wǎng)絡(luò)這兩種能力的因素主要包括激勵函數(shù)、網(wǎng)絡(luò)結(jié)構(gòu)和網(wǎng)絡(luò)學(xué)習(xí)算法等。因此，如何選擇較優(yōu)的激勵函數(shù)、網(wǎng)絡(luò)結(jié)構(gòu)以及網(wǎng)絡(luò)學(xué)習(xí)算法來保證神經(jīng)網(wǎng)絡(luò)的優(yōu)良性能顯得非常重要[14-15]。針對前向神經(jīng)網(wǎng)絡(luò)，一些學(xué)者已進行了深入研究，并取得諸多成果[2,16-20
- 基于BP神經(jīng)網(wǎng)絡(luò)的圖像識別跟蹤技術(shù)
;j 為第j 層隱層;k 為第k 層輸出;輸入節(jié)點為圖像每個特征值所對應(yīng)的特征向量;輸出節(jié)點為經(jīng)過分類器分類后所屬于的類別。圖3 BP神經(jīng)網(wǎng)絡(luò)Fig.3 BP neural network利用BP神經(jīng)網(wǎng)絡(luò)進行圖像識別跟蹤實質(zhì)上是信號的傳播，類似于人體神經(jīng)的工作進程，信號的傳遞歸納如圖4所示。圖4 BP神經(jīng)網(wǎng)絡(luò)正反信號傳播Fig.4 Positive and negative signal propagation of BP neural network設(shè)B
艦船科學(xué)技術(shù) 2015年4期2015-12-04
- 神經(jīng)網(wǎng)絡(luò)在自適應(yīng)船舶操作系統(tǒng)中的應(yīng)用
神經(jīng)網(wǎng)絡(luò)輸入層、隱層和輸出層外，還有一個包含反饋聯(lián)接層，RBF-Elman神經(jīng)網(wǎng)絡(luò)的輸出是隱層的輸出和，表示如下:式中:i=1，…，m;j=1，…，n;q=1，…，r;wij為隱層和輸出層的連接權(quán);Yi為輸出層的輸出值，xj為隱層的輸出值;xCj為中間聯(lián)結(jié)層輸出;α 為聯(lián)接層的自反饋增益;I 為隱層總的輸入;k 為計算次數(shù)。實驗表明，此種方式學(xué)習(xí)速度較慢，在自適應(yīng)學(xué)習(xí)過程中目標函數(shù)的收斂有極值，且不穩(wěn)定，難以達到預(yù)期的精確度。為了更好地進行自適應(yīng)學(xué)習(xí)，本文
艦船科學(xué)技術(shù) 2015年5期2015-12-04
- 一種ELM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計方法及在衛(wèi)星鐘差預(yù)報中的應(yīng)用1
ELM）神經(jīng)網(wǎng)絡(luò)隱層結(jié)構(gòu)難以確定的問題，基于自適應(yīng)共振理論（adaptive resonance theory，ART）網(wǎng)絡(luò)良好的自組織分類功能，提出一種基于ART網(wǎng)絡(luò)思想的ELM網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計方法。該方法將ART網(wǎng)絡(luò)的自組織聚類特性用于ELM網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計中，通過對輸入向量與已存模式的相似度比較將輸入向量進行分類，確定隱層節(jié)點規(guī)模。仿真實驗表明，與其他網(wǎng)絡(luò)相比，ART-ELM網(wǎng)絡(luò)具有更精簡的結(jié)構(gòu)、更快的學(xué)習(xí)速度以及更好的映射能力。通過用于GPS衛(wèi)星鐘差預(yù)報的
時間頻率學(xué)報 2015年4期2015-09-07
- 基于極限學(xué)習(xí)的深度學(xué)習(xí)算法
習(xí)算法，特別是單隱層前饋神經(jīng)網(wǎng)絡(luò) （singlehidden layer feedforward networks，SLFNs）。ELM 隨機初始化SLFNs的輸入權(quán)重和隱層的偏置，并能夠得到對應(yīng)的輸出權(quán)重。ELM能保證輸出權(quán)重的范數(shù)最小，而且輸出權(quán)重是唯一的。隨著ELM的發(fā)展，出現(xiàn)了一些對基本ELM的改進的算法［13－15］，又進一步提高了基本ELM的性能。為了加快DBN的訓(xùn)練準確性，并提高分類的準確性，受到ELM思想的啟發(fā)，本文提出來一種基于ELM改進
計算機工程與設(shè)計 2015年4期2015-05-04
- Linex損失下兩種信用評分模型的比較
網(wǎng)絡(luò)，其輸入層、隱層和輸出層的神經(jīng)元個數(shù)分別為 p，q和1，記 w0=(w01，w02，…，w0q)T∈Rq為隱層與輸出層之間的權(quán)向量，wi=(wi1，wi2，…，wip)T∈Rp為輸入層與隱層第i個節(jié)點之間的連接權(quán)向量，其中 i=1，2，…，q。記。隱層、輸出層的激活函數(shù)為 g:R→ R。對任意x=(x1，x2，…，xq)∈Rq，記 G(x)=(g(x1)，g(x2)，…，g(xq))T:Rq→Rq。對輸入樣本ξ∈RP，隱層的輸出為G(Vξ)，網(wǎng)絡(luò)輸出層
長春大學(xué)學(xué)報 2014年4期2014-12-05
- 基寬靈敏度分析的徑向基神經(jīng)網(wǎng)絡(luò)代理模型
，分別為輸入層、隱層和輸出層，輸入層神經(jīng)元的個數(shù)同輸入樣本點維數(shù)相同，即輸入層對應(yīng)著N維輸入矢量x=[x1x2…xN]，隱層由K個神經(jīng)元組成，其與輸入層神經(jīng)元全相連，其是通過隱層的激活函數(shù)將線性輸入空間映射到非線性隱層空間，每一個隱層神經(jīng)元的激活函數(shù)有高斯型函數(shù)、多二次型函數(shù)、逆多二次型函數(shù)、薄板樣條函數(shù)組成，常取高斯型基函數(shù)[9-12]。(1)(2)式中:h=[h1h2…h(huán)K]為隱層的輸出矢量，wij為隱層的第j個神經(jīng)元與輸出層的第i個神經(jīng)元的連接權(quán)。2
智能系統(tǒng)學(xué)報 2014年2期2014-09-13
- 基于近似結(jié)構(gòu)風(fēng)險的ELM隱層節(jié)點數(shù)優(yōu)化
結(jié)構(gòu)風(fēng)險的ELM隱層節(jié)點數(shù)優(yōu)化黃重慶,徐哲壯,黃宴委,賴大虎(福州大學(xué)電氣工程與自動化學(xué)院,福州350108)隱層節(jié)點數(shù)是影響極端學(xué)習(xí)機(ELM)泛化性能的關(guān)鍵參數(shù),針對傳統(tǒng)的ELM隱層節(jié)點數(shù)確定算法中優(yōu)化過程復(fù)雜、容易過學(xué)習(xí)或陷入局部最優(yōu)的問題,提出結(jié)構(gòu)風(fēng)險最小化-極端學(xué)習(xí)機(SRM-ELM)算法。通過分析VC維與隱層節(jié)點數(shù)量之間的關(guān)聯(lián),對VC信任函數(shù)進行近似改進,使其為凹函數(shù),并結(jié)合經(jīng)驗風(fēng)險重構(gòu)近似的SRM。在此基礎(chǔ)上,將粒子群優(yōu)化的位置值直接作為EL
計算機工程 2014年9期2014-06-06
- 基于BP神經(jīng)網(wǎng)絡(luò)的非結(jié)構(gòu)化道路識別
和輸出層中間的為隱層，有m個元素，傳遞函數(shù)選用非線性Sig moid函數(shù)。圖1 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖2 BP神經(jīng)網(wǎng)絡(luò)算法神經(jīng)網(wǎng)絡(luò)的輸入量為x1，x2，…，xn，則隱層的輸入量為：其中：wij為隱層的元素i與輸入層的元素j的連接權(quán)值；θi為隱層各元素的閥值。我們?nèi)?span id="j5i0abt0b" class="hl">隱層的輸入量與輸出量之間的傳遞函數(shù)為Sig moid函數(shù)，即：其中：vki為輸出層的元素k與隱層的元素i的連接權(quán)值；βk為輸出層各元素的閥值；yk就是整個神經(jīng)網(wǎng)絡(luò)的輸出量。3 隱層節(jié)點數(shù)的影響恰當
機械工程與自動化 2014年3期2014-05-15
- 最優(yōu)隱層BP神經(jīng)網(wǎng)絡(luò)的滾動軸承故障診斷
1－4］，但是對隱層神經(jīng)元個數(shù)的確定主要還是依靠經(jīng)驗公式，不容易得到最優(yōu)個數(shù)。本文以某石油鉆井的絞車及傳動機組滾動軸承為例，設(shè)計了一種基于BP神經(jīng)網(wǎng)絡(luò)的故障自動識別方法，通過計算平均迭代次數(shù)和均方誤差的近似值來確定最優(yōu)隱層單元數(shù)。仿真結(jié)果表明，診斷效率和準確度都很高。1 滾動軸承特征參數(shù)的提取選取某型減速器的主動軸滾動軸承的4個特征參數(shù)：均方根植、峭度、諧波指標和SQ參數(shù)［5］組成BP神經(jīng)網(wǎng)絡(luò)的輸入樣本向量。軸承狀態(tài)主要分為正常、保持架損壞、滾珠點蝕、內(nèi)圈
機械工程與自動化 2014年3期2014-05-07
- 基于環(huán)形BP神經(jīng)網(wǎng)絡(luò)的指紋匹配算法
呈n層環(huán)狀結(jié)構(gòu)，隱層中的第n個神經(jīng)元接受輸入層第n環(huán)所有神經(jīng)元的數(shù)據(jù)，對于每個輸入層的神經(jīng)元，僅采用一個權(quán)值連接至對應(yīng)的隱層神經(jīng)元；輸出層的唯一一個神經(jīng)元接受隱層中所有神經(jīng)元的數(shù)據(jù)，對于每個隱層神經(jīng)元，僅采用一個權(quán)值連接至輸出層神經(jīng)元。試驗結(jié)果表明，單權(quán)值連接方式提高了網(wǎng)絡(luò)的收斂速度，環(huán)狀結(jié)構(gòu)的設(shè)計具有較好的抗旋轉(zhuǎn)畸變的性能，使得匹配速度和匹配精度均有所提高。指紋匹配；圖像處理；BP神經(jīng)網(wǎng)絡(luò)1 BP神經(jīng)網(wǎng)絡(luò)分析目前的基于神經(jīng)網(wǎng)絡(luò)的指紋匹配算法，主要的思想是
長江大學(xué)學(xué)報(自科版) 2013年1期2013-10-26
- 一種改進的神經(jīng)網(wǎng)絡(luò)相關(guān)性剪枝算法
點（輸入節(jié)點以及隱層節(jié)點）或連接權(quán)對網(wǎng)絡(luò)誤差的貢獻（靈敏度），刪除那些貢獻最小的節(jié)點或權(quán)。3）相關(guān)性剪枝方法[5]：根據(jù)節(jié)點間相關(guān)性或相互作用進行剪枝，也是一種很重要的剪枝方法，最常見的做法是先判斷隱節(jié)點輸出之間的相關(guān)性，然后合并具有較大相關(guān)性的隱節(jié)點。文中主要是對相關(guān)性剪枝算法進行研究，首先介紹相關(guān)性剪枝算法的思想和計算方法，然后提出新的基于誤差傳遞的改進方案，最后通過實驗建立神經(jīng)網(wǎng)絡(luò)，并對網(wǎng)絡(luò)進行剪枝。將新的剪枝算法獲得的網(wǎng)絡(luò)與標準算法剪枝得到的網(wǎng)絡(luò)進
電子設(shè)計工程 2013年8期2013-09-25
- 權(quán)值直接確定的三角型模糊前向神經(jīng)網(wǎng)絡(luò)*
從網(wǎng)絡(luò)結(jié)構(gòu)來講，隱層神經(jīng)元數(shù)過少將無法達到學(xué)習(xí)和逼近的效果，隱層神經(jīng)元數(shù)過多又將使網(wǎng)絡(luò)出現(xiàn)過擬合等不良現(xiàn)象，同時在硬件實現(xiàn)上也將難以完成。文獻［5］利用逼近論對單一隱層前向神經(jīng)網(wǎng)絡(luò)進行了研究，在理論層面上闡述了神經(jīng)網(wǎng)絡(luò)的本質(zhì)逼近階既與隱層神經(jīng)元個數(shù)有關(guān)，又與被逼近函數(shù)的光滑性有關(guān);隨后，曹飛龍等在文獻 ［6］中使用構(gòu)造法得出了單隱層神經(jīng)網(wǎng)絡(luò)逼近定義在緊集上的任意連續(xù)函數(shù)的逼近速度不超過該網(wǎng)絡(luò)的最佳多項式逼近的二倍的結(jié)論。最近幾年關(guān)于神經(jīng)網(wǎng)絡(luò)的插值性問題研究
- BP神經(jīng)網(wǎng)絡(luò)分步賦初值算法的研究
。輸入到最后一級隱層的權(quán)值矩陣對網(wǎng)絡(luò)的影響不是很大，只要保證網(wǎng)絡(luò)的抗干擾性和容錯性，使網(wǎng)絡(luò)處于一個很好的狀態(tài)即可，本研究采用敏感區(qū)賦值，通過矩陣相乘來計算各級的權(quán)值。最后一層的輸出權(quán)值直接作用于輸出，對算法的影響最大，筆者進行單獨賦值，利用期望值作為實際輸出構(gòu)成線性方程組，以方程組的解作為輸出層的權(quán)矩陣的初始值，這樣不僅可以避免陷入局部最小點，同時也可大大地縮短訓(xùn)練的時間。1 BP神經(jīng)網(wǎng)絡(luò)傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)的思想是：學(xué)習(xí)過程由信號的正向傳播與誤差的反向傳播兩
機電工程 2013年2期2013-03-29
- 綜合優(yōu)化神經(jīng)網(wǎng)絡(luò)算法*
v定理，含有一個隱層的3層BP神經(jīng)網(wǎng)絡(luò)在隱節(jié)點數(shù)足夠多的情況下能以任意精度逼近有界區(qū)域上的任意連續(xù)函數(shù)[1]。由于網(wǎng)絡(luò)參數(shù)隨機性的影響，隱層神經(jīng)元數(shù)的選擇，至今還沒有一個明確的方法。大量的實驗表明，如果隱層神經(jīng)元的數(shù)目偏少，網(wǎng)絡(luò)的學(xué)習(xí)能力和處理信息的能力較差，學(xué)習(xí)誤差下降緩慢，甚至出現(xiàn)達不到目標精度的現(xiàn)象；若隱層神經(jīng)元數(shù)目過多，一些隱層神經(jīng)元輸出存在著線性相關(guān)性，就造成網(wǎng)絡(luò)結(jié)構(gòu)龐大、網(wǎng)絡(luò)泛化能力低等問題。因此，不能完全按照kolmogorov公式或者經(jīng)驗公
網(wǎng)絡(luò)安全與數(shù)據(jù)管理 2012年5期2012-08-20
- 基于ELM 學(xué)習(xí)算法的混沌時間序列預(yù)測
一類性能優(yōu)良的單隱層前向神經(jīng)網(wǎng)絡(luò)(single-hidden layer feed forward neural networks，SLFNs)學(xué)習(xí)算法，稱為極端學(xué)習(xí)機(extreme learning machine，ELM)學(xué)習(xí)算法，與一般的BP 神經(jīng)網(wǎng)絡(luò)、RBF 神經(jīng)網(wǎng)絡(luò)相比，性能較好．該算法可以隨機地選擇網(wǎng)絡(luò)中隱層神經(jīng)元個數(shù)和類型，構(gòu)造不同的學(xué)習(xí)算法，且在隨機選擇輸入層權(quán)值和隱層神經(jīng)元偏差(閾值)前提下，可以解析獲得隱層輸出權(quán)值，該方法具有許多優(yōu)良
- BP原理及其在林木胸徑模擬中的實現(xiàn)
函數(shù)作激活函數(shù)，隱層采用非線性激活函數(shù)才可以實現(xiàn)非線性映射功能。2 BP的拓撲結(jié)構(gòu)BP拓撲結(jié)構(gòu)由大量神經(jīng)元連接構(gòu)成的一個層次型網(wǎng)絡(luò)(如圖2)，包括：①含節(jié)點的輸入層：用來描述問題的自變量;②具有節(jié)點的輸出層：描述因變量;③一個或多個包含節(jié)點的隱層：幫助捕獲數(shù)據(jù)中的非線性特征。圖2 BP類屋次型網(wǎng)絡(luò)結(jié)構(gòu)前一層的輸出為下一層的輸入，各神經(jīng)元僅接受前一層的輸入，無反饋;輸入層節(jié)點不具有計算功能，單單接受外來信號，并傳遞給各隱層節(jié)點;隱層是神經(jīng)網(wǎng)絡(luò)的內(nèi)部信息處理層
東北林業(yè)大學(xué)學(xué)報 2011年8期2011-08-09
- 改進的遺傳算法在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化中的應(yīng)用
解決人工神經(jīng)網(wǎng)絡(luò)隱層節(jié)點數(shù)目難以確定的問題，針對三層BP神經(jīng)網(wǎng)絡(luò)提出了一種最大上限隱層節(jié)點數(shù)模型，并用改進的遺傳算法對其優(yōu)化。最后，將優(yōu)化的神經(jīng)網(wǎng)絡(luò)對語音特征信號進行分類。仿真結(jié)果表明優(yōu)化后的神經(jīng)網(wǎng)絡(luò)具有很好的泛化能力，驗證了該方法的有效性。遺傳算法；神經(jīng)網(wǎng)絡(luò)；結(jié)構(gòu)優(yōu)化人工神經(jīng)網(wǎng)絡(luò)[1]（ANN）和遺傳算法[2]（GA）都是將生物學(xué)原理運用到智能計算研究中。人工神經(jīng)網(wǎng)絡(luò)是對人腦和動物神經(jīng)的若干特點的人工模擬[3]，具有一個隱含層的神經(jīng)網(wǎng)絡(luò)就能逼近任意復(fù)雜的
網(wǎng)絡(luò)安全與數(shù)據(jù)管理 2011年3期2011-01-22
- 船舶阻力計算BP神經(jīng)網(wǎng)絡(luò)的研究*
為1個神經(jīng)元,設(shè)隱層神經(jīng)元數(shù)為R,則其結(jié)構(gòu)如圖1所示.為選取合適的隱層神經(jīng)元數(shù)R,傳遞函數(shù)g1(·),g2(·),性能函數(shù)E(·)和訓(xùn)練函數(shù),分別對之進行試驗.圖1 船舶阻力計算3層BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖2.1 訓(xùn)練函數(shù)和性能函數(shù)的確定為確定該神經(jīng)網(wǎng)絡(luò)的訓(xùn)練函數(shù),經(jīng)初步試驗決定采用15個神經(jīng)元的隱層,隱層傳遞函數(shù)g1(·)采用 tansig,輸出層傳遞函數(shù)g2(·)采用purelin,最大訓(xùn)練次數(shù)采用1 000,由于數(shù)據(jù)量較大,采用批處量訓(xùn)練方式,用網(wǎng)絡(luò)輸出數(shù)
- 基于BP神經(jīng)網(wǎng)絡(luò)的紙病分類器設(shè)計
點、輸出層節(jié)點和隱層節(jié)點。隱層節(jié)點與外界沒有直接聯(lián)系,但其狀態(tài)的改變,能影響輸入與輸出的關(guān)系。圖1 BP神經(jīng)網(wǎng)絡(luò)2 BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計2.1 輸入層和輸出層的設(shè)計BP網(wǎng)絡(luò)的輸入/輸出層尾數(shù)完全根據(jù)使用者的要求來設(shè)計。本課題研究對象為紙病圖像,輸入為表征紙病圖像特征的特征向量,在特征提取過程中,提取了紙病圖像的10個特征量,如果把它們作為網(wǎng)絡(luò)的輸入,則網(wǎng)絡(luò)輸入層的神經(jīng)元個數(shù)一般等于每個樣本的特征量個數(shù),因此輸入層神經(jīng)元個數(shù)為10個[2]。根據(jù)所達到的識別
中國造紙學(xué)報 2010年2期2010-09-08
- 重軌矯直參數(shù)控制模型的自學(xué)習(xí)功能研究*
，也是由輸入層、隱層和輸出層組成的前饋網(wǎng)絡(luò)，其結(jié)構(gòu)如圖3所示。對于從X→Y的映射，RBFNN可寫為：圖3 RBFNN結(jié)構(gòu)式中，qi為第 i個隱層節(jié)點的輸出，X=(x1，x2，…，xn)為輸入樣本，ci為第 i個隱層節(jié)點的中心，m為隱層節(jié)點的個數(shù) ，||·||為歐式范數(shù)，p為輸出層的節(jié)點數(shù)，wki為第 i個隱層節(jié)點到第k個輸出層節(jié)點的連接權(quán)，R為徑向基函數(shù)。徑向基函數(shù)通常采用高斯核函數(shù)：式中，σi為第 i個隱層節(jié)點的寬度。由式(4)可知，隱層節(jié)點對輸入信號在
網(wǎng)絡(luò)安全與數(shù)據(jù)管理 2010年18期2010-05-18