• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      非對(duì)稱反饋神經(jīng)網(wǎng)絡(luò)中亞穩(wěn)態(tài)的位置與穩(wěn)定性

      2013-10-29 09:33:24方一博屈世顯
      關(guān)鍵詞:亞穩(wěn)態(tài)控制參數(shù)神經(jīng)元

      方一博,金 濤,屈世顯

      (陜西師范大學(xué) 物理學(xué)與信息技術(shù)學(xué)院,陜西 西安710062)

      亞穩(wěn)態(tài)存在于真實(shí)的大腦記憶中[1-4],同時(shí)對(duì)人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用也起著非常重要的作用.例如,神經(jīng)網(wǎng)絡(luò)可用于聯(lián)想記憶和模式識(shí)別[5-7],但由于亞穩(wěn)態(tài)的存在可能會(huì)導(dǎo)致記憶失敗和識(shí)別錯(cuò)誤[8-10].所以對(duì)神經(jīng)網(wǎng)絡(luò)中的亞穩(wěn)態(tài)的研究一直是人們比較關(guān)注的問題.

      目前,在真實(shí)大腦中對(duì)亞穩(wěn)態(tài)的研究集中在臨界過程[2-4],如臨界分支過程[2].在人工神經(jīng)網(wǎng)絡(luò)中以對(duì)稱網(wǎng)絡(luò)為主,研究亞穩(wěn)態(tài)的結(jié)構(gòu)[11]和數(shù)目[12],尤其是當(dāng)記憶模式為3個(gè)時(shí),系統(tǒng)中亞穩(wěn)態(tài)的結(jié)構(gòu)和數(shù)目可通過群論方法準(zhǔn)確得出[13],但是當(dāng)網(wǎng)絡(luò)存儲(chǔ)率較大時(shí)這種方法不適用,更為嚴(yán)重的是亞穩(wěn)態(tài)的產(chǎn)生機(jī)制至今沒有得到有效的解決[14].另外,在神經(jīng)網(wǎng)絡(luò)的應(yīng)用方面,人們關(guān)注于如何降低亞穩(wěn)態(tài)的影響.研究表明由于網(wǎng)絡(luò)的高對(duì)稱性導(dǎo)致系統(tǒng)中存在更多的亞穩(wěn)態(tài),因此可通過增加網(wǎng)絡(luò)的不對(duì)稱度以降低亞穩(wěn)態(tài)的影響[8],即設(shè)計(jì)不對(duì)稱網(wǎng)絡(luò).

      實(shí)驗(yàn)數(shù)據(jù)表明大腦網(wǎng)絡(luò)呈非對(duì)稱連接[1].對(duì)于實(shí)際應(yīng)用來說非對(duì)稱神經(jīng)網(wǎng)絡(luò)也更有優(yōu)勢(shì).例如對(duì)聯(lián)想記憶,非對(duì)稱網(wǎng)絡(luò)可以特定的學(xué)習(xí)規(guī)則直接控制與記憶模式對(duì)應(yīng)的吸引子的吸引域從而提高記憶模式的穩(wěn)定性[9-10]、降低亞穩(wěn)態(tài)的影響.目前有兩種學(xué)習(xí)方法可以滿足上述要求,一是感知機(jī)學(xué)習(xí)規(guī)則[8],另一個(gè)是蒙特卡羅優(yōu)化選擇變異(MCA)學(xué)習(xí)規(guī)則[10].

      本文以廣義感知機(jī)學(xué)習(xí)規(guī)則設(shè)計(jì)的單層反饋神經(jīng)網(wǎng)絡(luò)為基礎(chǔ),研究系統(tǒng)中亞穩(wěn)態(tài)的穩(wěn)定性及相空間位置.

      1 模型

      單層反饋神經(jīng)網(wǎng)絡(luò)是典型的多體非線性相互作用系統(tǒng),其動(dòng)力學(xué)演化方程為

      其中,Si(t)表示神經(jīng)元i在t時(shí)刻的狀態(tài);Jij表示神經(jīng)元i與神經(jīng)元j之間的相互作用類型(抑制或促進(jìn))及強(qiáng)度;局域場(chǎng)hi(t)表示t時(shí)刻其它神經(jīng)元對(duì)神經(jīng)元i的作用總和;sgn(hi(t))表示神經(jīng)元i對(duì)輸入信號(hào)的響應(yīng),本文采用符號(hào)函數(shù),意味著神經(jīng)元只有+1或-1兩個(gè)狀態(tài);N表示系統(tǒng)中神經(jīng)元的個(gè)數(shù).在t時(shí)刻,整個(gè)系統(tǒng)的運(yùn)動(dòng)狀態(tài)由所有神經(jīng)元的狀態(tài)決定,表示為{Si(t),i=1,…,N}.對(duì)由(1)式描述的系統(tǒng)來說,其動(dòng)力學(xué)行為由相互作用矩陣J決定.

      2 網(wǎng)絡(luò)設(shè)計(jì)

      網(wǎng)絡(luò)設(shè)計(jì)的目標(biāo)是尋找合適的相互作用矩陣J,使給定的p個(gè)系統(tǒng)狀態(tài)設(shè)計(jì)成為由(1)式所描述的系統(tǒng)的不動(dòng)點(diǎn)吸引子,這些系統(tǒng)狀態(tài)被稱為記憶模式,表示為{ξμi}(i=1,…,N,μ=1,…,p).要使這些記憶模式成為系統(tǒng)的不動(dòng)點(diǎn)吸引子,需滿足條件[15]

      其中κ>0,為控制參數(shù),且κ越大,吸引子的穩(wěn)定性越高[10].

      對(duì)于hμi=κ的特殊情形,本文采用廣義感知機(jī)學(xué)習(xí)規(guī)則的弛豫形式[8,15],其表達(dá)式為

      其中m表示迭代次數(shù).網(wǎng)絡(luò)設(shè)計(jì)過程為:選擇控制參數(shù)κ,并用[-1,1]之間均勻分布的隨機(jī)數(shù)初始化相互作用矩陣,使矩陣元素滿足條件

      然后按照(3)式進(jìn)行迭代,整個(gè)過程需保證(4)式始終成立,直至所有記憶模式都滿足條件|hμi-κ|<10-6.

      3 數(shù)值結(jié)果及討論

      圖1 亞穩(wěn)態(tài)出現(xiàn)概率隨控制參數(shù)κ的變化Fig.1 The probability of metastable states with different control parameterκ

      對(duì)設(shè)計(jì)好的網(wǎng)絡(luò),隨機(jī)選取初始狀態(tài)使其按(1)式進(jìn)行演化直至收斂.將最終沒有收斂到記憶模式所對(duì)應(yīng)的吸引子{ξμi}或其鏡像{-ξμi}(i=1,…,N,μ=1,…,p)上的狀態(tài)稱為系統(tǒng)的亞穩(wěn)態(tài).我們計(jì)算了在不同κ值下亞穩(wěn)態(tài)出現(xiàn)的概率Ptotal.圖1給出在參數(shù)N=1 000,p=3的情況下Ptotal隨κ的變化情況.從圖中可以看出,當(dāng)參數(shù)κ≤2.3時(shí),系統(tǒng)中亞穩(wěn)態(tài)出現(xiàn)的概率Ptotal=0,這是因?yàn)殡S機(jī)選取的初始狀態(tài)經(jīng)系統(tǒng)演化后沒有收斂或收斂到記憶模式所對(duì)應(yīng)的吸引子上而造成的,因此在該參數(shù)區(qū)間內(nèi)不存在亞穩(wěn)態(tài);當(dāng)參數(shù)κ>2.3時(shí),Ptotal>0且隨參數(shù)κ的增大而增加,此時(shí)系統(tǒng)中出現(xiàn)亞穩(wěn)態(tài),這意味著可選取較大的參數(shù)κ,以找出更多的亞穩(wěn)態(tài)進(jìn)行研究.

      首先研究反饋神經(jīng)網(wǎng)絡(luò)中亞穩(wěn)態(tài)的相空間位置.我們選取參數(shù)κ=4,記憶模式p分別為30、40和50的情況下,計(jì)算亞穩(wěn)態(tài)和記憶模式(基態(tài))之間的漢明距離.圖2給出漢明距離的分布情況,由圖可以看出漢明距離以0.5為中心呈對(duì)稱分布,并且隨記憶模式增加其分布趨于集中.由此可知,該系統(tǒng)中的亞穩(wěn)態(tài)集中出現(xiàn)在與各記憶模式近似相等的位置.

      圖2 不同記憶模式下漢明距離的概率分布Fig.2 The probability distribution of Hamming Distance under different p

      為研究亞穩(wěn)態(tài)的穩(wěn)定性,我們計(jì)算它們的能量.對(duì)于由感知機(jī)學(xué)習(xí)規(guī)則設(shè)計(jì)的非對(duì)稱網(wǎng)絡(luò),在p有限且滿足熱力學(xué)極限的條件下,由于隨機(jī)選取的記憶模式相互正交且線性無關(guān),因此滿足條件=κ的相互作用矩陣可分解為

      其中Jdij由Hebb學(xué)習(xí)規(guī)則

      得到,為對(duì)稱矩陣[17-18],因此可定義能量函數(shù)[19-20]

      選取參數(shù)κ=4,記憶模式p分別為30、40和50的情況下,根據(jù)(5)式計(jì)算亞穩(wěn)態(tài)和基態(tài)的能量之比.圖3給出p=30的情況下能量比的分布情況.p為40和50的情形與p=30的能量比分布完全相同.

      圖3 控制參數(shù)為κ=4的情況下能量比的概率分布Fig.3 The probability distribution of energy ratio withκ=4

      由圖可知,在不同存儲(chǔ)率(α=p/N)下亞穩(wěn)態(tài)和基態(tài)的能量之比由于參數(shù)κ的控制而呈現(xiàn)出相同的分布,又由于系統(tǒng)中所有基態(tài)的能量相等,因此系統(tǒng)中亞穩(wěn)態(tài)的能量有相同的分布.這說明即使在不同存儲(chǔ)率下,由于參數(shù)κ對(duì)亞穩(wěn)態(tài)的有效控制使其表現(xiàn)出近似相同的穩(wěn)定性.為進(jìn)一步說明參數(shù)κ對(duì)亞穩(wěn)態(tài)穩(wěn)定性的影響,我們?cè)谕淮鎯?chǔ)率下(p=10)選取不同的參數(shù)κ,計(jì)算亞穩(wěn)態(tài)和基態(tài)的能量之比.其分布如圖4所示.可以看出對(duì)于不同的控制參數(shù)κ,能量比呈現(xiàn)出不同的分布情形,即亞穩(wěn)態(tài)在不同參數(shù)下顯示出不同的穩(wěn)定性.另外,從圖4還可看出,在記憶模式p=10的情況下,隨參數(shù)κ的增加,能量比的分布向左偏移,這意味著亞穩(wěn)態(tài)與記憶模式的能量比變小,即亞穩(wěn)態(tài)與記憶模式的差別變大.對(duì)于神經(jīng)網(wǎng)絡(luò)的應(yīng)用來說更有利于對(duì)記憶模式的識(shí)別.

      圖4 不同控制參數(shù)κ情況下能量比的分布Fig.4 The probability distribution of energy ratio with differentκ

      4 結(jié)論

      本文以感知機(jī)學(xué)習(xí)規(guī)則設(shè)計(jì)的非對(duì)稱反饋神經(jīng)網(wǎng)絡(luò)為例,研究亞穩(wěn)態(tài)在相空間中的位置及其穩(wěn)定性.通過計(jì)算亞穩(wěn)態(tài)與記憶模式之間的漢明距離,發(fā)現(xiàn)系統(tǒng)中的亞穩(wěn)態(tài)集中分布在與各記憶模式近似等距離的位置,并隨存儲(chǔ)率的增加更趨集中.并通過計(jì)算不同存儲(chǔ)率下系統(tǒng)的亞穩(wěn)態(tài)與基態(tài)的能量比,發(fā)現(xiàn)系統(tǒng)中的亞穩(wěn)態(tài)表現(xiàn)出近似相同的穩(wěn)定性,得出亞穩(wěn)態(tài)的穩(wěn)定性依賴于控制參數(shù).

      [1]Gustavo Deco,Viktor K Jirsa,Anthony R McIntosh.Emerging concepts for the dynamical organization of resting-state activity in the brain[J].Nature Reviews Neuroscience,2011,12:43-56.

      [2]Clayton Haldeman,John M Beggs.Critical branching captures activity in living neural networks and maximizes the number of metastable states[J].Physical Review Letter,2005,94:058101.

      [3]Stefan Auer,Mark A Miller,Sergei V Krivov,et al.Importance of metastable states in the free energy landscapes of polypeptide chains[J].Physical Review Letter,2007,99(17):178104.

      [4]Nir Friedman,Shinya Ito,Braden A W Brinkman,et al.Universal critical dynamics in high resolution neuronal avalanche data[J].Physical Review Letter,2012,108:208102.

      [5]Hopfield J J.Neural networks and physical systems with emergent collective computational abilities[J].Proceedings of the National Academy of Sciences,1982,79:2554-2558.

      [6]Hopfield J J.Neurons with graded response have collective computational properties like those of two-state neu-rons[J].Proceedings of the National Academy of Sciences,1984,81:3088-3092.

      [7]Kanter I,Sompolinsky H.Associative recall of memory without errors[J].Physical Review:A,1987,35:380-392.

      [8]Gardner E.The phase space of interactions in neural networks with definite asymmetry[J].Journal of Physics A:Mathematical and General,1989,22:1995-2008.

      [9]Tao Jin,Hong Zhao.Pattern recognition using asymmetric attractor neural networks[J].Physical Review:E,2005,72:066111.

      [10]Hong Zhao.Designing asymmetric neural networks with associative memory[J].Physical Review:E,2004,70:066137.

      [11]Peter Kumhlmann,Joachim K Anlauf.The number of metastable states in the projection rule neural network[J].Journal of Physics A:Mathematical and General,1994,27:5857-5870.

      [12]Gardner E.Structure of metastable states in the Hopfield model[J].Journal of Physics A:Mathematical and General,1986,19:L1047-L1052.

      [13]Pierre Baldi.Symmetries and learning in neural network models[J].Physical Review:E,1987,59(17):1976-1978.

      [14]Daniel J Amit,Hanoch Gutfreund,Sompolinsky H.Storing infinite numbers of patterns in a spin-glass model of neural networks[J].Physical Review Letter,1985,55(14):1530-1533.

      [15]Qingguo Zhou,Tao Jin,Hong Zhao.Correlation between eigenvalue spectra and dynamics of neural networks[J].Neural Computation,2009,21:2931-2941.

      [16]Daniel J Amit,Hanoch Gutfreund,Sompolinsky H.Spin-glass models of neural networks[J].Physical Review:A,1985,32(2):1007-1018.

      [17]Bruce A F,Gardner E J,Wallace D J.Dynamics and statistical mechanics of the Hopfield model[J].Journal of Physics A:Mathematical and General,1987,20:2909-2934.

      [18]David Shrrrington,Scott Kirkpatrick.Solvable model of a spin-glass[J].Physical Review Letter,1975,35(26):1792-1796.

      [19]Robert J McEliece,Edeward C Posner,Eugene R Rodemich,et al.The capacity of Hopfield associative memory[J].IEEE Transaction on Information Theory,1987,33:461-482.

      [20]Glauber R J.Time-dependent statistics of the Ising model[J].Journal of Mathematical Physics,1963,4(2):294-307.

      猜你喜歡
      亞穩(wěn)態(tài)控制參數(shù)神經(jīng)元
      高超聲速飛行器滑??刂茀?shù)整定方法設(shè)計(jì)*
      《從光子到神經(jīng)元》書評(píng)
      自然雜志(2021年6期)2021-12-23 08:24:46
      2016年門源MS6.4地震前跨斷層短水準(zhǔn)短期異常的機(jī)理探討
      地震研究(2020年4期)2020-09-26 10:08:11
      Birkhoff系統(tǒng)穩(wěn)定性的動(dòng)力學(xué)控制1)
      躍動(dòng)的神經(jīng)元——波蘭Brain Embassy聯(lián)合辦公
      FPGA設(shè)計(jì)中跨時(shí)鐘域的問題與方法
      基于PI與準(zhǔn)PR調(diào)節(jié)的并網(wǎng)逆變器控制參數(shù)設(shè)計(jì)
      黑龍江電力(2017年1期)2017-05-17 04:25:08
      基于二次型單神經(jīng)元PID的MPPT控制
      毫米波導(dǎo)引頭預(yù)定回路改進(jìn)單神經(jīng)元控制
      FPGA設(shè)計(jì)中的跨時(shí)鐘域問題
      库伦旗| 望奎县| 土默特左旗| 浦县| 达孜县| 巍山| 广饶县| 沙雅县| 万荣县| 雷州市| 高雄市| 四川省| 永年县| 凉城县| 交口县| 正安县| 云阳县| 城固县| 四平市| 珠海市| 连州市| 扬中市| 宁德市| 亚东县| 正定县| 三台县| 平昌县| 温宿县| 河曲县| 嵊泗县| 仁布县| 沈阳市| 昌乐县| 汶上县| 华池县| 三穗县| 道真| 常州市| 淮北市| 凤台县| 冷水江市|