時滯Hopfield神經(jīng)網(wǎng)絡(luò)全局漸近穩(wěn)定的弱條件

宿 娟

(成都師范學(xué)院 數(shù)學(xué)學(xué)院, 四川 成都 610044)

Hopfield神經(jīng)網(wǎng)絡(luò)由美國加州物理學(xué)家Hopfield[1]于1984年提出,由于在優(yōu)化問題[2-5]、模式識別[6]和協(xié)同記憶[7]等方面的廣泛應(yīng)用,該網(wǎng)絡(luò)自提出以來就受到科學(xué)家們的持續(xù)關(guān)注.關(guān)于該網(wǎng)絡(luò)及其各種推廣的研究不斷涌現(xiàn)[8-11].然而在網(wǎng)絡(luò)的實際應(yīng)用中,時滯的出現(xiàn)不可避免.對含時滯的Hopfield神經(jīng)網(wǎng)絡(luò)的動力學(xué)行為的研究也在文獻(xiàn)[12]之后不斷出現(xiàn),取得了突破性的進(jìn)展[13-18],其中文獻(xiàn)[13]研究如下時滯Hopfield神經(jīng)網(wǎng)絡(luò)

i=1,2,…,n,

(1)

xi(t)表示第i個神經(jīng)元在t時刻的狀態(tài)變量,di>0表示網(wǎng)絡(luò)在不連通且無外部附加電壓差的情況下第i個神經(jīng)元恢復(fù)孤立靜息狀態(tài)的速率,aij∈R表示第j個神經(jīng)元對第i個神經(jīng)元的影響強度,gj∈C(R)表示神經(jīng)元的輸出函數(shù),也稱為激活函數(shù),時滯τij>0,Ii∈R表示外部輸入.系統(tǒng)(1)滿足初值條件

xi(t)=φi(t),t∈[-τ,0],

(2)

其中，τ:=max{τij:i,j=1,2,…,n},φi∈C([-τ,0],R).針對經(jīng)典的激活函數(shù)gj(s)=tanh(μjs),其中μj(j=1,2,…,n)為非零常數(shù),文獻(xiàn)[13]得出若滿足

(3)

則系統(tǒng)(1)存在唯一平衡點并且是全局漸近穩(wěn)定的.進(jìn)一步文獻(xiàn)[14]削弱文獻(xiàn)[13]中對激活函數(shù)gj具體形式的限制,僅假定其滿足有界和Lipschitz條件,得到系統(tǒng)(1)存在唯一的平衡點并且是全局漸近穩(wěn)定的充分條件:

(4)

其中Lj>0是激活函數(shù)gj的Lipschitz常數(shù).顯然tanh(μjs)滿足文獻(xiàn)[14]中激活函數(shù)的要求,并且Lipschitz常數(shù)為|μj|.同時比較(3)和(4)式,容易得出文獻(xiàn)[14]推廣了文獻(xiàn)[13]的工作.文獻(xiàn)[15]則再次削弱了對gj的要求,假設(shè)只滿足Lipschtz條件,得到系統(tǒng)(1)存在唯一平衡點并且全局漸近穩(wěn)定的一個充分條件:DL-1-|A|為M-矩陣,其中D:=diag{d1,d2,…,dn},L:=diag{L1,L2,…,Ln}和|A|:=(|aij|)n×n.為了明確條件(4)式和DL-1-|A|為M-矩陣的關(guān)系,回顧文獻(xiàn)[15]中引理1關(guān)于M-矩陣的等價定義.得到結(jié)論如下:DL-1-|A|為M-矩陣當(dāng)且僅當(dāng)存在向量γ=(γ1,γ2,…,γn)>0,使得γ(DL-1-|A|)>0,這里“>0”表示向量的每個分量均大于0.特別當(dāng)γi=1,i=1,2,…,n時

γ(DL-1-|A|)=

顯然γ(DL-1-|A|)>0當(dāng)且僅當(dāng)不等式(4)成立.由此說明(4)式是DL-1-|A|為M-矩陣的一個充分條件,從而文獻(xiàn)[15]推廣了文獻(xiàn)[14]的結(jié)論.

回顧上述全局漸近穩(wěn)定條件[13-15],其中均要求嚴(yán)格不等.究其原因,在于Lyapunov函數(shù)的應(yīng)用.準(zhǔn)確的說,為了得到平衡點的全局漸近穩(wěn)定,需要對所構(gòu)造的Lyapunov函數(shù)沿系統(tǒng)(1)的解的導(dǎo)數(shù)嚴(yán)格小于零,以此保證平衡點的全局漸近穩(wěn)定性.因此,條件(3)和(4)式以及M-矩陣等價條件中的嚴(yán)格不等就是為了Lyapunov函數(shù)沿系統(tǒng)解的導(dǎo)數(shù)嚴(yán)格小于0.至此一個很自然的問題產(chǎn)生:能否將條件的“<0”弱化為“≤0”?事實上對這樣的弱化問題,當(dāng)系統(tǒng)(1)不含時滯,即τij=0時,文獻(xiàn)[19-20]分別針對不同激活函數(shù)進(jìn)行了研究.文獻(xiàn)[19]研究系統(tǒng)(1)中τ=0,gj(s)=tanh(μs),其中μ>0時全局吸引的弱條件,這里弱條件體現(xiàn)在將文獻(xiàn)[21]工作中全局吸引的條件中的“<0”弱化至“≤0”.文獻(xiàn)[20]則研究了系統(tǒng)(1)中τ=0,矩陣A:=(aij)n×n對稱,gj滿足0

受文獻(xiàn)[14-15,19-20]的啟發(fā),本文研究時滯系統(tǒng)(1)全局漸近穩(wěn)定的弱條件.首先仍然需要構(gòu)造Lyapunov函數(shù),并計算該函數(shù)沿系統(tǒng)(1)解的導(dǎo)數(shù),通過導(dǎo)數(shù)非正證明了系統(tǒng)(1)平衡點的穩(wěn)定性.然后綜合利用反證法等基本分析方法證明該平衡點是全局吸引的.這里得到的吸引性條件體現(xiàn)了將已有結(jié)論中的嚴(yán)格小于弱化為不大于.由此給出系統(tǒng)(1)全局漸近穩(wěn)定的一個弱條件.

1 預(yù)備知識

本文假設(shè)激活函數(shù)gj(j=1,2,…,n)滿足Lipschitz條件,即存在常數(shù)Lj>0滿足

(H1) |gj(s1)-gj(s2)|≤Lj|s1-s2|,?s1,s2∈R.

Lipschitz條件(H1)并不能確保系統(tǒng)(1)的平衡點的存在性.以下列一維系統(tǒng)為例

(5)

i=1,2,…,n,

(6)

其中

y(t):=x(t)-x*,

j=1,2,…,n.

(7)

并且由(H1)還得到

?s∈R,j=1,2,…,n.

(8)

除了假設(shè)(H1),還假設(shè)gj滿足

證明定義

j=1,2,…,n.

(10)

顯然

根據(jù)(H1),容易得到

|D+gj(s)|≤Lj,j=1,2,…,n.

(12)

從(9)式計算D+Fj,并根據(jù)(12)式得到

D+Fj(s)=-D+gj(s)+Lj≥0,

?s∈R,j=1,2,…,n,

(13)

其中D+表示右下Dini導(dǎo)數(shù).根據(jù)文獻(xiàn)[22]附錄I中的定理2.1,從不等式(13)得出Fj在R上單調(diào)不減.進(jìn)一步由(H2)和(9),計算得到

j=1,2,…,n,

(14)

(15)

將(9)式中Fj的定義代入(15)式,得到

j=1,2,…,n.

(16)

同理,對Hj(j=1,2,…,n)也成立

(17)

將(10)中Hj的定義代入(17)式,得到

j=1,2,…,n.

(18)

綜合(16)和(18)式,下列不等式成立

引理得證.

2 主要結(jié)論及證明

在上述準(zhǔn)備工作的基礎(chǔ)上,下面將給出系統(tǒng)(1)全局漸近穩(wěn)定的條件和具體證明.

定理2.1設(shè)系統(tǒng)(1)存在平衡點,gj(j=1,2,…,n)滿足(H1)和(H2).若存在常數(shù)γi>0使得

則系統(tǒng)(1)的平衡點唯一并且是全局漸近穩(wěn)定的.

證明證明分成3步完成.

第一步,構(gòu)造Lyapunov函數(shù),證明系統(tǒng)(6)的零解的穩(wěn)定性.定義

(19)

計算V(t)沿系統(tǒng)(6)的解的右上Dini導(dǎo)數(shù),得到

利用(8)式進(jìn)一步化簡(20)式,得到

根據(jù)α≤0,從(21)式得出

D+V(t)≤0,

(22)

說明系統(tǒng)(6)的零解是穩(wěn)定的.

第二步,假設(shè)系統(tǒng)(6)的零解不吸引,從而對某個j∈{1,2,…,n},估計|yj(t)|在t屬于某個區(qū)間列時的上界和正的下界.

首先估計|yj(t)|,j=1,2,…,n的上界.顯然(22)式說明函數(shù)V(t)單調(diào)遞減,同時由于V(t)≥0,得出

(23)

結(jié)合V(t)的定義(19)式以及(23)式,將采用反證法得出如下結(jié)論:存在某個時間t′以及常數(shù)M>0,滿足

|yj(t)|≤M, ?t>t′,j=1,2,…,n. (24)

(25)

將(25)式結(jié)論用于V(t)的定義式(19)中,得到

V(ξk)≥γj0|yj0(ξk)|→+∞,k→+∞,

t>t0,i,j=1,2,…,n}<+∞.

(26)

將(24)和(26)式應(yīng)用于(6)式,得到下列估計式

?t>t0,i=1,2,…,n,

(27)

再次根據(jù)假設(shè)系統(tǒng)(6)的平凡解不吸引,必然存在y(t)的某個分量,不妨記為yj*(t)滿足

yj*(t)→/0,t→∞.

(28)

|yj*(tk)|≥ε0.

(29)

此外還假定序列{tk}滿足

利用(29)式可得下面的估計

k=1,2,….

(31)

(32)

其中ξ∈(tk,t)或(t,tk),從而(31)式仍然成立.

綜合(24)和(31)式,存在某個j*∈{1,2,…,n}滿足

第三步,利用(33)式,將證明當(dāng)t屬于某個區(qū)間列時,D+V(t)存在一個上界為負(fù),由此與V(t)≥0矛盾.再從(20)式得到

(34)

下面分2種情況從(34)式推導(dǎo)與V(t)非負(fù)的矛盾:

(C1) 存在某個i0∈{1,2,…,n}滿足ai0j*≠0;

(C2) 對所有的i∈{1,2,…,n},滿足aij*=0,

其中下標(biāo)j*由(28)式給出.在對(C1)進(jìn)行討論之前,首先利用α≤0對(34)式化簡得到

Lj|yj(t-τij)|}≤

Lj|yj(t-τij)|}.

(35)

Lj*|yj*(t-τj*)|}.

(36)

于是在(C1)情況下對(36)式右端放大得到

D+V(t)≤-γi0|ai0j*|{Lj*|yj*(t-τi0j*)|-

(37)

D+V(t)≤-γi0|ai0j*||yj*(t-τi0j*)|

(38)

結(jié)合引理1.1和緊性,容易得出

(39)

D+V(t)≤-Ω,

(40)

D+V(t)≤0.

(41)

k→∞,

(42)

(43)

于是在(C2)條件下,利用定理2.1條件中α≤0,從(43)式得出

-γj*dj*|yj*(t)|.

(44)

于是將(33)式應(yīng)用到(44)式中,進(jìn)一步得到

D+V(t)≤-ε0γj*dj*/2<0,

D+V(t)≤0.

(46)

k→∞,

(47)

這和V(t)非負(fù)矛盾.綜合(C1)和(C2)的結(jié)論,都得出矛盾,由此說明第二步中的假設(shè)(28)式不成立,從而系統(tǒng)(6)的零解吸引.考慮到第一步的結(jié)論:系統(tǒng)(6)的零解是穩(wěn)定的,得到該系統(tǒng)零解是全局漸近穩(wěn)定的.于是原系統(tǒng)(1)的平衡點是全局漸近穩(wěn)定的,因此平衡點唯一.定理得證.

注1定理2.1中條件(H1)和α≤0并不能保證系統(tǒng)平衡點的存在.例如一維系統(tǒng)(5)滿足(H1),并且對任意γ>0都有α=0.但是當(dāng)I>0是并不存在平衡點.因此該定理中假設(shè)系統(tǒng)(1)存在平衡點是必要的.

注2利用文獻(xiàn)[15]中引理1得到下列事實:DL-1-|A|∈M-矩陣,當(dāng)且僅當(dāng)存在γj>0,j=1,…,n,滿足

即α<0.顯然定理2.1中全局漸近穩(wěn)定的條件α≤0較文獻(xiàn)[15]給出的DL-1-|A|∈M-矩陣這一個條件弱.

[1] HOPFIELD J. Neurons with graded response have collective computational properties like those of two-stage neurons[J]. Proc Natl Acad Sci USA,1984,81:3088-3092.

[2] TANK D, HOPFIELD J. Simple “neural” optimization networks:an A/D converter, signal decision circuit, and a linear programming circuit[J]. IEEE Trans Circuits Syst,1986,33(5):533-541.

[3] HOPFIELD J, TANK D. Neural computation of decision optimization problems[J]. Biol Cybernet,1985,52:141-154.

[4] TALAVAN P, YANEZ J. Parameter setting of the Hopfield networks applied to TSP[J]. Neural Networks,2002,15(3):363-373.

[5] FORTI M, TESI A. New conditions for global stability of neural networks with application to linear and quadratic programming problems[J]. IEEE Trans Circuits Syst I,1995,42(7):354-365.

[6] LEE D. Pattern sequence recognition using a time-varying Hopfield networks[J]. IEEE Trans Neural Netw,2002,13(2):330-342.

[7] FARREL J, MICHEL A. A synthesis procedure for Hopfield’s continuous-time associative memory[J]. IEEE Trans Circuits Syst,1990,37(7):877-884.

[8] CHENG C, LIN K, SHIH C. Multistability in recurrent neural networks[J]. SIAM J Appl Math,2006,66(4):1301-1320.

[9] HAYKIN S. Neural Networks:A Comprehensive Foundation[M]. New Jersey:Prentice-Hall,1998.

[10] MICHEL A, FARRELL J, POROOD W. Qualitative analysis of neural networks[J]. IEEE Trans Circuits and Systems,1989,36(2):229-243.

[11] WU J. Introduction to Neural Dynamics and Signal Transmission Delay[M]. Berlin:Walter de Gruyter,2001.

[12] MARCUS C, WESTERVELT R. Stability of analog neural networks with delay[J]. Phys Rev,1989,A39:347-359.

[13] GOPALSAMY K, HE X. Stability in asymmetric Hopfield nets with transmission delays[J]. Physica D,1994,76:344-358.

[14] DRIESSCHE P, ZOU X. Global attractivity in delayed Hopfield neural network models[J]. SIAM J Appl Math,1998,58(6):1878-1890.

[15] ZHANG J, JIN X. Global stability analysis in delayed Hopfield neural networks models[J]. Neural Networks,2000,13:745-753.

[16] MARCO M, FORTI M, GRANZZINI M, et al. Limit set dichotomy and multistability for a class of cooperative neural networks with delays[J]. IEEE Trans Neural Netw Learn Syst,2012,23(9):1473-1485.

[17] CHENG C, LIN K, SHIH C, et al. Multistability for delayed neural networks via sequential contracting[J]. IEEE Trans Neural Netw Learn Syst,2015,26(12):3109-3122.

[18] EDUARDO L, ALFONSO R. Attractivity, multistability,and bifurcation in delayed Hopfield’s model with non-monotonic feedback[J]. J Diff Eqns,2013,255:4244-4266.

[19] CHEN T. New theorems on global convergece of some dynamical systems[J]. Neural networks,2001,14:251-255.

[20] Zhang W. A weak condition of globally asymptotic stability for neural networks[J]. Applied Mathematics Letters,2006,19:1210-1215.

[21] CHEN T, AMARI S. Stability of asymmetric Hopfield networks[J]. IEEE Trans Neural Networks,2001,12(1):159-163.

[22] ROUCHE N, HABETS P, LALOR M. Stability theory by Lyapunov’s Direct Method[M]. New York:Springer-Verlag,1977.