時(shí)滯神經(jīng)網(wǎng)絡(luò)的改進(jìn)穩(wěn)定判據(jù)

韓彥武，湯紅吉，余躍

(1.南通大學(xué) 理學(xué)院， 江蘇 南通 226019; 2.南通大學(xué) 杏林學(xué)院， 江蘇 南通 226007)

0 引言

神經(jīng)網(wǎng)絡(luò)(neural networks, NNs)在很多領(lǐng)域有著廣泛的應(yīng)用。在神經(jīng)網(wǎng)絡(luò)中，由于神經(jīng)元之間通訊時(shí)間等因素的存在，不可避免產(chǎn)生時(shí)滯現(xiàn)象。時(shí)滯的存在將使得系統(tǒng)的性能變差甚至失穩(wěn)。而穩(wěn)定是一切系統(tǒng)正常運(yùn)行的基礎(chǔ)，因此，基于Lyapunov穩(wěn)定性理論，對(duì)于時(shí)滯神經(jīng)網(wǎng)絡(luò)(DNNs)穩(wěn)定性的研究是近年來的熱點(diǎn)問題之一。目前，時(shí)滯神經(jīng)網(wǎng)絡(luò)穩(wěn)定性的研究已經(jīng)有了眾多結(jié)果[1-10]。通常，采用的方法是通過構(gòu)造適當(dāng)?shù)腖KF泛函，綜合利用各種計(jì)算方法和技巧，得出系統(tǒng)保持穩(wěn)定所允許的最大時(shí)滯。得出的最大時(shí)滯(AUBD)越大，說明結(jié)果的保守性就越小。

文獻(xiàn)[5,6]分別利用基于自由矩陣的積分不等式和改進(jìn)的基于自由矩陣的積分不等式方法，得出了DNNs指數(shù)穩(wěn)定的充分條件。文獻(xiàn)[7]利用基于Wirtinger的多積分不等式，對(duì)DNNs 進(jìn)行了穩(wěn)定性分析。文獻(xiàn)[8]通過構(gòu)造含有三重積分的增廣LKF泛函，以線性矩陣不等式的形式給出了DNNs穩(wěn)定的充分條件。文獻(xiàn)[9]利用一般自由權(quán)矩陣方法，估計(jì)增廣LKF泛函導(dǎo)數(shù)中的單積分項(xiàng)，得出了保守性較小的DNNs穩(wěn)定條件。文獻(xiàn)[10]在構(gòu)造LKF泛函時(shí)，充分利用了激活函數(shù)和時(shí)滯的相關(guān)信息。注意到文獻(xiàn)[5-10]中得出的DNNs穩(wěn)定充分條件均需要較多的矩陣變量。矩陣變量較多將增加計(jì)算的復(fù)雜度，而且有時(shí)并不能降低結(jié)果的保守性。

基于此，筆者研究DNNs的穩(wěn)定性問題。構(gòu)造了一個(gè)適當(dāng)?shù)脑鰪VLyapunov-Krasovskii泛函(Lyapunov-Krasovskii functional LKF)，估計(jì)LKF泛函沿誤差系統(tǒng)導(dǎo)數(shù)時(shí)，綜合應(yīng)用倒凸組合技巧，基于輔助函數(shù)的積分不等式，根據(jù)激活函數(shù)的界，應(yīng)用較少的矩陣變量，得出DNNs穩(wěn)定的一個(gè)新判據(jù)。

1 問題描述

考慮如下的時(shí)滯神經(jīng)網(wǎng)絡(luò):

(1)

(2)

(3)

其中，f(x(t))=g((x(t)+y*))-g(y*)。由式(2)可得:

(4)

下面給出本文需要用到的引理。

引理1對(duì)于正定對(duì)稱矩陣M,向量函數(shù)ω:[t-d,t]→Rn有定義[11-12]，則:

其中:

引理2ξ∈Rn,Φ=ΦT,B∈Rm×n且rank(B)

①ξTΦξ<0,?Bξ=0,ξ≠0;

② (B⊥)TΦ(B⊥)<0,B⊥是B的右正交補(bǔ)。

2 主要結(jié)論

為了表示方便，定義如下符號(hào):

K2=K1+Θ(K3-K1)=diag(k1,…,kn),Θ=diag(θ1,…,θn),θi∈(0,1),

p(t)=d(t)e8+(d-d(t))e9,

((e6-e7)-Kj(e1-e4))TΔi3(Kj+1(e1-e4)-(e6-e7))],

d1(t)=d(t),d2(t)=d-d(t),i,j=1,2,

Γ=[-A-I000W0W10000]。

定理1對(duì)于給定的d,μ,θi∈(0,1), 對(duì)角矩陣K1,K3,式(3)是漸近穩(wěn)定的，若存在對(duì)稱矩陣P，對(duì)稱正定矩陣Z,Q,R,S,Ui(i=1,2,3)，對(duì)角正定矩陣Λ1,Λ2,Δij,i=12,j=1,2,3 及矩陣Mi(i=1,2,3)使得如下的線性矩陣不等式成立。

(5)

(6)

(7)

證 情形 1。

(8)

V(t)=V1(t)+V2(t)+V3(t)+V4(t)+V5(t)，

其中：

V5(t)=d(t)xT(t)Sx(t)，

由引理1得：

若式(7)成立，則V1(t)>0。沿式(3)Vi(t)計(jì)算導(dǎo)數(shù)如下:

xT(t-d)Rx(t-d)=ξT(t)Ξ1ξ(t);

由引理1和引理3可得:

綜上可得:

關(guān)于V4(t),V5(t)導(dǎo)數(shù)的計(jì)算，由引理1可得:

由式(4),對(duì)于任意的正對(duì)角矩陣Δij(i=1,2,j=1,2,3)有如下不等式成立,

2di(t)(f(x(t))-K1x(t))TΔi1(K2x(t)-f(x(t)))≥0;

2di(t)(f(x(t-d(t)))-K1x(t-d(t)))TΔi2(K2x(t-d(t))-f(x(t-d(t))))≥0;

2di(t)((f(x(t))-f(x(t-d(t))))-K1(x(t)-x(t-d(t))))TΔi3(K2(x(t)-

x(t-d(t)))-(f(x(t))-f(x(t-d(t)))))≥0;

根據(jù)上面的推導(dǎo)可得:

情形 2

(9)

構(gòu)造如下的LKF泛函:

與情形1類似推導(dǎo)可得：

注定理1給出了DNNs穩(wěn)定的一個(gè)新判據(jù)，所需矩陣變量較少，而且通過下面的數(shù)例驗(yàn)證，得出的允許時(shí)滯范圍較大，原因主要表現(xiàn)在以下三個(gè)方面：

① 通常在構(gòu)造LKF泛函時(shí)，所有的矩陣都需要是對(duì)稱正定矩陣[5-10]，從而保證了LKF泛函的正定性。在定理1中，矩陣P不需要正定，從而降低了對(duì)LKF泛函中矩陣的要求, 這在一定程度上，降低了結(jié)果的保守性。

② 在估計(jì)LKF泛函沿式(3)的導(dǎo)數(shù)時(shí)，定理1中采用了比Wirtinger積分不等式[15]保守性更小的基于輔助函數(shù)的積分不等式，這在一定程度上也降低了結(jié)果的保守性。

③ 時(shí)滯分解是對(duì)時(shí)滯系統(tǒng)分析的一種方法，但是通常會(huì)引入較多的矩陣變量，增大計(jì)算的復(fù)雜度[16-17]。在定理1中，筆者針對(duì)激活函數(shù)的界進(jìn)行了分解，從證明過程來看，并沒有增加矩陣變量的個(gè)數(shù)。

3 數(shù)值算例

例1在式(3)中，參數(shù)矩陣如下:

取Θ=diag(0.68 0.55),當(dāng)μ取不同值時(shí)，相應(yīng)的時(shí)滯最大范圍和決策變量個(gè)數(shù)如表1所示。

表1 例1中不同μ下的最大允許d

由表1可知，本文定理1中的決策變量的個(gè)數(shù)遠(yuǎn)小于文獻(xiàn)[5-7]中決策變量的個(gè)數(shù)，從而在一定程度上降低計(jì)算的復(fù)雜度,而且，應(yīng)用定理1得出的最大時(shí)滯值大于文獻(xiàn)[5-7]中的時(shí)滯最大值。

例2在式(3)中，參數(shù)矩陣如下：

A=diag(1.276 9 0.623 1 0.923 0 0.448 0)

K1=diag(0 0 0 0),K3=diag(0.113 7 0.127 9 0.799 4 0.236 8),

取Θ=diag(0.64 0.66 0.67 0.60),當(dāng)μ取不同值時(shí)，相應(yīng)的時(shí)滯最大范圍和決策變量個(gè)數(shù)如表2所示。

表2 例2中不同μ下的最大允許d

由表2可知，針對(duì)例2，應(yīng)用定理1得出的最大時(shí)滯范圍大于文獻(xiàn)[8-10]中的時(shí)滯范圍，且決策變量的個(gè)數(shù)遠(yuǎn)少于文獻(xiàn)[8-10]中的決策變量個(gè)數(shù),表明定理1的保守性較小。

4 結(jié)論

本文主要研究了時(shí)滯神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性問題。與以往文獻(xiàn)中時(shí)滯分解不同，本文對(duì)于激活函數(shù)的界進(jìn)行“分解”，這樣不會(huì)引入較多的矩陣變量。通過構(gòu)造增廣LKF泛函，不要求所有的矩陣正定，得出時(shí)滯神經(jīng)網(wǎng)絡(luò)穩(wěn)定的新的充分條件，并以線性矩陣不等式的形式表示。