一種改進(jìn)的求解非線性方程組的Levenberg -Marquardt方法

伍珍香, 陳亮, 周童

(淮北師范大學(xué) 數(shù)學(xué)科學(xué)學(xué)院, 安徽 淮北 235000 )

0 引言

本文考慮如下非線性方程組

F(x)=0

(1)

(2)

其中Fk=F(xk),Jk(Jk=F′(xk))是F(x)在xk處的雅克比矩陣.當(dāng)J(x)矩陣為L(zhǎng)ipshitz連續(xù)且為非奇異時(shí),牛頓法產(chǎn)生的迭代點(diǎn)列二階收斂于方程組(1)的解；但當(dāng)Jk是奇異矩陣或者接近于奇異時(shí),牛頓步(2)無意義,即此時(shí)牛頓法不再適用.為此, Levenberg和Marquardt提出了解決上述問題的一個(gè)有效方法——Levenberg -Marquardt方法(簡(jiǎn)稱LM方法)[1-2].LM方法的試探步為

(3)

(4)

(5)

其中

(6)

(7)

1 算法

新修正的LM法(算法1)的計(jì)算步驟如下：

步驟1 起始點(diǎn)x0∈Rn, 參數(shù)N0>0,μ0>m>0,ε>0, 0

(8)

步驟7 令k=k+1, 然后轉(zhuǎn)到第1步.

算法1中要求μk≥m, 其中m是一個(gè)大于零的常數(shù),即

μk≥m,?k∈Ν.

(9)

這一要求可由步驟1給定的初始條件和步驟6滿足.

2 局部收斂性

定義1N是Rn上的一個(gè)集合,使得N∩X*≠?.如果存在一個(gè)常數(shù)c(c>0)使得

(10)

(b)F(x)和J(x)在N(x*,b)上Lipshitz連續(xù)可微,即存在兩個(gè)常數(shù)L1(L1>0)和L2(L2>0)使：

(11)

(12)

由假設(shè)(a)和(b)可知

(13)

引理2在假設(shè)1成立的情況下,對(duì)所有充分大的k, 有：

(a)存在一個(gè)正的常數(shù)M>m, 使得

μk≤M.

(14)

(15)

(16)

J(x)=UΣVT=

(17)

其中,U=[U1,U2,U3]和V=[V1,V2,V3]是兩個(gè)正交矩陣,Σ1=diag(σ1,σ2,…,σr),σ1≥σ2≥…≥σr>0,Σ2=diag(σr +1,σr +2,…,σr +q),σr +1≥σr +2≥…≥σr +q>0.將Jk的SVD分解形式寫成式(17)的形式,然后根據(jù)Jk的Lipshitz連續(xù)性以及矩陣攝動(dòng)理論[10],得

因此有

(18)

(19)

引理3[5]在假設(shè)1成立的條件下,對(duì)于充分大的k有：

證明(a)和(b)的證明可參考文獻(xiàn)[5]中的引理3.3的證明,在此省略.

定理1在假設(shè)1成立的條件下,當(dāng)δ∈(0,1)時(shí),算法1產(chǎn)生的序列{xk}超線性收斂于方程組(1)的解；當(dāng)δ∈[1,2]時(shí),序列{xk}二階收斂于方程組(1)的解.

證明根據(jù)式(10)、(11)、(15)和引理1有

由式(15)、(19)以及引理3有

因此

(20)

根據(jù)公式(10)、(11)、(12)、(19)和引理1有

(21)

3 數(shù)值實(shí)驗(yàn)

為了驗(yàn)證算法1的有效性,本文利用試驗(yàn)對(duì)算法1和文獻(xiàn)[5]中的算法2.1進(jìn)行對(duì)比.測(cè)驗(yàn)函數(shù)F(x)是標(biāo)準(zhǔn)非奇異函數(shù),來源于文獻(xiàn)[11] .采用文獻(xiàn)[12]中的方式對(duì)測(cè)驗(yàn)函數(shù)進(jìn)行改進(jìn)，結(jié)果為：

從表1中可以看出，在大部分測(cè)試問題中，算法1中的函數(shù)的計(jì)算次數(shù)、雅可比矩陣的計(jì)算次數(shù)以及總的計(jì)算次數(shù)大部分小于文獻(xiàn)[5]中算法2.1的計(jì)算次數(shù)、雅可比矩陣的計(jì)算次數(shù)以及總的計(jì)算次數(shù),由此說明算法1的計(jì)算量小于文獻(xiàn)[5]中算法2.1的計(jì)算量，即算法1對(duì)非線性方程組的求解效率高于文獻(xiàn)[5]中的算法2.1.

表1 數(shù)值試驗(yàn)數(shù)據(jù)和結(jié)果