• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      求解凸優(yōu)化問題的改進對稱交替方向乘子法

      2020-07-06 04:30:58黨亞崢
      上海理工大學學報 2020年3期
      關鍵詞:對偶收斂性維數(shù)

      蔣 峰, 黨亞崢

      (上海理工大學 管理學院 上海 20093)

      1 問題的提出

      考慮下面的凸優(yōu)化問題:

      因為經(jīng)典的ADMM算法難以求得子問題的精確解,為了彌補這一缺陷,何炳生等[4]在x子問題中加入了項,得到了下面的新算法:

      式中,G是一個半正定矩陣。何炳生等[4]證明了該算法的收斂速率。

      從問題(1)本身來看,變量x和z是平等的,在設計算法時也希望能夠平等對待x和z子問題。因此何炳生等[5]提出了對稱ADMM算法,其迭代格式如下:

      與原來的ADMM算法不同,式(4)在每一次迭代中更新拉格朗日乘子兩次。文獻[4]中分析了該算法的全局收斂性,數(shù)值計算表明該算法比原始的ADMM算法收斂速度更快。

      然而,在很多實際應用中,精確地求解式(4)中的x子問題難以實現(xiàn),或者要付出很大代價。因此本文提出了一種改進的對稱ADMM算法。該算法的主要創(chuàng)新之處是在對稱ADMM算法的x極小化子問題中加入半近鄰項近似求解此問題,同時給出了收斂性證明。數(shù)值計算表明,改進的對稱ADMM算法的收斂速度比對稱ADMM算法更快。

      2 算 法

      問題(1)等價于一個變分不等式VI(),求

      步驟1給定半正定矩陣G,初始點

      步驟2計算

      特別地,當G = 0時,算法為對稱ADMM算法。

      3 收斂性分析

      首先,定義幾個分析算法收斂性質(zhì)需要用到的矩陣。

      因為G是半正定矩陣,所以等號右側(cè)的第一部分是半正定矩陣,只需證明第二部分也是半正定即可。令

      是半正定矩陣,故引理1成立。

      引理2 假設H,M,Q是式(6)定義的矩陣,則有

      因為

      同理,根據(jù)z極小化問題的最優(yōu)性條件,可得

      證明 對于同一空間中的向量a,b,c,d和具有適當維度的矩陣H,滿足

      上式可寫為

      證明 根據(jù)式(14)和式(22)得

      4 數(shù)值計算

      將改進的對稱ADMM算法應用于LASSO問題[6-9]

      表1為應用對稱ADMM算法和改進的對稱ADMM算法解決該問題的結(jié)果,其中m表示矩陣P的維數(shù),k表示迭代次數(shù)。從表1可以看出,當矩陣P的維數(shù)較低時,改進的對稱ADMM算法明顯快于對稱ADMM算法;而當P的維數(shù)較高時,對比CPU時間發(fā)現(xiàn),改進的對稱ADMM算法的數(shù)值表現(xiàn)優(yōu)勢更大。

      為了進一步觀察兩種算法的收斂性,比較了初始殘差和對偶殘差隨迭代次數(shù)的變化情況。從圖1和圖2可以直觀地發(fā)現(xiàn),盡管在算法迭代的某些階段,對稱ADMM算法的初始殘差、對偶殘差減小得更快,但是本文提出的算法先于對稱ADMM算法達到收斂條件,因此改進的對稱ADMM算法更高效。

      表 1 LASSO問題數(shù)值結(jié)果Tab.1 Numerical results for LASSO

      圖1 初始殘差的變化情況Fig. 1 Evolution of primal residual

      圖2 對偶殘差的變化情況Fig. 2 Evolution of dual residual

      5 結(jié) 論

      提出了一種求解目標函數(shù)具有可分離結(jié)構(gòu)的凸優(yōu)化問題的改進的對稱ADMM算法,并證明了其收斂性。該方法的基本思想是在x子問題中引入一個半近鄰項,從而達到加快其收斂速度的目的。數(shù)值實驗表明,該算法在求解高維的LASSO問題時相對于對稱ADMM算法具有明顯的優(yōu)勢,但是如何選擇最優(yōu)的還需要進一步研究。

      猜你喜歡
      對偶收斂性維數(shù)
      β-變換中一致丟番圖逼近問題的維數(shù)理論
      一類齊次Moran集的上盒維數(shù)
      Lp-混合陣列的Lr收斂性
      END隨機變量序列Sung型加權(quán)和的矩完全收斂性
      關于齊次Moran集的packing維數(shù)結(jié)果
      涉及相變問題Julia集的Hausdorff維數(shù)
      行為ND隨機變量陣列加權(quán)和的完全收斂性
      對偶平行體與對偶Steiner點
      松弛型二級多分裂法的上松弛收斂性
      對偶均值積分的Marcus-Lopes不等式
      秦安县| 乡城县| 平昌县| 钟山县| 平顺县| 东乌珠穆沁旗| 宁海县| 扶沟县| 安庆市| 吉木乃县| 楚雄市| 沙坪坝区| 黄龙县| 正蓝旗| 曲沃县| 盈江县| 长沙市| 青海省| 西藏| 呈贡县| 高碑店市| 万载县| 灵山县| 临泉县| 拉孜县| 樟树市| 会理县| 亳州市| 崇仁县| 修武县| 中方县| 许昌市| 桓台县| 祁门县| 海门市| 太谷县| 文山县| 商都县| 卢龙县| 仁寿县| 绥德县|