• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看

      ?

      基于生成式對抗網(wǎng)絡的局部風格遷移

      2019-01-15 12:39:42張紅蕊
      西部論叢 2019年1期
      關鍵詞:掩膜網(wǎng)絡結構局部

      張紅蕊

      摘 要:生成式對抗網(wǎng)絡GAN(Generative Adversarial Networks)結合機器學習中的生成模型和判別模型的思想演變?yōu)榫W(wǎng)絡結構中的生成器型用于捕捉真實樣本的概率分布并生成新的樣本,判別器用于對生成結果進行分類,兩者采用對抗訓練方式。本文以GAN的結構特征以及方法原理為基礎,結合風格遷移的理論依據(jù),對真實場景的圖片數(shù)據(jù)進行藝術風格轉換,加入掩膜圖像思想實現(xiàn)局部風格轉換和混合風格轉換。

      關鍵字:深度學習 生成式對抗網(wǎng)絡 風格遷移

      一、相關工作

      (一)GAN原理

      GAN[1]源于二人零和博弈理論,它包括生成模型和判別模型:生成器 用于捕捉真實數(shù)據(jù)樣本的概率分布并生成新的樣本;判別器 可以看作是一個二分類器,輸出一個固定的概率值。雙向GAN機制[2-3]包含成對的生成器和判別器,采用深度卷積神經(jīng)網(wǎng)絡實現(xiàn)雙向域中圖像轉換任務。

      (二)風格遷移

      風格遷移定義為存在一張圖片 提取圖像整體風格,存在另一張圖片 保留紋理內(nèi)容,將兩者因素相互結合在一起生成新的圖片既具有 的風格同時保留 的內(nèi)容。風格遷移方法Neural Style Transfer[4]使用深度神經(jīng)網(wǎng)絡VGG19網(wǎng)絡提取圖像深層次特征信息,采用感知損失函數(shù)計算差異。

      二、 方法原理

      本文旨在實現(xiàn) 域到 域圖像的轉換任務,對于風格遷移,假定域為內(nèi)容域, 域為風格域,采用GAN網(wǎng)絡架構生成新的圖像既保留 域的圖像內(nèi)容又符合 域的圖像風格。逐像素匹配圖如圖2-1所示,域與域逐像素匹配,將圖像風格進行轉換,使合成圖像為輸入圖像內(nèi)容和目標圖像風格的完美

      結合。

      (一)全局風格遷移

      GAN網(wǎng)絡結構中包含一個生成模型和一個判別模型,兩者采用對抗訓練的方式學習。其中生成器以 圖像尺寸作為輸入,經(jīng)過深度殘差網(wǎng)提取圖像深層次特征信息;判別器則是一個輸入為 的圖像小塊的深度神經(jīng)網(wǎng)絡,在提取特征后反饋給生成器;網(wǎng)絡結構中采用多損失函數(shù)共同計算誤差,并通過反向傳播算法將梯度誤差回饋給生成網(wǎng)絡。

      (二)局部風格遷移

      網(wǎng)絡模型結合掩膜圖像的思想,理論實現(xiàn)如公式2-1所示。輸出的圖像對應掩膜圖像中值為1的部分保持不變,對應掩膜圖像中值為0的部分為轉換后的效果。原始圖像是A(x, y),轉換后圖像為B(x, y),掩膜圖像為m(x, y),通過代數(shù)運算得到的局部風格轉換圖像為A'(x, y)。

      A'(x, y)=A(x, y)∧B(x, y)+m(x, y)∧(-B(x, y)) (公式2-1)

      三、實驗結果

      實驗細節(jié):實驗數(shù)據(jù)中的原始圖像來源于真實場景的圖像取景,風格圖像為藝術作品圖像;學習率最初默認設定為0.0002,batchsize大小設置為1;網(wǎng)絡結構采用深度學習中Adam優(yōu)化方法和反向傳播算法。實驗結果如圖3-1所示,從左至右依次是內(nèi)容圖 、風格圖 以及生成圖像。

      四、 總結與展望

      本文應用生成式對抗網(wǎng)絡模型架構,采用生成器和判別器的對抗訓練的方式,結合深度卷積神經(jīng)網(wǎng)絡在提取深層次圖像特征的優(yōu)勢,優(yōu)化損失函數(shù)計算,以風格遷移圖像轉換任務的理論依據(jù)為指導,實現(xiàn)了自然場景圖像與藝術風格遷移轉換任務,并結合圖像處理方法的掩膜思想,將全局風格遷移轉換為局部風格遷移。

      參考文獻:

      [1] Goodfellow I J, Pouget-Abadie J, Mirza M, et al. Generative Adversarial Networks[J]. Advances in Neural Information Processing Systems, 2014, 3:2672-

      2680.

      [2] Zhu J Y, Park T, Isola P, et al. Unpaired Image-to-Image Translation Using Cycle-Consistent Adversarial Networks[C]// IEEE International Conference on Computer Vision. IEEE Computer Society, 2017:2242-2251.

      [3] Yi Z, Zhang H, Tan P, et al. DualGAN: Unsupervised Dual Learning for Image-to-Image Translation[J]. 2017:2868-2876.

      [4] Johnson J, Alahi A, Li F F. Perceptual Losses for Real-Time Style Transfer and Super-Resolution[C]// European Conference on Computer Vision. Springer, Cham, 2016:694-711.

      猜你喜歡
      掩膜網(wǎng)絡結構局部
      利用掩膜和單應矩陣提高LK光流追蹤效果
      局部分解 巧妙求值
      一種結合圖像分割掩膜邊緣優(yōu)化的B-PointRend網(wǎng)絡方法
      非局部AB-NLS方程的雙線性B?cklund和Darboux變換與非線性波
      光纖激光掩膜微細電解復合加工裝置研發(fā)
      局部遮光器
      吳觀真漆畫作品選
      多層陰影掩膜結構及其制造和使用方法
      科技資訊(2016年21期)2016-05-30 18:49:07
      基于互信息的貝葉斯網(wǎng)絡結構學習
      知識網(wǎng)絡結構維對于創(chuàng)新績效的作用機制——遠程創(chuàng)新搜尋的中介作用
      内黄县| 枣庄市| 宝兴县| 樟树市| 滦平县| 星座| 浑源县| 双流县| 禹城市| 仁怀市| 门源| 云南省| 马公市| 常德市| 商丘市| 会昌县| 汨罗市| 东明县| 嘉兴市| 淮北市| 鹤岗市| 富川| 新闻| 鸡西市| 红原县| 游戏| 腾冲县| 宜昌市| 龙江县| 中江县| 罗定市| 泉州市| 嘉义市| 康定县| 望江县| 云梦县| 济宁市| 彭水| 承德县| 莱阳市| 邵阳县|