基于深度神經(jīng)網(wǎng)絡(luò)的圖像風(fēng)格化方法綜述

涂鵬琦 高常鑫 桑 農(nóng)

圖像的風(fēng)格是指一幅圖像或一個(gè)域所有圖像共有的觸點(diǎn)、紋理、色彩等特征，如藝術(shù)圖和照片表示兩種不同的圖像風(fēng)格.圖像風(fēng)格化旨在通過(guò)風(fēng)格化模型，將一幅圖像在保持語(yǔ)義內(nèi)容不變的同時(shí)從原始風(fēng)格轉(zhuǎn)換為參考圖像或目標(biāo)域定義的風(fēng)格，即具有某一風(fēng)格的原始圖像通過(guò)風(fēng)格化模型轉(zhuǎn)換為另一個(gè)風(fēng)格的風(fēng)格化圖像.強(qiáng)大的風(fēng)格轉(zhuǎn)換能力和多樣有趣的風(fēng)格化結(jié)果使圖像風(fēng)格化技術(shù)在社交、藝術(shù)創(chuàng)作和數(shù)據(jù)生產(chǎn)等領(lǐng)域都有著廣泛的應(yīng)用.

近年來(lái)，深度神經(jīng)網(wǎng)絡(luò)由于強(qiáng)大的特征提取和表達(dá)能力，受到學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注，并在圖像生成[1-8]、圖像到圖像轉(zhuǎn)換[9-22]、圖像編輯[23-26]和圖像風(fēng)格化[27-32]等任務(wù)上取得重大的技術(shù)突破.在此背景下，越來(lái)越多的研究者嘗試使用深度神經(jīng)網(wǎng)絡(luò)完成圖像風(fēng)格化任務(wù)，提出各種基于深度神經(jīng)網(wǎng)絡(luò)的方法，解決圖像風(fēng)格化任務(wù)中存在的問(wèn)題.

Gatys等[27,33]首先提出圖像風(fēng)格化的概念，并提出基于優(yōu)化(Optimization-Based)的圖像風(fēng)格化方法，這也是圖像風(fēng)格化研究初期采用的主要方法.為了提高風(fēng)格化的速度和效率，Johnson等[34]和Ulyanov等[35]先后提出使用前向深度神經(jīng)網(wǎng)絡(luò)代替緩慢的優(yōu)化過(guò)程，并提出相應(yīng)的內(nèi)容損失函數(shù)和風(fēng)格損失函數(shù)，用于網(wǎng)絡(luò)訓(xùn)練，為基于前向深度神經(jīng)網(wǎng)絡(luò)的圖像風(fēng)格化研究奠定基礎(chǔ).此外，生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Network, GAN)[36]的提出，以及它在各種圖像生成和圖像到圖像轉(zhuǎn)換任務(wù)上的突出表現(xiàn)，使很多基于GAN的圖像風(fēng)格化方法被提出，改善已有方法的效果和性能，大幅促進(jìn)圖像風(fēng)格化的研究進(jìn)程.因此，基于前向深度神經(jīng)網(wǎng)絡(luò)的圖像風(fēng)格化方法和基于GAN的圖像風(fēng)格化方法也成為目前圖像風(fēng)格化研究中采用的主要方法.

本文根據(jù)風(fēng)格的定義方式，將基于深度神經(jīng)網(wǎng)絡(luò)的圖像風(fēng)格化方法劃分為兩類：基于參考的圖像風(fēng)格化方法和基于域的圖像風(fēng)格化方法.

在基于參考的圖像風(fēng)格化方法中，風(fēng)格由單幅圖像定義，即目標(biāo)風(fēng)格由參考圖像決定.深度神經(jīng)網(wǎng)絡(luò)的輸入為原始圖像和參考圖像.深度神經(jīng)網(wǎng)絡(luò)通過(guò)訓(xùn)練，學(xué)習(xí)如何在保持原始圖像語(yǔ)義內(nèi)容的同時(shí)將其風(fēng)格轉(zhuǎn)換為參考圖像的風(fēng)格，所以在這類方法中原始圖像稱為內(nèi)容圖像，參考圖像稱為風(fēng)格圖像.基于參考的圖像風(fēng)格化方法的優(yōu)點(diǎn)在于，目標(biāo)風(fēng)格由參考圖像定義，對(duì)于訓(xùn)練完成的模型，可根據(jù)參考圖像的不同實(shí)現(xiàn)任意目標(biāo)風(fēng)格的轉(zhuǎn)換.不足之處主要有如下兩方面.一方面由于目標(biāo)風(fēng)格由參考圖像定義，因此對(duì)于模型訓(xùn)練時(shí)未出現(xiàn)的參考圖像，模型對(duì)其代表風(fēng)格的轉(zhuǎn)換能力較弱，風(fēng)格化結(jié)果較差.另一方面，由于模型很難“干凈地”學(xué)到參考圖像的風(fēng)格，其風(fēng)格化過(guò)程會(huì)無(wú)法避免地保留一些原始圖像的風(fēng)格信息，同時(shí)引入?yún)⒖紙D像的一些語(yǔ)義內(nèi)容信息.當(dāng)原始圖像和參考圖像差距過(guò)大時(shí)，風(fēng)格化過(guò)程中保留的原始圖像的風(fēng)格信息會(huì)使生成的風(fēng)格化圖像出現(xiàn)不同程度的風(fēng)格失真，即出現(xiàn)欠風(fēng)格化問(wèn)題.引入?yún)⒖紙D像的語(yǔ)義內(nèi)容信息會(huì)使生成的風(fēng)格化圖像出現(xiàn)不同程度的內(nèi)容失真，即產(chǎn)生過(guò)度風(fēng)格化問(wèn)題.

在基于域的圖像風(fēng)格化方法中，風(fēng)格是由一個(gè)域的所有圖像共同定義.該任務(wù)涉及兩個(gè)域:定義原始風(fēng)格的源域和定義目標(biāo)風(fēng)格的目標(biāo)域，分別由訓(xùn)練時(shí)使用的原始圖像集合和目標(biāo)圖像集合表達(dá)，該任務(wù)此時(shí)就轉(zhuǎn)化為從源域到目標(biāo)域的圖像到圖像轉(zhuǎn)換任務(wù).鑒于GAN在圖像到圖像轉(zhuǎn)換任務(wù)上的突出表現(xiàn)，此類方法常采用GAN學(xué)習(xí)源域到目標(biāo)域的映射關(guān)系，完成兩者之間的轉(zhuǎn)換.基于域的圖像風(fēng)格化方法的優(yōu)點(diǎn)在于，目標(biāo)風(fēng)格由目標(biāo)域的所有圖像共同定義，更魯棒，模型能學(xué)到更“干凈的”風(fēng)格.因此，模型在向目標(biāo)風(fēng)格轉(zhuǎn)換的風(fēng)格化任務(wù)上較魯棒，更多地保留源域圖像的語(yǔ)義內(nèi)容信息，風(fēng)格化結(jié)果更真實(shí)自然.不足之處在于，由于該類方法中目標(biāo)風(fēng)格由目標(biāo)域的所有圖像共同定義，因此訓(xùn)練完成的模型只能完成單一目標(biāo)風(fēng)格的轉(zhuǎn)換，無(wú)法實(shí)現(xiàn)任意目標(biāo)風(fēng)格的轉(zhuǎn)換，存在一定的局限性.

1 基于參考的圖像風(fēng)格化方法

基于參考的圖像風(fēng)格化方法需要解決如何在保持原始圖像語(yǔ)義內(nèi)容不變的同時(shí)將其風(fēng)格轉(zhuǎn)化為參考圖像的風(fēng)格的問(wèn)題.問(wèn)題的關(guān)鍵是如何獲取圖像的語(yǔ)義內(nèi)容信息和風(fēng)格信息，并完成目標(biāo)風(fēng)格的轉(zhuǎn)換.根據(jù)近年來(lái)風(fēng)格化過(guò)程中的特征處理方式，基于參考的圖像風(fēng)格化方法可劃分為兩類:基于特征解耦的圖像風(fēng)格化方法和基于特征融合的圖像風(fēng)格化方法.

1.1 基于特征解耦的圖像風(fēng)格化方法

基于特征解耦的圖像風(fēng)格化方法是指將圖像的特征解耦為包含語(yǔ)義內(nèi)容信息的內(nèi)容特征和包含風(fēng)格信息的風(fēng)格特征，再交換原始圖像和參考圖像的風(fēng)格特征，完成風(fēng)格的轉(zhuǎn)換.該類方法在圖像風(fēng)格化研究初期采用較多，圖像風(fēng)格化過(guò)程如圖1所示.

圖1 基于特征解耦的圖像風(fēng)格化過(guò)程Fig.1 Image stylization process based on feature decoupling

Gatys等[27，33]首先提出神經(jīng)風(fēng)格遷移(Neural Style Transfer， NST)的概念和相應(yīng)的基于優(yōu)化的圖像風(fēng)格化方法，同時(shí)也是第一個(gè)基于特征解耦的圖像風(fēng)格化方法.在方法中，結(jié)合原始圖像的內(nèi)容特征和參考圖像的風(fēng)格特征,不斷迭代以優(yōu)化生成的風(fēng)格化圖像，并使用Gram矩陣衡量風(fēng)格化圖像和參考圖像之間的風(fēng)格相似性.在圖像風(fēng)格化研究領(lǐng)域，學(xué)者們先后提出基于特征解耦的圖像風(fēng)格化方法.Li等[37]提出使用馬爾科夫隨機(jī)場(chǎng)(Markov Random Field， MRF)正則化器代替Gram矩陣以衡量圖像間的風(fēng)格相似性，MRF在計(jì)算時(shí)考慮風(fēng)格化圖像和參考圖像的語(yǔ)義相關(guān)性，采用基于塊(Patch)的方式進(jìn)行匹配并計(jì)算風(fēng)格相似度.基于MRF的模型優(yōu)化進(jìn)一步提升生成的風(fēng)格化圖像的質(zhì)量.

盡管上述方法已獲得較高質(zhì)量的風(fēng)格化圖像，但都是基于優(yōu)化的，需要經(jīng)過(guò)多次迭代才能獲得較高質(zhì)量的風(fēng)格化圖像，在實(shí)際應(yīng)用中非常耗時(shí).為了加快風(fēng)格化過(guò)程，Johnson等[34]和Ulyanov等[35]先后提出使用前向深度神經(jīng)網(wǎng)絡(luò)代替緩慢的優(yōu)化過(guò)程，并提出用于前向深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練的感知損失.感知損失包括衡量語(yǔ)義內(nèi)容差距的內(nèi)容損失和衡量風(fēng)格差距的風(fēng)格損失.首先利用VGG網(wǎng)絡(luò)[38]提取原始圖像Is和風(fēng)格化圖像Is-r，在網(wǎng)絡(luò)各層的特征進(jìn)行對(duì)比，即得到表示兩者語(yǔ)義內(nèi)容差距的內(nèi)容損失：

其中，φ表示VGG網(wǎng)絡(luò)，j表示網(wǎng)絡(luò)的第j層，Cj表示網(wǎng)絡(luò)第j層對(duì)應(yīng)特征圖的通道數(shù)，Hj、Wj表示網(wǎng)絡(luò)第j層對(duì)應(yīng)特征圖的高和寬.進(jìn)而，再使用VGG網(wǎng)絡(luò)提取參考圖像Ir和風(fēng)格化圖像Is-r在網(wǎng)絡(luò)各層的特征，在分別計(jì)算Gram矩陣后進(jìn)行對(duì)比，得到表示兩者風(fēng)格差距的風(fēng)格損失：

其中Gram表示計(jì)算Gram矩陣值.前向深度神經(jīng)網(wǎng)絡(luò)的應(yīng)用使圖像風(fēng)格化的速度提升2～3個(gè)量級(jí)，實(shí)現(xiàn)實(shí)時(shí)的圖像風(fēng)格化，而基于前向深度神經(jīng)網(wǎng)絡(luò)的方法也逐漸成為圖像風(fēng)格化的主流方法.

隨著GAN的提出，及其在圖像生成和圖像到圖像轉(zhuǎn)換等領(lǐng)域的突出表現(xiàn)，研究者們嘗試?yán)肎AN在圖像風(fēng)格化領(lǐng)域取得新的突破.Huang等[39]提出MUNIT(Multimodal Unsupervised Image-to-Image Translation)，Lee等[40]提出DRIT(Diverse Image-to-Image Translation via Disentangled Representa-tions).這兩種方法實(shí)質(zhì)上都可歸為基于特征解耦的圖像風(fēng)格化方法.MUNIT和DRIT網(wǎng)絡(luò)結(jié)構(gòu)基本一致，只在一些網(wǎng)絡(luò)層上存在差異，具體網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示.

圖2 MUNIT和DRIT網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 Network architecture of MUNIT and DRIT

該訓(xùn)練過(guò)程涉及的損失函數(shù)如下.

1)生成對(duì)抗損失:

用于約束生成的風(fēng)格化圖像Is-r和參考圖像Ir風(fēng)格分布的一致性,其中，G表示生成器，D表示判別器.

2)KL損失:

3)循環(huán)一致性損失:

相比文獻(xiàn)[27]、文獻(xiàn)[33]～文獻(xiàn)[35]、文獻(xiàn)[37]方法，MUNIT和DRIT主要有兩方面改進(jìn).

1)引入GAN，更容易學(xué)到目標(biāo)風(fēng)格的分布，獲得更真實(shí)的風(fēng)格化圖像.

2)將風(fēng)格特征的分布約束為標(biāo)準(zhǔn)正態(tài)分布，推理時(shí)既可通過(guò)參考圖像編碼產(chǎn)生風(fēng)格特征，也可直接從標(biāo)準(zhǔn)正態(tài)分布隨機(jī)采樣得到風(fēng)格特征，增加風(fēng)格化結(jié)果的多樣性.

盡管基于特征解耦的圖像風(fēng)格化方法已獲得較高質(zhì)量的風(fēng)格化圖像，但通過(guò)對(duì)圖像分別編碼的解耦方式很難將風(fēng)格特征和內(nèi)容特征“干凈地”解耦，導(dǎo)致風(fēng)格特征中包含內(nèi)容信息，而內(nèi)容特征中包含風(fēng)格信息，使得由原始圖像轉(zhuǎn)換得到的風(fēng)格化圖像會(huì)保留較多的原始圖像的風(fēng)格信息或引入較多參考圖像的內(nèi)容信息.一方面，當(dāng)參考圖像與原始圖像的風(fēng)格信息相差較大時(shí)，生成的風(fēng)格化圖像會(huì)由于保留較多原始圖像的風(fēng)格信息，出現(xiàn)欠風(fēng)格化問(wèn)題.另一方面，當(dāng)參考圖像與原始圖像的內(nèi)容信息相差較大時(shí)，生成的風(fēng)格化圖像會(huì)由于呈現(xiàn)較多風(fēng)格圖像的內(nèi)容信息，出現(xiàn)過(guò)度風(fēng)格化問(wèn)題.

1.2 基于特征融合的圖像風(fēng)格化方法

基于特征融合的圖像風(fēng)格化方法是指分別提取原始圖像和參考圖像的特征，再采用特征融合模塊，融合兩者特征后，得到包含原始圖像語(yǔ)義內(nèi)容信息和參考圖像風(fēng)格信息的特征，完成風(fēng)格的轉(zhuǎn)換.該類方法是目前基于參考的圖像風(fēng)格化的主流方法，圖像風(fēng)格化過(guò)程如圖3所示.

圖3 基于特征融合的圖像風(fēng)格化過(guò)程Fig.3 Image stylization process based on feature fusion

基于特征融合的圖像風(fēng)格化方法在進(jìn)行風(fēng)格化時(shí)，原始圖像Is通過(guò)編碼器Es,得到圖像特征Fs,參考圖像Ir通過(guò)編碼器Er，得到圖像特征Fr，然后將Fs和Fr通過(guò)特征融合模塊,得到融合后的特征Fs-r，再經(jīng)過(guò)解碼器得到風(fēng)格化圖像Is-r.這里編碼器Es和Er可為同個(gè)編碼器，一般采用預(yù)訓(xùn)練的VGG網(wǎng)絡(luò)[38].

Chen等[41]首先提出基于塊的特征融合方式，采用預(yù)訓(xùn)練的VGG網(wǎng)絡(luò)φ分別提取原始圖像Is的特征圖φ(Is)和參考圖像Ir的特征圖φ(Ir).再分別將φ(Is)和φ(Ir)劃分為同樣大小有重疊的特征圖塊，對(duì)每個(gè)原始圖像特征圖塊，將它和相關(guān)性最強(qiáng)的參考圖像特征圖塊交換.然后使用交換后的特征圖塊構(gòu)建新的特征圖，得到重建的特征圖φs-r(Is,Ir).最后將φs-r(Is,Ir)輸入生成器，得到風(fēng)格化圖像Is-r.

雖然Chen等[41]提出的應(yīng)用基于塊的特征匹配和交換進(jìn)行特征融合的方式可獲得較高質(zhì)量的風(fēng)格化圖像，但是這種基于特征匹配和交換的特征融合方式計(jì)算量較大，較耗時(shí).

此外，當(dāng)參考圖像和原始圖像差距較大時(shí)，對(duì)匹配的特征直接進(jìn)行交換的方式可能會(huì)引入較多參考圖像的語(yǔ)義內(nèi)容信息，使風(fēng)格化圖像丟失較多原始圖像的語(yǔ)義內(nèi)容信息.

為了解決這些問(wèn)題，Li等[42]提出新的特征融合方式——WCT(Whitening and Coloring Transforms)，在特征層面上提出風(fēng)格的表示方式，即風(fēng)格應(yīng)由圖像特征的協(xié)方差矩陣表示，并基于此理論提出使用原始圖像特征圖的協(xié)方差矩陣匹配參考圖像特征圖的協(xié)方差矩陣進(jìn)行特征融合的方式.WCT的提出加快基于特征融合的圖像風(fēng)格化過(guò)程的處理速度，并獲得較高質(zhì)量的風(fēng)格化圖像，為后續(xù)的基于特征融合的圖像風(fēng)格化研究奠定基礎(chǔ).

為了進(jìn)一步提高風(fēng)格化圖像的質(zhì)量，Huang等[28]提出用于圖像風(fēng)格化的特征融合方式——AdaIN(Adaptive Instance Normalization).他們認(rèn)為圖像的風(fēng)格是由其特征圖的統(tǒng)計(jì)量均值和方差決定的，并提出使用參考圖像特征圖的均值和方差對(duì)原始圖像特征圖進(jìn)行調(diào)制，使調(diào)制后的特征圖和參考圖像特征圖的方差和均值一致.AdaIN的提出大幅加快圖像風(fēng)格化的處理速度，達(dá)到實(shí)時(shí)圖像風(fēng)格化的水平，也進(jìn)一步提升風(fēng)格化圖像的質(zhì)量.同時(shí)，AdaIN的提出也為基于特征融合的圖像風(fēng)格化方法提供新的研究方向和思路，學(xué)者們先后提出基于此的新方法，而AdaIN也成為基于特征融合的圖像風(fēng)格化方法主要采用的特征融合方式.

為了進(jìn)一步提升風(fēng)格化過(guò)程中特征融合的準(zhǔn)確性和魯棒性，Park等[43]提出SANet(Style Atten-tional Network).首先使用預(yù)訓(xùn)練的VGG網(wǎng)絡(luò)提取原始圖像Is和參考圖像Ir的特征圖Fs和Fr，然后采用SANet進(jìn)行特征融合，SANet結(jié)構(gòu)圖如圖4所示.

圖4 SANet結(jié)構(gòu)圖Fig.4 Architecture of SANet

經(jīng)過(guò)SANet可得到融合后的特征：

Wf、Wg和Wh表示可學(xué)習(xí)矩陣，

AdaIN[28]、WCT[42]和SANet[43]的提出對(duì)基于特征融合的圖像風(fēng)格化方法具有重大意義，后續(xù)提出的該類方法基本都是在這3種方式的基礎(chǔ)上進(jìn)行特征融合.

An等[44]為了在風(fēng)格化過(guò)程中盡可能地保留原始圖像的語(yǔ)義內(nèi)容信息，改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)，采用完全可逆的編碼器-解碼器結(jié)構(gòu)ArtFlow，即解碼器是編碼器的逆過(guò)程.整個(gè)過(guò)程的可逆性使風(fēng)格化過(guò)程中原始圖像的語(yǔ)義內(nèi)容信息得到更多的保留，提升風(fēng)格化圖像的質(zhì)量.

盡管基于特征融合的圖像風(fēng)格化方法在一定程度上解決風(fēng)格化過(guò)程的欠風(fēng)格化和過(guò)度風(fēng)格化問(wèn)題，獲得較高質(zhì)量的風(fēng)格化圖像，但是當(dāng)參考圖像和原始圖像差距較大時(shí)，仍不能完全解決上述問(wèn)題.這也是未來(lái)基于參考的圖像風(fēng)格化方法的研究熱點(diǎn).

綜上所述，基于參考的圖像風(fēng)格化的代表性方法Optimized-Based[27]、AdaIN[28]、WCT[42]、SANet[43]和ArtFlow[44]的特點(diǎn)可總結(jié)如表1所示.

表1 基于參考的圖像風(fēng)格化的代表性方法的特點(diǎn)Table 1 Characteristics of representative methods in reference-based image stylization

2 基于域的圖像風(fēng)格化方法

基于域的圖像風(fēng)格化方法是指對(duì)兩個(gè)域進(jìn)行轉(zhuǎn)換，每個(gè)域定義一種風(fēng)格，通過(guò)對(duì)域的轉(zhuǎn)換完成對(duì)風(fēng)格的轉(zhuǎn)換，實(shí)現(xiàn)圖像風(fēng)格化.這類方法一般都是采用GAN的網(wǎng)絡(luò)結(jié)構(gòu)，圖像風(fēng)格化過(guò)程如圖5所示.

圖5 基于域的圖像風(fēng)格化過(guò)程Fig.5 Image stylization process based on domain

在基于域的圖像風(fēng)格化方法進(jìn)行風(fēng)格化時(shí)，源域圖像Is通過(guò)源域到目標(biāo)域的生成器Gs-t，得到具有目標(biāo)域風(fēng)格的風(fēng)格化圖像Is-t.

Zhu等[10]首先提出用于未配對(duì)圖像到圖像轉(zhuǎn)換的CycleGAN，在基于域的圖像風(fēng)格化方法中，源域到目標(biāo)域的轉(zhuǎn)換也是未配對(duì)的，因此 CycleGAN可用于基于域的圖像風(fēng)格化.CycleGAN包含兩個(gè)過(guò)程：源域到目標(biāo)域到源域的風(fēng)格轉(zhuǎn)換和目標(biāo)域到源域到目標(biāo)域的風(fēng)格轉(zhuǎn)換.這兩個(gè)訓(xùn)練過(guò)程類似，現(xiàn)只選擇其中一個(gè)介紹，采用的網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示.

①m ≥ 2,于是得pm|pi,即pm-1|i,i.e.i=pm-1,2pm-1,···,pm,故bi∈ Z(G),此時(shí)(biaj)p=bipajp=1,即j=pn-1,2pn-1,···,pn,從而易得p階元的個(gè)數(shù)為p2-1,p階子群個(gè)數(shù)為p+1.由引理6可知P?(G)的連通分支個(gè)數(shù)k(P?(G))=p+1.② m=1,此時(shí)G=Mp(n,1)= 〈a,b:apn=bp=1,ab=a1+pn-1〉,容易計(jì)算

圖6 CycleGAN網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.6 Network architecture of CycleGAN

CycleGAN的提出為未配對(duì)圖像到圖像轉(zhuǎn)換提出一種新的解決思路，也為基于域的圖像風(fēng)格化研究奠定基礎(chǔ)，后續(xù)基于域的圖像風(fēng)格化方法基本都是采用CycleGAN作為基本的網(wǎng)絡(luò)框架.

Liu等[45]在CycleGAN的基礎(chǔ)上，根據(jù)源域和目標(biāo)域特征潛層空間共享的假設(shè)，即源域圖像Is和目標(biāo)域圖像It的特征符合同種分布(標(biāo)準(zhǔn)正態(tài)分布)，提出UNIT(Unsupervised Image-to-Image Tran-slation).在UNIT中，網(wǎng)絡(luò)的訓(xùn)練包括2個(gè)并行的訓(xùn)練過(guò)程:圖像的重建和圖像的風(fēng)格轉(zhuǎn)換.圖像的重建過(guò)程是指針對(duì)源域和目標(biāo)域訓(xùn)練相應(yīng)的變分自編碼器(Variational Autoencoder， VAE)[46]，源域的VAE包括編碼器Es和解碼器Gs，目標(biāo)域的VAE包括編碼器Et和解碼器Gt.圖像的風(fēng)格轉(zhuǎn)換過(guò)程是指將源域圖像Is通過(guò)該域VAE對(duì)應(yīng)的編碼器Es，得到符合某一分布的特征Fs，根據(jù)源域和目標(biāo)域特征潛層空間共享的假設(shè)，F(xiàn)s再經(jīng)過(guò)目標(biāo)域VAE對(duì)應(yīng)的解碼器Gt，得到具有目標(biāo)域風(fēng)格的風(fēng)格化圖像Is-t.

UNIT的提出為基于域的圖像風(fēng)格化研究提供一種特征潛層空間的研究視角，大幅推動(dòng)圖像風(fēng)格化的研究進(jìn)程.

由于CycleGAN[10]中循環(huán)一致性損失的約束，采用CycleGAN作為基本網(wǎng)絡(luò)框架的方法在存在形變的圖像風(fēng)格化任務(wù)上往往會(huì)產(chǎn)生較差的風(fēng)格化結(jié)果.為了解決這個(gè)問(wèn)題，Kim等[47]提出U-GAT-IT(Unsupervised Generative Attentional Networks with Adaptive Layer-Instance Normalization for Image-to-Image Translation).U-GAT-IT采用的網(wǎng)絡(luò)結(jié)構(gòu)同樣是CycleGAN，但是在此基礎(chǔ)上引入注意力模塊和自適應(yīng)的層-實(shí)例正則化(Adaptive Layer-Instance Normalization, AdaLIN).注意力模塊指導(dǎo)模型根據(jù)輔助分類器獲得特征圖通道方向的注意力權(quán)重，使加權(quán)后的特征圖能將注意力集中在源域和目標(biāo)域區(qū)別最大的區(qū)域，同時(shí)也是容易發(fā)生形變的區(qū)域，促進(jìn)風(fēng)格化過(guò)程中這些區(qū)域的形變.

AdaLIN是指在進(jìn)行正則化時(shí)，采用層正則化和實(shí)例正則化，再采用可學(xué)習(xí)的權(quán)重系數(shù)對(duì)這兩種正則化的結(jié)果進(jìn)行加權(quán).通過(guò)兩種正則化方式的結(jié)合，更精確地控制風(fēng)格化圖像的形狀和紋理.U-GAT-IT的提出為采用CycleGAN的基于域的圖像風(fēng)格化方法在需要形變的圖像風(fēng)格化任務(wù)上提供一種有效的解決方式，提升該任務(wù)中風(fēng)格化圖像的質(zhì)量.

盡管基于域的圖像風(fēng)格化方法能在保留源域圖像語(yǔ)義內(nèi)容信息的基礎(chǔ)上學(xué)習(xí)目標(biāo)域的風(fēng)格，完成目標(biāo)域風(fēng)格的轉(zhuǎn)換，但是已有方法仍很難學(xué)到完全由目標(biāo)域所有圖像共同定義的風(fēng)格，不可避免地都會(huì)學(xué)到目標(biāo)域中一些特定圖像才有的風(fēng)格特征，使不同風(fēng)格化圖像的風(fēng)格存在較大差異.該問(wèn)題也是后續(xù)基于域的圖像風(fēng)格化研究需要重點(diǎn)關(guān)注的問(wèn)題.

綜上所述，基于域的圖像風(fēng)格化中代表性方法CycleGAN[10]、UNIT[45]、U-GAT-IT[47]、Council-GAN[48]的特點(diǎn)總結(jié)如表2所示.

表2 基于域的圖像風(fēng)格化方法中代表性方法的特點(diǎn)Table 2 Characteristics of representative methods in domain-based image stylization

3 實(shí)驗(yàn)及結(jié)果分析

3.1 基于參考的圖像風(fēng)格化方法對(duì)比

本節(jié)主要從運(yùn)行速度和效果上對(duì)比基于參考的圖像風(fēng)格化方法，其中運(yùn)行速度指生成一幅風(fēng)格化圖像需要的時(shí)間，效果指生成的風(fēng)格化圖像的質(zhì)量.該類方法對(duì)比時(shí)無(wú)固定的數(shù)據(jù)集，本文選取相關(guān)論文中常用的原始圖像和參考圖像作為測(cè)試數(shù)據(jù)進(jìn)行對(duì)比.

本文選取Optimization-Based[27]、AdaIN[28]、WCT[42]、Avatar-Net[49]、SANet[43]和ArtFlow[44]進(jìn)行運(yùn)行速度和效果的對(duì)比，運(yùn)行速度對(duì)比結(jié)果如表3所示,其中黑體數(shù)字表示最優(yōu)值.

由表3可知，Optimization-Based因?yàn)樾枰啻蔚鷥?yōu)化，生成一幅風(fēng)格化圖像所需時(shí)間最長(zhǎng).采用前向深度神經(jīng)網(wǎng)絡(luò)的方法WCT、AdaIN、Avatar-Net、SANet和ArtFlow生成一幅風(fēng)格化圖像所需時(shí)間較短，相比Optimization-Based，提升2～3個(gè)量級(jí).對(duì)比表明前向深度神經(jīng)網(wǎng)絡(luò)的使用大幅提升圖像風(fēng)格化的處理速度.相比WCT和Avatar-Net，AdaIN、SANet和ArtFlow進(jìn)行特征融合時(shí)需要的矩陣運(yùn)算更簡(jiǎn)單，生成一幅風(fēng)格化圖像所需時(shí)間更短，能實(shí)現(xiàn)實(shí)時(shí)的圖像風(fēng)格化.

表3 各方法的運(yùn)行時(shí)間對(duì)比Table 3 Running time comparison of different methods s

各方法生成的風(fēng)格化圖像對(duì)比如圖7所示.由圖可知，SANet和ArtFlow生成的風(fēng)格化圖像在語(yǔ)義內(nèi)容信息保留上效果較優(yōu)，特別是一些關(guān)鍵的紋理細(xì)節(jié)，如SANet和ArtFlow生成的風(fēng)格化圖像能完整保留原始圖像額頭的皺紋、發(fā)梢等紋理細(xì)節(jié)，而Optimization-Based、WCT和AdaIN生成的風(fēng)格化圖像都會(huì)存在不同程度的語(yǔ)義內(nèi)容信息丟失問(wèn)題，這表明SANet和ArtFlow在風(fēng)格化過(guò)程中對(duì)于語(yǔ)義內(nèi)容信息保留的有效性.進(jìn)一步可發(fā)現(xiàn)，WCT、AdaIN、Avatar-Net、SANet、ArtFlow生成的風(fēng)格化圖像和參考圖像的風(fēng)格一致性更高，而Optimization-Based生成的風(fēng)格化圖像和參考圖像的風(fēng)格一致性存在較大波動(dòng)，表明Optimization-Based得到的風(fēng)格化圖像的質(zhì)量會(huì)較依賴于優(yōu)化過(guò)程中的迭代次數(shù)，向不同風(fēng)格轉(zhuǎn)換時(shí)需要的迭代次數(shù)存在較大差異.

(a)內(nèi)容圖像(a)Content images

3.2 基于域的圖像風(fēng)格化方法對(duì)比

基于域的圖像風(fēng)格化方法都能實(shí)現(xiàn)實(shí)時(shí)的圖像風(fēng)格化，生成一幅風(fēng)格化圖像所需時(shí)間都在一個(gè)量級(jí)，因此通常只對(duì)各方法的風(fēng)格化結(jié)果進(jìn)行定量和定性的對(duì)比.

本文選取CycleGAN[10]、UNIT[45]、U-GAT-IT[47]、Council-GAN[48]、CUT(Contrastive Unpaired Transla- tion)[50]和SPatchGAN[51]，在selfie2-anime、Celeb- A2anime、vangogh2photo、monet2photo數(shù)據(jù)集上進(jìn)行對(duì)比.

selfie2anime數(shù)據(jù)集在U-GAT-IT[47]中被使用，包含人臉和動(dòng)漫人臉兩種風(fēng)格.訓(xùn)練集包含3 400幅人臉圖像和3 400幅動(dòng)漫人臉圖像.測(cè)試集包含100幅人臉圖像和100幅動(dòng)漫人臉圖像.

CelabA2anime數(shù)據(jù)集是本文構(gòu)建的，人臉圖像從CelebA數(shù)據(jù)集上篩選，動(dòng)漫人臉圖像來(lái)自selfie2-anime數(shù)據(jù)集，同樣包含人臉和動(dòng)漫人臉兩種風(fēng)格.訓(xùn)練集包含3 400幅人臉圖像和3 400幅動(dòng)漫人臉圖像.測(cè)試集包含100幅人臉圖像和100幅動(dòng)漫人臉圖像.

vangogh2photo數(shù)據(jù)集在CycleGAN[10]中被使用，包含藝術(shù)圖像和照片兩種風(fēng)格.訓(xùn)練集包含400幅藝術(shù)圖像和6 287幅照片圖像.測(cè)試集包含400幅藝術(shù)圖像和751幅照片圖像.

monet2photo數(shù)據(jù)集在DRIT[40]中被使用，同樣包含藝術(shù)圖像和照片兩種風(fēng)格.訓(xùn)練集包含1 811幅藝術(shù)圖像和6 452幅照片圖像.測(cè)試集包含400幅藝術(shù)圖像和751幅照片圖像.

在定量對(duì)比方面，采用的定量指標(biāo)分別為FID(Frechet Inception Distance)和結(jié)構(gòu)相似性(Structural Similarity， SSIM).FID指目標(biāo)域圖像和風(fēng)格化圖像特征之間的最大均方差，這里特征是采用 Inception V3網(wǎng)絡(luò)[52]提取的.FID值越低表示目標(biāo)域圖像和風(fēng)格化圖像之間的風(fēng)格一致性越高.SSIM指源域圖像和風(fēng)格化圖像之間的結(jié)構(gòu)相似度，包括亮度、對(duì)比度和結(jié)構(gòu).SSIM值越高，表示源域圖像和風(fēng)格化圖像的結(jié)構(gòu)一致性越高.

各方法的FID、SSIM值對(duì)比如表4所示，表中黑體數(shù)字表示最優(yōu)值.

表4 各方法的FID和SSIM值對(duì)比Table 4 Comparison of FID score and SSIM score of different methods

由表4可知，對(duì)比FID值可發(fā)現(xiàn)，各方法在不同類型的圖像風(fēng)格化任務(wù)上表現(xiàn)存在差異，在selfie2anime、CelebA2anime數(shù)據(jù)集上從人臉到動(dòng)漫人臉的圖像風(fēng)格化任務(wù)中，SPatchGAN的FID值均最低，CUT、U-GAT-IT、Council-GAN、CycleGAN、UNIT的FID值依次升高，表明U-GAT-IT生成的動(dòng)漫人臉圖像和目標(biāo)動(dòng)漫人臉域的風(fēng)格一致性最高，CUT、U-GAT-IT、Council-GAN、CycleGAN和UNIT生成的動(dòng)漫人臉圖像和目標(biāo)動(dòng)漫人臉域的風(fēng)格一致性依次降低.在vangogh2photo、monet2photo數(shù)據(jù)集上從藝術(shù)圖像到照片的圖像風(fēng)格化任務(wù)中，UNIT的FID值均最低，SPatchGAN、CUT、U-GAT-IT、Council-GAN和CycleGAN的FID值依次升高，表明UNIT生成的照片圖像和目標(biāo)照片域的風(fēng)格一致性最高，SPatch-GAN、CUT 、U-GAT-IT、Council-GAN和CycleGAN生成的照片圖像和目標(biāo)照片域的風(fēng)格一致性依次降低.

對(duì)比SSIM值可發(fā)現(xiàn)，各方法在不同類型的圖像風(fēng)格化任務(wù)上的表現(xiàn)同樣存在差異，在selfie2-anime、CelebA2anime數(shù)據(jù)集上從人臉到動(dòng)漫人臉的圖像風(fēng)格化任務(wù)中，SPatchGAN的SSIM值均最高，CUT、U-GAT-IT、CycleGAN、Council-GAN、UNIT的SSIM值依次降低，表明SPatchGAN生成的動(dòng)漫人臉圖像和原始人臉圖像的結(jié)構(gòu)一致性最高，CUT、U-GAT-IT、CycleGAN、Council-GAN、UNIT生成的動(dòng)漫人臉圖像和原始人臉圖像的結(jié)構(gòu)一致性依次降低.在vangogh2photo、monet2photo數(shù)據(jù)集上從藝術(shù)圖像到照片的圖像風(fēng)格化任務(wù)中，U-GAT-IT和SPatch-GAN的SSIM值分別取得最高值，Council-GAN、CUT、UNIT、CycleGAN的SSIM值依次降低，表明U-GAT-IT和SPatchGAN生成的照片圖像和原始藝術(shù)圖像的結(jié)構(gòu)一致性較高，Council-GAN、CUT、UNIT、CycleGAN生成的照片圖像和原始藝術(shù)圖像的結(jié)構(gòu)一致性依次降低.

各方法在4個(gè)數(shù)據(jù)集上生成的風(fēng)格化圖像對(duì)比分別如圖8和圖9所示.由圖可發(fā)現(xiàn)，在selfie2-anime、CelebA2anime數(shù)據(jù)集上從人臉到動(dòng)漫人臉的圖像風(fēng)格化任務(wù)中，SPatchGAN、CUT、U-GAT-IT、Council-GAN生成的動(dòng)漫人臉圖像質(zhì)量更高，在語(yǔ)義內(nèi)容信息的保留和風(fēng)格一致性上表現(xiàn)更優(yōu)，而UNIT和CycleGAN生成的動(dòng)漫人臉圖像質(zhì)量相對(duì)較低，在語(yǔ)義內(nèi)容信息的保留和風(fēng)格一致性上存在不同程度的問(wèn)題，特別是生成動(dòng)漫人臉的頭發(fā)和鬢角處會(huì)出現(xiàn)較大的失真.在vangogh2photo、monet2-photo數(shù)據(jù)集上從藝術(shù)圖像到照片的圖像風(fēng)格化任務(wù)中，SPatchGAN、U-GAT-IT、UNIT生成的照片圖像質(zhì)量更高，在語(yǔ)義內(nèi)容信息的保留和風(fēng)格一致性上表現(xiàn)更優(yōu)，而CUT、Council-GAN、CycleGAN生成的照片圖像質(zhì)量相對(duì)較低，在語(yǔ)義內(nèi)容信息的保留和風(fēng)格一致性上同樣存在一些問(wèn)題，如CUT、Council-GAN、CycleGAN生成的照片圖像會(huì)出現(xiàn)嚴(yán)重的語(yǔ)義內(nèi)容信息丟失問(wèn)題.

整體上，各方法在不同類型的圖像風(fēng)格化任務(wù)上的表現(xiàn)存在差異，SPatchGAN、Council-GAN、UGA-TIT綜合表現(xiàn)更優(yōu)，表明SPatchGAN中提出的基于統(tǒng)計(jì)特征的判別器能有效幫助模型學(xué)習(xí)目標(biāo)風(fēng)格的分布，U-GAT-IT中提出的注意力機(jī)制和AdaLIN在風(fēng)格化過(guò)程中能幫助模型更好地學(xué)習(xí)目標(biāo)風(fēng)格，對(duì)語(yǔ)義內(nèi)容和風(fēng)格的控制更精確，Council-GAN中提出代替循環(huán)一致性約束的多個(gè)GAN的協(xié)同約束更適合圖像風(fēng)格化任務(wù)，能幫助模型更好地學(xué)習(xí)目標(biāo)風(fēng)格.UNIT在從藝術(shù)圖像到照片的圖像風(fēng)格化任務(wù)上表現(xiàn)更優(yōu)，表明這兩類風(fēng)格的特征潛層空間一致性較高，特征潛層空間共享的假設(shè)更適合此類風(fēng)格化任務(wù).

(a)原始圖像(a)Original images

(a)原始圖像(a)Original images

4 問(wèn)題與展望

4.1 存在的問(wèn)題

盡管已有的基于深度神經(jīng)網(wǎng)絡(luò)的圖像風(fēng)格化方法獲得較高質(zhì)量的風(fēng)格化圖像，但仍存在一些問(wèn)題.

1)泛化性難以保證.這是基于深度神經(jīng)網(wǎng)絡(luò)的方法在實(shí)際應(yīng)用中都會(huì)存在的問(wèn)題.基于深度神經(jīng)網(wǎng)絡(luò)的風(fēng)格化模型訓(xùn)練完成后，在實(shí)際應(yīng)用時(shí)，對(duì)于在訓(xùn)練中未出現(xiàn)過(guò)的、與訓(xùn)練數(shù)據(jù)集中的圖像差異較大的圖像，模型生成的風(fēng)格化圖像質(zhì)量較低，會(huì)出現(xiàn)不同程度的失真.提高圖像風(fēng)格化方法的泛化性仍是圖像風(fēng)格化研究領(lǐng)域的難點(diǎn)問(wèn)題.

2)欠風(fēng)格化和過(guò)度風(fēng)格化問(wèn)題.盡管已有的圖像風(fēng)格化方法在一定程度上解決風(fēng)格化過(guò)程的欠風(fēng)格化和過(guò)度風(fēng)格化問(wèn)題，并獲得較高質(zhì)量的風(fēng)格化圖像，但是當(dāng)參考圖像和原始圖像差距較大時(shí)，該問(wèn)題仍不能得到完全解決.生成的風(fēng)格化圖像要么出現(xiàn)欠風(fēng)格化問(wèn)題，保留過(guò)多原始圖像的風(fēng)格信息，和參考圖像的風(fēng)格一致性較低，要么出現(xiàn)過(guò)度風(fēng)格化問(wèn)題，丟失較多原始圖像的語(yǔ)義內(nèi)容信息.解決該問(wèn)題是圖像風(fēng)格化研究領(lǐng)域急需解決的問(wèn)題.

3)難以學(xué)到想要的風(fēng)格.當(dāng)采用GAN的風(fēng)格化模型訓(xùn)練時(shí)，模型收斂后，不同迭代周期可能會(huì)學(xué)到不同的風(fēng)格分布，導(dǎo)致同幅源域圖像生成的風(fēng)格化圖像可能會(huì)存在較大差異，難以學(xué)到想要的風(fēng)格.在模型收斂后學(xué)到基本相同的風(fēng)格分布或?qū)W到想要的風(fēng)格，是圖像風(fēng)格化研究領(lǐng)域需進(jìn)一步研究的問(wèn)題.

4)缺乏可解釋性.雖然基于深度神經(jīng)網(wǎng)絡(luò)的圖像風(fēng)格化方法可從人類認(rèn)知的角度進(jìn)行風(fēng)格的定義和轉(zhuǎn)換，根據(jù)圖像間的相似性定義風(fēng)格，利用訓(xùn)練完成的深度神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)風(fēng)格轉(zhuǎn)換，有一定的可解釋性.但是，風(fēng)格轉(zhuǎn)換是在由深度神經(jīng)網(wǎng)絡(luò)映射的潛層空間上進(jìn)行，而潛層空間中特征的含義難以解釋，不同方法潛層空間中特征的含義可能會(huì)存在較大的差異，導(dǎo)致這類方法仍不具備可以讓人類能理解的解釋性.

5)設(shè)計(jì)缺乏理論指導(dǎo).雖然近年來(lái)圖像風(fēng)格化受到學(xué)者們的廣泛關(guān)注,并取得不錯(cuò)成果,但是關(guān)于圖像風(fēng)格化的理論研究卻很少.大部分方法設(shè)計(jì)的初衷都是來(lái)源于人類認(rèn)知過(guò)程中的啟發(fā)或猜測(cè),并無(wú)理論保證或指導(dǎo).

4.2 未來(lái)展望

通過(guò)對(duì)當(dāng)前基于深度神經(jīng)網(wǎng)絡(luò)的圖像風(fēng)格化方法的梳理及已有相關(guān)方法存在問(wèn)題的分析，可展望未來(lái)圖像風(fēng)格化領(lǐng)域的研究方向.

1)從數(shù)據(jù)和模型兩個(gè)角度提升圖像風(fēng)格化模型的泛化性.在數(shù)據(jù)層面，一方面增加訓(xùn)練時(shí)的數(shù)據(jù)量，即增加訓(xùn)練數(shù)據(jù)集上圖像的種類數(shù)，另一方面對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)操作，如翻轉(zhuǎn)、裁剪等操作，提高數(shù)據(jù)的多樣性.在模型層面，考慮多個(gè)參考圖像在模型映射的特征潛層空間進(jìn)行線性插值等操作，進(jìn)行風(fēng)格特征的融合，使模型能學(xué)習(xí)更多樣的風(fēng)格特征.從數(shù)據(jù)和模型兩個(gè)角度出發(fā)，使模型學(xué)習(xí)更多種類的風(fēng)格和風(fēng)格特征，提高風(fēng)格化模型的泛化性.

2)從網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù)兩個(gè)角度解決欠風(fēng)格化和過(guò)度風(fēng)格化問(wèn)題.在網(wǎng)絡(luò)結(jié)構(gòu)層面，采用級(jí)聯(lián)的特征融合結(jié)構(gòu)，如將WCT、AdaIN和SANet進(jìn)行相應(yīng)的聯(lián)合，在風(fēng)格化過(guò)程中進(jìn)行更精細(xì)化的特征融合.在損失函數(shù)層面，設(shè)計(jì)損失函數(shù)，對(duì)生成的風(fēng)格化圖像的語(yǔ)義內(nèi)容信息和風(fēng)格信息進(jìn)行更嚴(yán)格的約束，如使用多細(xì)粒度的輪廓損失約束風(fēng)格化圖像和原始圖像多細(xì)粒度輪廓的一致性，使用多尺度的風(fēng)格特征損失，約束風(fēng)格化圖像和參考圖像在各層多個(gè)尺度風(fēng)格特征上的一致性.

3)建立不同風(fēng)格化圖像的聯(lián)系，學(xué)習(xí)想要的風(fēng)格.例如，在模型訓(xùn)練中后期，約束同幅源域圖像在不同迭代周期中生成的風(fēng)格化圖像的一致性，降低差異性，使模型能學(xué)到基本相同的風(fēng)格分布或?qū)W到想要的風(fēng)格，不會(huì)因?yàn)榈芷诘牟煌鴮W(xué)到不同的風(fēng)格分布.

4)研究可解釋的圖像風(fēng)格化方法.已有多數(shù)圖像風(fēng)格化方法常只從人類認(rèn)知角度給出簡(jiǎn)單的定性解釋，說(shuō)明方法在風(fēng)格轉(zhuǎn)換方面的有效性.雖然風(fēng)格化中間過(guò)程的一些可視化結(jié)果可部分說(shuō)明為什么這些方法會(huì)起作用，但方法中的網(wǎng)絡(luò)結(jié)構(gòu)、損失函數(shù)和訓(xùn)練策略等如何在風(fēng)格化過(guò)程中起作用缺乏可靠的解釋.因此,設(shè)計(jì)可解釋的圖像風(fēng)格化方法，更好地讓風(fēng)格化模型像人一樣學(xué)習(xí)是未來(lái)值得研究的問(wèn)題.

5)基于參考的圖像風(fēng)格化方法能對(duì)風(fēng)格化過(guò)程進(jìn)行更精確的控制，基于域的圖像風(fēng)格化方法能學(xué)習(xí)更魯棒的風(fēng)格分布，因此可結(jié)合這兩種方法.采用基于域的圖像風(fēng)格化方法中風(fēng)格的定義方式，即風(fēng)格由目標(biāo)域的所有圖像共同定義，但采用基于參考的圖像風(fēng)格化方法的網(wǎng)絡(luò)框架，添加額外的約束.例如，在模型訓(xùn)練時(shí)，每次迭代從源域隨機(jī)采樣一幅圖像作為原始圖像，從目標(biāo)域隨機(jī)采樣兩幅圖像作為參考圖像，對(duì)于模型生成的兩幅風(fēng)格化圖像，通過(guò)相應(yīng)的損失函數(shù)約束其風(fēng)格的一致性，即確保模型學(xué)到完全由目標(biāo)域所有圖像共同定義的風(fēng)格.在推理時(shí)，對(duì)于同幅原始圖像，從目標(biāo)域隨機(jī)選取一幅圖像作為參考圖像，在一定程度上可保證模型生成的風(fēng)格化圖像風(fēng)格的一致性，學(xué)到更魯棒的風(fēng)格分布.