李圓 陳志豪 張慧 于淼
摘 要:為了將基于深度學(xué)習(xí)的圖像風(fēng)格遷移技術(shù)引入紡織服裝中刺繡元素設(shè)計領(lǐng)域,拓展刺繡在服裝中的創(chuàng)新思路和表現(xiàn)形式,本文利用DIN算法進行服裝圖案風(fēng)格遷移處理,將圖像風(fēng)格化處理技術(shù)應(yīng)用到服裝圖案設(shè)計中,對服裝圖案進行圖案刺繡風(fēng)格化處理,在實現(xiàn)服裝圖案的刺繡化效果的同時減少人力物力的投入。與基于AdaIN算法的圖像風(fēng)格化處理相比,較好的保留了原圖的結(jié)構(gòu)且更顯自然,驗證了該方法的有效性。研究認為DIN算法在服裝圖案刺繡風(fēng)格化處理上具有一定可行性,可利用圖像風(fēng)格遷移技術(shù)更好的實現(xiàn)刺繡在服裝設(shè)計中的應(yīng)用與研究。
關(guān)鍵詞:刺繡;風(fēng)格化;DIN算法;AdaIN算法;深度學(xué)習(xí)
中圖分類號:TP391 文獻標識碼:A 文章編號:2095-414X(2023)05-0009-08
0? 引言
基于深度學(xué)習(xí)的圖像風(fēng)格遷移技術(shù)利用卷積神經(jīng)網(wǎng)絡(luò)淺層卷積層提取圖片風(fēng)格信息與深層卷積層提取圖片內(nèi)容信息的特性,將圖片的風(fēng)格與內(nèi)容分離開,重新整合得到新圖片,將一張普通的圖片變成帶有藝術(shù)家風(fēng)格的圖片,賦予普通圖片藝術(shù)感和文化內(nèi)涵。將圖像風(fēng)格遷移技術(shù)與服裝領(lǐng)域的圖案設(shè)計相結(jié)合,是將大眾的需求、設(shè)計師的創(chuàng)意、時代的流行文化融合在一起的一種行為方式[1],可以節(jié)省設(shè)計師創(chuàng)作時間,減少大量人力、資金的投入。Gatys等[2]于2015年首次提出了一種與深度學(xué)習(xí)相結(jié)合的風(fēng)格遷移算法,他們只通過Visual Geometry Group(VGG)這一損失網(wǎng)絡(luò)來提取特征,雖然遷移效果很好,但其迭代速度慢,且不能實時處理。Johnson等[3]最先提出對模型進行迭代優(yōu)化的風(fēng)格遷移算法,將網(wǎng)絡(luò)分為圖像生成網(wǎng)絡(luò)和損失網(wǎng)絡(luò)兩種,對損失函數(shù)優(yōu)化并產(chǎn)生圖像,速度比之前提升了幾百倍。Zhu等[4]提出了一種基于GAN的CycleGAN無監(jiān)督對抗網(wǎng)絡(luò),使用循環(huán)一致性來約束和保證圖像的內(nèi)容,可以通過僅訓(xùn)練兩種類型的輸入圖像來獲得訓(xùn)練模型,具有廣泛的應(yīng)用。Huo等[5]提出了一種雙分支可學(xué)習(xí)轉(zhuǎn)移機制,同時考慮了一階和二階圖像統(tǒng)計的互補優(yōu)勢捕獲一致的風(fēng)格保留更多結(jié)構(gòu)細節(jié),使風(fēng)格遷移圖片具有逼真的效果和更高效率。Xu等[6]提出了IFFMStyle圖像風(fēng)格遷移框架,能過濾掉圖像中與結(jié)構(gòu)無關(guān)的次要特征,更好地保留原始內(nèi)容特征和局部結(jié)構(gòu),顯著提高了生成圖像的質(zhì)量,顯著改善了紋理失真和不均勻的色彩分布。Ding等[7]提出小波分解的方法有效抑制圖像風(fēng)格遷移造成的失真并產(chǎn)生了自然的效果。
有很多學(xué)者將基于深度學(xué)習(xí)的風(fēng)格遷移應(yīng)用在服裝領(lǐng)域。邱德府[8]通過改進的CycleGAN算法提出對童裝服裝款式進行風(fēng)格轉(zhuǎn)移,為童裝服裝設(shè)計提供更多的設(shè)計風(fēng)格參考。徐暢[9]將服裝的紋理、圖案、顏色、材質(zhì)等服裝創(chuàng)意設(shè)計元素同時遷移到服裝圖像中,來輔助服裝設(shè)計者進行創(chuàng)意設(shè)計。董學(xué)良[10]基于Gycle GAN和卷積神經(jīng)網(wǎng)絡(luò)改進服裝局部風(fēng)格遷移方法,改善局部服裝圖像風(fēng)格遷移的效果,提高局部服裝圖像風(fēng)格遷移的速度。服裝圖像遷移容易存在紋理不清晰,內(nèi)容扭曲,遷移后顏色與風(fēng)格圖片不一致。而刺繡作為藝術(shù)品在服裝設(shè)計中存在難以批量生產(chǎn)、制作成本較高等問題。利用合適的算法將圖像風(fēng)格遷移技術(shù)引入服裝圖案中,使服裝圖案呈現(xiàn)出刺繡風(fēng)格,能夠彌補傳統(tǒng)刺繡難以滿足服裝大規(guī)模需求的局限。
本文利用DIN算法,從可行性、可讀性、有窮性以及健壯性這幾個角度進行算法設(shè)計,確定科學(xué)合理的算法實現(xiàn),進行一系列風(fēng)格化設(shè)計模擬實驗來測試其功能的耐久性以及有效性,搭建基于DIN算法的風(fēng)格遷移模型,最后篩選合適的服裝圖案進行刺繡風(fēng)格化處理。DIN算法能夠?qū)⒁话銏D案進行不同的風(fēng)格化處理,將其應(yīng)用到服裝中,能夠使服裝圖案呈現(xiàn)出新的風(fēng)格。將中國傳統(tǒng)刺繡文化與服裝圖案相結(jié)合,實現(xiàn)多樣化的刺繡圖案設(shè)計。
1基于深度學(xué)習(xí)的圖像風(fēng)格遷移
1.1基于深度學(xué)習(xí)的圖像風(fēng)格遷移技術(shù)
風(fēng)格遷移指的是兩個不同域中圖像的轉(zhuǎn)換,簡單來說就是通過一定的算法使一張圖片在保證其本身內(nèi)容不變的情況下,最大程度地轉(zhuǎn)換成另外一張圖片的風(fēng)格,也可以被認為是一種圖像編輯過濾。圖像風(fēng)格遷移旨在將內(nèi)容圖像的筆觸、紋理和顏色轉(zhuǎn)換為另一張風(fēng)格圖片的同時保留內(nèi)容圖像的場景。從遵守藝術(shù)規(guī)則的角度出發(fā),借助計算機算法來模擬藝術(shù)家的創(chuàng)作風(fēng)格,達到非真實感繪制的目的,從而擺脫照片一樣的復(fù)制粘貼感,生成在視覺特性上與真實藝術(shù)作品更加相似的圖像,賦予普通圖片藝術(shù)感和文化內(nèi)涵。
圖像風(fēng)格遷移就是將一張圖片A給人的感覺替換成另一張圖片B的感覺,最終生成圖片C,其同時具有A圖片的內(nèi)容和B圖片的風(fēng)格,如圖1所示。
從2015年與深度學(xué)習(xí)算法相結(jié)合的圖像風(fēng)格遷移技術(shù)開始興起,至今已取得了飛速的進步,無論是在理論層面還是算法實踐上都有相關(guān)學(xué)者不斷研究改進,遷移效率得到了很大提升?;谏疃葘W(xué)習(xí)風(fēng)格遷移技術(shù)主要包括兩種類型,分別是基于在線圖像優(yōu)化的慢速風(fēng)格遷移和基于離線模型迭代的快速風(fēng)格遷移,這兩種遷移方式的主要區(qū)別如表1所示。
慢速風(fēng)格遷移大致可分為三種方法:基于深度圖像類比[11]、基于馬爾可夫隨機場[12]、基于最大均值差異[13]。這些遷移方式的原理都是針對圖像的像素完成迭代優(yōu)化,遷移速度非常慢,每次遷移都需要重新對風(fēng)格圖與內(nèi)容圖進行訓(xùn)練,雖然生成圖片的遷移效果很好,但是實用性不高,性價比相對來說比較低,無法大規(guī)模推廣應(yīng)用。
為了解決遷移速度慢的問題,在相關(guān)學(xué)者不斷探索改進中產(chǎn)生了基于模型迭代的快速風(fēng)格遷移,且應(yīng)用范圍較廣??焖賵D像風(fēng)格化遷移算法主要解決速度問題,核心思想就是利用基于離線模型優(yōu)化的快速圖像重建方法對風(fēng)格化結(jié)果進行重建,基于預(yù)先訓(xùn)練前向網(wǎng)絡(luò)來解決計算量大、速度慢的問題,按照一個訓(xùn)練好的前向網(wǎng)絡(luò)能夠?qū)W習(xí)到的風(fēng)格的數(shù)量進行劃分,可以把快速風(fēng)格遷移分成單模型單風(fēng)格遷移、單模型多風(fēng)格遷移、單模型任意風(fēng)格遷移三種[14]。
單模型單風(fēng)格遷移是最早的能實現(xiàn)快速風(fēng)格遷移的算法。該方法基于模型迭代訓(xùn)練出了一個生成模型,之后只需要用戶輸入內(nèi)容圖片即可完成模型對應(yīng)的風(fēng)格的遷移。這種遷移方法的缺點是只能生成這一種特定風(fēng)格的圖片,如果想要其他風(fēng)格的,就需要再重新訓(xùn)練一個模型,雖然遷移效率大大提升,但擴展應(yīng)用性不強。
單模型多風(fēng)格遷移通過引入一個仿射變換,將圖像中的風(fēng)格標準化成另一個風(fēng)格,從而實現(xiàn)了一個模型可以學(xué)習(xí)多個風(fēng)格。雖然它與單模型單風(fēng)格遷移相比,已經(jīng)有了很大的進步,但能遷移的風(fēng)格數(shù)量還是有限,對于一組新的風(fēng)格,仍然需要額外的訓(xùn)練時間。
單模型任意風(fēng)格遷移是一種發(fā)展比較成熟的快速遷移算法,它能做到只需要訓(xùn)練一個前向網(wǎng)絡(luò)就可以學(xué)習(xí)到任意風(fēng)格,解決了風(fēng)格預(yù)定義的問題,目前已經(jīng)能夠?qū)崿F(xiàn)實時的任意風(fēng)格遷移,而且也取得了較好的遷移效果。
1.2圖像風(fēng)格遷移技術(shù)的網(wǎng)絡(luò)架構(gòu)
圖像風(fēng)格遷移是基于卷積神經(jīng)網(wǎng)絡(luò)(CNN算法)進行的,經(jīng)典的CNN模型有AlexNet、GoogleNet、VGGNet和ResNet。下面以應(yīng)用較多的VGGNet-19為例,介紹卷積神經(jīng)網(wǎng)絡(luò)的主要結(jié)構(gòu)。如圖2所示,是VGG-19網(wǎng)絡(luò)結(jié)構(gòu)圖,5個VGG塊的卷積層數(shù)量分別為(2, 2, 4, 4, 4),再加上3個全連接層,總的參數(shù)層數(shù)量為19,因此叫VGG-19。黑色的部分(1至
16)是Conv卷積層+ReLU激活函數(shù)層,分別負責(zé)提取特征和加強特征;紅色的部分是MaxPool池化層,通過最大池化實現(xiàn)特征壓縮;最后三個(17至19)是Linear全連接層+ReLU激活函數(shù)層,負責(zé)將學(xué)習(xí)到的圖像特征表示進行整合映射。輸入一張圖片hwc=2242243(h代表圖像像素有幾行,w代表圖像像素有幾列,c代表通道數(shù),為RGB三通道),經(jīng)過每一次最大池化后高和寬都會變小,所以會在下一次卷積的時候通過特征圖數(shù)量翻倍,即增加通道數(shù)來彌補高和寬變小帶來的信息損失,每一層神經(jīng)網(wǎng)絡(luò)都會利用上一層的輸出來進一步提取更加復(fù)雜的特征,從而達到提取到原圖像多種特征的目的。
2基于深度學(xué)習(xí)的服裝圖案刺繡風(fēng)格化處理—DIN算法
2.1DIN算法及其功能
DIN算法的全稱為:Dynamic Instance Normal- ization,即動態(tài)實例規(guī)范化。DIN算法包括實例歸一化和動態(tài)卷積,可以將樣式圖像編碼為可學(xué)習(xí)的卷積參數(shù),在此基礎(chǔ)上將內(nèi)容圖像風(fēng)格化。DIN能夠進行靈活且?有效的任意風(fēng)格轉(zhuǎn)換。DIN與使用共享復(fù)雜編碼器編碼內(nèi)容和風(fēng)格的傳統(tǒng)方法不同,DIN引入了一個復(fù)雜的風(fēng)格編碼器來表達復(fù)雜而豐富的風(fēng)格模式,并且附帶了一個緊湊和輕量級的內(nèi)容編碼器以進?快速推?,可以用于快速風(fēng)格化[15]。網(wǎng)絡(luò)結(jié)構(gòu)主要由三個模塊組成:圖像編碼器、動態(tài)實例規(guī)范化層和圖像解碼器。
動態(tài)實例規(guī)范化層包括一個實例歸一化和一個動態(tài)卷積操作(圖3)。在這里,卷積類型包括但不限于標準卷積、可變性卷積和分組卷積。其中weight net和bias net由簡單的卷積層和自適應(yīng)池化層構(gòu)成。其中weight net和bias net由簡單的卷積層和自適應(yīng)池化層構(gòu)成。公式如下:
DIN(FcL)=IN(FcL)?WL+bL。(1)
其中,F(xiàn)c是內(nèi)容輸入的特征圖,L是特定層,W是學(xué)習(xí)到的權(quán)重矩陣,b是學(xué)習(xí)到的偏置向量。IN(*)是實例歸一化操作,公式如下:
(2)
根據(jù)該公式,可以看出利用DIN操作學(xué)習(xí)到的W其實就是風(fēng)格的標準差,b是風(fēng)格均值。
DIN使利用一個復(fù)雜的樣式編碼器來表達復(fù)雜和豐富的風(fēng)格化模式成為一種可能。有了提出的DIN層,能夠進行任意風(fēng)格的轉(zhuǎn)移,且花費更少的計算成本。此外,DIN支持各種卷積操作,因此實現(xiàn)了新的傳輸功能,包括自動空間沖程控制和對非自然圖像的均勻沖程放置。
2.2實驗過程
我們把日常生活中常用作服裝圖案的圖像當作原片,然后對其施加特定的刺繡風(fēng)格,而刺繡風(fēng)格本身也是以圖片的形式,依托DIN算法構(gòu)建一個VGG模型把服裝圖案生成為具有刺繡藝術(shù)風(fēng)格的作品[16]。
2.2.1 預(yù)處理
訓(xùn)練時的內(nèi)容圖使用的是COCO數(shù)據(jù)集,部分圖片展示如圖4。風(fēng)格圖片使用了50余種刺繡風(fēng)格圖像,部分圖片展示如圖5。
圖片數(shù)據(jù)均為RGB三通道彩色圖片,格式均為.jpg。但圖片的大小格式不一,需要對圖片進行預(yù)處理。首先將圖片裁剪成256256,并進行圖像增強處理,定義反歸一化函數(shù)以及最核心的數(shù)據(jù)集準備類等對圖像進行縮放等調(diào)節(jié),使其適于模型處理。
DIN層的濾波器大小設(shè)置為1 × 1。我們使用感知損失[17]作為內(nèi)容損失,使用BN統(tǒng)計損失[18]作為風(fēng)格損失,使用預(yù)先訓(xùn)練的VGG-19作為損失網(wǎng)絡(luò),圖像編碼器和解碼器的學(xué)習(xí)率都設(shè)置為0.0001。DIN層中的權(quán)重和偏差網(wǎng)絡(luò)設(shè)置為具有10×學(xué)習(xí)率,以便更快地收斂。
2.2.2構(gòu)建模型
根據(jù)DIN算法的概念構(gòu)建一個VGG模型,依托VGG-19 network模型,包含了16個卷積層,一共分為五個卷積階段。卷積層數(shù)越多,風(fēng)格遷移的效果就越好,如果繼續(xù)增加卷積層,實現(xiàn)的刺繡風(fēng)格越逼真,但同時其編碼的工作量也會大大增加。
2.3實驗結(jié)果
通過一系列卷積實驗,除去效果差以及算法未計算出的圖片外,我們收集到了約40張成品圖像。具體來說,對于內(nèi)容圖像,其中包含了大致相同數(shù)量的四種類別:靜物照片、肖像照片、動漫照片和風(fēng)景照片。肖像照片模擬之后,會造成面部特征損失或扭曲,造成圖像內(nèi)容缺失,影響觀感。風(fēng)景照片的模擬結(jié)果雖能夠顯現(xiàn)刺繡風(fēng)格,但是失去了風(fēng)景原有的色彩,這便失去了它的藝術(shù)性,所以是無法應(yīng)用到服裝中去的。動漫照片則較好的保留原圖像內(nèi)容又賦予刺繡風(fēng)格,并具有一定藝術(shù)性和觀賞性。對于刺繡風(fēng)格圖像,我們主要使用了中國四大名繡即蘇繡、湘繡、粵繡和蜀繡,以及民間的一些色彩比較和諧、紋理比較突出的圖像。對照片風(fēng)景模擬時,選擇的刺繡圖像內(nèi)容盡量是紋樣圖案,對靜物照片模擬時盡量選擇具有相同實物內(nèi)容的刺繡圖。對內(nèi)容圖進行風(fēng)格化處理時,盡量選擇有相同顏色特征的刺繡風(fēng)格圖,使生成效果圖具有較為和諧的色彩。
比較得到的成品圖像圖6和圖7,發(fā)現(xiàn)成品的風(fēng)格化效果首先與內(nèi)容圖像的分辨率息息相關(guān),分辨率越高的圖像風(fēng)格化的效果就越好,反之則越差。這是由于刺繡的紋理比較細膩,如果內(nèi)容圖像的分辨率太低就會導(dǎo)致風(fēng)格化的效果變差,便無法看出刺繡的紋理。其次,算法的復(fù)雜性與精確性也是一個關(guān)鍵因素,這里來講是在算法可行的情況下進行風(fēng)格化實驗的。算法太過冗長,計算時間過長,反復(fù)卷積會導(dǎo)致內(nèi)容圖像扭曲,自然風(fēng)格化效果就會變差。算法不夠精確時就不能夠生成刺繡風(fēng)格清晰的細節(jié)紋理,在使用更加豐富的風(fēng)格模式時不夠有效。
2.4服裝圖案刺繡風(fēng)格化處理對比試驗—AdaIN算法
AdaIN的訓(xùn)練類似于DIN,不同的是AdaIN操作不需要訓(xùn)練,而DIN內(nèi)部包含了需要訓(xùn)練的 weight net 和 bias net 部分,因此本文將基于DIN算法的圖案刺繡風(fēng)格化與基于AdaIN算法的圖案風(fēng)格化相對比分析。
2.4.1實驗?zāi)P徒Y(jié)構(gòu)
基于AdaIN[19]算法的圖案風(fēng)格化處理實驗中所用的網(wǎng)絡(luò)結(jié)構(gòu)如圖8所示,內(nèi)容圖片通過圖像轉(zhuǎn)換網(wǎng)絡(luò)輸出生成圖片,然后生成圖片與內(nèi)容圖片、風(fēng)格圖片一起通過損失函數(shù)網(wǎng)絡(luò)計算總損失,通過使總損失函數(shù)最小化,對圖像生成網(wǎng)絡(luò)進行梯度下降,以此來優(yōu)化參數(shù)模型,從而達到最好的遷移效果。
圖8? AdaIN算法工作原理簡單示意圖
先用VGG-19提取風(fēng)格圖片和內(nèi)容圖片的特征,在AdaIN模塊進行如公式所示的操作,將內(nèi)容圖片的方差和均值對齊到風(fēng)格圖的方差和均值:
(3)
其中,x表示內(nèi)容圖特征,y表示風(fēng)格圖特征,都是用矩陣的形式來表示。μ(x)和σ(x)分別代表內(nèi)容圖特征的均值和標準差,μ(y)和σ(y)分別代表風(fēng)格圖特征的均值和標準差。
然后在解碼器(Decoder)中將特征再還原成圖片,之后將還原的圖片輸送到損失函數(shù)網(wǎng)絡(luò),計算損失值的大小,具體計算方法如公式所示[20]:
(4)
(5)
(6)
其中, 是總損失, 是內(nèi)容損失, 是風(fēng)格損失, 是編碼器Encoder, 是解碼器Decoder, 是經(jīng)過AdaIN層后產(chǎn)生的目標圖片, 是指經(jīng)過VGG-19的某一層提取的特征。
2.4.2? 實驗過程
訓(xùn)練時的內(nèi)容圖和風(fēng)格圖數(shù)據(jù)集同DIN算法訓(xùn)練模型一致。然后定義計算空間維度的均值和標準差的函數(shù),對AdaIN算法進行實現(xiàn),每迭代10000次保存一次結(jié)果圖和權(quán)重。最后,在訓(xùn)練完成后進行測試并通過反歸一化函數(shù)生成我們?nèi)庋劭梢姷目梢暬瘓D片。
3? 結(jié)果對比分析
3.1? 定性結(jié)果分析
3.1.1? 生成圖片對比
通過對比試驗結(jié)果如圖9、圖10所示,發(fā)現(xiàn)相較于AdaIN風(fēng)格遷移模型,基于DIN算法獲得的風(fēng)格化圖片具有刺繡特征、較清晰的內(nèi)容,較好的保留了風(fēng)格圖像的顏色和紋理。
3.1.2? 服裝效果對比
最后,利用Photoshop軟件將得到的幾張效果比較好的風(fēng)格圖片模擬到日常穿著比較多的黑白短袖上,如圖11和圖12。我們的設(shè)計思路是將得到的風(fēng)格圖片當作印花使用的圖片印在衣服的后背,這與當前市場國潮元素盛行的思路相仿,衣服前則是使用了“國潮計劃”這四個字當作logo,更能體現(xiàn)出刺繡文化作為傳統(tǒng)文化的瑰寶在當今市場國潮復(fù)蘇的行情下的回暖情況。
從圖片可以看出,上身效果具有一定的藝術(shù)性和觀賞性,如果能夠引入現(xiàn)代的服裝市場可能會有不錯的經(jīng)濟效益。將基于DIN算法獲得風(fēng)格化圖片與基于AdaIN獲得的風(fēng)格圖片服裝效果相對比,如圖13和圖14,發(fā)現(xiàn)基于DIN算法獲得的風(fēng)格化圖片在服裝上更顯自然和諧。
此外,將刺繡元素與現(xiàn)代服裝融合的手段是多元化的,在這里采用的是印花的方式,因為已經(jīng)將服裝圖案刺繡風(fēng)格化了,就不用再采用繡花方式,在市場上更具經(jīng)濟效益。
3.2定量結(jié)果分析
本文使用以下5個指標來評估風(fēng)格化圖像的質(zhì)量。結(jié)構(gòu)相似性SSIM[20]是一種衡量兩幅圖像相似度的指標。SSIM實際上是測量兩個相似圖像之間的感知差異,主要用于檢測兩張相同尺寸的圖像的相似度、或者檢測圖像的失真程度。SSIM算法主要通過分別比較兩個圖像的亮度、對比度、結(jié)構(gòu),然后對這三個要素加權(quán)并用乘積表示,數(shù)值較高意味著兩個圖像之間更好的結(jié)構(gòu)相似性。峰值信噪比PSNR[21]用于衡量兩張圖像之間差異,PSNR數(shù)值越高,則兩圖像相似度更高。均方誤差MSE[22]反映的是變量間的差異程度,是真實值與預(yù)測值的差值的平方然后求和平均,一種基于像素誤差的圖像質(zhì)量客觀評價指標,用于衡量融合圖像和理想?yún)⒖紙D像之間的差異。MSE越小,表示融合圖像質(zhì)量越好。均方根誤差RMSE在MSE的基礎(chǔ)上做平方根,衡量觀測值與真實值之間的偏差。信息熵entropy[23]主要是度量圖像包含信息量多少的一個客觀評價指標。信息熵越高表示融合圖像的信息量越豐富,質(zhì)量越好。
如表2所示,基于DIN算法獲得風(fēng)格化圖片在結(jié)構(gòu)相似性、峰值信噪比和信息熵方面得分都比基于AdaIN獲得風(fēng)格化圖片得分要高。說明基于DIN風(fēng)格模型生成的圖像與內(nèi)容圖像具有較高的相似性,風(fēng)格化圖像質(zhì)量較高,信息量較為豐富。在均方誤差和均方根誤差上基于DIN 算法的風(fēng)格化方法得分為3214.0799和62.1414,得分比另一個方法低,說明該方法風(fēng)格圖和內(nèi)容圖融合質(zhì)量較好,觀測值與真實值偏差較小。使用基于DIN算法獲得的風(fēng)格化圖片在這幾個指標中具有優(yōu)異的性能,即可以更好地保留內(nèi)容圖像的結(jié)構(gòu),又使圖像具有刺繡的風(fēng)格。
4結(jié)論
隨著時代的發(fā)展,人們審美情趣的提高以及對中國傳統(tǒng)文化的熱忱,將刺繡文化與服裝圖案相結(jié)合的風(fēng)格化藝術(shù)表現(xiàn)效果已然成為大眾的要求。將風(fēng)格化的思想使用到服裝設(shè)計中,傳統(tǒng)服裝與現(xiàn)代服裝的橋梁將被打通,現(xiàn)代服裝的設(shè)計就更能體現(xiàn)出中國的優(yōu)秀傳統(tǒng)文化。使用DIN算法可以更靈活、更高效的實現(xiàn)內(nèi)容圖像的刺繡風(fēng)格化。我們所利用的DIN算法使用了一個復(fù)雜的樣式編碼器來編碼豐富的樣式模式和一個輕量級的內(nèi)容編碼器來提高卷積效率,從結(jié)果表明,使用該方法得到了較為滿意的效果,特別是在模擬色彩紋理不夠突出的一些刺繡風(fēng)格模式時,也能夠獲得不錯的結(jié)果,相較于傳統(tǒng)算法有著非常輕的計算成本。此外,能夠?qū)崿F(xiàn)圖像風(fēng)格化的實現(xiàn)方式有很多,每種方式都有著其特殊的優(yōu)勢和劣勢,至于后續(xù)服裝領(lǐng)域會采用哪種方式來進行風(fēng)格化操作,這還需要綜合維護成本及用戶需求等因素來考慮,這里我們采用DIN算法來實現(xiàn)刺繡風(fēng)格化,僅僅作為進行刺繡風(fēng)格化的一個嘗試,為未來服裝領(lǐng)域應(yīng)用刺繡風(fēng)格的服裝圖案打下一定的基礎(chǔ)。
參考文獻:
王君. 基于風(fēng)格化圖像處理和個性化定制需求的絲巾設(shè)計[D]. 杭州:浙江理工大學(xué),2018.
Gatys L A, Ecker A S, Bethge M. A Neural Algorithm of Artistic Style[J]. Journal of Vision,2016,16(12):326.
Johnson J , Alahi A , Fei-Fei L . Perceptual Losses for Real-Time Style Transfer and Super-Resolution[A]. European Conference on Computer Vision[C]. Springer, Cham, 2016.
Zhu J Y, Park T, Isola P, et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[A].Proceedings of the IEEE international conference on computer vision[C]. 2017. 2223-2232.
Huo Z, Li X, Qiao Y, et al. Efficient photorealistic style transfer with multi-order image statistics[J]. Applied Intelligence, 2022, 1-13.
Xu Z, Hou L, Zhang J. IFFMStyle: High-Quality Image Style Transfer Using Invalid Feature Filter Modules[J]. Sensors, 2022, 22(16): 6134.
Ding H, Fu G, Yan Q, et al. Deep attentive style transfer for images with wavelet decomposition[J]. Information Sciences, 2022, 587: 63-81.
邱德府. 基于機器學(xué)習(xí)的童裝服裝智能設(shè)計方法研究[D].泉州:華僑大學(xué),2020.
徐暢. 面向服裝創(chuàng)意設(shè)計的圖像風(fēng)格遷移方法研究[D].昆明:昆明理工大學(xué), 2021.
董學(xué)良. 基于深度學(xué)習(xí)的局部服裝圖像風(fēng)格遷移研究[D].武漢:武漢紡織大學(xué),2022.
Ulyanov D, Lebedev V, Vedaldi A, et al. Texture Networks: Feed-forward Synthesis of Textures and Stylized Images[J]. International Conference on Machine Learning, 2016,48:1349-1357.
Li C, Wand M. Precomputed Real-Time Texture Synthesis with Markovian Generative Adversarial Networks[A]. European conference on computer vision[C]. Springer, Cham, 2016. 702-716.
陳淑環(huán), 韋玉科, 徐樂,等. 基于深度學(xué)習(xí)的圖像風(fēng)格遷移研究綜述[J]. 計算機應(yīng)用研究, 2019, 36(8):6.
Jing Y, Yang Y, Feng Z, et al. Neural Style Transfer: A Review[J]. IEEE Transactions on Visualization and Computer Graphics, 2020,26(11):3365-3385.
Jing Y, Liu X, Ding Y, et al. Dynamic Instance Normalization for Arbitrary Style Transfer[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2020, 34(4):4369-4376.
Chen T Q, Schmidt M. Fast patch-based style transfer of arbitrary style[J]. International Conference on Machine Learning, 2016,10: 48550.
Johnson J, Alahi A, Fei-Fei L. Perceptual losses for real-time style transfer and super-resolution[A].European conference on computer vision[C]. Springer, Cham, 2016. 694-711.
Li Y, Wang N, Liu J, et al. Demystifying neural style transfer[J]. arXiv, 2017,arXiv:1701.01036.
Huang X , Belongie S . Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization[A]. 2017 IEEE International Conference on Computer Vision (ICCV)[C]. IEEE, 2017.
Wang Z, Bovik AC, Sheikh HR, et al. Image quality assessment: from error visibility to structural similarity [J]. IEEE transactions on image processing, 2004,13(4): 600-610.
Setiadi, DIM. PSNR vs SSIM: imperceptibility quality assessment for image steganography[J]. Multimed Tools Appl 80, 2021:8423-8444.
Glentis G O , Slump C H , Herrmann O E . A true order recursive algorithm for two-dimensional mean squared error linear prediction and filtering[A]. Signal Processing[C]. Elsevier B.V. 2000. 1399-1418.
Sparavigna AC. Entropy in Image Analysis[J]. Entropy, 2019, 21(5):502.
Analysis on Style Design of Garment Pattern Embroidery Based on Deep Learning
LI Yuan, CHEN Zhi-hao, ZHANG Hui, YU Miao
(College of Textile and Clothing, Qingdao University, Qingdao Shandong 266071, China)
Abstract:In order to introduce the image style transfer technology based on deep learning into the field of embroidery element design in textile and clothing, and expand the innovative ideas and expression forms of embroidery in clothing. In this paper, the use of DIN algorithm for clothing pattern style migration processing, image stylized processing technology applied to clothing pattern design, clothing pattern embroidery stylized processing, in therealization of clothing pattern embroidery effect at the same time to reduce the input of manpower and material resources. Compared with the image stylization processing based on AdaIN algorithm, the structure of the original image is better preserved andmore natural, which verifies the effectiveness of this method. The study shows that DIN algorithm has a certain feasibility in fashion pattern embroidery stylization processing, and image style transfer technology can be used to better realize the application and research of embroidery in fashion design.
Keywords:Embroidery;Stylized; DIN algorithm;AdaIN algorithm; Deep learning
(責(zé)任編輯:李強)
*通訊作者:于淼(1984-),女,副教授,博士,研究方向:服裝舒適性與功能防護服裝.
基金項目:國家自然科學(xué)基金(52073151);山東省自然科學(xué)基金(ZR2019PEE022);中國紡織工業(yè)聯(lián)合會科技指導(dǎo)性項目(2018078);教育部產(chǎn)學(xué)合作協(xié)同育人項目(202101102013);紡織行業(yè)智能紡織服裝柔性器件重點實驗室開放課題(SDHY2106).