：融合色彩和諧性與構(gòu)圖的圖像美學(xué)分類方法研究

葛瑞雪

摘要：圖像美學(xué)評(píng)價(jià)通過構(gòu)建模擬人腦審美思維的計(jì)算模型，對(duì)圖像作出具有可行性的美學(xué)決策。針對(duì)現(xiàn)有方法特征選擇單一以及無法適用所有類型圖像的問題，提出一種基于改進(jìn)的色彩和諧性并融合構(gòu)圖的圖像美學(xué)評(píng)價(jià)方法?，F(xiàn)有的色彩和諧性提取方法沒有考慮色彩調(diào)和模型，只適用于比較簡(jiǎn)單的顏色組合。為此，提出一種改進(jìn)的色彩和諧性度量方法。為了更好地對(duì)各類圖像進(jìn)行美學(xué)分類，又融合了構(gòu)圖特征。在Datta數(shù)據(jù)庫(kù)上進(jìn)行實(shí)驗(yàn)，證明了該方法的有效性和普適性。

關(guān)鍵詞關(guān)鍵詞：圖像美學(xué)評(píng)價(jià)；主體區(qū)；MoonSpencer色彩調(diào)和理論；色彩和諧性；構(gòu)圖

DOIDOI：10.11907/rjdk.171834

中圖分類號(hào)：TP317.4

文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)文章編號(hào)：16727800（2017）011022104

0引言

隨著科技的發(fā)展和數(shù)碼產(chǎn)品的普及，網(wǎng)絡(luò)上數(shù)字圖像數(shù)量呈爆炸式增長(zhǎng)。如何從海量圖片中選出符合用戶美學(xué)感受、滿足用戶心理需求的圖像，成為亟待解決的問題。隨著計(jì)算機(jī)視覺、圖像處理和模式識(shí)別等技術(shù)的發(fā)展，人們對(duì)圖像美學(xué)的標(biāo)準(zhǔn)也在逐步量化。在此背景下，計(jì)算美學(xué)應(yīng)運(yùn)而生。

Datta等[1]是最早通過提取圖像特征對(duì)圖像美學(xué)進(jìn)行量化的領(lǐng)軍人物。通過提取圖像的顏色、飽和度、亮度和景深等56維特征，利用分類回歸樹算法選取其中15維最為有效的特征，采用支持向量機(jī)對(duì)圖像進(jìn)行分類，雖然得到的準(zhǔn)確率不高，但為后續(xù)圖像美學(xué)的研究奠定了基礎(chǔ)。在Datta等人研究的基礎(chǔ)上，Wu等[2]用“good”、“bad”和“ugly”對(duì)圖像美學(xué)進(jìn)行形容和判定。Ke等[3]通過提取邊緣的空間分布、顏色分布、色調(diào)和模糊等一系列高層語(yǔ)義特征來區(qū)分專業(yè)照和快照。Marchesotti等[4]則提出使用圖像的通用描述實(shí)現(xiàn)圖像分類任務(wù)。Wong等[5]把研究的重點(diǎn)放在圖像的顯著區(qū)域，提出了基于視覺注意力機(jī)制模型的顯著性增強(qiáng)算法，提取圖像的顯著區(qū)域作為主體區(qū)域，然后利用主體區(qū)域特征、全局特征及主體和背景之間關(guān)系特征區(qū)分專業(yè)照和快照。

Khan等[6]根據(jù)人臉和背景區(qū)域之間的關(guān)系，提取了顏色、空間構(gòu)圖、清晰度、景深和對(duì)比度等7個(gè)特征，用來評(píng)估攝影肖像美感的高低。Aydn等[7]根據(jù)圖像的色調(diào)、清晰度、深度等5個(gè)屬性，提出了一個(gè)為攝影圖像自動(dòng)校準(zhǔn)的審美評(píng)價(jià)系統(tǒng)。同樣，圖像的低層和高層特征也應(yīng)用到藝術(shù)作品的質(zhì)量評(píng)價(jià)中。高寒等[8]通過對(duì)靜物、人物、日景、夜景4類圖像進(jìn)行飽和度、對(duì)比度、反色、光照等特征的提取，證明了不同類別圖像的審美特征存在一定差異。同時(shí)，根據(jù)不同圖像審美特征的著重點(diǎn)不同，建立了“先分類后審美”的圖像審美系統(tǒng)。Zhe等[9]考慮了主體區(qū)域的重要性，采用主體背景分離，提取了主體區(qū)域的顏色直方圖、主體區(qū)域與整個(gè)圖像大小的比等特征來區(qū)分圖片的質(zhì)量。Wang等[10]在前人的研究基礎(chǔ)上，提取了顏色、紋理、景深、復(fù)雜度、色彩調(diào)和等特征，利用這些特征構(gòu)建美學(xué)分類模型取得了很好的效果。

在一系列圖像美學(xué)特征中，色彩和諧性一直被認(rèn)為是對(duì)圖像美感影響較大的因素之一。在圖像美學(xué)研究的早期，主要把圖像的顏色直方圖作為衡量美學(xué)質(zhì)量的一個(gè)重要標(biāo)準(zhǔn)，Luo[11]將顏色直方圖進(jìn)行色彩和諧性度量，最終得到的效果不好。近些年開始將色彩調(diào)和理論應(yīng)用到圖像美學(xué)評(píng)價(jià)中。Chamaret[12]采用Matsuda[13]定義的8個(gè)色彩調(diào)和模板得到和諧距離圖，利用感知掩模圖和對(duì)比掩模圖模擬人類視覺系統(tǒng)對(duì)色彩調(diào)和的感知，最終效果很好。Tang等[14]也采用Matsuda[13]定義8個(gè)色彩調(diào)和模板對(duì)的方法整個(gè)圖像進(jìn)行色彩和諧性度量。

目前雖然在可計(jì)算圖像美學(xué)領(lǐng)域有一定的研究基礎(chǔ)，但仍存在一些不足：

①現(xiàn)存的色彩和諧性特征提取方法，沒有考慮到模型本身只適用于比較簡(jiǎn)單的顏色組合問題，忽略了圖像主體區(qū)域和背景區(qū)域的顏色種類數(shù)量差異，最終效果不好；②目前的方法大多只是對(duì)某一類圖像評(píng)價(jià)效果較好，不適用所有類型圖像。

針對(duì)以上問題，本文提出了一種改進(jìn)的色彩和諧性算法，同時(shí)融合構(gòu)圖特征方法，有利于提高圖像美學(xué)分類的準(zhǔn)確率，對(duì)各類圖像均有很好的魯棒性。

基于改進(jìn)的融合色彩和諧性及構(gòu)圖特征的圖像美學(xué)評(píng)價(jià)方法，在色彩和諧特征提取上，將圖像的主體區(qū)域和背景區(qū)域分離，分別對(duì)主體區(qū)域和背景區(qū)域采用自適應(yīng)方法進(jìn)行分塊，然后根據(jù)MoonSpencer色彩調(diào)和理論對(duì)子塊進(jìn)行色彩和諧特征提取，最后將所有子塊特征進(jìn)行整合，構(gòu)成色調(diào)特征向量、明度及彩度特征向量。在色彩和諧特征基礎(chǔ)上融合了構(gòu)圖特征，提高了圖像分類的準(zhǔn)確率，適用于各類圖像的美學(xué)質(zhì)量分類。

1色彩和諧性特征提取

1.1色彩和諧性

色彩和諧性是決定圖像美學(xué)質(zhì)量的重要特征之一。目前，比較經(jīng)典的色彩和諧模型有：Matsuda[13]色彩調(diào)和模板和MoonSpencer[15]色彩調(diào)和模型。Matsuda色彩調(diào)和模板只考慮了色調(diào)，沒有考慮飽和度和亮度。在選用模板時(shí)，由于一幅圖像可能符合多個(gè)模板，因而較難確定適用的模板，而MoonSpencer色彩調(diào)和模型克服了這一缺點(diǎn)。它在Munsell顏色空間上通過計(jì)算主顏色與其它顏色的相對(duì)值來衡量是否和諧，其模型如圖1所示。在圖1（a）中，當(dāng)色調(diào)值落在同一、相似或?qū)Ρ葏^(qū)域時(shí)，認(rèn)為這兩種色調(diào)和諧；當(dāng)色調(diào)值落在模糊區(qū)域時(shí)，認(rèn)為這兩種色調(diào)不和諧。在圖1（b）中，當(dāng)明度及彩度值落在同一、相似或?qū)Ρ葏^(qū)域時(shí)，認(rèn)為兩種明度及彩度和諧；當(dāng)明度及彩度值落在模糊區(qū)域時(shí)，認(rèn)為這兩種明度及彩度不和諧。

圖1MoonSpencer色彩調(diào)和模型

用于圖像美學(xué)評(píng)價(jià)的色彩調(diào)和模型較多，但對(duì)于顏色復(fù)雜的圖像效果不好，只適用于顏色組合比較簡(jiǎn)單的情況，因此產(chǎn)生了分塊的思想，將一個(gè)圖像看作是多個(gè)簡(jiǎn)單顏色塊集合，Nishiyama[16]采用了這一思想。但是，該方法沒有考慮到主體區(qū)域和背景區(qū)域顏色種類的不同。為彌補(bǔ)這一缺點(diǎn)，本文提出一種改進(jìn)的提取色彩和諧性特征方法。對(duì)于一幅圖像來說，主體區(qū)域的顏色種類往往比背景區(qū)域的種類多。因此，本文將它們分開處理，分別對(duì)主體區(qū)域和背景區(qū)域分塊。endprint

色彩和諧性特征提取流程如圖2所示。

圖2色彩和諧性特征提取流程

特征提取分為如下5個(gè)步驟：

2實(shí)驗(yàn)設(shè)置與分析

在Datta[1]數(shù)據(jù)庫(kù)進(jìn)行實(shí)驗(yàn)，證明本文方法的有效性。

2.1實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)分為色彩和諧性特征參數(shù)實(shí)驗(yàn)和特征融合實(shí)驗(yàn)。本文采用核函數(shù)為RBF的支持向量機(jī)構(gòu)建圖像美學(xué)分類模型，其中采用5折交叉驗(yàn)證法選取最佳的參數(shù)c和γ，將高美感圖像定義為正樣本，低美感圖像定義為負(fù)樣本。

2.2色彩和諧性特征參數(shù)實(shí)驗(yàn)

本文從Datta數(shù)據(jù)庫(kù)中分別隨機(jī)選取高美感圖像750張，低美感圖像644張，共1 394張圖像進(jìn)行測(cè)試和訓(xùn)練。其中，本文隨機(jī)選取一半的高美感圖像的和一半的低美感圖像作為訓(xùn)練集，余下的作為測(cè)試集。分塊大小N∈{4×4，8×8，16×16，32×32，64×64}，表1為實(shí)驗(yàn)結(jié)果。

從表1可以看出，當(dāng)分塊大小為16×16時(shí)，準(zhǔn)確率最高，為70.85%，說明此時(shí)分塊內(nèi)的顏色較單一，比較適用于MoonSpencer色彩調(diào)和模型。當(dāng)分塊小于16×16時(shí)，準(zhǔn)確率隨著分塊大小的增大而提高，當(dāng)分塊大于16×16時(shí)，準(zhǔn)確率隨分塊大小的增大而降低。

2.3特征融合實(shí)驗(yàn)

2.3.1實(shí)驗(yàn)結(jié)果及分析

本文不僅對(duì)每類特征進(jìn)行單獨(dú)測(cè)試，而且對(duì)整體進(jìn)行測(cè)試。如表2所示，準(zhǔn)確率指正確分類的圖像數(shù)量與所有測(cè)試圖像數(shù)量之比，即平均準(zhǔn)確率。

從表2可以看到，色彩和諧性特征平均準(zhǔn)確率為70.85%，構(gòu)圖特征的平均準(zhǔn)確率為64.35%，兩者融合的平均準(zhǔn)確率為73.15%，比單個(gè)特征的平均準(zhǔn)確率高。從高美感圖像來看，兩者融合后的準(zhǔn)確率比單個(gè)特征的準(zhǔn)確率高。同樣，在低美感圖像上，融合后的準(zhǔn)確率也比單個(gè)特征的準(zhǔn)確率高。

2.3.2對(duì)比實(shí)驗(yàn)

使用Dong[9]提供的代碼進(jìn)行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表3所示。

從表3可以看到，本文算法準(zhǔn)確率為73.15%，Dong等人算法的準(zhǔn)確率為70.59%。本文算法平均準(zhǔn)確率更高，證明了本文算法的有效性。

3結(jié)語(yǔ)

本文提取了圖像的兩類特征，將這些特征輸入到支持向量機(jī)中進(jìn)行訓(xùn)練，最終得到能夠進(jìn)行美學(xué)質(zhì)量決策的美學(xué)分類模型。實(shí)驗(yàn)結(jié)果表明，本文方法能很好地將高美感圖像和低美感圖像區(qū)別開來。但本文方法仍存在一些不足，需要進(jìn)一步研究：

（1）提取更多的視覺特征。雖然色彩和諧性一直被認(rèn)為是對(duì)圖像美影響很大的因素之一，但是只考慮色彩和諧性是不夠的，還需要考慮更多的視覺特征，如光照、紋理、形狀等。

（2）提取圖像的語(yǔ)義特征。對(duì)一些圖像來說，語(yǔ)義是必不可少的一部分。有些圖像本身有其特殊含義，更好地提取圖像的語(yǔ)義，將會(huì)進(jìn)一步消除圖像的視覺特征與圖像美學(xué)之間存在的語(yǔ)義鴻溝，這些是筆者以后的研究方向。

參考文獻(xiàn)參考文獻(xiàn)：

[1]DATTA R， JOSHI D， LI J， et al. Studying aesthetics in photographic images using a computational approach[C].European Conference on Computer Vision， Springer Berlin Heidelberg， 2006：288301.

[2]WU Y， BAUCKHAGE C， THURAU C. The good， the bad， and the ugly： predicting aesthetic image labels[C].Pattern Recognition （ICPR）， 2010 20th International Conference on. IEEE， 2010：15861589.

[3]KE Y， TANG X， JING F. The design of highlevel features for photo quality assessment[C].2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition （CVPR'06），2006.

[4]MARCHESOTTI L， PERRONNIN F， LARLUS D， et al. Assessing the aesthetic quality of photographs using generic image descriptors[C].2011 IEEE International Conference on Computer Vision.Spain， 2011：17841791.

[5]WONG L K， LOW K L. Saliencyenhanced image aesthetics class prediction[C].2009 16th IEEE International Conference on Image Processing （ICIP）， 2009：9971000.

[6]KHAN S S， VOGEL D. Evaluating visual aesthetics in photographic portraiture[C]. Proceedings of the Eighth Annual Symposium on Computational Aesthetics in Graphics， Visualization， and Imaging， Switzerland，2012：5562.

[7]AYDIN T O， SMOLIC A， GROSS M. Automated aesthetic analysis of photographic images[J]. IEEE Transactions on Visualization And Computer Graphics， 2015，21（1）：3142.endprint

[8]高寒，唐降龍，劉家鋒，等.基于圖像分類的圖像美學(xué)評(píng)價(jià)研究[J].智能計(jì)算機(jī)與應(yīng)用，2013，3（4）：3941.

[9]DONG Z， TIAN X. Effective and efficient photo quality assessment[C].2014 IEEE International Conference on Systems， Man and Cybernetics （SMC）， San Diego，2014：28592864.

[10]WANG W， CAI D， WANG L， et al. Synthesized computational aesthetic evaluation of photos[J]. Neurocomputing， 2016（172）： 244252.

[11]LUO Y， TANG X. Photo and video quality evaluation： focusing on the subject[C]. Computer VisionECCV 2008， France：2008：386399.

[12]CHAMARET C， URBAN F. Noreference harmonyguided quality assessment[C].26th IEEE Conference on Computer Vision and Pattern Recognition，Portland，2013：961967.

[13]MATSUDA Y. Color design[J]. Asakura Shoten， 1995，2（4）：1011.

[14]TANG X， LUO W， WANG X. Contentbased photo quality assessment[J]. IEEE Transactions on Multimedia， 2013， 15（8）： 19301943.

[15]MOON P， SPENCER D E. Geometric formulation of classical color harmony[J]. JOSA，1944，34（1）：4650.

[16]NISHIYAMA M， OKABE T， SATO I， et al. Aesthetic quality classification of photographs based on color harmony[C].Computer Vision and Pattern Recognition （CVPR）， 2011 IEEE Conference on，2011：3340.

[17]ACHANTA R， SHAJI A， SMITH K， et al. Slic superpixels[R]. EPFL Technical Report 149300，2010.

[18]LIU L， CHEN R， WOLF L， et al. Optimizing photo composition[J].Computer Graphics Forum， Blackwell Publishing Ltd， 2010，29（2）：469478.

責(zé)任編輯（責(zé)任編輯：杜能鋼）endprint