李從利， 陸文駿， 石永昌， 孫曉寧

（新星應(yīng)用技術(shù)研究所，安徽 合肥 230031）

基于碼書的霧天圖像質(zhì)量評價方法研究

李從利， 陸文駿， 石永昌， 孫曉寧

（新星應(yīng)用技術(shù)研究所，安徽 合肥 230031）

近年來，無參考圖像質(zhì)量評價發(fā)展迅速，但是對霧天圖像質(zhì)量進行評價的無參考算法還鮮有報道。該文提出了一種基于碼書的無參考霧天圖像質(zhì)量評價算法。目的是使該方法評價霧天圖像質(zhì)量的結(jié)果與人類主觀感知相一致。尋找能反映霧天圖像質(zhì)量的特征，運用這些特征構(gòu)建碼書，然后用碼書對訓(xùn)練圖像進行編碼得到訓(xùn)練圖像的特征向量，最后用這些向量與訓(xùn)練圖像的主觀評分進行回歸得到霧天圖像質(zhì)量評價模型。該方法在仿真的霧天圖像庫中進行了測試，結(jié)果表明：Pearson線性相關(guān)系數(shù)和Spearman等級相關(guān)系數(shù)值都在0.99以上。并與經(jīng)典的無參考算法NIQE和CONIA方法進行了比較，優(yōu)于這些算法，能夠很好地預(yù)測人對霧天圖像的主觀感知。

霧天圖像；圖像質(zhì)量；評價方法；無參考；碼書

霧是一種極其常見的天氣現(xiàn)象，由于它對可見光具有吸收和散射作用，使得圖像的對比度及紋理細節(jié)等退化的比較嚴重。霧等級的劃分可根據(jù)國標GB/T 27964-2011分為5個等級。輕霧：能見度在1～10 km之間；大霧：能見度在0.5～1.0 km之間；濃霧：能見度在200～500 m之間；強濃霧：能見度在50～200 m之間；特強濃霧：能見度小于50 m。

隨著經(jīng)濟的發(fā)展，環(huán)境污染日益嚴重，導(dǎo)致霧霾天氣頻發(fā)，這影響了交通和人們的出行，因此對霧天圖像質(zhì)量評價有著迫切的需求。目前對霧天圖像的評價主要集中于對去霧后的圖像進行評價[1-2]，這些算法的主要目的是用來評價去霧清晰化的效果。直接對含霧圖像進行質(zhì)量評價，目前這方面研究還鮮有報道。直接的客觀評價霧天圖像質(zhì)量對于霧的實時預(yù)報、去霧算法的研究等具有重要意義。本文的目的是尋找一種能有效評價霧天圖像的方法，目前學(xué)者們在這方面的研究較少，主要有3個原因：①霧的隨機性與流動性，導(dǎo)致霧是一種不同于其他失真的“特殊失真”；②由于霧的特殊性，尋找用于表示其特征比較困難；③現(xiàn)有的圖像質(zhì)量評價數(shù)據(jù)庫不包含此類失真?？紤]到上述原因，本文選取了混合特征以及碼書方法來構(gòu)建霧天圖像質(zhì)量評價算法。霧天圖像質(zhì)量評價在圖像處理中有著重要的意義，它給霧天圖像的處理如：去霧、增強等奠定了重要的基礎(chǔ)。

無參考圖像質(zhì)量評價是一類不需要任何圖像的先驗知識（即參考圖像）去評價失真圖像的一類算法。霧天圖像由于其無法獲得參考圖像，因此對其評價只能使用無參考圖像質(zhì)量評價方法。無參考圖像質(zhì)量評價可以劃分為：基于特定失真和不基于特定失真兩類方法?；谔囟ㄊд娴姆椒ǎ催@類無參考算法評價的失真類型是已知的。例如：Wang等[3]提出了專門用于評價JPEG失真的算法。Sheikh等[4]提出了基于自然場景統(tǒng)計(natural scene statistics, NSS)的算法用來評價JP2K失真。但是在絕大部分情況下圖像的失真類型是未知的，很難確定它適用于以上的哪一種無參考算法，這就限制了這些算法的應(yīng)用范圍。不基于特定失真的方法，即這類算法評價的失真類型是未知的，是通用的無參考圖像質(zhì)量評價算法。同樣也可以將它分為兩類：OA-DU，OU-DU。OA-DU是指這類算法在訓(xùn)練過程中需要訓(xùn)練圖像的主觀評分，例如：BIQI[5]，BRISQUE[6]，CBIQ[7]，CONIA[8]等。OU-DU是指這類算法不需要訓(xùn)練圖像的主觀評分。例如：QAC[9]及 NIQE[10]算法。QAC算法雖然沒有用到圖像的主觀評分，但是它利用全參考算法FSIM給出訓(xùn)練圖像的客觀評價結(jié)果，這相當(dāng)于給訓(xùn)練圖像構(gòu)造出了“主觀評分”，該算法的好處是不需要利用現(xiàn)有的圖像質(zhì)量評價數(shù)據(jù)庫中的圖像進行訓(xùn)練，可以將訓(xùn)練圖像的范圍進行拓展。NIQE算法所選取的訓(xùn)練圖像都是無失真的參考圖像，通過訓(xùn)練相當(dāng)于構(gòu)造了一個“參考圖像”，它的訓(xùn)練圖像也可以不從已有的圖像質(zhì)量評價數(shù)據(jù)庫中選取。這類算法的好處是不依賴數(shù)據(jù)庫，適應(yīng)性強。

前面提到的CBIQ，CONIA，QAC算法都是利用構(gòu)建碼書進行評價的無參考算法，可見基于碼書的方法在圖像質(zhì)量評價領(lǐng)域已經(jīng)得到了成功的應(yīng)用。本文首次將構(gòu)建碼書的方法引入到霧天圖像質(zhì)量評價領(lǐng)域，提出了基于碼書的霧天圖像質(zhì)量評價方法，該方法將霧看成一種失真。選取碼書方法的原因：①碼書能夠很好地表示圖像的特征，它最早出現(xiàn)于矢量量化中，近年來被引入到圖像分類以及質(zhì)量評價中，取得了很好地效果。本文使用它對霧天圖像進行特征編碼并用于質(zhì)量評價；②對圖像進行分塊相比于整幅圖像能夠提取更多的圖像信息，同時它也是目前圖像質(zhì)量評價算法的主流做法之一，碼書正是在圖像分塊提取特征基礎(chǔ)上構(gòu)建的；③用碼書對圖像進行編碼使得特征維數(shù)要明顯高于圖像塊提取的特征（碼書編碼特征在本文中為1000維，而直接提取特征為39維），所以能夠更好地刻畫圖像的失真。

1 霧天圖像特征分析

霧對圖像的影響非常復(fù)雜，主要影響可分為三類：①霧濃度增大，使得原有的很多信息被掩蓋了；②霧給圖像帶來了一些附加信息；③霧失真與圖像原有信息相結(jié)合衍生出了一些新的信息。所以霧不同于以往的任何一種失真，且目前現(xiàn)有的圖像質(zhì)量評價數(shù)據(jù)庫中均未包含霧失真。

圖 1中給出了最新的無參考算法 CONIA和NIQE對霧天圖像的評價結(jié)果（樣本獲取見3.1節(jié)）。

圖1 不同算法評價霧天圖像曲線（圖中將兩種方法的結(jié)果進行了歸一化）

從圖1中可以看出這兩種無參考算法在對霧天樣本圖像進行評價時，結(jié)果均不隨著霧濃度的增加呈現(xiàn)單調(diào)性變化趨勢，這與人的主觀觀測不一致，因為經(jīng)典的質(zhì)量評價算法無法很好適應(yīng)霧天特征的變化，不能較好地評價霧天圖像的質(zhì)量。

上面提到“霧失真”不同于常見的失真，究竟它影響了圖像的那些特性，從圖2中可以明顯看出霧濃度增加圖像的對比度、梯度都在發(fā)生明顯降低。說明霧對圖像的對比度和梯度影響都比較大。但是霧對圖像質(zhì)量影響是一種綜合的影響，很難具體刻畫。

圖2 圖像對比度、梯度變化圖

選取自然場景統(tǒng)計特征主要依據(jù)是：霧對自然場景的破壞可以從一幅圖像的自然場景統(tǒng)計特征保留多少信息加以衡量，這是一種基于信息多少的特征與失真類型無關(guān)。

Mittal等[6]在2012年提出的BRISQUE算法中使用了 MSCN系數(shù)來表示圖像的自然場景統(tǒng)計特征：

式中，i ∈ 1 , 2,3,…,M , j = 1, 2,3,…,N,M, N分別代表圖像的高度和寬度；(i,j)為MSCN系數(shù)；是一個穩(wěn)定參數(shù)。

圖4中可以看出，隨著霧濃度的增大，曲線向里面收縮，說明自然場景統(tǒng)計特征能很好地反映霧天圖像質(zhì)量的下降。

先前對自然場景統(tǒng)計的研究表明廣義高斯分布(general Gaussian distribution, GGD)可以有效地獲得自然圖像及其失真圖像的系數(shù)變化如式(4)：

其中， Γ( ·)為以下函數(shù)：

GGD的兩個參數(shù)(α ，β )，可以用文獻[11]中的方法進行有效估計。式(4)中的系數(shù)相對來說是一種有規(guī)律的分布，但是失真改變了這種分布，這種改變可以通過計算4個方向（上、下、左、右）上的相鄰系數(shù)乘積得到。相鄰系數(shù)乘積可以用不對稱的廣義高斯分布(asymmetric generalized Gaussian distribution, AGGD)來進行擬合：

AGGD的參數(shù)(γ ,βl,βr)，可以被文獻[12]中的方法有效地估計。

分布的均值也是參數(shù)之一：

通過提取4個方向16個參數(shù)，再加上GGD的兩個參數(shù)形成18個參數(shù)，本文總共在兩個尺度上進行提取，共形成一個由36個參數(shù)組成的特征向量。

圖3 自然圖像與非自然圖像MSCN系數(shù)統(tǒng)計圖

圖4 不同霧濃度MSCN系數(shù)

2 算法架構(gòu)

圖5給出本文的算法流程，即：特征選取、碼書構(gòu)建和編碼、特征向量提取、支持向量回歸訓(xùn)練。碼書的構(gòu)建方法，本文參考了 Ye等[8]提出的CONIA算法，下面分4個部分對算法過程進行描述：局部特征提取、碼書構(gòu)建、局部特征編碼、特征pooling。

圖5 本文的算法流程圖

2.1 局部特征提取

自然圖像具有多尺度性，失真會在不同尺度上改變圖像的結(jié)構(gòu)信息。當(dāng)自然圖像在兩個以上尺度提取信息時，提取的信息量將不會產(chǎn)生明顯變化，所以本文在選擇2個尺度（一個尺度是圖像的原始尺度，另一個尺度是下采樣之后圖像尺度）上提取圖像的特征。在每一個尺度上提取 18維特征，總共形成36維的特征向量。用這36維的特征刻畫圖像的自然場景統(tǒng)計特征。本文中使用的特征為自然場景統(tǒng)計與對比度、梯度、亮度混合特征，特征的維數(shù)為39維（簡稱為混合特征）。

將圖像分成B×B大小的塊，在每一個塊中提取分塊圖像的混合特征形成一個特征向量，整幅圖像形成其中，F(xiàn)1,… ,Fn表示每一個小塊中提取的混合特征，且都為列向量。

2.2 碼書構(gòu)建

2.3 局部特征編碼

上節(jié)提到了編碼方式對最后算法的結(jié)果會產(chǎn)生較大地影響，當(dāng)下主流的編碼方式有4種：hard編碼、Soft編碼、SC編碼和LLC編碼。其中前兩種是較早提出的經(jīng)典編碼方式，后兩種是最新提出的編碼方式。而本文選擇了經(jīng)典的Soft編碼，主要是Coates和Ng[13]指出：最新的編碼方式不一定有最好的效果，而且Soft編碼與其提出的一種最優(yōu)編碼策略相似，后面實驗部分會給出選取此編碼方式與其他編碼方式的對比。編碼的具體過程如下：

計算局部特征與碼字之間的距離使用dot-products。用 sij表示第i個局部特征向量 xi與第j個碼字 Dj之間的相似度 si,j= xi·Dj，這樣圖像局部特征編碼可以表示為：

這里的相似度有正反兩個相似分量，這樣使得它們的識別度增加，提高了特征向量進行識別性。

2.4 特征pooling

最大值pooling：

這里ψmax用來求取為矩陣C在每一行中的最大值∈ R2k，它的第i個元素可以用式(10)來表示：

本文將 用于回歸訓(xùn)練。

3 實驗結(jié)果與分析

3.1 霧天圖像庫

目前國際上還沒有建立霧天圖像質(zhì)量評價的數(shù)據(jù)庫，為了對算法進行訓(xùn)練以及實驗驗證，本文建立了專門針對霧天圖像的質(zhì)量評價數(shù)據(jù)庫。數(shù)據(jù)庫選用了美國TEXAS大學(xué)LIVE庫中的29幅參考圖像，對每一幅圖像利用Photoshop cs4軟件對其從0～95%按照 5%的濃度間隔進行加霧，這樣對于每一幅參考圖像就形成1幅參考圖像和19幅失真圖像。這樣整個霧天圖像質(zhì)量評價庫中含有 29幅參考圖像，551幅失真圖像，總共580幅圖像。本文將每一幅圖像的霧濃度值作為其DMOS值。其中的80%用于訓(xùn)練，大約460幅，20%用于測試，大約120幅。

3.2 實驗結(jié)果

本文中將圖像分成96×96的小塊，碼書大小選取為500。采用的回歸方式為支持向量回歸(support vector regression, SVR)，為了評價實驗結(jié)果，并引入了兩個相關(guān)系數(shù)即斯皮爾曼等級相關(guān)系數(shù)(Spearman rank order correlation coefficient, SROCC)和皮爾遜線性相關(guān)系數(shù)(Pearson linear correlation coefficient, PLCC)分別用來衡量算法的單調(diào)性和準確性。表1給出了在霧天圖像庫上的評價結(jié)果。

SROCC和PLCC的計算如式(11)～(13)：

di表示第i幅圖像的主觀評分與客觀評分的差值。

式(12)中 βi為用來擬合的參數(shù)。式(13)中的 si是第i幅圖像的主觀評分。

表1 5種無參考算法在霧天圖像庫上的結(jié)果對比

3.3 實驗分析

第1種算法是基于碼書的方法，它使用的特征為 ZCA特征，此特征不能很好地反映霧天圖像特性，并且其在現(xiàn)有的圖像質(zhì)量評價數(shù)據(jù)庫上（數(shù)據(jù)庫不包含“霧失真”）進行訓(xùn)練，所以它的評價結(jié)果準確性較低。第2、3種算法是直接使用自然場景特征在現(xiàn)有的圖像質(zhì)量評價數(shù)據(jù)庫上進行訓(xùn)練的方法，可以看出雖然它們的評價結(jié)果高于CORNIA算法，但是準確性相比于本文算法較差。第4種算法是對無失真自然圖像進行訓(xùn)練，取所有無失真圖像自然場景統(tǒng)計特征的平均值作為一個參考標準，將失真圖像的自然場景統(tǒng)計特征與其求取距離來表示失真圖像的質(zhì)量，在求取平均值過程中會產(chǎn)生誤差，所以評價效果較本文結(jié)果偏低。

3.3.1 碼書大小影響

這里選擇了大小為：50、100、200、300、400、500、1000的碼書，它們在圖像庫中的表現(xiàn)如圖 6所示。從圖中看出當(dāng)碼書尺寸大于500的時候算法性能不會再提升。因此在本文中將碼書大小定為500。

圖6 碼書大小的影響

3.3.2 編碼方式影響

碼書的編碼方式對最后的評價結(jié)果影響較大，本文選取了3種編碼方式進行對比：hard-assignment coding, LLC-assignment coding[16]和Soft-assignment coding。其中第1和第3種編碼是較早提出的兩種編碼，第2種編碼是最近提出的一種新編碼方式。本文選取了3個指標即SROCC，PLCC和算法時間進行了比較。對比時選取的碼書大小都為 500。對比結(jié)果見表2。

表2 不同編碼方式的結(jié)果對比

從上表中可以看出Soft-assignment coding從綜合指標上來看是最好的，所以本文采用這種編碼方式。

4 結(jié) 論

本文提出了一種有效地基于碼書的無參考霧天圖像質(zhì)量評價算法，它比一些經(jīng)典的無參考算法在評價霧天圖像方面效果好。本算法選取了最能反映霧天特性的自然場景統(tǒng)計特征，并且選用了分塊提取特征構(gòu)建碼書的方法來提高算法的性能。在構(gòu)建碼書以及編碼過程中選取了最優(yōu)的碼書大小以及最優(yōu)的碼書編碼方式。該算法在霧天圖像庫中獲得了與主觀感知相一致的結(jié)果。算法較好地解決了霧天圖像質(zhì)量評價問題，為解決霧天問題提供了參考依據(jù)。下一步的目標是進一步尋找更能反映霧天圖像質(zhì)量的特征，使算法能更準確地評價霧天圖像的質(zhì)量。

[1] 郭 璠, 蔡自興. 圖像去霧算法清晰化效果客觀評價方法[J]. 自動化學(xué)報, 2012, 38(9): 1410-1419.

[2] 李大鵬, 禹 晶, 肖創(chuàng)柏. 圖像去霧的無參考客觀質(zhì)量評測方法[J]. 中國圖象圖形學(xué)報, 2011, 16(9): 1753-1757.

[3] Wang Zhou, Sheikh H R, Bovik A C. No-reference perceptual quality assessment of JPEG compressed images [C]//IEEE International Conference on Image Processing, New York: IEEE Conference Publications, 2002: I-477-I-480.

[4] Sheikh H R, Bovik A C, Cormack L. No-reference quality assessment using natural scene statistics: JPEG2000 [J]. IEEE Trans on Image Process, 2005, 14(11): 1918-1927.

[5] Moorthy A K, Bovik A C. A two-step framework for constructing blind image quality indices [J]. IEEE Trans on Signal Process, 2010, 17(5): 513-516.

[6] Mittal A, Moorthy A K, Bovik A C. No-reference image quality assessment in the spatial domain [J]. IEEE Trans on Image Process, 2012, 21(12): 4695-4708.

[7] Ye Peng, Doermann D. No-reference image quality assessment based on visual codebook [C]//IEEE International Conference on Image Processing, Brussels: IEEE Conference Publications, 2011: 3089-3092.

[8] Ye Peng, Kumar J, Kang Le, Doermann D. Unsupervised feature learning framework for no-reference image quality assessment [C]//International Conference on Computer Vision and Pattern Recognition, IEEE Conference Publications, 2012: 1098-1105.

[9] Xue Wufeng, Zhang Lei, Mou Xuanqin. Learning without human scores for blind image quality assessment [C]// International Conference on Computer Vision and Pattern Recognition, Portland: IEEE Conference Publications, 2013: 995-1002.

[10] Mittal A, Soundararajan R, Bovik A C. Making a‘completely blind’ image quality analyzer [J]. IEEE Signal Processing Letters, 2013, 20(3): 209-212.

[11] Pascal F, Bombrun L, Tourneret J Y, Berthoumieu Y. Parameter estimation for multivariate generalized Gaussian distributions [J]. IEEE Trans. Signal Processing, 2013, 61(23): 5960-5971.

[12] Lasmar N E, Stitou Y, Berthoumieu Y. Multiscale skewed heavy tailed model for texture analysis [C]//IEEE International Conference on Image Processing, Cairo: IEEE Conference Publications, 2009: 2281-2284.

[13] Coates A, Ng A Y. The importance of encoding versus training with sparse coding and vector quantization [C]// International Conference on Machine Learning (ICML), Washington, 2011: 921-928.

[14] Liu Lingqiao, Wang Lei, Liu Xinwang. In defense of soft-assignment coding [C]//IEEE International Conference on Computer Vision, Barcelona: IEEE Conference Publications, 2011: 2486-2493.

[15] Yang Jianchao, Yu Kai, Gong Yihong, Huang T. Linear spatial pyramid matching using sparse coding for image classification [C]//IEEE Conference on Computer Vision and Pattern Recognition, Florida: IEEE Conference Publications, 2009: 1794-1801.

[16] Wang Jinjun, Yang Jianchao, Yu Kai, Lv Fengjun, Huang Thomas, Gong Yihong. Locality-constrained Linear coding for image classification [C]//IEEE Conference on Computer Vision and Pattern Recognition, San Francisco: IEEE Conference Publications, 2010: 3360-3367.

Research on Foggy Image Quality Assessment Based on Codebook

Li Congli, Lu Wenjun, Shi Yongchang, Sun Xiaoning
(New Star Research Institute of Applied Technology, Hefei Anhui 230031, China)

In recent years, no-reference image quality assessment has developed rapidly. However, algorithm about foggy image quality assessment has nearly reported. Our paper proposes an algorithm of foggy image quality assessment based on codebook. The goal of our paper is made our assessment consequence consistence with human opinion scores. Our method is to search the feature that can reflect foggy image quality, structure codebook using this feature, acquiring feature vector by encoding the training images using the codebook, the last, going the regression between the feature vector and the human opinion scores of the training images. Our algorithm have tested on foggy image database, the result shows that PLCC and SROCC both exceed 0.99 and is better than no-reference image quality assessment algorithm of NIQE and CONIA, our algorithm can predict perception of foggy image.

foggy image; image quality; evaluation methodology; no-reference; codebook

TP391.41

A

2095-302X(2014)06-0876-07

2014-05-09；定稿日期：2014-07-09

安徽省自然科學(xué)基金資助項目(1208085MF97)

李從利(1973-)，男，安徽蚌埠人，副教授，碩士。主要研究方向為圖像質(zhì)量評價、顯著性檢測。E-mail：lcliqa@163.com