一種基于視覺特性加權的圖像質(zhì)量評價方法

謝立志，李玉惠，李 勃

(昆明理工大學 信息工程與自動化學院,云南 昆明 650000)

一種基于視覺特性加權的圖像質(zhì)量評價方法

謝立志，李玉惠，李 勃

(昆明理工大學 信息工程與自動化學院,云南 昆明 650000)

圖像質(zhì)量評價在視頻圖像的各種應用中起著重要的作用。由于結構相似度圖像質(zhì)量評價方法在利用視覺特性方面的不足，因此文中在結構相似度圖像質(zhì)量評價方法的基礎上，引入包含重要視覺信息的梯度幅值和對不同頻率感知差異的對比敏感度特性對其進行改進，提出了一種基于視覺特性加權的圖像質(zhì)量評價方法。首先采用Sobel算子計算圖像的梯度幅值，對結構相似度評價方法進行改進；再利用對比敏感度函數(shù)計算圖像塊的感知因子，給圖像塊賦予相應的權值；最后通過圖像塊評價值的加權得到整體評價值。實驗結果表明，該算法優(yōu)于結構相似度和峰值信噪比圖像質(zhì)量評價方法，更好地反映了人眼的主觀感受。

圖像處理;圖像質(zhì)量評價;人眼視覺特性;梯度幅值;結構相似度;峰值信噪比

1 概 述

隨著數(shù)字圖像技術的發(fā)展，圖像質(zhì)量評價在圖像壓縮、傳輸、水印處理及模式識別等圖像處理領域中發(fā)揮著重要作用，因此對圖像質(zhì)量的有效評價具有重要意義。圖像質(zhì)量的評價方法大致可分為主觀評價方法和客觀評價方法[1]。主觀評價方法雖然能準確地評價圖像質(zhì)量，但其費時、成本高、易受環(huán)境因素的影響，很難應用到實際當中。而客觀評價方法計算簡便、穩(wěn)定、能夠?qū)崟r處理，因此有較多的研究人員對客觀評價方法進行研究，并產(chǎn)生了一系列的圖像質(zhì)量評價方法。

在客觀評價方法中，比較經(jīng)典的圖像質(zhì)量評價方法有均方根誤差(Mean Squared Error,MSE)、峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)等。這些方法從單個像素的角度對圖像質(zhì)量進行分析，沒有充分考慮人眼視覺特性以及像素之間的相關性，因此，與主觀評價的相關性較差。在此基礎上，文獻[2-5]根據(jù)人眼視覺的某些特性進行了一系列的改進。其中文獻[2]在充分分析人類視覺系統(tǒng)(HVS)的亮度、紋理、邊緣等特性的基礎上，提出一種結合HVS特性的加權峰值信噪比計算方法。文獻[3]通過主觀眼動跟蹤實驗和客觀Itti模型提取的感興趣權重矩陣對PSNR進行改善。文獻[4]根據(jù)人眼視覺閾值特性，提出了基于小波的視覺信號信噪比的圖像質(zhì)量評價方法。文獻[5]根據(jù)人眼圖像色差對比敏感的感知特性，提出了一種基于人眼視覺特性的色差均方誤差和色差峰值信噪比統(tǒng)計參數(shù)的評價彩色圖像質(zhì)量的方法。

隨著人們對人眼視覺系統(tǒng)研究的不斷深入，Wang等[6]根據(jù)人眼視覺系統(tǒng)對圖像結構信息的高度感知性，提出了基于結構相似度(Structural SIMilarity,SSIM)的圖像質(zhì)量評價方法。該方法比MSE和PSNR更加符合人眼特性。后來的研究者在此基礎上又進行了不同程度的改進。例如，文獻[7-8]考慮了邊緣信息對人眼感知結構的重要性，加入邊緣信息特性對結構相似度評價方法進行改進。文獻[9]考慮了感興趣區(qū)域(Region Of Interest,ROI)對圖像質(zhì)量的影響，提出了一種基于SSIM與ROI的視頻質(zhì)量評價方法。文獻[10]考慮了人眼對比敏感度(CSF)特性在圖像感知中的重要作用，提出了小波模擬對比敏感度(CSF)特性的加權結構相似度(W-MSSIM)評價方法。文獻[11]根據(jù)視覺特征顯著和失真嚴重引起的注意轉移對視覺感知圖像的影響，提出了一種基于注意轉移機制的結構相似度圖像質(zhì)量客觀評價方法。文獻[12]提出了一種結合HVS和SSIM的無參考模糊圖像評價方法。

這些改進方法均取得了較好的效果，體現(xiàn)了視覺特性在圖像質(zhì)量評估中的重要作用，也反映了Wang等提出的結構相似度評價方法考慮的視覺特性不夠充分。

由于結構相似度評價方法在視覺特性方面運用的不足，故考慮到了包含理解場景重要信息的梯度幅值，但單獨利用梯度幅值改進結構相似度評價方法也存在一些問題，故又考慮了對不同頻率感知差異的人眼對比敏感度特性進行進一步改進。在此，文中提出一種基于視覺特性加權的圖像質(zhì)量評價方法。

2 結構相似度圖像質(zhì)量評價方法

Wang等提出的結構相似度SSIM圖像質(zhì)量評價方法，主要考慮了人類視覺系統(tǒng)最為關注的圖像結構信息。假設X和Y為兩個圖像信號，X為原始圖像，Y為失真圖像。SSIM評價方法分為三個部分：亮度度量函數(shù)l(x,y)，對比度度量函數(shù)c(x,y)，結構度量函數(shù)s(x,y)。SSIM的計算公式如下：

(1)

(2)

根據(jù)SSIM的定義，可知MSSIM的分值越高，兩幅圖像越相似，失真圖像的質(zhì)量越好。

3 基于視覺特性的圖像質(zhì)量評價方法

人是圖像的最終感受者，圖像質(zhì)量評判的好壞主要看是否更好地符合人眼感知。因此一個符合人眼感知特性的圖像質(zhì)量評價算法，就應當充分利用人眼視覺特性。文中結合梯度幅值和對比敏感度特性對結構相似度評價方法進行有效改進。

3.1 梯度幅值特性

由于梯度幅值包含理解場景至關重要的視覺信息，且人眼對比度敏感特性對梯度幅值特性較為敏感，故提取梯度幅值作為圖像特征。文獻[13]提取圖像的梯度幅值作為其中一個特征，并對圖像進行質(zhì)量評價，取得了較好的評價效果。

圖像梯度幅值的計算是求取圖像邊緣、圖像分析等圖像處理領域的基本步驟，求取梯度幅值常見的掩蓋算子有Sobel算子[14]、Prewitt算子[14]和Scharr算子[15]。表1分別列出了3種算子的偏導算子，圖像的梯度幅值(Gradient Magnitude,GM)為：

(3)

文中實驗分別通過3種算子提取梯度幅值改進SSIM算法對圖像的質(zhì)量進行評價，發(fā)現(xiàn)Sobel算子的效果最好，故采用Sobel算子提取圖像的梯度幅值。

對梯度幅值的相似性度定義如下：

(4)

其中，σx，σy分別為梯度幅值圖像塊x,y的標準方差；σxy為梯度幅值圖像塊x和y之間的協(xié)方差；C4為較小的常數(shù)。

表1 使用不同的梯度算子得到的偏導數(shù)

3.2 對比敏感度特性

對比敏感視覺特性主要體現(xiàn)了人眼視覺的帶通特性，可由對比敏感度函數(shù)(Contrast Sensitivity Function,CSF)表示。雖然，不同實驗所得的CSF函數(shù)表達式有所不同，但基本上都認為人眼對比敏感特性是空間頻率的函數(shù)，具有一定的帶通濾波器的性質(zhì)，且各方向也不同。采用Mannos和Sakrison等[16]提出的CSF模型，其數(shù)學表達式為：

CSF(f)=2.6(0.192+0.114f)e[-(0.114f)1.1]

(5)

采用文獻[17]的方法計算圖像的空間頻率f，對于選定的N×N圖像塊，水平和垂直方向上的空間頻率的計算公式如下所示：

(6)

因此，可以計算得到空間頻率f的值，對f進行歸一化，將其映射到0到0.5之間，如下式所示：

(7)

式中，f*為歸一化的空間頻率值；fmax和fmin分別為空間頻率的最大、最小值。

將f*代入到式(5)，就可以得到最終的對比敏感度函數(shù)量化值CSF，并且CSF是在0～1之間變化的。

對比敏感度特性其在水平和垂直方向?qū)θ搜鄣拇碳ぷ蠲舾?，而在對角線方向上的敏感度是最弱的，故只采用了水平和垂直方向上的對比敏感度特性。實驗中由水平和垂直方向上的空間頻率計算得到的空間頻率f的對比敏感度特性曲線如圖1所示。

圖1 空間頻率f的CSF特性曲線

圖2中給出的是利用3×3圖像塊計算敏感度因子，并對原始圖像進行因子調(diào)節(jié)得到的圖像。圖像中亮度越大的地方則對比敏感因子越大，越暗的地方則對比敏感因子越小。圖2中圖像的邊緣有較大的對比敏感度因子，而平滑區(qū)域?qū)Ρ让舾幸蜃虞^小，突出體現(xiàn)了圖像的紋理和邊緣部分。

圖2 CSF特性的感知圖像

3.3 文中評價方法

(1)利用梯度幅值對結構相似度評價方法進行改進。利用g(x,y)代替式(1)中的s(x,y)，得到改進的SSIM評價方法，即梯度結構相似度方法。

GSSIM(x,y)=[l(x,y)]α·[c(x,y)]β· [g(x,y)]γ

(8)

為了計算簡便，文中在計算過程中取α=β=γ=1。因此有

GSSIM(x,y)=l(x,y)·c(x,y)·g(x,y)

(9)

(2)計算圖像塊的加權因子。根據(jù)對比敏感度特性給圖像中的每個圖像塊都賦予相應的權值，為保證加權后圖像的評價結果范圍為[0,1]，則對感知因子進行歸一化處理得到相應圖像塊的權值。歸一化的圖像塊的加權因子為：

(10)

(3)加權輸出。由于每個圖像塊在人眼視覺中的感知不同，故將求得的M個圖像塊的GSSIM評價值進行加權求和，得到整幅圖像的評價值。利用加權因子加權的GSSIM圖像質(zhì)量評價方法計算式如下所示：

(11)

4 實驗結果與分析

文中采用美國TEXAS大學LIVE(LabofImageandVideoEngineer)圖像質(zhì)量評價數(shù)據(jù)庫[18]進行仿真實驗。該數(shù)據(jù)庫含有29張原始圖像，失真圖像779張，共有5種失真類型。數(shù)據(jù)庫給出了相應失真圖像的主觀評分差值(DifferenceMeanOpinionScore，DMOS)，它是滿分值與主觀評分(MeanOpinionScore，MOS)的差值，DMOS的值越小則圖像質(zhì)量越好，反之越差。

首先利用文中算法計算出所有圖像的客觀評分，再與DMOS進行非線性擬合。最后按照VQEG對客觀質(zhì)量評價算法的檢驗標準[19]，選取皮爾遜相關系數(shù)(CC)、斯皮爾曼相關系數(shù)(SROCC)和肯德爾相關系數(shù)(KROCC)作為這些算法的評價指標，對算法評價結果進行比較。這里CC、SROCC和KROCC的值越大，則算法客觀分值與主觀分值的相關性就越好。

圖3分別給出了PSNR、SSIM、GSSIM和HGSSIM算法評分相對于主觀評分的散點圖。散點越集中，表明客觀算法評價效果越好，與主觀評價的相關性越好。

(a)PSNR

(b)SSIM

(c)GSSIM

(d)HGSSIM

從圖3中可以看出，GSSIM散點圖相比SSIM散點圖的聚合度有了一定改善，而且散點圖的分布更加均勻、集中，說明利用梯度幅值改進的SSIM算法取得了一定的效果。但是改進后的結果中存在一個結果為負的評價值，這個值不符合實際評價結果。在此基礎上再利用對比敏感度特性對GSSIM算法進行改進，得到HGSSIM評價方法。通過HGSSIM散點圖可以看出，通過對比敏感度感特性改進后的算法解決了不符合實際的負值評價結果的現(xiàn)象，且比GSSIM散點圖的聚合度有了較好的提高，散點的分布更加接近擬合曲線。

根據(jù)理論分析，如果客觀評價完全與主觀評價相符合，則散點會呈一條直線分布。同時也可以看出，HGSSIM散點分布比PSNR和SSIM算法散點分布更加接近理想的線性關系。

通過表2數(shù)據(jù)的計算可知，HGSSIM算法在CC、SROCC和KROCC指標方面比PSNR算法分別提高了13.6%、11.1%和17.9%；比SSIM算法分別提高了27.8%、4.6%和7.3%，比單獨對SSIM算法改進的GSSIM算法分別提高了3.9%、4.2%和6.9%。綜合

表2 圖像質(zhì)量評價算法在LIVE庫上的測試結果

分析可知，文中算法HGSSIM優(yōu)于PSNR和SSIM算法，其評價值與主觀分值的相關性較高，更加接近主觀評價。

5 結束語

文中算法在結構相似度圖像質(zhì)量評價方法上，考慮了視覺特性在圖像評估中的重要作用，引入包含重要視覺信息的梯度幅值特性和對不同頻率圖像產(chǎn)生感知差異的對比敏感度特性，并利用Sobel算子計算梯度幅值，利用對比敏感度函數(shù)計算感知因子。實驗結果表明，文中算法利用的有效人眼視覺特性，使圖像質(zhì)量評估取得了較好的評價結果，更好地反映了人的主觀感受。

[1]WangZ,BovikAC,LuL.Whyisimagequalityassessmentsodifficult[C]//JCASSP.Florida:IEEE,2002:3313-3316.

[2] 潘春華,朱同林,劉 浩.圖像質(zhì)量的HVS評價方法[J].計算機工程與應用,2010,46(4):149-151.

[3] 凌 云,夏 軍,屠 彥,等.視覺感興趣區(qū)的提取及其在視頻圖像質(zhì)量評估中的應用[J].東南大學學報:自然科學板,2009,39(4):753-757.

[4]ChandlerDM,HemamiSS.VSNR:awavelet-basedvisualsignal-to-noiseratiofornaturalimages[J].IEEETransactionsonImageProcess,2007,16(9):2284-2298.

[5] 姚軍財.基于人眼對比度敏感視覺特性的圖像質(zhì)量評價方法[J].液晶與顯示,2011,26(3):390-396.

[6]WangZ,BovikAC,SheikhHR,etal.Imagequalityassessment:Fromerrorvisibilitytostructuralsimilarity[J].IEEETransactionsonImageProcess,2004,13(4):600-612.

[7] 田浩南,李素梅.基于邊緣的SSIM圖像質(zhì)量客觀評價方法[J].光子學報,2013,42(1):110-114.

[8] 廖 斌,陳 巖.雙尺度邊緣結構相似度的圖像質(zhì)量評估[J].計算機工程,2007,33(19):199-200.

[9] 王正友,胡國勝,明建華,等.基于SSIM與ROI的視頻質(zhì)量評價方法[J].儀器儀表學報,2009,30(9):1906-1911.

[10] 朱愛紅,張玉葉,李 連.小波模擬CSF加權的失真圖像質(zhì)量評價[J].北京理工大學學報,2010,30(6):713-717.

[11] 張 樺,夏一行,周文暉.基于注意轉移機制的圖像質(zhì)量評價方法[J].儀器儀表學報,2010,31(9):2056-2061.

[12] 袁萬立,李朝鋒.結合HVS及SSIM的無參考模糊圖像評價方法[J].計算機工程與應用,2013,49(1):210-212.

[13]ZhangL,ZhangL,MouXQ,etal.FSIM:afeaturesimilarityindexforimagequalityassessment[J].IEEETransactionsonImageProcessing,2011,20(8):2378-2386.

[14]JainR,KasturiR,SchunckBG.Machinevision[M].[s.l.]:McGraw-Hill,Inc.,1995.

[15]JahneB,HaubeckeHR,GeiblePR.Handbookofcomputervisionandapplications[M].[s.l.]:AcademicPress,1999.

[16]MannosJL,SakrisonDH.Theeffectsofavisualfidelitycriterionontheencodingofimages[J].IEEETransactionsonInformationTheory,1974,20(4):525-536.

[17] 胡許明,張登福,南 棟,等.基于人眼視覺特性的圖像視覺質(zhì)量評價方法[J].計算機應用,2012,32(7):1882-1884.

[18]SheikhHR,WangZ,CormackL,etal.Liveimagequalityassessdatabaserelease2[EB/OL].2015.http://live.ece.utexas.edu/research/quality.

[19]BrunnstromK,HandsD,SperanzaF,etal.VQEGvalidationandITUstandardizationofobjectiveperceptualvideoqualitymetrics[J].IEEESignalProcessingMagazine,2009,26(3):96-101.

An Image Quality Assessment Method Based on Visual Features Weighting

XIE Li-zhi，LI Yu-hui，LI Bo

(College of Information Engineering and Automation,Kunming University of Science and Technology,Kunming 650000，China)

Image quality assessment plays an important role in a variety of applications for video images.Because of the deficiency of the image quality assessment method based on structural similarity in visual characteristics,on the basis of image quality assessment method of structure similarity,the gradient magnitude which contains the important visual information is introduced and the contrast sensitivity characteristics which is the differences in the perception of different frequency to improve,presentation of a method of image quality assessment based on visual features weighting.Firstly,the method of structural similarity evaluation is improved by gradient magnitude which is calculated with Sobel operator.Then,the perception factors of image block is calculated with the contrast sensitivity function,and the weight is given to the image block.Finally,the whole evaluation value is obtained by adding the image block evaluation value by weight of the image block.Experimental results show that the proposed algorithm is superior to structural similarity and peak signal to noise ratio of image quality assessment method,and better to reflect the subjective feelings of the human eye.

image processing;image quality evaluation;human visual characteristics;gradient magnitude;structural similarity;peak signal to noise ratio

2015-10-22

2016-01-27

時間：2016-06-22

國家自然科學基金資助項目(61363043)

謝立志(1989-),男,碩士研究生,研究方向為圖像處理、模式識別、嵌入式系統(tǒng)開發(fā);李玉惠,博士,教授,通信作者，研究方向為嵌入式系統(tǒng)的研究與開發(fā)、圖像處理系統(tǒng)的研究與開發(fā)、RFID射頻識別系統(tǒng)的研究與開發(fā);李 勃,教授,研究方向為智能計算、圖像處理系統(tǒng)的研究與開發(fā)、物聯(lián)網(wǎng)技術與應用。

http://www.cnki.net/kcms/detail/61.1450.TP.20160622.0842.016.html

TP301

A

1673-629X(2016)08-0177-05

10.3969/j.issn.1673-629X.2016.08.038