劉玉濤 趙德斌

Abstract： Images are vulnerable to different kinds of distortions， such as blur， noise， blocking， etc.， which all degrade the image quality. Among the distorted images， out-of-focus blurred images are frequently-encountered and occupy a large proportion. However， few efforts have been done to quality evaluation for these images. In this paper， a dedicated quality evaluation scheme is devised to automatically infer the quality of out-of-focus blurred images， which is named GPSQ （Gradient magnitude and Phase congruency-based and Saliency-guided Quality model）. In GPSQ， a pair of low-level features， including Gradient Magnitude （GM） and Phase Congruency （PC）， are extracted to characterize the image local blurriness. Then saliency detection is performed on the image to generate a corresponding saliency map. Finally， the local structure map with the saliency map is weighted to estimate the visual quality of the out-of-focus blurred image. Experimental results demonstrate the proposed GPSQ delivers high consistency with subjective evaluation results.

引言

隨著手機(jī)相機(jī)的普及使得圖像的獲取變得非常便捷。然而，不適當(dāng)?shù)南鄼C(jī)參數(shù)或者人為拍攝的隨意性使得獲取的照片很容易遭受失真的干擾。這些失真主要有模糊、噪聲、對(duì)比度改變等等。在失真圖像里面，失焦模糊圖像占據(jù)很大比例，因此，本文提出一種專門用于失焦圖像的質(zhì)量評(píng)價(jià)的方法。該方法不僅可以在拍攝過程中檢測(cè)失焦模糊圖像的質(zhì)量，還可以幫助在拍攝后期剔除失焦模糊的圖像。

一般地，圖像質(zhì)量評(píng)價(jià)方法可分為3類，即：全參考、半?yún)⒖己蜔o參考評(píng)價(jià)方法。其中，全參考質(zhì)量評(píng)價(jià)方法是指在原圖或者無失真圖已知的情況下，通過比對(duì)原圖和對(duì)應(yīng)的失真圖來預(yù)測(cè)失真圖的質(zhì)量。代表性的方法主要有PSNR（peak signal-to noise ratio）和SSIM （structural similarity index） [1]等。具體來說，PSNR的做法是計(jì)算均方誤差（Mean Squared Error， MSE）來估計(jì)圖像的質(zhì)量，MSE越小表示失真圖像與原圖越接近，從而失真圖像的質(zhì)量越高，相反失真圖像的質(zhì)量越低。SSIM通過計(jì)算原圖與失真圖像之間的亮度、對(duì)比度和結(jié)構(gòu)相似性來估計(jì)圖像的質(zhì)量。因?yàn)橛性瓐D可以參考，分析可知全參考評(píng)價(jià)方法的預(yù)測(cè)性能是最高的，但是要求原圖已知的條件太高，現(xiàn)實(shí)應(yīng)用中往往很難達(dá)到。因此，研究者考慮只提取部分原圖的信息或特征，通過比較特征來對(duì)圖像的質(zhì)量進(jìn)行預(yù)測(cè)，這就是半?yún)⒖嫉膱D像質(zhì)量評(píng)價(jià)方法。該類方法不需要參考原圖全部的信息，只需要提取原圖的一些特征，運(yùn)行時(shí)極大地降低了數(shù)據(jù)量。代表性方法主要有RRED（Reduced Reference Entropic Differencing） [2]和FEDM（Free-energy based Distortion Metric） [3]等。第三類方法是無參考的圖像質(zhì)量評(píng)價(jià)方法。這類方法毋須參考原圖的信息，可以對(duì)失真的未知原圖質(zhì)量做出估計(jì)，而且能夠充分貼合現(xiàn)實(shí)情況，準(zhǔn)確率高的無參考質(zhì)量評(píng)價(jià)方法在實(shí)際的圖像處理中有著重要意義。主流的無參考質(zhì)量評(píng)價(jià)方法可以參考BRISQUE、NFERM等模型。因?yàn)樵趫D像獲取過程中，沒有原圖可以對(duì)照，本文中研究設(shè)計(jì)的質(zhì)量評(píng)價(jià)方法就屬于無參考評(píng)價(jià)方法。

1提出的失焦圖像質(zhì)量評(píng)價(jià)方法

本文中，首先提取圖像的2個(gè)低視覺層次的特征，分別是梯度幅值（GM）和相位一致性（PC）， 然后結(jié)合GM和PC得到局部結(jié)構(gòu)圖，該結(jié)構(gòu)圖可以局部地度量失焦圖像的模糊度，于是借助顯著性檢測(cè)方法對(duì)失焦圖像進(jìn)行顯著性檢測(cè)，得到對(duì)應(yīng)的顯著圖，在顯著圖中，值越大的區(qū)域說明該區(qū)域要更多地受到人眼的關(guān)注。進(jìn)一步地，將用顯著圖加權(quán)結(jié)構(gòu)圖得到質(zhì)量圖，再通過池化處理得到最后的質(zhì)量估計(jì)。

1.1GM提取

人類視覺系統(tǒng)通過提取視野中的結(jié)構(gòu)來理解視野的內(nèi)容，然而在失焦圖像中，由于失焦模糊的引入使圖像的結(jié)構(gòu)信息遭到破壞，阻礙了視覺系統(tǒng)對(duì)圖像的正常解釋，從而導(dǎo)致圖像的質(zhì)量下降。所以度量結(jié)構(gòu)信息的損失能夠有效地預(yù)測(cè)圖像質(zhì)量的下降程度。

1.2PC提取

除了利用GM提取圖像的結(jié)構(gòu)信息，研究同時(shí)考慮了圖像結(jié)構(gòu)在圖像頻域里的表現(xiàn)特性，即提取圖像的PC特征來進(jìn)一步提取圖像的結(jié)構(gòu)信息。與GM比較，PC對(duì)光照和對(duì)比度的改變不敏感，即在光照或者對(duì)比度不佳的條件下，也可以很好地提取出圖像的結(jié)構(gòu)信息。具體的計(jì)算方法如下。

圖2中，（a）是一幅失焦圖像，（b）、（c）、（d）分別是（a）的GM、PC和S圖。首先觀察紅色方框的位置，即會(huì)發(fā)現(xiàn)墻的邊緣兩側(cè)白云和白塔都是白色，導(dǎo)致（b）中利用空域GM提取墻的邊緣并不明顯，然而（c）可以高性能地提取墻的邊緣；同樣地，觀察黃色方框的位置，分析表明圍欄具有相似的頻率表現(xiàn)，所以（c）中利用頻域PC提取的邊緣效果不好，而利用GM可以很好地提取邊緣，如圖（b）中黃色方框所示。觀察（d）圖，又會(huì)發(fā)現(xiàn)不論是紅色方框里的邊緣，還是黃色方框里的邊緣都能夠有效地提取出來。由此則可推演得到GM和PC對(duì)于邊緣結(jié)構(gòu)提取各有優(yōu)缺點(diǎn)，最大值結(jié)合可以融合GM和PC的優(yōu)點(diǎn)，從而全面地提取出圖像的邊緣結(jié)構(gòu)，在后面的分析中，研究將利用實(shí)驗(yàn)結(jié)果來進(jìn)一步驗(yàn)證這一研究論點(diǎn)。

由于人類視覺系統(tǒng)不是對(duì)圖像中所有的內(nèi)容感興趣，在得到局部結(jié)構(gòu)圖S后，還要對(duì)失焦圖像進(jìn)行顯著性檢測(cè)，得到一幅顯著圖。在顯著圖中，值越大說明該點(diǎn)受人眼關(guān)注程度越高，所以顯著性檢測(cè)可以使最終的預(yù)測(cè)更加準(zhǔn)確。本文的做法是用顯著圖來加權(quán)生成的局部結(jié)構(gòu)圖，再設(shè)計(jì)得到一個(gè)局部的質(zhì)量圖Q，假設(shè)顯著圖為SM，則：Q（i， j）=SM（i， j）·S（i， j）∑（i， j）∈QSM（i， j）（11）至此，基于池化得到的局部質(zhì)量圖Q，可計(jì)算得到最后的質(zhì)量估計(jì)，即：Quality=1N∑（i，j）∈ΩQ2（i， j） （12）其中，Ω是Q中前20%（按從大到小排序）的數(shù)的位置的集合，N是Ω的元素的個(gè)數(shù)。

2實(shí)驗(yàn)結(jié)果與分析

本節(jié)研究將通過實(shí)驗(yàn)來驗(yàn)證文中設(shè)計(jì)算法的預(yù)測(cè)性能。首先，給出評(píng)價(jià)算法預(yù)測(cè)性能的指標(biāo)，然后提及了研究擬將用到的圖像測(cè)試集，接著探討了本文算法與當(dāng)前主流算法的預(yù)測(cè)性能比較，最后驗(yàn)證了本文算法中提供特征的有效性以及顯著性檢測(cè)在提高預(yù)測(cè)性能上的作用。

2.1預(yù)測(cè)性能評(píng)價(jià)準(zhǔn)則

研究中，采用4個(gè)統(tǒng)計(jì)指標(biāo)來評(píng)價(jià)本文研發(fā)算法的預(yù)測(cè)性能，分別是斯皮爾曼等級(jí)相關(guān)系數(shù)（SROCC）、肯德爾等級(jí)相關(guān)系數(shù)（KROCC）、皮爾森線性相關(guān)系數(shù)（PLCC）和均方根誤差（RMSE）。此后將計(jì)算預(yù)測(cè)的質(zhì)量分?jǐn)?shù)與人為標(biāo)定的質(zhì)量分?jǐn)?shù)之間的3個(gè)相關(guān)性系數(shù)，系數(shù)越接近于1說明預(yù)測(cè)的性能越好；預(yù)測(cè)的質(zhì)量分?jǐn)?shù)與人為標(biāo)定的質(zhì)量分?jǐn)?shù)的均方誤差越接近于0，說明預(yù)測(cè)性能越高。在計(jì)算PLCC和RMSE之前，視頻質(zhì)量專家組建議先將算法預(yù)測(cè)的質(zhì)量分?jǐn)?shù)進(jìn)行非線性擬合[4]，擬合函數(shù)一般采用：

2.2測(cè)試圖像庫

實(shí)驗(yàn)中采用2個(gè)公開的失焦圖像庫來測(cè)試本文提出的方法。第一個(gè)數(shù)據(jù)庫[5]包含150幅失焦圖像，每幅失焦圖像的質(zhì)量都經(jīng)過人為標(biāo)定，對(duì)應(yīng)一個(gè)主觀質(zhì)量分?jǐn)?shù)，這150幅圖像可以分為30個(gè)場(chǎng)景，每個(gè)場(chǎng)景有5個(gè)不同的失焦模糊等級(jí)。另一個(gè)數(shù)據(jù)集[6]包含585張圖像，這些圖像可以分為5大類，分別是無模糊、失焦模糊、簡(jiǎn)單運(yùn)動(dòng)模糊、復(fù)雜運(yùn)動(dòng)模糊以及混合模糊。根據(jù)本文研究的問題，設(shè)計(jì)選擇失焦模糊這一類作為仿真測(cè)試數(shù)據(jù)集。在圖3中，就整體展示了數(shù)據(jù)集里的失焦圖像示例。

2.3預(yù)測(cè)性能的比較

研究將提出的方法與目前主流的算法進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果可見表1、表2（最優(yōu)結(jié)果由黑體表示）。表1、表2分別列出了在第一個(gè)、第二個(gè)數(shù)據(jù)庫上的預(yù)測(cè)性能。過程中，將研究比較的算法分為2類。第一類是通用的質(zhì)量評(píng)價(jià)方法，包含：BIQI[7]、DIIVINE[8]、NFERM[9]以及NIQE[10]；第二類方法是專門用于模糊失真的評(píng)價(jià)方法，其中包含CPBD[11]、ARISMC[12]、FISH[13]、S3[14]。

由表1中的結(jié)果分析可知，通用的評(píng)價(jià)方法對(duì)失焦圖像具有評(píng)價(jià)的能力，比如NFERM的準(zhǔn)確率達(dá)到了70% （PLCC=0.752 9）以上，DIIVINE也達(dá)到了60%（PLCC=0.647 5）以上，而BIQI和NIQE的預(yù)測(cè)性能相對(duì)較低。同時(shí)，專門評(píng)價(jià)模糊的模型比通用的模型性能要高，其準(zhǔn)確率都在60%以上。這種情況是因?yàn)槭Ы鼓：矊儆谀：词沟脤ｉT評(píng)價(jià)模糊的方法對(duì)其就表現(xiàn)出更強(qiáng)的針對(duì)性。通過比較研究發(fā)現(xiàn)，本文提出的方法GPSQ取得了最優(yōu)的評(píng)價(jià)性能，準(zhǔn)確率達(dá)到93.41%，各項(xiàng)指標(biāo)都取得了最優(yōu)值。

對(duì)比表1和表2，可以發(fā)現(xiàn)表2中所有算法的預(yù)測(cè)性能都有所下降，究其原因可解析為如下2點(diǎn)：

（1）在第二個(gè)數(shù)據(jù)庫里，圖像的分辨率不固定，而已有研究表明圖像的分辨率對(duì)圖像的主觀質(zhì)量是有影響的，但第一個(gè)數(shù)據(jù)庫的圖分辨率則是固定的。

（2）第二個(gè)數(shù)據(jù)庫圖像的對(duì)比度和亮度也是不固定的，而對(duì)比度和亮度也是影響圖像主觀質(zhì)量的重要原因。

因此，第二個(gè)數(shù)據(jù)庫中圖像失真的情況更趨復(fù)雜，單純使用模糊評(píng)價(jià)的方法將難以準(zhǔn)確預(yù)測(cè)其主觀質(zhì)量。盡管如此，本文提出的方法仍然取得了最優(yōu)的實(shí)驗(yàn)結(jié)果，并且各項(xiàng)指標(biāo)也都達(dá)到了最優(yōu)，這就證明了本文提出方法的優(yōu)越性。

2.4GM和PC驗(yàn)證

在前述章節(jié)中，研究選用一個(gè)例子論述了GM和PC可以互補(bǔ)地提取圖像的結(jié)構(gòu)特征，最大值融合GM和PC可以系統(tǒng)全面地提取出圖像的結(jié)構(gòu)，因此，利用融合GM和PC提取特征可以得到比任何一個(gè)更好的預(yù)測(cè)性能。研究中在第一個(gè)數(shù)據(jù)庫上進(jìn)行實(shí)驗(yàn)，分別利用GM、PC和兩者的結(jié)合來提取圖像的結(jié)構(gòu)特征，然后分別用于質(zhì)量預(yù)測(cè)，實(shí)驗(yàn)結(jié)果可見表3。觀察表3可以發(fā)現(xiàn)，僅用GM或者PC也可以達(dá)到較高的預(yù)測(cè)準(zhǔn)確性，而且兩者相差不大，PLCC都在0.9以上。但在結(jié)合GM和PC之后，各項(xiàng)指標(biāo)比GM或者PC都出現(xiàn)明顯的增長(zhǎng)，說明預(yù)測(cè)性能比GM或者PC任何一方都得到了可觀的改進(jìn)，這也證明了本文采取最大值融合策略的合理性。

2.5顯著性檢測(cè)對(duì)預(yù)測(cè)性能的影響

在本文的方法中，研究利用顯著性檢測(cè)來得到失焦圖像的人眼顯著圖，并用于對(duì)結(jié)構(gòu)圖進(jìn)行加權(quán)，從而可以提高算法預(yù)測(cè)的準(zhǔn)確度。在這一節(jié)，將展開如下實(shí)驗(yàn)來驗(yàn)證顯著性在預(yù)測(cè)性能提升方面的作用。不失一般性，采用了4種主流的顯著性檢測(cè)模型，即Covsal[15]、GBVS[16]、Itti[17]和RARE[18]，結(jié)構(gòu)圖的生成也對(duì)比了2種方法，即：FISH和S3，利用顯著圖來加權(quán)結(jié)構(gòu)圖的方法是固定的，并在第一個(gè)數(shù)據(jù)庫上進(jìn)行實(shí)驗(yàn)，利用SROCC來評(píng)價(jià)預(yù)測(cè)性能，實(shí)驗(yàn)結(jié)果可見表4。在表4中，None表示不采用顯著性模型。從表4中分析發(fā)現(xiàn)：首先，，不論是FISH、S3還是本文的方法GPSQ、采用Covsal、GBVS和Itti做顯著性檢測(cè)，最終的預(yù)測(cè)性能都高于不采用顯著性檢測(cè)的做法，從而證明了本次研究采用顯著性檢測(cè)來提高預(yù)測(cè)準(zhǔn)確率的良好效果。其次，研究發(fā)現(xiàn)在任何一種顯著性檢測(cè)的模型下，本文的方法都取得了最優(yōu)的預(yù)測(cè)結(jié)果，證明了本文算法的優(yōu)越性。當(dāng)利用Covsal模型時(shí)，本文的算法取得了最佳的性能，所以研究默認(rèn)在提出的方法中將采用Covsal模型進(jìn)行顯著性檢測(cè)。最后，在RARE模型下，其SROCC的值都低于不采用顯著性檢測(cè)的SROCC的值，說明預(yù)測(cè)性能還取決于顯著性檢測(cè)的準(zhǔn)確率，顯著性檢測(cè)不準(zhǔn)確會(huì)導(dǎo)致運(yùn)行后預(yù)測(cè)性能的降低?；诖?，還將用一個(gè)顯著性檢測(cè)的示例來推得演繹說明。研究比較Covsal和RARE的顯著性檢測(cè)結(jié)果，視像標(biāo)識(shí)處理后可如圖4所示。圖4中，（a）是一張失焦圖像，（b）和（c）分別是Covsal和RARE得到的顯著圖。在顯著圖中，越亮的地方表示人眼對(duì)該處會(huì)有特別觀察傾向，觀察圖中的紅色矩形框，就會(huì)發(fā)現(xiàn)RARE認(rèn)為背景的紅花更吸引人眼的關(guān)注，實(shí)際上研究者觀察圖（a），也會(huì)更多地聚焦于前景的花上面。顯然，Covsal的檢測(cè)結(jié)果更符合實(shí)踐判斷，從而提高了質(zhì)量評(píng)價(jià)的準(zhǔn)確性。

2.6算法復(fù)雜度分析

對(duì)質(zhì)量評(píng)價(jià)算法而言，算法時(shí)間復(fù)雜度也是一個(gè)重要的指標(biāo)，在這一小節(jié)研究將對(duì)提出算法的時(shí)間復(fù)雜度進(jìn)行分析，同時(shí)還將給出所有算法在一幅480×720圖像上運(yùn)行時(shí)間的效果對(duì)比。實(shí)驗(yàn)的硬件配置為一臺(tái)Thinkpad X220筆記本電腦，其內(nèi)置的CPU為2.5 GHz，RAM為4 G；軟件平臺(tái)為Matlab R2012a。實(shí)驗(yàn)結(jié)果可詳見表5。在表5中，N代表圖像元素個(gè)數(shù)；C是常數(shù)；d是窗口大小；W和H分別代表圖像的寬度和高度；m是DNT鄰域大小；b是直方圖單元的數(shù)量；k是塊大小。從表5中可以看出，NFERM的運(yùn)行時(shí)間最長(zhǎng)，其次是S3和ARISMC，而FISH所需的運(yùn)行時(shí)間最短，并且其時(shí)間復(fù)雜度是常數(shù)級(jí)；BIQI、CPBD以及NIQE的時(shí)間復(fù)雜度都是線性階，即O（N），由此推得的運(yùn)行時(shí)間均在1 s之內(nèi)。本文提出方法的時(shí)間復(fù)雜度居于中間的位置，算法主要的耗時(shí)步驟在顯著性檢測(cè)，后續(xù)的研究中可采取更加快捷的顯著性檢測(cè)方法，從而大幅降低本文方法的運(yùn)行時(shí)間。

3結(jié)束語

本文提出了一種專門針對(duì)失焦模糊圖像的質(zhì)量評(píng)價(jià)方法。在該方法的探討中，研究提取了2種低視覺層次的特征來度量圖像的模糊度，即梯度幅值特征和相位一致性特征，通過結(jié)合這2種特征得到一個(gè)局部的結(jié)構(gòu)信息圖。同時(shí)，研究還對(duì)失焦圖像進(jìn)行顯著性檢測(cè)，得到對(duì)應(yīng)的顯著圖。然后，又用顯著圖來加權(quán)局部的結(jié)構(gòu)信息圖得到局部質(zhì)量圖，通過對(duì)局部質(zhì)量圖進(jìn)行池化得到最終的質(zhì)量估計(jì)。通過實(shí)驗(yàn)驗(yàn)證了本文方法得到了與主觀質(zhì)量評(píng)價(jià)較高的一致性，而且本文的方法在主流的質(zhì)量評(píng)價(jià)方法中也取得了最優(yōu)的預(yù)測(cè)性能。

參考文獻(xiàn)

[1] WANG Zhou， BOVIK A C， SHEIKH H R， et al. Image quality assessment： From error visibility to structural similarity[J]. IEEE Transactions on Image Processing， 2004， 13 （4）： 600-612.

[2] SOUNDARARAJAN R， BOVIK A C. Rred indices： Reduced reference entropic differencing for image quality assessment[J]. IEEE Transactions on Image Processing， 2012， 21 （2）：517-526.

[3] ZHAI G， WU X， YANG X， et al. A psychovisual quality metric in free-energy principle[J]. IEEE Transactions on Image Processing， 2012， 21 （1）：41-52.

[4] Video Quality Experts Group （VQEG）. Final report from the video quality experts group on the validation of objective models of video quality assessment[EB/OL]. [2000-03].http：//www.its.bldrdoc.gov/vqeg/projects/frtv_phaseI/index.php.

[5] LIU Yutao， ZHAI Guangtao， LIU Xianming， et al. Quality assessment for out-of-focus blurred images[C]//Visual Communications and Image Processing （VCIP） . Singapore：IEEE， 2015：1-4.

[6] CIANCIO A. DA COSTA A L， DA SILVA E A， et al. No-reference blur assessment of digital pictures based on multifeature classifiers[J]. IEEE Transactions on Image Processing， 2011， 20 （1）：64-75.

[7] MOORTHY A K， BOVIK A C. A two-step framework for constructing blind image quality indices[J]. IEEE Signal Processing Letters， 2010， 17 （5）：513-516.

[8] MOORTHYA K， BOVIK A C. Blind image quality assessment： From natural scene statistics to perceptual quality[J]. IEEE Transactions on Image Processing， 2011， 20 （12）：3350-3364.

[9] GU Ke， ZHAI Guangtao， YANG Xiaokang， et al. Using free energy principle for blind image quality assessment[J]. IEEE Transactions on Multimedia， 2015， 17 （1）：50-63.

[10]MITTAL A， SOUNDARARAJAN R， BOVIK A C. Making a “completely blind” image quality analyzer[J]. IEEE Signal Processing Letters， 2013， 20 （3）： 209-212.

[11]NARVEKAR N D， KARAM L J. A no-reference image blur metric based on the cumulative probability of blur detection （CPBD）[J]. IEEE Transactions on Image Processing， 2011， 20 （9）： 2678-2683.

[12]GU Ke， ZHAI Guangtao， LIN Weisi， et al. No-reference image sharpness assessment in autoregressive parameter space[J]. IEEE Transactions on Image Processing， 2015， 24 （10）：3218-3231.

[13]VU P V， CHANDLER D M. A fast wavelet-based algorithm for global and local image sharpness estimation[J]. IEEE Signal Processing Letters， 2012， 19 （7）： 423-426.

[14]VU C T， PHAN T D， CHANDLER D M. S3： A spectral and spatial measure of local perceived sharpness in natural images[J]. IEEE Transactions on Image Processing，2012， 21 （3）： 934-945.

[15]ERDEM E， ERDEM A. Visual saliency estimation by nonlinearly integrating features using region covariances[J]. Journal of vision， 2013， 13 （4）： 11.

[16]HAREL J， KOCH C， PERONA P. Graph-based visual saliency[C]// IPS' 06 Proceedings of the 19th International Conference on Neural Information Processing Systems. Canada：ACM， 2006： 545-552.

[17]ITTI L， KOCH C， NIEBUR E. A model of saliency-based visual attention for rapid scene analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，1998， 20 （11）：1254-1259.

[18]RICHE N， MANCAS M， GOSSELIN B， et al. Rare： A new bottom-up saliency model[C]// 2012 19th IEEE International Conference on Image Processing. Orlando， FL， USA：IEEE，2012： 641-644.