沈麗麗，王?瑩

基于奇異值分解的無參考立體圖像質(zhì)量評價

沈麗麗，王?瑩

(天津大學(xué)電氣自動化與信息工程學(xué)院，天津 300072)

針對非對稱失真立體圖像，提出了一種基于奇異值分解的無參考評價算法．該方法首先考慮人眼對空間頻率變化敏感的特性和雙目融合特性，對立體圖像進(jìn)行Gabor濾波，基于奇異值分解的融合策略生成融合圖．然后，采用亮度加權(quán)直方圖的局部二值模式算法分別對融合圖、左右子圖像提取特征，并將左右子圖像的特征向量融合、采用歐幾里得距離和夾角余弦進(jìn)行向量之間的比較；為度量非對稱失真差異，利用圖像相似度算法計算左右子圖像之間的相似性．最后，將融合圖的特征向量、子圖像的融合及比較特征向量、子圖像的相似度特征向量級聯(lián)，利用支持向量回歸(SVR)算法完成特征到主觀質(zhì)量分?jǐn)?shù)的回歸映射．在LIVE 3D Ⅱ、Waterloo-IVC Ⅰ和Waterloo-IVC Ⅱ立體圖像庫上對本算法進(jìn)行測試．實驗結(jié)果表明，本算法性能良好，優(yōu)于目前主流的立體圖像質(zhì)量評價算法．

立體圖像質(zhì)量評價；非對稱失真；奇異值分解；歐幾里得距離；圖像相似度

在立體圖像處理過程中，創(chuàng)建、壓縮、傳輸、重建、渲染和顯示這些步驟都難免在原始圖像上引入各種失真[1]．因此，需要對立體圖像進(jìn)行圖像質(zhì)量評價(image quality assessment，IQA)．立體圖像質(zhì)量評價可分為主觀評價和客觀評價方法．然而主觀評價耗時且計算復(fù)雜，因此，急需一種有效的客觀3D-IQA方法用來評價立體圖像的質(zhì)量．

在立體圖像質(zhì)量評價領(lǐng)域，早期的方法直接將平面圖像質(zhì)量評價算法如BRISQUE[2]、BLIINDS-Ⅱ[3]算法，分別應(yīng)用到左右圖像得到左右圖像的質(zhì)量分?jǐn)?shù)，將兩個分?jǐn)?shù)的平均值作為立體圖像的分?jǐn)?shù)．這些方法沒有考慮到雙目視覺特性，如雙目競爭、雙目融合、圖像的深度信息，因此評價效果不甚理想．為了更好地模擬立體視覺機(jī)制，文獻(xiàn)[4]考慮了立體視差，然后將平面評價算法應(yīng)用到立體圖像和視差圖上．文獻(xiàn)[5]考慮了雙眼視覺特性，并提出一種全參考評價模型．然而原始圖像在實際應(yīng)用中難以獲取，無需原始圖像的無參考(no-reference，NR)立體圖像質(zhì)量評價逐漸成為研究熱點．

文獻(xiàn)[6]將提取的左右圖像的2D特征結(jié)合起來，然后結(jié)合主觀質(zhì)量分?jǐn)?shù)(MOS或DMOS)進(jìn)行回歸預(yù)測，得到立體圖像的質(zhì)量分?jǐn)?shù)．Chen等[7]依據(jù)雙目競爭原理，提出了Cyclopean(融合圖)模型．Chen等[8]基于上述模型，結(jié)合視差圖、不確定圖，分別提取2D特征和3D特征．文獻(xiàn)[9]提取了收斂融合圖的自然場景統(tǒng)計(natural scene statistics，NSS)特征用于無參考質(zhì)量評價．Yue等[10]分析了NSS、結(jié)構(gòu)和失真對稱性，提出多尺度亮度歸一化的預(yù)處理方法，計算左右圖像的梯度相似性來量化非對稱失真．文獻(xiàn)[11]考慮雙目視覺特性和局部視覺結(jié)構(gòu)特性，計算雙目競爭響應(yīng)和雙目方向選擇的自相似性來表征失真立體圖像的質(zhì)量．

上述客觀質(zhì)量評價算法與人眼對圖像的主觀感知有著較高的一致性．然而在評價非對稱失真立體圖像時，這些客觀算法的效果欠佳．立體圖像質(zhì)量評價要考慮多方面因素，包括圖像的多失真、不一致的視點感知、深度信息和視覺不適[12-13]．尤其是當(dāng)左視圖和右視圖因為受到不同的失真類型或失真程度的刺激時，即非對稱失真的立體圖像，便會具有不同的視覺感知質(zhì)量，此時立體圖像質(zhì)量評價更加充滿挑?戰(zhàn)性．

本文針對非對稱失真立體圖像，采用基于奇異值分解的融合策略對左右圖像、左右圖像的特征向量分別進(jìn)行像素級和特征級融合；利用特征向量比較和圖像相似度算法去量化左右圖像的非對稱失真．實驗結(jié)果表明在非對稱失真立體圖像庫上，算法有著較高的預(yù)測準(zhǔn)確性．

1?立體圖像質(zhì)量評價模型

本文所提出的基于奇異值分解的無參考立體圖像質(zhì)量評價算法，框圖如圖1所示．步驟1：利用Gabor濾波器將左右圖像分解為3對不同空間頻率下的左右子圖像．步驟2：基于奇異值分解的融合策略得到融合圖以表征雙目融合信息；然后用亮度加權(quán)直方圖的局部二值模式(luminance-eighted histogram local binary pattern，LWH-LBP)特征提取算法分別提取融合圖、左子圖像、右子圖像的特征，并將左右子圖像的特征向量進(jìn)行融合和比較；針對非對稱失真，利用圖像相似度算法FSIM來量化左右子圖像的差異；最后，將融合圖的特征向量、子圖像的融合及比較特征向量、子圖像的相似度特征向量級聯(lián)成一個總的特征向量．步驟3：利用支持向量回歸(support vector regression，SVR)算法進(jìn)行特征向量到主觀質(zhì)量分?jǐn)?shù)的映射并客觀預(yù)測立體圖像的質(zhì)量分?jǐn)?shù)．

圖1?算法框圖

1.1?圖像金字塔分解

人類視覺系統(tǒng)對空間頻率變化的敏感特性可以用塔式Gabor變換來表示[14]．本算法采用Gabor濾波器實現(xiàn)圖像的金字塔分解，得到不同空間頻率下的左右子圖像．Gabor濾波器的數(shù)學(xué)模型為

式中：()是圖像中像素的空間坐標(biāo)；(，)是旋轉(zhuǎn)變換后的坐標(biāo)；是波長系數(shù)；是方向系數(shù)；是帶寬系數(shù)；是Gabor濾波器的波長系數(shù)；是相角偏移系數(shù)．為了平衡算法的準(zhǔn)確性和復(fù)雜度，這里只設(shè)置不同的帶寬系數(shù)而固定方向系數(shù)，得到3個尺度下的圖像信息．參數(shù)設(shè)置為：＝0°，＝{1.33，1.90，2.91}．立體圖像經(jīng)過Gabor分解，得到3對左右子圖像l, gabor()(，)、r, gabor()(，)，＝1，2，3．

1.2?特征提取

1.2.1?雙目融合

為了模擬立體圖像通過人類視覺系統(tǒng)在人腦中形成具象過程，需要對雙目融合特性進(jìn)行建模．現(xiàn)有的立體圖像質(zhì)量評價算法對雙目融合建模的方法有Cyclopean圖方法[7]和Convergent Cyclopean圖方?法[9]．這些方法大多基于視差圖算法，然而視差圖算法尚未完善，因此融合效果不甚理想．

本算法采用一種基于奇異值分解的融合策略，并采用線性加權(quán)模型得到左右子圖像的融合圖．對×矩陣進(jìn)行奇異值分解(singular value decomposition，SVD)．由式(4)可知，奇異值可代表圖像的能量信息，而圖像的能量信息與圖像的失真類型和失真程度有著高度的相關(guān)性[15]．因此可以用圖像矩陣的奇異值來表征失真圖像，并且將左右子圖像各自的奇異值之和作為線性加權(quán)的權(quán)重，表示為

式中：運(yùn)算符||·||E表示歐幾里得范數(shù)；為方陣T的特征值；是矩陣的秩；σ是矩陣的奇異值；l,gabor()(，)和r,gabor()(，)分別表示第個尺度下Gabor濾波得到的左右子圖像；C,gabor()(，)表示左右子圖像疊加得到的融合圖；l,gabor()和r,gabor()分別表示線性加權(quán)時左右子圖像的權(quán)重；l,gabor(),和r,gabor(),分別表示左右子圖像矩陣的第個奇異值，＝1，2，…，．為直觀顯示融合效果，在LIVE 3D Ⅱ數(shù)據(jù)庫中選取一幅立體圖像，經(jīng)過Gabor濾波器濾波得到一組左右子圖像，將其疊加融合得到融合圖，結(jié)果如圖2所示．

1.2.2?圖像特征提取算法

局部二值模式(local binary pattern，LBP)編碼用來描述一幅圖像鄰域中的像素之間的關(guān)系，這樣的微結(jié)構(gòu)模式可以表征不同失真情況下的圖像質(zhì)量的下降[16]．因此LBP算法可以用來度量各種失真類型的引入對圖像質(zhì)量的影響．LBP編碼的計算過程如式(8)和(9)所示．

圖2?濾波后的左右子圖像及融合圖

式中：表示中心像素的周圍像素的個數(shù)；表示鄰域的半徑；c(，)和I(，)分別表示中心像素點和其鄰近像素點的亮度值．為了使編碼過程具有旋轉(zhuǎn)不變性和提高LBP的識別不同模式的能力，可以采用旋轉(zhuǎn)不變局部二值模式．具體實現(xiàn)時，＝8，＝1；得到＋2個模式，即10個模式．不同的LBP模式代表著不同的局部亮度模式，比如模式0代表孤立的亮點，模式4代表不同正負(fù)曲率的邊緣，模式8代表平滑區(qū)域或者暗點．

為了同時捕捉亮度和結(jié)構(gòu)信息，本文采用亮度加權(quán)的直方圖對亮度和結(jié)構(gòu)信息進(jìn)行融合，將具有相同局部二值模式的亮度值累加，用式(10)和(11)表示.然后對直方圖歸一化，用式(12)表示．

式中：表示圖像像素個數(shù)；∈[0，]是不同的局部二值模式，的值為9；權(quán)重w為像素的亮度值(，)，表示亮度值越大，所占比重越大；v表示特征向量的第個分量．

將上述改進(jìn)的LBP算法稱為亮度加權(quán)直方圖的LBP(luminance-weighted histogram-LBP，LWH-LBP)算法.鑒于人類視覺多尺度特性，在3個尺度下對圖像進(jìn)行LBP編碼．最終，LWH-LBP算法對一幅平面圖像提取30維特征．為直觀顯示LBP編碼結(jié)果，對圖2中的融合圖取圖像塊并進(jìn)行LBP編碼，結(jié)果如圖3所示．圖3(b)表示由(，)確定的像素點的模式值，用不同的顏色表示這10種模式．

圖3?融合圖圖像塊及LBP編碼

1.2.3?特征融合和特征比較

為了保留左右子圖像本身的信息，需提取左右子圖像的特征．以下表述針對左右圖像經(jīng)過Gabor單一尺度分解得到的左右子圖像，為簡化起見，省略相關(guān)變量下標(biāo)中的gabor()．首先利用LWH-LBP算法對融合圖進(jìn)行特征提取，特征向量記為1．然后分別對左右圖像進(jìn)行特征提取，特征向量分別記為l、r．并將這兩個特征向量融合和比較，融合權(quán)重仍取左右圖像融合時的權(quán)值，即l和r，融合后的特征向量記為2，可表達(dá)為式(13)．特征向量l、r之間的比較采用歐幾里得距離和夾角余弦來度量兩向量之間距離和方向上的差異．歐幾里得距離和夾角余弦cosine計算式分別為式(14)、(15)．、cosine的計算結(jié)果作為向量分量，組成一個新特征向量3．

1.2.4?左右圖像聯(lián)合特征提取

非對稱失真立體圖像的左右圖像之間在失真位置、失真類型或者失真程度上不同，因此可以提取左右圖像的相似程度作為特征來表示這種差異．

本文采用FSIM算法[17]來衡量左右圖像的相似程度．在FSIM算法中提取相位一致性(phase congruency，PC)和梯度幅度(gradient magnitude，GM)作為圖像的結(jié)構(gòu)特征．相位一致性可以表示圖像的邊緣和邊角信息，利用Kovesi模型[18]計算左右圖像的相位一致性．采用Scharr算子計算梯度．將FSIM的計算結(jié)果作為左右圖像的聯(lián)合特征，記為一維特征向量4．最后，將上述1、2、3、4拼接成一個總的特征向量，記為3D．

1.3?特征映射

為了得到客觀的立體圖像質(zhì)量分?jǐn)?shù)，利用回歸模型來學(xué)習(xí)從特征空間到主觀質(zhì)量分?jǐn)?shù)(DMOS或MOS)的映射關(guān)系．本算法采用支持向量回歸算法(SVR)[19]．SVR已被用于平面和立體圖像質(zhì)量評價領(lǐng)域[20-21]并幫助評價算法取得了良好的預(yù)測效果．SVR被用來處理高維數(shù)據(jù)和求解凸二次規(guī)劃的最優(yōu)化問題．在實現(xiàn)時采用林智仁教授開發(fā)的LIBSVM軟件包；核函數(shù)采用默認(rèn)的徑向基函數(shù)(radial basis function，RBF)．

2?實驗結(jié)果及分析

2.1?數(shù)據(jù)庫及算法評價指標(biāo)

為了衡量本算法對非對稱失真立體圖像質(zhì)量預(yù)測的性能，在LIVE 3D Ⅱ數(shù)據(jù)庫、Waterloo-IVC Ⅰ和Waterloo-IVC Ⅱ數(shù)據(jù)庫這3個立體圖像數(shù)據(jù)庫上進(jìn)行訓(xùn)練和測試． LIVE 3D Ⅱ數(shù)據(jù)庫包含8幅原始圖像和5種失真類型；每種失真類型有9種失真程度，共計360幅失真圖像．每幅立體圖像對應(yīng)一個主觀質(zhì)量分?jǐn)?shù)(DMOS)．Waterloo-IVC Ⅰ數(shù)據(jù)庫包含6幅原始圖像，3種失真類型，330幅失真圖像．Waterloo-IVC Ⅱ數(shù)據(jù)庫包含10幅原始圖像，3種失真類型，460幅失真圖像．這3個數(shù)據(jù)庫均包含對稱失真和非對稱失真的立體圖像，圖像的失真情況較為復(fù)雜，因此是公認(rèn)的具有挑戰(zhàn)性的立體圖像數(shù)據(jù)庫．衡量立體圖像質(zhì)量評價算法性能常用的指標(biāo)有Spearman等級相關(guān)系數(shù)(SROCC)、Pearson 線性相關(guān)系數(shù)(PLCC)、均方根誤差(RMSE)．將數(shù)據(jù)庫中的失真圖像隨機(jī)分成訓(xùn)練集和測試集兩部分，其中訓(xùn)練集占80%，測試集占20%，且這兩部分無內(nèi)容相同的圖像．利用SVR進(jìn)行訓(xùn)練然后測試，得到SROCC、PLCC和RMSE值，迭代1000次訓(xùn)練和測試過程，最后取1000次迭代結(jié)果的中值作為算法性能的衡量結(jié)果．

2.2?算法性能分析

為了評價本算法的預(yù)測性能，將本算法與其他一些全參考及無參考的立體圖像質(zhì)量評價算法進(jìn)行了比較，結(jié)果見表1．從表1可以看出：本文算法在LIVE 3D Ⅱ、Waterloo-IVC Ⅰ和Waterloo-IVC Ⅱ這3個數(shù)據(jù)庫上的總體性能均優(yōu)于列出的其他算法，本文算法對于預(yù)測立體圖像質(zhì)量有著較高的準(zhǔn)確性．在LIVE 3D Ⅱ數(shù)據(jù)庫上，與其他算法相比，本文算法的3個性能衡量指標(biāo)均最優(yōu)，Yue等[10]的算法次之．在Waterloo-IVC Ⅰ和Waterloo-IVC Ⅱ數(shù)據(jù)庫上，與其他算法相比，本文算法的SROCC和PLCC最高，RMSE最低，即本算法的預(yù)測準(zhǔn)確性能最優(yōu)．從表1還可以看出，列出的其他算法在LIVE 3D Ⅱ數(shù)據(jù)庫上有著較好的性能表現(xiàn)，但是在Waterloo-IVC Ⅰ和Waterloo-IVC Ⅱ數(shù)據(jù)庫上，這些算法表現(xiàn)欠佳．而本文算法在這3個含有非對稱失真圖像的數(shù)據(jù)庫上均有著高準(zhǔn)確性，因此本文算法的泛化能力最優(yōu)．BRISQUE[2]和BLIINDS-Ⅱ[3]兩種算法是平面圖像質(zhì)量評價算法，在評價立體圖像，尤其是非對稱失真立體圖像時，由于沒有考慮立體圖像的特性，因此算法的效果不佳．Chen等[8]的NR算法在3個數(shù)據(jù)庫上預(yù)測準(zhǔn)確性較好，但是該算法生成融合圖時利用立體匹配算法得到視差圖，而現(xiàn)有的立體匹配算法有諸多不足，導(dǎo)致該算法在LIVE 3D Ⅱ數(shù)據(jù)庫上的性能表現(xiàn)不夠理想．Yue等[10]的算法在生成融合圖時也存在同樣的缺點．本文算法的融合策略并不依賴現(xiàn)有某種算法，且量化了左右圖像的差異，因此在3個數(shù)據(jù)庫上性能表現(xiàn)最佳．

表1?算法在LIVE?3D Ⅱ、Waterloo-IVC Ⅰ和Waterloo-IVC Ⅱ數(shù)據(jù)庫上的整體性能

Tab.1?Overall performance of the algorithms in the LIVE 3D Ⅱ，Waterloo-IVC Ⅰ，and Waterloo-IVC Ⅱ databases

為了驗證算法在不同失真類型圖像上的性能，對單一失真類型圖像進(jìn)行訓(xùn)練和預(yù)測，實驗結(jié)果如表2所示．表2列出了幾種算法在LIVE 3D Ⅱ數(shù)據(jù)庫的單一失真類型圖像上的SROCC結(jié)果．從表2可以看出：算法在不同失真類型圖像上的性能表現(xiàn)有所差異．Chen等[8]的NR算法在預(yù)測WN、BLUR和FF失真圖像質(zhì)量時有較高的準(zhǔn)確性．Yue等[10]的算法在預(yù)測JP2K和WN失真圖像質(zhì)量時有較高的準(zhǔn)確性．本文算法在預(yù)測JP2K、WN、BLUR和FF失真圖像質(zhì)量時均有較高的準(zhǔn)確性．

表2 在LIVE3DⅡ數(shù)據(jù)庫不同失真類型圖像上的SROCC值

2.3?魯棒性分析

為了驗證本文算法的魯棒性，在LIVE 3D Ⅱ數(shù)據(jù)庫上設(shè)置不同的訓(xùn)練圖像比例，依次為80%、60%、40%、20%．實驗結(jié)果如表3所示，隨著訓(xùn)練圖像比例的增大，算法的性能表現(xiàn)越好．即使訓(xùn)練比例低到20%，算法的性能表現(xiàn)仍較好，PLCC值也能達(dá)到0.915．因此本文算法具有較好的魯棒性．

表3 在LIVE3D Ⅱ上不同訓(xùn)練圖像比例下算法性能的比較

Tab.3 Performance comparison of the algorithms at various training ratios in the LIVE 3D Ⅱ database

3?結(jié)?語

本文提出了一種基于奇異值分解的無參考立體圖像質(zhì)量評價算法．考慮人眼的頻率敏感性和雙目融合特性，本算法利用基于奇異值分解的融合策略生成融合圖；針對非對稱失真圖像，為度量左右圖像之間的差異，提取了左右圖像的相似度特征；在3個含有非對稱失真立體圖像的數(shù)據(jù)庫上進(jìn)行訓(xùn)練和預(yù)測．實驗結(jié)果表明，本文算法對立體圖像質(zhì)量的預(yù)測有較高的準(zhǔn)確性，且有較好的泛化能力和魯棒性．

［1］ Chang Y，Kim M. Binocular suppression-based stereoscopic video coding by joint rate control with KKT conditions for a hybrid video codec system[J]. IEEE Transactions on Circuits and Systems for Video Technology，2015，25(1)：99-111.

［2］ Mittal A，Moorthy A K，Bovik A C. No-reference image quality assessment in the spatial domain[J]. IEEE Transactions on Image Processing，2012，21(12)：4695-4708.

［3］ Saad M A，Bovik A C，Charrier C. Blind image quality assessment：A natural scene statistics approach in the DCT domain[J]. IEEE Transactions on Image Process-ing，2012，21(8)：3339-3352.

［4］ You J，Xing L，Perkis A，et al. Perceptual quality assessment for stereoscopic images based on 2D image quality metrics and disparity analysis[C]// 5th International Workshop on Video Processing and Quality Metrics for Consumer Electronics. Scottsdale，USA，2010：1-6.

［5］ Shao F，Lin W，Gu S，et al. Perceptual full-reference quality assessment of stereoscopic images by considering binocular visual characteristics[J]. IEEE Transactions on Image Processing，2013，22(5)：1940-1953.

［6］ Shao F，Li K，Lin W，et al. Using binocular feature combination for blind quality assessment of stereoscopic images[J]. IEEE Signal Processing Letters，2015，22(10)：1548-1551.

［7］ Chen M J，Su C C，Kwon D K，et al. Full-reference quality assessment of stereopairs accounting for rivalry[J]. Signal Processing：Image Communication，2013，28(9)：1143-1155.

［8］ Chen M J，Cormack L K，Bovik A C. No-reference quality assessment of natural stereopairs[J]. IEEE Transactions on Image Processing，2013，22(9)：3379-3391.

［9］ Su C C，Cormack L K，Bovik A C. Oriented correlation models of distorted natural images with application to natural stereopair quality evaluation[J]. IEEE Transactions on Image Processing，2015，24(5)：1685-1699.

［10］ Yue G，Hou C，Jiang Q，et al. Blind stereoscopic 3D image quality assessment via analysis of naturalness，structure，and binocular asymmetry[J]. Signal Processing，2018，150：204-214.

［11］ Zhou W，Zhang S，Pan T，et al. Blind 3D image qual-ity assessment based on self-similarity of binocular features[J]. Neurocomputing，2017，224：128-134.

［12］ Kim D，Choi S，Sohn K. Visual comfort enhancement for stereoscopic video based on binocular fusion characteristics[J]. IEEE Transactions on Circuits & Systems for Video Technology，2013，23(3)：482-487.

［13］ Zhou W，Yu L，Zhou Y，et al. Blind quality estimator for 3D images based on binocular combination and extreme learning machine[J]. Pattern Recognition，2017，71：207-217.

［14］ Campbell F W，Robson J G. Application of Fourier analysis to the visibility of gratings[J]. The Journal of Physiology，1968，197(3)：551-566.

［15］ Hu A，Zhang R，Yin D，et al. Image quality assessment using a SVD-based structural projection[J]. Signal Processing：Image Communication，2014，29(3)：293-302.

［16］ Ojala T，Pietikainen M，Maenpaa T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24(7)：971-987.

［17］ Zhang L，Zhang L，Mou X，et al. FSIM：A feature similarity index for image quality assessment[J]. IEEE Transactions on Image Processing，2011，20(8)：2378-2386.

［18］ Kovesi P. Image features from phase congruency[J]. Videre：Journal of Computer Vision Research，1999，1(3)：1-26.

［19］ Sch?lkopf B，Smola A J，Williamson R C，et al. New support vector algorithms[J]. Neural Computation，2000，12(5)：1207-1245.

［20］ 李素梅，薛建偉，秦龍斌，等. 基于融合圖像的無參考立體圖像質(zhì)量評價[J]. 天津大學(xué)學(xué)報：自然科學(xué)與工程技術(shù)版，2019，52(10)：1055-1061.

Li Sumei，Xue Jianwei，Qin Longbin，et al. Non-reference stereoscopic image quality evaluation based on fusion image[J]. Journal of Tianjin University：Science and Technology，2019，52(10)：1055-1061(in Chinese).

［21］ 侯春萍，林洪湖. 基于網(wǎng)格與韋泊統(tǒng)計特性的立體圖像質(zhì)量評價[J]. 天津大學(xué)學(xué)報：自然科學(xué)與工程技術(shù)版，2018，51(10)：1015-1022.

Hou Chunping，Lin Honghu. Stereoscopic image quality assessment based on grid and weibull statistics[J]. Journal of Tianjin University：Science and Technology，2018，51(10)：1015-1022(in Chinese).

No-Reference Stereoscopic Image Quality Assessment Based on Singular Value Decomposition

Shen Lili，Wang Ying

(School of Electrical and Information Engineering，Tianjin University，Tianjin 300072，China)

For asymmetrically distorted stereoscopic images，a no-reference evaluation algorithm based on singular value decomposition is proposed．First，considering visual sensitivity to spatial frequency variation and binocular fusion，Gabor filtering was performed on the stereoscopic image，and a fusion strategy based on singular value decomposition was proposed to generate a cyclopean image of the left and right sub-image pair．Then，the proposed luminance-weighted histogram local binary pattern metric was used to extract features of the cyclopean image and the left and right sub-images．Furthermore，feature fusion and comparison were conducted on the two feature vectors corresponding to the left and right sub-images，respectively．Euclidean distance and cosine were used to implement the vector comparison．Particularly，to measure the difference between asymmetrically distorted sub-image pair，image similarity metric was utilized to calculate the similarity between the left and right sub-image pair．Finally，feature vector of the cyclopean image，the fusion and comparison feature vectors，and the similarity feature vector were concatenated into a total feature vector，and regression mapping was performed from the feature vector to the subjective score using support vector regression．The algorithm was tested on the LIVE 3D Ⅱ，Waterloo-IVC Ⅰ and Waterloo-IVC Ⅱ databases．The experimental results show that the proposed algorithm has an outstanding performance and is superior to other state-of-the-art image quality assessment metrics．

stereoscopic image quality assessment；asymmetric distortion；singular value decomposition；Euclidean distance；image similarity

TN919.8

A

0493-2137(2020)06-0641-06

10.11784/tdxbz201903054

2019-03-25；

2019-04-16.

沈麗麗（1978—??），女，博士，副教授.

沈麗麗，sll@tju.edu.cn.

國家自然科學(xué)基金資助項目(61520106002).

Supported by the National Natural Science Foundation of China(No.61520106002).

(責(zé)任編輯：王曉燕)