李素梅，韓永甜，馬?帥，韓?旭

基于雙目融合網(wǎng)絡(luò)的立體圖像質(zhì)量評(píng)價(jià)

李素梅，韓永甜，馬?帥，韓?旭

(天津大學(xué)電氣自動(dòng)化與信息工程學(xué)院，天津 300072)

立體圖像質(zhì)量評(píng)價(jià)為3D技術(shù)的發(fā)展與應(yīng)用提供了技術(shù)支撐．如何根據(jù)立體圖像特點(diǎn)，構(gòu)建更加符合立體視覺認(rèn)知機(jī)制的立體圖像質(zhì)量評(píng)價(jià)模型，已成為該領(lǐng)域的關(guān)鍵問題之一．現(xiàn)有的立體圖像質(zhì)量評(píng)價(jià)方法要么先分別處理左右視圖，然后結(jié)合左右視圖質(zhì)量得到立體圖像質(zhì)量分?jǐn)?shù)；要么先對(duì)左右視圖進(jìn)行融合得到融合視圖，然后評(píng)價(jià)平面的融合視圖得到立體圖像質(zhì)量分?jǐn)?shù)．事實(shí)上，大腦對(duì)立體視覺信號(hào)的處理是一個(gè)長(zhǎng)期的復(fù)雜融合與處理的過程，并最終在視覺皮層完成對(duì)視覺信號(hào)的認(rèn)知與判斷．受大腦立體視覺認(rèn)知機(jī)制的啟發(fā)，本文提出一種基于雙目融合網(wǎng)絡(luò)的立體圖像質(zhì)量評(píng)價(jià)模型，實(shí)現(xiàn)了雙目信息的多次融合與處理，模擬了大腦對(duì)雙目信息進(jìn)行處理和判決的視覺傳導(dǎo)通路．所提出的雙目融合網(wǎng)絡(luò)包含左視圖通道、右視圖通道和融合通道，模擬立體視覺信息在視覺通路中的逐層并行處理過程；左右視圖通道在網(wǎng)絡(luò)中多次交互，模擬視覺通路中雙目信息的多次融合與處理；網(wǎng)絡(luò)末端的3個(gè)全連接層，模擬視覺信息經(jīng)過視覺通路處理后復(fù)雜的質(zhì)量判斷過程．本文實(shí)驗(yàn)在兩個(gè)公開立體圖像庫(kù)LIVE 3D PhaseⅠ和LIVE 3D PhaseⅡ上進(jìn)行，實(shí)驗(yàn)結(jié)果表明，該方法在對(duì)稱與非對(duì)稱失真立體圖像上均能取得更好的結(jié)果，且較其他方法具有更強(qiáng)的普適性．

圖像質(zhì)量評(píng)價(jià)；立體圖像；立體視覺；雙目融合

立體圖像不僅帶給人類身臨其境的視覺感受，而且促進(jìn)了各項(xiàng)立體技術(shù)的蓬勃發(fā)展．但任何處理技術(shù)都可能會(huì)造成立體圖像的失真，從而影響人類對(duì)立體圖像的視覺感知[1]．有效的立體圖像質(zhì)量評(píng)價(jià)方法不僅可以實(shí)現(xiàn)立體圖像質(zhì)量的檢測(cè)，而且可以進(jìn)一步指導(dǎo)3D處理技術(shù)的改進(jìn)．因此，建立一種有效的立體圖像質(zhì)量評(píng)價(jià)方法是十分必要的[2]．

隨著立體圖像質(zhì)量評(píng)價(jià)研究的不斷深入，技術(shù)需求的不斷提升，以及人類對(duì)視覺通路認(rèn)知的不斷加深，構(gòu)造一種更加符合人腦視覺感知機(jī)理的質(zhì)量評(píng)價(jià)模型已成為該領(lǐng)域的研究趨勢(shì)．單純將平面圖像質(zhì)量評(píng)價(jià)方法用于立體圖像質(zhì)量評(píng)價(jià)已不能滿足需?求[3-4].經(jīng)研究發(fā)現(xiàn)，來自于雙眼的信息首先經(jīng)過視覺通路的復(fù)雜融合與處理，然后大腦皮層對(duì)處理后的信息做出視覺感知與判斷．為了模擬這種復(fù)雜的視覺感知機(jī)理，現(xiàn)有的立體圖像質(zhì)量評(píng)價(jià)方法主要有兩類：一類[5-12]是首先對(duì)來自雙眼的左右視圖分別進(jìn)行處理，然后考慮人眼的雙目融合特性，最終對(duì)立體圖像的質(zhì)量進(jìn)行判斷；另一類[13-22]是首先考慮雙目融合特性，對(duì)來自于雙眼的左右視圖進(jìn)行融合，然后類似于平面圖像質(zhì)量評(píng)價(jià)方法，最終得到立體圖像的質(zhì)量等級(jí)．

事實(shí)上，雙目視覺信息在通過視網(wǎng)膜之后首先在視覺通路中的視交叉神經(jīng)處進(jìn)行部分交叉，產(chǎn)生初步融合，部分交叉后的左右視覺信息分別通過左右外側(cè)膝狀體傳輸?shù)匠跫?jí)視覺皮層進(jìn)行融合，然后在其他視覺皮層中進(jìn)行復(fù)雜的分層、并行的融合與處理，進(jìn)而對(duì)融合處理后的圖像質(zhì)量進(jìn)行判斷[23-24]．因此，上述兩類方法都僅僅模擬了視覺通路的一部分．深度學(xué)習(xí)方法的出現(xiàn)，為更好地模擬視覺通路提供了可能，因?yàn)樯疃葘W(xué)習(xí)方法可以逐級(jí)分層地提取所處理信息的特征．

論文主要貢獻(xiàn)總結(jié)如下．

(1)論文模擬立體圖像在視覺通路中融合和處理相結(jié)合的方法，對(duì)立體圖像質(zhì)量進(jìn)行客觀評(píng)價(jià)，構(gòu)建了一種包含3個(gè)通道的卷積神經(jīng)網(wǎng)絡(luò)模型．

(2)所提模型通過對(duì)左右視圖的多次交互，模擬了視交叉神經(jīng)中的初步融合與后續(xù)視覺皮質(zhì)層的復(fù)雜融合與處理過程；模型中的多個(gè)卷積層與多個(gè)通道模擬了人腦對(duì)視覺信息的逐級(jí)分層次并行處理過程；模型中的3個(gè)全連接層模擬了復(fù)雜的質(zhì)量決策過程.

1?視覺通路

在視覺通路中，大腦對(duì)來自雙眼視覺信息的處理是一個(gè)復(fù)雜過程，圖1[25]所示為視覺通路的簡(jiǎn)單描述模型．圖2為視覺通路中的視覺信息傳遞過程．

圖1?視覺通路模型

圖2?視覺通路中的視覺信息傳遞過程

從圖1、圖2可以看出，來自雙眼的視覺信息經(jīng)過視網(wǎng)膜后通過雙極細(xì)胞和視網(wǎng)膜節(jié)細(xì)胞(retinal ganglion cells，RGC)進(jìn)行處理，其中視網(wǎng)膜節(jié)細(xì)胞中包含M細(xì)胞和P細(xì)胞，視網(wǎng)膜節(jié)細(xì)胞的軸突在視神經(jīng)盤處匯聚成視神經(jīng)．視覺信息通過視神經(jīng)入顱，在視交叉處進(jìn)行部分的交叉后延伸為視束．在視交叉中，來自雙眼鼻側(cè)的纖維交叉，加入對(duì)側(cè)視束，而來自視網(wǎng)膜顳側(cè)的纖維不進(jìn)行交叉，進(jìn)入同側(cè)視束．因此，左側(cè)視束內(nèi)含有來自右眼鼻側(cè)的纖維和左眼顳側(cè)的纖維，右側(cè)視束含有左眼鼻側(cè)的纖維和右眼顳側(cè)的纖維，在視交叉神經(jīng)處，左右眼視覺信息完成了初步融合．左右側(cè)視束經(jīng)過外側(cè)膝狀體細(xì)胞(lateral geniculate nucleus，LGN)后進(jìn)入初級(jí)視覺皮質(zhì)V1，進(jìn)行復(fù)雜的融合與處理．來自視網(wǎng)膜節(jié)細(xì)胞的M細(xì)胞通過腹側(cè)LGN傳導(dǎo)形成M 視覺通路．信息到達(dá)V1區(qū)域后經(jīng)過復(fù)雜的分層處理最終投射到內(nèi)側(cè)顳區(qū)(medial temporal area，MT)，然后投射到頂葉皮層. MT區(qū)域的細(xì)胞對(duì)運(yùn)動(dòng)十分敏感，經(jīng)過M視覺通路處理后在頂葉皮層能夠解析出視覺信息的位置．來自視網(wǎng)膜節(jié)細(xì)胞的P細(xì)胞通過背側(cè)LGN形成P 視覺通路，經(jīng)過V1區(qū)域后經(jīng)過復(fù)雜的分層處理最終投射到視覺皮質(zhì)的V4區(qū)域，然后投射到顳葉皮層．V4區(qū)域的細(xì)胞對(duì)顏色十分敏感，顳葉皮層對(duì)內(nèi)容和細(xì)節(jié)十分敏感．經(jīng)過P視覺通路處理后在顳葉皮層能夠解析出視覺信息中的內(nèi)容信息．同時(shí)在LGN層間存在一種K細(xì)胞，同樣處理色彩信息，最終投射到V4區(qū)域[26]．大腦通過頂葉顳葉等的處理最終獲得視覺判斷．

可見，雙眼信息經(jīng)過視覺通路最終得到質(zhì)量等級(jí)的判斷是一個(gè)復(fù)雜的融合處理與判斷的過程．左右視圖通過視交叉神經(jīng)的簡(jiǎn)單融合后，由LGN傳遞到初級(jí)視覺皮質(zhì)V1中，經(jīng)過V1～V4、MT、IT等視覺皮質(zhì)的融合與處理最終分析出視覺信息的質(zhì)量．視覺信息在視覺皮質(zhì)層中的處理是一個(gè)逐層分級(jí)的并行過程，不能由簡(jiǎn)單的一次融合進(jìn)行模擬．

2?基于視覺通路的雙目融合網(wǎng)絡(luò)模型

圖3為本文提出的雙目融合網(wǎng)絡(luò)模型．該網(wǎng)絡(luò)模型包含3個(gè)通道：左視圖通道、右視圖通道和融合通道．左視圖通道提取左視點(diǎn)特征，右視圖通道提取右視點(diǎn)特征．左視圖通道和右視圖通道各包含4個(gè)卷積層和2個(gè)池化層．融合通道提取雙目特征，包含4個(gè)卷積層、3個(gè)池化層和3個(gè)全連接層．網(wǎng)絡(luò)輸入為失真的立體圖像對(duì)，立體圖像對(duì)經(jīng)過網(wǎng)絡(luò)的分層融合與處理得到立體圖像的質(zhì)量分?jǐn)?shù)．左右視圖通道在經(jīng)過每一個(gè)卷積層后，會(huì)在融合通道發(fā)生一次融合，本文采用了4次融合(①、②、③、④)的方案對(duì)立體圖像質(zhì)量進(jìn)行評(píng)價(jià)．左、右視圖通道和融合通道模擬了視覺通路中的并行處理機(jī)制．融合通道中的4次融合模擬了視交叉神經(jīng)的初級(jí)融合與其他視覺皮層的復(fù)雜融合與處理過程．同時(shí)多層卷積神經(jīng)網(wǎng)絡(luò)也模擬了視覺皮層中的逐級(jí)分層處理機(jī)制．通過復(fù)雜的融合與處理后，網(wǎng)絡(luò)通過3層全連接層模擬最終立體圖像質(zhì)量判斷的過程．本文所提出的雙目融合網(wǎng)絡(luò)具體網(wǎng)絡(luò)參數(shù)設(shè)置如表1所示．

網(wǎng)絡(luò)中左右通道特征圖的融合可以采取Concat和Eltwise兩種方式實(shí)現(xiàn)．Eltwise方式將特征圖逐像素點(diǎn)對(duì)應(yīng)相加，Concat方式級(jí)聯(lián)所有的特征圖．本文采取Concat方式融合左右通道特征圖．例如，若采用Concat融合方式進(jìn)行特征圖的融合，對(duì)于融合點(diǎn)④將會(huì)有3個(gè)輸入，分別是來自左視圖通道的384張?zhí)卣鲌D，來自右視圖通道的384張?zhí)卣鲌D和來自融合通道的384張?zhí)卣鲌D．因此，對(duì)于融合點(diǎn)④將會(huì)有384+384+384＝1152張?zhí)卣鲌D，作為融合通道Conv5的輸入．來自左右通道和融合通道的特征圖均被集中到融合點(diǎn)④，不同通道的特征圖將被分配不同的權(quán)重，模擬雙目融合的過程．若在特征圖融合過程中采用Eltwise方式，融合點(diǎn)④將只有1個(gè)輸入，該輸入為左右視圖通道和融合通道的384張?zhí)卣鲌D像素點(diǎn)對(duì)應(yīng)相加的結(jié)果．這也就是說，來自左右通道的信息將會(huì)被網(wǎng)絡(luò)分配相同的權(quán)重．根據(jù)雙目融合與雙目競(jìng)爭(zhēng)機(jī)制，左右視圖應(yīng)該被分配不同的權(quán)重[27-28]，顯然，Eltwise方法并不符合雙目融合與雙目競(jìng)爭(zhēng)機(jī)制．

圖3?雙目融合網(wǎng)絡(luò)結(jié)構(gòu)

表1?雙目融合網(wǎng)絡(luò)參數(shù)

Tab.1 Configurations of the proposed binocular fusion network

所提網(wǎng)絡(luò)中的卷積操作可由式(1)表示．

3?實(shí)驗(yàn)與分析

3.1?數(shù)據(jù)庫(kù)與性能指標(biāo)

本文方法分別在LIVE 3D PhaseⅠ、LIVE 3D PhaseⅡ和天津大學(xué)(Tianjin University，TJU)立體圖像庫(kù)上進(jìn)行網(wǎng)絡(luò)性能的測(cè)試．其中，LIVE 3D PhaseⅠ包含20張?jiān)紖⒖剂Ⅲw圖像對(duì)和365張對(duì)稱失真的立體圖像對(duì)．失真類型包括JPEG、JPEG 2000 (JP2K)、White Noise(WN)、Gaussian Blur(Blur)和Fast-Fading(FF)．LIVE 3D PhaseⅡ包含8張?jiān)紖⒖剂Ⅲw圖像對(duì)、120張對(duì)稱失真立體圖像對(duì)和240張非對(duì)稱失真立體圖像對(duì)．失真類型包括JPEG，JPEG 2000(JP2K)、White Noise(WN)、Gaussian Blur(Blur)和Fast-Fading(FF)．TJU立體圖像庫(kù)包含4張?jiān)紖⒖剂Ⅲw圖像對(duì)和403張非對(duì)稱失真的立體圖像對(duì)，包括JPEG、JP2K、WN、Blur、FF和視差失真6種失真類型．

為了評(píng)價(jià)所提出網(wǎng)絡(luò)模型性能的優(yōu)劣，論文采用3種常見的性能指標(biāo)計(jì)算網(wǎng)絡(luò)實(shí)際輸出和主觀DOMS值之間的相關(guān)程度，分別是皮爾遜線性相關(guān)系數(shù)(Pearson linear correlation coefficient，PLCC)、斯皮爾曼階相關(guān)系數(shù)(Spearman rank order correlation coefficient，SROCC)和均方根誤差(root mean square error，RMSE)．PLCC和SROCC越接近1、RMSE越接近0，證明網(wǎng)絡(luò)模型的評(píng)價(jià)效果越好．

3.2?整體性能分析

表2中給出所提出網(wǎng)絡(luò)模型與其他13種先進(jìn)立體圖像質(zhì)量評(píng)價(jià)方法的性能比較．這些方法中，文獻(xiàn)[5-6，10-11]首先分別對(duì)左右視點(diǎn)進(jìn)行處理，然后根據(jù)雙目融合特性對(duì)得到的特征或分?jǐn)?shù)進(jìn)行融合．文獻(xiàn)[13，15-22]首先對(duì)左右兩個(gè)視點(diǎn)進(jìn)行融合，然后對(duì)融合圖像進(jìn)行處理得到立體圖像質(zhì)量分?jǐn)?shù)．上述兩類方法均從不同角度模擬了視覺通路中左右視覺信息的一部分融合和處理過程．其中文獻(xiàn)[5-6，19-20，22]采用傳統(tǒng)的特征提取的方法，文獻(xiàn)[15-17]采取了稀疏表示的方法，文獻(xiàn)[10-11，13，18，21]同本文方法一樣，采用了深度學(xué)習(xí)方法．從表2中可以清楚地看到，所提出方法在LIVE 3D PhaseⅠ上所有指標(biāo)的效果均好于其他方法，在LIVE 3D PhaseⅡ，SROCC和RMSE均優(yōu)于其他方法，只有PLCC的效果稍遜于Karimi等[16]，但處于同一個(gè)數(shù)量級(jí)上．并且，所提出方法在LIVE 3D PhaseⅠ上的PLCC和SROCC均超過了0.96，在LIVE 3D PhaseⅡ上PLCC和SROCC均超過0.95．表3顯示了所提出方法在TJU立體圖像庫(kù)上的評(píng)價(jià)效果，其PLCC和SROCC均超過了0.95．

從表2和表3中可以看出，所提方法無論是在對(duì)稱失真還是非對(duì)稱失真的立體圖像上評(píng)價(jià)效果都很優(yōu)秀，所提方法在對(duì)稱失真和非對(duì)稱失真數(shù)據(jù)庫(kù)上的指標(biāo)差值小于其他方法在2個(gè)數(shù)據(jù)庫(kù)上的差值．以Xu等[5]的PLCC值為例，LIVE 3D PhaseⅠ上的值為0.9490，而在LIVE 3D PhasezⅡ上的值為0.9260，差值為0.0230，所提方法在2個(gè)數(shù)據(jù)庫(kù)上的差值為0.0113．其他方法的差值甚至大于0.0230，這說明所提方法不僅能夠很好地評(píng)價(jià)對(duì)稱失真的立體圖像，而且也更適用于評(píng)價(jià)非對(duì)稱失真的立體圖像．相比于對(duì)稱失真的立體圖像，評(píng)價(jià)非對(duì)稱失真立體圖像更加困難，只有更加符合人眼視覺認(rèn)知機(jī)理的方法才能夠有更好的結(jié)果．因此，相對(duì)于其他只模擬視覺通路中一部分的融合處理機(jī)制方法，所提出方法具有更強(qiáng)的普適性能，在對(duì)稱失真和非對(duì)稱失真的立體圖像上具有較好的效果．這也證明了所提方法在一定程度上能夠較好地模擬視覺通路中立體圖像認(rèn)知的復(fù)雜融合與處理過程．

表2?各種方法在LIVE 3D 圖像數(shù)據(jù)庫(kù)上的效果比較

Tab.2 Performance of the different methods on LIVE 3D image quality database

表3?本文方法在天津大學(xué)立體圖像庫(kù)上的性能

Tab.3 Performance of the proposed method on the Tian-jin University 3D image quality database

3.3?不同失真類型的評(píng)價(jià)效果

為了更加準(zhǔn)確地評(píng)價(jià)所提網(wǎng)絡(luò)的性能，表4比較了所提方法與其他方法在LIVE 3D PhaseⅠ和LIVE 3D PhaseⅡ上不同失真類型的PLCC評(píng)價(jià)結(jié)果．可以看到，本文的PLCC結(jié)果在不同失真類型上基本都處在前3名的位置，只有LIVE 3D PhaseⅡ數(shù)據(jù)庫(kù)上JPEG和WN失真類型上PLCC表現(xiàn)稍差．因此所提方法具有較好的普適性能．

表4?各種方法在LIVE 3D圖像庫(kù)上不同失真類型的PLCC結(jié)果

3.4?不同融合次數(shù)網(wǎng)絡(luò)性能比較

為了證明所提網(wǎng)絡(luò)能夠很好地模擬視覺通路中復(fù)雜的融合與處理過程，本文對(duì)有不同融合次數(shù)的網(wǎng)絡(luò)，即有不同層數(shù)的網(wǎng)絡(luò)進(jìn)行了性能對(duì)比．圖4顯示了在LIVE 3D PhaseⅠ和LIVE 3D PhaseⅡ數(shù)據(jù)庫(kù)中，有不同融合次數(shù)網(wǎng)絡(luò)的PLCC與SROCC結(jié)果對(duì)比．其中，橫坐標(biāo)(1，2，3，4，5，6)表示在融合通道中存在次融合的網(wǎng)絡(luò)結(jié)構(gòu)，即左視圖通道、右視圖通道與融合通道各存在層卷積層．縱坐標(biāo)為網(wǎng)絡(luò)對(duì)應(yīng)SROCC與PLCC值．從圖4可以看到，無論在LIVE 3D PhaseⅠ還是LIVE 3D PhaseⅡ數(shù)據(jù)庫(kù)上，所提出的4次融合網(wǎng)絡(luò)的表現(xiàn)性能均為最佳．隨著網(wǎng)絡(luò)融合次數(shù)的增加，網(wǎng)絡(luò)性能有所提升，這正反映出在視覺通路中圖像的融合和處理是一個(gè)復(fù)雜的過程，不能簡(jiǎn)單地采用一次融合來模擬．但隨著網(wǎng)絡(luò)融合次數(shù)的增多，網(wǎng)絡(luò)結(jié)構(gòu)變得復(fù)雜，網(wǎng)絡(luò)的評(píng)價(jià)效果反而變差，這可能是由于模型過于復(fù)雜而訓(xùn)練數(shù)據(jù)不足的原因．通過實(shí)驗(yàn)可以證明采用4次融合能夠很好地模擬視覺通路中的融合與處理過程．

圖4?不同融合次數(shù)網(wǎng)絡(luò)結(jié)果對(duì)比

3.5?不同融合位置網(wǎng)絡(luò)性能比較

表5比較了在不同位置發(fā)生融合的網(wǎng)絡(luò)結(jié)構(gòu)的表現(xiàn)性能．其中①表示只在融合點(diǎn)①處發(fā)生融合的網(wǎng)絡(luò)結(jié)構(gòu)，①②表示只在融合點(diǎn)①②處發(fā)生融合的網(wǎng)絡(luò)結(jié)構(gòu)，其余符號(hào)表示意義相同．從表5中可以看出，當(dāng)網(wǎng)絡(luò)具有相同的融合次數(shù)時(shí)，例如①和④，①②和③④，①②③和②③④，網(wǎng)絡(luò)④、③④和②③④的結(jié)果要好于網(wǎng)絡(luò)①、①②和①②③，甚至一次融合的網(wǎng)絡(luò)④的結(jié)果要好于3次融合的①②③．這可能是由于隨著網(wǎng)絡(luò)層數(shù)的加深，網(wǎng)絡(luò)學(xué)習(xí)到的特征更抽象，更能表示出圖像中的關(guān)鍵性信息．因此更深層次的融合對(duì)評(píng)價(jià)準(zhǔn)確性的貢獻(xiàn)更大．但是網(wǎng)絡(luò)③④、②③④和①②③④的評(píng)價(jià)效果要好于網(wǎng)絡(luò)④，這也說明淺層的融合對(duì)網(wǎng)絡(luò)性能的提升同樣有幫助．

表5?不同融合位置性能比較

Tab.5 Performance of the proposed method at different fusion locations

3.6?不同融合方式網(wǎng)絡(luò)性能比較

為了比較不同融合方式對(duì)網(wǎng)絡(luò)性能的影響，表6展示了采用不同方式進(jìn)行融合的網(wǎng)絡(luò)性能的結(jié)果對(duì)比．從表6中可以看出，Concat融合方式要明顯優(yōu)于Eltwise的融合方式．Eltwise融合方式對(duì)于左右通道的特征圖分配了相同的權(quán)重，而Concat融合方式通過網(wǎng)絡(luò)的學(xué)習(xí)，左右通道的特征圖會(huì)被分配不同的權(quán)重．在雙目融合的過程中，左右視覺信號(hào)應(yīng)該根據(jù)自己的能量刺激和對(duì)方的能量刺激自動(dòng)調(diào)節(jié)，從而分配不同的權(quán)重[22]．顯然，Concat融合方式更加符合雙目融合特性．通過網(wǎng)絡(luò)的學(xué)習(xí)，左右視圖通道的權(quán)重將被自動(dòng)調(diào)節(jié)，這不僅適合于評(píng)價(jià)對(duì)稱失真立體圖像，更適合于評(píng)價(jià)雙目競(jìng)爭(zhēng)現(xiàn)象更為劇烈的非對(duì)稱失真立體圖像．這也是本文方法在對(duì)稱和非對(duì)稱失真立體圖像上具有良好表現(xiàn)的原因之一．

表6?不同融合方式性能比較

Tab.6 Performance of the proposed method with differ-nt fusion ways

4?結(jié)?語

本文提出了一種能夠更好地模擬視覺通路的立體圖像質(zhì)量評(píng)價(jià)模型．雙目融合網(wǎng)絡(luò)中的多通道結(jié)構(gòu)、分層的卷積與左右視圖的多次融合模擬了立體圖像在視覺通路中并行的分層的復(fù)雜融合與處理的過程．網(wǎng)絡(luò)中最后的全連接層模擬了對(duì)復(fù)雜處理后的信息進(jìn)行綜合并做出質(zhì)量決策的過程．實(shí)驗(yàn)結(jié)果表明，本文所提出的雙目融合網(wǎng)絡(luò)在對(duì)稱和非對(duì)稱失真的立體圖像上的表現(xiàn)都十分優(yōu)秀，這也反映了本文提出的模型可以較好地模擬視覺通路中復(fù)雜的信息處理過程．

［1］ Xing L，You J，Ebrahimi T，et al. Assessment of stereoscopic crosstalk perception[J]. IEEE Transactions on Multimedia，2012，14(2)：326-337.

［2］ Chen M，Cormack L K，Bovik A C. No-reference quality assessment of natural stereopairs[J]. IEEE Transactions on Image Processing，2013，22(9)：3379-3391.

［3］ You H，Xing L，Perkis A，et al. Perceptual quality assessment for stereoscopic images based on 2D image quality metrics and disparity analysis[C]// 5th International Workshop on Video Processing and Quality Metrics for Consumer Electronics. Scottsdale，Arizona，USA，2010：1-6.

［4］ Bosc E，Repion R，Le Callet P，et al. Towards a new quality metric for 3-D synthesized view assessment[J]. IEEE Journal of Selected Topics in Signal Processing，2011，5(7)：1332-1343.

［5］ Xu X，Zhao Y，Ding Y. No-reference stereoscopic image quality assessment based on saliency-guided binocular feature consolidation[J]. Electronics Letters，2017，53(22)：1468-1470.

［6］ Ma J，An P，Shen L，et al. Reduced-reference stereoscopic image quality assessment using natural scene statistics and structural degradation[J]. IEEE Access，2018，6：2768-2780.

［7］ Shao F，Li K，Lin W，et al. Using binocular feature combination for blind quality assessment of stereoscopic images[J]. IEEE Signal Processing Letters，2015，22(10)：1548-1551.

［8］ Jiang G，Shao F，Li K，et al. Joint structure-texture sparse coding for quality prediction of stereoscopic images[J]. Electronics Letters，2015，51(24)：1994-1995.

［9］ Shao F，Li K，Lin W，et al. Learning blind quality evaluator for stereoscopic images using joint sparse representation[J]. IEEE Transactions on Multimedia，2016，18(10)：2104-2114.

［10］ Yang J，Jiang B，Song H，et al. No-reference stereoimage quality assessment for multimedia analysis towards Internet-of-things[J]. IEEE Access，2018，6：7631-7640.

［11］ Ding Y，Deng R，Xie X，et al. No-reference stereoscopic image quality assessment using convolutional neural network for adaptive feature extraction[J]. IEEE Access，2018，6：37595-37603.

［12］ Lü Y，Yu M，Jiang G，et al. No-reference stereoscopic image quality assessment using binocular self-similarity and deep neural network[J]. Signal Processing：Image Communication，2016，47：346-357.

［13］ Sang Q，Gu T，Li C，et al. Stereoscopic image quality assessment via convolutional neural networks[C]// International Smart Cities Conference. Wuxi，China，2017：1-2.

［14］ Lu K，Liu X. Stereoscopic image quality assessment based on cyclopean image[C]// 2016 IEEE International Conference on Internet of Things(iThings)and IEEE Green Computing and Communications(GreenCom)and IEEE Cyber，Physical and Social Computing(CPSCom) and IEEE Smart Data(SmartData). Chengdu，China，2016：750-753.

［15］ Lin Y，Yang J，Lu W，et al. Quality index for stereoscopic images by jointly evaluating cyclopean amplitude and cyclopean phase[J]. IEEE Journal of Selected Topics in Signal Processing，2017，11(1)：89-101.

［16］ Karimi M，Nejati M，Soroushmehr M R，et al. Blind stereo quality assessment based on learned features from binocular combined images[J]. IEEE Transactions on Multimedia，2017，19(11)：2475-2489.

［17］ Li S，Han X，Chang Y. Adaptive cyclopean image based stereoscopic image quality assessment using ensemble learning[J]. IEEE Transactions on Multimedia，2019，21(10)：2616-2624.

［18］ Yang J，Sim K，Gao X，et al. A blind stereoscopic image quality evaluator with segmented stacked autoencoders considering the whole visual perception route[J]. IEEE Transactions on Image Processing，2019，28(3)：1314-1328.

［19］ Li Y，Yang F，Wan W，et al. No-reference stereoscopic image quality assessment based on visual attention and perception[J]. IEEE Access，2019，7：46706-46716.

［20］ Liu T，Lin C，Liu H，et al. Blind stereoscopic image quality assessment based on hierarchical learning[J]. IEEE Access，2019，7：8058-8069.

［21］ Yang J，Sim K，Lu W，et al. Predicting stereoscopic image quality via stacked auto-encoders based on stereopsis formation[J]. IEEE Transactions on Multimedia，2019，21(7)：1750-1761.

［22］ Liu Y，Kong F，Zhen Z. Toward a quality predictor for stereoscopic images via analysis of human binocular visual perception[J]. IEEE Access，2019，7：69283-69291.

［23］ 林崇德，楊治良，黃希庭. 心理學(xué)大辭典[M]. 上海：教育出版社，2003.

Lin Chongde，Yang Zhiliang，Huang Xiting. Psychological Dictionary[M]. Shanghai：Education Press，2003(in Chinese).

［24］ Wilson-Pauwels L. Cranial Nerves[M]. Shelton：People’s Medical Publishing House Press，2010.

［25］ Holden A L. Chapter 15 the Central Visual Pathways[EB/OL]. http：//www. docin. com/p-1774332014. html，1977-11-01.

［26］ Snowden R J，Thompson P，Troscianko T. Basic Vision：An Introduction to Visual Perception[M]. London：Oxford University Press，2006.

［27］ Tong F，Meng M，Blake R. Neural bases of binocular rivalry[J]. Trends in Cognitiveences，2006，10(11)：502-511.

［28］ Ding J，Sperling G. A gain-control theory of binocular combination[J]. Proceedings of the National Academy of Sciences，2006，103(4)：1141-1146.

Stereo Image Quality Assessment Based on Binocular Fusion Network

Li Sumei，Han Yongtian，Ma Shuai，Han Xu

(School of Electrical and Information Engineering，Tianjin University，Tianjin 300072，China)

Stereo image quality assessment provides technical support for the development and application of 3D technologies. The construction of a stereo image quality assessment model that is more in line with the stereo visual cognition mechanism based on the characteristics of stereo images has become one of the key issues in this field. Existing stereo image quality evaluation methods either process the left and right images respectively and then combine their quality to derive the stereo image quality score，or first fuse the left and right images to get the fusion image and then evaluate the planar fusion image to derive the stereo image quality score. In fact，the processing of stereo visual signals in the brain is a long-term process of complex fusion and processing，and finally completes the cognition and judgment of visual signals in the visual cortex. Inspired by the stereo visual transmission pathway in the brain，a stereo image quality assessment model based on the binocular fusion network is proposed in this study，which realizes multiple fusion and processing of binocular information，and simulates the brain’s visual pathway for processing and judging binocular information. The convolutional neural network model includes the left view channel，the right view channel and the fusion channel，which simulates the hierarchical and parallel processing of visual information in the visual pathway. The left and right view channels have multiple interactions in the network，which simulates the multiple fusion and processing in the visual pathway. Three fully connected layers are set at the end of the network，which simulates the complex quality judgment process after information fusion and processing in the visual pathway. Experiments are conducted on two public stereo image databases，namely LIVE 3D Phase I and LIVE 3D Phase II，and the experimental results show that the proposed method outperforms other methods in both symmetric and asymmetric distorted stereo images，and shows better universality.

image quality assessment；stereo image；stereo visual；binocular fusion

TN911.73

A

0493-2137(2020)10-1086-07

10.11784/tdxbz201908005

2019-08-03；

2019-12-21.

李素梅（1975—??），女，博士，副教授，lisumei@tju.edu.cn.

韓永甜，han_yt9@163.com.

國(guó)家自然科學(xué)基金資助項(xiàng)目(61571325，61002028，61520106002).

Supported by the National Natural Science Foundation ofChina(No. 61571325，No. 61002028，No. 61520106002).

(責(zé)任編輯：王曉燕)