宋 超,王瑞光,馮英翹,2
(1.中國(guó)科學(xué)院 長(zhǎng)春光學(xué)精密機(jī)械與物理研究所,吉林 長(zhǎng)春 1300332.中國(guó)科學(xué)院大學(xué),北京 100049)
隨著計(jì)算機(jī)、多媒體和顯示技術(shù)的不斷發(fā)展,各種彩色顯示設(shè)備如CRT顯示器、LCD顯示器、OLED 顯示器、PDP 顯示器和 LED 顯 示 屏[1-2]等在人們的生活生產(chǎn)中得到了廣泛使用。由于各種顯示器的顏色顯示原理和參數(shù)配置不盡相同,彩色圖像在傳遞和復(fù)現(xiàn)過(guò)程中均存在不同程度的跨媒體顏色復(fù)現(xiàn)問(wèn)題,而在不同顯示器之間使彩色圖像能夠盡量保持顏色復(fù)現(xiàn)一致性必須進(jìn)行色域映射處理。
目前的色域映射算法可以分為3類:第1類根據(jù)源設(shè)備和目標(biāo)設(shè)備的色域邊界相對(duì)位置關(guān)系設(shè)計(jì)色域映射算法,運(yùn)算速度較快但不具備圖像適應(yīng)性,會(huì)導(dǎo)致圖像細(xì)節(jié)或整體的色彩對(duì)比度損失[3];第2類算法以源圖像色域作為源色域,以保持圖像空間細(xì)節(jié)特征為目標(biāo)設(shè)計(jì)映射算法,這類算法可以獲得更佳的匹配效果,但存在運(yùn)算量大等問(wèn)題;第3類根據(jù)圖像類型或者某些圖像特征,在已有的色域映射算法中選擇一種最合適的方法,圖像質(zhì)量得到較好的改善。
本文對(duì)第3類算法思路進(jìn)一步發(fā)展,提出了一種基于圖像質(zhì)量評(píng)價(jià)和圖像分割-融合策略的色域映射算法。首先選取幾種不同類型的色域映射算法并對(duì)源圖像完成色域映射。然后將源圖像進(jìn)行圖像分割,使用圖像質(zhì)量評(píng)價(jià)算法計(jì)算每個(gè)分塊內(nèi)各個(gè)映射圖像與源圖像的相似度。根據(jù)每個(gè)圖像分塊的相似度,在每個(gè)分塊內(nèi)對(duì)基本色域映射圖像進(jìn)行選擇綜合處理并融合成最終圖像,從而達(dá)到提高整幅圖像色域映射效果的目的。
色域壓縮類算法可以分為順序壓縮類、同時(shí)壓縮類和綜合壓縮類等壓縮方式。順序壓縮類算法如LLIN、LNLIN和LSLIN等,這3種色域映射算法都是首先進(jìn)行明度壓縮,且明度壓縮算法相同,然后使用不同方式的彩度壓縮映射。同時(shí)壓縮算法是指在等色相面內(nèi),向著明度軸上選定的一個(gè)中心點(diǎn)對(duì)明度和彩度同時(shí)進(jìn)行色域壓縮,如SLIN算法和CUSP算法等。綜合壓縮算法如CIE推薦的SGCK算法等。
在Morovic所做的視覺(jué)評(píng)價(jià)實(shí)驗(yàn)[3]中,通過(guò)對(duì)比CUSP算法、SLIN算法和LLIN、LSLIN、LNLIN算法的總體復(fù)現(xiàn)效果,證明了同時(shí)壓縮算法要優(yōu)于順序壓縮算法。同時(shí)壓縮算法更多的保持了高彩度區(qū)域的顏色,但該算法在深色和消色軸上過(guò)多的明度壓縮使部分區(qū)域復(fù)現(xiàn)效果較差。SGCK等綜合算法則同時(shí)兼顧了同時(shí)壓縮算法和順序壓縮算法的特點(diǎn)和優(yōu)勢(shì),在深色區(qū)和消色區(qū)采用明度壓縮以減少該部分顏色明度過(guò)多的壓縮,而在高彩度區(qū)域采用同時(shí)壓縮算法以盡量保持彩度不變。本文中選用SGCK作為一種基本色域映射算法。
色域剪切算法是指用目標(biāo)色域邊界上的顏色來(lái)代替目標(biāo)色域外顏色的色域映射方式。此類算法的優(yōu)點(diǎn)是可以使目標(biāo)色域內(nèi)顏色保持不變。常見(jiàn)的剪切類算法如LCLIP算法和CIE推薦的HPMinDE算法。
HPMinDE是CIE推薦的一種剪切類算法。HPMinDE算法的原理如圖1所示。在等色相面上對(duì)應(yīng)的色域中,實(shí)線部分與L*軸所圍三角形區(qū)域?yàn)樵丛O(shè)備對(duì)應(yīng)色域。對(duì)于待映射圖像處于目標(biāo)色域中的顏色,其色域映射后的顏色與源圖像顏色相同;而對(duì)于處于目標(biāo)色域邊界外的顏色,需要沿著等色相面將其映射到目標(biāo)色域邊界上與源顏色色差最小的點(diǎn)。例如圖1中從點(diǎn)O映射到點(diǎn)R。
圖1 HPMinDE算法示意圖Fig.1 HPMinDE algorithm schematic
HPMinDE映射后顏色與源顏色的色差最小,同時(shí)色調(diào)一致性較好。本文選用HPMinDE算法為第二種基本色域映射算法。
該類算法可以分成細(xì)節(jié)補(bǔ)償法和最優(yōu)化法。最優(yōu)化法需要進(jìn)行迭代運(yùn)算,消耗大量的時(shí)間資源,實(shí)踐中應(yīng)用較少。細(xì)節(jié)補(bǔ)償法是在色域剪切或者色域壓縮類算法的基礎(chǔ)上,再在初始映射圖像中添加源圖像的空間細(xì)節(jié)部分,達(dá)到提高色域映射效果的目的。Bonnier[4]對(duì)局部亮度保持法、迭代濾波法和Retinex模型法進(jìn)行的主觀實(shí)驗(yàn)結(jié)果表明,保持圖像細(xì)節(jié)特征類算法比CIE推薦的算法具有一致優(yōu)越的色域映射效果。
Zoliker[5]的保持局部對(duì)比度法在基本色域剪切或色域映射類算法的基礎(chǔ)上,使用其提出的邊緣保護(hù)高斯濾波方法[6],增加源圖像的局部對(duì)比度信息,在運(yùn)算時(shí)間和提高色域映射效果上獲得了良好的平衡。其主觀評(píng)價(jià)實(shí)驗(yàn)證明,保持局部對(duì)比度法比CIE推薦的兩種色域映射方法具有更好的映射效果。
本文選用基于SGCK的保留局部對(duì)比度法和基于HPMinDE的保留局部對(duì)比度法作為本文的兩種基本色域映射算法,分別命名為CONTRAST-S和CONTRAST-H。
傳統(tǒng)圖像質(zhì)量評(píng)價(jià)算法僅僅使用亮度信息或者未能正確處理圖像中的顏色信息[7],它們?cè)谏蛴成涫д鎴D像上的性能需進(jìn)一步提高。本文在FSIM算法[8]的基礎(chǔ)上,提出了一種能夠提高色域映射失真圖像預(yù)測(cè)準(zhǔn)確性的圖像質(zhì)量評(píng)價(jià)方法。首先將源圖像和映射圖像轉(zhuǎn)換到CIELAB均勻顏色空間中。對(duì)圖像的明度分量,提取分別相位一致性信息和梯度信息作為圖像特征。對(duì)圖像彩度和色調(diào)分量,根據(jù)色域映射的特點(diǎn),分別提取彩度和色調(diào)分量的彩度差和色調(diào)差作為圖像的另外兩個(gè)圖像特征。
根據(jù)FSIM算法,明度圖像在像素位置i處的相位一致性特征為
同樣使用Scharr算子提取圖像在每個(gè)像素位置處的梯度特征G(i)。則源圖像O和映射圖像R的相位一致性特征和梯度特征相似性分別定義為:
其中:Q1和Q2均為正實(shí)數(shù),其作用為分別提高SPC和SG的穩(wěn)定性。
取源圖像O和映射圖像R相位一致性的最大值作為權(quán)重,用于圖像明度分量的相似性度量。圖像明度分量的相似性權(quán)重定義為
式中:α和β用來(lái)表示PC特征和梯度特征重要性的參數(shù)。
色相是感知和辨別顏色中最主要的顏色屬性。大部分色域映射算法都是以保持色相不變?yōu)樵瓌t,并且基本上都是在CIELAB均勻顏色空間中保持色相角不變來(lái)實(shí)現(xiàn),然后在明度和彩度分量上進(jìn)行顏色映射。
為了表征色域映射圖像與源圖像在彩度和色相分量的相似性,分別提取源圖像和映射圖像在像素位置i 的彩度差和色調(diào)差
其中:C (O,i)、C (R,i)分別為源圖像和映射圖像在像素i的彩度分量,a (O,i)、a (R,i)、b (O,i)、b(R,i)分別為對(duì)源圖像和映射圖像在CIELAB均勻顏色空間中分解對(duì)應(yīng)的a和b分量。C (O,i)、C (R,i)使用以下公式計(jì)算:
圖像彩度分量和色相分量的相似性定義為
其中:參數(shù)Q3和Q4用于調(diào)整所檢測(cè)的彩度差和色相差大小。
將所有相似性定義結(jié)合在一起,即可得到源圖像O和映射圖像R的相似值如下
使用已有色域映射算法主觀對(duì)比實(shí)驗(yàn)中形成的3 個(gè) 圖 像 集 Basic Study、Local Contrast和Image Gamut[9],作為 GMSIM 算法參數(shù)調(diào)試和性能驗(yàn)證的圖像源。這幾個(gè)圖像集包含約15種色域映射算法及其組合,共有234幅源圖像,2136幅色域映射圖像,共有14106次有效主觀對(duì)比評(píng)價(jià)。對(duì)各種圖像質(zhì)量評(píng)價(jià)算法得到的結(jié)果進(jìn)行命中率分析,如表1所示。
表1 圖像質(zhì)量評(píng)價(jià)算法命中率對(duì)比Tab.1 Hit rates comparison for IQAs
從表1可以看出,S-CIELAB在預(yù)測(cè)色域映射失真圖像主觀評(píng)價(jià)的效果很差,比完全隨機(jī)預(yù)測(cè)略好,而傳統(tǒng)的SSIM和FSIM算法的預(yù)測(cè)準(zhǔn)確性已經(jīng)比較高。本文提出的GMSIM算法的預(yù)測(cè)性能比SSIM和FSIM算法有了較大的提高,比SSIM算法運(yùn)算結(jié)果提高了約4.5%。
本文選用SLIC超像素分割算法[10]用于源圖像的分割。SLIC(simple linear iterative clustering)超像素分割算法,是一種簡(jiǎn)單的線性迭代聚類算法,具有原理簡(jiǎn)單、計(jì)算效率高、占用內(nèi)存資源少和能夠較好得保留圖像邊界夠優(yōu)點(diǎn)。該算法以CIELAB均勻顏色空間中的顏色相似距離和二維空間距離進(jìn)行加權(quán),不斷進(jìn)行迭代,最終實(shí)現(xiàn)該圖像的超像素分割,能夠?qū)D像分割為圖像顏色特征區(qū)別較大的分塊。
文中使用VLFeat中對(duì)SLIC算法的實(shí)現(xiàn)方式。圖2為使用不同參數(shù)設(shè)置組合對(duì)SKI圖像進(jìn)行圖像分割,形成的超像素分割對(duì)比圖。
從圖可以看出,為了獲得良好的效果,在使用SLIC算法進(jìn)行超像素分割時(shí)需要對(duì)參數(shù)進(jìn)行合理的設(shè)置。
圖2 不同參數(shù)設(shè)置對(duì)應(yīng)的超像素圖Fig.2 Superpixel maps with different configurations
首先分別使用SGCK算法、HPMinDE算法、CONTRAST-S算法和CONTRAST-H算法等4種色域映射算法對(duì)源圖像O完成色域映射,獲得4幅初始映射圖像R(j),j=1,…,4。
對(duì)源圖像在CIELAB均勻顏色空間中,使用SLIC超像素分割算法進(jìn)行圖像分割,獲得超像素標(biāo)簽圖labelMap。labelMap標(biāo)記了對(duì)源圖像進(jìn)行分割的情況,屬于同一個(gè)超像素的像素在labelMap標(biāo)記為相同的數(shù)字,label取值范圍為label∈ [0,maxLabel],其中maxLabel為標(biāo)簽圖中的最大值,對(duì)應(yīng)于該圖像中的超像素個(gè)數(shù)。記具有相同label的像素個(gè)數(shù)為nlabel,由于每個(gè)超像素的大小不同,所以每個(gè)label中像素的個(gè)數(shù)不盡相同。
對(duì)源圖像和4幅映射圖像在CIELAB均勻顏色空間中使用GMSIM圖像質(zhì)量評(píng)價(jià)算法分別進(jìn)行相似性運(yùn)算,對(duì)每幅映射圖像分別得到圖像明度、彩度和色相分量的相似圖SL(j,i)、SC(j,i)和SH(j,i)i=1,…,N表示圖像中像素的位置。根據(jù)超像素標(biāo)簽圖labelMap,分別計(jì)算每個(gè)標(biāo)簽對(duì)應(yīng)的4個(gè)映射超像素與源超像素的相似值:
為了在每個(gè)標(biāo)簽內(nèi)提高相應(yīng)超像素的色域映射效果,首先在同一個(gè)標(biāo)簽內(nèi)對(duì)4個(gè)超像素相似值取平均值,得到平均相似值
如果超像素相似值S (j,label)不小于平均相似值,則該超像素相似值置為S (j,label)-S(label);反之,如果超像素相似值S(j,label)小于平均相似值,則該超像素相似值置為0。這樣在每個(gè)標(biāo)簽內(nèi),得到4個(gè)超像素權(quán)重值為W(j,label)。在每個(gè)標(biāo)簽內(nèi),將對(duì)應(yīng)的超像素權(quán)重值(j,label)除以該標(biāo)簽內(nèi)的像素個(gè)數(shù)nlabel,得到該標(biāo)簽內(nèi)每個(gè)像素的權(quán)重值,也即得到4幅權(quán)重圖(j,i)為
為了減少融合后的色塊現(xiàn)象,使用引導(dǎo)圖像濾波器[11]對(duì)4種基本色域映射算法對(duì)應(yīng)的權(quán)重圖(j,i)進(jìn)行平滑濾波,得到對(duì)應(yīng)的平滑權(quán)重圖F (j,i)。引導(dǎo)濾波算法能夠避免傳統(tǒng)的雙邊濾波中的梯度反轉(zhuǎn)偽影現(xiàn)象,而且運(yùn)算效率得到很大提高。對(duì)4幅平滑權(quán)重圖的相同位置像素的平滑權(quán)重值歸一化處理,得到4幅歸一化權(quán)重圖W (j,i)為
最后根據(jù)歸一化權(quán)重圖,直接對(duì)4幅色域映射圖像的每個(gè)像素進(jìn)行權(quán)重乘加運(yùn)算,得到最終的映射圖像
本文選擇SKI圖像并分別采用文中使用的4種算法,以及本文給出的色域映射算法一共5種算法,將圖像從LED顯示屏映射到LCD顯示器上進(jìn)行主觀評(píng)價(jià)實(shí)驗(yàn)。對(duì)比實(shí)驗(yàn)所用圖像如圖3所示。
圖3 主觀實(shí)驗(yàn)所用圖像Fig.3 Image used in the subjective evaluation
對(duì)比實(shí)驗(yàn)裝置如圖4所示,其中顯示屏上的橫紋是由于LED的顯示刷新率不夠造成的,使用數(shù)碼相機(jī)拍攝時(shí)會(huì)形成此類橫紋現(xiàn)象,但人眼不會(huì)察覺(jué)這種現(xiàn)象,因此對(duì)主觀評(píng)價(jià)實(shí)驗(yàn)幾乎沒(méi)有影響。
圖4 主觀實(shí)驗(yàn)裝置Fig.4 Subjective evaluation devices
在對(duì)比中使用希達(dá)公司點(diǎn)間距為1.875mm的LED顯示屏,顯示器為AOC的58cm(23in)型號(hào)為E231F液晶顯示器。由于LED顯示屏的尺寸比實(shí)驗(yàn)中使用的液晶顯示器尺寸大,所以LED顯示器放在液晶顯示器的后方,且人眼離液晶顯示器的距離要比LED顯示屏的距離要近。
由于數(shù)碼相機(jī)分辨率和使用數(shù)碼相機(jī)對(duì)顯示器進(jìn)行采集時(shí)產(chǎn)生的摩爾條紋問(wèn)題,數(shù)碼相機(jī)采集的圖像在細(xì)節(jié)上很難分辨。因此在文中給出圖像在5種算法映射到LCD上未經(jīng)數(shù)碼相機(jī)采集的圖像部分放大圖,以評(píng)價(jià)本文算法色域映射效果以及在消除色塊方面的效果。然后給出圖像在5種算法映射到LCD上為經(jīng)數(shù)碼相機(jī)采集的完整圖像及相應(yīng)的主觀實(shí)驗(yàn)評(píng)價(jià)結(jié)果。
源圖像在5種映射算法后,部分放大圖映射結(jié)果如圖5所示,完整圖像如圖6所示。在上述兩組圖像中,每組圖像的上左1為SGCK映射圖像,下左1為HPMinDE映射圖像;上左2為CONTRAST-S映射圖像,下左2為 CONTRAST-H映射圖像;上左3為本文色域映射算法處理后的圖像,下左3為源圖像。
圖5 SKI色域映射局部放大對(duì)比圖Fig.5 Local enlarged images for mapped SKI
圖6 SKI色域映射對(duì)比圖Fig.6 Gamut mapping images for SKI
本章中給出的成對(duì)比較法對(duì)這幾種色域映射算法進(jìn)行評(píng)價(jià),10個(gè)色覺(jué)正常的觀察者參與了該實(shí)驗(yàn)并分別重復(fù)2次,將2次的實(shí)驗(yàn)結(jié)果轉(zhuǎn)換為對(duì)應(yīng)95%置信區(qū)間的z分?jǐn)?shù)以定量比較這幾種算法的性能,圖7為對(duì)應(yīng)z分?jǐn)?shù)。
圖7 SKI色域映射z分?jǐn)?shù)評(píng)價(jià)Fig.7 zscores for mapped images
從SKI圖像的各種色域映射算法處理的局部放大圖和完整的色域映射圖及相應(yīng)的z分?jǐn)?shù),可以看出本文算法的色域映射效果要明顯高于各種基本算法。本文基于圖像質(zhì)量評(píng)價(jià)和圖像分割-融合策略的色域映射思路,能夠選擇綜合利用各類色域映射算法的優(yōu)點(diǎn),提高色域映射效果,但在應(yīng)用中要注意基本色域映射算法的選擇以及防止在圖像分割-融合過(guò)程中產(chǎn)生色塊現(xiàn)象。
相對(duì)于基本色域映射算法,本文所提出的算法需要額外進(jìn)行圖像質(zhì)量評(píng)價(jià)和圖像分割等步驟,增加了運(yùn)算時(shí)間,在實(shí)際應(yīng)用中可選擇更高效的圖像處理算法和采用并行處理算法等措施以減少時(shí)間消耗。
本文對(duì)基于圖像質(zhì)量評(píng)價(jià)的色域映射算法展開(kāi)了研究,并以LED顯示屏和LCD顯示器為例對(duì)算法進(jìn)行了驗(yàn)證。首先詳細(xì)分析了各類色域映射算法的特點(diǎn)并進(jìn)行了比較。提出了一種基于GMSIM圖像質(zhì)量評(píng)價(jià)算法和SLIC超像素圖像分割與權(quán)重圖融合的色域映射算法。對(duì)本文提出的算法和其他基本色域映射算法進(jìn)行主觀評(píng)價(jià)實(shí)驗(yàn),結(jié)果證明本文算法在圖像顏色保真效果上明顯優(yōu)于其他算法,但是在計(jì)算速度上仍有待優(yōu)化。
[1]宋超,王瑞光,馮英翹.LED大屏幕顯示校正系數(shù)配置系統(tǒng)[J].液晶與顯示,2013,28(3):392-397.Song C,Wang R G,F(xiàn)eng Y Q.Display calibration coefficient configuration system used in LED panel[J].Chinese Journal of Liquid Crystals and Displays,2013,28(3):392-397.(in Chinese)
[2]宋超,王瑞光,陳宇,等.LED顯示屏色域邊界的快速計(jì)算 [J].發(fā)光學(xué)報(bào),2013,34(7):924-929.Song C,Wang R G,Chen Y,et al.Fast calculation of color gamut boundary for LED display panel[J].Chinese Journal of Luminescence,2013,34(7):924-929.(in Chinese)
[3]Morovic J,Luo M R.The fundamentals of gamut mapping:A survey[J].Journal of Imaging Science and Technology,2001,45(3):283-290.
[4]Bonnier N,Schmitt F,Brette H,et al.Evaluation of spatial gamut mapping algorithms [C].14th Color and Imaging Conference Final Program and Proceedings,2006:56-61.
[5]Zoliker P,Simon K.Retaining local image information in gamut mapping algorithms [J].IEEE Transactions on Image Processing,2007,16(3):664-672.
[6]Bala R,de Queiroz R,Eschbach R,et al.Gamut mapping to preserve spatial luminance variations[C].Proceeding of IS&T and SID’s 8thColor Imaging Conference:Color Science and Engineering,2000:122-126.
[7]王宇慶.局部方差在圖像質(zhì)量評(píng)價(jià)中的應(yīng)用[J].中國(guó)光學(xué),2011,4(5):531-536.Wang Y Q.Application of local variance in image quality assessment[J].Chinese Optics,2011,4(5):531-536.(in Chinese)
[8]Zhang L,Zhang L,Mou X,et al.FSIM:A feature similarity index for image quality assessment[J].IEEE Transactions on Image Processing,2011,20(8):2378-2386.
[9]Lichtenauer M S,Zoliker P,Lissner I,et al.Learning image similarity measures from choice data[C].Conference on Color in Graphics,Imaging,and Vision,CGIV2012 Final Program and Proceedings,2012:24-30.
[10]Achanta R,Shaji A,Smith K,et al.SLIC Superpixels compared to state-of-the-art superpixel methods[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(11):2274-2282.
[11]He K,Sun J,Tang X.Guided image filtering[C].11thEuropean Conference on Computer Vision,Greece,2010:1-14.