張 磊,李亞妮,陸呂晨,呂國強(qiáng),*
(1.合肥工業(yè)大學(xué) 特種顯示技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室 特種顯示技術(shù)國家工程實(shí)驗(yàn)室現(xiàn)代顯示技術(shù)省部共建國家重點(diǎn)實(shí)驗(yàn)室,安徽 合肥 230009;2.合肥工業(yè)大學(xué) 計算機(jī)與信息學(xué)院,安徽 合肥 230009;3.合肥工業(yè)大學(xué) 儀器科學(xué)與光電工程學(xué)院,安徽 合肥 230009;4.合肥工業(yè)大學(xué) 光電技術(shù)研究院,安徽 合肥 230009)
目前主流的顯示技術(shù)是液晶顯示技術(shù),液晶顯示器主要包括背光源和液晶面板,背光源是整機(jī)耗能最大的部分。伴隨著液晶顯示技術(shù)的廣泛應(yīng)用,節(jié)能及畫質(zhì)提升成為液晶顯示技術(shù)改進(jìn)的主要方向。而調(diào)光技術(shù)是集節(jié)能與畫質(zhì)提升于一身的最佳技術(shù)之一。
調(diào)光算法主要包括兩個部分:背光調(diào)光和圖像補(bǔ)償。背光調(diào)光是依據(jù)輸入的圖像確定背光等級并調(diào)節(jié)背光輸出,通過降低背光輸出來實(shí)現(xiàn)節(jié)能。圖像補(bǔ)償是為了補(bǔ)償由于背光降低導(dǎo)致的圖像失真而對輸入圖像進(jìn)行的補(bǔ)償處理,通過增大像素的灰度等級來補(bǔ)償背光下降引起的圖像失真。經(jīng)過近年來的研究和發(fā)展,已經(jīng)提出了許多應(yīng)用于LED(Light-emitting Diode,LED)液晶顯示器背光調(diào)光算法,包括最大值法[1]、平均值法[2]、映射曲線反轉(zhuǎn)法[3-4]和 CDF(Cumulative Distribution Function,CDF)閾值法[5-6]等。最大值法節(jié)能率最低但是圖像失真最?。黄骄捣ü?jié)能率最高但是圖像失真過大。映射曲線反轉(zhuǎn)法依賴圖像的灰度分布和對應(yīng)參數(shù)選取,對于灰度分布不均勻的圖像難以取得較好效果。CDF閾值法節(jié)能率較高同時圖像失真較小,但是對偏暗圖像失真較嚴(yán)重。
本文提出了一種調(diào)光算法,基于輸入圖像灰度直方圖和主灰度來確定背光,可以較好地平衡圖像處理引入失真與節(jié)能率的矛盾,實(shí)現(xiàn)了節(jié)能率較高且圖像處理后失真較少的目標(biāo)。
本文算法是依據(jù)輸入圖像的特征來選取背光。算法分為3個步驟:(1)將輸入圖像按圖像像素灰度的平均值分為3種類型;(2)統(tǒng)計圖像的灰度直方圖和主灰度等特征值用于背光確定;(3)使用多元回歸分析方法確定背光公式系數(shù),再依據(jù)公式計算背光調(diào)光亮度。
為了進(jìn)一步提高節(jié)能率,改善處理后圖像畫質(zhì),將圖像依據(jù)平均灰度mean,按公式(1)映射為低亮度、中等亮度和高亮度3種類型。為了降低圖像補(bǔ)償中出現(xiàn)的溢出,本文灰度定義如公式(2)所示,取一個像素的紅色像素亮度值R,綠色像素亮度值G和藍(lán)色像素亮度值B中最大值作為灰度gray。
式中:當(dāng)mean在[0,120]之間時,圖像屬于低亮度圖像。當(dāng)mean在[120,200]之間時,圖像屬于中亮度圖像。當(dāng)mean在[200,255]之間時,圖像屬于高亮度圖像。平均灰度mean范圍通過仿真實(shí)驗(yàn)來確定。
算法使用到的圖像特征值包括:灰度值LH70,該參數(shù)是依據(jù)灰度直方圖計算出的灰度值,表示輸入圖像中70%的像素灰度值都小于等于該值。該參數(shù)反映圖像的基本背光需求;輸入圖像最大值和平均值的差值Ldiff,該參數(shù)反映了背光可以調(diào)節(jié)的范圍,因此該參數(shù)是確定背光的重要指標(biāo);灰度直方圖中占比最大的灰度Hcolor1和灰度直方圖中占比次大的灰度Hcolor2,這兩個參數(shù)反映了圖像的主要灰度變化趨勢,是圖形中比較關(guān)鍵的信息,可以對背光進(jìn)行有效地修正。圖1是某幅圖像的灰度直方圖,將圖中從灰度0到灰度100每級灰度對應(yīng)的像素個數(shù)累加和記為H70。H70大于整幅圖像總像素個數(shù)的70%。因此LH70為100。而Hcolor1是圖1中最高縱向條紋對應(yīng)的灰度,即占比最大的灰度。Hcolor2是圖1中次高縱向條紋對應(yīng)的灰度,即占比次大的灰度。
圖1 圖像特征值說明圖Fig.1 Illustration of image characteristic values
背光公式的系數(shù)確定過程分為3步:(1)選取100幅測試圖像,通過仿真調(diào)整每幅圖像的背光,確定一個適合該圖像的最優(yōu)背光范圍(比如[175,195]),然后取該范圍的平均值為最優(yōu)背光值BLS;(2)統(tǒng)計100幅圖像的特征,包括LH70、Ldiff、Hcolor1和 Hcolor2;(3)采用多元線性回歸分析方法[7],使用最小二乘法擬合數(shù)據(jù),求取公式(3)中參數(shù)b0、b1、b2和b3:
考慮到圖像依據(jù)平均灰度mean劃分為低亮度、中亮度、高亮度3種類型,所以對每種類型的圖像分別求取擬合參數(shù)。此外由于高亮度圖像中Hcolor1和Hcolor2參數(shù)對背光選擇影響較小,因此高亮圖像的背光公式中不包含這兩個參數(shù)。最終的背光公式如公式(4)所示:
本文選取30幅典型圖像進(jìn)行仿真測試。其中10幅圖像來自柯達(dá)圖庫(Kodak True Color Image Suite)[8],其余的圖像則是補(bǔ)充的低亮度和高亮度圖像,如圖2所示,其中第二行的圖像均取自柯達(dá)圖庫。所有圖像都使用線性插值法放大為1920×1080全高清圖像。算法仿真中對圖像像素的補(bǔ)償均采用文獻(xiàn)[9-10]中提及的像素補(bǔ)償方法來實(shí)現(xiàn)。
對本文算法的評價包括兩個方面:一方面使用主客觀評估方法對圖像處理后效果進(jìn)行評價,另一方面節(jié)能率。在保證圖像顯示效果的前提下節(jié)能率越高越好。主觀評價通過組織多人多次對處理前后圖像進(jìn)行觀察來評價圖像處理效果??陀^評價通過常用的評價指標(biāo)對圖像效果進(jìn)行評價。本文采用調(diào)光效果指數(shù)DEI(Dimming Effect Index,DEI)對圖像處理效果進(jìn)行客觀評估,該指數(shù)是對常用圖像評價指標(biāo)的一種綜合,可以較客觀的反映圖像處理前后的變化情況。DEI的范圍是[0,1],取值越大圖像的處理效果越好。
圖2 測試圖像Fig.2 Tested images
調(diào)光效果指數(shù)是用來衡量調(diào)光后圖像效果的一種指標(biāo)。DEI由 MSSIM(Mean Structural Similarity,MSSIM)值[11]、RMSE(Root Mean Squared Error,RMSE)值和 MI(Mutual Information,MI)[12]值等衡量圖像失真程度的指標(biāo)構(gòu)成。其中MSSIM是對SSIM(Structural Similarity,SSIM)評價算法[13-14]的改進(jìn)。RMSE值是MSE(Mean Squared Error,MSE)的根值[15]。MI值是基于信息熵理論評測圖像相似性的一種指標(biāo),MI值在[0,1]之間,越接近1表明調(diào)光后的圖像越接近原圖像。對這3個指標(biāo)進(jìn)行歸一化處理后,綜合起來構(gòu)成一個與主觀評價結(jié)果更加接近的指標(biāo),即DEI,其定義如公式(5)所示:
節(jié)能率S計算如公式(6)所示。BL是背光公式計算出的背光值,范圍是[0,255]。
使用DEI指數(shù)對30幅圖像處理效果進(jìn)行評價,如表1所示。從表1數(shù)據(jù)可知,30幅圖像中,DEI指數(shù)基本大于0.91,滿足畫質(zhì)要求。DEI低于0.91有5幅圖像,分別為第3、4、7、17和18號圖。第3、4和7號圖是整體亮度偏高,高亮區(qū)域較多。通過公式確定的背光較低,引起高亮區(qū)域產(chǎn)生溢出失真。第17號和18號圖是整體顏色比較單一的圖像。通過公式確定的背光過低,從而使處理后圖像偏暗,導(dǎo)致失真??傊珼EI指數(shù)的平均達(dá)到0.95,基本能夠滿足圖像處理前后的保真度要求。
表1 DEI評估結(jié)果Tab.1 DEI test result
表2反映了使用本文算法處理圖像后的節(jié)能率情況。表2中最高節(jié)能率達(dá)到50.33%,最低節(jié)能率為7.26%,平均節(jié)能率為28.22%。圖3中第3行圖像的節(jié)能率較好。這是因?yàn)檫@一行圖像中整體偏暗,使用算法確定背光較低,所以節(jié)能率較高。總體而言,使用本文算法可以取得較好的節(jié)能率。
表2 節(jié)能率評估結(jié)果Tab.2 Power-saving test results
將本文算法與常見的最大值法、平均值法、IMF法和CDF閾值法等算法進(jìn)行對比測試。使用不同的算法對30幅圖像進(jìn)行仿真并計算平均DEI指數(shù)和平均節(jié)能率,結(jié)果如表3所示。從表中可知IMF法和平均值法的節(jié)能率均在50%以上,但是DEI指數(shù)較低說明這兩種算法雖然節(jié)能效果很好但會導(dǎo)致處理后圖像存在較大失真。而最大值法的DEI指數(shù)為1而節(jié)能率幾乎沒有,則說明其圖像處理前后沒有失真,但節(jié)能效果卻乏善可陳。CDF閾值法和本文算法均屬于DEI指數(shù)和節(jié)能率比較平衡的方法,相對而言雖然本文算法的DEI指數(shù)略低于CDF閾值法,但是本文算法在節(jié)能率上有接近10%的提升。
表3 對比測試結(jié)果Tab.3 Comparison results of several dimming algorithms
提出了一種基于灰度直方圖和主灰度的調(diào)光算法。算法分為3個步驟:(1)將輸入圖像按圖像的平均值分為3類;(2)統(tǒng)計圖像的灰度直方圖和主灰度等特征值用于背光確定;(3)使用多元回歸分析方法確定背光公式系數(shù),再依據(jù)公式計算背光調(diào)光亮度。對該算法使用DEI指數(shù)和節(jié)能率指標(biāo)進(jìn)行客觀評估。仿真實(shí)驗(yàn)的結(jié)果表明調(diào)光效果指數(shù)DEI為0.95,平均節(jié)能率為28.22%。通過與常見算法的對比測試表明,本文算法具有較高的節(jié)能率和較高的顯示效果,較好地平衡了顯示效果和節(jié)能率的矛盾。
[1]楊雷,李純懷,陳宥燁,等.基于平均值法的LED背光源動態(tài)調(diào)光二次修正算法[J].液晶與顯示,2014,29(1):101-105.Yang L,Li C H,Chen Y Y,et al.Dynamic dimming algorithm with twice-correction of LED backlit based on average[J].Chinese Journal of Liquid Crystals and Displays,2014,29(1):101-105.(in Chinese)
[2]Seetzen H,Heidrich W,Stuerzlinger W,et al.High dynamic range display systems [C].ACM Transaction on Graphics,2004,23(4):760-768.
[3]Lin F,Liao C,Liao L,et al.Inverse of Mapping Function(IMF)method for image quality enhancement of high dynamic range LCD TVs[J].Digest of Technical Papers-SID international Symposium,2007,38(2):1343-1346.
[4]馮奇斌,何會杰,張偉偉,等.用于側(cè)出式發(fā)光二極管背光的全局動態(tài)調(diào)光算法[J].光學(xué)精密工程,2012,20(7):1455-1462.Feng Q B,He H J,Zhang W W,et al.Global dimming algorithm for side-lit LED backlights[J].Optics and Precision Engineering,2012,20(7):1455-1462.(in Chinese)
[5]劉艷中,鄭學(xué)仁,陳建賓.基于圖像CDF閾值的LCD-TV動態(tài)背光主亮度提取算法及硬件實(shí)現(xiàn)[J].液晶與顯示,2010,25(3):449-453.Liu Y Z,Zheng X R,Chen J B.Dynamic backlight signal extraction algorithm based on threshold of image CDF for LCD-TV and its hardware implementation [J].Chinese Journal of Liquid Crystals and Displays,2010,25(3):449-453.(in Chinese)
[6]何會杰,馮奇斌,張磊,等.基于圖像分類的全局動態(tài)調(diào)光算法[J].光學(xué)學(xué)報,2013,33(8):205-211.He H J,F(xiàn)eng Q B,Zhang L,et al.Global dimming algorithm based on image classification[J].Acta Optica Sinica,2013,33(8):205-211.(in Chinese)
[7]高惠璇編著.應(yīng)用多元統(tǒng)計分析[M].北京:北京大學(xué)出版社,2005.Gao H X.Applied Multivariate Statistical Analysis [M].Beijing:Beijing University Press,2005.(in Chinese)
[8]Franzen R.Kodak true color image suite[DB/OL].〔2013-02-27〕.http://r0k.us/graphics/kodak/.
[9]Kerofsky L,Daly S.Brightness preservation for LCD backlight dimming[J].Sharp Technical Journal,2007(95):50-57.
[10]Jin Y,Kim J,Lee H J.Reduction of quantization errors caused by dynamic LCD backlight scaling [J].IEICE Electron Express,2009,6(9):535-539.
[11]葉盛楠,蘇開娜,肖創(chuàng)柏,等.基于結(jié)構(gòu)信息提取的圖像質(zhì)量評價[J].電子學(xué)報,2008,36(5):856-861.Ye S N,Su K T,Xiao C B,et al.Image quality assessment based on structural information extraction [J].Acta Eleclronica Sinica,2008,36(5):856-861.(in Chinese)
[12]胡良梅,高雋,何柯峰.圖像融合質(zhì)量評價方法的研究[J].電子學(xué)報,2004,32(12A):218-221.Hu L M,Gao J H,Ke F.Research on quality measures for image fusion [J].Acta Eleclronica Sinica,2004,32(12A):218-221.(in Chinese)
[13]Wang Z,Bovik A C.A universal image quality index[J].IEEE Signal Processing Letters,2002,9(3):81-84.
[14]Wang Z,Bovik A C,Sheikh H R,et al.Image quality assessment:from error visibility to structural similarity[J].IEEE Transactions on Image Processing,2004,13(4):600-612.
[15]姚軍財.基于人眼對比度敏感視覺特性的圖像質(zhì)量評價方法[J].液晶與顯示,2011,26(3):390-396.Yao J C.Image quality assessment methond based on contrast sensitivity characteristics of human vision system[J].Chinese Journal of Liquid Crystals and Displays,2011,26(3):390-396.(in Chinese)