王一竹,李 淵,楊 宇
(1. 無錫職業(yè)技術(shù)學(xué)院控制技術(shù)學(xué)院 江蘇 無錫 214121;2. 國網(wǎng)青海省電力公司檢修公司 西寧 810001;3. 東南大學(xué)儀器科學(xué)與工程學(xué)院 南京 210096)
如果設(shè)備性能較差,或照明條件不理想,數(shù)字圖像的對比度往往很低。低對比度的圖像看起來非常模糊,不能充分展示圖像的細(xì)節(jié),因此研究人員提出了各種算法來提升這些圖像的視覺效果。
對比度增強(qiáng)技術(shù)大致可分為直接增強(qiáng)和間接增強(qiáng)兩類。文獻(xiàn)[1]是比較典型的直接增強(qiáng)算法,通過應(yīng)用各種非線性函數(shù)[2]或求解優(yōu)化問題[3]來改進(jìn)圖像對比度。這些增強(qiáng)效果是通過人眼視覺系統(tǒng)(human visual system, HVS)來 衡 量,如Weber-Fechner 定律或Retinex理論[4]等。此方法在圖像細(xì)節(jié)增強(qiáng)和動態(tài)范圍壓縮方面有一些優(yōu)勢,但計算復(fù)雜度較高,并導(dǎo)致了“暈”偽影,特別是在強(qiáng)邊緣[5]周圍,“暈”偽影尤其明顯。盡管近幾年提出的直接方法,緩解了這些問題,但仍然缺少能夠兼顧高圖像對比度和實時計算效率的算法。因此,基于全局變換函數(shù)的間接方法有著更為廣泛的應(yīng)用。
在間接方法方面,直方圖均衡化(histogram equalization, HE)是最具代表性的方法之一。當(dāng)圖像直方圖中出現(xiàn)高峰值時,會產(chǎn)生視覺偽影,如噪聲放大、輪廓化或顯著的亮度變化等。為了緩解這些問題,基于HE 的方法對圖像直方圖進(jìn)行修改,使其峰值衰減,然后由修改后的直方圖得到變換函數(shù)。如文獻(xiàn)[6]通過求解雙準(zhǔn)則優(yōu)化問題,將圖像直方圖與均勻分布相結(jié)合;文獻(xiàn)[7]使用歸一化冪律函數(shù),平滑圖像直方圖中的峰值。由于間接方法能夠?qū)⒃鰪?qiáng)后圖像的平均亮度轉(zhuǎn)移到中等灰度級別,因此將圖像直方圖分割成多個子直方圖,并對每個子直方圖分別進(jìn)行HE 處理[8]。為了保留細(xì)節(jié),文獻(xiàn)[9]提出了利用二維(2D)直方圖均衡化的間接方法,模糊上下文信息來構(gòu)建圖像直方圖,賦予紋理區(qū)域的像素更高的權(quán)重。與其他間接方法相比,此方法具有更好的對比度增強(qiáng)性能和更少的信息損失。
以上這些方法在低照度的情況下,對圖像的處理能力較差,難以達(dá)到理想的效果。這主要是因為在低照度情況下,人眼對圖像處理的方式與正常照度下的模式不同。為此,本文首先引入了一種新的基于人類亮度感知的評價對比敏感度的S 型函數(shù)。由于人類視網(wǎng)膜的對比敏感度隨著亮度(取對數(shù))的增加呈指數(shù)級下降,因此將對比敏感度建模為對數(shù)參數(shù)的指數(shù)函數(shù)。利用對比靈敏度模型,通過修改Steven 冪律的指數(shù),導(dǎo)出S 型函數(shù)。此外,本文還提出了一種參數(shù)優(yōu)化方法,在保持輸入圖像的平均亮度和擴(kuò)展圖像的直方圖的同時使信息損失最小化。
人類視網(wǎng)膜上的光感受器包括視桿細(xì)胞和視錐細(xì)胞兩種。視桿細(xì)胞對光線很敏感,在低亮度水平下能夠提供消色差視覺,這種視覺也稱為暗視覺(10?6~10 cd/m2)。在亮度水平高于10?2cd/m2時,視桿細(xì)胞開始飽和,視錐細(xì)胞提供名為明視覺的色覺。在亮度水平10?2~10 cd/m2之間,視桿細(xì)胞和視錐細(xì)胞都活躍,人類視網(wǎng)膜處于中光視覺的過渡模式。因為神經(jīng)元只能傳輸一個動態(tài)范圍大約為1:103的信號。所以人的視網(wǎng)膜工作原理是首先壓縮真實場景亮度的動態(tài)范圍,然后將光感受器適應(yīng)到一定的亮度水平(即適應(yīng)水平),在適應(yīng)水平附近的一個相當(dāng)小的動態(tài)范圍內(nèi)感知圖像。為了描述視網(wǎng)膜對人類亮度感知的反應(yīng),提出了各種基于神經(jīng)科學(xué)實驗的響應(yīng)模型。
Naka-Rushton 方程[10]是比較有代表性的響應(yīng)模型。此方程描述了視網(wǎng)膜響應(yīng)度R與亮度水平L的關(guān)系,具體公式如下:
式中,n為決定視網(wǎng)膜反應(yīng)函數(shù)陡度的參數(shù);σ 為適應(yīng)水平。
式(1)表示人眼視覺系統(tǒng)中采用以適應(yīng)水平為中心的S 形曲線函數(shù),此函數(shù)將亮度水平轉(zhuǎn)換為視網(wǎng)膜響應(yīng)度。近幾年的視覺映射技術(shù)一般都采用類似的S 型曲線響應(yīng)函數(shù),將現(xiàn)實世界的光亮度轉(zhuǎn)換成像素亮度。采用基于人眼亮度感知的S 型曲線函數(shù),在避免視覺偽影的同時,提高了對比度。
許多間接的方法都是利用人的視網(wǎng)膜所能感知到的最小亮度差異(just noticeable difference, JND)來推導(dǎo)變換函數(shù)。根據(jù)Weber-Fechner 定律,JND(表示為dL/dS)與背景亮度L成正比:
式中,k是一個感知常數(shù),為Weber 分?jǐn)?shù)。求解式(2)的常微分方程可知,感知到的亮度S可表示為:
式中,S0是積分常數(shù)。各種間接的方法使用對數(shù)函數(shù)[11]或GC 曲線[12]作為變換函數(shù)。然而,由于Weber-Fechner 定律僅適用于亮度大于100 cd/m2的亮度水平[13],對于低亮度水平下的視網(wǎng)膜響應(yīng)并不匹配。因此,通常會在黑暗區(qū)域?qū)е聦Ρ榷冗^度增強(qiáng)。為了解決這一問題,文獻(xiàn)[14]提出了一種利用圖像直方圖確定參數(shù)的自適應(yīng)伽馬校正(adaptive Gamma correction, AGC)方法。此方法中變換函數(shù)R(L)為:
式中,Lmax為最大像素亮度;CDF(L)為輸入直方圖的累積分布函數(shù)。與其他間接方法相比,AGC方法表現(xiàn)出更好的視覺匹配效果。對于模糊圖像,這種效果尤為明顯。然而,此方法提高了圖像的平均亮度,在亮區(qū)損失了一定的對比度。為了解決上述局限性,文獻(xiàn)[15]通過修改GC 曲線來構(gòu)建S 型曲線,但很難同時達(dá)到令人滿意的對比度增強(qiáng)效果和平均亮度。
為此,文獻(xiàn)[16]提出了一種S 型函數(shù)的變換函數(shù)R(L),定義為:
式中,C為尺度參數(shù),用來確定增強(qiáng)程度。受此啟發(fā),文獻(xiàn)[17]通過修改式(5)擴(kuò)展了文獻(xiàn)[14]中的工作,如下所示:
式中,K1和K2是調(diào)優(yōu)參數(shù)。雖然這些方法證明了S 型曲線增強(qiáng)對比度的可行性,但它們的性能仍然較差,圖像失真嚴(yán)重。
Stevens 冪次定律是一個著名的刺激?反應(yīng)模型,與Weber-Fechner 定律相比,它涵蓋了更廣泛的感覺范圍。在Stevens 冪次定律中,感知亮度R(L)函數(shù)定義為:
式中,指數(shù)k取決于刺激的類型。式(7)以微分的形式可寫為:
式中,k用作靈敏度參數(shù)。此參數(shù)決定了隨著刺激強(qiáng)度的增加,視網(wǎng)膜響應(yīng)度增長的速度。對于不同類型的視網(wǎng)膜響應(yīng)度,k假設(shè)為一個常數(shù),即常規(guī)GC 曲線。然而,由于人類視網(wǎng)膜響應(yīng)度是由背景亮度自適應(yīng)決定的。因此,本文根據(jù)亮度感知情況,建立k模型。文獻(xiàn)[18]的實驗表明,人類視網(wǎng)膜亮度的對比響應(yīng)度(即Weber 分?jǐn)?shù))隨著對數(shù)級亮度的增加呈指數(shù)式遞減。因此,Weber 分?jǐn)?shù)可以近似擬合為對數(shù)級亮度的指數(shù)函數(shù)?;谶@些研究,本文將k建模為以下指數(shù)函數(shù):
式中,α 和β 分別為確定k(L)的最大值和陡度的參數(shù)。變換函數(shù)R(L)為:
式中,L為原始像素強(qiáng)度,取值范圍[0, 255];為歸一化到[0,1]的像素強(qiáng)度,即將單個獨立的像素強(qiáng)度處理為與整體圖像相關(guān)的對比度,具體為:
式中,Lmin和Lmax分別為輸入圖像的最小和最大亮度等級。式(10)中的變換函數(shù)覆蓋數(shù)字圖像的全動態(tài)范圍[R(Lmin)=0,R(Lmax)=255]。
本節(jié)分析了式(10)中變換函數(shù)的兩個參數(shù) α和 β 對合成圖像的影響,并引入一種新的自動參數(shù)估計方法。首先,將α 從0.3 逐步變化到1.1,每一次的增量為0.2,同時保持β 為2.0,得到的輸出圖像如圖1 所示,當(dāng)α 增大時,輸出圖像變暗。由于 α 限制了圖像中各點亮度的最大值,可通過控制α 來調(diào)節(jié)輸出圖像的平均亮度。但α 需要約束來避免由平均亮度變化[19]引起的圖像失真和閃爍偽影。為保持原始圖像的平均強(qiáng)度水平,修正變換函數(shù)為:
圖1 參數(shù)α 對輸出圖像的影響
式中,Lmean為歸一化輸入圖像的平均強(qiáng)度等級。即保證經(jīng)過轉(zhuǎn)換后的圖像平均亮度與原始圖像的平均亮度相一致,在此情況下,通過求解式(12),可得到保持平均亮度的最優(yōu)α:
β 對輸出圖像的影響如圖2 所示。如圖2g 所示,通過式(13)得到的變換函數(shù)保持輸入圖像的平均亮度水平,因而不需要考慮β 值。
圖2 參數(shù)β 對輸出圖像的影響
通過確定變換函數(shù)的陡度來控制對比度增強(qiáng)程度,當(dāng)值太小時,此方法的增強(qiáng)性能不理想;如果太大,變換函數(shù)會出現(xiàn)陡坡,導(dǎo)致明暗區(qū)域的細(xì)節(jié)丟失明顯。因此,為了保持圖像細(xì)節(jié)的同時提高圖像對比度的最優(yōu)值,本文定義:
式中,Ed(β)為數(shù)據(jù)保真項;Ee(β)為增強(qiáng)項;λ 為控制數(shù)據(jù)保真項與增強(qiáng)項之間權(quán)衡的正則化參數(shù)。
為了防止輸出像素值被截斷而導(dǎo)致信息丟失,Ed定義為離散熵(DE)損失:
式中,p(·)為概率質(zhì)量函數(shù);hi為原始直方圖的第k個分量;ho為使用式(10)在給定β 的條件下得到的輸出直方圖;N為直方圖的分量總數(shù)。
對于增強(qiáng)項,本文采用像素區(qū)方法來測量圖像中所有像素的灰度差。具體為:
式中,N為直方圖分量的總個數(shù);i、j表示對應(yīng)分量的索引。
當(dāng)圖像直方圖分布均勻而不集中于特定灰度層時,該項得分較高。為了找到最佳的β,最小化式(14)中的函數(shù)E(β),本文采用黃金分割搜索算法評估算法,估值為三元組的點值形式的黃金比例,逐步縮小搜索范圍。本文算法中使用初始區(qū)間[1.2,?1.4]來實現(xiàn)迭代過程,直到間隔 βu?βl<10?4或達(dá)到最大迭代次數(shù)Kmax=500 時停止。
通過取3 個數(shù)據(jù)集[20]的550 個測試圖像,對比本文方法——基于靈敏度的S 型曲線模型(image contrast enhancement algorithm with S-type function based on human visual system, ICEA)和其他方法。如加權(quán)自適應(yīng)直方圖均衡化(weighted adaptive histogram equalizatio, WAHE)、上下文和變分對比(contextual and variational contrast, CVC)[14]、分層差異表示、自適應(yīng)圖像灰度校正(adaptive gamma correction, AGC)[18]、模糊背景對比度增強(qiáng)(fuzzycontextual contrast enhancemen, FCCE)[21]、兩 個S型函數(shù)的方法[16-17]和其他一些有代表性的直接方法[22-24]。為保證驗證的公平性,所有算法都使用Intel i5-3550 3.30 GHz CPU 和16 GB RAM 的臺式機(jī)測試每個數(shù)據(jù)集的平均處理時間,使用python進(jìn)行效果模擬,并且python 的版本和其他依賴庫的版本都統(tǒng)一。
為了確定參數(shù)α 的最優(yōu)值,首先在Berkeley圖像數(shù)據(jù)集上測試了本文方法,將λ 從0 改變?yōu)?.05,每一步的變化為0.001,如圖3 所示。當(dāng)λ 較大時,本文方法在像素區(qū)分?jǐn)?shù)上有很大的改善,但在DE 分?jǐn)?shù)上的細(xì)節(jié)損失較大。為了實現(xiàn)更好的增強(qiáng)像素區(qū)分?jǐn)?shù),同時防止細(xì)節(jié)丟失,設(shè)λ=0.015。首先將圖像轉(zhuǎn)換到HSV 顏色空間,以防止顏色失真,對亮度通道V 進(jìn)行處理,H 和S 通道保持不變。
圖3 λ 對Berkeley 圖像數(shù)據(jù)集增強(qiáng)圖像的影響
為了進(jìn)行客觀評估,本文采用了對比度增強(qiáng)(enhancement measure evaluation, EME)[2]、絕對平均亮度誤差(absolute mean brightness error, AMBE)[25]、梯度大小相似度偏差(gradient magnitude similarity deviation, GMSD)[26]和離散熵(discrete entropy, DE)措施。
首先,使用EME 測量基于Weber 算法的圖像平均對比度,越大說明圖像整體的對比度越好。對于EME,將增強(qiáng)后的圖像X劃分為N個子塊Xi,j,其大小固定相同,W為橫向子塊的個數(shù),H為縱向子塊的個數(shù),計算每個子塊的灰度最大值與最小值之比。然后計算平均比例作為最終得分。EME 為:
式中,max(xi,j)和min(xi,j)分別是子塊xi,j中像素強(qiáng)度的最大值和最小值。δ 設(shè)定為0.000 1,目的是為了避免除零操作;每個子塊的大小為8×8。
其次,測量輸入圖像和增強(qiáng)圖像之間的平均像素強(qiáng)度的絕對差值為:
式中,Y是輸入圖像;X是增強(qiáng)后的圖像;其他參數(shù)如之前所述。AMBE 評分越低,說明相應(yīng)的增強(qiáng)方法有效地保持了輸入圖像的平均亮度,增強(qiáng)后的圖像更好地還原了原始圖像的整體亮度特性,對人眼有更好的適應(yīng)性。
再使用GMSD 計算輸入圖像和增強(qiáng)圖像之間像素的梯度相似度,然后測量整體梯度相似度的標(biāo)準(zhǔn)差作為最終得分。GMSD 得分越低,說明輸入圖像與增強(qiáng)圖像之間的圖像失真越小:
式中,GMS(i)為第i個子塊的梯度幅值相似性;GMSD 是全部局域梯度場的平均處理結(jié)果。
最后,使用DE 評估圖像中的信息量。DE 值高表示圖像包含更多信息。由于信息處理不等式的存在,利用全局變換函數(shù)生成的輸出圖像的DE 不能高于輸入圖像。
總的來說,直接算法整體比間接算法在人眼觀測的效果上更好,特別是在對細(xì)節(jié)信息的保留上有更好的表現(xiàn)。其中LDR 等間接算法在極大地增強(qiáng)細(xì)節(jié)的同時會產(chǎn)生光暈的效果。在圖像中對比度較強(qiáng)的區(qū)域,顏色過于鮮艷,影響圖像的整體效果。
表1~表3 為依據(jù)文獻(xiàn)[20]的3 個數(shù)據(jù)集,對常見圖像處理算法進(jìn)行分項指標(biāo)計算的實驗結(jié)果。結(jié)果表明,本文算法表現(xiàn)出了一定的優(yōu)勢。根據(jù)EME 結(jié)果,LSCN 和本文方法在各個類別中表現(xiàn)出了最好的性能,避免了AMBE 和GMSD 評分中顯示的平均亮度變化和圖像失真。但是,LSCN 會導(dǎo)致GMSD 分?jǐn)?shù)中明顯的圖像失真,需要更高的計算復(fù)雜度。此外,RSIE 的性能與本文方法相當(dāng),但計算復(fù)雜度高出約50 倍。
表1 Database 1
表2 Database 2
表3 Database 3
在傳統(tǒng)的間接方法中,LDR、FCCE 和EACE在EME 評分方面體現(xiàn)了高對比度。然而,如AMBE評分所示,LDR 在平均亮度保持方面表現(xiàn)較弱。對于EACE 和FCCE,輸出圖像GMSD 得分顯示圖像失真嚴(yán)重。相比之下,從EME 評分來看,本文方法的增強(qiáng)性能比第二優(yōu)的EACE 算法提高了10.5%。此外,AMBE 和GMSD 評分顯示,與EACE 相比,此方法平均亮度變化減少60.2%,圖像失真減少76.9%。如DE 得分所示,在間接方法中,本文方法是保存細(xì)節(jié)方面效果第二的方法。雖然FCCE 提供了最高的DE 分?jǐn)?shù),但FCCE 包含了局部處理,其中輸出像素強(qiáng)度是結(jié)合輸入像素強(qiáng)度和變換函數(shù)結(jié)果自適應(yīng)獲得。另一方面,此方法在不進(jìn)行任何局部處理的情況下,僅獲得了較一般的DE 得分。
本文方法實現(xiàn)了更高的對比度增強(qiáng)性能,降低了平均亮度的變化,需要更少的計算復(fù)雜度,實現(xiàn)了較低的圖像失真。
基于人視網(wǎng)膜對光感受的對比敏感度,本文提出了一種新的基于S 型函數(shù)的對比度增強(qiáng)方法。將對比敏感度建模為對數(shù)參數(shù)的指數(shù)函數(shù),并利用對比敏感度模型導(dǎo)出了一個S 型函數(shù),利用逐步變化的方法估計了此方法的最佳參數(shù)。此方法在使圖像對比度最大化的同時,防止了信息的丟失,不僅具有較低的計算復(fù)雜度,且在對比度方面優(yōu)于現(xiàn)有方法。面向?qū)Ρ榷仍鰪?qiáng)和平均亮度(細(xì)節(jié))保持的變換函數(shù),本文方法簡單有效,可以應(yīng)用于其他類型的圖像處理,如色調(diào)映射以及微光圖像增強(qiáng)。在未來的工作中,可嘗試?yán)镁植拷Y(jié)構(gòu)信息(如視網(wǎng)膜理論、二維直方圖或梯度分布)來進(jìn)一步提高此方法的細(xì)節(jié)保持性能。