高動態(tài)范圍圖像色調(diào)映射算法研究

劉婷娜，苗笛聲，白永強，朱仲杰*

（1.浙江萬里學院，浙江 寧波 315100；2.鄭州大學，河南 鄭州 450000）

0 引 言

在數(shù)字圖像處理中，亮度絕對值之間的比值即為動態(tài)輻射[1]。通常情況下，108：1為現(xiàn)實環(huán)境下的標準亮度動態(tài)程度，在固定場景中人類視覺系統(tǒng)的亮度動態(tài)范圍約為1 000：1[2-5]。光源的動態(tài)范圍在標準環(huán)境下的狀態(tài)如圖1所示。

圖1 亮度范圍比較

目前在低動態(tài)范圍（Low Dynamic Range，LDR）中，8 bit/color/pixel是圖像中表示亮度常用的方式，但較不穩(wěn)定，將使得曝光不合理，致使場景信息無法有效留存。顯然，這些LDR圖像不能滿足實際的應(yīng)用要求。與LDR圖像不同，HDR（High Dynamic Range，HDR）圖像在寬范圍的亮度表示方面主要是運用浮點點數(shù)來體現(xiàn)[6-8]，有更多細節(jié)能夠在亮度區(qū)間中得到表現(xiàn)。因此，HDR圖像在遙測遙感、安全監(jiān)控、數(shù)字電視以及電子消費等領(lǐng)域得到了廣泛的應(yīng)用[9-12]。在專業(yè)的顯示器輔助下，HDR圖像給使用者的視覺感知幾乎同現(xiàn)實環(huán)境趨于一致，并且在顏色及亮度方面更具優(yōu)勢。但是由于成本和技術(shù)問題，這些HDR顯示設(shè)備很難普及[13]。因此，在實際的應(yīng)用過程中，在現(xiàn)階段的顯示設(shè)備中將HDR圖像可視化至關(guān)重要。為了應(yīng)對這一挑戰(zhàn)，人們開發(fā)了將HDR圖像轉(zhuǎn)換為LDR圖像的技術(shù)，稱為色調(diào)映射（Tone-Mapping，TM）技術(shù)[14-15]。近幾年，一些研究學者[16-18]綜述了色調(diào)映射算法的發(fā)展，現(xiàn)代化的色調(diào)映射算法發(fā)展迅猛，并且性能更為優(yōu)質(zhì)。基于心理物理學的各種色調(diào)映射算法實驗也表明，不同的色調(diào)映射算法在感知的不同方面具有優(yōu)勢，但沒有一種方法能夠在所有方面都達到最優(yōu)感知。因此，本文重點研究TM相關(guān)技術(shù)的發(fā)展，分析現(xiàn)有方法的優(yōu)缺點。

1 常用色調(diào)映射算法

TM的最終目標是生成自適應(yīng)LDR數(shù)據(jù)，盡可能保留原始HDR對象的場景細節(jié)和局部對比度等信息，同時降低整體對比度。換句話說，觀察者期望從帶有TM的LDR圖像中獲得與真實場景相同的視覺感知。TM算法在LDR顯示器上顯示HDR圖像的過程如圖2所示。

圖2 色調(diào)映射的作用

現(xiàn)階段，色調(diào)映射算法可分為全局色調(diào)映射、局部色調(diào)映射以及混合色調(diào)映射3種。

1.1 全局色調(diào)映射

全局色調(diào)映射也稱為空間不變色調(diào)映射。該算法要求具備標準的映射函數(shù)，以確保整體作用的有效性[19]。

Gamma校正廣泛用于調(diào)整圖像的動態(tài)范圍以增強對比度，其公式為：

式中：Iin為輸入圖像；Iout為輸出圖像。盡管HDR圖像參數(shù)相對來說較為簡單，但是為了防止曝光混亂的問題，對HDR圖像參數(shù)的選擇非常重要。實際應(yīng)用過程中問題也較多。更改直方圖布局，能夠有效提高圖像對比度，該方法稱為直方圖均衡化法。Larson等人首次將其應(yīng)用于TM，并結(jié)合一些包括眩光、失去敏銳度和顏色敏感度的人類視覺系統(tǒng)（Human Visual System，HVS）特征[20]。在實際應(yīng)用中，Log-Gamma是英國廣播公司（British Broadcasting Corporation，BBC）和日本廣播協(xié)會（Nippon Hoso Kyokai，NHK）聯(lián)合開發(fā)的一種重要的HDR標準[21]，分別用對數(shù)曲線和Gamma曲線表示信號值的上、下半部分來作為非線性傳遞函數(shù)：

式中：r為參考白電平；E是r的歸一化信號；E′屬于非線性信號；a、b、c為常數(shù)。原文中，r值為0.5，a=0.178 832 77，b=0.284 668 92，c=0.559 910 73。

全局色調(diào)映射算法除了上文的基本方法外，還發(fā)展出了大量的新型算法[22-26]。

Yang等人指出色彩的復(fù)原可以使用自適應(yīng)伽馬矯正或者圖像整合的方法來實現(xiàn)。而亮度圖的直方圖，自適應(yīng)參考的是兩個Gamma函數(shù)，依次調(diào)整明暗分量的亮度，并采用自適應(yīng)控制方法，實現(xiàn)對圖像亮度的調(diào)整，并將其融合來提高各個部分的細節(jié)強度。結(jié)果證實，HDR場景的動態(tài)范圍可以得到有效壓縮，與原始圖像對比度好，細節(jié)清晰，外觀逼真[27]。

基于直方圖的TM算法中，直方圖均衡化是最為常見的問題，尤其在結(jié)果實用性上，對比度的大幅提高以及高亮度的過分壓縮會使其質(zhì)量受損。為了應(yīng)對此類現(xiàn)象，Khan等人在直方圖中提高了肉眼的視覺敏感度，并且結(jié)合亮度直方表實現(xiàn)對TM查找表的構(gòu)建法[13]，基于HVS建造了一系列等間距容器，在圖像的各個容器中均分了一定比例的像素，將HVS中像素模糊的部分清除，以實現(xiàn)更優(yōu)質(zhì)的視覺體驗。吳等人對傳統(tǒng)的基于直方圖的噪聲抑制色調(diào)映射算法進行更新，提出顯示模型控制函數(shù)，由此得到的色調(diào)映射曲線的映射結(jié)果亮度是可以控制的，通過對映射曲線的管控，實現(xiàn)對對比度過拉伸以及亮度反轉(zhuǎn)的控制[28]。

Lee等人在對稱S形曲線的視網(wǎng)膜適應(yīng)模型基礎(chǔ)上，提出了一種新的非對稱S曲線，并在非對稱S曲線的幫助下提出了兩種全局色調(diào)映射算法，在難度上更低，性能更為優(yōu)質(zhì)[19]。

Jung等人在感知量化（Perceptual Quantization，PQ）（PQ是一種基于對比敏感度函數(shù)的傳遞函數(shù)，它體現(xiàn)了人類在亮度上的視覺體驗）的基礎(chǔ)上提出了一種新的色調(diào)映射算法[29]，在PQ極限曲線的基礎(chǔ)上，研究出了與人類視覺感知更為貼切的TM對比度提高曲線，該方法不僅能保持圖像的自然度，還可以有效地增強圖像的對比度。

Xi等人的變分模型以梯度域為基礎(chǔ)，能夠?qū)崿F(xiàn)對圖像動態(tài)范圍的控制，并且在圖像細節(jié)處理上也更為細致[30]。通過將Gibbs樣本思想加入到算法中，使得算法效率大幅提高。在確保算法有效的前提下，其對細節(jié)的控制也更為嚴格。此外，在TM過程中色移問題的處理方面，該算法選擇的是自適應(yīng)管理飽和算題[31]。通過對圖像處理的前后狀態(tài)如亮度比、自適應(yīng)控制輸出圖像飽和度比對等，來實現(xiàn)對顏色的調(diào)整。

1.2 局部色調(diào)映射算法

全局色調(diào)映射的問題較多，為此，研究人員提出了專門應(yīng)對HSV部分色調(diào)映射方法。該方法不同之處在于，其參考信息主要是周圍像素資料，可以靈活地維護每個區(qū)域的更多信息。結(jié)合人體視覺系統(tǒng)對細節(jié)的研究，亮度會在人們進行四周觀察時發(fā)生變化，但是，亮度的改變并沒有對旁觀者產(chǎn)生太大的影響[32]。因此，盡管各個亮度區(qū)域發(fā)生了巨大的變化，但是其映射函數(shù)要根據(jù)實際情況來設(shè)計。

局部色調(diào)映射算法分為分層的算法和基于分段的算法兩種。分層的算法首先通過濾波將HDR圖像的亮度通道進行分解，其次將基層與細節(jié)層的部分區(qū)域進行壓縮，最后LDR圖像的生成在修改后的圖層中完成?；诜侄蔚乃惴ò凑詹呗缘牟煌瑏碛嗅槍π缘貏澐諬DR部分，在HVS等因素的幫助下，實現(xiàn)對各個區(qū)域的動態(tài)空間檢測。如何有效地分解亮度通道，是基于分層的算法的關(guān)鍵步驟?；A(chǔ)層的周圍模糊或尖銳時，則會在細節(jié)層產(chǎn)生振鈴效應(yīng)，將會引起TM圖像梯度反轉(zhuǎn)[33-35]。為此，要解決上述問題，必須通過特定的濾波器來處理。

在分層局部色調(diào)映射算法中，反射層和照明層通過圖像的形式來實現(xiàn)互相作用。二者的關(guān)系為：

I(x,y)=R(x,y)L(x,y) （3）

式中：I為輸入圖像的亮度；R代表反射層；L代表照明層。在反射層中，所處的環(huán)境中細節(jié)是固定的，并且動態(tài)范圍不大。而圖像的高動態(tài)范圍是因為光照層在不同區(qū)域的影響不同，使得其變化較大。為此，在濾波的作用下，可以實現(xiàn)圖像高度分量的拆分，分解為反射層和照明層兩部分，并且要對照明層壓縮處理，實現(xiàn)圖像的有效建設(shè)：

I′(x,y)=R(x,y)L′(x,y) （4）

式中：I′為輸出圖像亮度，L′為壓縮后的照明層。具體流程如圖3所示。

圖3 基于分層的局部色調(diào)映射算法的流程圖

高斯濾波是一種經(jīng)典濾波方法，可將其應(yīng)用于ICAM中。然而，其權(quán)重主要受到空間間隔的影響，因此算法的實際效果不明顯[36]。Zhang等人研究了鄰近像素和中央像素，并對雙邊濾波展開了探究，有效地實現(xiàn)了對圖像細節(jié)的處理[37]。Yang等人以逐像素的方式發(fā)明了一種色調(diào)映射算法，還設(shè)計了量身定制的硬件來實現(xiàn)此TM算法[38]。

Wang等人發(fā)現(xiàn)了一種能夠有效保留細節(jié)的方法，這種自適應(yīng)雙邊濾波器方法不僅具有高亮度范圍壓縮能力，同時提高了工作效率[39]。Liu等人在雙邊濾波的基礎(chǔ)上進一步升級出三邊濾波，結(jié)合梯度信息，實現(xiàn)圖像的分層，進一步實現(xiàn)了梯度濾波階段的高效能[40]。

由于尺寸的不確定，雙邊過濾器在細節(jié)處理上的效率較低。Farbman等人選擇在加權(quán)最小二乘改進框架的周圍控制平滑算子[41]，提出在漸進式粗化以及對尺度細節(jié)控制的過程中，該算子效果顯著，因此現(xiàn)階段方法在細節(jié)的控制方面、色彩的處理方面以及對比度的調(diào)節(jié)方面，TM算法的效果更好。同樣，Kim等人通過研究加權(quán)最小二乘濾波器，實現(xiàn)了對HDR場景細節(jié)的控制，并設(shè)計了新的學習神經(jīng)網(wǎng)絡(luò)，實現(xiàn)了對色彩的控制，并且亮度穩(wěn)定[42]。

同時，基于導頻濾波器的梯度控制和邊緣控制作用較好，Lu等人在Retinex算法的基礎(chǔ)上進行了革新[43]。新方法與高斯濾波相比，在細節(jié)的處理方面更為有效。Barai等人在視覺注意體系的基礎(chǔ)上研究出新的TM算法，將導頻濾波器和顯著區(qū)域相結(jié)合，能夠比其他方法更好地保持圖像的邊緣和自然度[44]。

于璐陽等人提出，現(xiàn)階段算法都是在保邊濾波器基礎(chǔ)上進行的，此類方法在處理圖像基層上的效率較高，但該濾鏡在色調(diào)映射時會出現(xiàn)光暈，并且對亮度過高或過暗的區(qū)域處理時，改善效果不佳。對此，他們提出了新的、更為高效的色調(diào)映射算法——在局部極值基礎(chǔ)上的色調(diào)映射算法和在邊窗濾波基礎(chǔ)上的色調(diào)映射算法[45]。

除上述過濾器外，Yun等人還在TM中加入了拉普拉斯金字塔模型，基于該模型的層次表達性，邊緣控制的能力較強[46]。此類方法的整體性能較好，但是局部信息不多，為此光暈及色彩問題嚴重。相對來說，分段算法在這部分的優(yōu)勢更為顯著。

隨著對閾值亮度的調(diào)節(jié)，蘆碧波等人在亮度分區(qū)自適應(yīng)的基礎(chǔ)上提出了對數(shù)色調(diào)映射算法，將圖像亮度信息劃分為高、中、低3個區(qū)域，分別對區(qū)域亮度進行對數(shù)壓縮和融合，同時采用雙邊濾波技術(shù)提取細節(jié)補償[47]。區(qū)別于一般的閾值控制，Drosler等人在韋伯-費希納定律的基礎(chǔ)上研究出新的亮度控制方法，此方法充分體現(xiàn)了心理與身體量能的聯(lián)系[48]。在韋伯分數(shù)的基礎(chǔ)上，圖像分為低對比度區(qū)域、偏差區(qū)域、韋伯區(qū)域以及飽和區(qū)域，在各個壓縮因子的作用下，實現(xiàn)對亮度的壓縮。同樣，顧等人也在韋伯-費希納定律的基礎(chǔ)上，構(gòu)建了一種高效的局部非線性模型，有效地減少了細節(jié)失真現(xiàn)象。在該模型中，物理與感知刺激強度在非線性關(guān)系上趨于相同，為此其應(yīng)用范圍更廣泛[49]。

此外，本文還綜述了一些能夠有效推動圖像分割的聚類算法。Li等人在統(tǒng)計聚類色調(diào)映射方法的基礎(chǔ)上提出了一種更為高效的適應(yīng)圖像內(nèi)容及色彩的方法，并且在群集中將主成分拆分來進行補丁，以達到豐富域的目的[50]。Kang等人在局部細節(jié)的處理上同樣選擇聚類算法，同時該方法在色調(diào)映射圖像細節(jié)的處理上效果顯著[51]。Li等人在K-means聚類的基礎(chǔ)上進行了研究，以實現(xiàn)對TM算法的控制，并在高斯和拉普拉斯金字塔的基礎(chǔ)上實現(xiàn)了快速分割，降低了混合段間隙對其產(chǎn)生的影響[52]。

1.3 混合色調(diào)映射算法

全局色調(diào)映射算法在計算上較為便捷，但是細節(jié)處理方面的能力不足。局部色調(diào)映射算法則較為復(fù)雜。為此，將二者結(jié)合所得到的結(jié)果效率更高[53-56]。

Duan等人在全局直方圖的基礎(chǔ)上，對其進行控制以再現(xiàn)全局對比度，通過對局部對比度的控制來使其保持穩(wěn)定。實驗結(jié)果表明，該方法具有良好的可靠性和有效性，計算效率高，參數(shù)穩(wěn)定[57]。OK等人的混合色調(diào)映射算法是在差分壓縮以及自適應(yīng)參考值的基礎(chǔ)上進行的，此方法參照客觀質(zhì)量指標來進行，通過對明暗部分細節(jié)的考量，實現(xiàn)對區(qū)域細節(jié)的調(diào)整，其感知質(zhì)量優(yōu)于現(xiàn)有的其他方法[58]。

Shao和Yu提出了人類體驗和分層模型的TM算法，此方法能夠?qū)崿F(xiàn)對人類亮度感知細節(jié)的調(diào)整，首先在數(shù)域中將亮度通道進行映射，以實現(xiàn)對整體亮度的調(diào)節(jié)，然后利用人眼感知模型對導頻濾波器得到的底層亮度進行壓縮，最后對調(diào)整后的底層與細節(jié)層進行色彩處理，以得到低動態(tài)范圍圖像[59]。饒志濤等人在全局對比度與局部細節(jié)的處理上選擇的是將局部與全局運算符組合的方法[60]，同時，TM過程中的光暈問題在雙邊濾波的作用下也得到了有效的處置。

2 實驗分析與比較

為了實現(xiàn)對TM算法效果的進一步研究，針對不同算法進行了深入的實驗，實驗情況如圖4所示。

Chen[31]等人指出，全局色調(diào)映射算法是在直方圖的基礎(chǔ)上實現(xiàn)對全局動態(tài)范圍的控制，并且隨著亮度的調(diào)整，提高其對色彩飽和度的適應(yīng)力，可實現(xiàn)對色彩偏移的校正，效果如圖4（a）、圖4（b）及圖4（c）所示。Lu等人[43]提出的算子選擇為局部色調(diào)映射算法，在通過導引濾波器獲得一系列基礎(chǔ)層和細節(jié)層之后，為每個層設(shè)計不同的權(quán)重系數(shù)，圖4（d）、圖4（e）及圖4（f）的實驗說明了，在對比度處理的過程中，細節(jié)及光暈損失能夠得到有效處理。作為混合色調(diào)映射算法之一，Shao和Yu[59]提出的算子在性能上更為優(yōu)質(zhì)，如圖4（g）、圖4（h）及圖4（i）所示，此算子在人類感知驅(qū)動力及分層模型的基礎(chǔ)上展開，以實現(xiàn)對細節(jié)和色彩的控制。

從主觀角度能夠證實：當HDR圖像的亮度動態(tài)范圍較小時，在圖4（a）、圖4（d）及圖4（g）圖像中，3種算法的作用區(qū)別不大；而在其他圖像中，結(jié)果的偏差則較高。因此，全局算法的整體性較好，但細節(jié)處理的效果較差，尤其在明暗部分，如圖4（a）中的樹木和窗戶、圖4（b）中的教堂圓頂和窗戶以及圖4（c）中的云和陰影。相反，局部算法在細節(jié)處理上的效果則較好，但是仍然有很多缺點，特別是圖4（e）中的對比度和顏色失真以及圖4（f）中的輕微暈。如圖4（g）、圖4（h）及圖4（i）所示，混合算法能夠有效地實現(xiàn)對細節(jié)、對比度及光暈的控制。然而，在圖4（h）中顏色失真問題仍舊存在。3種算法在各自的感知面都具有各自的特點，但是在最佳感知效果上無法實現(xiàn)完整性。因此，需要對TM進行深入的研究。

圖4 不同算法的實驗結(jié)果比較

除主觀評估外，色調(diào)映射圖像質(zhì)量指數(shù)（Tone Mapped Image Quality Index，TMQI）是本文的主要算法評估手段。TMQI首先評估色調(diào)映射圖像的結(jié)構(gòu)保真度和自然度，其次利用冪函數(shù)對兩個測度進行調(diào)整，最后取平均值得到最終得分。色調(diào)映射圖像的質(zhì)量會隨著TMQI值的提高而提高，相反，TMQI值越低，則圖像質(zhì)量越差[61]。在數(shù)據(jù)庫中對20幅HDR圖像使用不同算法后其TMQI的數(shù)值如表1所示。從表1可以看出，Shao和Yu混合算法的TMQI分數(shù)（0.880 9）和自然度度量（0.497 8）都處于最高的水平，Lu等人提出的局部算法的保真度分數(shù)（0.860 6）最高。

表1 TMQI平均得分比較

760×1016 1.58 4.65 5.96

通過對三種算法整體性能的對比發(fā)現(xiàn)，在環(huán)境條件一致的情況下，各個大小的圖像在不同算法中的運行時間變化較大，如表2所示。全局算法的運行時間最短，效率最高；局部算法和混合算法會隨著圖像尺寸的加大而增加運行時間；混合算法的質(zhì)量相對來說更高，但是其所花費的運行時間也更長。

表2 運行時間比較

3 結(jié) 語

由于硬件研發(fā)過程的阻礙因素較多，高動態(tài)范圍（HDR）顯示器還未得到進一步的發(fā)展。在HDR圖像應(yīng)用中，色調(diào)映射（TM）過程起著重要的作用。目前，許多學者提出了多種TM算法并取得了良好的性能。然而，這些算法存在的一系列問題依舊需要引起重視。為了促進HDR影像的廣泛應(yīng)用，需要對TM進行深入的研究。