基于色彩均衡和圖像融合的水下圖像增強(qiáng)方法研究

毛慧琴

（北海職業(yè)學(xué)院，廣西 北海 536000）

0 引言

與普通圖像相比，水下圖像由于光的傳播衰減、吸收和散射等影響，呈現(xiàn)出較差的可見度，導(dǎo)致外觀模糊和對(duì)比度下降。水深的變化導(dǎo)致合成波長(zhǎng)被切割，因此顏色會(huì)褪色。許多學(xué)者基于傳統(tǒng)方法在水下圖像清晰化領(lǐng)域開辟了多種新的研究思路。文獻(xiàn)[1]采用聯(lián)合多通道均衡和多尺度融合，取得了有效的霧化改善和藍(lán)綠外觀修復(fù)。文獻(xiàn)[2]通過(guò)色彩校正和暗通道先驗(yàn)處理色偏，采用基于藍(lán)通道的通道標(biāo)準(zhǔn)比計(jì)算，對(duì)紅、綠通道進(jìn)行補(bǔ)償，增強(qiáng)了圖像的色彩。文獻(xiàn)[3]采用改進(jìn)的暗原色算法、直方圖均衡化及雙邊濾波器增強(qiáng)圖像對(duì)比度，提高水下圖像的清晰度。然而，此類方法需要建立水下光學(xué)成像模型，通常要具備較多的數(shù)學(xué)和專業(yè)知識(shí)。文獻(xiàn)[4]采用一種基于梯度先驗(yàn)的水下圖像恢復(fù)方法，提高了信噪比、清晰度和對(duì)比度。由于水下條件的多樣性，現(xiàn)有許多方法在實(shí)際應(yīng)用中存在一定限制?；诖?，本文介紹一種基于傳統(tǒng)相機(jī)捕獲的單個(gè)圖像，通過(guò)融合多個(gè)輸入圖像，在校正對(duì)比度和銳化輸入圖像的白平衡版本的同時(shí)去除水下圖像中的霧霾的方法，以提高水下圖像的可用性。

1 本文算法

本文提出的算法流程如圖1所示。該圖像增強(qiáng)方法無(wú)須建立光學(xué)模型，而是通過(guò)結(jié)合白平衡和圖像融合兩個(gè)步驟來(lái)改善水下圖像。在本文的方法中，白平衡階段旨在消除水下光散射引起的色偏，產(chǎn)生自然的海底圖像外觀；圖像融合增強(qiáng)場(chǎng)景邊緣和細(xì)節(jié)，以減輕后向散射引起的對(duì)比度損失，實(shí)現(xiàn)無(wú)偽影的混合。

圖1 本文算法流程

1.1 水下白平衡色彩校正

在水下環(huán)境中，由于水中懸浮雜質(zhì)造成不正常散射以及光線穿過(guò)水分子時(shí)的反射和折射，水下成像光衰減根據(jù)光的波長(zhǎng)而變化，不同波長(zhǎng)的顏色失真程度不同。紅色衰減最嚴(yán)重，其次是藍(lán)色，最后是綠色。因?yàn)榧t色最容易被吸收，所以當(dāng)人們深入水體時(shí)，圖像呈現(xiàn)出綠藍(lán)色的外觀。白平衡的主要目標(biāo)是消除水質(zhì)對(duì)光線的吸收、外界自然光或各種照明而導(dǎo)致的色偏。FINLAYSON G D等人提出的“shades-of-Gray”方法[5]和WEIJER J V等人的灰邊假設(shè)算法[6]嘗試通過(guò)應(yīng)用MINKOWSKIp范數(shù)來(lái)消除色偏。雖然這些方法在選擇適當(dāng)?shù)膮?shù)時(shí)能夠獲得較好的結(jié)果，但對(duì)于極其渾濁的水下場(chǎng)景，傳統(tǒng)算法通常表現(xiàn)不佳，難以有效地消除色偏，且常呈現(xiàn)偏藍(lán)的外觀。

相比較而言，灰度世界算法[7]能夠較好地消除藍(lán)色色調(diào)，但存在紅色偽影。為了解決這個(gè)問題，本文嘗試在高度衰減的區(qū)域?qū)t色通道進(jìn)行補(bǔ)償，向紅色通道中添加一小部分綠色。這種方法的優(yōu)勢(shì)在于通過(guò)僅使用綠色通道的信息，向紅色中添加綠色和藍(lán)色，可以更好地恢復(fù)整個(gè)色譜，同時(shí)保持自然的外觀。本文將每個(gè)像素位置x處的補(bǔ)償紅色通道Irc表示為

式中：表示圖像I綠色通道平均值，表示紅色通道平均值，α=1，將每個(gè)通道動(dòng)態(tài)范圍上限歸一化到區(qū)間[0,1]。本文用上述方法進(jìn)行顏色補(bǔ)償，再采用灰度世界算法有效均衡調(diào)節(jié)水下圖像色差。因?yàn)榧t色通道得到了更好的平衡，有效減少了紅色偽影。本文白平衡算法處理后的實(shí)驗(yàn)結(jié)果如圖2所示。相對(duì)于傳統(tǒng)的白平衡技術(shù)，本文的方法在恢復(fù)水下圖像顏色色偏方面呈現(xiàn)出較好的視覺效果，顯示出更高的穩(wěn)健性。

圖2 白平衡算法調(diào)整結(jié)果圖

1.2 多尺度融合算法

盡管白平衡算法較好地改善了水下圖像色偏問題，但由于場(chǎng)景的邊緣和細(xì)節(jié)受到散色的影響，圖像的整體對(duì)比度和邊緣清晰度提升效果仍有待提高。因此，本文介紹了一種多尺度融合算法處理水下圖像模糊性質(zhì)的方法，在校正圖像的基礎(chǔ)上主要分兩個(gè)步驟：第一個(gè)步驟，完成伽馬校正處理后提升對(duì)比度的圖像和銳化處理增強(qiáng)邊緣細(xì)節(jié)后的圖像的顯著性權(quán)重和飽和度權(quán)重計(jì)算；第二個(gè)步驟，多尺度融合兩個(gè)圖譜計(jì)算后的權(quán)重得到增強(qiáng)圖像，具體過(guò)程如圖3所示。

圖3 多尺度融合算法流程

1.2.1 邊緣增強(qiáng)算法

在水深超過(guò)10 m的深水環(huán)境中，白平衡水下圖像因?yàn)槲盏念伾y以完全恢復(fù)而顯得過(guò)亮。本文對(duì)白平衡圖像進(jìn)行伽馬校正以提升圖像整體對(duì)比度，但會(huì)導(dǎo)致圖像邊緣細(xì)節(jié)丟失。因此，本文在白平衡圖像上進(jìn)行銳化處理以增強(qiáng)圖像的邊緣細(xì)節(jié)。具體做法是，將高斯濾波后的圖像與白平衡圖像混合，得到銳化圖像S。

式中：I表示白平衡圖像，G*I表示高斯濾波版本I，線性歸一化算子N{·}使用定義的唯一移位和縮放因子對(duì)圖像的所有顏色像素強(qiáng)度進(jìn)行移位和縮放，以覆蓋整個(gè)可用的動(dòng)態(tài)范圍。其優(yōu)勢(shì)在于不需要參數(shù)調(diào)整，并在銳化方面表現(xiàn)出良好效果。

1.2.2 顯著性權(quán)重和飽和度權(quán)重

引入顯著性權(quán)重WS以更好地突出水下場(chǎng)景顯著性對(duì)象的特征，改善輸出圖像整體對(duì)比度。然而，顯著性權(quán)重圖偏向顯示具有高亮度值的區(qū)域。本文根據(jù)突出顯示區(qū)域的飽和度下降觀察結(jié)果，引入一個(gè)附加的飽和度權(quán)重圖。

飽和度分量反映了圖像的色度信息，飽和度低的圖像色彩暗淡[8]。在白平衡圖像提升圖像對(duì)比度的同時(shí)，也要考慮提升圖像的飽和度分量以恢復(fù)圖像色彩的豐富度。

對(duì)于每個(gè)輸入圖像Ik，該飽和權(quán)重WSat具體實(shí)現(xiàn)可表示為

式中：Rk、Gk、Bk分別是圖像每個(gè)像素的顏色通道，Lk為第k個(gè)輸入的亮度。

為進(jìn)行后續(xù)的加權(quán)融合過(guò)程，對(duì)輸入圖像Ik獲得的3個(gè)權(quán)重圖WL、WS和WSat合并后歸一化成一個(gè)總權(quán)重圖。對(duì)于每個(gè)輸入圖像Ik，其總的歸一化權(quán)重圖為

式中：δ表示正則化系數(shù)，設(shè)置δ=0.1。

由歸一化權(quán)重映射加權(quán)的輸入與圖像每個(gè)像素位置x處的權(quán)重測(cè)量融合獲得重建圖像R(x)，表示為

由于融合采用兩個(gè)輸入，故k=2。

1.2.3 多尺度分解和融合

本文采用了金字塔融合的方法實(shí)現(xiàn)水下圖像的增強(qiáng)[9]。金字塔作為一種圖像集合，底部由大尺寸的原圖組成，越往上層，尺寸越小，因此金字塔的層級(jí)數(shù)直接影響圖像融合視覺效果。在完成伽馬校正處理后提升對(duì)比度的圖像和銳化處理增強(qiáng)邊緣細(xì)節(jié)后的圖像的顯著性權(quán)重和飽和度權(quán)重計(jì)算后，對(duì)歸一化后的權(quán)重圖進(jìn)行高斯金字塔分解，對(duì)伽馬校正和銳化邊緣圖像進(jìn)行拉普拉斯金字塔分解。拉普拉斯金字塔分解基本步驟如下。首先，對(duì)金字塔的每層圖像進(jìn)行高斯低通濾波，進(jìn)行上采樣，即圖像在每個(gè)維度上擴(kuò)大為原來(lái)的兩倍，然后用給定的濾波器卷積去估計(jì)丟失像素的近似值；其次，高斯金字塔本層圖像與上層低通濾波上采樣后的高斯金字塔圖像進(jìn)行差值運(yùn)算，得到本層圖像的拉普拉斯金字塔圖像。以此方法類推，得到拉普拉斯金字塔的各層圖像。

這里將層級(jí)數(shù)為N的金字塔，通過(guò)l個(gè)上采樣后恢復(fù)出原始圖像拉普拉斯金字塔表示為

經(jīng)過(guò)高斯金字塔和拉普拉斯金字塔分解，得到了輸入圖像Ik歸一化權(quán)重圖的高斯金字塔Gl和其本身的拉普拉斯金字塔Ll，將具有相同層級(jí)的兩種金字塔按照不同層級(jí)可采用不同融合算子的方式進(jìn)行如式（7）所示的方法融合，得到的第l層融合金字塔，表示為

式中：k代表輸入圖像的數(shù)量，本文中k=2。最后，通過(guò)適當(dāng)?shù)纳喜蓸雍?，采用逐層重建的方式得到最終增強(qiáng)的水下圖像。這種在每一層級(jí)上獨(dú)立地采用融合的方法，有效地避免融合后的圖像產(chǎn)生偽影，獲得與人的視覺特性更接近的圖像效果。

2 結(jié)果與討論

本文所提出的水下去霧方法針對(duì)來(lái)自不同業(yè)余愛好者的真實(shí)水下圖像進(jìn)行了測(cè)試。本實(shí)驗(yàn)使用Matlab軟件實(shí)現(xiàn)算法編程，處理器為Intel（R）Core（TM）i7-6700 CPU(3.4GHz)，16GB內(nèi)存，操作系統(tǒng)為Windows10。本文融合算法的優(yōu)勢(shì)在于僅采用一組可自動(dòng)設(shè)置的精簡(jiǎn)參數(shù)。其中，白平衡過(guò)程依賴于單個(gè)參數(shù)α，在所有實(shí)驗(yàn)中該參數(shù)均設(shè)置為1。對(duì)于多尺度融合，分解級(jí)別的數(shù)量取決于圖像尺寸，被定義為使得最小分辨率的尺寸達(dá)到十分之幾像素（例如，600×800圖像尺寸為7級(jí)）。不同方法對(duì)水下退化圖像的增強(qiáng)效果如圖4所示。

圖4 不同方法增強(qiáng)處理實(shí)驗(yàn)對(duì)比

表1使用3個(gè)指標(biāo)進(jìn)行定量評(píng)估，分別是基于補(bǔ)丁的對(duì)比度質(zhì)量指數(shù)（Patch-based Contrast Quality Index，PCQI）[14]、水下彩色圖像質(zhì)量評(píng)價(jià)（Underwater Color Image Quality Evaluation，UCIQE）[15]、和水下圖像質(zhì)量測(cè)量（Underwater Image Quality Measure，UIQM）[16]。PCQI是通用圖像對(duì)比度度量，數(shù)值越大表示圖像對(duì)比度越好；UCIQE利用色度、飽和度和對(duì)比度的線性組合進(jìn)行定量評(píng)估，分別量化不均勻色偏、模糊和低對(duì)比度，數(shù)值越大表示圖像整體恢復(fù)的質(zhì)量越好；UIQM綜合考慮了水下圖像的色彩度、清晰度和對(duì)比度3個(gè)關(guān)鍵標(biāo)準(zhǔn)，數(shù)值越大越符合人類視覺效果。

表1 基于PCQI、UCIQE和UIQM指標(biāo)的水下去霧評(píng)估

由表1可以看出，文獻(xiàn)[1]圖像的各項(xiàng)指標(biāo)均值都小于其他算法，恢復(fù)的水下圖像并不理想，但在改善圖像藍(lán)綠外觀上略有色偏，部分場(chǎng)景圖像的局部亮度提升略高；文獻(xiàn)[10]針對(duì)自然水域下的圖像，在圖像亮度、對(duì)比度方面較好地恢復(fù)了水下圖像的細(xì)節(jié)，部分圖像UIQM數(shù)值偏低，表現(xiàn)出藍(lán)色圖像恢復(fù)稍低于其他對(duì)比方法；文獻(xiàn)[11]UIQM數(shù)值高于文獻(xiàn)[10]方法，在恢復(fù)圖像色彩、不均勻亮度消除和邊緣保留方面有較好的效果，UCIQE數(shù)值偏低，渾濁水下圖像處理效果欠佳；文獻(xiàn)[12]較好地還原圖像顏色，增強(qiáng)了水下圖像的細(xì)節(jié)，UCIQE數(shù)值不太理想，圖像飽和度偏低，視覺效果上有所欠缺；文獻(xiàn)[13]有效還原水下圖像的細(xì)節(jié)，圖像特征更清晰，部分圖像UIQM數(shù)值偏低，有圖像變暗的問題。就評(píng)估參數(shù)PCQI、UCIQE和UIQM平均指標(biāo)值而言，本文方法在指標(biāo)上表現(xiàn)出相似或更高的數(shù)值，尤其是PCQI取得了較高的數(shù)值，表明本文的方法能夠顯著增強(qiáng)不同場(chǎng)景的水下圖像全局對(duì)比度、顏色和圖像結(jié)構(gòu)細(xì)節(jié)，有良好的視覺效果。

3 結(jié)語(yǔ)

本文介紹了一種建立在融合原理基礎(chǔ)上的水下圖像增強(qiáng)方法，除了單個(gè)原始圖像之外不需要額外的信息。實(shí)驗(yàn)證明，本文的方法能夠以高精度增強(qiáng)各種水下圖像，包括不同的相機(jī)、深度和光照條件，同時(shí)能夠恢復(fù)重要的褪色特征和邊緣。但是在遠(yuǎn)離相機(jī)的水下場(chǎng)景區(qū)域，圖像的顏色并不能完全恢復(fù)，總會(huì)保留一些霧度。未來(lái)仍需對(duì)此進(jìn)一步研究。