基于色彩平衡及校正的水下圖像增強(qiáng)算法

王梓丞，尹 勇

(大連海事大學(xué) 航海動態(tài)仿真和控制實(shí)驗(yàn)室，遼寧 大連 116026)

0 引 言

地球上海洋總面積占地球表面積的70.8%，隨著近年來人類對于海洋的認(rèn)識與探索不斷加深，水下圖像及視頻信息在各行業(yè)，如利用水下機(jī)器人進(jìn)行船體檢測，橋體大壩檢測，海底電纜及管道檢測，海底石油勘探，水下搜救，海洋中生物及生態(tài)環(huán)境研究等應(yīng)用范圍日益增多。由于水體本身固有特性，水下照明/光學(xué)的物理性質(zhì)，光束通過水體后會發(fā)生折射、散射和吸收問題，水下成像經(jīng)常會導(dǎo)致成像結(jié)果模糊，分辨率低等特點(diǎn)，這對于水下環(huán)境中進(jìn)行科學(xué)研究或資源勘探及利用等水下作業(yè)產(chǎn)生嚴(yán)重的影響。故在水下環(huán)境中實(shí)施觀測及搜救等作業(yè)，需要對圖像采集設(shè)備所采集的圖像或者視頻信息進(jìn)行圖像處理。圖像處理目的是改善圖像質(zhì)量，而圖像增強(qiáng)是改善圖像質(zhì)量最有效的方式。圖像增強(qiáng)目的是改善圖像的視覺效果，提高圖像的質(zhì)量和分辨率，使圖像更加清晰，便于人和計算機(jī)對圖像進(jìn)一步的分析和處理。

該領(lǐng)域內(nèi)一些專家學(xué)者針對水下圖像模糊，色偏，非均勻光照等問題提出了各種針對水下圖像增強(qiáng)的算法?，F(xiàn)階段主要以傳統(tǒng)圖像處理方法為主實(shí)現(xiàn)水下圖像增強(qiáng)。Zhang等[1]提出了基于白平衡及相對全變分的低照度水下圖像增強(qiáng)算法，校正色偏和增強(qiáng)圖像細(xì)節(jié)。Wang等[2]提出了基于背景光估計與顏色修正的水下圖像增強(qiáng)算法，去除水下圖像模糊，改善圖像的偏色，提升圖像的清晰度。Yang等[3]提出了基于色彩衰減補(bǔ)償和Retinex的水下圖像增強(qiáng)算法，校正水下偏色圖像，以及處理非均勻光照和低曝光問題。Ghani等[4]提出了整合同態(tài)濾波、重疊遞歸和雙圖像小波融合的深水圖像增強(qiáng)方法，提升圖像質(zhì)量。Zhu等[5]提出了基于暗原色先驗(yàn)原理的水下圖像增強(qiáng)算法，去除水下圖像模糊特點(diǎn)，校正圖像色偏問題，提高圖像對比度。Zou等[6]提出了一種視覺顯著性分割和Retinex算法相結(jié)合的水下圖像增強(qiáng)方法，提高了水下非均勻光照條件下的清晰度。

現(xiàn)有文獻(xiàn)描述的水下圖像增強(qiáng)算法雖然在一定程度上可以對圖像采集系統(tǒng)采集到的水下圖像與視頻信息進(jìn)行增強(qiáng)，改善水下圖像模糊的問題，但是針對各類復(fù)雜海域，圖像色偏，圖像非均勻光照的問題仍需進(jìn)一步改進(jìn)與提高。本文根據(jù)水下圖像模糊，圖像色偏，圖像非均勻光照的特點(diǎn)，提出了一種基于色彩平衡及校正的水下圖像增強(qiáng)算法。首先讀取圖像采集設(shè)備采集的原始水下圖像或視頻幀信息，經(jīng)過自動白平衡算法處理色彩與色調(diào)問題；將色彩平衡后的水下圖像或視頻幀信息于R，G，B三通道分別利用單尺度Retinex理論的色彩恒常性進(jìn)行算法運(yùn)算；然后將經(jīng)過單尺度Retinex算法處理后的R，G，B三通道分量分別進(jìn)行對比度限制自適應(yīng)直方圖均衡；再經(jīng)過R，G，B三通道自適應(yīng)γ校正算法，分別對R，G，B三通道的亮度值進(jìn)行自適應(yīng)調(diào)整。最后對R，G，B三通道分量進(jìn)行融合，得到增強(qiáng)后的水下圖像或視頻。

1 基于色彩平衡及校正的水下圖像增強(qiáng)算法

1.1 自動白平衡算法

自動白平衡（Automatic White Balance , AWB）是攝像系統(tǒng)領(lǐng)域中非常重要的概念。在水下環(huán)境中，被拍攝物體受到外界自然光、攝像系統(tǒng)附加光源（如水下機(jī)器人搭載的可調(diào)照明設(shè)備）等的影響，通常給觀測者模糊的視覺體驗(yàn)。通過自動白平衡算法，可以在一定程度上解決色彩還原問題與色調(diào)平衡問題，糾正或消除在水下環(huán)境中由于外界自然光、水質(zhì)對光線的吸收或攝像系統(tǒng)自帶照明設(shè)備而導(dǎo)致的偏色，以使圖像的顏色保持恒定?，F(xiàn)有的自動白平衡算法，主要有Gray World Method, Perfect Reflector Method等。本文算法采用Gray World Method，即灰度世界算法，其步驟可總結(jié)如下：

1)求取R，G，B三通道均值

提取彩色圖像的R，G，B三通道，并分別對通道內(nèi)的像素灰度值進(jìn)行累加，遍歷圖像中所有像素，將遍歷后的求和值除以圖像的像素總數(shù)，求取三通道的均值，如下式：

2)求取圖像灰度均值

對式（1）求得的R，G，B三通道均值求和后除以通道數(shù)，求取圖像灰度均值，如下式：

3)求取三通道增益系數(shù)

將式（2）求得的圖像灰度均值分別除以式（1）求得的R，G，B三通道均值，得到R，G，B三通道增益系數(shù)，如下式：

4)自動白平衡結(jié)果

將式（3）求得的R，G，B三通道增益系數(shù)，分別與輸入圖像中的R，G，B三通道對應(yīng)像素的灰度值相乘，即可求得經(jīng)過Gray World Method自動白平衡算法的結(jié)果，如下式：

1.2 Retinex水下圖像增強(qiáng)算法

E.Land以人類視覺的亮度和顏色感知模型，提出了一種顏色恒常知覺的計算理論-Retinex理論（視網(wǎng)膜大腦皮層理論）。在水下環(huán)境中，根據(jù)Retinex算法原理，水下被觀測物體周圍的光線和被觀測物體對于周圍光線的反射，決定了水下光學(xué)成像系統(tǒng)對于水下被觀測物體的觀測效果。圖像采集設(shè)備采集到的圖像與視頻信息，經(jīng)過自動白平衡算法預(yù)處理后，由Retinex算法進(jìn)行增強(qiáng)。該過程利用數(shù)學(xué)模型表述如下：

輸入水下光學(xué)成像系統(tǒng)采集到的水下觀測原始圖像，即

其中，I(x,y)代表水下光學(xué)成像系統(tǒng)采集到的圖像信號，本文中即經(jīng)過自動白平衡算法后的原始圖像（以下簡稱“原圖像”），L(x,y)代表環(huán)境光的照射分量，R(x,y)代表攜帶圖像細(xì)節(jié)信息的目標(biāo)物體的反射分量。其步驟可總結(jié)如下：

1）將環(huán)境光照射分量與攜帶圖像細(xì)節(jié)信息的目標(biāo)物體的反射分量分離，故對該式兩端取對數(shù)，一方面利于將乘法運(yùn)算換算為減法運(yùn)算，利于計算機(jī)進(jìn)行處理；另一方面也可對圖像中具有灰度值低的區(qū)域進(jìn)行擴(kuò)展拉伸, 進(jìn)而補(bǔ)償?shù)推毓猬F(xiàn)象，即

變換得:

2）利用二維高斯模板對原圖像做卷積運(yùn)算，二維高斯模板函數(shù)，即

原圖像經(jīng)二維高斯模板卷積，相當(dāng)于對原圖像作低通濾波，經(jīng)過濾波后的結(jié)果為：

3）在對數(shù)域，用原圖像I(x,y)減去低通濾波后的圖像，即可得到保留有高頻分量的圖像，即

4）對保留有高頻分量的圖像取反對數(shù)，即可得到R(x,y)，即

5）對R(x,y)做對比度限制自適應(yīng)直方圖均衡(Contrast Limited Adaptive Histogram Equalization , CLAHE)[7]，即可得到經(jīng)過Retinex算法增強(qiáng)后的水下圖像或視頻。

1.3 RGB通道自適應(yīng)冪律校正

文獻(xiàn)[8]提出全局對比度增強(qiáng)不能同時增強(qiáng)圖像中低光與高光部分，但是局部對比度增強(qiáng)可以通過使用臨近像素同時增強(qiáng)陰影區(qū)域與高光部分。自適應(yīng)局部冪律變換(Adaptive Local Power-Law Transformation,ALPLT)，利用矩形窗，在整幅圖像中利用矩形窗遍歷圖像中各個像素點(diǎn)，以對圖像進(jìn)行校正。本文分別對R，G，B三通道進(jìn)行自適應(yīng)冪律校正，以校正R，G，B三通道亮度值。

γ校正最早用于陰極射線顯像管（Cathode Ray Tube , CRT）顯示器，可使圖像看起來符合人眼特征。γ對應(yīng)不同值對應(yīng)的曲線如圖1所示，矩形窗在局部像素塊中平移示意圖如圖2所示。

圖1 γ對應(yīng)不同值對應(yīng)的曲線Fig.1 γ Curves corresponding to different values

圖2 矩形窗在局部像素塊中平移示意圖Fig.2 Schematic diagram of translation of rectangular window in local pixel block

算法原理如下：

其中：μ(x,y)為滑動窗口均值；x為圖像寬度系數(shù)；y為圖像高度系數(shù)；s為滑動窗口尺寸。

其中：E(x,y)代表經(jīng)過自適應(yīng)冪律校正增強(qiáng)后的像素亮度值，f(x,y)代表經(jīng)過自適應(yīng)冪律校正增強(qiáng)前的像素亮度值，γ代表冪值，α在多數(shù)計算機(jī)系統(tǒng)與標(biāo)準(zhǔn)顯示器中應(yīng)用非常廣泛，主要用于冪律（伽馬）校正，通常α值取2.2。

從式(12)～式(14)中可以看出，圖像中一個暗色區(qū)域得到γ＜1，而同時圖像中亮色區(qū)域得到γ＞1。

1.4 算法流程

1)采集圖像或視頻信息

通過軟件讀取圖像采集設(shè)備采集的原始水下圖像或視頻信息。此處以一張水下機(jī)器人拍攝的原始水下檢測圖像為例，軟件讀取的水下圖像如圖3所示。

圖3 原始水下圖像Fig.3 Original underwater image

2)自動白平衡算法

原始水下圖像經(jīng)自動白平衡算法，以處理色彩與色調(diào)問題。R，G，B三通道分量分解灰度圖如圖4所示，R，G，B三通道分量融合圖像如圖5所示。

圖4 經(jīng)步驟2處理后R，G，B三通道圖Fig.4 Three channel diagram of R, G and B after processing in step 2

圖5 經(jīng)步驟2處理后圖像Fig.5 Image after processing in step 2

3)Retinex算法與CLAHE

將色彩平衡后的水下圖像或視頻幀信息進(jìn)行R，G，B三通道分量分解，分別遍歷R，G，B三通道各像素并對其進(jìn)行基于單尺度Retinex算法運(yùn)算，然后將R，G，B三通道分量分別進(jìn)行對比度限制自適應(yīng)直方圖均衡。R，G，B三通道分量分解灰度圖如圖6所示，R，G，B三通道分量融合圖像如圖7所示。

圖6 經(jīng)步驟3處理后R，G，B三通道圖Fig.6 Three channel diagram of R, G and B after processing in step 3

圖7 經(jīng)步驟3處理后圖像Fig.7 Image after processing in step 3

4) 自適應(yīng)冪律校正

分別對R，G，B三通道進(jìn)行自適應(yīng)γ校正，對三通道的亮度值進(jìn)行自適應(yīng)調(diào)整。最后對三通道分量進(jìn)行融合，得到增強(qiáng)后的水下圖像或視頻。R，G，B三通道分量分解灰度圖如圖8所示，經(jīng)本文算法增強(qiáng)后的水下圖像增強(qiáng)圖如圖9所示，具體算法流程如圖10所示。

圖8 經(jīng)步驟4處理后R，G，B三通道圖Fig.8 Three channel diagram of R, G and B after processing in step 4

圖9 經(jīng)本文算法增強(qiáng)后的水下圖像增強(qiáng)圖Fig.9 Underwater image enhancement image enhanced by this algorithm

圖10 基于色彩平衡及校正的水下圖像增強(qiáng)算法流程圖Fig.10 Flow chart of underwater image enhancement algorithm based on color balance and correction

2 實(shí)驗(yàn)過程、結(jié)果與分析

實(shí)驗(yàn)利用5幅水下原始圖像，分別采用限制對比度直方圖均衡(Contrast Limited Adaptive Histogram Equalization , CLAHE)算法，暗通道先驗(yàn)(Dark Channel Prior , DCP)算法，單尺度Retinex(Single Scale Retinex ,SSR)算法，帶色彩恢復(fù)的多尺度視網(wǎng)膜增強(qiáng)算法(Multi-Scale Retinex with Color Restoration , MSRCR)與本文提出的算法，對結(jié)果進(jìn)行主觀比對，基于信息熵的清晰度評價函數(shù)Entropy，平均梯度強(qiáng)度與對比度系數(shù)分析經(jīng)過圖像增強(qiáng)前后的圖像各方面指標(biāo)，如圖11～圖15和表1～表3所示。

根據(jù)人類視覺主觀角度分析圖11～圖15可知，本文提出算法增強(qiáng)處理后，圖像中目標(biāo)與背景細(xì)節(jié)改善較為清晰，有效解決偏色問題，針對圖像整體視覺效果改善較為明顯。

圖11 結(jié)果1Fig.11 Result 1

圖12 結(jié)果2Fig.12 Result 2

圖13 結(jié)果3Fig.13 Result 3

圖14 結(jié)果4Fig.14 Result 4

圖15 結(jié)果5Fig.15 Result 5

由表1～表3，可得以下結(jié)論：

表1 圖像增強(qiáng)效果客觀評價（基于信息熵的清晰度評價函數(shù)Entropy）Tab.1 Objective evaluation of image enhancement effect(sharpness evaluation function Entropy based on information entropy)

表2 圖像增強(qiáng)效果客觀評價（基于平均梯度強(qiáng)度）Tab.2 Objective evaluation of image enhancement effect(based on average gradient intensity)

表3 圖像增強(qiáng)效果客觀評價（對比度系數(shù)）Tab.3 Objective evaluation of image enhancement effect (contrast coefficient)

1）由基于信息熵的清晰度評價函數(shù)Entropy的圖像增強(qiáng)效果評價系數(shù)基本保持不變可以看出，本文提出的水下圖像增強(qiáng)算法在圖像增強(qiáng)處理前后圖像信息保真度良好；

2）由基于平均梯度強(qiáng)度的圖像增強(qiáng)效果評價系數(shù)可以看出，按平均梯度強(qiáng)度系數(shù)，本文算法＞CLAHE＞DCP＞MSRCR＞SSR＞原圖像，經(jīng)過圖像增強(qiáng)處理后的算法，圖像細(xì)節(jié)、圖像紋理特征、圖像清晰度、圖像層次相較于圖像增強(qiáng)處理前的水下圖像具有更好的視覺特性；

3）由對比度對比系數(shù)可以看出，本文算法在圖像對比度上具有較高的提升，圖像整體對于人類視覺角度而言更好。

3 結(jié) 語

本文提出了一種有效的水下圖像增強(qiáng)算法，利用自動白平衡算法，解決水下圖像色彩還原問題與色調(diào)平衡問題。采用Retinex理論與CLAHE算法，去除水下圖像模糊問題與進(jìn)行色偏校正。結(jié)合自適應(yīng)γ校正算法，對R，G，B三通道進(jìn)行亮度自適應(yīng)校正。綜合實(shí)驗(yàn)結(jié)果，得出該算法可有效減輕或消除由于水下環(huán)境問題而導(dǎo)致的水下圖像模糊，整體色彩偏色，對比度低的問題，圖像失真率低，并可增強(qiáng)水下圖像細(xì)節(jié)，益于辨析觀測目標(biāo)細(xì)節(jié)特征。經(jīng)算法校正后圖像整體便于人類視覺分析與計算機(jī)視覺后期分析，有利于對圖像或視頻中的目標(biāo)進(jìn)行檢測或識別。