畸變光場(chǎng)圖像矯正方法的設(shè)計(jì)與仿真

陳 燕，張 權(quán)

(中北大學(xué)信息與通信工程學(xué)院，山西 太原 030051)

1 引言

因拍攝環(huán)境光照影響或者工具自身限制，所獲得圖像會(huì)存在光場(chǎng)畸變問題，難以在亮度不均衡的圖像內(nèi)提取有用數(shù)據(jù)信息，若被拍攝物體表面不平滑，致使各部分對(duì)光線的吸收和反射效果大不相同，也會(huì)產(chǎn)生畸變現(xiàn)象。

為此相關(guān)人員研究出以下解決方案：席佳祺[1]等人針對(duì)低照明度環(huán)境下圖像光場(chǎng)不均衡問題，通過色彩像素和對(duì)應(yīng)位置信息的相互關(guān)系，構(gòu)建畸變?cè)肼暈V波算法，去除圖像內(nèi)無(wú)效光照數(shù)據(jù)，最大程度保留圖像細(xì)節(jié)。但濾波器選擇不準(zhǔn)確會(huì)給整個(gè)過程帶來(lái)干擾，矯正后圖像邊界會(huì)有模糊、不清晰情況；晏濤[2]等人提出一種基線圖像編輯法，首先需要確定對(duì)應(yīng)相機(jī)參數(shù)，求出每個(gè)目標(biāo)點(diǎn)視覺差別圖，然后運(yùn)用基線編輯法對(duì)其進(jìn)行重新處理，將圖像投射到與之對(duì)應(yīng)的視點(diǎn)，最后采用深度學(xué)習(xí)算法矯正圖像。按照上述過程進(jìn)行多次操作，可以修復(fù)因照度不均勻產(chǎn)生的畸變光場(chǎng)圖像，然而該方法也存在弊端，由于背景經(jīng)過多次處理，過度曝光導(dǎo)致圖像粗糙、顏色失真，無(wú)法達(dá)到對(duì)復(fù)雜背景圖進(jìn)行平滑處理的效果。

綜合上述優(yōu)勢(shì)和問題，本文采用改進(jìn)Hough變換方法矯正畸變光場(chǎng)圖像，Hough變換[3]可根據(jù)圖像內(nèi)容分割全局特征、明確目標(biāo)和背景之間的差異，連接具備特定形狀像素點(diǎn)，使主體邊緣平滑，強(qiáng)化目標(biāo)特征信息，優(yōu)化后期畸變光場(chǎng)矯正效果。傳統(tǒng)Hough變換可以幫助圖像矯正，且不依賴直線連續(xù)的特點(diǎn)，但提取過程中，如果有多條直線存在，往往會(huì)提取出少量不需要矯正的光場(chǎng)線，增加無(wú)用的計(jì)算量，降低矯正速度，在實(shí)際應(yīng)用時(shí)有很大局限性。為此采用改進(jìn)的Hough變換，在提取過程中截取出直線最外圍，利用直線交點(diǎn)坐標(biāo)保證檢測(cè)出的結(jié)果是準(zhǔn)確目標(biāo)，解決了多條直線干擾、圖像失真和模糊等問題，矯正了非正視圖像，得到輪廓清晰圖像后，將畸變背景光場(chǎng)定義成低頻信號(hào)，選擇高斯差分(DOG)濾波器，將空域卷積運(yùn)用在濾波過程中，優(yōu)化選擇的參數(shù)，去除低頻畸變光場(chǎng)信號(hào)，得到最終矯正結(jié)果。經(jīng)過詳細(xì)分析和仿真驗(yàn)證，方法解決了圖像邊界模糊等問題，使畸變光場(chǎng)圖像矯正效果更理想。

2 改進(jìn)Hough變換算法下光場(chǎng)畸變矯正

2.1 畸變光場(chǎng)圖像內(nèi)非正視區(qū)域改進(jìn)Hough變換

在參數(shù)空間[4]中，通過Hough變換得到極值點(diǎn)的取值，檢測(cè)圖像中直線、曲線，并確定線條參數(shù)，提取出規(guī)則曲線。它依據(jù)圖像的全局特征，把特定形狀像素點(diǎn)連接起來(lái)，使主體邊緣平滑，把源圖像點(diǎn)映射到累加的參數(shù)空間上，檢測(cè)出已知解析式曲線。此方式受到邊界間斷以及噪聲影響干擾比較小，變換后圖像輪廓清晰，利于優(yōu)化后續(xù)矯正效果。

參數(shù)空間中每一點(diǎn)都可以與圖像上任意直線區(qū)間一一匹配，但是任意圖像上的像素會(huì)在多條直線區(qū)間中存在，二者并非是一一對(duì)應(yīng)的。本文將圖像上的直線區(qū)間假設(shè)為一個(gè)棋盤，令特定像素假設(shè)成存在于棋盤中的棋子，但是，在這里任意棋子并非固定于某個(gè)特定棋盤內(nèi)，它們可以存在于多個(gè)區(qū)域中。那么就可以理解為運(yùn)用Hough變換圖像中每個(gè)棋子，也就是對(duì)特定像素[5]進(jìn)行檢測(cè)，然后找到含有棋子的棋盤，也就是平面上直線區(qū)間，再在每個(gè)棋盤統(tǒng)計(jì)數(shù)量上+1，通過上述過程，就可以檢測(cè)出每個(gè)區(qū)間包含的特定像素?cái)?shù)量。當(dāng)某個(gè)直線區(qū)間中出現(xiàn)了足夠多特定像素時(shí)，就可以排除干擾，確定在這個(gè)區(qū)域中表示的直線是存在的。

如果圖像中有大量直線，直接運(yùn)用Hough變換提取出的結(jié)果往往不是準(zhǔn)確目標(biāo)，因此本文在原有算法的基礎(chǔ)上進(jìn)行了改進(jìn)。提取直線過程中，在寬度>1的情況下，就需要將最外圍截取出來(lái)，然后準(zhǔn)確記錄好每一個(gè)端點(diǎn)數(shù)值，最后運(yùn)用Hough變換結(jié)果來(lái)計(jì)算直線交點(diǎn)，這時(shí)得出的數(shù)值即直線端點(diǎn)。避免計(jì)算結(jié)果是直線內(nèi)部點(diǎn)或者是直線延長(zhǎng)線、以及其它干擾提取交點(diǎn)情況，準(zhǔn)確檢測(cè)出所需目標(biāo)點(diǎn)。圖1為畸變圖像透視變換圖。

圖1 畸變圖像透視變換圖

圖1是一個(gè)畸變圖像內(nèi)的非正視區(qū)域，可通過透視變化為正視平面圖像，這個(gè)過程表示為

(1)

式中，(x，y)為畸變圖像的像素坐標(biāo)，(u，v)為正視圖的像素坐標(biāo)，a、b、c、d、e、f、m、l為變換參數(shù)。

使用算法的過程中，需要確保圖像中存在四條相交直線，運(yùn)用改進(jìn)的Hough變換定位出四個(gè)點(diǎn)坐標(biāo)，把實(shí)際點(diǎn)坐標(biāo)和定位出的點(diǎn)坐標(biāo)當(dāng)成解析上述矩陣的已知量，運(yùn)用這四對(duì)數(shù)據(jù)可以解出參數(shù)向量，最后得到想要的參數(shù)值。將式(1)改寫為

(2)

有八個(gè)相對(duì)獨(dú)立參數(shù)存在于變換式中，運(yùn)用圖像點(diǎn)對(duì)的方式來(lái)進(jìn)行二維平面變換計(jì)算。把存在于畸變圖像中每個(gè)像素點(diǎn)的坐標(biāo)標(biāo)記為：(x1，y1)、(x2，y2)、(x3，y3)、(x4，y4)；對(duì)應(yīng)正視圖中點(diǎn)的坐標(biāo)為(u1，v1)、(u2，v2)、(u3，v3)、(u4，v4)；于是可以得到

(3)

非正視區(qū)域的正視矯正結(jié)果記作

UV=A×M

(4)

其中變換參數(shù)間關(guān)系式為

M=A-1×UV

(5)

通過上述獲得對(duì)應(yīng)的矯正參數(shù)值，由于畸變光場(chǎng)導(dǎo)致的非正視圖像細(xì)節(jié)丟失誤差，提取需矯正光場(chǎng)圖像內(nèi)目標(biāo)輪廓特征，幫助后續(xù)實(shí)現(xiàn)優(yōu)質(zhì)光場(chǎng)矯正效果，防止矯正過程中出現(xiàn)圖像失真或者不清晰問題。

2.2 高斯差分下畸變光場(chǎng)圖像矯正方法

2.2.1 光照不均矯正圖像光場(chǎng)分析

獲得一幅在非均勻光照[6]射線下，光場(chǎng)畸變圖像上某個(gè)像素坐標(biāo)(x，y)，用下列公式表示出亮度值B

(6)

F(x，y)=R(x，y)S(x，y)

(7)

被檢測(cè)物體的表面反射效果[7]決定了R(x，y)的取值，可以最大程度描述正視變換后圖像邊緣特征，使矯正后結(jié)果清晰準(zhǔn)確。外部光照條件決定S(x，y)取值。

通過上述分析可知，光場(chǎng)畸變問題是由于作用在物體上的光照不均勻現(xiàn)象導(dǎo)致的，如果能夠消除不均衡光在原來(lái)目標(biāo)上的作用效果，將S(x，y)從F(x，y)中分離并去除，只留下R(x，y)，那么就可以解決光場(chǎng)畸變問題。因此，考慮將式(7)的兩邊以對(duì)數(shù)取值，可得到

log2F(x，y)=log2R(x，y)+log2S(x，y)

(8)

則S(x，y)和R(x，y)從原來(lái)相乘關(guān)系轉(zhuǎn)變到相加的關(guān)系，此時(shí)更利于將不均衡光照從原圖像中分離出來(lái)。

對(duì)S(x，y)、R(x，y)兩者進(jìn)行分析后，可以知道，因?yàn)楸粰z測(cè)物體表面反射特性決定了R(x，y)的取值，其值影響物體具體細(xì)節(jié)特征，所以得出圖像頻譜[8]中與之對(duì)應(yīng)的是高頻分量。而S(x，y)值由外部光照決定，變化速度非常緩慢，圖像頻譜中與之對(duì)應(yīng)的應(yīng)該是低頻分量。

由此可知，選擇出適合的低通濾波器[9]是圖像矯正關(guān)鍵，使畸變光場(chǎng)作用效果從原圖中分離出來(lái)。

2.2.2 高斯差分濾波器下矯正實(shí)現(xiàn)

本文選用高斯差分濾波器[10]，通過高斯差分函數(shù)有效去除圖像內(nèi)的低頻分量，其傳遞函數(shù)由寬度值不相同的兩個(gè)高斯函數(shù)A1、A2進(jìn)行差分得到

(9)

式中，寬度值a1>a2。

為了構(gòu)建用于分離畸變光場(chǎng)的高斯差分(DOG)濾波器，首先考察傳遞函數(shù)0頻率處增益λ值，式(9)中，讓傳遞函數(shù)s=0得到

G(0)=A1-A2

(10)

如果要滿足濾波器阻帶內(nèi)0≤λ<1這一條件，那么需要有

0≤A1-A2<1

(11)

讓差分結(jié)果G的最大值為Gmax，根據(jù)式(9)可以得出Gmax≤A1，再由通帶增益λ≥1，也就是Gmax≥1，可以得出

A1≥1

(12)

式(11)和(12)共同約束了A1、A2參數(shù)值，為了方便操作，令A(yù)1=A2=1，a1、a2的取值由背景頻帶寬度W0決定，因此不能得出唯一解，在計(jì)算中可以依據(jù)實(shí)際需求進(jìn)行挑選。例如分離圖像內(nèi)目標(biāo)細(xì)節(jié)干擾，需要過濾掉高頻噪聲，這時(shí)就可以選擇合適的解來(lái)設(shè)計(jì)帶通頻譜。接下來(lái)討論a1趨于無(wú)窮大的這種情況，在此條件下，傳遞函數(shù)可以表示為

G(s)=1-e-s2/2a2

(13)

依據(jù)高斯函數(shù)3-σ規(guī)則[11]，可以得到標(biāo)準(zhǔn)差α取最優(yōu)值的條件為

3αopt=W0

(14)

把上述結(jié)果運(yùn)用到空域中，從式(14)的傅里葉逆變換得到DOG沖激響應(yīng)為

(15)

式中，δ(x)表示單位沖激函數(shù)。

得出標(biāo)準(zhǔn)差σ的最優(yōu)值為

(16)

DOG卷積核的尺寸由式(16)決定。式(17)卷積積分公式可以得出運(yùn)用該核對(duì)輸入信號(hào)f(x)的濾波矯正結(jié)果

(17)

最終由式(13)、(15)得出：在頻率大于背景頻帶寬度W0的情況下，濾波器通帶增益值恒等于1，可以實(shí)現(xiàn)在高分量通過時(shí)，矯正后圖像不出現(xiàn)失真情況；在頻率小于W0時(shí)，濾波器通帶增益值小于1，依據(jù)高斯曲線遞減規(guī)律，濾波器通帶增益值下降為0，在這樣的情況下，比W0低的頻譜全都被濾波器抑制了，即去除了畸變光場(chǎng)。

通過δ(x)的特性可以得到

f(x)δ(x)=f(x)

(18)

聯(lián)合式(15)、(17)可以得出

(19)

通過上式得出，高斯差分濾波器可有效將畸變光場(chǎng)作用效果從原圖中分離出來(lái)，矯正過程可總結(jié)為運(yùn)用原來(lái)輸入的信號(hào)減去高斯核與它做卷積得到的信號(hào)。

3 仿真結(jié)果及分析

為檢測(cè)本文算法對(duì)畸變光場(chǎng)圖像矯正的有效性，設(shè)定仿真環(huán)境為Visual Studio2015，計(jì)算機(jī)配置為Windows7系統(tǒng)，數(shù)據(jù)來(lái)自任意開源數(shù)據(jù)庫(kù)。

選用不同光照環(huán)境下復(fù)雜圖片，將本文算法結(jié)果與畸變?cè)肼暈V波法、基線圖像編輯法進(jìn)行對(duì)比，從圖2、3、4、5對(duì)比中可以得出，3種方法都能夠在一定程度上實(shí)現(xiàn)畸變光場(chǎng)圖像矯正，但是圖3畸變?cè)肼暈V波法，由于濾波器選擇不準(zhǔn)確，給整個(gè)過程帶來(lái)干擾，導(dǎo)致圖像邊界模糊、不清晰情況；圖4運(yùn)用基線圖像編輯法，過度曝光導(dǎo)致圖像粗糙、顏色失真現(xiàn)象；圖5運(yùn)用本文提出的算法，憑借改進(jìn)Hough變換在保證圖像具有清晰輪廓前提下，調(diào)節(jié)了光場(chǎng)作用效果，還原背景區(qū)間真實(shí)情況，相比其它方法矯正效果視感最好。

圖2 存在畸變光場(chǎng)的原圖

圖3 畸變?cè)肼暈V波法矯正后效果

圖4 基線圖像編輯法矯正后效果

圖5 本文算法矯正后效果

上述照片僅體現(xiàn)主觀視覺效果，為了增加結(jié)果的準(zhǔn)確、客觀性，在實(shí)驗(yàn)中引入亮度均勻性評(píng)價(jià)函數(shù)、清晰度、和信息熵值[12]，從圖像光場(chǎng)均勻性、邊界清晰程度、細(xì)節(jié)信息完整情況這幾個(gè)角度進(jìn)行驗(yàn)證。

正常情況下，檢測(cè)圖像光場(chǎng)均勻性常常運(yùn)用圖像亮度矩陣標(biāo)準(zhǔn)差，但是在散射屏中，因?yàn)橄到y(tǒng)原有結(jié)構(gòu)決定了圖像中比較暗的區(qū)間，經(jīng)常把總亮度曲線谷值設(shè)置成需要矯正的亮度目標(biāo)。而原圖像亮度高于矯正后亮度值，運(yùn)用圖像亮度矩陣標(biāo)準(zhǔn)差只能看出光場(chǎng)均勻性的大概情況，體現(xiàn)不出具體細(xì)節(jié)，所以實(shí)驗(yàn)中挑選亮度均勻性評(píng)價(jià)函數(shù)當(dāng)作評(píng)價(jià)指標(biāo)。這個(gè)指標(biāo)中Hp×q為圖像亮度矩陣，hi，j為第i行第j列的像素，光場(chǎng)均勻性評(píng)價(jià)標(biāo)準(zhǔn)為

(20)

式中，ε表示亮度均勻性評(píng)價(jià)函數(shù)，h表示圖像亮度矩陣，平均值為μ，標(biāo)準(zhǔn)差為S。這個(gè)函數(shù)同時(shí)兼顧了圖像內(nèi)各區(qū)域的亮度差和亮度水平，ε數(shù)值越小，說明光場(chǎng)越均勻。

清晰度和信息熵值計(jì)算公式如下

(21)

(22)

式中，?為清晰度，ω為信息熵值，g、k為像素值，p(g)為g出現(xiàn)在圖像中的概率，z為灰度值范圍，Hx(g，k)和Hy(g，k)為H在x，y方向上的導(dǎo)數(shù)，E和F為圖像尺度。?值越大圖像越清晰，ω值越大說明圖像所攜帶的信息量越多。

表1是5000幅畸變光場(chǎng)圖像采用上述三種方法進(jìn)行矯正后，亮度均勻性、清晰度和信息熵值的平均值對(duì)比情況。

表1 不同算法畸變光場(chǎng)圖像矯正效果對(duì)比

從表1的對(duì)比結(jié)果中可以清晰看出：運(yùn)用本文算法進(jìn)行矯正后，無(wú)論是亮度均勻性、清晰度還是攜帶信息量均優(yōu)于其它算法，客觀驗(yàn)證了本文算法對(duì)畸變光場(chǎng)圖像可以進(jìn)行高度還原，矯正效果較好。

4 結(jié)論

光場(chǎng)照度不均勻?qū)е聢D像產(chǎn)生畸變現(xiàn)象，為了對(duì)其進(jìn)行有效矯正，本文在傳統(tǒng)Hough變換的基礎(chǔ)上，改進(jìn)算法，保證提取目標(biāo)的有效性，解決了多條直線干擾、圖像失真等問題。得到輪廓清晰圖像后，選擇適合的低通濾波器解決光場(chǎng)照度不均勻問題。本文選用高斯差分濾波器，將畸變光場(chǎng)作用效果從原圖中分離出來(lái)，保證矯正的有效性。用對(duì)比實(shí)驗(yàn)，從主客觀兩個(gè)角度，對(duì)多幅畸變光場(chǎng)圖像矯正結(jié)果的亮度均勻性、清晰度和信息熵值平均值進(jìn)行比較，結(jié)果表明本文算法可以有效解決光場(chǎng)圖像畸變問題。