基于Kinect相機的深度圖像修復(fù)算法

劉繼忠，王聰

(南昌大學(xué)機器人研究所，江西 南昌330031)

微軟公司的Kinect產(chǎn)品發(fā)布之后，逐漸吸引了大量科研人員的關(guān)注。Kinect作為一款RGB-D相機，可以同時采集彩色(RGB)圖像和深度圖像，廣泛應(yīng)用于三維場景重建[1]、目標(biāo)追蹤系統(tǒng)[2]、同時定位與地圖構(gòu)建(SLAM)和機器人導(dǎo)航等領(lǐng)域。深度圖像中把相機到場景的距離以灰度值的形式儲存。在計算機視覺領(lǐng)域主要有3種獲取深度信息的方法：第1種是單目相機，其不能直接得到物體與相機的距離，需經(jīng)過相機平移后計算深度，但有尺度不確定性的缺點；第2種是雙目相機，它可以通過兩個相機的視差計算深度，但計算視差的運算量較大，消耗計算資源；第3種是RGB-D相機[3]，如Kinect等，它可同時獲得彩色圖像和相對應(yīng)的深度圖像，因可以直接得到深度信息，且價格低廉，性價比較高。但是，Kinect在采集深度圖像時，遇到區(qū)域遮擋、鏡面反射等情況，所得圖像會在這些區(qū)域產(chǎn)生大量空洞(即在深度圖像里空洞對應(yīng)區(qū)域的灰度值為0)和噪聲[4]。因此，為了得到高質(zhì)量的深度數(shù)據(jù)，需要對采集的深度圖像進(jìn)行修復(fù)，為后續(xù)的三維重建提供數(shù)據(jù)參考。

針對上述問題，許多研究人員對深度圖像空洞修復(fù)和去噪進(jìn)行了大量探索研究。其中，基于濾波的方法來達(dá)到修復(fù)的方式相對簡單且應(yīng)用廣泛。Elguebaly等[5]提出了一種基于高斯濾波的修復(fù)方法，該方法有較好的修復(fù)效果，主要體現(xiàn)在處理小型空洞或噪聲的情況，但在處理大面積的空洞時效果較差。Esfahani等[6]采用了基于雙邊濾波的修復(fù)方法，該方法能夠有效地處理邊緣處的較小的空洞噪聲，且能同時考慮到空洞點處的像素信息與位置信息。Chen等[7]提出用聚類的思想修復(fù)深度空洞的區(qū)域，該方法采用彩色圖聚類的結(jié)果為引導(dǎo)，在空洞點處搜索引導(dǎo)圖像的非空洞點，選擇該點的深度值作為空洞填充值，但該方法在使用時過于依賴聚類的結(jié)果，且魯棒性欠佳。Lu等[8]提出一種通過利用噪聲彩色圖像來修復(fù)深度值缺失的區(qū)域，并進(jìn)行去噪的方法，在低秩子空間約束中，通過RGB-D稀疏值合成矩陣來達(dá)到修復(fù)深度值和去噪的目的，深度圖像處理效果較好。在進(jìn)行深度圖像處理時，濾波器大多只具有單一的修復(fù)空洞或去噪的功能。因此，本文提出了基于聯(lián)合雙邊濾波器和中值濾波相結(jié)合的方法，來修復(fù)采集的原始深度圖像中的空洞和噪聲。通過實驗證明，該方法即可以有效的修復(fù)深度圖像的空洞區(qū)域，也能很好的去除噪聲。

1 算法框架

使用Kinect設(shè)備獲得彩色(RGB)圖像和深度圖像的信息，并將它們裁剪對齊，如圖1所示。再使用基于聯(lián)合雙邊濾波器和中值濾波相結(jié)合的方法，對采集的深度圖像中的空洞和噪聲進(jìn)行修復(fù)，本文算法框架如圖2所示。

圖2 算法框圖Fig.2 Algorithm block diagram

(a) 彩色圖像

1.1 預(yù)處理

由于Kinect的彩色攝像頭和深度攝像頭的拍攝視點不同心(即不在同一位置)，故應(yīng)先將彩色圖像與深度圖像對齊[9]。本文使用張正友標(biāo)定法來標(biāo)定彩色相機與深度相機的內(nèi)外參數(shù)，這里就不詳細(xì)贅述。圖3為Kinect相機示意圖。

圖3 Kinect v2相機Fig.3 Kinect v2 camera

根據(jù)Kinect相機參數(shù)可以得知，Kinect彩色相機分辨率為1 920×1 080，深度相機分辨率為512×424，深度圖像幀率為30 fps，深度有效值的范圍為0.5～4.5 m，深度相機的視角為水平70°、垂直60°，而超出這一范圍的場景信息，都無法采集，此區(qū)域為邊緣無效區(qū)域。為了更好地對圖像進(jìn)行處理，本文將用裁剪圖像的方式去除邊界無效區(qū)域信息，以此來保證整體的深度圖像質(zhì)量。

1.2 空洞修復(fù)

Kinect在采集深度數(shù)據(jù)時[10]，在鏡面反射區(qū)域或鄰近物體遮擋區(qū)域容易造成深度圖像信息丟失，它們在深度圖像上會以空洞形式存在，該空洞區(qū)域的深度值為0。聯(lián)合雙邊濾波[11]是基于雙邊濾波發(fā)展演化而來，雙邊濾波器[12]是一種非線性濾波器，采用了加權(quán)平均的思想。主要是用周邊像素灰度值的加權(quán)平均代表某個像素的強度，所用的加權(quán)平均基于高斯分布。雙邊濾波的權(quán)重不僅考慮像素的歐氏距離，還考慮像素領(lǐng)域中的顏色差異[13]。由于它結(jié)合了像素間的空域信息和灰度相似性，對于離它距離較遠(yuǎn)或與其像素值差別較大的點都不會對該點像素值造成太大影響，因此可以很好地保護(hù)邊緣，但雙邊濾波的權(quán)值不穩(wěn)定。雙邊濾波器計算公式如下：

(1)

(2)

式中:Jp為濾波后的像素值；Kp為歸一化因子；Ω為待修復(fù)像素點p的鄰域；f表示空域權(quán)重；g表示值域權(quán)重，二者分別引入了像素間的距離與像素值的差別，一般f和g都是以點p為中心的高斯濾波器。

(3)

1.3 去噪

Kinect v2屬于飛行時間(time of flight，TOF)的深度相機，即測量光在Kinect相機到場景的飛行往返時間以獲得距離。而基于光學(xué)的測距在采集圖像時會產(chǎn)生噪聲的干擾。噪聲類型主要是椒鹽噪聲。對于椒鹽噪聲的存在，本文將采用中值濾波來處理。中值濾波是Tukey于1971年提出，是一種非線性濾波技術(shù)。對于均值濾波等線性濾波器在處理圖像時，會造成圖像細(xì)節(jié)模糊，而在一定的條件下，中值濾波可以避免這種情況，并且中值濾波對圖像掃描噪聲等的處理效果較好，同時也能對圖像的邊緣信息有很好的保留，實現(xiàn)保邊去噪的效果[14]。其基本原理把數(shù)字圖像或數(shù)字序列中的某一點值，用其鄰域中的各點值的中值替代。通過這種方法對孤立的噪聲點具有很好的消除作用。

簡單來說，當(dāng)使用中值濾波在對圖像進(jìn)行處理時，會取3×3(或5×5、7×7等)的函數(shù)窗，從圖像的邊緣開始橫向或豎向依次進(jìn)行移動處理，并計算以點[i,j]為中心的函數(shù)窗像素中值，具體操作如下：

1) 在每次移動時，對于點[i,j]，把鄰域窗口內(nèi)的圖像像素值進(jìn)行排列；

設(shè)在鄰域窗口內(nèi)的各像素值為x1，x2，…，xn，接下來對于一維數(shù)列x1，x2，…，xn，把n個數(shù)據(jù)按大小排列：xi1≤xi2≤…≤xim,則公式如(4);

(4)

2) 取其統(tǒng)計中的中值作為該點[i,j]新值。

一般采用長度為奇數(shù)點(即2n+1，n為正整數(shù))的鄰域。當(dāng)窗口在深度圖像數(shù)據(jù)上移動時，經(jīng)過中值濾波后輸出窗口內(nèi)各像素的中值作為新的像素值，來取代原窗口中心像素值。當(dāng)像素點為偶數(shù)時，中值即為像素排序后的中間兩個的平均值。通過這種方式，遍歷完整幅深度圖，即可將噪聲濾除。

2 實驗結(jié)果與分析

本文算法在Visual Studio 2013平臺上結(jié)合OpenCV 2.4.9用C++實現(xiàn)，處理器為Inter i5-8300H 2.3 GHz主頻的PC機，8 G內(nèi)存，Windows 10操作系統(tǒng)，傳感器Kinect v2通過USB 3.0接口連接PC機。為了驗證本文的有效性，通過與聯(lián)合雙邊濾波和高斯濾波進(jìn)行定性和定量對比實驗。

2.1 中值濾波的窗口選擇

對于中值濾波的窗口大小選擇，本文使用Middlebury數(shù)據(jù)庫中的數(shù)據(jù)集Cones圖像來進(jìn)行試驗。本文先通過人為添加強度40%椒鹽噪聲到深度圖像，然后使用不同窗口的中值濾波進(jìn)行去噪，最后根據(jù)結(jié)果對比來選擇合適的中值濾波窗口。實驗結(jié)果如圖4所示。

對于中值濾波來說，窗口越小，細(xì)節(jié)保留的會越多，但會有一部分椒鹽噪聲還沒有濾除，如圖4(d)和圖4(e)所示，3×3窗口的中值濾波過后的深度圖像，可以明顯看出存在大量的噪聲；5×5窗口的中值濾波過后未能完全濾除，仍存在少許的噪聲。圖4(f)中，經(jīng)過7×7窗口的中值濾波過后，已經(jīng)明顯沒有椒鹽噪聲；當(dāng)窗口尺寸大時，雖然對噪聲濾除效果更好，但是圖像細(xì)節(jié)會丟失。圖4(g)相對于圖4(f)，在面具之上的部分背景的深度信息細(xì)節(jié)已經(jīng)開始丟失，杯子里的木條中間部分也因深度信息丟失出現(xiàn)斷層現(xiàn)象。相對于其他尺寸的窗口，7×7窗口的中值濾波去噪的效果更好，圖像細(xì)節(jié)更完整。故本文選擇中值濾波的窗口大小為7×7。

(a) Cones原始彩色圖 (b) Cones原始深度圖 (c) 添加噪聲 (d) 窗口數(shù)3×3

2.2 Middlebury數(shù)據(jù)庫數(shù)據(jù)實驗結(jié)果

選擇Middlebury數(shù)據(jù)庫中的Midd1圖像作為測試圖像，并在深度圖像中人工添加一些空洞和噪聲。本次實驗中，添加椒鹽噪聲到深度圖像中，同時在該深度圖像添加黑色的區(qū)域，該區(qū)域表示空洞，即深度值為0。本文將添加空洞和噪聲后的深度圖像作為待修復(fù)圖像，如圖5(c)所示。實驗結(jié)果表明，經(jīng)過高斯濾波后，圖像中有大量的噪點，且對空洞的填充效果不佳；聯(lián)合雙邊濾波對添加的空洞基本上能很好地修復(fù)，但是圖像中的物體邊緣出現(xiàn)漂移。本文算法對空洞修復(fù)和去除噪聲都有較好的效果，修復(fù)后的物體邊緣光滑。表1為各種方法的均方誤差(RMSE)和峰值信噪比(PSNR)的結(jié)果，與高斯濾波和聯(lián)合雙邊濾波相比，本文所提出的方法的RMSE值有所下降，PSNR的值有所增加，具有更好的修復(fù)效果。

(a) Midd1原始彩色圖 (b) Midd1原始深度圖 (c) 添加黑洞和噪聲的深度圖像

表1 Midd1的RMSE和PSNR值Tab.1 Midd1’s RMSE and PSNR values

2.3 Kinect采集數(shù)據(jù)實驗結(jié)果

通過Kinect傳感器采集一組室內(nèi)深度圖像，并使用高斯濾波、聯(lián)合雙邊濾波和本文方法進(jìn)行處理，所得的實驗結(jié)果如圖6所示。從圖6的實驗結(jié)果表明，高斯濾波對于深度圖像中的物體邊緣區(qū)域的空洞修復(fù)效果不好；聯(lián)合雙邊濾波對桌子以及上面的物體邊緣，黑板邊緣、柜子邊緣等區(qū)域的空洞能夠修復(fù)，但物體邊緣會出現(xiàn)漂移，且圖像部分區(qū)域會有模糊現(xiàn)象。本文方法能很好地修復(fù)物體邊緣的空洞，而且物體輪廓更清晰。

(a) 彩色圖 (b) 深度圖 (c) 高斯濾波 (d) 聯(lián)合雙邊濾波 (e) 本文算法

3 結(jié)語

針對Kinect相機采集深度圖像存在空洞和噪聲，提出了一種基于聯(lián)合雙邊濾波和中值濾波相結(jié)合的深度圖像處理方法，完成了對深度圖像的修復(fù)。實驗通過開源數(shù)據(jù)集和Kinect自采數(shù)據(jù)作為實驗對象，并使用不同的方法來進(jìn)行對比。數(shù)據(jù)集通過向深度圖像中添加人工噪聲和空洞，從RMSE和PSNR值進(jìn)行了對比。修復(fù)后的PSNR有所增加，RMSE相對減少，空洞修復(fù)和去噪效果較為理想。實驗結(jié)果表明，經(jīng)本文方法修復(fù)后的深度圖像輪廓更加清晰，物體邊緣更加光滑，修復(fù)的效果更好。