李宇成， 趙興彩，李國(guó)輝

(北方工業(yè)大學(xué)機(jī)電工程學(xué)院，北京 100144)

1 引言

隨著我國(guó)經(jīng)濟(jì)的迅速發(fā)展，城市機(jī)動(dòng)車數(shù)量迅速增加，然而城市空間資源有限，停車難問題日益突出。目前，停車場(chǎng)管理系統(tǒng)側(cè)重在計(jì)時(shí)收費(fèi)功能上，智能化程度普遍不高，欲停車的司機(jī)常需要被專人引導(dǎo)，或者自己滿場(chǎng)尋找空閑車位。為了提高效率、方便司機(jī)停車，同時(shí)方便利用圖像自動(dòng)檢測(cè)車位，設(shè)計(jì)一種新的基于視頻監(jiān)控圖像檢測(cè)空閑車位的方法成為必要。然而，視頻監(jiān)控是分片進(jìn)行的，不方便進(jìn)行全局觀察。另一方面，由于攝像頭受安裝場(chǎng)所或高度限制，圖像傳感器的視野受到很大局限，而且視頻圖像存在畸變。為此，本文提出一種首先將畸變的視頻圖像分段逐一進(jìn)行矯正后再拼接成大圖，進(jìn)而方便后續(xù)進(jìn)行車位檢測(cè)的新方法。

圖像拼接[1]是指將一組有一定重疊區(qū)域的車位圖像序列拼接為一幅能夠更為全面描述場(chǎng)景內(nèi)容的大視場(chǎng)圖像過程。視頻圖像拼接技術(shù)在虛擬現(xiàn)實(shí)、場(chǎng)景重建、遙感遙測(cè)[2]、軍事偵察等領(lǐng)域中有著廣泛的應(yīng)用。拼接的關(guān)鍵在于圖像匹配。目前，圖像匹配方法[3]主要包括兩大類：基于圖像灰度的方法和基于圖像特征的方法。其中，基于圖像特征的匹配方法應(yīng)用較為廣泛。1999年，Lowe D G[4]提出了SIFT(Scale Invariant Feature Transform)算法，這是一種基于尺度空間理論的、對(duì)于圖像縮放、旋轉(zhuǎn)、仿射變換均保持局部特征不變性的圖像描述算子。由于 SIFT算法的復(fù)雜性，使得其計(jì)算量大、速度慢, 直接影響了拼接時(shí)間。Bay等人[5]提出基于積分圖像的 SURF(Speeded Up Robust Features)算法，通過基于積分圖像的方形濾波器來近似代替拉普拉斯高斯算子，構(gòu)造了一種 Hessian矩陣, 進(jìn)而克服了SIFT算法速度慢的問題。

通過停車場(chǎng)的監(jiān)控?cái)z像頭從視頻中提取車位信息，借助計(jì)算機(jī)對(duì)其進(jìn)行圖像分析和處理，基本不增加檢測(cè)系統(tǒng)硬件成本。與需要埋設(shè)地感線圈的車位檢測(cè)系統(tǒng)相比，無需破壞地面，且便于設(shè)備更新和維護(hù)升級(jí)。此外，紅外傳感器和超聲波傳感器因?yàn)椴槐惆惭b，易受人為損壞，都不太適合露天安裝使用。

由于停車場(chǎng)中汽車種類、形狀、大小、顏色各異，直接對(duì)拍攝的視頻圖像進(jìn)行空閑車位檢測(cè)，算法相當(dāng)復(fù)雜、誤檢率高。原因是受視角和透視效應(yīng)[6]影響，停車場(chǎng)或車庫(kù)的視頻圖像畸變嚴(yán)重，直接處理或者多圖拼接成整圖后，由于圖像中各車位形狀不一致，導(dǎo)致較難正確檢測(cè)出車位狀態(tài)。尤其是圖像兩側(cè)部位圖像與中間部位圖像差異明顯，從而大大增加了圖像處理的困難。為此本文提出首先將各個(gè)車位區(qū)域逐一分別進(jìn)行視角和透視效應(yīng)校正以及尺寸歸一化變換后，再進(jìn)行圖像拼接，以便明顯提高后續(xù)自動(dòng)檢測(cè)車位的準(zhǔn)確率。

2 算法的基本流程

本文算法整體框架如圖1所示。

Figure 1 Flowchat of image mosaic圖1 圖像拼接算法整體框圖

(1)車位圖像預(yù)處理, 消除每張圖像中的視角變形和透視畸變；

(2)對(duì)全部序列圖像提取SURF 特征點(diǎn)并匹配相鄰幀圖像的SURF特征點(diǎn)；

(3)用RANSAC(RANdom SAmple Consensus)算法[7]去除匹配SURF 特征點(diǎn)對(duì)中的外點(diǎn),利用最大內(nèi)點(diǎn)集估計(jì)出相鄰幀變換矩陣；

(4)求解全局配準(zhǔn)模型,將每幀圖像變換到基準(zhǔn)圖像坐標(biāo)系下；

(5)圖像融合,實(shí)現(xiàn)序列圖像無縫拼接；

(6)車位圖像多信息矯正與拼接技術(shù)在停車場(chǎng)中的應(yīng)用。

3 SURF特征點(diǎn)檢測(cè)及描述

3.1 特征檢測(cè)

SURF特征點(diǎn)方法基于尺度空間理論。首先， 在建立金字塔尺度空間時(shí)使用積分圖像和方框?yàn)V波，然后，將Hessian 矩陣的行列式極值作為候選特征點(diǎn),以便對(duì)塊狀結(jié)構(gòu)敏感。

對(duì)于某一尺度圖像下的某一關(guān)鍵點(diǎn)，用Hessian矩陣求出極值后，需要在3×3×3的立體鄰域內(nèi)進(jìn)行非極大值抑制(NMS)，只有比上下尺度各9個(gè)及本尺度周圍的8個(gè)共計(jì)26個(gè)鄰域值都大或都小的極值點(diǎn)，才能作為候選特征點(diǎn)。然后，根據(jù)文獻(xiàn)[8]中的Hessian矩陣的權(quán)重調(diào)整公式:

(1)

其中，H1為Hessian矩陣H(w)的逆矩陣。由此計(jì)算出各個(gè)參數(shù)的偏移量，當(dāng)它在任一維度上的偏移量大于0.5時(shí)，此時(shí)插值中心已經(jīng)偏移到它的鄰近點(diǎn)上，所以必須修正當(dāng)前關(guān)鍵點(diǎn)的位置。同時(shí)，在新的位置上迭代直到穩(wěn)定，此過程可能出現(xiàn)超出迭代次數(shù)范圍或者超出圖像邊界，這樣的點(diǎn)應(yīng)該刪除。此外，候選點(diǎn)的響應(yīng)值過小的話容易受噪聲干擾而不穩(wěn)定，為了得到穩(wěn)定的特征點(diǎn)，必須舍去。具體方法是對(duì)該候選點(diǎn)進(jìn)行泰勒級(jí)數(shù)展開(一般取前三項(xiàng))，再求極值點(diǎn)，如果此點(diǎn)極值大于0.03，則留此點(diǎn)，否則刪除。圖2為采用SURF描述子檢測(cè)到的特征點(diǎn)。

Figure 2 Feature points detected by SURF descriptor圖2 SURF描述子檢測(cè)到的特征點(diǎn)

3.2 主方向確定

為保證特征矢量具有旋轉(zhuǎn)不變性，為每一個(gè)特征點(diǎn)分配一個(gè)主方向。在特征點(diǎn)周圍6δ(δ為特征點(diǎn)所在尺度) 的圓形區(qū)域內(nèi)依步長(zhǎng)δ進(jìn)行采樣，并且在采樣點(diǎn)處使用4δ的HARR小波卷積核在X和Y方向上分別求取響應(yīng)值。為使靠近特征點(diǎn)的響應(yīng)大一些，遠(yuǎn)離特征點(diǎn)的響應(yīng)小一些，使用σ=2δ高斯加權(quán)函數(shù)進(jìn)行加權(quán)運(yùn)算，結(jié)果表示為一個(gè)二維坐標(biāo)上的點(diǎn)，可得到所有采樣點(diǎn)分布在二維平面上的響應(yīng)值。然后，用一個(gè)張角為60°的滑窗按固定步長(zhǎng)5°左右滑動(dòng)，每次將60°范圍內(nèi)的HARR小波響應(yīng)dx和dy相加形成新矢量。最后，選擇最長(zhǎng)矢量所對(duì)應(yīng)的方向作為此特征點(diǎn)的主方向。

3.3 構(gòu)建描述子

將坐標(biāo)軸旋轉(zhuǎn)到以特征點(diǎn)為中心的主方向上。選取20δ×20δ的正方形區(qū)域，將其分成4×4的子區(qū)域，則各個(gè)子區(qū)域的大小為5δ×5δ，再使用2δ×2δ的HARR模板計(jì)算共計(jì)25個(gè)采樣點(diǎn)的響應(yīng)值，如圖3所示。然后在每個(gè)子區(qū)域上以σ=3.3δ的高斯函數(shù)加權(quán)得到dx和dy的累積值，即∑dx、∑dy、∑|dx|和∑|dy|。各個(gè)子區(qū)域均形成一個(gè)四維的新矢量，正方形區(qū)域共包含4×4個(gè)子區(qū)域， 所以每一個(gè)特征點(diǎn)將形成4×4×4=64維特征矢量。

Figure3 SURF descriptor圖3 SURF描述子組成

4 圖像配準(zhǔn)

采用 SURF 算法獲得的特征點(diǎn)描述(位置、尺度、主方向及特征矢量)中,特征向量包含了特征點(diǎn)周圍的信息,采用特征向量的最近鄰匹配法可計(jì)算出圖像間可能存在的匹配對(duì)。本文采用特征向量的歐氏距離作為兩幅圖像間的相似性判斷標(biāo)準(zhǔn)。找出匹配對(duì)后,不可避免存在誤匹配的情況,再應(yīng)用 RANSAC仿射方法,經(jīng)過幾何一致性檢驗(yàn),去除外點(diǎn), 計(jì)算出幾何約束模型,從而確定準(zhǔn)確的匹配點(diǎn)對(duì)。

4.1 特征匹配

從圖像中提取特征點(diǎn)后，需要對(duì)其進(jìn)行匹配。特征點(diǎn)匹配的相似度判斷以特征向量之間的歐氏距離為準(zhǔn)則。假設(shè)對(duì)兩幅圖像A和B進(jìn)行特征點(diǎn)匹配，p為圖像A中的某一特征點(diǎn)，要計(jì)算其在圖像B中的對(duì)應(yīng)的匹配點(diǎn)，先計(jì)算出圖像B中與特征點(diǎn)p歐氏距離最短的d1和d2。當(dāng)d1與d2相差很大時(shí)，說明存在匹配點(diǎn)的概率較大；當(dāng)d1 和d2相差不大時(shí)，誤匹配的概率較大。因此，可以選擇一個(gè)閾值作為匹配正誤的準(zhǔn)則。大量統(tǒng)計(jì)實(shí)驗(yàn)表明，當(dāng)閾值在 0.6～0.9取值時(shí)，可以取得比較好的匹配效果。 圖4為匹配的結(jié)果。

Figure 4 Matching feature points圖4 特征點(diǎn)的匹配

4.2 精確匹配

通過初始計(jì)算得到的匹配集合中不可避免存在錯(cuò)誤的匹配點(diǎn)對(duì)，使用 RANSAC 魯棒算法對(duì)匹配結(jié)果進(jìn)行去粗取精。RANSAC算法是由 Fischler M A和 Bolles R C提出的一種模型參數(shù)估計(jì)方法。它在一組樣本數(shù)據(jù)集中，剔除異常數(shù)據(jù)，計(jì)算出數(shù)據(jù)集的參數(shù)模型，并得出有效的樣本數(shù)據(jù)。

對(duì)于使用 RANSAC 算法去除誤匹配得出參數(shù)估計(jì)的步驟如下：

(1)從初始匹配點(diǎn)對(duì)中隨機(jī)抽取四組匹配對(duì)計(jì)算兩幅圖片間的變換矩陣M，根據(jù)此矩陣M計(jì)算其余匹配對(duì)的距離，若在誤差允許范圍內(nèi),則接受此匹配對(duì)為M的內(nèi)點(diǎn)。

(2)選擇包含內(nèi)點(diǎn)數(shù)目最多的一個(gè)點(diǎn)集估計(jì)出相似變換模型，用最小二乘法,剔除少數(shù)的“外點(diǎn)”后計(jì)算新的內(nèi)點(diǎn)集內(nèi)的平均誤差。

(3)重復(fù)上述兩步驟直至達(dá)到理想效果,選擇平均誤差最小的內(nèi)點(diǎn)集計(jì)算最終的變換矩陣F。圖像A和圖像B的變換關(guān)系可以表示為IB=F×IA,F為透視變換矩陣, 其形式如式(2)所示:

(2)

5 圖像拼接融合

5.1 確定重疊區(qū)域

計(jì)算出圖像間的透視變換矩陣后，就可以將兩幅待拼接圖像拼接成一幅圖像。具體方法如圖5所示。XOY和X′O′Y′分別代表原圖A和待拼接圖B的坐標(biāo)系，XOY中的一條直線可以用方程Y=Y0表示，此直線經(jīng)過公式(2)仿射變換到X′O′Y′，根據(jù)圖形學(xué)中的線段裁剪算法可以求出落在圖B中的線段的起始點(diǎn)a和終點(diǎn)b,進(jìn)而可以很方便地求出兩幅圖的重疊部分。

Figure 5 Schematic of overlapping area圖5 確定重疊區(qū)域示意圖

5.2 漸入漸出的平滑過渡法

為了盡可能消除兩圖重疊區(qū)的拼縫問題，目前采用較多的是加權(quán)平均法，中權(quán)值的選取包括帽子函數(shù)[9]和漸入漸出[10]兩種。本文采用后一種方法，假設(shè)重疊區(qū)域?qū)挾葹長(zhǎng)，取過渡因子是σ(0≤σ≤1)，兩幅圖像重疊區(qū)的x軸、y軸最大和最小值分別xmax和xmin，ymax和ymin，則過渡因子σ=(xmax-x)/(xmax-xmin)，重疊區(qū)域的圖像像素為：I=σIA(x,y)+(1-σ)IB(x,y)。其中，IA(x,y)、IB(x,y)分別為圖像A和圖像B相對(duì)應(yīng)的像素值，拼接效果如圖6所示。

Figure 6 Stitching effect picture圖6 拼接效果圖

采集一系列相鄰攝像頭拍攝的照片如圖7a～圖7d所示，按此方法拼接的結(jié)果如圖7e所示。

Figure 7 Mosaic picture圖7 拼接圖

5.3 色彩亮度補(bǔ)償

由于圖像噪聲、模型誤差、相機(jī)晃動(dòng)等因素的存在，通常圖像之間會(huì)存在顏色和亮度差異，所以為了保證合成圖像的清晰度以及消除明顯拼接痕跡，需要對(duì)拼接后的圖像進(jìn)行顏色和亮度補(bǔ)償。方法就是分別統(tǒng)計(jì)第一幅圖和第二幅圖中重疊區(qū)域的R、G、B三個(gè)值，然后計(jì)算出第一幅圖中R、G、B與第二幅圖對(duì)應(yīng)的比值，進(jìn)而把第二幅圖按比值關(guān)系對(duì)應(yīng)變換到第一幅圖的亮度值。為了說明此拼接方法具有較強(qiáng)的魯棒性，以圖8a為例，可以看到直接拼接的圖8b中，左、右半圖色差明顯，中間含有一道拼縫；而采用色度補(bǔ)償后，效果有了較好的改善，見圖8c。

Figure 8 Color brightness compensation effect圖8 色彩亮度補(bǔ)償效果

5.4 車位畸變矯正

由于攝像鏡頭安裝的視角偏移和透視效應(yīng)，造成拍攝的圖片存在明顯的畸變，例如原來的矩形車位被拍攝成了不規(guī)則的四邊形，并且各個(gè)車位的情況都不太相同，為了使用統(tǒng)一的圖像處理算法進(jìn)行空閑車位識(shí)別，可以對(duì)每個(gè)車位區(qū)域逐一進(jìn)行畸變矯正。

如圖9所示，因視角偏移造成垂直線變成斜線，又因透視效應(yīng)造成近處大遠(yuǎn)處小。由于攝像頭位置是固定的，可以采取離線的矯正方法。具體實(shí)現(xiàn)過程如下：離線得到車位的四個(gè)角點(diǎn)坐標(biāo)a、b、c、d，進(jìn)而可以求出車位線的傾斜角度θi,i=1,2,3,4，通常情況下θ1≠θ2，θ3≠θ4。從縱向看，ab邊需要旋轉(zhuǎn)θ3，cd邊需要旋轉(zhuǎn)θ4，為了使整幅圖片實(shí)現(xiàn)均勻的傾斜矯正，需使圖片從ab邊到dc邊的旋轉(zhuǎn)角度從θ3逐漸變化到θ4。同理，圖片橫向從bc邊到ad邊的旋轉(zhuǎn)角也需要從θ1逐漸變化到θ2。

為了將各個(gè)車位變成統(tǒng)一大小，求取各個(gè)車位線的平均長(zhǎng)度作為標(biāo)準(zhǔn)尺度；然后將其車位線伸縮變換到設(shè)定標(biāo)準(zhǔn)尺度即可，對(duì)應(yīng)于圖中的ab1c1d1，把各個(gè)車位逐一矯正后，所有的車位按順序融合為一幅同向視圖的照片。

Figure 9 Parking spaces schematic diagram圖9 車位形變矯正示意

6 停車場(chǎng)空車位檢測(cè)

停車場(chǎng)中每個(gè)攝像頭分管一片區(qū)域，需要采用圖像拼接構(gòu)成大視圖，為空車位的快速檢出奠定基礎(chǔ)。通常，限于停車場(chǎng)攝像頭的安裝條件，攝像頭的視角偏差和透視效應(yīng)造成同張視圖的車位區(qū)域存在畸變，使得拍攝到圖片上的各車位區(qū)域的大小或形狀不同，為了準(zhǔn)確識(shí)別空車位，可以先將車位矯正為同視角圖片。

對(duì)于位置固定的攝像頭，可以先進(jìn)行離線的標(biāo)定矯正。在長(zhǎng)方形車位的仿射畸變圖中，各個(gè)車位畸變角度是不同的，需要分別對(duì)橫向畸變和縱向畸變進(jìn)行兩次矯正得到標(biāo)準(zhǔn)單個(gè)車位圖片。選擇兩個(gè)相鄰攝像頭拍攝的照片如圖10a和圖10b所示，首先將圖片按車位逐一進(jìn)行矯正，然后基于SURF特征進(jìn)行拼接，結(jié)果如圖10c所示。從實(shí)驗(yàn)結(jié)果可以看出，通過矯正拼接后，能夠在液晶屏上直觀展現(xiàn)出車位的空閑、占用情況。另外，也更有利于采用統(tǒng)一的圖像處理算法，對(duì)車位狀態(tài)進(jìn)行自動(dòng)檢測(cè)。例如，可以根據(jù)文獻(xiàn)[11]的車位狀態(tài)檢測(cè)方法，自動(dòng)檢測(cè)出各車位的狀態(tài)。

對(duì)比未矯正直接拼接的結(jié)果圖7e,可以看出矯正之后更方便直接觀察停車場(chǎng)中的空車位，并且也有利于自動(dòng)檢測(cè)車位時(shí)采用統(tǒng)一的處理算法。相對(duì)而言，本算法比較簡(jiǎn)單，能夠?qū)崟r(shí)顯示整個(gè)停車場(chǎng)的全景圖及其空閑車位的占用情況，便于指引用戶泊車，因而具有良好的實(shí)用性。

Figure 10 Correction splicing圖10 矯正后的拼接圖

7 結(jié)束語

針對(duì)當(dāng)前大部份停車場(chǎng)管理系統(tǒng)還只停留在顯示車位已滿和人工引導(dǎo)泊車的情況，提出了一種車位圖像畸變的矯正與拼接方法，用來實(shí)現(xiàn)自動(dòng)準(zhǔn)確檢測(cè)車位。

首先對(duì)變形嚴(yán)重的圖片，按照車位逐一進(jìn)行透視和視角漸變矯正后，再利用SURF特征進(jìn)行多圖像拼接。實(shí)驗(yàn)結(jié)果表明，所給畸變矯正方法快速有效。軟件中可以顯示整個(gè)停車場(chǎng)的全景圖，動(dòng)態(tài)地顯示停車場(chǎng)內(nèi)各個(gè)車位的占用、空閑信息，并實(shí)時(shí)地將車位信息傳遞給顯示屏，更加人性化地指引用戶泊車；同時(shí)，車位圖像逐個(gè)經(jīng)過畸變矯正后，有助于進(jìn)行進(jìn)一步圖像處理，實(shí)現(xiàn)自動(dòng)檢測(cè)和主動(dòng)報(bào)告空閑車位。

[1] Zou Bei-ji, Ruan Peng, Xiang Yao, et al. An automatic panoramic images mosaic algorithm with precise matching [J]. Computer Engineering and Science, 2010, 32(8):60-63. (in Chinese)

[2] Li Xiao-ming,Zheng Lian,Hu Zhan-yi.SIFT based automatic registration of remotely-sensed imagery [J]. Journal of Remote Sensing, 2006,10(6):885-892. (in Chinese)

[3] Cai Li-huan, Liao Ying-hao, Guo Dong-hui. Study on image stitching methods and its key technologies [J]. Computer Technology and Development, 2008,18(3):1-4. (in Chinese)

[4] Lowe D G. Object recognition from local scale-invariant features [C]∥Proc of the 7th International Conference on Computer Vision, 1999:1150-1157.

[5] Bay H,Tuytelaars T,Van Gool L.SURF:Speeded up robust features[C]∥Proc of the 9th European Conference on Computer Vision, 2006:404-417.

[6] Zhang Z Y. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000,22(11):1330-1334.

[7] Fischler M A, Bolles R C.Random sample consensus:A paradigm for model fitting with applications to image analysis and automated cartography [J].Communications of ACM, 1981,24(6):381-395.

[8] Liu Jin-lu, Chen Shou-yu. Back propagation learning algorithm with Hessian matrix for fuzzy optimal neural networks[J]. Shuili Xuebao, 2004(4):1-64. (in Chinese)

[9] Szeliski R.Video mosaics for virtual environment[J]. IEEE Computer Graphics and Applications, 1996,16(2):22-30.

[10] Hou Shu-wei, Guo Bao-long. A fast automatic image stitching algorithm [J]. Computer Engineering, 2005,31(24):70-72. (in Chinese)

[11] Li Yu-cheng, Yan Juan-li. Approach for parking spaces detection based on video images[J]. Computer Engineering and Design, 2012,33(1):283-285. (in Chinese)

附中文參考文獻(xiàn):

[1] 鄒北驥,阮鵬,向遙,等. 一種精確匹配的全景圖自動(dòng)拼接算法[J].計(jì)算機(jī)工程與科學(xué),2010,32(8):60-63.

[2] 李曉明,鄭鏈,胡占義.基于 SIFT 特征的遙感影像自動(dòng)配準(zhǔn)[J].遙感學(xué)報(bào),2006,10(6):885-892.

[3] 蔡麗歡,廖英豪,郭東輝.圖像拼接方法及其關(guān)鍵技術(shù)研究[J].計(jì)算機(jī)技術(shù)與發(fā)展,2008,18(3):1-4.

[8] 劉金祿,陳守煜.基于Hessian矩陣的模糊優(yōu)選BP算法及其應(yīng)用[J].水利學(xué)報(bào),2004(4):1-64.

[10] 侯舒維,郭寶龍. 一種圖像自動(dòng)拼接的快速算法[J].計(jì)算機(jī)工程,2005,31(24):70-72.

[11] 李宇成,嚴(yán)娟莉.利用視頻圖像檢測(cè)車位狀態(tài)的方法[C].計(jì)算機(jī)工程與設(shè)計(jì),2012,33(1):283-285.