劉絮絮

摘要：為了解決直接用模板匹配直接拼接效果較差并且無法將該方法應(yīng)用于森林大場景的問題，該文使用了了一種面向森林防火復(fù)雜大場景的全景拼接方法，對(duì)于輸入當(dāng)前檢測(cè)范圍的圖像序列，通過使用特征點(diǎn)從相鄰多幅圖像中提取sift特征，使用k-d樹算法為每個(gè)特征點(diǎn)找到最鄰近的匹配特征點(diǎn)，然后使用RANSAC算法找到幾何一致的特征匹配來得到圖像間的對(duì)應(yīng)矩陣，之后使用捆綁調(diào)整算法來調(diào)整對(duì)應(yīng)矩陣，最后使用多波段融合算法得到最后的拼接全景圖。實(shí)驗(yàn)結(jié)果表明，使用該方法應(yīng)用到復(fù)雜的森林大場景中得到的拼接效果較好。

關(guān)鍵詞：全景拼接；sift特征點(diǎn)；RANSAC算法；捆綁調(diào)整算法

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2018）08-0205-03

由于具有研究較高的研究價(jià)值和挑戰(zhàn)性，圖像拼接是圖像處理領(lǐng)域比較重要的課題。雖然圖像拼接技術(shù)已經(jīng)有很大的進(jìn)步，但是現(xiàn)有的方法中應(yīng)用的場景都比較單一，或者是攝像頭轉(zhuǎn)動(dòng)的角度范圍比較小。在哥倫比亞大學(xué)Matthew Brown和David G.Lowe等人首次利用尺度不變特征提取算法進(jìn)行自動(dòng)圖像拼接。該方法假定拼接作為一個(gè)多圖像匹配的問題，并且使用不同的局部特征點(diǎn)尋找整個(gè)圖像序列中的匹配點(diǎn)。本文將該方法應(yīng)用到需要實(shí)時(shí)拼接的森林防火系統(tǒng)中。

本文針對(duì)Lowe提出的基于尺度不變的全景拼接方法，提出了面向森林防火的全景拼接方法。在特征點(diǎn)的提取部分，相鄰的兩幅圖像使用sift特征點(diǎn)提取，這種方法對(duì)旋轉(zhuǎn)、尺度、光照變化都具有一定的魯棒性。然后使用k-d樹算法為每一個(gè)特征點(diǎn)找到最鄰近的匹配點(diǎn)。Ransac算法求相鄰圖像的單應(yīng)性矩陣。在對(duì)一整圈圖像拼接完成后為了消除拼接畸變問題，加入了捆綁調(diào)整算法調(diào)整相鄰的矩陣。最后使用多波段融合的方法消除前面矩陣變換留下的拼接縫隙。

1面向森林防火的全景拼接

1.1圖像獲取

本文中的圖像是?？档倪h(yuǎn)紅外攝像頭通過網(wǎng)絡(luò)將視頻圖像傳輸?shù)奖鞠到y(tǒng)中的。通過云臺(tái)固定攝像頭的轉(zhuǎn)軸，并繞著轉(zhuǎn)軸旋轉(zhuǎn)來拍攝視頻的。其中，攝像頭的垂直和水平的角度、旋轉(zhuǎn)速度可以通過本文中的系統(tǒng)直接進(jìn)行調(diào)整。

1.2圖像預(yù)處理

在圖像拼接之前需要對(duì)大量的原始圖像進(jìn)行預(yù)處理。在本文中圖像預(yù)處理的方法較為簡單，只是去除原始圖像中的部分噪聲。具體的方法是，首先需要從攝像頭獲取的視頻圖像中每隔50幀取一幀圖像作為需要做預(yù)處理的圖像。相鄰兩張拼接圖像存在30%-60%的重疊部分，這是圖像拼接的前提。然后，把篩選出來的圖像進(jìn)行裁剪，把原始圖像中的四個(gè)角上的標(biāo)記信息去掉。如下圖所示：

接下來就是將裁剪后的圖像（也就是待拼接圖像）存入待拼接緩沖區(qū)中依次進(jìn)入拼接線程進(jìn)行相鄰圖像的拼接。

1.3圖像拼接

待所有的圖像裁剪完成后將圖像傳人圖像拼接線程。在圖像拼接過程中主要包括特征點(diǎn)的檢測(cè)與提取、特征匹配和圖像融合三部分。其中特征點(diǎn)的檢測(cè)與提取是圖像拼接的前提，特征匹配是圖像拼接成功的關(guān)鍵，圖像融合是關(guān)系到圖像拼接效果的重要環(huán)節(jié)。本系統(tǒng)的圖像拼接過程主要如下圖所示：

1.3.1特征點(diǎn)檢測(cè)與提取

對(duì)預(yù)處理完成的圖像，首先需要進(jìn)行特征點(diǎn)的提取。Brown和Eowe在2004年提出了尺度不變變換（SIFT）算法，并在2007年應(yīng)用到了SIFT特征匹配的圖像拼接過程中。SIFT算法檢測(cè)特征點(diǎn)的速度較快，并且特征點(diǎn)在整個(gè)圖像的平移、旋轉(zhuǎn)、尺度變換后都保持不變，另外在角度變化及噪聲和光照的下魯棒性也較好。只有高斯核才可以作為尺度空間的卷積核，可以將尺度空間建立在對(duì)圖像進(jìn)行高斯卷積的基礎(chǔ)上。為了保證穩(wěn)定性，sift特征點(diǎn)的檢測(cè)空間由高斯差值圖像上的峰值點(diǎn)來確定，從而找到被賦予方向的興趣點(diǎn)來作為特征的描述字。

在獲取到sift描述字后，需要對(duì)每個(gè)特征查找近似最近鄰，本文中采用的是優(yōu)先搜索算法。具體方法是，通過用左圖和右圖的特征初始化k-d樹，然后對(duì)左圖中的每個(gè)特征執(zhí)行優(yōu)先搜索以查找近似的特征。

1.3.2特征匹配

由于優(yōu)先搜索查找到的每個(gè)特征有多個(gè)最近鄰，存在大量的冗余，就會(huì)降低匹配的效率。本文中使用改進(jìn)的RANSAC算法來選擇初始的特征匹配對(duì)，計(jì)算出相對(duì)準(zhǔn)確地對(duì)應(yīng)矩陣，這一步是圖像拼接過程中的關(guān)鍵一步。

2實(shí)驗(yàn)結(jié)果及分析

利用上面的拼接方法應(yīng)用的森林防火系統(tǒng)的大場景中，拼接效果較好。下面是攝像頭旋轉(zhuǎn)三圈選取的部分圖像拼接而成的圖像：

從上面的拼接效果來看，整體上來說拼接效果較好，沒有明顯的拼接縫隙，拼接這80張圖像時(shí)間約為40多秒，拼接速度較快。但是在鏡頭的云臺(tái)部分出現(xiàn)了圖像失真現(xiàn)象，后續(xù)還需要繼續(xù)優(yōu)化算法。

3結(jié)束語

本文將全景圖像拼接算法應(yīng)用到了森林大場景中，從圖像預(yù)處理到特征點(diǎn)的提取、特征點(diǎn)匹配并且用到了捆綁調(diào)整算法盡可能消除圖像畸變，最后用多波段圖像融合算法來消除圖像拼接縫隙。實(shí)驗(yàn)結(jié)果總體上來說較好，但是拼接多圈圖像時(shí)最后的全景圖就會(huì)出現(xiàn)明顯的圖像失真現(xiàn)象，這會(huì)影響下一步火災(zāi)的預(yù)警，后續(xù)的研究重點(diǎn)應(yīng)該放在多圈圖像拼接及其效率的實(shí)現(xiàn)上。