祝傳貝　陳琳

摘要：近年來圖像拼接技術(shù)的研究與應(yīng)用隨著人們生活以及科學(xué)研究的需要正受到越來越多的關(guān)注。圖像拼接（Image Mosaics）主要是利用現(xiàn)有的計(jì)算機(jī)等設(shè)備，將兩幅或者多幅具有相關(guān)重疊區(qū)域的圖像拼成一幅大型的無縫高分辨率圖像的技術(shù)。它突破了傳統(tǒng)圖像獲取設(shè)備的局限性，正在廣泛地被應(yīng)用于航空航天、醫(yī)學(xué)圖像分析、計(jì)算機(jī)視覺、視頻監(jiān)控等領(lǐng)域中，是當(dāng)前圖像處理領(lǐng)域的一個(gè)非常重要的分支。該文通過介紹圖像拼接技術(shù)的圖像獲取、圖像預(yù)處理、圖像配準(zhǔn)以及圖像融合等步驟，并利用Visual C++中的MFC編程實(shí)現(xiàn)了兩幅簡(jiǎn)單的具有一定重疊區(qū)域的位圖的拼接。

關(guān)鍵詞：圖像拼接；幾何變換； SIFT算法；配準(zhǔn)；融合；C++

中圖分類號(hào)：TP18 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2015）01-0150-03

Research and Application of Image Mosaic Technology

ZHU Chuan-bei 1，2， CHEN Lin 1，2

（1.Research Center of CAD， Tongji University， Shanghai 201804， China； 2.The Engineering Research Center for Enterprise Digital Technology， Ministry of Education， Tongji University， Shanghai 200092， China）

Abstract： In recent years， the research and application of image stitching technology along with the people's life and the need of scientific research has been paid more and more attention. Image mosaic technology refers to making use of computers and other devices to let two or more images with certain overlap region mosaic together that can form a new image of large seamless high resolution image. It breaks through the limitation of traditional image acquisition devices， is widely used in aerospace， medical image analysis， computer vision， video surveillance and other fields， is a very important branch of the current image processing. This paper introduces the image stitching technology through the image acquisition， image preprocessing， image registration and image fusion step， and realized two pieces of a simple with some overlap region of the bitmap through using MFC of Visual C++ .

Key words： image mosaic； geometric transformation； SIFT algorithm； registration； fusion； C++

圖像拼接技術(shù)是將數(shù)張有重疊部分的圖像拼接成一幅大型無縫的并具有高分辨率的圖像。其中，圖像配準(zhǔn)和圖像融合是圖像拼接的兩個(gè)關(guān)鍵技術(shù)。對(duì)于拼接后的圖像要求最大程度的與原始的圖像接近，失真盡可能的小，沒有明顯的縫合線[1]。當(dāng)人類獲得同一場(chǎng)景的兩幅或多幅圖像時(shí)，為了能夠獲得該場(chǎng)景更多的信息，就必須對(duì)圖像進(jìn)行相應(yīng)的處理。圖像拼接是圖像處理領(lǐng)域的一個(gè)重要分支，圖像拼接技術(shù)在生產(chǎn)及生活的很多領(lǐng)域中都有廣泛的應(yīng)用。隨著研究的不斷深入，圖像拼接的方法已經(jīng)有很多了，各種拼接方法都有其自身的特點(diǎn)及相應(yīng)的應(yīng)用領(lǐng)域。在2003年，M.Brown發(fā)表的Recognising Panoramas[2]文章中提出了基于尺度不變特征技術(shù)的SIFT算法，其通過提取關(guān)鍵點(diǎn)來實(shí)現(xiàn)圖像的配準(zhǔn)，該算法完全自動(dòng)而且拼接的效果好，也是目前國(guó)內(nèi)外研究比較熱的算法。我國(guó)圖像拼接技術(shù)起步的比較晚，但是也得到了迅猛發(fā)展。其中2004年，趙向陽(yáng)提出了一種基于Harris角檢測(cè)算子全自動(dòng)穩(wěn)健的圖像拼接融合算法[3]，使提取的進(jìn)度達(dá)到了亞像素級(jí)；2005年，侯舒維，郭寶龍針在現(xiàn)有的圖像拼接技術(shù)的基礎(chǔ)之上，提出了一種圖像拼接技術(shù)的快速算法[4]，該算法綜合考慮了圖像拼接技術(shù)的精度和速度。之后，又有很多學(xué)者專家在圖像拼接領(lǐng)域進(jìn)行了大量研究，并分別提出了一些改進(jìn)方法，使圖像拼接技術(shù)得到了空前的發(fā)展。

1 圖像拼接的概述

所謂圖像拼接技術(shù)就是利用計(jì)算機(jī)的進(jìn)行自動(dòng)匹配[5]，通過對(duì)齊一系列空間重疊的圖像，構(gòu)成一幅無縫的、高清晰的寬視角圖像。圖像拼接技術(shù)所涉及的領(lǐng)域非常的廣泛，不同的領(lǐng)域研究的方式和目的等方面都各有不同，到目前為止，尚且沒有一個(gè)統(tǒng)一的分類方式，但目前有較三種較為流行的分類方式：

第一，根據(jù)自動(dòng)化程度的不同，圖像拼接技術(shù)分為半自動(dòng)拼接技術(shù)和全自動(dòng)拼接技術(shù)。

第二，根據(jù)攝像機(jī)的運(yùn)動(dòng)方式的不同，圖像拼接技術(shù)分為平面圖像拼接技術(shù)和全景圖像拼接技術(shù)。

第三，根據(jù)二維曲面即流形的確定方式的不同，圖像拼接技術(shù)還可分為基于自適應(yīng)流形的圖像拼接技術(shù)和基于人工流形的圖像拼接技術(shù)。

2 本文方法

圖像拼接技術(shù)的出現(xiàn)使得采集圖像的設(shè)備更加普通化，利用普通的數(shù)碼照相機(jī)即可獲得滿足要求的圖像。該文將按照輸入圖像、圖像預(yù)處理、圖像配準(zhǔn)、圖像融合、輸出圖像這幾個(gè)步驟進(jìn)行，其中圖像配準(zhǔn)和圖像融合是兩個(gè)關(guān)鍵技術(shù)，圖像拼接過程如圖1所示。

2.1 圖像獲取

本文采用旋轉(zhuǎn)照相機(jī)拍攝的方法，即放置照相機(jī)的三腳架在拍攝的過程中一直在處在同一個(gè)位置。拍攝時(shí)，照相機(jī)繞垂直軸旋轉(zhuǎn)，每旋轉(zhuǎn)一定的角度，拍攝一張照片。

2.2 圖像預(yù)處理

為了提高經(jīng)圖像拼接處理后的圖像的質(zhì)量，更好的用于圖像配準(zhǔn)和圖像融合，我們有必要對(duì)獲得的圖像進(jìn)行預(yù)處理。

1）數(shù)字化：圖像的數(shù)字化是指將連續(xù)的圖像離散化。一幅原始照片的灰度值是空間變量的連續(xù)函數(shù)，其位置也是連續(xù)化的。在M*N的點(diǎn)陣上對(duì)照片的灰度采樣并加以量化成2的b次方灰度等級(jí)之一，可以得到計(jì)算機(jī)能夠處理的數(shù)字圖像。

2） 幾何變換：圖像的幾何變換用于改正圖像采集系統(tǒng)的系統(tǒng)誤差和儀器位置的隨機(jī)誤差所進(jìn)行的變換。幾何變換的效果可如圖2所示。

空間變換指對(duì)該階段輸入圖像的某些像素點(diǎn)的位置進(jìn)行變換，其變換方法包括雙線性變換：

[x′=a0+a1x+a2y+a3xy] （1）

[y′=b0+b1x+b2y+b3xy] （2）

每個(gè)表達(dá)式中有四個(gè)系數(shù)，所以需要四個(gè)連接點(diǎn)來求出其對(duì)應(yīng)的值，其中的連接點(diǎn)是指輸入圖像和輸出圖像中對(duì)應(yīng)的點(diǎn)，如圖3所示。

此外，幾何變換還包括仿射變換、旋轉(zhuǎn)、斜切、尺度等。

3） 平滑、復(fù)原及增強(qiáng)

本文采用中值法的方法對(duì)圖像在數(shù)字化和傳輸過程中形成的噪音進(jìn)行去噪處理[6]，并通過復(fù)原技術(shù)校正各種原因所造成的圖像退化，使重建或估計(jì)得到的圖像盡可能逼近于理想無退化的像場(chǎng)。最后采用圖像增強(qiáng)技術(shù)使得圖像中的信息有選擇地加強(qiáng)和抑制，以改善圖像的視覺效果。

2.3 圖像配準(zhǔn)

數(shù)字圖像可以用一個(gè)二維矩陣表示，如果待配準(zhǔn)圖像[I1]和參考圖像[I2]在點(diǎn)[x，y]處的灰度值分別表示為[I1x，y]和[I2x，y]，則兩幅圖像之間的配準(zhǔn)操作如關(guān)系式所示[7] [8]：

[I2x，y=gI1fx，y] （3）

其中， [f]表示兩幅之間的空間變換關(guān)系， [g]表示兩幅之間的灰度變換關(guān)系。對(duì)于一般所說的圖像配準(zhǔn)都是指進(jìn)行空間配準(zhǔn)，即對(duì)空間幾何變換關(guān)系[f]進(jìn)行求解。上式可以簡(jiǎn)化為：

[I2x，y=I1fx，y] （4）

本文中圖像配準(zhǔn)的實(shí)現(xiàn)方法是全自動(dòng)的基于區(qū)域的配準(zhǔn)方法，將兩幅數(shù)字化的圖像讀到內(nèi)存空間并且顯示到對(duì)話框后，從第一幅圖像的右上角和第二幅圖像的左上角進(jìn)行比較。一個(gè)像素和一個(gè)像素進(jìn)行比較，當(dāng)像素值“相同”時(shí)，再在該像素所在的列，進(jìn)行向下比較，某一列相同時(shí)再比較相同的另一列，直到經(jīng)判定獲得了一塊重合的區(qū)域。

2.4 圖像融合

在本次程序中我所采用的圖像融合技術(shù)是數(shù)據(jù)級(jí)也就是像素級(jí)融合[9]。當(dāng)通過圖像配準(zhǔn)獲得了像素點(diǎn)的信息之后，在基礎(chǔ)數(shù)據(jù)的基礎(chǔ)上，直接對(duì)采集來的數(shù)據(jù)進(jìn)行融合，保持了原始數(shù)據(jù)。將原來的第一幅圖像的第一行存入內(nèi)存，再將第二幅圖像的第一行去掉重合區(qū)的部分存入內(nèi)存，依次類推，存入內(nèi)存的圖像就是拼接后的圖像。

其結(jié)構(gòu)如圖4所示。

3 實(shí)驗(yàn)結(jié)果分析

3.1 實(shí)驗(yàn)環(huán)境

本文使用的實(shí)驗(yàn)平臺(tái)：CPU是Intel-Core i5-2400 3.1GHz，系統(tǒng)內(nèi)存4GB，利用Visual C++6.0中的MFC編程實(shí)現(xiàn)了兩幅8bit位圖的拼接工作。

3.2 實(shí)驗(yàn)結(jié)果

利用寫好的平臺(tái)分別打開兩張需要被拼接的圖片。如圖5所示。

再點(diǎn)擊“圖像拼接”按鈕，如果這兩幅圖像有重合區(qū)域，則將現(xiàn)在的兩幅圖像合并，并得到最終的結(jié)果，如圖6所示。

如果這兩幅圖像沒有重合區(qū)域那么點(diǎn)擊拼接按鈕將提示“沒有找到合并點(diǎn)”。

5 總結(jié)

本文根據(jù)圖像獲取、圖像預(yù)處理、圖像配準(zhǔn)、圖像融合等步驟對(duì)已有的兩張圖片進(jìn)行拼接，從而形成一幅大角度圖像，突破了圖像獲取設(shè)備相機(jī)等的局限性。但在圖像拼接的速度上，隨著圖像分辨率的不斷提高，需要處理的數(shù)據(jù)量越來越龐大，但很多領(lǐng)域?qū)ζ唇拥膶?shí)時(shí)性要求也在不斷增加，目前的圖像拼接算法在融合效果和處理速度方面都存在著不足。下一步將從優(yōu)化算法入手，以便在面對(duì)大量數(shù)據(jù)的時(shí)候提高拼接效率。

參考文獻(xiàn)：

[1] 曾勇明，黃偉，羅天友，等，劉志宏.DR圖像拼接全景成像技術(shù)的臨床應(yīng)用[J].重慶醫(yī)科大學(xué)報(bào)，2008（9）：1133-1135.

[2] Brown M，Lowe D G.Recognising panoramas[C].Ninth IEEE International Conference ，2003：1218-1225.

[3] 趙向陽(yáng)，杜利民.一種全自動(dòng)穩(wěn)健的圖像拼接融合算法[J].中國(guó)圖像圖形學(xué)報(bào)A輯，2004，9（4）：417-422.

[4] 侯舒維，郭寶龍.一種圖像自動(dòng)拼接的快速算法[J].計(jì)算機(jī)工程，2005，31（15）：70-72.

[5] 何賓，陶丹，彭勃等.高實(shí)時(shí)性F- SIFT圖像拼接算法[J].紅外與激光工程，2013（z2）：440-444.

[6] 陳洪猛，李明，賈璐等.一種高精度的DBS圖像拼接算法[J].西安電子科技大學(xué)學(xué)報(bào)：自然科學(xué)版，2014，（2）：37-43.

[7] 鄭艷飛.基于區(qū)域配準(zhǔn)的圖像拼接算法[D].濟(jì)南：山東大學(xué)，2012.

[8] Zitova B， Flusser J. 2003. Image registration methods： a survey[J].Image and Vision Computing， 21（11）： 977-1000.

[9] 焦麗龍.基于特征的圖像拼接融合技術(shù)的研究與實(shí)現(xiàn)[D].太原：中北大學(xué)，2014.