多路攝像頭的視頻拼接技術(shù)研究

程舒慧

摘 要：計(jì)算機(jī)視覺(jué)和圖形學(xué)中的一個(gè)重要內(nèi)容就是視頻的拼接技術(shù)，最開(kāi)始發(fā)展是針對(duì)于靜態(tài)的圖畫和視像使用拼接技術(shù)，但是隨著科技的進(jìn)步和發(fā)展，視頻呈現(xiàn)多樣化和復(fù)雜化，圖像的拼接技術(shù)不能滿足于視頻的拼接技術(shù)，目前經(jīng)常使用的拼接技術(shù)需求量非常大，并且拼接技術(shù)使用也越來(lái)越廣泛。文章就針對(duì)多路攝像頭的視頻拼接技術(shù)進(jìn)行了研究和分析。

關(guān)鍵詞：多路攝像頭；視頻拼接技術(shù)；研究

引言

隨著現(xiàn)代科技技術(shù)的發(fā)展和進(jìn)步，特別是計(jì)算機(jī)的應(yīng)用十分廣泛，在數(shù)字視頻拼接技術(shù)領(lǐng)域，計(jì)算機(jī)的作用也是不容忽視的，我們要對(duì)于已保存的數(shù)字圖像進(jìn)行處理就需要使用拼接技術(shù)。我們所看到的畫面很美的影視作品并不是原始的視頻，而是利用視頻拼接技術(shù)向人們呈現(xiàn)出一種畫面感優(yōu)質(zhì)的視像。在視頻拼接技術(shù)中，通常要選擇正確的匹配圖像，然后才可以實(shí)現(xiàn)檢測(cè)目標(biāo)、融合信息、重建三維和超分辨率的工作。而這些技術(shù)應(yīng)用十分廣泛并且發(fā)揮了巨大作用，而視頻拼接技術(shù)的發(fā)展是要以這些技術(shù)為基礎(chǔ)才能得以發(fā)展。視頻拼接技術(shù)受到越來(lái)越多的人們的關(guān)注和重視，圖像配準(zhǔn)是拼接技術(shù)的核心內(nèi)容。經(jīng)過(guò)一段時(shí)期的發(fā)展，圖像配準(zhǔn)最開(kāi)始是利用迭代非線性最小化的方法來(lái)實(shí)現(xiàn)，而這種方法可以實(shí)現(xiàn)多種形式的轉(zhuǎn)換，但是這種方法也會(huì)出現(xiàn)問(wèn)題，基于這些問(wèn)題又開(kāi)始出現(xiàn)了不變量技術(shù)和開(kāi)發(fā)了新型的拼接軟件，滿足了當(dāng)時(shí)的圖像拼接的技術(shù)，為以后研究視頻拼接技術(shù)奠定了堅(jiān)實(shí)的基礎(chǔ)，但是從現(xiàn)在快速發(fā)展的社會(huì)來(lái)看，這種技術(shù)越來(lái)越不能適應(yīng)變化，這就要求我們要不斷研究新的圖像拼接技術(shù)。

1 拼接技術(shù)的算法和流程

視頻圖像拼接技術(shù)大體流程是：通過(guò)搜集視頻圖像資料實(shí)施標(biāo)定相機(jī)的參數(shù)，計(jì)算出單應(yīng)矩陣和畸變矯正參數(shù)，然后對(duì)視頻圖像進(jìn)行融合處理。但是要注意單應(yīng)矩陣的計(jì)算方法，因?yàn)閱螒?yīng)矩陣是視頻拼接技術(shù)的核心，所有要重視對(duì)它的計(jì)算，這就要求要對(duì)圖像的每一特征處進(jìn)行采集工作，利用每一個(gè)試點(diǎn)的坐標(biāo)來(lái)進(jìn)行基礎(chǔ)按參考平面的透視或者放射數(shù)據(jù)，最后把圖片放在參考平面上融合重復(fù)的圖像，這樣就可以得出所想要的景象。

在進(jìn)行視頻拼接工作的過(guò)程中，要對(duì)每一幅圖像的單應(yīng)矩陣在標(biāo)準(zhǔn)要求下進(jìn)行計(jì)算，但是也會(huì)出現(xiàn)誤差比較大和沒(méi)有半大實(shí)現(xiàn)拼接的問(wèn)題，因此要解決這一問(wèn)題就要求我們要針對(duì)這一問(wèn)題研究出降低問(wèn)題出現(xiàn)的技術(shù)，所以文章就研究了利用對(duì)控制幀來(lái)提取圖像資料方法。

2 多攝像頭的圖像拼接

2.1 圖像拼接的發(fā)展和流程

對(duì)于攝像頭的拼接技術(shù)早在很多年前就被國(guó)內(nèi)外許多研究者研究和應(yīng)用，學(xué)者發(fā)現(xiàn)要想完成視頻的圖像拼接首先是要在完成圖像拼接的基礎(chǔ)上，因?yàn)檠芯空邔?duì)拼接技術(shù)的深入研究和發(fā)現(xiàn)終于取得了有效的成果，出現(xiàn)了許多不同的圖像拼接算法和融合方法。至今為止，雖然出現(xiàn)了許多圖像拼接方法，但是只有一種方法得到發(fā)展和應(yīng)用，就是90年代出現(xiàn)的以局部特點(diǎn)為基礎(chǔ)的SIFT的算法，而這種算法對(duì)于圖像的旋轉(zhuǎn)、平移、圖像的色彩、光照和尺寸影響都不是很大，這些特點(diǎn)使得這種方法為大家所用，得到了廣泛的使用。實(shí)踐證明這種方法對(duì)于圖像拼接的效果十分理想。但是凡事都有兩面性，既然有優(yōu)點(diǎn)必然也會(huì)有缺點(diǎn)，這種方法就是使用起來(lái)比較復(fù)雜，要求的計(jì)算量比較大，但是現(xiàn)在技術(shù)要求的是具有一定的輕便性，因此怎樣既能滿足拼接效果又能滿足實(shí)際應(yīng)用的技術(shù)是當(dāng)前研究的重點(diǎn)內(nèi)容。一般的攝像頭都是由幀圖像組成，多攝像頭則是多種幀圖像的拼接，而拼接是需要融合和匹配兩大核心技術(shù)。

2.2 匹配幀圖像

幀圖像呈現(xiàn)出來(lái)圖像質(zhì)量的好壞跟圖像匹配時(shí)的精確度密切相關(guān)，所以要注重把握好圖像的精確度是匹配幀圖像的重點(diǎn)工作。要把握好圖像的精確度就要求在選擇既能滿足精確度又能滿足計(jì)算簡(jiǎn)易度的匹配算法。對(duì)一幅圖像的特征選擇匹配關(guān)鍵是檢測(cè)特征點(diǎn)，比較常見(jiàn)的檢測(cè)特征點(diǎn)的算法有：Harris算法和Canny算法。文章就針對(duì)SIFT算法對(duì)圖像拼接技術(shù)的基數(shù)進(jìn)行轉(zhuǎn)換。這種算法主要涉及兩個(gè)過(guò)程，第一個(gè)過(guò)程就生成SIFT的特征，第二個(gè)過(guò)程就是SIFT匹配向量特征。只有當(dāng)兩幅圖像都完成向量匹配的時(shí)候我們就可以利用歐式距離進(jìn)行計(jì)算，從而判斷兩幅畫的相似特征。需要注意的就是在匹配過(guò)程中難免會(huì)出現(xiàn)誤差，這就需要利用RANSAC算法進(jìn)行糾正。

2.3 融合幀圖像

雖然融合幀圖像的算法有許許多多，但是文章就利用圖像平滑過(guò)渡算法進(jìn)行幀圖像的融合，我們假設(shè)融合區(qū)域的變化因子是R，image A以及image B 代表的是圖像在融合前后的像素值，而image C代表的是融合區(qū)域的像素值，就可以依照以下公式進(jìn)行計(jì)算：image A等于R乘以image A 加上括號(hào)A 減去R的值乘以image B.其中R的值要大于零小于一。經(jīng)過(guò)這樣的算法幀圖像的融合就能夠順利實(shí)現(xiàn)拼接。

2.4 消除因?yàn)榻涌p而出現(xiàn)的公用模板

圖像的拼接可能會(huì)受到曝光的因素，所以在融合幀圖像的過(guò)程中非常容易出現(xiàn)拼接縫，其實(shí)就相當(dāng)于幀圖像產(chǎn)生的噪聲，我們可以通過(guò)給圖像進(jìn)行去噪處理來(lái)清除拼接縫。以前的去噪方法雖然多，但是因?yàn)槿ピ胫蟮膱D像質(zhì)量不好，所以不建議使用。而現(xiàn)在采用的是對(duì)圖像有重疊的地方利用加權(quán)平滑的方式把灰度值和對(duì)應(yīng)試點(diǎn)的灰度值進(jìn)行加權(quán)就能實(shí)現(xiàn)，這一過(guò)程完整實(shí)現(xiàn)之后就可以保留匹配過(guò)程中的剪切模板和變換矩陣。

2.5 多攝像頭拼接成一個(gè)攝像頭

要實(shí)現(xiàn)多個(gè)攝像頭組成一個(gè)攝像頭的工作，就要考慮在拼接過(guò)程中由于幀圖像的融合和匹配花費(fèi)時(shí)間最多，后續(xù)工作的時(shí)間就應(yīng)當(dāng)適當(dāng)減少，這是為了提高工作效率，并且能夠發(fā)揮多攝像頭拼接的作用。因?yàn)榘惭b攝像頭的時(shí)候線路都是比較固定的，所以一般來(lái)講攝像頭的位置都是不變的，所以我們提取多個(gè)攝像頭圖像的時(shí)候要記錄好首幀圖像的變換矩陣，然后利用首幀圖像對(duì)變形后的幀圖像進(jìn)行融合和裁剪，這樣做的目的就是能夠?yàn)橐院蠖鄶z像頭的拼接工作提供方便。

2.6 提取新攝像頭的視頻

攝像頭在我們實(shí)際生活中應(yīng)用十分廣泛，特別是在監(jiān)控領(lǐng)域攝像頭的作用不能忽視，當(dāng)我們把多個(gè)攝像頭裁剪成一個(gè)攝像頭后，就有可能會(huì)出現(xiàn)一些沒(méi)有用的視頻信息被記錄下來(lái)，這些信息對(duì)于我們來(lái)說(shuō)也沒(méi)有用處，并且還占據(jù)了大量的內(nèi)存，要解決這一問(wèn)題就要應(yīng)用到視頻摘要，就是利用對(duì)視頻信息進(jìn)行檢測(cè)和分析之后自動(dòng)提取有效的信息并且將信息組合起來(lái)的技術(shù)，這種技術(shù)具有很強(qiáng)的實(shí)用性。

3 結(jié)束語(yǔ)

綜上所述，多攝像頭的圖像拼接技術(shù)能夠使攝像頭發(fā)揮更有用的作用，圖像拼接技術(shù)是一項(xiàng)計(jì)算方法比較復(fù)雜的過(guò)程，這就要求在保證圖像質(zhì)量的同時(shí)，提高拼接速度。

參考文獻(xiàn)

[1]劉暢，金立左，費(fèi)樹(shù)岷，等.固定多攝像頭的視頻拼接技術(shù)[J].數(shù)據(jù)采集與處理，2014，29（1）：126-133.

[2]林學(xué)晶.視頻圖像拼接技術(shù)研究[D].南京理工大學(xué)，2010.

[3]馬力，張茂軍，徐瑋，等.采用視頻拼圖方法構(gòu)建高分辨率全景視頻監(jiān)控系統(tǒng)[J].中國(guó)圖象圖形學(xué)報(bào)，2008，13（12）：2291-2296.

[4]魏川，張功國(guó)，呂曉萌，等.圖像拼接技術(shù)在雙攝像機(jī)監(jiān)控中的應(yīng)用[J].激光與紅外，2014，19（4）：447-451.

[5]楊磊，任龍，劉慶，等.基于FPGA的大視場(chǎng)圖像實(shí)時(shí)拼接技術(shù)的研究與實(shí)現(xiàn)[J].紅外與激光工程，2015，22（6）：1929-1935.

[6]彭勃，何賓.FPGA在視頻拼接中的應(yīng)用與實(shí)現(xiàn)[J].計(jì)算機(jī)工程與設(shè)計(jì)，2013，34（5）：1635-1639.