機(jī)坪塔臺全景視頻拼接系統(tǒng)設(shè)計(jì)分析

侯明利

摘要：2018年，全國多個(gè)機(jī)場開始進(jìn)行機(jī)坪管制從空管塔臺到機(jī)場管制室移交的改革。雙流機(jī)場完成移交，機(jī)坪塔臺由此誕生。機(jī)坪塔臺是機(jī)場地面與空中交通調(diào)度的重要指揮中心。機(jī)坪塔臺管制員24h不間斷地指揮航班起降，合理管控機(jī)場的跑道、滑行道、停機(jī)位等機(jī)場資源。傳統(tǒng)塔臺都是依靠多個(gè)廣角云臺設(shè)備來傳遞機(jī)場場面上的實(shí)時(shí)監(jiān)控信息，且需要多個(gè)顯示器同時(shí)查看才能完整觀測機(jī)場場面的運(yùn)行情況，這不僅降低了塔臺的調(diào)度工作效率，且也十分不利于機(jī)場跑道安全管理。因此，本文介紹一種適用于機(jī)坪塔臺的全景視頻拼接系統(tǒng)，并對其系統(tǒng)優(yōu)勢、技術(shù)原理及設(shè)計(jì)思路進(jìn)行闡述。

關(guān)鍵詞：機(jī)坪塔臺 全景視頻拼接系統(tǒng) 監(jiān)控系統(tǒng) 設(shè)計(jì)

2018年，全國多個(gè)機(jī)場開始進(jìn)行機(jī)坪管制從空管塔臺到機(jī)場管制室移交的改革。雙流機(jī)場完成移交，機(jī)坪塔臺由此誕生。機(jī)坪塔臺是機(jī)場地面與空中交通調(diào)度的重要指揮中心。機(jī)坪塔臺管制員24h不間斷地指揮航班起降，合理管控機(jī)場的跑道、滑行道、停機(jī)位等機(jī)場資源。只有機(jī)坪塔臺的監(jiān)控系統(tǒng)提供可靠的視頻圖像信息，才能避免機(jī)場跑道沖突等問題，確保整個(gè)機(jī)場起落航空器的安全運(yùn)行。但以往傳統(tǒng)的監(jiān)控?cái)z像回傳畫面的整體感較差，且對于在盲區(qū)管理上的作用十分有限，難以幫助空中交通調(diào)度人員高效率地完成機(jī)場跑道資源的管理工作。因此，若是能夠利用全景視頻拼接技術(shù)，將機(jī)場跑道的監(jiān)控圖像整合為一個(gè)完整的全景空間模型，那么一定可以顯著地提高基礎(chǔ)塔臺空管工作的質(zhì)量水平。

全景視頻拼接系統(tǒng)的技術(shù)原理與優(yōu)勢

全景拼接技術(shù)（Image Stitching）又稱IS圖像合成技術(shù)，它是指利用多組實(shí)景拍攝的圖像信息，找到其中不同圖像描述的同一景物圖，將它們按照一定空間邏輯順序進(jìn)行組合排列后，就可以直接得到一幅大廣角的180°或360°全景圖像。這種全景圖以大廣角、高尺度的表現(xiàn)形式，可以盡可能地在單一圖幅中表現(xiàn)出更多的環(huán)境信息量，來模擬出360°廣角全觀的效果。那么若是將傳統(tǒng)的監(jiān)控視頻也按照這種思路進(jìn)行擬合，就會得到監(jiān)控景物的全景視頻，甚至生成景物的三維全景模型[1]。這種監(jiān)控視頻或圖像在機(jī)坪塔臺中實(shí)際應(yīng)用，主要有如下幾個(gè)方面的優(yōu)勢。

一是可以減輕塔臺空管指揮人員的工作負(fù)擔(dān)。以往的機(jī)場監(jiān)控系統(tǒng)為了實(shí)現(xiàn)機(jī)場跑道的盲區(qū)監(jiān)控，通常都會在遮擋塔臺實(shí)現(xiàn)的位置安放多組交叉視角的攝像器材，但這樣的監(jiān)控安裝方案會產(chǎn)生多組重復(fù)的回傳畫面，這樣塔臺工作人員在觀察跑道場地時(shí)，就必須要從多組視頻監(jiān)控畫面中不停切換找到理想的監(jiān)控角度，這無疑加劇了塔臺管制人員的工作強(qiáng)度與負(fù)擔(dān)。但經(jīng)過多組視頻合成后得到的全景視頻，可以為塔臺指揮管制人員將重復(fù)畫面全部從監(jiān)控圖像中剔除，且本機(jī)播放時(shí)，由于監(jiān)控畫面均是取自原圖，因此它與以往一般監(jiān)控視頻在跑道細(xì)致景物上的拍攝效果是一樣的。

二是可以較好地解決傳統(tǒng)監(jiān)控系統(tǒng)視角局限的問題。傳統(tǒng)單一多畫面的視頻監(jiān)控系統(tǒng)，拍攝廣角十分有限，塔臺指揮人員需要通過多組畫面的切換來捕捉同一個(gè)航班的起飛、降落情況。而與此同時(shí)，塔臺指揮人員還要協(xié)調(diào)好拖車、牽引車以及其他跑道資源上的地面交通工具，這樣的工作模式嚴(yán)重影響了機(jī)坪塔臺的實(shí)際調(diào)度管理效率。若是可以通過180°或360°全景球形環(huán)視效果的視頻圖像來捕捉需要管理的對象，控制人員就可以通過拖動視頻畫面來觀察場景的各個(gè)方向了。因此，全景視頻拼接系統(tǒng)的應(yīng)用，有利于實(shí)現(xiàn)航班、地面車輛的全過程控制。

三是可行性與經(jīng)濟(jì)性優(yōu)勢。當(dāng)前階段其他3D工程建模技術(shù)在機(jī)坪塔臺的實(shí)際應(yīng)用方案都存在著較大的成本壓力問題，且建模難以適配機(jī)場全地貌特征。而這種全景視頻拼接系統(tǒng)技術(shù)，利用360°環(huán)視視頻監(jiān)控畫面，可以完美地模擬出三維立體的空間視感。它的視頻畫面素材，均是來源于機(jī)場各個(gè)角落分布安裝的攝像器材，所以在機(jī)坪塔臺應(yīng)用時(shí)不僅不需要額外的成本投入，且還能最大限度地保留監(jiān)控視頻圖像的真實(shí)性特點(diǎn)。

機(jī)坪塔臺全景視頻拼接系統(tǒng)的圖像處理設(shè)計(jì)

2.1多路視頻同步采集模塊

這種全景視頻拼接系統(tǒng)合成得到的圖像，需要網(wǎng)絡(luò)監(jiān)控?cái)z像頭提供原始拍攝圖像，之后根據(jù)計(jì)算機(jī)編輯好的特定算法程序進(jìn)行圖像匹配融合操作。但在實(shí)際應(yīng)用時(shí)，由于各個(gè)控制點(diǎn)位攝像器材的安裝機(jī)位不同，得到的原始素材圖像的傾斜度、縮放比例以及方位角等均有一定差距，給視頻圖像合成工作帶來了一定難度[2]。因此，在機(jī)坪塔臺實(shí)際應(yīng)用全景視頻拼接系統(tǒng)時(shí)，需要利用多路視頻同步采集模塊，對網(wǎng)絡(luò)攝像頭的鏡頭差異進(jìn)行物理校準(zhǔn)。

首先在機(jī)場跑道、航站樓、飛行器起落停放點(diǎn)等重要控制部位選取合適的坐標(biāo)基準(zhǔn)，建立控制網(wǎng)格，而后調(diào)整各個(gè)網(wǎng)絡(luò)攝像頭的取像焦距，使獲得圖像的某一基準(zhǔn)參照物在圖像中的尺寸一致。

而后多路視頻同步采集模塊會根據(jù)信號指令，不斷以平移、繞軸轉(zhuǎn)動、鏡頭旋轉(zhuǎn)、變焦等方式調(diào)整鏡頭運(yùn)動，使不同點(diǎn)位監(jiān)控視頻圖像的表現(xiàn)效果一致化。經(jīng)過這樣的視頻圖像校正處理，才能進(jìn)行后續(xù)視頻圖像的拼接處理。

2.2圖像坐標(biāo)自適應(yīng)變換校正模塊

全景圖像的獲得一定是需要按照一定布局的攝像頭以不同位置和角度進(jìn)行拍攝的，否則合成視頻的圖像很容易因機(jī)載特性不同，導(dǎo)致畫面無法出現(xiàn)在同一軸線上。造成這種的問題出現(xiàn)的主要原因有兩個(gè)：一是相機(jī)鏡頭的投影角度問題，這些攝像頭的柱面投影在安裝時(shí)就未處于同一柱面上，平面投影自然也不在同一平面上。二是攝像頭下傾問題，機(jī)坪塔臺網(wǎng)絡(luò)攝像頭在安裝時(shí)，考慮到減少控制盲區(qū)的需求，通常都會將器材架高固定，且向下傾斜一定角度。若是不經(jīng)過坐標(biāo)變換運(yùn)算直接將原始圖像合成，得到的整體全景圖將會是整個(gè)下傾視角的全景，而這種角度差異會導(dǎo)致視頻合成畫面的綜合效果受到嚴(yán)重影響。因此，必須要確保中央圖像正對景物拍攝，使所有攝像頭的監(jiān)控視頻畫面可以被投放到同一柱面或平面上，這需要對標(biāo)定好的攝像頭以空間坐標(biāo)參量為基準(zhǔn)，進(jìn)行空間與位置上的變換，獲取到坐標(biāo)變換后的圖像。

理論上只要滿足了圖像投影處于同一軸線上的基本條件，就可以藉由一個(gè)攝像頭提供的拍攝圖像變換生成對應(yīng)的虛擬相機(jī)拍攝圖像。這種圖像坐標(biāo)的變換設(shè)計(jì)可以參考如下相機(jī)運(yùn)動效果參數(shù)。

以8參數(shù)的透鏡變換規(guī)律來表述圖像的坐標(biāo)，它的參數(shù)矩陣分別為：[m0、m1、m2、m3、m4、m5、m6、m7、1]，而其中m0、m1、m3、m4參數(shù)對應(yīng)的相機(jī)運(yùn)動成像效果為縮放、剪切與圖像旋轉(zhuǎn);m2參數(shù)對應(yīng)的是攝像機(jī)在x軸上的水平位移;m5參數(shù)對應(yīng)的是攝像機(jī)在y軸上的豎直位移;m6與m7則分別對應(yīng)了圖像在以x、y軸為基準(zhǔn)方向的梯形失真變換與線性調(diào)頻。例如，機(jī)場航站樓正南方向原有一水平向下傾斜的網(wǎng)絡(luò)監(jiān)控?cái)z像頭，根據(jù)鏡頭投影原理，它得到的圖像一定是景物正向圖像在x軸基準(zhǔn)上的梯形變換失真圖像，滿足m6參數(shù)的變換條件，所以可以根據(jù)8參數(shù)矩陣中m6參數(shù)對應(yīng)的變換參數(shù)，輸入攝像機(jī)的水平傾角，經(jīng)過變換運(yùn)算后，生成航站樓南側(cè)的正向視角圖像，這樣就相當(dāng)于在航站樓南側(cè)由“虛擬”化的攝像頭來替代原有攝像頭生成拍攝圖像。

2.3圖像畸變修正模塊

分析機(jī)坪塔臺監(jiān)控系統(tǒng)的實(shí)際建設(shè)情況，由于多數(shù)機(jī)坪塔臺在不同運(yùn)作時(shí)期都存在過“補(bǔ)盲”安裝作業(yè)，采用的攝像器材并不為同一批次同一型號的設(shè)備。這些攝像器材鏡頭部件在制作工藝影響下，拍攝圖像往往會存在些圖像差異的畸變問題，與實(shí)際拍攝景物的情況并不完全相符。圖像畸變主要分為兩種：一是桶型畸變，整體畫面如同凸面鏡反射一樣，越靠近邊緣的位置受到縮放形變影響越劇烈;二是枕形畸變，畫面如凹透鏡反射效果一樣，越靠近圖像邊緣越容易受到擴(kuò)放形變影響[3]。這兩種圖像畸變問題都是由于不同鏡頭的曲徑倍率不同引起的，鏡頭透鏡不同程度彎曲了傳播光線，所以監(jiān)控視頻圖像出現(xiàn)這種彎曲差異。而為了確保視頻拼接的精準(zhǔn)度，圖像畸變修正模塊應(yīng)采用電子放大技術(shù)，根據(jù)鏡頭曲徑倍率參數(shù)變化，自適應(yīng)性地修正不同圖像畸變部位的像素區(qū)域。

基于點(diǎn)特征的模板匹配配準(zhǔn)邏輯模塊的邏輯設(shè)計(jì)

配準(zhǔn)是指實(shí)際塔臺跑道的視頻圖像拼接時(shí)，根據(jù)所有原始圖像點(diǎn)進(jìn)行的特征提取方式，將原始監(jiān)控視頻的景物圖像進(jìn)行匹配的過程，出于圖像匹配準(zhǔn)確度的應(yīng)用需求，需要為整個(gè)系統(tǒng)選擇一種最優(yōu)化的半自動調(diào)整算法。通過場景分析可知，點(diǎn)特征的模板匹配算法在全景視頻拼接系統(tǒng)中的適用性是比較強(qiáng)的，這種算法可以在基準(zhǔn)圖像中挑選出合適的窗口圖像，以點(diǎn)特征的相似度算法為基本依據(jù)，推算出圖像擬合的最佳匹配位置。模板是指圖像的大致擬合位置，而點(diǎn)特征則可以幫助系統(tǒng)找到相似度較高的色彩排列區(qū)塊。將圖像上預(yù)備擬合的區(qū)域定義為S（i，j），原圖像位置為T，其中i、j代表擬合像素的坐標(biāo)位置描述[4]。S（i，j）與T拍攝捕捉的均為跑道某一處的同一景物，但由于實(shí)際上受到拍攝進(jìn)光量的影響，S（i，j）與T之間的像素色彩區(qū)塊分布并不是完全相同的。因此，需要采用模板匹配相似度算法，作為系統(tǒng)提取圖像特征點(diǎn)的處理依據(jù)，來提高兩組圖像同一景觀在色彩上的耦合度，這樣的算法可以用如下公式表達(dá)：

Rmax（i，j）=（∑_（X=1）^X?∑_（Y=1）^Y?〖×S（i，j）[x，y]×T（x，y）〗）/√（∑_（X=1）^X?∑_（Y=1）^Y?〖{S（i，j）[x，y]}〗^2 ）：√（∑_（X=1）^X?∑_（Y=1）^Y?〖[T（x，y）]〗^2 ）

其中，Rmax（i，j）表示為與上一幅圖像中T區(qū)塊分布相似度最大的區(qū)塊坐標(biāo)相似度，取最大值輸出;模板圖窗在大致擬合區(qū)域T中搜索時(shí)，共計(jì)可以移動（m-x+1）×（n-Y+1）個(gè)位置，其中m與n分別表示特征點(diǎn)在x與y軸上像素點(diǎn)分布的數(shù)量，得到所有的R（i，j）相似度值輸出后，最大值Rmax（i，j）相似度對應(yīng)的（i，j）坐標(biāo)位置，就是想要得到的圖像擬合位置。在算法中特征點(diǎn)T的像素區(qū)塊數(shù)量越少，整個(gè)畫面的有效特征點(diǎn)就越多，但對機(jī)坪塔臺監(jiān)控系統(tǒng)的服務(wù)器的運(yùn)算能力要求就越高。

4.全景視頻拼接系統(tǒng)的優(yōu)化

但上述功能模塊的實(shí)際應(yīng)用有一處較明顯的問題，就是全景視頻拼接時(shí)兩幅之間的重合處經(jīng)常存在錯(cuò)位、虛影以及明顯接縫。出現(xiàn)這樣的問題主要有兩個(gè)原因：一是攝像器材安裝位置鏡頭進(jìn)光量不同，不同幅圖像色彩存在較大差異導(dǎo)致擬合效果不理想;二是機(jī)場跑道的景觀過于單調(diào)，存在多個(gè)同色區(qū)域塊，在特征點(diǎn)提取時(shí)出現(xiàn)了選擇錯(cuò)誤。因此，機(jī)坪塔臺全景視頻拼接系統(tǒng)進(jìn)行框架設(shè)計(jì)時(shí)，就要將CPU與GPU進(jìn)行異構(gòu)化處理，其中CPU主要負(fù)責(zé)多路視頻同步采集模塊、圖像坐標(biāo)校正處理模塊、圖像畸變校正模塊與特征點(diǎn)模板匹配的算法處理，而GPU則負(fù)責(zé)生成圖像處理、擬合等色彩加工處理動作。同時(shí)在CPU中運(yùn)行的還要有一個(gè)DirectShow軟件方案，負(fù)責(zé)讀取監(jiān)控視頻的每一幀圖像，并將讀取過的視頻幀格式從YUV轉(zhuǎn)換為RGBA格式，這樣在系統(tǒng)服務(wù)器GPU采集視頻圖像區(qū)塊特征點(diǎn)時(shí)，可以通過曝光補(bǔ)償來提高不同幅圖像特征點(diǎn)的色彩相似度。將曝光補(bǔ)償?shù)母鱾€(gè)參數(shù)以內(nèi)存管理函數(shù)的形式轉(zhuǎn)化為圖像投影權(quán)重，并與擬合圖像的特征權(quán)重進(jìn)行融合，生成新的總權(quán)重矩陣，顯著提高合成視頻圖像在臨近擬合接縫處像素分布的魯棒性。而這種CPU與GPU異構(gòu)化的設(shè)計(jì)，也可以顯著提高系統(tǒng)拼接生成全景視頻畫面的處理速度，滿足機(jī)坪塔臺高效率管理調(diào)度工作需求[5-6]。

5結(jié)語

綜上所述，上述全景視頻拼接系統(tǒng)設(shè)計(jì)方案可以基本滿足機(jī)坪塔臺指揮調(diào)度的視頻監(jiān)控需求，以更加直觀、真實(shí)的全景視頻畫面來替代傳統(tǒng)分割式的監(jiān)控圖像。在整個(gè)系統(tǒng)中，由多個(gè)單一分布的功能模塊來分別負(fù)責(zé)網(wǎng)絡(luò)攝像原始圖像的校正處理、擬合匹配與視頻幀效果優(yōu)化功能。但在實(shí)際開發(fā)時(shí)，還要合理選擇各個(gè)模塊之間的物理連接鏈路與數(shù)據(jù)庫分布節(jié)點(diǎn)，調(diào)整各個(gè)分散模塊在系統(tǒng)中的耦合度，顯著提高全景視頻拼接系統(tǒng)的運(yùn)行穩(wěn)定性與視頻拼接效果。

參考文獻(xiàn)

[1]梁恩澤，李宏剛，杜雙.復(fù)雜機(jī)場全景視頻拼縫優(yōu)化方法研究[J].電視技術(shù)，2021，45（9）：119-123，128.

[2]付強(qiáng)，錢宏文，劉會.基于FPGA的全景視頻拼接系統(tǒng)的防抖動設(shè)計(jì)[J].電子設(shè)計(jì)工程，2021，29（3）：167-170.

[3]晏細(xì)蘭.全景視頻拼接系統(tǒng)的研究與設(shè)計(jì)[J].科學(xué)技術(shù)創(chuàng)新，2021（1）：83-84.

[4]藍(lán)先迪. 全景視頻拼接關(guān)鍵技術(shù)研究[D].成都：電子科技大學(xué)，2020.

[5]胡珈瑋. 機(jī)場塔臺空管人員工作狀態(tài)識別系統(tǒng)設(shè)計(jì)[D].長沙：湖南大學(xué)，2020.

[6]王亦萌. 艦載航空塔臺管理軟件界面優(yōu)化設(shè)計(jì)研究[D].西安：西安工程大學(xué)，2017.