周 凡

上海海事大學(xué)信息工程學(xué)院，上海 201306

視頻監(jiān)控系統(tǒng)是安全防范系統(tǒng)的重要組成部分，廣泛地應(yīng)用于人們的日常生活，而虛擬三維系統(tǒng)是計(jì)算機(jī)科學(xué)及其相關(guān)學(xué)科領(lǐng)域發(fā)展的重要成果，其應(yīng)用也非常廣泛。將視頻影像融入到虛擬三維系統(tǒng)中以增強(qiáng)虛擬三維場(chǎng)景的真實(shí)感，一方面既能夠發(fā)揮視頻影像來源廣泛、信息獲取方式靈活和實(shí)時(shí)傳輸方便的優(yōu)點(diǎn)，另一方面又能夠給虛擬三維系統(tǒng)增加時(shí)間維度，將實(shí)時(shí)、動(dòng)態(tài)的客觀世界信息展現(xiàn)在靜態(tài)的虛擬三維場(chǎng)景中。同時(shí)，視頻信息融入到虛擬三維場(chǎng)景中還能夠克服視頻影像分散、無組織的缺點(diǎn)以及虛擬三維場(chǎng)景無動(dòng)態(tài)信息的局限性，從而形成優(yōu)勢(shì)互補(bǔ)，從整體上提高二者的應(yīng)用價(jià)值。本文主要是針對(duì)當(dāng)前視頻影像增強(qiáng)虛擬三維場(chǎng)景過程中的注冊(cè)與渲染這兩個(gè)核心問題展開了相關(guān)的研究工作，主要研究?jī)?nèi)容、研究方法和成果如下：

(1) 分別分析了視頻影像增強(qiáng)虛擬三維場(chǎng)景過程中的注冊(cè)和渲染這兩個(gè)核心問題的方法原理，基于視頻影像成像模型與虛擬三維場(chǎng)景成像模型的一致性，構(gòu)建了視頻相機(jī)內(nèi)外方位元素與三維渲染引擎相關(guān)函數(shù)之間的對(duì)應(yīng)關(guān)系，可以將后續(xù)計(jì)算獲得的內(nèi)外方位元素轉(zhuǎn)換為三維渲染函數(shù)的相關(guān)參數(shù)，從而將視頻影像準(zhǔn)確地注冊(cè)到虛擬三維場(chǎng)景中；研究分析了視頻影像三維渲染的一般性和特殊性，并基于DirectShow流媒體技術(shù)設(shè)計(jì)了視頻影像過濾器，能夠從不同來源的視頻數(shù)據(jù)中獲取實(shí)時(shí)的紋理圖片，并可以利用GPU加速渲染的方法來提高系統(tǒng)的整體效率。

(2) 在研究分析視頻監(jiān)控場(chǎng)景的控制條件和先驗(yàn)知識(shí)的基礎(chǔ)上，探索視頻影像對(duì)虛擬三維場(chǎng)景進(jìn)行注冊(cè)的方法路線，確定了視頻影像內(nèi)外方位元素分步求解的方法途徑，主要包括利用成本較低、操作方便的一維標(biāo)定法和綜合多種特征的后方交會(huì)法分別求解視頻影像內(nèi)外方位元素。

(3) 深入地分析了相機(jī)一維標(biāo)定法的誤差來源，并在此基礎(chǔ)上提出了一種改進(jìn)的單像一維標(biāo)定法和一種基于像對(duì)基礎(chǔ)矩陣的多像一維標(biāo)定法，兩種方法均能夠獲得較高精度的標(biāo)定結(jié)果，能夠在一定程度上克服一維標(biāo)定物構(gòu)造簡(jiǎn)易、幾何約束較差的局限性，適用于視頻監(jiān)控場(chǎng)景中的相機(jī)內(nèi)標(biāo)定。

(4) 基于廣義點(diǎn)攝影測(cè)量理論提出了一種綜合多種特征的后方交會(huì)法，該方法能夠?qū)⑺骄€、垂直線、線段和水平圓作為控制條件聯(lián)合常規(guī)的控制點(diǎn)構(gòu)建統(tǒng)一的平差模型從而求解相機(jī)的外方位元素，能夠在一定程度上擺脫傳統(tǒng)后方交會(huì)法對(duì)控制點(diǎn)的強(qiáng)烈依賴，使基于共線方程的后方交會(huì)法具有更廣的適用范圍，適用于先驗(yàn)知識(shí)缺乏、控制點(diǎn)難以布設(shè)的視頻監(jiān)控場(chǎng)景。

(5) 針對(duì)視頻影像在虛擬三維場(chǎng)景中渲染所涉及的數(shù)據(jù)量與實(shí)時(shí)性這兩個(gè)瓶頸問題，著重研究視頻影像合理的組織、訪問與調(diào)度方法來提高視頻影像的渲染效率，主要包括：基于多線程技術(shù)提出了一種視頻數(shù)據(jù)讀取的任務(wù)分配和消息通信方法，能夠解決虛擬三維系統(tǒng)用戶操作與視頻數(shù)據(jù)讀取之間的響應(yīng)沖突；根據(jù)近大遠(yuǎn)小的原則，提出了一種視頻影像實(shí)時(shí)分辨率的計(jì)算方法；基于四叉樹原理設(shè)計(jì)了一種視頻影像的空間索引；最后，綜合上述方法和技術(shù)，設(shè)計(jì)了一種視頻數(shù)據(jù)的緩沖與調(diào)度機(jī)制，以實(shí)現(xiàn)視頻影像在虛擬三維場(chǎng)景中的高效渲染。另外，還針對(duì)視頻相機(jī)視角與虛擬三維場(chǎng)景視角不一致的問題，變相地使用了Shadow Map算法來檢測(cè)其可見性。