顧春華 丁友東 張 曜

1.上海電影藝術(shù)學(xué)院影視制作中心,上海 201203

2.上海大學(xué)上海電影學(xué)院,上海 200072

3.盟圖(上海)數(shù)字科技有限公司,上海 200052

1 運(yùn)動(dòng)匹配(Matchmoving) 概述

在視效制作中,運(yùn)動(dòng)匹配常常被人們稱為跟蹤(Tracking)。因此,從廣義角度而言,運(yùn)動(dòng)匹配大致可分為二維跟蹤和三維跟蹤兩大類別。其中,二維跟蹤又可細(xì)分為單點(diǎn)跟蹤(One Point Tracking)、多點(diǎn)跟蹤 (Multi-points Tracking)和平面跟蹤 (Planar Tracking)等;三維跟蹤又可細(xì)分為固定機(jī)位的匹配(Fixed Camera Tracking)、三維攝像機(jī)跟蹤(Camera Tracking)、物體跟蹤(Object Tracking)以及動(dòng)作捕捉(Motion Capture)等,如圖1所示。

圖1 運(yùn)動(dòng)匹配的分類

從狹義角度而言,運(yùn)動(dòng)匹配的主要方面是進(jìn)行三維攝像機(jī)跟蹤(或稱攝像機(jī)軌跡反求)。三維攝像機(jī)跟蹤是通過對實(shí)拍鏡頭畫面中跟蹤特征點(diǎn)視差變化的分析和計(jì)算,反求出該鏡頭在實(shí)際拍攝時(shí)鏡頭的焦距參數(shù)、相機(jī)的運(yùn)動(dòng)信息以及場景的布局情況等信息。因此,運(yùn)動(dòng)匹配也可理解為攝像機(jī)的跟蹤反求和三維場景的數(shù)字化還原。

對于在實(shí)拍鏡頭畫面中添加三維資產(chǎn)的視效鏡頭制作而言,數(shù)字藝術(shù)家一旦獲得虛擬相機(jī)和場景信息就可以將制作好的三維模型、三維角色、三維特效和數(shù)字繪景等數(shù)字資產(chǎn)添加到實(shí)拍鏡頭畫面中,并且達(dá)到看起來像是由同一攝像機(jī),在同一場景“拍攝”而成的視覺效果。因此,運(yùn)動(dòng)匹配為實(shí)拍鏡頭畫面與三維元素之間建立了橋梁。[1]

在本文中,由于筆者著重研究關(guān)于實(shí)拍鏡頭畫面鏡頭畸變的優(yōu)化處理,因此本文中所指的運(yùn)動(dòng)匹配主要指三維攝像機(jī)跟蹤。

2 鏡頭畸變(Lens Distortion) 概述

2.1 鏡頭畸變的產(chǎn)生原因

在光信號轉(zhuǎn)變?yōu)殡娦盘柕倪^程中,由于攝像機(jī)光學(xué)系統(tǒng)并不是精確地按理想化的小孔成像原理工作,物體點(diǎn)在攝像機(jī)成像面上實(shí)際所成的像與理想成像之間存在有光學(xué)畸變誤差。[2]因此,由于透鏡中央?yún)^(qū)的放大率與邊緣區(qū)的放大率不一致導(dǎo)致成像畫面偏離理想位置出現(xiàn)拉伸或壓縮的圖像變形現(xiàn)象被稱之為鏡頭畸變。鏡頭畸變的程度從畫面中心至畫面邊緣依次遞增,畫面邊緣反映得更為明顯。在實(shí)際應(yīng)用中,攝像機(jī)鏡頭畸變現(xiàn)象是不可避免的,不論鏡頭的光學(xué)設(shè)計(jì)如何精密都無法消除鏡頭畸變。但是,鏡頭畸變并不影響成像畫面的清晰程度,只會改變成像畫面的形狀。[3]

2.2 鏡頭畸變的分類

對于光學(xué)鏡頭而言,畸變誤差主要分為徑向畸變、離心畸變和薄棱鏡畸變。這三種畸變均會引起像點(diǎn)的徑向偏差,其中,離心畸變和薄棱鏡畸變還會引起切向偏差。徑向畸變一般是由鏡頭的形狀缺陷所引起的,如徑向曲率的變化,該畸變使像點(diǎn)沿徑向偏移。[4]拍攝電影所使用的鏡頭一般都采用更為精密的加工處理,因此畸變系數(shù)相對較小且都屬于徑向畸變。徑向畸變分為桶形畸變(Barrel Distortion)和枕形畸變(Pincushion Distortion)兩種。

桶形畸變是由鏡頭中透鏡物理性能以及鏡片組結(jié)構(gòu)引起的成像畫面呈桶形“膨脹”的畫面失真現(xiàn)象。因此,桶形畸變也常稱為桶形失真。在使用廣角鏡頭或使用變焦鏡頭的廣角端時(shí),最容易出現(xiàn)桶形失真現(xiàn)象。當(dāng)畫面中含有直線 (尤其是靠近畫面邊緣的直線)的時(shí)候,桶形失真最容易被察覺。與桶形失真相對的是枕形失真。

枕形畸變是由鏡頭中透鏡物理性能以及鏡片組結(jié)構(gòu)引起的成像畫面呈枕形“收縮”的畫面失真現(xiàn)象。因此,枕形畸變也常稱為枕形失真。在使用長焦鏡頭或使用變焦鏡頭的長焦端時(shí),最容易出現(xiàn)枕形失真現(xiàn)象。當(dāng)畫面中有直線 (尤其是靠近畫面邊緣的直線)的時(shí)候,枕形失真最容易被察覺。與枕形失真相對的是桶形失真,如圖2所示。

圖2 桶形畸變和枕形畸變

2.3 視效制作中鏡頭畸變處理

在視效制作中,鏡頭畸變的處理幾乎貫穿于整個(gè)視效流程:從片場拍攝部門 (On-set Department)在拍攝現(xiàn)場的數(shù)據(jù)采集到三維置景部門(Layout Department)對實(shí)拍鏡頭畫面進(jìn)行相機(jī)反求和場景創(chuàng)建再到數(shù)字合成部門 (Compositing Department),將三維渲染或數(shù)字繪景等元素真實(shí)、無痕地匹配合成到實(shí)拍鏡頭中,都需要考慮或面對鏡頭畸變的處理。在跟蹤環(huán)節(jié),由于使用廣角鏡頭或長焦鏡頭拍攝的畫面往往都會產(chǎn)生不同程度的鏡頭畸變現(xiàn)象。如果未經(jīng)鏡頭畸變校正處理,直接使用含有鏡頭畸變的原始鏡頭進(jìn)行跟蹤反求將無法獲得正確的結(jié)果。[5]同時(shí),由于三維軟件中的虛擬攝像機(jī)不表現(xiàn)任何鏡頭畸變特征,因此,為模擬真實(shí)相機(jī)和物理鏡頭的成像特征,在三維渲染等元素的視效處理過程中(尤其是實(shí)拍鏡頭畫面中合成三維元素),通常需要進(jìn)行鏡頭畸變正向去除與反向添加的處理。我們將鏡頭畸變的處理過程稱之為展開(Flattening)或復(fù)原(Unwarping)。[6]

2.4視效制作流程中運(yùn)動(dòng)匹配和鏡頭畸變處理流程

運(yùn)動(dòng)匹配是實(shí)現(xiàn)三維渲染或數(shù)字繪景等元素與實(shí)拍鏡頭畫面在運(yùn)動(dòng)軌跡和透視比例等方面進(jìn)行匹配的重要技術(shù)之一。運(yùn)動(dòng)匹配在視效制作過程中大致可歸納為以下流程。

首先,跟蹤師使用跟蹤軟件對在片場使用相同鏡頭及參數(shù)拍攝的棋盤格圖像(Checker Board)素材和原始鏡頭進(jìn)行計(jì)算,一方面用于獲得鏡頭的畸變信息,另一方面基于輸出 (或創(chuàng)建)的去畸變鏡頭(Undistortion Plate)進(jìn)行跟蹤反求,進(jìn)而創(chuàng)建虛擬攝像機(jī)(3D Camera)、三維場景(3D Scene)以及場景點(diǎn)云(Point Cloud)等三維資產(chǎn)。

然后,下游的動(dòng)畫師或三維特效師等再將以上三維資產(chǎn)導(dǎo)入三維軟件,并以去畸變鏡頭畫面為參考進(jìn)行三維動(dòng)畫設(shè)計(jì)和三維視效制作。

最后,合成師需要將上游所發(fā)布的三維渲染或數(shù)字繪景等元素合成匹配到實(shí)拍畫面中。同時(shí),由于三維軟件中的虛擬攝像機(jī)不表現(xiàn)鏡頭畸變現(xiàn)象,即三維軟件渲染得到的三維元素往往不帶任何的鏡頭畸變信息。因此,合成師還需要將鏡頭畸變信息反向添加到未含有鏡頭畸變信息的三維渲染或數(shù)字繪景等元素之上,從而匹配實(shí)拍鏡頭畫面的鏡頭畸變信息。

在視效制作流程中,運(yùn)動(dòng)匹配部門發(fā)布的虛擬相機(jī)和三維等數(shù)字資產(chǎn)不僅可以供動(dòng)畫和特效等部門使用,還可以供其它部門使用。例如,合成師基于三維攝像機(jī)反求輸出的虛擬攝像機(jī)進(jìn)行三維攝像機(jī)投影技術(shù) (Projection)的綜合應(yīng)用。雖然運(yùn)動(dòng)匹配在影視視效制作過程中扮演著不可或缺的角色,但是對于跟蹤精準(zhǔn)的視效鏡頭,觀眾在最終的畫面中是看不出其痕跡的,[7]如圖3所示。

圖3 運(yùn)動(dòng)匹配在視效制作過程中的流程關(guān)系圖

3 基于影視“全流程”下鏡頭畸變方案的實(shí)現(xiàn)

3.1 目前視效行業(yè)對鏡頭畸變的處理現(xiàn)狀

雖然鏡頭畸變對畫面的影響非常微妙,但是精準(zhǔn)的鏡頭畸變卻是畫面真實(shí)感體現(xiàn)的重要因素。目前,很多項(xiàng)目在實(shí)際制作過程中由于拍攝現(xiàn)場的數(shù)據(jù)記錄問題或運(yùn)動(dòng)匹配反求計(jì)算的精度問題,常常使得鏡頭畸變的結(jié)果較不準(zhǔn)確。另外,對實(shí)拍鏡頭畫面進(jìn)行鏡頭畸變正向去除與反向添加的過程中勢必會引起去畸變鏡頭畫面尺寸的放大或縮小,從而對動(dòng)畫、特效、燈光及合成等下游環(huán)節(jié)帶來諸多不便與麻煩。很多項(xiàng)目在實(shí)際制作過程中往往對鏡頭畸變僅作粗略的處理,更有甚者,在制作過程中完全不考慮鏡頭畸變的處理。因此,當(dāng)前視效制作中鏡頭畸變的流程有待優(yōu)化與提升。

為便于描述和理解,本文所指的“全流程”具體是指與鏡頭畸變處理緊密聯(lián)系的視效制作環(huán)節(jié),例如跟蹤反求、動(dòng)畫制作、特效制作、燈光渲染以及后期合成等。

3.2 鏡頭畸變流程的優(yōu)化設(shè)計(jì)

3.2.1目的與意義

由于該方案的設(shè)計(jì)旨在使鏡頭畸變正向去除與反向添加流程中始終確保去畸變鏡頭的畫面尺寸與實(shí)拍鏡頭畫面的畫面尺寸保持完全統(tǒng)一。因此,本方案不僅減少以往流程中的不便與錯(cuò)誤,而且規(guī)范視效制作的流程,提高視效鏡頭的真實(shí)感。同時(shí),由于數(shù)字合成貫穿于鏡頭畸變正向去除與反向添加流程的始末,筆者將以數(shù)字合成制作角度作為切入點(diǎn),基于主流合成軟件Nuke為平臺進(jìn)行鏡頭畸變的優(yōu)化與設(shè)計(jì)。

3.2.2流程設(shè)計(jì)

首先,筆者將基于在片場使用相同鏡頭及參數(shù)拍攝的棋盤格圖像素材或使用LensDistortion節(jié)點(diǎn)等常規(guī)方式獲得鏡頭的畸變信息;然后,添加位移變換 (Transform)節(jié)點(diǎn)并利用表達(dá)式語句對去畸變鏡頭畫面的寬、高以及中心點(diǎn)進(jìn)行設(shè)置。最后,再次使用Transform 節(jié)點(diǎn)并對合成畫面進(jìn)行反轉(zhuǎn)操作以反向添加鏡頭畸變信息。

3.2.2.1鏡頭畸變的正向去除

專業(yè)級別的鏡頭跟蹤與反求軟件都具有鏡頭畸變處理的插件與流程,例如3DEqualizer提供了鏡頭畸變導(dǎo)出套件插件 (Lens Distortion Plugin Kit)以使得Nuke 11或更高版本中的LensDistortion節(jié)點(diǎn)可以直接讀取3DEqualizer的鏡頭模型數(shù)據(jù)并非常方便地將3DEqualizer 反求的鏡頭數(shù)據(jù)導(dǎo)入到Nuke中使用;PFTrack 早期也提供了工具PFBarrel for Nuke插件以使在Nuke軟件中使用PFTrack導(dǎo)出的鏡頭畸變模型。但是,隨著鏡頭模型數(shù)量的增加與各類合成軟件的兼容性等原因,目前普遍使用STMap數(shù)據(jù)圖進(jìn)行鏡頭畸變信息的傳遞。另外,對于畫面內(nèi)容較為簡單的實(shí)拍鏡頭,也可直接使用NukeX 中的LensDistortion (鏡頭畸變)節(jié)點(diǎn)進(jìn)行鏡頭畸變的大致處理。當(dāng)然,對于較高標(biāo)準(zhǔn)的鏡頭畸變處理,往往需要在片場使用相同鏡頭及參數(shù)拍攝棋盤格圖像素材,以供后期合成部門精準(zhǔn)處理相同場次鏡頭的鏡頭畸變信息。

本文中,由于主流跟蹤軟件3DEqualizer 與Nuke軟件也可通過LensDistortion節(jié)點(diǎn)進(jìn)行傳遞,因此筆者使用LensDistortion1節(jié)點(diǎn)進(jìn)行鏡頭畸變的正向去除。

3.2.2.2使用表達(dá)式語句設(shè)置去畸變鏡頭畫面尺寸

在鏡頭畸變的正向去除過程中勢必會引起畫面尺寸的改變。一般情況下,桶形畸變的鏡頭去除鏡頭畸變后會呈現(xiàn)畫面尺寸放大的情況;枕形畸變的鏡頭去除鏡頭畸變后會呈現(xiàn)畫面尺寸縮小的情況。因此,為了使去畸變鏡頭的畫面的尺寸與原始鏡頭畫面的畫面尺寸保持一致,筆者將使用Nuke中的Transform 節(jié)點(diǎn)并利用表達(dá)式語句對去畸變鏡頭畫面的寬、高以及中心點(diǎn)進(jìn)行設(shè)置。

首先,將Transform1 節(jié)點(diǎn)連接于鏡頭畸變正向去除節(jié)點(diǎn)下游并對縮放 (Scale)屬性控件編譯以下表達(dá)式語句:

1/ (sqrt(pow ((input.bbox.r-input.bbox.x),2)+pow ((input.bbox.t-input.bbox.y),2))/sqrt(pow (width,2)+pow (height,2)))

即,計(jì)算輸入的去畸變鏡頭畫面的邊界框(Bounding Box)對角線與原始鏡頭畫面對角線相除后的倒數(shù),從而獲取精準(zhǔn)的縮放參數(shù)值;

然后,對中點(diǎn)心 (Center)屬性控件編譯以下表達(dá)式語句:

x:width/2 y:height/2

即計(jì)算原始鏡頭畫面的中心點(diǎn)參數(shù)值,從而確定去畸變鏡頭畫面縮放中心點(diǎn)的位置。

通過以上設(shè)置,筆者基本上已經(jīng)將去畸變鏡頭的畫面尺寸與原始鏡頭的畫面尺寸作了縮放匹配,此時(shí)兩者的畫面尺寸保持統(tǒng)一。在實(shí)際制作過程中,數(shù)字合成師也常會將去畸變鏡頭序列進(jìn)行預(yù)合成輸出以供下游或其它部門使用。同時(shí),為確保去除邊界框外的像素信息,在渲染輸出前也可添加裁切(Crop)節(jié)點(diǎn)或尺寸重設(shè) (Reformat)節(jié)點(diǎn)進(jìn)行畫面尺寸設(shè)置,如圖4所示。

圖4 使用表達(dá)式語句獲取去畸變鏡頭畫面的縮放參數(shù)值和縮放中心點(diǎn)

3.2.2.3基于相同畫面尺寸和鏡頭畸變進(jìn)行各類資產(chǎn)的設(shè)計(jì)制作

此時(shí),渲染輸出的去畸變鏡頭序列可用于跟蹤反求和下游燈光渲染、數(shù)字繪景、動(dòng)效和光效元素及其它未含有鏡頭畸變信息的數(shù)字資產(chǎn)的設(shè)計(jì)制作。由于此時(shí)實(shí)拍鏡頭畫面與去畸變鏡頭以及各類數(shù)字資產(chǎn)都基于相同畫面尺寸而制作,因此可以有效避免因畫面尺寸不統(tǒng)一而帶來的諸多問題。

3.2.2.4鏡頭畸變的反向添加

完成鏡頭的合成匹配后,為模擬真實(shí)相機(jī)和物理鏡頭的成像特征,數(shù)字合成師還需要進(jìn)行鏡頭畸變的反向添加處理,從而使去畸變鏡頭、三維渲染元素、數(shù)字繪景元素及其它未含有鏡頭畸變信息的數(shù)字資產(chǎn)都獲得同原始鏡頭一致的鏡頭畸變信息。

另外,在實(shí)際項(xiàng)目制作過程中,數(shù)字合成師僅需將鏡頭畸變信息反向添加于三維渲染和數(shù)字繪景元素及其它未含有鏡頭畸變信息的素材之上。因?yàn)槿绻罱K合成畫面中的實(shí)拍鏡頭畫面由去畸變鏡頭反向添加畸變信息經(jīng)圖像變形而來,或多或少會引起畫面質(zhì)量的損失。同時(shí),對于桶形畸變而言,由于反向添加鏡頭畸變信息后會引起合成添加元素畫面尺寸的整體縮小 (尤其是靠近畫面邊緣區(qū)域或合成添加的元素含有出畫或入畫的動(dòng)畫情況)。為避免反向添加鏡頭畸變信息帶來的縮放裁切問題,在燈光渲染環(huán)節(jié)有必要提高過掃描 (Overscan)屬性參數(shù)值,以使最終渲染輸出的畫面尺寸稍大于原始鏡頭畫面的畫面尺寸。

鏡頭畸變的反向添加或多或少也會引起畫面尺寸的改變。因此,在反向添加鏡頭畸變信息之前,筆者首先進(jìn)行畫面尺寸的處理。由于在鏡頭畸變正向去除過程中,筆者使用了使用表達(dá)式語句設(shè)置了去畸變鏡頭畫面尺寸。因此,在鏡頭畸變反向添加過程中,筆者只需使用Transform2 節(jié)點(diǎn)并對其進(jìn)行反轉(zhuǎn)操作。

首先,拷貝Transform1節(jié)點(diǎn)并將粘貼新生成的Transform2節(jié)點(diǎn)連接到未含有鏡頭畸變信息的數(shù)字資產(chǎn)下游。打開Transform2節(jié)點(diǎn)屬性面板箱(Properties Bin)面板并勾選反轉(zhuǎn)(Invert)選項(xiàng),如圖5所示。

圖5 再次使用Transform 節(jié)點(diǎn)并對其進(jìn)行反轉(zhuǎn)操作

完成畫面的尺寸處理后,筆者將進(jìn)行鏡頭畸變的反向添加,拷貝鏡頭畸變正向去除中所使用的LensDistortion1節(jié)點(diǎn)并將粘貼新生成的LensDistortion2 節(jié)點(diǎn)連接到Transform2 節(jié)點(diǎn)下游。打開LensDistortion2節(jié)點(diǎn)Properties Bin面板并將Lens-Distortion標(biāo)簽頁中的未畸變(Undistort)屬性控件進(jìn)行取消勾選。同樣,為確保去除邊界框之外的像素信息,數(shù)字合成師也可在渲染輸出之前添加Crop節(jié)點(diǎn)或Reformat節(jié)點(diǎn)進(jìn)行畫面尺寸設(shè)置。

最后,筆者再對視效制作中鏡頭畸變的正向去除與反向添加優(yōu)化設(shè)計(jì)流程進(jìn)行梳理,如圖6所示。

圖6 視效制作中鏡頭畸變的正向去除與反向添加優(yōu)化設(shè)計(jì)流程圖

由于在實(shí)際項(xiàng)目制作中最終合成畫面中的實(shí)拍鏡頭畫面不能由去畸變鏡頭反向添加畸變信息通過圖像變形而來,因此最終合成畫面可優(yōu)化為由原始鏡頭與反向添加鏡頭畸變的三維渲染、數(shù)字繪景及其它未含有鏡頭畸變信息的數(shù)字資產(chǎn)所組成,如圖7所示。

圖7 鏡頭畸變的正向去除與反向添加優(yōu)化設(shè)計(jì)流程圖

4總結(jié)

本文基于視效制作全流程以數(shù)字合成制作角度為切入點(diǎn),基于主流合成軟件Nuke為平臺進(jìn)行鏡頭畸變的優(yōu)化設(shè)計(jì),從而實(shí)現(xiàn)在不改變畫面尺寸的情況下處理鏡頭畸變的正向去除與反向添加。該優(yōu)化設(shè)計(jì)不僅使得視效全流程都能夠基于相同的畫面尺寸開展視效設(shè)計(jì)與制作,而且有效解決因鏡頭畫面尺寸不統(tǒng)一而帶來的諸多不便與錯(cuò)誤。希望能夠?qū)σ曅е谱魅藛T在處理鏡頭畸變與鏡頭跟蹤等制作工作有所參考。?