基于LED背景墻的電影虛擬化制作中影像分辨率影響因素與控制方式探究

王瀟玨 趙建軍 陳 軍

北京電影學院影視技術系,北京 100088

1 引言

電影虛擬化制作 (Virtual Movie Making 或Movie Virtual Production)技術發(fā)展迅速,為電影制作領域帶來了創(chuàng)新性突破。近年來,隨著計算機圖形學、實時渲染技術以及LED 顯示等技術的不斷發(fā)展,基于LED 背景墻的電影虛擬化制作 (簡稱LED 虛擬化制作)引起了影視行業(yè)從業(yè)者的廣泛關注并付諸實踐。LED 背景墻在拍攝現(xiàn)場可直接顯示與攝影機運動所匹配的虛擬背景,攝影機拍攝演員在LED 背景墻前的表演便可直接獲得合成影像,即攝影機內(nèi)視效,替代了在拍攝現(xiàn)場使用傳統(tǒng)藍/綠幕,再經(jīng)由后期進行合成的形式。如今,高分辨率、高幀率、高動態(tài)范圍等高新技術格式標準越來越成為電影成片的主流技術標準,而這一技術在為現(xiàn)場拍攝帶來沉浸式體驗的同時,也導致了 “以數(shù)字化的方式直接采集數(shù)字化內(nèi)容”,為高質(zhì)量影像的制作帶來了新的挑戰(zhàn)。

具體來說,基于LED 背景墻的電影虛擬化制作,一方面需要以離散的數(shù)字化方式采集離散的數(shù)字化內(nèi)容,另一方面拍攝現(xiàn)場還增加了虛擬化制作的諸多前置技術環(huán)節(jié),從虛擬場景的渲染、顯示到被拍攝與采集的每一環(huán)節(jié)都涉及影像信號的處理與傳遞,并影響著最終拍攝輸出的影像質(zhì)量,這使得基于LED 背景墻的電影虛擬化制作對影像質(zhì)量的控制將是基于全過程的,也更為復雜。

以分辨率這一技術指標為例,在虛擬化制作中,如果LED 背景墻顯示的影像分辨率低,那么即便攝影機設置了4K 分辨率拍攝,也會導致最終攝影機拍攝成像的背景模糊不清、丟失細節(jié)。本文正是針對這一命題,重點圍繞基于LED 背景墻的電影虛擬化制作在現(xiàn)場制作階段中,影像分辨率這一主要技術指標的影響因素進行分析與探究,并梳理虛擬化制作流程中控制分辨率的主要方法。

2 攝影機內(nèi)視效及LED 虛擬化制作中影像質(zhì)量的挑戰(zhàn)

2.1 LED虛擬化制作核心環(huán)節(jié)與攝影機內(nèi)視效

從制作環(huán)節(jié)與技術流程上看,基于LED 背景墻的電影虛擬化制作可以大致分為前期籌備與現(xiàn)場拍攝兩個階段。首先,這一技術重在后期前置,需要視效團隊在前期籌備階段便完成虛擬場景的設計與制作工作,并將其投入現(xiàn)場拍攝。而現(xiàn)場拍攝階段則是基于LED 背景墻的電影虛擬化制作最重要的技術應用階段,其核心環(huán)節(jié)與技術要點如圖1 所示,設備選擇與技術操作都將對成片質(zhì)量產(chǎn)生直接影響。

圖1 LED虛擬化制作核心流程

如圖1 所示,由攝影機直接拍攝真實場景與LED 背景墻,便可獲得前景為演員與布景、背景為LED 背景墻實時顯示的虛擬場景的 “合成”影像,即攝影機內(nèi)視效 (In-camera VFX),在當前的典型制作流程中,攝影機內(nèi)視效的合成拍攝結(jié)果即可作為成片直接輸出。

具體而言,攝影機內(nèi)視效的實現(xiàn)主要是由實時渲染、攝影機跟蹤匹配以及LED 背景墻顯示三部分互相聯(lián)動、協(xié)同配合完成的。

2.1.1 實時渲染

實時渲染是通過實時渲染引擎以及相應的渲染群集等軟硬件技術,將虛擬的場景實時地輸出給LED 背景墻顯示終端。在條件允許的情況下,采用多機同步渲染的方式,能夠有效提升渲染效率。

由于攝影機視場 (Field of View,FOV)覆蓋LED 背景墻的范圍有限,為了更有效地實現(xiàn)攝影機內(nèi)視效,在實際拍攝中只需對攝影機視場范圍內(nèi)的虛擬場景進行更精細的渲染即可。渲染場景根據(jù)是否在攝影機的拍攝范圍內(nèi),可分為內(nèi)視錐 (Inner Frustum)渲染與外視錐 (Outer Frustum)渲染,如圖2所示。其中,內(nèi)視錐渲染主要用于實現(xiàn)攝影機內(nèi)視效,提供了整個攝影機視場的背景畫面,內(nèi)視錐場景可跟隨攝影機產(chǎn)生相應的運動、透視、景深等實時變化效果。而外視錐的渲染范圍是除內(nèi)視錐以外的部分,這部分雖然在實際拍攝時一般不會產(chǎn)生額外的交互效果,但在提供視覺沉浸感與逼真的光照效果方面有著重要作用。

圖2 外視錐渲染和內(nèi)視錐渲染

2.1.2 攝影機跟蹤匹配

跟蹤與匹配部分通過攝影機跟蹤技術實時地捕獲真實攝影機的運動、姿態(tài) (外參)與焦距、焦點等信息(內(nèi)參),并將其傳輸至渲染引擎,再由引擎匹配給虛擬場景中的虛擬攝影機并渲染輸出相應的畫面,從而在LED 背景墻上實時呈現(xiàn)出具有與真實攝影機參數(shù)一致、透視匹配的內(nèi)視錐場景。

2.1.3 LED 背景墻顯示

LED 顯示部分則是通過LED 背景墻及配套的視頻信號處理系統(tǒng),實現(xiàn)虛擬場景的實時顯示。LED 背景墻以每個封裝了三基色發(fā)光二極管的LED燈珠作為最小可控的獨立發(fā)光單元,并采用模塊化裝配方式,將燈珠組成的像素陣列構成LED 顯示模組,再自定義拼裝形成LED 背景墻[1]。拍攝現(xiàn)場為了適應攝影機運動,往往將LED 背景墻以半圓形、弧形或矩形環(huán)繞在拍攝區(qū)域周圍,并根據(jù)需要加裝頂屏。

2.2 LED虛擬化制作影響影像質(zhì)量的主要環(huán)節(jié)

對比攝影機拍攝實景的過程,在基于LED 背景墻的電影虛擬化制作中還疊加了諸多前置處理環(huán)節(jié)。如圖3所示,按照實現(xiàn)攝影機內(nèi)視效的技術流程,整個虛擬場景從開始渲染到作為虛擬背景被攝影機拍攝獲得“合成”的影像,可大致分為LED 顯示與攝影機拍攝兩大階段。其中,LED 顯示階段又可以依次細化為實時渲染、視頻信號處理與LED 背景墻顯示三個主要環(huán)節(jié)。由于整個過程從影像信號傳遞的角度可以被視為線性的傳輸過程,每個環(huán)節(jié)都涉及影像的輸入與輸出,故而每個環(huán)節(jié)的軟硬件條件及相關技術參數(shù)都將影響并制約最終攝影機拍攝獲得的影像質(zhì)量。

圖3 LED虛擬化制作影響影像質(zhì)量的主要環(huán)節(jié)

由于目前業(yè)內(nèi)對數(shù)字攝影機拍攝已掌握了成熟的影像控制方法,因此本項目將著重研究LED 顯示階段的控制流程與方法。就整體而言,我們可以結(jié)合“短板效應”大致遵循這樣一個準則,即上述的任何一個技術環(huán)節(jié)如果在硬件條件或技術參數(shù)設置中“造成了”該鏈路的最小值,那么它也將成為影響與制約最終拍攝獲得影像質(zhì)量的主要因素。

3 影像分辨率及LED 虛擬化制作各環(huán)節(jié)的分辨率概念

3.1 影像分辨率概念

分辨率是評估影像質(zhì)量的核心技術指標之一,通常用來描述影像的細節(jié)分辨能力。一般而言,當影像的畫幅或面積相同時,分辨率越大,其所能描述的細節(jié)越豐富,給人帶來的主觀視覺清晰感也越強。在以離散化為主要特征的數(shù)字時代,像素作為描述影像的最小單位,記錄著獨立的亮度、色度等屬性,并按照一定的規(guī)則排列,從而構成視覺上具有空間連續(xù)感的影像。因此,從基本概念來講,影像分辨率即其橫向像素數(shù)與縱向像素數(shù)的乘積,也相當于“像素分辨率”(圖4)。

圖4 像素與分辨率示意

3.2 LED虛擬化制作各環(huán)節(jié)的分辨率概念

在基于LED 背景墻的電影虛擬化制作流程中,因涉及對影像的采集、傳輸、處理、顯示等不同技術環(huán)節(jié),像素與分辨率又有著不同的表現(xiàn)形式(圖5)。

圖5 LED虛擬化制作各環(huán)節(jié)的分辨率概念

3.2.1 實時渲染

在實時渲染環(huán)節(jié),引擎將虛擬場景按照LED 背景墻的顯示需求渲染出相應規(guī)格的二維影像,并將信號輸出至下一處理環(huán)節(jié)。影像分辨率在這一過程中主要體現(xiàn)為 “渲染分辨率”,即渲染時所設定的、需要輸出影像的橫向像素數(shù)和縱向像素數(shù)乘積。

3.2.2 視頻信號處理

視頻信號處理環(huán)節(jié)通過接收引擎渲染的影像信號,執(zhí)行相應技術操作后,輸出信號至下一個處理環(huán)節(jié)。此階段的分辨率體現(xiàn)為 “處理器輸出分辨率”,即輸出影像時所設定的橫向像素數(shù)和縱向像素數(shù)乘積。與輸入影像信號不同的是,在視頻信號處理環(huán)節(jié)可以設定高于或低于輸入影像分辨率的數(shù)值,以在處理過程中對影像進行裁切或上下變換處理。

3.2.3 LED 背景墻顯示

LED 背景墻在接收影像信號后將影像顯示出來,這一環(huán)節(jié)像素和分辨率主要表現(xiàn)為LED 背景墻的“顯示分辨率”與“物理分辨率”。

首先,由于傳輸?shù)挠跋癖旧砜梢元毩⒂陲@示設備而存在,因此在顯示影像時,可以設定影像在概念上橫向、縱向有多少個像素單位,其總像素數(shù)即“顯示分辨率”。由于LED 背景墻在顯示時分為內(nèi)外視錐兩個部分,因此 “顯示分辨率”也可以具體劃分為“外視錐的顯示分辨率”與 “內(nèi)視錐的顯示分辨率”。其中外視錐的顯示分辨率即“處理器輸出分辨率”,而內(nèi)視錐的顯示分辨率則由內(nèi)視錐的實時面積和視頻處理器規(guī)定的像素密度決定。

第二,由于影像需要依賴LED 背景墻顯示,從技術實現(xiàn)上看,LED 背景墻的最小物理單位是獨立的RGB三基色LED 燈珠,如圖6所示,因此LED背景墻的燈珠像素總數(shù)構成了背景墻的 “物理分辨率”,也是該LED 背景墻在顯示影像時所能支持的最高“顯示分辨率”。同樣地,背景墻的“物理分辨率”也可以劃分為“外視錐的物理分辨率”和 “內(nèi)視錐的物理分辨率”。外視錐的物理分辨率相當于整個背景墻的物理像素總數(shù)；內(nèi)視錐的物理分辨率則相當于內(nèi)視錐影像覆蓋的LED 背景墻面積內(nèi)橫向的物理像素數(shù)與縱向的物理像素數(shù)乘積。

圖6 三基色LED顯示屏像素 (SMD RGB燈珠)

3.2.4 攝影機拍攝成像

攝影機成像環(huán)節(jié)則較為復雜,需要攝影機拍攝前景的演員表演與LED 背景墻顯示的虛擬背景獲得攝影機內(nèi)視效的合成影像,其分辨率體現(xiàn)在攝影機的鏡頭解像力、CMOS靶面的物理分辨率、拍攝時的設置分辨率,以及攝影機機內(nèi)視效背景的原始顯示分辨率與原始物理分辨率五個方面。

其中,鏡頭解像力又稱解析力,是描述攝影機光學鏡頭分辨被攝物細節(jié)的能力。CMOS靶面的物理分辨率是指攝影機CMOS圖像傳感器靶面上橫向和縱向物理成像單元 (物理像素)的總數(shù)。拍攝時的“設置分辨率”即攝影機在拍攝時所設定的輸出影像的橫向像素數(shù)和縱向像素數(shù)乘積。

攝影機內(nèi)視效的背景則是LED 背景墻內(nèi)視錐經(jīng)由攝影機拍攝后所形成的影像,其原始顯示分辨率相當于LED 背景墻的 “內(nèi)視錐顯示分辨率”,其原始物理分辨率則相當于LED 背景墻的“內(nèi)視錐物理分辨率”。

4 LED虛擬化制作各環(huán)節(jié)對影像分辨率的影響因素與控制方式

4.1 實時渲染環(huán)節(jié)

實時渲染引擎的主要任務包括渲染并輸出支持LED 背景墻顯示的虛擬場景視頻影像。這一過程中針對影像的渲染分辨率及相關技術參數(shù)配置,將直接影響到后續(xù)LED 背景墻顯示乃至攝影機拍攝的影像質(zhì)量。以Unreal Engine 4引擎為例,其渲染與輸出面向LED 背景墻的影像主要通過nDisplay系統(tǒng)實現(xiàn),其技術原理如圖7所示。這是一個基于GPU專業(yè)顯卡的實時渲染分布系統(tǒng),主要用于支持實時渲染影像在以LED 背景墻為代表的大型多屏顯示設備上進行顯示,具體功能包括影像渲染與縮放、渲染任務分發(fā)、實時性與跨屏同步等,目標是盡可能在更短的時間內(nèi)渲染高分辨率影像[2]。

圖7 nDisplay主要技術原理

對于實時渲染環(huán)節(jié)輸出影像分辨率,一方面受虛擬場景的模型及材質(zhì)貼圖本身的分辨率影響,另一方面在經(jīng)由nDisplay執(zhí)行渲染輸出時還受制于渲染的硬件設備與配置參數(shù),包括渲染分辨率的配置,運動模糊、抗鋸齒等后處理視效?；谀壳暗膶崟r性要求,渲染輸出的影像應至少保證60FPS的幀速率,即單幀畫面的渲染效率在16毫秒以內(nèi)。綜合來看,各要素與其所能支持輸出的最大渲染分辨率關系如表1所示。

表1 主要影響因素與渲染分辨率的關系

目前,單個GPU n Display 視口在渲染中所支持的分辨率上限可達UHD (3840×2160)。因此在分配各視口的輸出分辨率參數(shù)時,一方面盡可能直接引用LED 背景墻的形狀、大小及其物理分辨率,以避免縮放；另一方面可以根據(jù)LED 顯示屏數(shù)量與每個渲染群集節(jié)點的渲染能力,合理分配渲染視口及其分辨率。

4.2 LED視頻信號處理

為了支持多屏拼接的大型LED 背景墻,在完成虛擬場景的實時渲染后,視頻信號還需要經(jīng)由LED視頻處理器及配套的數(shù)據(jù)分發(fā)單元轉(zhuǎn)換為支持LED背景墻顯示的規(guī)格,并完成視頻信號分發(fā)、信號同步拼接等步驟。目前國內(nèi)外較主流的LED 視頻處理器品牌有Brompton、諾瓦等 (圖8),而隨著LED顯示的配套技術發(fā)展,視頻處理器可提供的影像處理功能也越發(fā)豐富,包括縮放、降噪、防抖、圖像增強等。

圖8 Brompton Tessera SX40 Tessera XD① (上)諾瓦V1260視頻控制器 (含4K 信號發(fā)送)② (下)

LED 視頻處理器的相關性能以及對輸入影像信號的處理操作、參數(shù)配置,都會影響其輸出分辨率,并影響到LED 背景墻所顯示的影像質(zhì)量。主流LED 視頻處理器中,相關硬件與參數(shù)配置對輸出分辨率影響如表2所示。

表2 主要影響因素與輸出分辨率的關系

目前的主流LED 視頻處理器每臺能夠支持輸出的單像素為每通道最高8Bit位深,且最大帶載支持的分辨率能夠達到4K 甚至8K,幀率在支持最大60Hz輸入的基礎上通過處理器插幀算法實現(xiàn)120Hz乃至240 Hz的輸出。因此在進行視頻處理器參數(shù)配置時,一般按照可支持的最大參數(shù)進行配置 (8Bit/4K/60 Hz)即可。應確保視頻處理器的硬件性能能夠支持LED 背景墻的物理分辨率。這需要在購置與安裝視頻處理器時,確保輸出端口最大帶載(總和)≥幀率×LED 背景墻的物理分辨率,使得單幀輸出影像在不影響幀率同步的前提下實現(xiàn)輸出分辨率最大化。

4.3 LED背景墻顯示環(huán)節(jié)

在影像信號經(jīng)由LED 視頻處理器及數(shù)據(jù)分發(fā)單元對視頻信號進行轉(zhuǎn)換與分發(fā)處理后,LED 背景墻最終支持將虛擬場景呈現(xiàn)出來以供拍攝現(xiàn)場作為虛擬背景進行直接拍攝。整個過程中影像分辨率主要體現(xiàn)為LED 背景墻的“顯示分辨率”與“物理分辨率”,因此這一環(huán)節(jié)對影像分辨率的控制,主要通過研究這兩部分的影響因素得以實現(xiàn)。

第一,LED 背景墻的顯示分辨率由輸入影像,也即“處理器輸出分辨率”決定,顯示分辨率決定了LED 顯示影像的清晰程度,但其分辨率大小受制于LED 背景墻的物理分辨率,無法超過這一上限顯示更清晰的影像。

第二,LED 背景墻的物理分辨率決定了可以支持顯示的影像清晰度上限,但其本身主要與LED 顯示屏的點間距 (Pixel pitch)等指標有著直接的關聯(lián)。點間距通常以毫米為單位,是指箱體內(nèi)被封裝的獨立LED 像素燈珠中心點之間的最小距離[3]。當前應用于電影虛擬化制作的LED 背景墻普遍采用規(guī)則排布的小間距LED 燈珠,因此每個像素與相鄰像素橫向、縱向的像素間距都是相等且固定的數(shù)值,即點間距,如圖9所示。

圖9 燈珠像素排布方式與點間距的關系

一般來說,點間距越小像素密度就越高,在相同面積的LED 屏幕中便可以支持更高的顯示分辨率,LED 屏幕顯示的影像便更清晰。目前,市場上常見的小間距LED 屏幕主要指P4以下的產(chǎn)品,包括P4、P3.5、P3、P2.5、P2、P1.6等,例如雷迪奧BP系列LED 顯示屏包括BP2與BP3兩種型號,其點間距分別為2.84mm 和3.91mm③。具體而言,LED 背景墻的物理分辨率與像素密度可以直接通過點間距計算獲得,如式(1)所示。

其中,MP 表示LED 背景墻物理分辨率,Dh表示橫向屏體數(shù),Dv表示縱向屏體數(shù),d表示屏體寬度(米),m 表示像素密度 (像素數(shù)量/平方米),p表示點間距(米)。

當面積相同時,點間距越小的LED 背景墻像素密度越高,物理分辨率也越大,攝影機拍攝的虛擬背景也可以越清晰。具體到內(nèi)視錐與外視錐,外視錐的物理分辨率等于LED 背景墻的物理分辨率；內(nèi)視錐面積雖然可調(diào)節(jié),但其物理分辨率往往要小于外視錐的物理分辨率,但二者的像素密度相同,且與點間距的關系都遵循上述公式。因此總體來說,在條件允許的范圍內(nèi),購置點間距相對小的LED 顯示屏,將更有利于在拍攝中獲得清晰的背景。

4.4 攝影機拍攝環(huán)節(jié)

LED背景墻所顯示的是離散像素組成的數(shù)字化影像,在攝影機拍攝環(huán)節(jié),離散的像素經(jīng)由攝影機鏡頭,在CMOS靶面上成像的情況將受到各種復雜因素的綜合影響,特別是攝影機分辨率、攝影機拍攝距離與焦距、CMOS靶面大小與靶面像素間距等因素。

4.4.1 攝影機分辨率的影響

首先,攝影機自身的分辨率會影響拍攝獲得的影像質(zhì)量。前文已提到,攝影機分辨率包含鏡頭解像力、攝影機的設置分辨率與CMOS靶面的物理分辨率三個概念。

其中,鏡頭解像力是由光學鏡頭的物理特性決定的,通常以每毫米可解析的線對數(shù)表示 (lp/mm),鏡頭中心解像力最高,邊緣解像力最低。因此在選用攝影機鏡頭時需要保證圖像的邊緣清晰度,應至少使得鏡頭邊緣解像力≥1/ (CMOS像素點尺寸×2)。

此外,攝影機的設置分辨率是攝影機在拍攝中設置的參數(shù),可進行自主化調(diào)節(jié),而CMOS靶面的物理分辨率是其調(diào)節(jié)上限。雖然目前有些設備可通過插值等上變換算法提升設置分辨率使之大于物理分辨率,但受制于物理分辨率,后期算法并不能夠增加真實的影像細節(jié)。

三個分辨率共同決定了拍攝獲得影像所輸出的分辨率。但影像背景是否清晰還受到LED 背景墻以及其他拍攝條件的影響。

4.4.2 攝影機拍攝距離與焦距的影響

現(xiàn)場拍攝時,LED 背景墻布置在演員的表演區(qū)域外圍,需要與攝影機間隔較遠的距離。此時LED背景墻的影像經(jīng)由攝影機鏡頭成像在攝影機CMOS的靶面上,對于背景墻的單個物理像素在攝影機CMOS靶面的成像面積而言,往往要比背景墻物理像素面積小得多,如式(2)所示。

其中,M 表示放大率,U 表示物距,V 表示像距,f表示焦距。

放大率M 表示LED 背景墻的單個物理像素在攝影機CMOS靶面的成像直徑(或?qū)挾?與原始像素直徑(或?qū)挾?的比值。對于同一LED 背景墻,當攝影機鏡頭焦距不變時,拍攝距離越遠,M 值越?。欢斉臄z距離相同時,焦距越短,M 值越小。一般來說,攝影機鏡頭常用焦段一般在24mm 至200mm 之間,拍攝距離則往往以米計算。因此拍攝距離往往對于M 值有著決定性的影響,當拍攝距離越遠,LED 背景墻的單個物理像素在攝影機CMOS靶面的成像面積越小,拍攝所獲得的攝影機內(nèi)視效背景的原始分辨率越高,最終所成影像便越清晰。但同時,拍攝距離大小受到攝影棚面積與LED 背景墻面積的制約。

根據(jù)拍攝經(jīng)驗并結(jié)合公式 (1) (2)可得出,LED 背景墻的最佳拍攝距離 (單位米)約為屏幕點間距數(shù)值的2.5倍。例如,當采用點間距為2.84mm的LED 屏幕模組拼接的背景墻時,其最佳拍攝距離大約為2.84×2.5≈7米。據(jù)此可估算,目前市場上可應用的小間距LED 顯示屏,攝影機最佳拍攝距離范圍大約在5～10米之間。

4.4.3 CMOS靶面與靶面像素間距的影響

由于輸入影像在LED 背景墻的顯示分辨率等于背景墻的物理分辨率時,可使影像的清晰度達到最高,此時顯示分辨率的像素寬度便相當于背景墻的點間距(此處考慮開口率為100%的理想情況)。理論上,當LED 背景墻的點間距越小,其單個像素在攝影機感光器件CMOS靶面上的成像面積也越小,這也意味著拍攝所獲得的攝影機內(nèi)視效背景的原始分辨率更高,因此最終所成影像也更清晰。但在實際拍攝中,并不是LED 背景墻點間距無限制地越小越好,攝影機成像一方面受CMOS靶面的物理分辨率以及靶面像素間距的制約,另一方面也受成像的最小彌散圈影響。

當LED 背景墻處于焦平面時,其在攝影機CMOS靶面上所成影像是最清晰的,理論上需要保證LED 背景墻的單個燈珠像素在攝影機CMOS靶面上成像范圍大于等于靶面的1 個物理像素單元。然而,由于透鏡成像時存在最小彌散圈的概念,即當LED 背景墻單個像素燈珠在攝影機CMOS靶面的成像面積小于最小彌散圈時,便無法再得到人眼可分辨的更清晰的影像。因此還需要結(jié)合攝影機拍攝距離、CMOS靶面像素間距以及由放映要求推斷獲得的最小彌散圈直徑等相互關系,推斷出LED 背景墻可用的最小點間距,如式(3)所示。

其中,P表示LED 背景墻點間距,d表示攝影機成像的最小彌散圈直徑,M 表示放大率,U 表示物距,f表示焦距。

因此結(jié)合攝影機性能以及拍攝要求,當LED 背景墻的點間距縮小到一定程度以后便不需要再縮小了。例如,0.03mm 是目前全畫幅攝影機較通用的最小彌散圈直徑要求,在拍攝距離是5～10 米的LED 虛擬攝影棚內(nèi),結(jié)合24mm 至200mm 的常用鏡頭焦段,可計算對于LED 背景墻的的點間距最小值,如表3所示。

表3 常用鏡頭焦段的LED 屏幕最小點間距

而由于LED 虛擬攝影棚內(nèi)往往以75mm 以內(nèi)的焦段進行拍攝,且LED 背景墻往往處于焦外,因此結(jié)合上表,LED 屏幕點間距大約保持在2～4mm即可滿足絕大部分拍攝需求。

在實際拍攝中創(chuàng)作者也可以根據(jù)成片所需的分辨率大小、最小彌散圈直徑、拍攝距離范圍以及所用的鏡頭焦段,來估算需要選用LED 背景墻的點間距等技術規(guī)格,或根據(jù)已有背景墻規(guī)格反推需要租借攝影機的技術規(guī)格。

對于4K 分辨率的拍攝要求,目前LED 顯示屏及相關技術已可以支持,當使用40mm 以下廣角鏡頭拍攝時,為保證攝影機在拍攝LED 背景墻時同樣能獲得4K 級別的虛擬背景,可選用2mm 左右點間距的LED 顯示屏,一般需要至少搭建高4～5米以上,寬8～10米以上的LED 背景墻,且攝影機拍攝距離一般可保持在5～10米左右,焦距越短,拍攝距離越短；而當LED 背景墻的點間距更大時,搭建面積也需要更大,且攝影機需要保持更遠的拍攝距離。當使用標準鏡頭或長焦進行拍攝時,焦距越長,LED 背景墻則越需要置于景深之外,且與焦平面保持較遠的距離,從而使背景呈現(xiàn)出虛化的效果。

5 分辨率與摩爾紋現(xiàn)象

隨著基于LED 背景墻的電影虛擬化制作日益廣泛地應用到創(chuàng)作實踐中,使用數(shù)字化的離散采樣方式采集離散的數(shù)字化信號也將越來越普及。與電視直播領域不同的是,電影制作一方面要求更高技術規(guī)格的影像質(zhì)量,另一方面在制作流程中攝影機本身的運動、參數(shù)調(diào)整都要遠遠復雜于電視直播。這也對電影制作領域產(chǎn)生了新的要求:一方面采集設備與被采集設備需要追求更高的物理分辨率以提升現(xiàn)場拍攝成像的清晰度；另一方面這也意味著采集與被采集物理設備的分辨率差距會越來越小,而當二者物理分辨率相近時,還可能會出現(xiàn)另外一個成像質(zhì)量問題——摩爾紋現(xiàn)象(Moiré Pattern)。

摩爾紋是數(shù)字時代離散化采樣方式造成的一種采樣混疊的失真現(xiàn)象,其本質(zhì)上是一種噪聲,也是拍攝LED 背景墻成像時經(jīng)常出現(xiàn)的問題,主要表現(xiàn)為拍攝影像中出現(xiàn)類似水波狀或螺旋狀的條紋、斜條紋或橫條紋等并伴隨著不斷閃爍的現(xiàn)象,如圖10所示。

圖10 拍攝LED顯示屏形成的摩爾紋

目前學術界對摩爾紋產(chǎn)生的原因主要從波的干涉(Wave Interference)這一物理學理論層面予以解釋,即當頻率相近的兩個光柵平面進行疊加時(可數(shù)學表示為兩個正弦函數(shù)的乘積),便會產(chǎn)生摩爾紋[4],如圖11 所示。根據(jù)奈奎斯特采樣定理(Nyquist Sampling Theorem),當采樣頻率至少為被采樣信號最高頻率的2倍時才能不失真。

圖11 摩爾紋產(chǎn)生的基本原理示意

然而,在基于LED 背景墻的電影虛擬化制作實踐中,引起摩爾紋現(xiàn)象的原因更為復雜,這一方面是因為奈奎斯特采樣定理主要研究的是采樣連續(xù)模擬信號,而拍攝LED 背景墻則是用離散的采樣方式采集離散的數(shù)字信號。另一方面,當使用數(shù)字攝影機拍攝LED 背景墻時,采樣頻率與被采樣頻率除了與兩方設備的物理分辨率有關,還受眾多因素影響。具體而言,在被采樣端,LED 背景墻的物理分辨率、燈珠像素的排布規(guī)則、屏幕點間距、屏幕開口率、屏幕刷新率,甚至是顯示的影像本身是否存在較密集的紋理等,都會對摩爾紋的出現(xiàn)產(chǎn)生影響；而在數(shù)字攝影機等采樣設備層面,攝影機的位置與旋轉(zhuǎn)、攝影機焦距與光圈、幀率、快門等也會不同程度地影響拍攝成像是否會產(chǎn)生摩爾紋及其程度。

對創(chuàng)作者來說,一方面要了解摩爾紋產(chǎn)生的原因及其影響因素,另一方面,摩爾紋很難從后期制作中完全消除,有時即便通過算法進行消除也是以犧牲清晰度與影像細節(jié)為代價,因此在拍攝環(huán)節(jié)就應最大程度地避免或最小化摩爾紋的出現(xiàn)。結(jié)合目前的研究與實踐經(jīng)驗,主要可以嘗試從以下幾個方面著手:

第一,在影視制作的前期籌備中,就應對拍攝現(xiàn)場的情況做好充分調(diào)研,包括LED 屏幕如何選取以及相應的搭建方案,攝影設備的選取以及拍攝規(guī)格的制定,并根據(jù)這些前期條件測試演員可以表演的區(qū)域,攝影機與演員離LED 背景墻越遠時,拍攝效果越好。

第二,在拍攝中,使用大光孔和淺景深,避免將攝影機焦點完全對在LED 顯示屏上,當背景畫面產(chǎn)生了一定的虛焦模糊效果時,可以有效地緩解摩爾紋現(xiàn)象。

第三,由于攝影機在運動過程中,無論是橫搖(Pan)、俯仰 (Tilt)還是橫滾 (Roll),只要攝影機靶面與被攝的LED 背景墻平面形成了夾角,夾角越大,出現(xiàn)摩爾紋的幾率就越大,理論上環(huán)形屏或曲面屏的布置將是更加理想的,在實際拍攝中,應盡可能避免攝影機在運動時與被攝的LED 背景墻形成大的夾角。

第四,隨著LED 顯示技術的發(fā)展,從顯示層面也出現(xiàn)了針對摩爾紋優(yōu)化的光源設計以及小間距的LED 面板,在成本允許的范圍內(nèi)選擇較小間距、刷新率更高、動態(tài)范圍更大的LED 顯示屏,將有效地減緩拍攝環(huán)節(jié)出現(xiàn)的摩爾紋問題。

6 總結(jié)分析與展望

基于LED 背景墻的電影虛擬化制作技術如今已在電影、電視與網(wǎng)絡、廣告等諸多領域展現(xiàn)出革命性的創(chuàng)新能力,同時其通過數(shù)字化的方式采集數(shù)字化內(nèi)容,對于制作高質(zhì)量影像帶來了諸多新的挑戰(zhàn)。因此,如何在復雜的制作流程中了解并精準地把控各因素對影像質(zhì)量的影響,還需要軟硬件設備生產(chǎn)商、影像技術團隊與創(chuàng)作者的共同努力。

目前該技術已支持產(chǎn)出4K 級別的高分辨率影像,相信隨著實時渲染、視頻信號處理、小間距乃至微間距LED 顯示等相關技術的不斷發(fā)展與突破,在LED 背景墻拍攝中所遇到的諸多成像質(zhì)量問題,諸如拍攝成像的分辨率問題、摩爾紋現(xiàn)象等都將得到進一步優(yōu)化與解決,從而為更高技術規(guī)格的影像、更加豐富多彩的影視故事與內(nèi)容提供極具創(chuàng)新性和優(yōu)質(zhì)的制作手段。

注釋

①圖片來源:https://www.bromptontech.com/product/sx40/。

②圖片來源:https://www.novastar-led.cn/index/products/index.html?id=9。

③信息來源:https://www.roevisual.com/zh-cn/products/black-pearl。