劉杰 楚志剛

摘要：中國(guó)氣象報(bào)社根據(jù)自身需求設(shè)計(jì)了XR沉浸式虛擬演播室，該演播室依據(jù)XR虛擬技術(shù)的工作原理進(jìn)行系統(tǒng)設(shè)備搭建，將LED屏幕和虛擬擴(kuò)展畫面相結(jié)合，通過(guò)虛擬引擎為新聞、科普視頻內(nèi)容的呈現(xiàn)提供了更加豐富的想象空間。

關(guān)鍵詞：XR演播室；虛擬演播室

引言

隨著互聯(lián)網(wǎng)技術(shù)和信息傳播手段的發(fā)展，短視頻已經(jīng)逐漸成為人們?nèi)粘Ｉ畈豢扇鄙俚膫鞑バ畔①Y訊的一種方式，且比例越來(lái)越大，對(duì)信息呈現(xiàn)和交互性體驗(yàn)的要求也不斷提升。XR沉浸式虛擬演播室作為新興的數(shù)字化視頻節(jié)目制作工具，為人們提供了前所未有的沉浸式視聽體驗(yàn)和全新的交互溝通方式，已經(jīng)逐漸在行業(yè)中廣泛應(yīng)用。中國(guó)氣象報(bào)社結(jié)合自身業(yè)務(wù)需求設(shè)計(jì)搭建了XR沉浸式虛擬演播室，為新聞科普短視頻制作及直播帶來(lái)全新的創(chuàng)作手段。

1. 虛擬演播室的發(fā)展

Orad公司在1995年開發(fā)了Cyberset可移動(dòng)攝像機(jī)圖形識(shí)別系統(tǒng)，并使用這種技術(shù)推出了全球首個(gè)真三維虛擬演播室。它通過(guò)將計(jì)算機(jī)生成的虛擬三維場(chǎng)景與攝像機(jī)現(xiàn)場(chǎng)拍攝的人物活動(dòng)圖像進(jìn)行數(shù)字化的實(shí)時(shí)合成，使人物與虛擬背景能夠同步變化，從而實(shí)現(xiàn)了兩者完美融合，直接輸出合成畫面，早期主要應(yīng)用于電視節(jié)目的制作[1]。早期的虛擬演播廳主要是應(yīng)用“綠幕摳像”技術(shù)，然而，由于表演者處在綠幕環(huán)境中，缺乏真實(shí)的情境感受，場(chǎng)景的互動(dòng)主要依賴于后期制作或主持人的表演技巧。從實(shí)景演播室到背景演播室，再到虛擬演播室，演播室作為視頻節(jié)目制作的重要場(chǎng)地，歷經(jīng)多層次、多階段的發(fā)展。隨著XR技術(shù)的完善和進(jìn)步，將多種視覺(jué)交互能力賦能給演播室，制造出高度逼真、互動(dòng)性強(qiáng)的虛擬現(xiàn)實(shí)結(jié)合效果，誕生了XR演播室。廣義上講，只要在演播室里應(yīng)用了XR技術(shù)就是XR演播室，而以三面LED屏幕作為背景的演播廳，特效更炫，沉浸感更強(qiáng)，通常稱為XR沉浸式演播室。

2. VR、AR、MR、XR虛擬技術(shù)

VR（virtual reality）指虛擬現(xiàn)實(shí)技術(shù)，通過(guò)計(jì)算機(jī)圖形技術(shù)和設(shè)備模擬人的視聽和觸覺(jué)，構(gòu)建一個(gè)獨(dú)立的虛擬世界，讓受眾產(chǎn)生身臨其境的體驗(yàn)。VR所產(chǎn)生的所有東西都是計(jì)算機(jī)生成的，都是虛擬的。

AR（augmented reality）指增強(qiáng)現(xiàn)實(shí)技術(shù)，將計(jì)算機(jī)生成的圖像用前景圖層形式疊加在實(shí)景上，把虛擬信息與真實(shí)世界巧妙融合，運(yùn)用多媒體、三維建模、實(shí)時(shí)跟蹤等多種技術(shù)手段，將真實(shí)世界信息和虛擬世界信息“無(wú)縫”集成。實(shí)現(xiàn)虛擬信息超越現(xiàn)實(shí)的感官體驗(yàn)，實(shí)現(xiàn)真實(shí)與虛擬同時(shí)存在，從而達(dá)到增強(qiáng)現(xiàn)實(shí)的效果。

MR（mediated reality）指混合現(xiàn)實(shí)技術(shù)，將真實(shí)世界和虛擬世界融合在一起，在現(xiàn)實(shí)世界中疊加虛擬物體和場(chǎng)景，完成兩個(gè)物體的自然融合后形成一個(gè)新的可視化環(huán)境，從而全面提升用戶體驗(yàn)真實(shí)感。

XR（extended range）指拓展現(xiàn)實(shí)技術(shù)，利用硬件設(shè)備結(jié)合多種先進(jìn)技術(shù)手段，運(yùn)用場(chǎng)景搭建、攝像跟蹤、實(shí)時(shí)渲染、輸出合成等結(jié)合LED顯示，制作出一個(gè)全方位無(wú)死角的虛擬世界。同時(shí)XR也是一個(gè)總稱，包括任何能幫助我們整合物理世界和數(shù)字世界的技術(shù)。簡(jiǎn)單來(lái)說(shuō)，XR是AR、VR、MR等多種技術(shù)的統(tǒng)稱，通過(guò)將三者的視覺(jué)交互技術(shù)融合，為體驗(yàn)者帶來(lái)虛擬世界和現(xiàn)實(shí)世界之間無(wú)縫轉(zhuǎn)化的“沉浸感”。在XR技術(shù)的加持下，主持人可以在三維場(chǎng)景中自由地穿梭，實(shí)現(xiàn)無(wú)縫轉(zhuǎn)換，呈現(xiàn)出沉浸式的表演，實(shí)現(xiàn)虛擬和現(xiàn)實(shí)的交互式的體驗(yàn)。中國(guó)氣象報(bào)社采用的XR虛擬技術(shù)能夠在幾十平方米的真實(shí)空間營(yíng)造出數(shù)百平方米的虛擬仿真環(huán)境空間感。

3. XR沉浸式虛擬演播室主要構(gòu)成

一套XR虛擬演播室系統(tǒng)一般包括LED顯示系統(tǒng)、虛擬制作系統(tǒng)、演播系統(tǒng)、實(shí)時(shí)渲染引擎、攝像跟蹤系統(tǒng)、播控系統(tǒng)等，還有傳統(tǒng)演播室中的攝像機(jī)、燈光系統(tǒng)、音頻系統(tǒng)等[2]。本文對(duì)以下幾個(gè)系統(tǒng)進(jìn)行介紹。

3.1 LED顯示系統(tǒng)

LED屏幕是像素點(diǎn)主動(dòng)發(fā)光成像技術(shù)，相比傳統(tǒng)液晶投影等透射式出光成像技術(shù)，有光效高、視角大、亮度高、便于安裝維護(hù)等優(yōu)點(diǎn)，是目前還原自然色彩最好的一種技術(shù)。LED顯示系統(tǒng)主要包括LED屏幕拼接器、LED發(fā)送卡、LED接收卡、LED屏體，通過(guò)顯示系統(tǒng)來(lái)接收渲染服務(wù)器輸出的實(shí)時(shí)渲染圖像進(jìn)行顯示，系統(tǒng)支持不同點(diǎn)間距屏幕的拼接與顯示，支持不同比例與分辨率的圖像點(diǎn)對(duì)點(diǎn)顯示，使屏幕顯示效果達(dá)到最佳狀態(tài)。在中國(guó)氣象報(bào)社虛擬演播室方案中，采用了LED屏背景立屏1塊、側(cè)屏2塊、地面屏幕1塊，其中背景屏和側(cè)屏選用的是1.2毫米點(diǎn)間距屏，地屏使用的是2.6毫米點(diǎn)間距屏。地屏與背景屏和側(cè)面屏構(gòu)成包圍式顯示空間，結(jié)合虛擬播控軟件基于攝像機(jī)視角的透視投射效果，以及虛擬引擎實(shí)時(shí)渲染的虛擬畫面，可實(shí)現(xiàn)基于真實(shí)環(huán)境屏幕疊加三維虛擬空間的沉浸式顯示效果。

3.2 演播系統(tǒng)

演播系統(tǒng)主要由XR合成服務(wù)器、XR渲染服務(wù)器及服務(wù)器配套XR制作軟件構(gòu)成。XR合成服務(wù)器可接收渲染服務(wù)器實(shí)時(shí)渲染引擎輸出的畫面，并帶有畫面合成及調(diào)整功能，支持實(shí)際畫面與虛擬畫面合成、AR前景疊加、自動(dòng)校正實(shí)際畫面與虛擬畫面間的色差、實(shí)時(shí)調(diào)節(jié)延遲，并且支持向多種顯示設(shè)備發(fā)送視頻信號(hào)。XR合成服務(wù)器接收虛擬引擎渲染的AR前景，將其疊加在實(shí)際畫面前，實(shí)現(xiàn)AR效果；接收虛擬擴(kuò)展畫面，并與實(shí)際拍攝畫面縫合，實(shí)現(xiàn)XR效果；AR效果、XR效果可同時(shí)應(yīng)用，實(shí)現(xiàn)混合現(xiàn)實(shí)，即MR效果；服務(wù)器可基于時(shí)間線同時(shí)控制音視頻和各種周邊設(shè)備，實(shí)現(xiàn)AR、XR、MR、聲、光、電、機(jī)械的綜合性協(xié)同應(yīng)用；本方案中使用了8臺(tái)服務(wù)器，同時(shí)配置有硬件同步卡保證多臺(tái)集群渲染的畫面同幀輸出，每一臺(tái)渲染服務(wù)器配置了專業(yè)的外視頻輸入卡，可以接入4K分辨率60幀的外部視頻信號(hào)，可以進(jìn)行異地連線或資訊的實(shí)時(shí)接入。

3.3 實(shí)時(shí)渲染引擎

實(shí)時(shí)渲染引擎根據(jù)攝像機(jī)軌跡數(shù)據(jù)實(shí)時(shí)渲染并輸出內(nèi)容。內(nèi)置三維實(shí)時(shí)渲染引擎：可進(jìn)行三維空間渲染服務(wù)。三維空間位置可調(diào)整：屏幕上的三維空間可調(diào)整到任意位置，可以前后、左右、上下移動(dòng)微調(diào)，并且具備26視點(diǎn)的視角切換功能[3]。隨著攝像機(jī)的移動(dòng)，在LED顯示屏上投射內(nèi)容也隨之移動(dòng)，在屏幕上創(chuàng)造出一種虛假的深度感，同時(shí)也將虛擬場(chǎng)景延伸超越了LED屏幕的空間，并與攝像機(jī)拍攝內(nèi)容進(jìn)行合成輸出，虛擬擴(kuò)展內(nèi)容與LED顯示內(nèi)容可以無(wú)縫銜接一體化過(guò)渡，能夠呈現(xiàn)近乎真實(shí)的視覺(jué)效果，讓觀眾體驗(yàn)到更加精彩的影像世界。本方案中支持對(duì)接Notch、Unreal Engine 4、Unreal Engine 5等實(shí)時(shí)渲染引擎。

3.4 攝像跟蹤系統(tǒng)

攝像機(jī)跟蹤系統(tǒng)是XR虛擬演播室系統(tǒng)中的重要組成部分，主要作用是通過(guò)使用傳感器、接收器等設(shè)備，實(shí)時(shí)跟蹤和記錄主持人和物體的位置和動(dòng)作，以及物體的移動(dòng)和變化，使得虛擬場(chǎng)景和角色能夠與真實(shí)人物和物品精確匹配。同時(shí)為虛擬引擎中的虛擬攝影機(jī)提供三級(jí)位置信息及相關(guān)的鏡頭數(shù)據(jù)，來(lái)保障虛擬攝影機(jī)與真實(shí)攝影機(jī)的軌跡虛擬引擎中的虛擬攝影機(jī)提供保持同步。一般有圖像識(shí)別跟蹤技術(shù)、光學(xué)跟蹤技術(shù)、傳感器跟蹤技術(shù)等。

中國(guó)氣象報(bào)社在演播室屋頂粘貼了若干反光貼片，為跟蹤設(shè)備提供整個(gè)演播室的光學(xué)地圖錨點(diǎn)，實(shí)現(xiàn)對(duì)攝像機(jī)的位置跟蹤定位。跟蹤設(shè)備還可以將攝像機(jī)鏡頭參數(shù)傳輸給后站的渲染引擎，渲染引擎通過(guò)計(jì)算渲染，實(shí)時(shí)生成圖像傳送到LED屏幕上，使虛擬場(chǎng)景內(nèi)容隨著攝像機(jī)移動(dòng)而實(shí)時(shí)變化，顯示屏幕外的拓展影像也隨之變化，從而達(dá)到了所見即所得式的實(shí)景拍攝效果。

3.5 燈光系統(tǒng)

燈光系統(tǒng)在XR演播系統(tǒng)中也十分重要，直接影響節(jié)目的制作和播出，不能當(dāng)作一個(gè)簡(jiǎn)單的照明工具，而是根據(jù)場(chǎng)景模擬出真實(shí)世界中的光線情況，從而實(shí)現(xiàn)以假亂真。一套完善的燈光系統(tǒng)除了燈光本身，還需要一套優(yōu)質(zhì)的控制和調(diào)色系統(tǒng)。LED燈具功率低、效率高，搭載調(diào)光系統(tǒng)更加智能、簡(jiǎn)單，也更加可靠、安全。中國(guó)氣象報(bào)社虛擬演播室燈光系統(tǒng)采用LED燈具，使用了20臺(tái)燈具圍繞主播人采用環(huán)形布光方式，每一組燈光的方向、明暗、色溫均可進(jìn)行精細(xì)調(diào)節(jié)，可以實(shí)現(xiàn)利用面光、逆光、輔助光及背景光等燈光調(diào)節(jié)滿足不同節(jié)目、不同場(chǎng)景中的環(huán)境光線需求，使節(jié)目中的場(chǎng)景、人物和光線整體和諧統(tǒng)一，體現(xiàn)立體感、空間感。

4. 虛擬場(chǎng)景

XR虛擬演播室最大的優(yōu)勢(shì)是可以實(shí)現(xiàn)所見即所得，實(shí)現(xiàn)場(chǎng)景自由轉(zhuǎn)換，調(diào)用不同樣式風(fēng)格的虛擬場(chǎng)景就可以滿足各種欄目的快速制作需求，在有限的演播室空間內(nèi)，展示無(wú)限的視覺(jué)效果。虛擬場(chǎng)景是虛擬演播室中非常重要的一個(gè)部分，場(chǎng)景的制作精細(xì)程度及效果直接關(guān)系到節(jié)目的最終質(zhì)量，場(chǎng)景搭建是一項(xiàng)關(guān)鍵且復(fù)雜的任務(wù)，需要考慮到應(yīng)用需求和實(shí)際情況，保證視覺(jué)效果的同時(shí)，實(shí)現(xiàn)更高實(shí)用性的表現(xiàn)。

中國(guó)氣象報(bào)社結(jié)合自身需求，制作了6套常用場(chǎng)景來(lái)滿足新聞發(fā)布、報(bào)道、訪談、解讀、科普、連線等多種業(yè)務(wù)需求。把演播廳場(chǎng)景設(shè)計(jì)為多功能虛擬演播廳，視覺(jué)效果可達(dá)到400多平方米，攝像機(jī)內(nèi)主持人仿佛置身于一個(gè)現(xiàn)代化的充滿科技感的演播大廳。該場(chǎng)景用于錄制大、中型的視頻節(jié)目，同時(shí)也是實(shí)景大廳的一個(gè)有效補(bǔ)充。發(fā)布廳場(chǎng)景模擬新聞發(fā)布會(huì)現(xiàn)場(chǎng)，實(shí)現(xiàn)在演播室達(dá)到在新聞發(fā)布大廳的效果，尤其在線上進(jìn)行新聞發(fā)布時(shí)，直接在演播室就可以達(dá)到預(yù)期效果，攝像人員無(wú)須再將大量設(shè)備運(yùn)至發(fā)布會(huì)現(xiàn)場(chǎng)。

室外自動(dòng)觀測(cè)站場(chǎng)景，使用3D技術(shù)模擬了一個(gè)具有顯著氣象特點(diǎn)的氣象觀測(cè)站場(chǎng)景，主持人足不出戶就可以氣象站背景來(lái)播報(bào)有關(guān)氣象類的節(jié)目。同時(shí)還模擬四季變化，可以一鍵切換到任意季節(jié)，讓觀眾能感受場(chǎng)景中春季的百花、夏季的綠蔭、秋季的金黃、冬季的白雪。訪談場(chǎng)景，專家訪談是常用的節(jié)目形式，通過(guò)主持人與嘉賓專家對(duì)話，讓觀眾更加深入了解與感受知識(shí)。模擬了書房場(chǎng)景，來(lái)提升整個(gè)節(jié)目的文化屬性。氣象科普解讀場(chǎng)景，結(jié)合氣象業(yè)務(wù)本身，通過(guò)內(nèi)置虛擬沙盤來(lái)展示模擬各種天氣過(guò)程原理，更方便主持人結(jié)合AR等技術(shù)設(shè)計(jì)的多樣化氣象裝備模型進(jìn)行節(jié)目制作和講解，實(shí)現(xiàn)虛實(shí)融合，提升了節(jié)目效果。

氣象災(zāi)害防御場(chǎng)景，利用VR、AR仿真技術(shù)，預(yù)制了暴雨、城市內(nèi)澇、臺(tái)風(fēng)、沙塵暴、龍卷風(fēng)等天氣現(xiàn)象，營(yíng)造出逼真的災(zāi)害場(chǎng)景，使主持人置身天氣現(xiàn)場(chǎng)，充分發(fā)揮了XR沉浸式演播的優(yōu)勢(shì)。在實(shí)際使用中，前景中的主持人看起來(lái)完全沉浸于計(jì)算機(jī)制作的三維虛擬場(chǎng)景中，而且能在其中運(yùn)動(dòng)，創(chuàng)造出逼真的、立體感很強(qiáng)的實(shí)景演播室效果，使觀眾很難分辨，達(dá)到虛實(shí)結(jié)合互動(dòng)的最佳效果。后續(xù)中國(guó)氣象報(bào)社將根據(jù)業(yè)務(wù)需求不斷完善場(chǎng)景庫(kù)，逐步建立起豐富多彩的虛擬場(chǎng)景庫(kù)。

5. XR虛擬演播室的應(yīng)用

XR虛擬演播室可代替?zhèn)鹘y(tǒng)綠箱演播室，傳統(tǒng)綠箱拍攝環(huán)境下，節(jié)目錄制完成后需要花費(fèi)大量時(shí)間進(jìn)行精細(xì)的摳像處理，而XR虛擬演播室不需要摳像，在錄制時(shí)通過(guò)渲染引擎播放3D 虛擬場(chǎng)景，工作人員可以在現(xiàn)場(chǎng)看到虛擬環(huán)境，還可以在現(xiàn)場(chǎng)進(jìn)行錄制的調(diào)整與指導(dǎo)，錄制畫面即為節(jié)目播出畫面，減少了后期摳像處理制作耗費(fèi)的時(shí)間和工作量。相比傳統(tǒng)綠箱演播室，XR虛擬演播室不僅節(jié)約了工作時(shí)間，而且還將節(jié)目的后期制作前置化，現(xiàn)場(chǎng)直接出鏡頭。新媒體時(shí)代，信息時(shí)效性更強(qiáng)，XR虛擬演播室大大節(jié)約視頻制作時(shí)間，從而使視頻生產(chǎn)更加高效。

另外，傳統(tǒng)虛擬演播室主持人只能通過(guò)想象，達(dá)到無(wú)實(shí)物場(chǎng)景的表演，節(jié)目前需要多次進(jìn)行盲猜或者踩點(diǎn)，這樣對(duì)主持人的能力水平要求就變得很高，而平面記者往往不具備這樣的能力。而XR虛擬演播室主持人在逼真的虛擬場(chǎng)景或者虛實(shí)結(jié)合的場(chǎng)景中，利用渲染引擎播放虛擬場(chǎng)景打造出豐富場(chǎng)景與人物交互感，前景與背景搭配層次分明。實(shí)時(shí)呈現(xiàn)的內(nèi)容可以讓主持人更好地與虛擬環(huán)境進(jìn)行交流互動(dòng)，仿佛在真實(shí)環(huán)境中完成節(jié)目錄制，實(shí)現(xiàn)了傳統(tǒng)記者向新媒體時(shí)代視頻主持人的過(guò)渡。

目前，XR虛擬演播技術(shù)應(yīng)用廣泛，如新華社的新立方智能化演播室就是使用XR等技術(shù)打破了時(shí)空限制，使主持人“在”中國(guó)空間站與王亞平一起完成跨時(shí)空采集與制作對(duì)話，帶給觀眾沉浸式的體驗(yàn)。2023年兩會(huì)期間，中國(guó)氣象報(bào)社使用XR虛擬演播室技術(shù)進(jìn)行全國(guó)兩會(huì)報(bào)道，錄制《兩會(huì)云訪談》四期，在世界氣象日開放日當(dāng)天，開展了《你好，氣象日！》《風(fēng)云三號(hào)G星來(lái)了！一起見證我國(guó)首顆降水測(cè)量衛(wèi)星發(fā)射》直播等活動(dòng)，達(dá)到了良好效果，提升了節(jié)目的感染力，并讓觀眾感受到超越LED范圍的美妙世界。XR虛擬演播技術(shù)可以讓節(jié)目更加精彩紛呈，將視覺(jué)效果的傳遞提升到一個(gè)新的維度，提高了節(jié)目的科技感。

結(jié)語(yǔ)

為謀求先進(jìn)技術(shù)為新聞采編業(yè)務(wù)賦能，中國(guó)氣象報(bào)社在媒體融合方面不斷尋求突破，由報(bào)紙到網(wǎng)站再到新媒體，如今短視頻業(yè)務(wù)已成為重要的采編業(yè)務(wù)，借助XR沉浸式虛擬演播室使視頻制作方式更加豐富和簡(jiǎn)單，視頻視覺(jué)效果、互動(dòng)效果得到了大幅提升，為傳統(tǒng)媒體單位的全媒發(fā)展帶來(lái)更多可能性和發(fā)展空間。

參考文獻(xiàn)：

[1]張化明.虛擬演播室的發(fā)展與應(yīng)用[J].通訊世界，2016，（9）：248-249.

[2]張浩，王雪瑩.淺談XR沉浸式演播室[J].數(shù)字傳媒研究，2021，38（12）：49-51.

[3]秦艷艷.虛擬演播室系統(tǒng)組成及應(yīng)用[J].電視技術(shù)，2023，47（6）：159-161.

作者簡(jiǎn)介：劉杰，碩士，高級(jí)工程師，研究方向：軟件工程。