虛擬影像中管弦樂與數(shù)字化設(shè)計(jì)結(jié)合分析

馮曦 張晶晶

摘 要：目前，在眾多的電影電視及多媒體舞臺(tái)表演中，虛擬影像與管弦樂的組合是視聽空間的主要形態(tài)。虛擬影像的技術(shù)與藝術(shù)想象激發(fā)了傳統(tǒng)管弦樂創(chuàng)作方式與音響觀念的變革，管弦樂得以在聲響層次、聲場空間、沉浸式審美體驗(yàn)上展現(xiàn)其前所未有的改變。本文將從這3個(gè)方面具體分析數(shù)字媒介中傳統(tǒng)管弦樂審美形態(tài)的變化及其影響。

關(guān)鍵詞：虛擬影像;管弦樂;音效;聲場空間;沉浸

虛擬影像是指完全以計(jì)算機(jī)視頻算法處理制作而成的數(shù)字化電影圖像。自計(jì)算機(jī)技術(shù)應(yīng)用于電影領(lǐng)域近半個(gè)世紀(jì)以來，虛擬影像以其夢境般的視覺奇觀不斷刷新觀眾的幻想邊界，以強(qiáng)勁勢頭活躍于電影媒體;同時(shí)也愈加廣泛地應(yīng)用于網(wǎng)絡(luò)、游戲等新媒體以及現(xiàn)代歌舞劇等需要多媒體舞臺(tái)布景的場合。當(dāng)下，在眾多的商業(yè)影視作品中，虛擬影像與管弦樂的組合成為視聽聯(lián)覺創(chuàng)作的主要結(jié)構(gòu)形式。在數(shù)字影像幻境的創(chuàng)造過程中，管弦樂配樂的聽覺聯(lián)動(dòng)，雖然保持了固有的創(chuàng)作思維、織體結(jié)構(gòu)和音樂語言形態(tài)，但在數(shù)字化革命的浪潮中也孕育出獨(dú)特的藝術(shù)觀念、審美趣味與闡釋方式。

如果將傳統(tǒng)電影配樂中管弦樂隊(duì)真實(shí)錄制、原聲回放的電影音樂形式稱為傳統(tǒng)管弦配樂，那么，傳統(tǒng)管弦配樂時(shí)代努力創(chuàng)造的音畫統(tǒng)一關(guān)系在數(shù)字技術(shù)的推動(dòng)下被悄然改變。音樂與音效創(chuàng)造性地組合與疊加，聲音的潛質(zhì)與天馬行空的虛擬影像不謀而合。管弦樂得以在聲響層次、聲場空間、沉浸式體驗(yàn)這3個(gè)方面上展現(xiàn)出其前所未有的審美創(chuàng)造能力。

1 樂中的音響——數(shù)字音效與傳統(tǒng)管弦樂的結(jié)合

管弦樂與數(shù)字音效的結(jié)合是數(shù)字虛擬空間音畫結(jié)合的大膽嘗試。這里的數(shù)字音效特指經(jīng)由計(jì)算機(jī)軟件算法生成及效果處理后而得到的音響。數(shù)字音效的產(chǎn)生源于虛擬影像的需求，它是塑造虛擬物象真實(shí)性的利器。虛擬影像是設(shè)計(jì)者借助計(jì)算機(jī)創(chuàng)造出的虛擬物象，它一方面展示超越真實(shí)的各種奇特幻象，呈現(xiàn)高度的假定性，另一方面又描摹真實(shí)物象，努力創(chuàng)造虛擬的真實(shí)?！皵?shù)字化的電影仍然是假定性和逼真性相互依存和相互制約的，只不過沒有物質(zhì)基礎(chǔ)的擬像反倒比傳統(tǒng)影像顯得更加真實(shí)。”[1]從某種意義上來說，音樂也具有高度的假定性，“音樂的聲音是非自然性的，是通過人的思維活動(dòng)創(chuàng)造出來的音響，是一種創(chuàng)造性的音響”。[2]實(shí)際上，超越自然音響的音樂是人類在聽覺上對(duì)虛擬空間描繪的產(chǎn)物，是人類思維在聽覺上的投射物，與視覺上的虛擬影像產(chǎn)生聯(lián)覺效應(yīng)。數(shù)字音效賦予虛擬影像真實(shí)性，但與傳統(tǒng)影像聲音不同的是，數(shù)字音效不是對(duì)現(xiàn)實(shí)音響的拷貝，而是一種被高度建構(gòu)的音響。它是經(jīng)由計(jì)算機(jī)數(shù)字合成器發(fā)出的電子虛擬聲，或是自然音響經(jīng)過復(fù)雜的數(shù)字處理后的音響。從這個(gè)角度來說，數(shù)字音效也是一種非自然性的、創(chuàng)造性的音響。兩者的疊加即能引發(fā)人們?cè)诼犛X上產(chǎn)生強(qiáng)烈的虛擬體驗(yàn)。因此，管弦樂與數(shù)字音效的結(jié)合是數(shù)字視聽虛擬技術(shù)發(fā)展的必然。

1.1 情景渲染的同步整合

情景渲染的同步整合是指在特定的視覺現(xiàn)象出現(xiàn)之時(shí)，聲音段落中一個(gè)音樂事件與一個(gè)音效事件為渲染某種情緒而交匯整合同步出現(xiàn)。自百年前有聲電影工業(yè)起步，管弦樂即以豐富的音響和情感表現(xiàn)成為影視藝術(shù)情景渲染的有力工具，電影影像的管弦樂配樂傳統(tǒng)沿襲至今，并依然是聲音空間的主要情感傳達(dá)載體。數(shù)字技術(shù)應(yīng)用之前，電影音效主要致力于對(duì)現(xiàn)實(shí)音響的捕捉和還原，音樂與音效之間缺少同步交匯。數(shù)字技術(shù)的運(yùn)用大大提高了音效的音色合成與處理能力。設(shè)計(jì)者可以通過加工、疊置、重新混錄或剪輯等手段，賦予音效更多的內(nèi)涵與情感，在音響的真實(shí)性之外投射音樂的表演性，使音效具備情景渲染的能力?！叭绻娪爸袕?fù)現(xiàn)出來的聲音和現(xiàn)實(shí)中的情況完全一樣，觀眾就會(huì)覺得這些聲音沒有那么真實(shí)、有效、恰當(dāng)。如果想達(dá)到這種要求，電影聲音就要渲染出與之相聯(lián)系的感覺?！盵3]虛擬影像容納了各種現(xiàn)實(shí)場景的夢境視覺，為管弦樂與數(shù)字音效的情感疊合創(chuàng)造了優(yōu)越的條件。

管弦樂與數(shù)字音效的同步整合有3種類型。

（1）重音式同步渲染。重音式是常見的音效與音樂的同步形式，表現(xiàn)為音效的關(guān)鍵音落在音樂的節(jié)拍重音點(diǎn)上，形成重音的重合。其視覺上同步點(diǎn)一般為視覺沖擊力強(qiáng)的動(dòng)作、移動(dòng)場景或高格鏡頭之處。重音式同步使音效與管弦配樂產(chǎn)生準(zhǔn)時(shí)、瞬時(shí)和突發(fā)的一致性，突出了敘事情節(jié)的關(guān)鍵基礎(chǔ)。電影《海王》大量使用了這一重音同步渲染方式。如開場海洋館里小海王亞瑟遭到同伴挑釁毆打時(shí)，背后游泳的鯊魚突然面向挑釁者猛烈地撞擊玻璃，一聲沉悶有力的撞擊聲以重音鼓點(diǎn)形式正式托出管弦配樂，伴隨第三聲撞擊聲，配樂進(jìn)入第二個(gè)樂句的演奏，漸入高潮。影片中眾多的搏斗場景描寫大量使用了配樂與音效在重音點(diǎn)處疊加的形式。如配樂片段結(jié)束時(shí)的重音與高崖跳水時(shí)的電子音效或海底飛行器的引擎啟動(dòng)聲同時(shí)產(chǎn)生，以光束爆射音效重音開啟新配樂段落，以重音音效作為配樂轉(zhuǎn)折段落的轉(zhuǎn)場銜接。這一方式增強(qiáng)了音畫結(jié)合的緊密度，讓人產(chǎn)生音畫一體的幻覺，同時(shí)也有助于通過視聽聯(lián)覺創(chuàng)造刺激點(diǎn)，不斷出現(xiàn)逐級(jí)增強(qiáng)的刺激，使得觀眾的情緒被緊密吸引和跟隨，達(dá)到導(dǎo)演預(yù)期的目的。

（2）錯(cuò)位式同步渲染。錯(cuò)位式同步是指音樂與音效互為節(jié)奏、先后交錯(cuò)出現(xiàn)形成一個(gè)新的節(jié)奏型。它打破原有的音樂節(jié)奏慣性，通過聲音音色與節(jié)奏的變化形成配樂的“離調(diào)”效果。這一渲染方式對(duì)音畫時(shí)間同步的精確點(diǎn)要求較高，需要音效設(shè)計(jì)者與作曲家緊密配合。如電影《創(chuàng)·戰(zhàn)紀(jì)》中主人公薩姆深入虎穴尋找父親主光盤的下落，結(jié)果陷入被出賣混戰(zhàn)的局面，命懸一線之際，薩姆的父親及時(shí)出現(xiàn)。電子舞曲風(fēng)格的配樂被一聲渾厚有力的降調(diào)低音截?cái)?，此音效是父親威嚴(yán)與力量的代表。在降調(diào)低音之后，隨著父親的起身與鏡頭的上移，音效轉(zhuǎn)為迅速升調(diào)的重音，并迅速開啟新的電子配樂模式，節(jié)奏的起伏變化在電子音效的起落下轉(zhuǎn)換，形成獨(dú)特的聽覺效果。

（3）標(biāo)點(diǎn)式同步渲染。標(biāo)點(diǎn)式同步將音效作為一個(gè)段落結(jié)束時(shí)一種標(biāo)點(diǎn)的形式來與音樂配合，畫面情節(jié)段落的管弦配樂與音效軌道看似分離，直到段落結(jié)束時(shí)匯聚。它使音樂與音效對(duì)畫面的渲染更具重量與厚度。如在電影《時(shí)間規(guī)劃局》中，男女主角共同經(jīng)歷的緊張段落均是以管弦樂推進(jìn)情緒氣氛。管弦樂通過不斷反復(fù)的節(jié)奏型，漸次遞進(jìn)的旋律音高，以及密集動(dòng)蕩的鼓點(diǎn)來逐漸拉升觀眾的情緒飽和度。在危急的情節(jié)終于落幕，觀眾期待管弦樂的結(jié)束音之時(shí)，音樂在聲音空間中卻突然消失，而被一個(gè)強(qiáng)有力的音效取而代之，給這一段落加上了句號(hào)。標(biāo)點(diǎn)式的音效代替了常規(guī)音樂的和弦式結(jié)束音，創(chuàng)造性地結(jié)束一個(gè)劇情段落。配樂與音效標(biāo)點(diǎn)式的同步創(chuàng)造出特殊的聲畫同步效果，它打破了管弦樂敘事常規(guī)的終止模式，使影像劇情節(jié)點(diǎn)的戲劇性得以夸大。

1.2 音色邊界的模糊化

數(shù)字技術(shù)使管弦樂與音效的聲音在音色的融合度上提升，尤其是電子音色的產(chǎn)生讓管弦樂與音效的邊界日益模糊化。隨著數(shù)字技術(shù)的發(fā)展，影視管弦樂的創(chuàng)作愈來愈多地依賴計(jì)算機(jī)音頻工作站完成，可在工作站平臺(tái)中使用的管弦樂數(shù)字采樣音色逼真細(xì)膩、體量龐大，為作曲家提供了有力的音色素材支持。較逼真地采樣音色，在計(jì)算機(jī)中依然可以進(jìn)行電子化處理，這樣的處理客觀上推進(jìn)了與電子音效的融合。如電影《盜夢空間》，影片創(chuàng)造了管弦樂配樂與電子音響互相融合的優(yōu)秀范例。管弦樂配樂大量出現(xiàn)在人物制造的夢境場景中，為了區(qū)分夢境與現(xiàn)實(shí)，突出夢中情景的玄幻與沉重，作曲家在利用管弦樂隊(duì)發(fā)揮渾厚宏闊音響的同時(shí)，又加入大量厚重的電子低音或金屬質(zhì)感的空闊音效。為了增強(qiáng)音色的融合度，管弦樂隊(duì)的低音聲部與高音聲部被強(qiáng)化，部分樂器予以適度的空間音效果的處理，使音色的融合更為自然流暢。同時(shí)，作曲家在創(chuàng)作手法上也突破線性旋律表現(xiàn)的思維，樂隊(duì)主要以長音線條勾勒和弦變化。即使在表達(dá)主人公對(duì)愛人和家人的思念之情時(shí)，作曲家也取消了線性旋律的歌詠，轉(zhuǎn)而通過大提琴八分音符節(jié)奏的演奏烘托情感的涌動(dòng)，巧妙減小了音效點(diǎn)狀聲音與管弦樂整體音響之間的差異。

與此同時(shí)，工作站中的數(shù)字合成器音色豐富多樣，無形中為傳統(tǒng)管弦樂的聲音提供了充裕的音色補(bǔ)充。一些作曲家在傳統(tǒng)管弦樂配器中根據(jù)部分虛擬影像的需求會(huì)適當(dāng)?shù)丶尤腚娮雍铣善饕羯?，以增?qiáng)虛擬場景中光暈、機(jī)械、電子或金屬質(zhì)感的表現(xiàn)。如影片《創(chuàng)·戰(zhàn)紀(jì)》，故事的主要背景是虛擬電子網(wǎng)絡(luò)世界，由3D技術(shù)創(chuàng)造的電子空間由各種電子高光的場景模型構(gòu)成，管弦樂配樂在基本配器基礎(chǔ)上，加入大量電子琶音音色與厚重的電子低音或鼓點(diǎn)來配合畫面中的數(shù)字模擬世界。

2 虛擬的聲音空間——數(shù)字聲音技術(shù)下的再造聲場

“空間”這一詞在聲音研究領(lǐng)域被學(xué)者廣泛提及。著名學(xué)者維列克對(duì)聽覺空間的理解：“我們聽音的時(shí)候，即使只通過聽覺，也能在某種程度上感覺音源體的方向與距離等，可以把這樣建立起來的空間稱作為聽覺空間。”[4]這里，維列克強(qiáng)調(diào)了人對(duì)聲音信息的判斷是聽覺空間建立的基礎(chǔ)，強(qiáng)調(diào)人耳對(duì)聲源方向與距離的感知是構(gòu)建聽覺空間的核心因素。在現(xiàn)實(shí)環(huán)境中，人耳對(duì)聲源方向與距離的感知明顯受制于所處的客觀聲場環(huán)境。例如，在劇場聽交響樂，雖然觀眾身處于同一個(gè)物理空間環(huán)境，但因座位前后上下的差異，觀眾的聽覺空間各有不同。座位靠近舞臺(tái)的觀眾聲源分辨清晰，能獲取更多的聲音細(xì)節(jié);但因位置距離較近，聲源的直達(dá)聲過多，空間反射聲較少，距離感知較弱，建立的聽覺空間較小。座位遠(yuǎn)一些的觀眾耳朵接收的直達(dá)聲少，反射聲多;對(duì)聲源的辨別能力較弱，距離感知明顯，建立的聽覺空間較大。如將劇場再分大、中、小不同類型，聽覺空間大小的反差將更為明顯。由此可見，在現(xiàn)實(shí)環(huán)境中，人們聽覺空間的形態(tài)在很大程度上受客觀聲場的大小、結(jié)構(gòu)以及噪音環(huán)境等因素的限制。然而，在音樂會(huì)、歌劇、舞臺(tái)劇或電影等涵蓋聲音表現(xiàn)領(lǐng)域的表演環(huán)境中，不同的聽覺空間對(duì)觀眾的聽覺審美至關(guān)重要。在狹窄局促的空間，聲音顯得密集喧囂，在過大的空間，聲音混響加大，高頻衰減而含混不清，質(zhì)感大打折扣。良好的聽覺空間是距離聲源有一定位置、能清晰分辨聲源位置、能獲取良好直達(dá)聲與反射聲比例的空間。在這樣的聽覺空間，觀眾才能獲得飽滿、均衡、動(dòng)態(tài)清晰的聲音，才能清晰地體會(huì)到藝術(shù)家表演或音樂作品的聲音魅力。

20世紀(jì)80年代以來的數(shù)字音頻技術(shù)，將錄音工藝推向了嶄新的階段。在數(shù)字技術(shù)不斷發(fā)展的過程中，音頻信號(hào)的采集在信噪比、失真度、動(dòng)態(tài)范圍和頻響等技術(shù)指標(biāo)上明顯改善。計(jì)算機(jī)音頻工作站實(shí)現(xiàn)了大批量多軌道錄音的可能，使聲音的編輯、處理與合成縮混更加直觀便捷。數(shù)字環(huán)繞立體聲和全景聲技術(shù)不僅能再現(xiàn)自然聲場，也能基于聲源藝術(shù)化地再造一個(gè)聲場。數(shù)字錄音技術(shù)在傳統(tǒng)管弦樂上的應(yīng)用，使管弦樂作品的音響呈現(xiàn)鮮明的再造聲場形態(tài)。“在錄音與重放之前，一首管弦樂作品本身就是一個(gè)完整的藝術(shù)品，具有完整的音響形式與藝術(shù)形象，錄音只是對(duì)它的重現(xiàn)和記錄。但在數(shù)字多軌錄音中則不然，因?yàn)槭欠周変浿泼恳宦暡?，在合成之前并不存在一個(gè)具有完整音響形式的藝術(shù)品。只有在經(jīng)過錄音師的縮混之后，一個(gè)具備完整音響形式和藝術(shù)形象的作品才真正產(chǎn)生。是錄音賦予它賴以存在的音質(zhì)、聲像、聲場信息等一切物質(zhì)要素，包括它的形象。”[5]也就是說，錄音師可根據(jù)聲源的基礎(chǔ)聲音，對(duì)細(xì)節(jié)樂器和整體聲響進(jìn)行音色、音質(zhì)、方位和距離的調(diào)控，創(chuàng)造所需聲場空間。

如電影《三生三世十里桃花》的配樂，在西方管弦樂配器的基礎(chǔ)上加入了部分中國民族樂器。為了表現(xiàn)出美輪美奐的虛擬影像時(shí)空，管弦樂隊(duì)在演奏描繪仙境場景的旋律之外，還需要借助錄音技術(shù)所創(chuàng)造的特殊聲場還原播放，才能創(chuàng)造出“此曲只應(yīng)天上有，人間能得幾回聞”的聽覺效果。錄音師利用混響、均衡和聲道技術(shù)適當(dāng)改造管弦配樂的真實(shí)音響，根據(jù)情節(jié)的需求調(diào)節(jié)音響中真實(shí)和虛擬成分的比例，為觀眾創(chuàng)造美化虛無的聲音空間。

3 沉浸性聆聽

沉浸性指將觀眾全身心投入于計(jì)算機(jī)生成的虛擬環(huán)境中的能力。觀眾在此環(huán)境中會(huì)覺得自己是這個(gè)虛擬世界的一部分，而不是一個(gè)旁觀者，所見所聞完全與真實(shí)環(huán)境相同。沉浸性是目前數(shù)字虛擬技術(shù)發(fā)展的重要特征，也是視聽技術(shù)研究與應(yīng)用的熱點(diǎn)。目前，已進(jìn)行商業(yè)推廣并帶來強(qiáng)烈沉浸式體驗(yàn)的虛擬技術(shù)有VR、AR、MR、全景聲技術(shù)及3D音頻技術(shù)。虛擬視聽技術(shù)已緊密結(jié)合形成虛擬現(xiàn)實(shí)系統(tǒng)，主要應(yīng)用于電影、游戲、劇場等文化娛樂領(lǐng)域。虛擬現(xiàn)實(shí)系統(tǒng)打破了信息平面展示的模式，可以向體驗(yàn)者提供360度的完全視角、細(xì)膩逼真的立體畫面以及三維立體多方位的音響。體驗(yàn)者進(jìn)入虛擬現(xiàn)實(shí)中后，可以對(duì)所在環(huán)境進(jìn)行一定程度的自由探索，場景畫面與聲音隨之發(fā)生改變，觀眾對(duì)劇情、環(huán)境和聲音的沉浸感體驗(yàn)煥然一新。

全景聲技術(shù)或3D音頻技術(shù)，為傳統(tǒng)管弦樂的審美與傳播帶來了更多的沉浸性，使得沉浸性的審美逐漸成為一種普遍現(xiàn)象。虛擬現(xiàn)實(shí)系統(tǒng)中，傳統(tǒng)管弦樂的錄制、縮混與輸出重放雖然要經(jīng)過編碼、聲場成像、解碼等復(fù)雜流程，但最終觀眾可以獲得精確還原的聲場空間、清晰的樂器聲源定位與均衡分明的聲部層次，如置身于交響樂隊(duì)之中。對(duì)于觀眾來說，音樂的接受不再只是單純的音樂內(nèi)容形態(tài)的接受，更是對(duì)音響沉浸感的接受。清晰飽滿、層次分明的沉浸式音響，能夠激發(fā)聽眾強(qiáng)烈的在場感，直接刺激聽眾的生理反應(yīng)，加快聽眾對(duì)音樂內(nèi)容的意義認(rèn)知。如全息聲電影以及一些虛擬影像在舞臺(tái)表演空間的應(yīng)用，如上海四維音樂工程設(shè)計(jì)公司將全息聲技術(shù)引入上海北外灘交響音樂會(huì)，對(duì)音樂表演現(xiàn)場進(jìn)行了沉浸式的全息聲音響設(shè)計(jì)。從聲音采樣制作、現(xiàn)場拾音到現(xiàn)場擴(kuò)聲，對(duì)音樂內(nèi)容及音效內(nèi)容的呈現(xiàn)進(jìn)行三維立體的創(chuàng)作，突破音樂還放的平面狀態(tài)，讓觀眾體驗(yàn)身臨其境的全息感官享受。

4 結(jié)語

在“藝術(shù)+設(shè)計(jì)+科技”的時(shí)代大潮中，傳統(tǒng)音樂藝術(shù)形式的改變不可避免。傳統(tǒng)管弦樂已經(jīng)歷三百余年音樂廳式的創(chuàng)作、表演與傳播，今日逐漸走向與其他藝術(shù)形式的融合。虛擬影像與傳統(tǒng)管弦樂的結(jié)合是技術(shù)發(fā)展與藝術(shù)融合的必然結(jié)果，在結(jié)合過程中逐漸形成鮮明的視聽審美形態(tài)，如音效層次的增加、立體化空間的還放等。隨著技術(shù)的進(jìn)步，管弦樂與虛擬影像的結(jié)合將有更多的創(chuàng)新點(diǎn)需要研究與實(shí)驗(yàn)。

參考文獻(xiàn)：

[1] 楊新宇，高太梅.高科技對(duì)電影美學(xué)的影響與沖擊[J].上海大學(xué)學(xué)報(bào)，2010（06）：61.

[2] 王次炤.音樂美學(xué)[M].北京：高等教育出版社，1994：11.

[3] 米歇爾·希翁（法）.視聽：幻覺的構(gòu)建[M].黃英俠，譯.北京：北京聯(lián)合出版社公司，2014：214.

[4] 渡邊護(hù)（日）.音樂美的構(gòu)成[M].張前，譯.北京：人民音樂出版社，1996：72.

[5] 伍建陽.再現(xiàn)藝術(shù)聲場與再造藝術(shù)聲場[J].現(xiàn)代傳播-北京廣播學(xué)院學(xué)報(bào)，1997（02）：31.

作者簡介：馮曦（1980—），男，上海人，南京藝術(shù)學(xué)院傳媒學(xué)院博士研究生、副教授，中國傳媒大學(xué)南廣學(xué)院錄音教研室主任、副教授，研究方向：數(shù)字媒體藝術(shù)，錄音藝術(shù)。

張晶晶（1982—），女，江蘇連云港人，中國傳媒大學(xué)南廣學(xué)院副教授，研究方向：影視聲音設(shè)計(jì)，錄音藝術(shù)。