基于視聽聯(lián)覺理論的音樂動畫表現(xiàn)研究

王思茹 傅凱莉

摘要：文章以視聽聯(lián)覺理論為基點，探究音樂和動畫的關系、視聽聯(lián)覺在動畫中的表現(xiàn)形式以及基于視聽聯(lián)覺的音樂動畫創(chuàng)作方法。藝術與藝術之間是相通的，視覺與聽覺的結合有利于打破音樂與視覺藝術之間的界限，從而在視覺藝術創(chuàng)作領域融入音樂原有的抽象概念，觸發(fā)觀者視聽感官的共通，產(chǎn)生視聽聯(lián)覺效應。通過研究視聽聯(lián)覺的定義與內(nèi)涵，分析其中的層級構成，結合實現(xiàn)方式和表現(xiàn)形式闡述音樂動畫中的視聽聯(lián)覺現(xiàn)象。提出基于視聽聯(lián)覺的音樂動畫設計方法，展現(xiàn)音樂和動畫之間相互詮釋的多重關系，促進音樂與視覺畫面的融合，用音樂詮釋動畫，用動畫表現(xiàn)音樂。

關鍵詞：視聽聯(lián)覺;音樂動畫;音畫同步;通感

中圖分類號：J617.6 文獻標識碼：A 文章編號：1004-9436（2022）03-0-03

0 引言

音樂動畫是一種結合視覺與聽覺的藝術形式，畫面與音樂在相互闡釋的過程中完成一種雙向運動[1]。音樂動畫運用數(shù)字媒體技術和手段，對音樂語言和畫面語言進行組合表達，兩者皆可作為主要表現(xiàn)的藝術形式而存在，整體以音樂審美的方式借由音樂和動畫共同傳達同一主題，從而打破傳統(tǒng)的敘事、剪輯的創(chuàng)作方式。視覺和聽覺是人類最主要的感知系統(tǒng)，兩者之間的通感，也就是視聽聯(lián)覺，屬于最常見的跨系統(tǒng)聯(lián)覺[2]。其中，聯(lián)覺是指人的內(nèi)心世界因為不同感知系統(tǒng)之間的相互對應結合而產(chǎn)生影響的現(xiàn)象，刺激因素作用于一種通道引發(fā)感覺的同時，也引發(fā)了其他通道的感覺[3]。在音樂可視化的視聽聯(lián)覺中，最簡單直觀的方式就是將音樂和動態(tài)圖像有機結合，也就是動畫的形式[4]。文章基于視聽聯(lián)覺理論，探究音樂動畫創(chuàng)作的一般規(guī)律和方法，為視聽覺欣賞在動畫中更好的結合提供設計思路，為相應的基于視聽聯(lián)覺的音樂動畫創(chuàng)作提供指導。

1 視聽聯(lián)覺理論

1.1 聯(lián)覺的概念

聯(lián)覺是指人體的一種感官受到刺激后引起其他一種或多種感官系統(tǒng)知覺反應，形成的多感官相互作用的現(xiàn)象[5]。聯(lián)覺是無意識的，屬于心理學范疇，對心理的影響是潛移默化的。在生活中，聯(lián)覺可以體現(xiàn)在“電閃雷鳴”時，人們看到閃電后可能不自覺地想到打雷的聲音，這是因為當人受到來自視覺這一感官系統(tǒng)的刺激時，聽覺感官會自覺準備好接收相對應的聲音信號。由此可見，聯(lián)覺所強調(diào)的正是個體不同感官系統(tǒng)間的互聯(lián)互通，人體生理反應將在這一過程中呈現(xiàn)明顯特征。

日常生活中，各種各樣的聯(lián)覺現(xiàn)象使我們的跨感官體驗在各類審美活動中更加容易被激發(fā)，通常個體的感覺關聯(lián)能力越強，則藝術感知力越敏感[6]。文章將聯(lián)覺理論引入動畫設計領域，旨在創(chuàng)新動畫設計的表現(xiàn)思路，進一步提升其藝術表現(xiàn)力。

1.2 聯(lián)覺的層級構成

結合金開誠先生的文章《藝術通感的心理內(nèi)容》中對聯(lián)覺的劃分[7]，以及陳育德先生的心覺內(nèi)容，可以將聯(lián)覺根據(jù)其構成方式和特點劃分為感覺挪移、多覺疊加、意象互通三個層級[8]。

感覺挪移是三個層級中最初級的一種形式，是指一種感官受到刺激后產(chǎn)生的感覺引起另一種感官的感覺，具有自發(fā)性和直觀性。就像日常生活中嗅覺與味覺之間的挪移，聞到很香的食物氣味會刺激到味覺感官，從而食欲也被嗅覺感官所接收到的氣味信號所激發(fā)。

多覺疊加是在感覺挪移的基礎上多層次多角度地聯(lián)系更多的感覺系統(tǒng)。僅僅是感覺表象的結合并不能構成多覺疊加，而是不同的感覺表象通過聯(lián)想被多層次地表現(xiàn)出來，以感覺經(jīng)驗為基礎產(chǎn)生連鎖反應。

通常情況下，說到聯(lián)覺，大部分人都會和五官的感覺聯(lián)系起來，然而從更全面的角度而言，人的思維活動、內(nèi)在情感也能夠產(chǎn)生聯(lián)覺。這兩者也正是意象互通中“意”的含義，而“象”是指帶有物質(zhì)屬性的客觀事物的外在表現(xiàn)。所謂意象，就是傳播情感，表達意象。意象互通體現(xiàn)了人的主觀性與物的客觀性之間的相互滲透、相互詮釋，是在感覺挪移基礎上的一種升華。

1.3 視聽聯(lián)覺

視聽聯(lián)覺是視覺感官與聽覺感官之間形成互補并一起發(fā)生作用的現(xiàn)象。在聯(lián)覺情況下，相對應的視覺心理感受是由聽覺接收聲音信號后不受主觀意識的控制且自發(fā)引起的[2]。

在心理學方面，眼睛和耳朵這兩種感覺器官接收的信號形式不同，但在兩種信號間也存在一定的相似性和共通性。很多人可能有過類似的經(jīng)歷，即當我們的聽覺接收到一段旋律的時候，腦海可能涌現(xiàn)出當時在聽這首音樂時所對應的畫面，從而情緒也跟隨這段旋律發(fā)生相應的變化，這是因為當視聽覺感官同時接收對應的信號刺激時，兩者共同作用于腦機制，彌補視覺感官相對應的聽覺感受，以及聽覺感官相對應的視覺傳達，相互作用，形成視聽聯(lián)覺。

2 音樂動畫中的視聽聯(lián)覺

2.1 音樂動畫中視聽聯(lián)覺的特征

郭醒乙在《音樂動畫和多媒體交互設計》一書中寫道：音樂動畫的融合不僅僅是節(jié)奏、旋律的把握和音樂角色與動畫角色間的音畫對位，還包括對應喜怒哀樂的情感色彩等問題[9]。這一系列問題都會影響到觀者在觀看音樂動畫過程中的視聽聯(lián)覺體驗。

首先，音樂動畫中的視聽聯(lián)覺往往呈現(xiàn)對應性特點，通過與音樂各個元素相對應的畫面來彌補單一音樂形式對歌曲意境、氛圍、背后故事線等方面的表達。通過視覺畫面的輔助加深人們對歌曲內(nèi)涵的理解，也通過與畫面相對應的音樂中的各元素來彰顯動畫的表達意圖，凸顯動畫的主題含義。

其次，音樂動畫中的視聽聯(lián)覺也呈現(xiàn)整體性特點?！端囆g與視覺感知》一書中寫道：知覺的經(jīng)驗并非感覺元素的集合，而是一個統(tǒng)一的整體[10]。即知覺的整體性。情感的傳播與接收是觸發(fā)觀者知覺的一大因素，并在整個過程中持續(xù)存在。如前所述，意象互通是聯(lián)覺創(chuàng)作中非常重要的一部分，在音樂動畫的表現(xiàn)過程中，觀者在音樂與畫面的相互配合下對創(chuàng)作者所要表達的情感會有所領悟，主觀思維和內(nèi)在情感呈現(xiàn)持續(xù)推進的趨勢，呈現(xiàn)整體性特點。

2.2 音樂動畫中視聽聯(lián)覺的表現(xiàn)形式

在音樂動畫中實現(xiàn)視聽聯(lián)覺的最佳方式是音畫并行，即聲音與畫面的對應設計。音樂動畫的畫面風格可以是抽象的，也可以是具象的，視聽聯(lián)覺的一些表現(xiàn)形式也涵蓋在這兩類風格中。無論表現(xiàn)形式是抽象的還是具象的，其中的視聽聯(lián)覺都是基于音畫并行實現(xiàn)的。

2.2.1 抽象風格表現(xiàn)形式

抽象風格主要以幾何圖形、線條、不規(guī)則圖形等為元素，從音樂的抽象概念出發(fā)，將音樂的音色、節(jié)奏、響度、旋律等因素對應為圖形、線條等元素的變化，使圖形與音樂中的旋律等因素相匹配，從而使觀者產(chǎn)生音樂與圖形變化趨勢之間的視聽聯(lián)覺效應。

例如，抽象派動畫大師奧斯卡·費欽格所創(chuàng)作的抽象動畫《視覺詩歌》，不同樂器發(fā)出的不同音色以不同形狀的圖形呈現(xiàn)。在其作品《研究第六號》中，表現(xiàn)不同的旋律時使用了以不同角度、不同密度、不同方向運動的圖形，旋律的調(diào)性呈上升和下降趨勢時，分別以鈍角形態(tài)和月牙形態(tài)快速移動或相互交錯。在同系列作品《研究第七號》中，音樂的不同響度以不同的形狀和面積呈現(xiàn)。音樂的音色、旋律、響度、節(jié)奏就這樣與圖形的形狀、方向、面積、位置同步對應，共同作用于觀者的視聽感官，并隨之形成基于“音畫并行”的視聽聯(lián)覺體驗。

2.2.2 具象風格的表現(xiàn)形式

具象風格是基于人物角色、故事情節(jié)等具體元素而創(chuàng)作的畫面。以故事線為整體架構，場景、空間的變化對應節(jié)奏、旋律的走向，使觀者對音樂中與畫面情節(jié)對應的歌詞內(nèi)容、場景變幻對應的節(jié)奏走向以及空間延伸所對應的旋律起伏等產(chǎn)生視聽聯(lián)覺。

《黃色潛水艇》是披頭士樂隊同名單曲相對應的音樂動畫短片，人物形象、場景以及風格均來自20世紀60年代與其同名的經(jīng)典音樂動畫長片。這部具象風格的音樂動畫短片帶給人的視聽聯(lián)覺正是基于音畫并行實現(xiàn)的，音樂與畫面同步進行，每句歌詞所描述的情景都有相對應的畫面呈現(xiàn)。例如，第一句歌詞“在我出生的小鎮(zhèn)子里”，對應畫面是一個人走在小鎮(zhèn)的路上。接著第二句歌詞“生活著一個老水手”所承接的畫面是老水手開著潛水艇的鏡頭。到高潮副歌時，旋律明顯更加歡快和律動，對應的畫面節(jié)奏也更加緊湊。音畫并行的表現(xiàn)方式就這樣貫穿整部音樂動畫，相對應的畫面情景和歌詞分別通過視覺感官和聽覺感官同步被觀者感知到，形成視聽聯(lián)覺。

《黃色潛水艇》這部音樂動畫短片以黃色潛水艇為載體，時刻傳達著愛與和平的信息。整首歌曲旋律平緩，畫面節(jié)奏有序呈現(xiàn)，再加上具象畫面下音畫并行產(chǎn)生的視聽聯(lián)覺，整部音樂動畫短片的立意以及帶給觀者的視聽體驗和動畫主題思想都能更好地被傳達和感知。

3 基于視聽聯(lián)覺的音樂動畫設計

3.1 基于視聽聯(lián)覺的音樂動畫設計流程

在設計一部音樂動畫時，可以根據(jù)出發(fā)點、立意以及主題思想確定畫面風格是抽象還是具象。如果單純想讓一首音樂的旋律、節(jié)奏、音色、響度更生動形象地被聽眾感知，那么運用圖形、線條、幾何體等形式創(chuàng)作出的抽象動畫更能夠增強觀者對音樂旋律、節(jié)奏的體驗。首先，根據(jù)音樂中的這些因素制作出與之相對應的靜態(tài)圖形。其次，制作圖形的運動軌跡和變化形式。最后，同步對應音樂的旋律、節(jié)奏、響度、音色等，為觀者呈現(xiàn)音樂與圖形一體式的抽象音樂動畫。

如果創(chuàng)作一部音樂動畫的初衷是說明一條故事線，從而傳達某種主題思想的話，那么帶有人物場景的這種具象動畫更合適。首先，先確定動畫主題和選用的音樂類型。其次，確定與創(chuàng)作主題相匹配的音樂是采用現(xiàn)有歌曲還是自行創(chuàng)作，無論采用哪種方式，音樂的創(chuàng)作都應比動畫創(chuàng)作早一步完成，這樣對于后面畫面中的故事情節(jié)、節(jié)奏感、主題表達等方面的設計而言，能更加和諧地同步對應音樂的歌詞內(nèi)容、旋律、情感抒發(fā)等因素[1]。如果采用現(xiàn)有的歌曲，動畫表達上會存在一定的局限性，會受到原有歌詞、旋律等的限制。如果自行創(chuàng)作與動畫主題相應的音樂，無論音樂創(chuàng)作還是動畫設計上都相對靈活，能夠彼此之間相互調(diào)試，達到越來越高的契合度。最后，實現(xiàn)音畫并行，人物情節(jié)和情感基調(diào)一一對應，同步發(fā)展。基于視聽聯(lián)覺創(chuàng)作這種帶有故事線和畫面情節(jié)的音樂動畫時，歌詞和節(jié)奏就是連接音樂和動畫畫面的關鍵點[11]。

3.2 音畫并行設計流程

基于音畫并行的設計方法，畫面根據(jù)歌曲進行同步卡點設計在音樂動畫設計流程中屬于最后一步，也是最重要的環(huán)節(jié)。

首先，根據(jù)確定好的音樂和畫面類型繪制畫面元素。如果是具象音樂動畫，根據(jù)音樂類型確定色彩風格，根據(jù)歌詞內(nèi)容確定人物角色和場景;如果是抽象動畫，根據(jù)不同樂器的音色特點確定與之對應的不同圖形。

其次，將繪制好的畫面卡點對應到音樂中。因為具象動畫的畫面表達相對于抽象畫面更加細致，所以與音樂的對應大部分是基于情節(jié)和旋律的對應。抽象畫面中畫面與音樂各元素的卡點對應越密集、越準確，音樂動畫的聯(lián)覺體驗就越強烈。抽象畫面的卡點對應是將繪制好的圖形根據(jù)音樂中各元素逐幀同步對應，在圖形與音樂精準卡點的基礎上實現(xiàn)基于音畫并行的視聽聯(lián)覺。

最后，作最終的動態(tài)調(diào)整。在具象動畫中，確保與音樂對應的人物角色、場景、故事情節(jié)走向等與音樂同步進行時能夠連貫通暢，根據(jù)音樂的歌詞內(nèi)容和旋律不斷調(diào)整相對應畫面的貼合度、節(jié)奏的把控以及色彩的適應區(qū)間，在此基礎上同步推進音樂動畫情節(jié)的發(fā)展。在抽象動畫中，反復逐幀調(diào)整圖形的方向、排列、速度、面積等，使之與音樂中各元素精準卡點對應，使抽象畫面與音樂無縫銜接，不斷優(yōu)化音畫并行帶給觀者的視聽聯(lián)覺體驗。

4 結語

在音樂動畫中，畫面與音樂的同步結合在觀者接收故事情節(jié)、主題思想、旋律節(jié)奏等因素時創(chuàng)造了一種最優(yōu)方式，觀者也在這種同步性中產(chǎn)生了視聽聯(lián)覺。畫面的存在更好地表達了動畫的思想，而音樂的存在通過不同的節(jié)奏氛圍使藝術感染力更加深入人心。

在數(shù)字媒體技術快速發(fā)展的今天，創(chuàng)作音樂動畫受到的風格和技術限制越來越少，多元化的發(fā)展趨勢為音樂動畫創(chuàng)造了更多的可能性以及自由創(chuàng)新性。音樂與動畫越來越多的結合方式和表現(xiàn)手法會在這個信息化、藝術多元化的時代不斷創(chuàng)新，兩者之間更多深層次的關系也將不斷被挖掘，并與數(shù)字媒體技術相結合進行不斷的探索、創(chuàng)新和嘗試，音樂動畫的新時代在這種大趨勢下將變得觸手可及。

參考文獻：

[1] 付龍.從動畫音樂到音樂動畫[J].當代電影，2015（10）：153.

[2] 王晨萌.基于視聽聯(lián)覺的《春江花月夜》視覺化表達[D].岳陽：湖南理工學院，2021.

[3] 王海濱.聯(lián)覺：音樂臻達情感的心理機制[J].才智，2017（16）：229.

[4] 黃詩謠.抽象動畫中的音樂可視化表現(xiàn)研究[D].北京：北京服裝學院，2018.

[5] 黎莎.略論“聯(lián)覺”與“通感”的異同[J].黃河之聲，2020（14）：112.

[6] 于西.音畫互動中的視聽聯(lián)覺設計[D].南京：南京藝術學院，2021.

[7] 金開誠.藝術通感的心理內(nèi)容[J].社會科學，1980（6）：130-132.

[8] 陳育德.靈心妙悟：藝術通感論[M].合肥：安徽教育出版社，2005：39-56.

[9] 郭醒乙.音樂動畫和多媒體交互設計[M].北京：線裝書局出版社，2013：107-110.

[10] 魯?shù)婪颉ぐ⒍骱Ｄ?藝術與視知覺[M].加州：加州大學出版社，2004：106.

[11] 馮爽妮.音樂動畫中性愛藝術表現(xiàn)探究與實踐[D].北京：清華大學，2017.

作者簡介：王思茹（1999—），女，山東聊城人，碩士在讀，研究方向：數(shù)媒與影像數(shù)字化。

傅凱莉（1988—），女，江蘇蘇州人，博士，講師，研究方向：實證美學、感性工程學、用戶體驗設計。