朱穎芳　張涵初

摘要：音樂，是一種訴諸聽覺的藝術(shù)形式，作為表情藝術(shù)，它是抽象的審美藝術(shù)。人們用音樂表情達意，反映現(xiàn)實的生活。隨著藝術(shù)表達方法的多樣化與信息技術(shù)的進步，人們正在探究一種綜合的表現(xiàn)手法，嘗試將音樂信息可視化。如何在已有技術(shù)手段的基礎(chǔ)上突破桎梏，更直觀的將音樂信息傳遞，是本文所要研究的重點。

關(guān)鍵詞：實驗藝術(shù)；情感識別；音樂；可視化

一、緒論

（一）研究背景

音樂作為表達思想感情、反應(yīng)現(xiàn)實生活的重要載體，以聽覺感知的形式影響著人們的生活和審美，是一種重要的藝術(shù)形式。音樂藝術(shù)用有序的聲音元素構(gòu)成聽覺意象，從感官上看，音樂所調(diào)動的是人類的聽覺器官，符號學(xué)的觀點認為，音樂用來表達的抽象化內(nèi)容是借助符號來傳達的。所以，如果能在聽音樂的同時調(diào)動起視覺和聽覺雙重感知，必對感知音樂、解讀音樂起到不可忽視的作用。

（二）研究現(xiàn)狀

數(shù)字技術(shù)的發(fā)展，讓音樂的視覺化成為可能。windows media player}番放器可以在音樂播放的同時，通過播放器窗口，隨機生成煙霧、波紋等動態(tài)效果。這是對音樂可視化的現(xiàn)實應(yīng)用。隨著技術(shù)的進步，計算機能用2D、3D等多種模型模擬出音樂的情感變化，將聽覺上的高低強弱韻律轉(zhuǎn)換成真實可見的模型。

近年來，研究人員從情感識別的角度出發(fā)，研究人的音樂情緒，用計算機模擬出不同音樂的不同情感內(nèi)涵。

本文，以音樂的情感識別為依據(jù)，以實驗性的方式，對音樂可視化進行進一步的研究與設(shè)計。

二、音樂可視化的概念及研究內(nèi)容

（一）音頻信息與音樂可視化

借助數(shù)字技術(shù)，人們可以通過軟件依據(jù)律動將音樂生成波形頻譜圖象。而這圖像中恰恰蘊藏著豐富的音樂信息，其中包含音樂的諸多構(gòu)成要素：節(jié)奏、旋律、音高、音長、音強、音色。而音樂藝術(shù)正式借助以上的諸多構(gòu)成要素來反映的現(xiàn)實生活，以及人類的情感、心緒等。

從歸類及類型方面想，音樂可視化存在于信息可視化的領(lǐng)域。Robertson Card和Mackinlay認為，信息可視化是指通過數(shù)字信息技術(shù)，運用2D和3D動畫的形式，將信息和信息結(jié)構(gòu)以刺激視覺的形式傳達出來的一種技術(shù)手段。我們可以理解為，音樂的可視化是在信息技術(shù)的輔助下，將音樂以圖像、圖形的方式呈現(xiàn)出來。

音樂的視覺符號有很多，如五線譜作為最基本的音樂視覺符號被大眾廣泛接受。除此之外，樂器也可以作為音樂的視覺符號出現(xiàn)，如古典音樂常常與小提琴相聯(lián)系，爵士樂的海報上則會出現(xiàn)薩克斯的標志。

（二）音頻可視化的研究內(nèi)容音頻的可視化

可以從五個方面人手展開，其中包括：第一是特征提取，第二是情感檢測，第三是可視化建模，第四是圖形圖像處理，最后是虛擬現(xiàn)實。特征提取——提取不同音樂曲目的振幅、頻率、音高、節(jié)奏等特征加以提取和分析。情感檢測——是在將音樂形成視覺刺激的同時，傳遞出音樂的感情。這是可視化技術(shù)最佳的轉(zhuǎn)化結(jié)果，也是我們目前所致力于探究的內(nèi)容?？梢暬！\用數(shù)字技術(shù)，將音樂的提取的音樂特征，進行數(shù)字建模，既有平面的波形圖，也有建立在三維模型上的曲線圖。圖形圖像處理——是將可視化模型中的圖形或圖像進行旋轉(zhuǎn)、平移、透視等處理。虛擬現(xiàn)實——則是由計算機生成有沉浸感的現(xiàn)實環(huán)境，如中科院推出的巨型球幕影片《化蝶》，接住了三維動畫技術(shù)用視覺詮釋聽覺。

本文則是建立在情感檢測的基礎(chǔ)上，從情感識別的視角探尋一條音樂可視化的新途徑。

（三）經(jīng)典案例和音頻可視化原則在數(shù)字技術(shù)的輔助下，音樂可以被運算為2D和3D的可視化模型

如AdobeAudition可將音頻生成波形圖和頻譜。（例1、例2）1999年，迪士尼公司制作了經(jīng)典電影《幻想曲2000》，塞在IMAX技術(shù)的輔助下，嘗試音樂可視化的一次重要實踐。開篇的《命運交響曲》（例3），命運的錘音通過黑白和彩色交替展現(xiàn)，前一秒還是全然黑白的世界，音樂每錘擊一下，彩色圖形構(gòu)成的蝴蝶翩翩飛舞，讓我們看到了生活的希望與和命運抗爭的動力。另外，蒙德里安在《百老匯的爵士樂》（例4）中，作者運用音符切分法將音樂符號進行解構(gòu)，形成平面中的節(jié)奏旋律，用紅、黃、藍定義爵士樂明亮歡快的曲調(diào)特點，不同色塊反復(fù)出現(xiàn)，由于它們的面積和色彩有著強烈的視覺沖擊力，從而在視覺上，直觀展現(xiàn)了音樂上的情緒色彩。

在傳統(tǒng)的視覺設(shè)計領(lǐng)域，如服裝設(shè)計、裝潢設(shè)計、海報設(shè)計、包裝設(shè)計等，設(shè)計師經(jīng)常依據(jù)必要程度，運用設(shè)計所需要的圖形、文字、線條等元素進行編輯布局，以追求這些元素最為優(yōu)化、合理的排列。

而讓音樂信息以更加直觀的方式呈現(xiàn)出來，是音樂的可視化的主要目的。我們需要根據(jù)音樂里傳達出的音樂信息，合理的從圖形的大小、色彩、角度等維度進行組合。因此，音樂信息圖形層次化和結(jié)構(gòu)化是要遵循的重要原則。

三、音樂的情感分析

（一）音樂的藝術(shù)特點和表現(xiàn)對象

音樂藝術(shù)是用聲音元素刺激人的聽覺，在腦海中形成聽覺意象，進而傳達思想感情和現(xiàn)實生活。有音高、音程、和弦、調(diào)式等核心元素。真實的反映生活現(xiàn)狀，并抒發(fā)內(nèi)心感受，是音樂與其他藝術(shù)門類的共同之處。但是音樂在表達感情時也有其自身的特殊性，音樂通過聲音塑造形象，因此具有很強的抽象性，是一門想象的藝術(shù)。

同時，音樂與其他藝術(shù)形式相比，能夠更加深刻地書寫內(nèi)心，抒發(fā)內(nèi)在情緒。它用音樂符號滋養(yǎng)著人類的精神世界，也從一定程度上，為培養(yǎng)人類的審美能力貢獻力量。在音樂審美中，必須把握情感層次的因素，因此，在音樂可視化過程里，也必須將其作為核心。

（二）音樂的情感色彩

長期的研究發(fā)現(xiàn)，某些音型排列和情感有著固定的聯(lián)系，就如同某些情感和人類的表情是符合的。如大調(diào)通常用來表現(xiàn)積極的、向上的情感，諸如愉悅、美好、安寧、成功等，而小調(diào)通常用來表達消極的、低落的情緒，如悲哀、不安、愁緒、憤恨等。如五度通常用來表示力量，而大三度常常用來表達喜悅。

下文，就將結(jié)合Gold Wave軟件平臺對于不同音樂在波形上的不同具體進行情感的分析。

四、音頻可視化設(shè)計

（一）Gold wave平臺下的音頻波形分析

GoldWave是一個數(shù)字音樂編輯器，它界面簡潔、操作簡單，運轉(zhuǎn)快捷，可以把聽覺藝術(shù)——音樂迅速轉(zhuǎn)化成直觀可見的波形頻譜，使其音高、旋律等特點形成視覺刺激，使其變得更加可分析。我選取了風(fēng)格不同的3類音樂，通過Gold Wave分析出其頻譜，并對其規(guī)律進行總結(jié)，以觀察不同情感的音樂在視覺上有什么特點。

我選取的三類音樂依次為：第一類，快活愉悅類；第二類，寧靜從容類；第三類，悲哀壓抑類。在音樂的選擇上，我選取了古典音樂和流行音樂，這兩種音樂類型不同，但都能傳遞想死的情感，以期研究更加嚴謹。

我先將所有音樂進行截取，只選取其高潮部分，對截取音樂進行降噪處理，利用Gold Wave生成音樂波形圖，提取了盡量短時間段內(nèi)的波形圖，并對其音樂特征進行分析。最終，我節(jié)選了其中三段音樂在0.15秒內(nèi)的波形圖。

從上面三個音樂波形圖中，我們可以看出，振幅最高的是曲調(diào)歡快的《歡樂頌》，而寧靜的《安妮的仙境》其波峰值也是高于憂傷的《世界末日》。由此我們可以總結(jié)出音樂的振幅與情感之間的關(guān)聯(lián)。

觀察三個波形圖，還能發(fā)現(xiàn)，在同樣的時間內(nèi)，頻率最高的是《歡樂頌》，《安妮的仙境》次之，《世界末日》頻率最低。在這里，情感因素和音樂頻率之間的關(guān)系十分清晰，基于Gold Wave平臺的分析，我們可以得出以下結(jié)論：

①不同的音樂可以表達不同的情感；

②音樂的情感不僅與音樂的節(jié)奏、速度、旋律有關(guān)，也與音樂的音高和音調(diào)有關(guān)；

③音高高的音樂，在波形圖上振幅會相應(yīng)更大，而振幅越大，音樂所表達的情緒越歡快；

④音調(diào)高的音樂，在波形圖上頻率會相應(yīng)更快，而頻率越快，音樂所表達的情緒越歡快。

（二）實驗藝術(shù)中色彩的運用與音樂情感的表達

“實驗藝術(shù)”作為突破傳統(tǒng)、創(chuàng)造新藝術(shù)的一種思想方法與工作方法，為藝術(shù)多元化注入新的思路。

色彩運用在藝術(shù)設(shè)計中是不能避免的，地位至關(guān)重要。波長不同的光波在人的視神經(jīng)上呈現(xiàn)出不同的顏色，不同的光信息通過刺激人的視覺器官，視覺神經(jīng)將其剛加的信息符號送入大腦，從而形成一系列的心理反應(yīng)。因此，與音樂信息相同，不同的色彩也能讓人體驗不同的情感，也是具有強烈情緒表達作用的藝術(shù)元素。

色彩的冷暖、輕重、軟硬都能引起不同的心理感受，我們試著用飽和度和明度對顏色進行簡單分類，將色彩按照不同的矩陣進行排列組合，必然會體驗到不同的情感。如幾種飽和度高的顏色搭配會讓人印象深刻、容易記憶。而明度低的顏色互相搭配則會讓人感受寧靜。飽和度和明度都比較低的顏色互相搭配會讓人感到沉著、憂郁，飽和度高的顏色與明度低的顏色對比搭配會讓人形成神秘的印象。

而單一的顏色也與特定的情緒相聯(lián)系。拿三原色為例，紅色容易引人興奮、緊張、激動，黃色給人以多疑、不信任的感覺，藍色則傳達嚴肅與憂郁。

編織工藝經(jīng)歷了漫長的發(fā)展，能夠運用簡單的線材編造出優(yōu)美的圖形，呈現(xiàn)絢麗的色彩。服飾是展現(xiàn)人體美的“第二肌膚”，讓人類的生活更加美化，精神更加豐富，表達著人類的心情和審美。因此，將音樂、顏色與編織三者結(jié)合起來，是一次新的藝術(shù)實驗。

基于Gold Wave的波形頻譜，我們可以感受到音樂的所傳達出的情緒，利用不同的顏色相搭配，我們將音樂所表達的情緒傳達出來，運用古老的編織技藝，我們將其變成我們所穿著的服飾，如毛衣、帽子、圍巾、手套。

音樂信息可視化，此為一項極具創(chuàng)新的設(shè)計理念。音樂不再只造成聽覺器官的刺激，音不再只停留在耳畔，也不再是抽象的審美，而是實實在在變成了可視、可觸的，于目于手的藝術(shù)形式。

從此，在用耳朵傾聽音樂的同時，在用心靈去感受音樂，用想象力去創(chuàng)造音樂事件的同時，音樂也能變成被穿在身上的“固態(tài)的藝術(shù)”。顏色的碰撞表達了音樂的情緒，表達了心情的感受，音樂變成了具象的、可視的藝術(shù)。

五、結(jié)語

現(xiàn)有條件下，已經(jīng)有了多種多樣的音樂可視化手段。而我希望我的思路能帶領(lǐng)著音樂可視化沖破現(xiàn)有桎梏，走上一條更加具有創(chuàng)新意義的探索之路。