用Processing將聲音視覺(jué)化

張敬云 謝作如

你見(jiàn)過(guò)聲音的樣子嗎？在文學(xué)作品中，常常會(huì)將聲音進(jìn)行視覺(jué)化，如白居易《琵琶行》中的“嘈嘈切切錯(cuò)雜彈，大珠小珠落玉盤(pán)”，形象而生動(dòng)地描述出聲音的樣子。

在互動(dòng)藝術(shù)作品中，也常常會(huì)看到藝術(shù)家嘗試將不同的感官進(jìn)行轉(zhuǎn)換。將聲音視覺(jué)化或者把圖像轉(zhuǎn)為聲音，是常見(jiàn)的藝術(shù)表達(dá)形式，如將一段或歡快或優(yōu)美或震撼的音樂(lè)視覺(jué)化，以跳動(dòng)的柱形或流水般的霓虹燈展示出來(lái)；將如仙樂(lè)般美妙的海豚之聲視覺(jué)化，以花團(tuán)錦簇的圖像展示出來(lái)，帶給我們聽(tīng)覺(jué)視覺(jué)的雙重體驗(yàn)（如圖1）。而實(shí)現(xiàn)這類創(chuàng)意，肯定要選擇Mit的Processing軟件。這是一款藝術(shù)家用來(lái)“畫(huà)畫(huà)”的編程語(yǔ)言，能夠?qū)⒏鞣N奇妙的聲音變幻為美輪美奐的圖像，讓受眾感受到藝術(shù)創(chuàng)作的魅力。

原理分析

聲音是一種模擬信號(hào)，而計(jì)算機(jī)處理的只能是數(shù)值，所以存儲(chǔ)在計(jì)算機(jī)中的聲音文件都是經(jīng)過(guò)處理之后的數(shù)字化文件。聲音的數(shù)字化是通過(guò)“采樣”和“量化”的方式，實(shí)現(xiàn)波形聲音模擬量的數(shù)字化。那么Processing又是如何實(shí)現(xiàn)聲音的視覺(jué)化呢？只要能夠獲得聲音的響度、頻率等信息，借助傅立葉變換之類的算法，解析出更多的信息，就能將其以柱形、圓形、線形或者任何你想描繪的圖形唯美地展現(xiàn)出來(lái)。

Processing是一個(gè)開(kāi)源的編程語(yǔ)言，有很多人為其開(kāi)發(fā)了各種開(kāi)源的庫(kù)。聲音處理方面功能最強(qiáng)大、應(yīng)用也最廣的是Minim庫(kù)。借助這個(gè)Minim庫(kù)，我們不需要理解傅立葉變換，就能夠分析出聲音的頻率、振幅、節(jié)奏等信息。Processing 3.3.6版本已內(nèi)置了Minim庫(kù)，我們可以從“貢獻(xiàn)管理器”中安裝它。通過(guò)“速寫(xiě)本—引用庫(kù)文件—添加庫(kù)文件”打開(kāi)貢獻(xiàn)管理器的Libraries選項(xiàng)卡，在Filter框中鍵入Minim，從列表中選擇庫(kù)，然后單擊Install即可。

基本代碼

首先我們來(lái)看一個(gè)用Processing將聲音視覺(jué)化的例子，基本代碼如上頁(yè)表1所示。

運(yùn)行程序，開(kāi)始播放音樂(lè)，Processing窗口會(huì)有波浪起伏的線條跳動(dòng)（如圖2），其效果是根據(jù)實(shí)時(shí)獲取的音頻頻率實(shí)現(xiàn)的，當(dāng)頻率高時(shí)，線條的上下起伏大，當(dāng)頻率低時(shí)，線條的上下起伏小，是不是像極了我們起伏不定的心跳變化？

基于這個(gè)作品，我們具體分析一下用Processing將聲音視覺(jué)化的過(guò)程。這個(gè)程序由setup和draw兩個(gè)函數(shù)組成，其中setup僅運(yùn)行一次，draw則在不斷循環(huán)。程序讀取聲音文件“burning.mp3”的left.get（），即左聲道的數(shù)值，然后用line函數(shù)畫(huà)出線條。因?yàn)閐raw函數(shù)在循環(huán)執(zhí)行，于是就顯示出動(dòng)態(tài)的線條跳動(dòng)效果。

Minim庫(kù)的Minim對(duì)象和AudioPlayer對(duì)象的常用方法如表2所示。需注意的是，left.get（）和right.get（）返回的值是-1和1之間的小數(shù)。

創(chuàng)意實(shí)現(xiàn)

根據(jù)上文給出的用Processing將聲音視覺(jué)化的基本代碼，我們能夠勾勒出更多有趣又有藝術(shù)氣息的視覺(jué)化作品。如圖3所示，隨著音樂(lè)的節(jié)奏，小矩形的粗細(xì)、長(zhǎng)短都會(huì)一起發(fā)生變化，會(huì)不會(huì)讓你想到一種叫“排鐘”的打擊樂(lè)器呢？那是由一些長(zhǎng)短有別的鋼管或銅管組成的樂(lè)器，用木槌敲打便會(huì)產(chǎn)生清脆、悅耳的旋律。觀看這種互動(dòng)效果，你會(huì)有一種錯(cuò)覺(jué)：這些炫酷的動(dòng)態(tài)效果并非由音樂(lè)產(chǎn)生，而是由于它們的律動(dòng)才產(chǎn)生了音樂(lè)。

這個(gè)創(chuàng)意的實(shí)現(xiàn)，是根據(jù)實(shí)時(shí)獲取的左聲道及右聲道的數(shù)值來(lái)畫(huà)多個(gè)矩形，矩形的長(zhǎng)度和寬度分別由數(shù)值的大小來(lái)決定。核心代碼如表3所示（為避免重復(fù)，只保留void draw（）的代碼，下文中出現(xiàn)的案例代碼同理）。

為了營(yíng)造歡快唱歌的氛圍，很多人去KTV，第一件事就是把房間的“星空燈”打開(kāi)。這個(gè)“星空燈”我們更愿意稱之為“霓虹燈”，五彩繽紛的，似乎就是我們美妙的歌聲才使得燈光跟著歡快起來(lái)。同樣，在激情四射的演唱會(huì)上，那些各色的互動(dòng)熒光棒似乎也是隨著現(xiàn)場(chǎng)動(dòng)感的節(jié)奏而舞動(dòng)。那么利用Pocessing，能否將“放眼望去的霓虹燈”或“漫天的星光”實(shí)現(xiàn)真正意義上的隨著音樂(lè)旋律而閃耀呢？答案是肯定的。

根據(jù)實(shí)時(shí)獲取的音頻頻率，確定圓的大小及顏色。代碼如表4所示。

上面展示的幾個(gè)作品都是用Processing將現(xiàn)有的音樂(lè)進(jìn)行視覺(jué)化，如果想做聲音的即時(shí)視覺(jué)效果，又該怎樣實(shí)現(xiàn)呢？很簡(jiǎn)單，使用麥克風(fēng)就解決啦！具體代碼如表5所示。

運(yùn)行程序，窗口上圓點(diǎn)的大小會(huì)隨著麥克風(fēng)音頻頻率的高低而變化，當(dāng)頻率高時(shí)，圓點(diǎn)變大，當(dāng)頻率低時(shí)，圓點(diǎn)變小?？粗聊簧系膱A點(diǎn)隨著聲音奇妙地發(fā)生變化（如圖4），就像感覺(jué)到自己的心跳在“砰砰砰”緊張又有韻律地跳動(dòng)一般。

從傳統(tǒng)意義上講，聲音屬于耳朵，是用聽(tīng)覺(jué)體驗(yàn)美感的藝術(shù)。但隨著新媒體技術(shù)的發(fā)展，聲音也可以屬于眼睛，甚至皮膚等感覺(jué)器官。用視覺(jué)來(lái)理解聲音的藝術(shù)魅力類似文學(xué)修辭手法中的“通感”，生活中常見(jiàn)的音樂(lè)噴泉、噴水音響等，都是試圖把聲音視覺(jué)化的典型。而這些效果，都可以用Processing來(lái)實(shí)現(xiàn)。

你希望聲音是什么樣子？請(qǐng)用Processing將你喜歡的聲音勾勒出你喜歡的圖案吧，藝術(shù)和科技本來(lái)就可以很好地結(jié)合。