朱洪萱 韓帆
摘要:傳播體驗的逐步升級讓大眾對媒體藝術(shù)的審美水平顯著提高。TouchDesigner(視覺設(shè)計工具)的出現(xiàn)迎合了目前大眾市場的需求,它的高互通性、高集成性等優(yōu)勢讓其成為目前最受歡迎的多媒體藝術(shù)編程創(chuàng)作工具之一。運用TouchDesigner生成互動裝置,給予了互動裝置藝術(shù)更多的創(chuàng)新形式與發(fā)展空間,有利于傳播新型交互式編程技術(shù),讓我國在數(shù)字媒體與交互式編程設(shè)計領(lǐng)域的國際競爭力得到顯著提升。本文通過分析TouchDesigner生成的互動裝置案例,探討互動技術(shù)的進步為裝置藝術(shù)帶來的影響與意義。
關(guān)鍵詞:TouchDesigner;互動裝置藝術(shù);創(chuàng)新應(yīng)用
中圖分類號:G206 文獻標識碼:A 文章編號:1004-9436(2021)15-000-02
互動裝置藝術(shù)在數(shù)字媒體藝術(shù)范疇內(nèi),順應(yīng)了現(xiàn)代數(shù)字媒體藝術(shù)的發(fā)展趨勢。早期的裝置藝術(shù)在空間、材料、體驗感、受眾群體、創(chuàng)作者等多方面受限,而將互動性融入裝置藝術(shù)中,在拉近觀眾與作品距離的同時,也讓作品本身在藝術(shù)與情感的表達上發(fā)揮得淋漓盡致,藝術(shù)從原來的單向信息傳遞轉(zhuǎn)變?yōu)橛^眾與藝術(shù)家之間的雙向信息傳遞。互動裝置藝術(shù)的出現(xiàn),突破了傳統(tǒng)藝術(shù)的靜態(tài)美學(xué),觀眾可以親身體驗與觸摸作品,無論是從視覺上、體感上,還是情感上,都為人們帶來了全新的體驗[1]。而科技的疾速發(fā)展和大眾審美水平的大幅提高,使互動裝置藝術(shù)的實現(xiàn)方式成為我們需要探討的重要話題。
1 互動裝置藝術(shù)與TouchDesigner(視覺設(shè)計工具)
互動裝置藝術(shù)是跨界融合多媒體等現(xiàn)代技術(shù)的藝術(shù)表現(xiàn)形式,突破了傳統(tǒng)藝術(shù)的單一形式,結(jié)合生物學(xué)、光學(xué)、物理學(xué)、聲學(xué)、心理學(xué)、信息傳播學(xué)、美學(xué)等多門學(xué)科,并涵蓋計算機編程和動畫制作等[2]。同時為加強作品與觀者的互動,還涉及一些感應(yīng)系統(tǒng)和輸出設(shè)備等。其中相關(guān)硬件設(shè)備及數(shù)字媒介材料不僅是創(chuàng)作的媒介材料,也是創(chuàng)作和傳播的工具。通過數(shù)字媒介和數(shù)字技術(shù)的介入,互動裝置藝術(shù)的交互性更強,其呈現(xiàn)方式也更多樣化。
TouchDesigner的誕生為互動裝置藝術(shù)提供了更加高效、便利的創(chuàng)作平臺,它是由加拿大Derivative(衍生物)公司在2001年開始打造的一款節(jié)點式可視化創(chuàng)作軟件。不同于傳統(tǒng)的復(fù)雜編程工具,TouchDesigner提供了一種利用可視化節(jié)點作為制作手段的全新創(chuàng)作方式,用戶通過COMP(Components,容器元件)、TOP(Texture Operators,圖像元件)、CHOP(Channel Operators,通道元件)、SOP(Surface Operators,形狀元件)、DAT(Data Operators,文本元件)、MAT(Material Operators,材質(zhì)元件)六種基本功能元件進行創(chuàng)作。整個編程過程中,軟件將代碼的結(jié)構(gòu)和函數(shù)變成無數(shù)個模塊,通過連線的方式任意拖動控制器組合動作就能達到理想的創(chuàng)作效果[3]。創(chuàng)作者和設(shè)計師們無須擔心底層的編程開發(fā),可以把更多的精力投入將不同的媒介裝置整合起來創(chuàng)造更有想象力的跨領(lǐng)域新媒體作品中。
2 TouchDesigner生成的互動裝置藝術(shù)
2.1 TouchDesigner技術(shù)分析模型
2.1.1 特點
作為計算機生成藝術(shù)的實現(xiàn)工具,TouchDesigner的隨機性是其最主要的特點之一,相同的程序并不能出現(xiàn)同樣的效果,觀眾包括作者都無法預(yù)測作品的最終效果,這賦予了創(chuàng)作本身無盡的可能。除此之外,TouchDesigner的高互通性、高集成性、實時性、數(shù)據(jù)可視化等特點讓越來越多的藝術(shù)家和設(shè)計師摒棄傳統(tǒng)的制式化制作工具,轉(zhuǎn)而利用TouchDesigner制作藝術(shù)作品、商業(yè)項目等。
2.1.2 功能
利用Python(計算機編程語言)作為內(nèi)嵌編程語言,與AI(Artificial Intelligence,人工智能)的結(jié)合讓人們對TouchDesigner創(chuàng)作的當下最熱門的人工智能有了更多的想象。TouchDesigner的實時控制界面功能讓它可運用在各個大型的商業(yè)項目和展演現(xiàn)場,行業(yè)內(nèi)高級別的穩(wěn)定性讓它被各個世界知名工作室和團隊采用。TouchDesigner軟件的內(nèi)置包括Kinect TOP(3D體感攝影機圖像元件)、Kinect Azure TOP(空間計算開發(fā)人員工具包圖像元件)、RealSense TOP(實感計算圖像元件)等硬件讀取元件,這讓它能夠與各種傳感器設(shè)備相結(jié)合,達到人機交互的效果。除了直接讀取外設(shè)數(shù)據(jù)進行通信外,豐富的協(xié)議接口也是讓TouchDesigner變得無所不能的一個重要原因,它可以根據(jù)不同硬件設(shè)施、超文本傳輸協(xié)議、全球廣域網(wǎng)系統(tǒng)以及軟件匹配操作選項,集成各種環(huán)境。
2.1.3 應(yīng)用領(lǐng)域
面對目前變化多端的市場環(huán)境,TouchDesigner敏捷的部署及架構(gòu)方式讓它擁有極強的適應(yīng)能力,特別是在數(shù)據(jù)處理上能夠滿足現(xiàn)代數(shù)字媒體藝術(shù)作品種類繁多的需求,越來越多的設(shè)計師及藝術(shù)家運用TouchDesigner完成自己的項目,在交互式媒體系統(tǒng)、建筑投影、現(xiàn)場視覺及音樂表演、虛擬現(xiàn)實、機械硬件控制等多個領(lǐng)域都能看見它的身影。
2.1.4 感知體驗
應(yīng)用TouchDesigner創(chuàng)作互動裝置藝術(shù),在聽覺、視覺、味覺、觸覺、嗅覺五個方面充分調(diào)動觀眾獲取信息的感知體驗,觀眾與作品之間的互動達到了最佳效果,充分展現(xiàn)了觀眾與作者之間的雙向信息傳遞與交流。
TouchDesigner技術(shù)分析模型見下表,它分析與研究了TouchDesigner的特點與功能,以及目前市場上利用此軟件實現(xiàn)的專業(yè)領(lǐng)域,為利用TouchDesigner設(shè)計藝術(shù)作品提供參考。
2.2 應(yīng)用TouchDesigner生成互動裝置藝術(shù)的優(yōu)勢與意義
互動裝置分為建立數(shù)據(jù)庫、信號采集、信號處理、成像處理以及其他輔助設(shè)備,而信號處理是互動裝置設(shè)計中的關(guān)鍵節(jié)點,作品信號的輸出、輸入以及轉(zhuǎn)換都需要編程來實現(xiàn),編程軟件是實現(xiàn)互動裝置作品的必要手段[4]。相較于運用AS3(ActionScript 3.0,面向?qū)ο缶幊陶Z言)、C++(計算機編程語言)、Processing(圖形設(shè)計語言)等編程語言創(chuàng)作互動裝置藝術(shù),TouchDesigner的可視化編程環(huán)境讓設(shè)計師們無須傳統(tǒng)的文本式代碼,高集成化的元件讓編程零基礎(chǔ)的用戶都能夠輕松使用[5],在搭建好的初始模塊上延展出豐富的視覺創(chuàng)意效果。無論是實驗室級別的Arduino(開源電子原型平臺)、Kinect(3D體感攝影機)、Leap Motion(體感控制器),還是專業(yè)級別的舞臺燈光、雷達追蹤、人體捕捉系統(tǒng),TouchDesigner強大的數(shù)據(jù)接口都能和它們無縫對接。清晰的界面、便捷的操作以及強大的API(Application Programming Interface,應(yīng)用程序編程接口)接口讓TouchDesigner促使新媒體藝術(shù)工作者創(chuàng)作更多優(yōu)秀的互動裝置藝術(shù)作品。
3 TouchDesigner互動裝置藝術(shù)的創(chuàng)新應(yīng)用
3.1 TouchDesigner在互動燈光裝置中的創(chuàng)新應(yīng)用
隨著經(jīng)濟實力與文化建設(shè)的飛速進步,人們對于藝術(shù)的審美體驗要求不斷提升,互動燈光裝置藝術(shù)在這樣的背景下走進大眾視野。互動燈光裝置藝術(shù)利用光的語言進行創(chuàng)作,與基于純視覺感受的傳統(tǒng)藝術(shù)形式不同,互動燈光裝置藝術(shù)以新型交互技術(shù)為媒介,利用聲、光、電等元素給予觀者視覺與聽覺的雙重感知體驗[6],讓作品與觀者間產(chǎn)生情感共鳴,增強大眾參與性,同時賦予藝術(shù)作品更高的社會價值。
WhiteVoid(白色空隙)是一家來自柏林的著名互動燈光雕塑設(shè)計工作室,其Kinetic lighting(動態(tài)照明)項目遍及全世界,是使用TouchDesigner的先驅(qū)團隊。同時其交互裝置與產(chǎn)品被廣泛運用于博物館、展覽會、展銷會及音樂會中。《SKALAR(斯克拉)》是由WhiteVoid(白色空隙)工作室的創(chuàng)作者Christopher Bauder(克里斯托弗·波特)和Kangding Ray(康定·雷)結(jié)合TouchDesigner制作設(shè)計的大型聲視互動燈光裝置,探索了聲音和光線對人類情緒的影響。Kraftwerk Berlin(柏林電廠)的漆黑工業(yè)空間內(nèi),大量動力鏡面裝置運用TouchDesigner進行現(xiàn)場實時控制,通過對光的折射形成了絢麗奪目的迷人光線,結(jié)合多維聲音的試聽敘述,呈現(xiàn)出移動的燈光和復(fù)雜的多聲道音響系統(tǒng)。TouchDesigner的高穩(wěn)定性讓它可以在現(xiàn)場對燈光、聲效進行實時控制,當觀眾身處裝置中,在視覺、聽覺與觸覺的多重感官刺激下激發(fā)多樣的情緒,觀眾在融入作品的同時也能夠賦予作品本身更深層次的含義。
3.2 TouchDesigner在互動影像裝置中的創(chuàng)新應(yīng)用
相較于傳統(tǒng)影像裝置,互動性是互動影像裝置區(qū)別于兩者的一大特點。將互動性融入影像裝置藝術(shù),不僅完善了傳統(tǒng)影像裝置技術(shù)層面的缺陷,也在一定程度上改變了觀者與作品間的交流與表達方式[7],觀者在欣賞作品的同時與作品互動,從而在情感上加深對藝術(shù)作品的認同?;佑跋裱b置在創(chuàng)作過程中需要運用特定的傳感器來進行信息采集,并及時傳輸?shù)綄?yīng)設(shè)備。通過現(xiàn)有的電腦語言鏈接程序來判斷傳感器傳輸?shù)碾娦盘?,并完成?shù)據(jù)的處理,接著用指令的形式將其傳輸?shù)讲シ努F(xiàn)實終端,實時反饋特定的影像或圖像[8]。而TouchDesigner的高互通性為互動影像裝置的創(chuàng)作提供了更多的便利與藝術(shù)可能性,其出色的硬件交互性能讓其區(qū)別于其他類似的交互軟件,在創(chuàng)作互動影像裝置時可以直接利用TouchDesigner與傳感器相連接,并在TouchDesigner平臺編寫程序完成數(shù)據(jù)處理,從而反饋影像畫面。同時,可視化的節(jié)點式創(chuàng)作形式讓更多在編程方面零基礎(chǔ)的藝術(shù)家及設(shè)計師依然可以運用TouchDesigner設(shè)計出令人驚艷的互動影像裝置作品。
VolvoxLabs(團藻實驗室)設(shè)計團隊來自紐約,他們?yōu)槲④浰囆g(shù)長廊影劇院設(shè)計制作的互動屏幕墻就是由TouchDesigner生成,設(shè)計者在墻上安裝好可以移動的木板,并在木板后面固定攝像頭與燈光裝置,通過TouchDesigner進行相應(yīng)的數(shù)據(jù)處理,并結(jié)合攝像頭實時捕捉人物動態(tài),從而控制燈光的明暗與走向,每個觀眾通過自身運動的形態(tài)對屏幕上的影像進行控制,從而創(chuàng)造出獨特的感官體驗。
3.3 TouchDesigner在互動視聽裝置中的創(chuàng)新應(yīng)用
互動視聽裝置是將聲音與畫面相結(jié)合,通過人機互動而產(chǎn)生的藝術(shù)表現(xiàn)形式。聲音是現(xiàn)代社會的重要媒介傳播方式,是增強人們感知體驗的重要部分?;铀囆g(shù)作品在有形或無形的裝置空間實體內(nèi),與聲音碰撞產(chǎn)生特定的藝術(shù)形態(tài)[9]。在設(shè)計互動視聽裝置作品時,作品與觀者互動時產(chǎn)生的生理、心理及精神感受是創(chuàng)作的重要組成部分,通過聽覺和視覺的雙重感官刺激,能夠引導(dǎo)觀者更為充分地理解作品的深意和內(nèi)涵,讓作品與觀者達到強烈的情感共鳴。
鄒麓陽的互動視聽裝置《聲子記憶》由TouchDesigner生成,體驗者進入一個密閉空間,整個空間通過投影裝置將視覺畫面投射到空間中的每個平面上,運用幾何形體將畫面營造出一種無邊界感,通過沉浸式視覺畫面以及音頻與觀眾互動,挑戰(zhàn)實際空間和感知空間的邊界,從而開放一個虛擬的記憶時間。作品只有在人的參與之下才會生成它獨特的意義,“聲子”是最小的聲粒子,而“聲子記憶”則是歌頌沉靜與緩慢的一個視聽景觀。相較于一滑動就會被忘記的具有消耗性的視聽信息,《聲子記憶》互動視聽裝置是通過參與者用自己的方式去體驗與感受這個環(huán)境。
4 結(jié)語
TouchDesigner的應(yīng)用迎合了互動裝置藝術(shù)的傳播需求,在TouchDesigner平臺的支持下,互動裝置藝術(shù)的展示效果及互動體驗都得到了提高。TouchDesigner強大的功能需要被更多的設(shè)計師及藝術(shù)家熟知并掌握,它將作為未來使藝術(shù)和技術(shù)實現(xiàn)跨界融合的紐帶之一,引領(lǐng)藝術(shù)和各學(xué)科交叉發(fā)展新趨勢,并適用于其他新媒體領(lǐng)域,產(chǎn)生更高的社會價值。如今,TouchDesigner已經(jīng)開發(fā)到了第三代產(chǎn)品,眾多的新媒體團隊和藝術(shù)工作者在國際舞臺上創(chuàng)作出了不計其數(shù)的經(jīng)典作品。隨著國內(nèi)技術(shù)社區(qū)、論壇以及各類相關(guān)活動的興起,TouchDesigner的國內(nèi)用戶量呈爆發(fā)式增長,其強大的生命力和廣闊的發(fā)展前景為國家的經(jīng)濟、文化建設(shè)提供了強有力的支持,未來TouchDesigner將會為我國的新媒體領(lǐng)域創(chuàng)造更多的可能性。
參考文獻:
[1] 孫藝桐,史立新.裝置藝術(shù)創(chuàng)作中的交互體驗設(shè)計應(yīng)用研究[J].藝術(shù)教育,2020(02):215-218.
[2] 達妮莎,鄭海期.眼動技術(shù)在互動裝置藝術(shù)中的應(yīng)用[J].藝術(shù)與設(shè)計(理論),2020,2(08):108-110.
[3] 蘇鏡如. TouchDesigner在新媒體藝術(shù)中的運用[J].新媒體研究,2020,6(14):9-10.
[4] 劉桂華,張梅芳,王盈舒.多媒體互動裝置作品特征及其影響分析——以米蘭世博會日本館《DIVERSITY》為例[J].設(shè)計,2018(22):130-132.
[5] 郭開鶴.計算機生成藝術(shù)在圖形世界中的意義[J].美術(shù)觀察,2012(12):124-129.
[6] 張澤方.試論可視化編程在數(shù)字媒體藝術(shù)中的運用——以TouchDesigner為例[J].時代報告,2019(06):140-141.
[7] 方芳.互動裝置藝術(shù)在數(shù)字展示中的特性研究[J].美術(shù)大觀,2017(07):136-137.
[8] 亓國梁.新媒體語境下互動影像裝置的藝術(shù)特征與類型辨析[J].視聽,2019(12):82-83.
[9] 陳思洋.淺析在互動裝置藝術(shù)中聲音裝置交互的情感體驗[J].西部皮革,2019,41(12):155-156.
作者簡介:朱洪萱(1998—),女,江蘇鹽城人,碩士在讀,研究方向:數(shù)字媒體藝術(shù)。
韓帆(1962—),女,江蘇南京人,博士,教授,系本文通訊作者,研究方向:計算機圖形學(xué)。