基于增強現(xiàn)實的皮影操縱交互系統(tǒng)研究

余登莎 閆子飛

關鍵詞：皮影 增強現(xiàn)實 操縱 動畫 動力學

引言

中國皮影藝術融合了傳統(tǒng)戲曲、剪紙、雕刻及文學等多種藝術形式，具有獨特的藝術魅力，是中華民族藝術的瑰寶。皮影戲在近千年的發(fā)展歷程中，在造型、用色、聲腔還是表演技藝上都有獨到之處，顯示了中國人民對音樂、繪畫、雕刻等多種藝術形式獨特的創(chuàng)造能力、文化思維，反映出中國人民從古至今形成的獨特的審美情趣與審美追求。在皮影戲逐漸沒落的今天，隨著科學技術，尤其是計算機技術的發(fā)展，采用增強現(xiàn)實技術對皮影藝術進行數(shù)字化保護將是一項必要的發(fā)展方向。

一、皮影藝術數(shù)字化保護研究現(xiàn)狀

皮影戲是中國民間古老的傳統(tǒng)藝術，是一種用獸皮或紙板做成的人物剪影來表演故事的民間戲劇。皮影藝術是一種綜合性的藝術形式，集工藝美術、舞臺藝術和戲曲藝術于一體。皮影影人通過夸張的線條設計和豐富的色彩設計來表現(xiàn)角色的性格特征，造型美觀而精致。在表演時將影人通過燈光投射到幕布上，結(jié)合藝人的唱腔技法，場面熱鬧而生動。

但是，隨著時代的發(fā)展，皮影藝術陷入艱難的發(fā)展困境。首先，以互聯(lián)網(wǎng)為載體的新媒體技術的進步，改變了人們的生活娛樂方式，對傳統(tǒng)文化包括皮影藝術造成了巨大的沖擊。其次，影人的制作難度和皮影戲的表演難度非常大，皮影技藝只在師徒間或家族中傳承。這種落后的傳承方式使皮影藝術具有很強的封閉性，很大程度上限制了皮影藝術的發(fā)展。目前現(xiàn)存的皮影大多受到不同程度的損壞，藝人老齡化嚴重，如果不及時采取保護措施，皮影最終將走向衰亡。

為了讓皮影藝術再度煥發(fā)生機，相關的研究人員采用新媒體技術對皮影藝術進行保護和再創(chuàng)作[1-2]。目前，皮影藝術數(shù)字化的表現(xiàn)形式主要有以下三種：（一）將影人角色數(shù)字化：傳統(tǒng)的影人是用獸皮和紙板等制作的，不易保存，有壽命限制。在計算機技術的加持下，部分研究者以照片的形式將現(xiàn)有的影人角色保存下來。如，中國美術學院制作的皮影數(shù)字博物館收錄了近五萬張的影人照片，按照人物、動物、襯景、道具等進行分類。除了對現(xiàn)有的影人角色進行收錄，創(chuàng)作者也可以利用計算機創(chuàng)作新的皮影角色，這簡化了傳統(tǒng)影人角色的制作難度，有利于影人角色設計的傳承和發(fā)展。

（二）制作具有皮影元素的數(shù)字動畫：數(shù)字動畫是一種基于數(shù)字技術生成的新型動畫藝術，是一種集繪畫、配音、剪輯等眾多藝術形式為一體的綜合藝術。由于數(shù)字動畫具有通俗化和傳播廣的特點，相關工作者們將皮影元素融入到數(shù)字動畫中，創(chuàng)造出了許多優(yōu)秀的皮影動畫作品，幫助了皮影藝術的推廣和中華傳統(tǒng)文化的宣傳。如，環(huán)球數(shù)碼制作的皮影數(shù)字動畫《桃花源記》，以其出色的視覺效果將中國傳統(tǒng)的文學作品用皮影的形式表現(xiàn)出來，讓中華傳統(tǒng)文化在新時代綻放了獨特的魅力。

（三）制作具有皮影元素的人機交互應用：隨著數(shù)字媒體技術的發(fā)展，當前媒體作品的設計有了新的前進方向，即人機交互設計。人機交互設計注重人與數(shù)字化對象的交互，追求沉浸感和體驗感。因此，為了讓用戶能夠沉浸式體驗皮影藝術的魅力，具有皮影元素的人機交互設計也逐漸多了起來。如，風格化臉譜生成系統(tǒng)能夠根據(jù)用戶的臉生成特定的皮影風格的臉譜，讓用戶產(chǎn)生代入感。

還有在微軟發(fā)布的Kinect體感設備上實現(xiàn)的，能夠根據(jù)用戶做出的肢體動作來控制屏幕上影人角色動作的交互應用。這種交互方式能夠?qū)崿F(xiàn)用戶與虛擬角色的實時的、直觀對應的互動，比鼠標操縱更形象、有體驗感。

二、在皮影藝術數(shù)字化保護中引入增強現(xiàn)實技術

增強現(xiàn)實技術是一種實時計算攝像頭的位置和角度并在真實世界的基礎上渲染相應圖像的技術，是一種將真實世界信息和虛擬世界信息“無縫”集成的新技術。增強現(xiàn)實技術作為一種新興的計算機技術，集三維建模、多媒體、多傳感器融合、計算機圖形圖像學、實時跟蹤及注冊、場景融合等眾多新技術與新手段為一體，是當今最前沿、人機交互最接近人類自然狀態(tài)的交互媒介。以移動增強現(xiàn)實設備——頭盔顯示器為例，用戶佩戴頭盔顯示器時，可以同時看到眼前的真實世界和顯示器投射的虛擬的畫面信息。兩種信息互相疊加，相輔相成，呈現(xiàn)出一種虛實相交的場景。

目前，增強現(xiàn)實技術發(fā)展迅速，已廣泛地應用于多個領域，如游戲娛樂、教學系統(tǒng)和文化遺產(chǎn)保護等領域[3-4]。在文化遺產(chǎn)保護領域中，北京理工大學利用增強現(xiàn)實技術對圓明園遺址進行了“重建”。

用戶在觀覽圓明園遺址時，可以手持手機、平板等設備，看到圓明園昔日的輝煌景象。與此同時，國外的INQUADRA工程將增強現(xiàn)實應用于壁畫展覽中。用戶可以通過手持設備看到真實的壁畫缺損部分的原貌，更能深刻領略到壁畫的魅力。

隨著科技的快速升級，增強現(xiàn)實已經(jīng)逐漸融入到人類社會生活中，未來有很大的發(fā)展空間。而且，上述增強現(xiàn)實人機交互系統(tǒng)的成功開發(fā)和應用也證明了將增強現(xiàn)實技術引入文化遺產(chǎn)保護領域具有極大的價值[5]。因此，文章分析了皮影的藝術特征和增強現(xiàn)實的技術特點，認為將增強現(xiàn)實技術與皮影藝術數(shù)字化保護相結(jié)合具有一定的研究價值。與此同時，研究和開發(fā)具有皮影元素的增強現(xiàn)實人機交互系統(tǒng)將有助于皮影藝術的保護與傳承：（一）虛擬的皮影元素與真實場景結(jié)合提升用戶沉浸感：“虛實結(jié)合”是增強現(xiàn)實技術的一個基本特征。交互系統(tǒng)通過攝像頭捕捉具有皮影元素的宣傳品，如特制的二維碼，皮影紀念冊等，然后立即在當前的真實場景中渲染出對應的3D模型，數(shù)字動畫等，這些虛擬的小影人會立刻躍然于真實世界中。這種呈現(xiàn)方式給人以新奇感和趣味感，打破了空間和時間的限制，能夠吸引用戶的注意力，能夠更直觀地宣傳和傳播皮影文化。

（二）與皮影元素的實時互動提升用戶體驗感：“實時互動”是增強現(xiàn)實技術的第二大亮點。與其他數(shù)字媒介相比，如視頻、直播等，增強現(xiàn)實不是讓用戶被動地接受視頻和音頻信息，而是根據(jù)用戶的反饋，如手勢、語言等，及時調(diào)整系統(tǒng)所呈現(xiàn)的內(nèi)容。如，用戶在增強現(xiàn)實環(huán)境中用手勢控制皮影動畫的開始和結(jié)束。增強現(xiàn)實的實時反饋系統(tǒng)能夠抓住用戶此時此刻的需求，讓用戶主動接受感興趣的信息，消除了用戶因被動接受信息而產(chǎn)生的疲倦、煩躁等情緒。

（三）新興的體驗方式吸引更多的用戶參與皮影藝術的傳播：調(diào)查可知，在各大城市的線下VR體驗館消費主體中，15歲至35歲這個年齡層的人最多。這個年齡層的人受教育程度高，對新鮮事物的接受速度快，學習能力強。增強現(xiàn)實技術作為一種全新的體驗方式，必然會吸引這個年齡群體用戶的注意。因此，開發(fā)皮影相關的增強現(xiàn)實人機交互應用將會有助于在青少年群體中傳播和宣傳皮影藝術，讓未來的主人翁們在娛樂中感受皮影藝術的魅力。

三、基于增強現(xiàn)實技術的皮影操縱交互系統(tǒng)設計實踐

（一）皮影數(shù)字化領域中缺少皮影操縱技藝的保護研究在皮影的數(shù)字化保護領域中，少有關于皮影操縱技藝的數(shù)字化保護研究。在皮影操縱技藝的數(shù)字化保護領域中，目前已有的工作大致分為兩類：一類是用機械手模擬仿真技師的操作方式，如英特爾中國研究院通過智能機械手Eagle Shoal實現(xiàn)對老虎皮影角色的運動控制。在皮影戲表演中，人類表演者在扮演老虎時會采用兩只手進行操作，而Eagle Shoal突破了人體的限制，僅通過兩根“手指”操控皮影操作桿。Eagle Shoal的每根“手指”都有2個主動自由度，手掌上還有2個單獨的旋轉(zhuǎn)關節(jié)，因此只要一只手就可以靈活控制老虎的運動。但由于角色動作變化，機械手的兩根手指時常會發(fā)生碰撞，會出現(xiàn)損壞機械手的情況。與此同時，碰撞也會影響皮影角色的運動效果。

一類是用戶通過手勢或者操縱桿控制虛擬的皮影角色運動，如北京林業(yè)大學的劉嘉楠使用Leap Motion手勢控制器和UnrealEngine 4引擎實現(xiàn)用手勢控制皮影角色運動的交互功能。在其設計的人機交互系統(tǒng)中，用戶可以通過手勢指令控制交互流程，和控制皮影角色的動作。

第一類方法能夠很好地模擬傳統(tǒng)皮影表演大師的操縱動作，但不能普及到普通用戶中，讓普通用戶也能感受到操縱皮影的樂趣，不利于皮影操縱藝術的傳播;在第二類方法中，皮影角色運動通常會出現(xiàn)脫節(jié)現(xiàn)象，影響皮影角色運動的連貫性和用戶的人機交互體驗。

為了更好地實現(xiàn)皮影操縱技藝的數(shù)字化保護，并解決上述皮影操縱技藝數(shù)字化存在的問題，本文研究了增強現(xiàn)實設備——頭盔顯示器的使用特點和傳統(tǒng)皮影操縱方式的特點，決定將增強現(xiàn)實技術引入到皮影操縱技藝的數(shù)字化保護中。

（二）皮影操縱技藝數(shù)字化保護的設計實踐1.系統(tǒng)的功能。本系統(tǒng)以增強現(xiàn)實設備HoloLens為硬件載體，設計一種皮影操縱交互方式，讓用戶能夠手持真實的木棒，帶上HoloLens，在增強現(xiàn)實環(huán)境中操縱虛擬的皮影角色。該系統(tǒng)旨在模擬真實的皮影操縱過程。未受過專業(yè)皮影表演訓練的用戶可以穿戴頭盔顯示器，手持操縱木棒，通過該系統(tǒng)操縱設備所渲染出來的虛擬的皮影角色，在系統(tǒng)的引導下進行皮影戲的表演。圖1中左圖展示了傳統(tǒng)的皮影操縱方式，圖1中右圖展示了本系統(tǒng)中用戶操縱虛擬皮影角色的方式。對比可得，傳統(tǒng)的皮影操縱中，操縱桿多，使用難度大。

而在本系統(tǒng)中，用戶雙手各持一根木棒即可操縱虛擬的皮影角色。

2.系統(tǒng)的軟件架構(gòu)。本系統(tǒng)運行于移動增強現(xiàn)實設備——頭盔顯示器HoloLens上，主要分為四個模塊：關鍵點跟蹤模塊，指令識別模塊，通信模塊和顯示模塊。

（1）關鍵點跟蹤模塊。該模塊負責實時檢測并返回用戶手持的操縱木棒的棒尖頂點的位置坐標。在增強現(xiàn)實環(huán)境下，木棒的棒尖頂點的坐標作為系統(tǒng)的輸入，其準確性和實時性需要得到保證。因此，本模塊采用訓練好的深度學習模型實現(xiàn)木棒的棒尖頂點——木棒關鍵點的檢測。經(jīng)實驗證明，該算法比流行的跟蹤算法在識別速度和mIoU指標上更有競爭力。

（2）指令識別模塊。該模塊負責接收關鍵點跟蹤模塊返回的木棒關鍵點坐標，處理木棒關鍵點位置在時間上下文和空間上下文中所代表的語義，返回具體的交互指令給顯示模塊。

（3）通信模塊。該模塊負責將指令識別模塊的輸出轉(zhuǎn)換成socket信號傳輸給顯示模塊。該模塊使用UDP傳輸協(xié)議完成。UDP協(xié)議是基于無連接的協(xié)議，不需要連接過程，速度快，比基于連接的TCP協(xié)議更適合實時傳輸?shù)娜蝿招枨蟆?/p>

（4）顯示模塊。顧名思義，該模塊負責將虛擬影像投射到真實世界中，并根據(jù)接收到的指令信息刷新顯示的具體內(nèi)容。

3.技術難點及解決方案。實現(xiàn)該操縱交互方式的技術難點有二。

一是設計一個明確的指令識別程序，以便設備能夠明確理解木棒運動的上下文含義，并將明確的指令傳達給顯示模塊，這關乎整個系統(tǒng)的人機交互體驗。本系統(tǒng)采用C++語言編寫了指令識別程序，將其用于處理接收到的上游的木棒關鍵點坐標信息。二是為虛擬的皮影角色設計實時的數(shù)字動畫，以便讓虛擬的皮影角色能夠根據(jù)用戶的控制進行運動。在虛擬角色的實時動畫中，本系統(tǒng)利用了基于反向動力學的骨骼動畫技術來設計數(shù)字皮影角色的骨骼模型和描述皮影角色的動作，成功解決了手臂運動不唯一和脫節(jié)的問題。兩者的具體設計將在下面4和5中說明。

4.指令識別程序設計。系統(tǒng)將投射到用戶看到的真實的三維空間上的虛擬畫面分為六類區(qū)域，如圖2所示?！?”標記的區(qū)域用于擺放可供選擇的皮影選段，“2”標記的區(qū)域為舞臺區(qū)域，“3”標記的區(qū)域用于擺放可供選擇的皮影角色，“4”標記的區(qū)域用于擺放錄屏按鈕，“5”標記的區(qū)域為用戶操縱皮影的操作區(qū)，“6”標記的區(qū)域用于擺放系統(tǒng)退出按鈕，“0”標記的區(qū)域為用戶所看到的真實世界的畫面。

各個數(shù)字編號區(qū)域用不同灰度的矩形區(qū)分。指令識別處理程序?qū)⒛景絷P鍵點坐標推入全局隊列中，并及時推出隊列中較早的坐標信息。通過這種方式，指令識別處理程序就能夠獲得此時此刻及此前時刻連續(xù)一段時間內(nèi)的木棒關鍵點坐標信息，并據(jù)此做出邏輯判斷，輸出指令信息給下一個模塊——顯示模塊。

由于本系統(tǒng)全程使用木棒關鍵點的坐標信息作為交互輸入，在本程序中需要判斷木棒是處于與皮影關節(jié)綁定，操縱皮影角色的狀態(tài)，還是處于未與皮影關節(jié)綁定，可用于發(fā)出“選擇”和“瀏覽”指令的狀態(tài)。因此，程序設定了一個全局變量Flag，該變量用于上述判斷需求。Flag只有兩個值——0和1。Flag為0時，表示木棒未被綁定;Flag為1時，表示木棒正處于與皮影角色的某個關節(jié)點綁定的狀態(tài)。指令識別處理程序的輸入、判斷邏輯和輸出具體如圖3所示。

5.虛擬皮影角色動畫設計。在顯示模塊中，最重要的設計就是被操縱的虛擬的皮影角色的實時骨骼動畫設計。這也是本系統(tǒng)中完成難度最高的部分。其中，虛擬的皮影角色能夠?qū)崟r地根據(jù)木棒移動而做出動作是由基于動力學原理的骨骼動畫技術實現(xiàn)的。

骨骼動畫技術是一種用骨骼系統(tǒng)來控制2D或3D角色模型運動的技術[7]。在皮影角色運動過程中，骨骼的移動和旋轉(zhuǎn)由正向動力學技術和反向動力學技術控制。以人形皮影角色為例，圖4左邊部分展示了皮影角色及骨架設計（白色部分為骨骼）;圖4右邊部分展示了皮影角色骨架中骨骼的層級關系圖。

正向動力學技術是指自上而下的控制各級骨骼運動的方式。它的工作原理類似于抬胳膊的過程——肩膀的移動會帶動肘的移動，肘的移動會帶動手的移動。通常，正向動力學技術常用于皮影角色的走路、跑步等動作中。本系統(tǒng)應用正向動力學技術于皮影角色走路運動中。皮影角色骨架的根骨骼向目標位置移動，會帶動下級骨骼一起運動，進而實現(xiàn)皮影角色整體的移動，實現(xiàn)了皮影角色“顛兒顛兒”的走路效果。

但是，正向動力學不能解決精確控制末端骨骼的問題。以皮影角色的手臂動畫為例。要想移動皮影角色的手部到指定位置，手臂骨骼鏈中的各段骨骼該如何運動？如果采用正向動力學技術，即已知手部節(jié)點的位置，自手臂肩部節(jié)點開始，逐級計算出各節(jié)點的位置，那么這個運動方程的解是不唯一的，甚至有些解的節(jié)點位置是不符合常理的。因此，本系統(tǒng)選擇反向動力學技術實現(xiàn)皮影角色手臂的運動控制。系統(tǒng)將手部關節(jié)點設為被控節(jié)點。只要給予手部節(jié)點的目標運動位置，反向動力學能夠讓手部節(jié)點運動到目標點的同時，帶動肘、肩運動到合理的位置。這種方式讓手臂骨骼鏈的運動路徑唯一，也符合傳統(tǒng)的操縱皮影角色手臂運動的過程，實現(xiàn)了皮影手臂運動的動畫效果。圖5展示了皮影角色“抬手”到目標位置的動畫效果。

結(jié)語

文章分析了皮影藝術數(shù)字化保護現(xiàn)狀，提出引入增強現(xiàn)實技術來豐富皮影藝術數(shù)字化保護的內(nèi)容。由于皮影數(shù)字化保護中很少有關于皮影操縱技藝數(shù)字化的研究，文章設計了一款基于移動增強現(xiàn)實設備——HoloLens的皮影操縱交互系統(tǒng)。該系統(tǒng)能夠在保留傳統(tǒng)皮影操縱方式的前提下，簡化了傳統(tǒng)皮影戲的操縱難度和場地需求（幕布），讓無表演經(jīng)驗的人也能夠表演皮影戲，為皮影藝術數(shù)字化保護提供了新思路。