低耦合的多媒體交互裝置設(shè)計與管理方法

摘要：隨著計算機軟硬件的發(fā)展，交互多媒體展示手段也在不斷提升，交互裝置的多樣化，讓展覽展示項目中多媒體創(chuàng)意的發(fā)揮空間越來越大，創(chuàng)意內(nèi)容的升級又對交互裝置依賴度越來越高，相應(yīng)地使得大型交互多媒體項目中的設(shè)備管理越來越復(fù)雜。本文針對各類展覽展示項目，站在綜合系統(tǒng)集成的角度，提出低耦合的多媒體交互裝置設(shè)計和系統(tǒng)開發(fā)理念，希望為展覽展示行業(yè)的跨界集成管理提供一種可借鑒的模式和經(jīng)驗。

關(guān)鍵詞：低耦合 交互多媒體 交互裝置 系統(tǒng)集成 系統(tǒng)開發(fā)

Design and Management Method of Low Coupling Multimedia Interactive Device

WANG Hongwei

（Beijing Cangfeng Technology Co.， Ltd.， Beijing， 100120 China）

Abstract：With the development of software and hardware， means of interactive multimedia? are also constantly improving. The diversification of interactive devices makes more space for multimedia creativity in exhibition projects， and the upgrading of creative content depends more and more on interactive devices. Accordingly， the equipment management in large-scale interactive multimedia projects becomes more and more complex. Aiming at various exhibition projects， this paper puts forward the design concept of low coupling multimedia interactive device? design and system development from the perspective of comprehensive system integration， hoping to provide a reference model and experience for the cross-border integrated management of exhibition industry.

Key Words：Low coupling; Interactive multimedia; Interactive devices; System integration; System development

在展覽展示的交互多媒體項目集成中，項目管理團隊常常面臨內(nèi)容制作，交互軟件開發(fā)，基于環(huán)境的音視頻終端設(shè)備的選型，音頻處理，視頻采集、傳輸、拼接融合等處理設(shè)備的選型，以及集控管理等多種工作，最終完成完整的項目落地。

交互多媒體系統(tǒng)集成并不是簡單的產(chǎn)品組合，很多情況下，構(gòu)成方案的軟件、硬件、內(nèi)容會來自不同的團隊，這就需要項目經(jīng)理有很好的跨界理解度，以便進行分項制作或分包的把控。目前，行業(yè)內(nèi)對各個產(chǎn)品，尤其是從內(nèi)容制作到開發(fā)層面和硬件集成都具有理解力的項目經(jīng)理非常稀少，時常會出現(xiàn)項目在落地時終端設(shè)備與環(huán)境的不適配、硬件與軟件的不適配、內(nèi)容分辨率與環(huán)境比例的不適配、經(jīng)過傳輸設(shè)備和處理設(shè)備后的音視頻出現(xiàn)異常等情況，影響最終展項的效果。

1 集成任務(wù)分解需求

一些成熟的大型集成公司，除了有著多年項目管理經(jīng)驗的團隊之外，還有著長期穩(wěn)定的產(chǎn)品供應(yīng)鏈和分包團隊，甚至企業(yè)內(nèi)有內(nèi)容制作、軟件開發(fā)等多個部門，多種軟硬件的配合形成了一定的模式，這樣在一定程度上可以降低項目落地后出現(xiàn)問題的概率。

對于一些中小型的集成公司，團隊人員更迭或者甲方需求多變的時候，一個好的任務(wù)分解和方案供應(yīng)管理方法可以很好地提升協(xié)作效率，避免扯皮，從而提升項目落地的把控能力，降低風險[1]。

高內(nèi)聚低耦合，本來是軟件工程中的概念，是判斷軟件設(shè)計好壞的標準，通常程序結(jié)構(gòu)中各模塊的內(nèi)聚程度越高，模塊間的耦合程度就越低。本文提出了系統(tǒng)集成中的低耦合設(shè)計與管理思路，并認為交互多媒體系統(tǒng)集成也適用于此原理，系統(tǒng)的各個分解模塊只有低耦合設(shè)計，才能使得項目團隊更好地協(xié)作共生。

本文針對交互多媒體項目中常見的交互裝置的管理，以及相關(guān)裝置和軟件、內(nèi)容、傳輸及終端音視頻設(shè)備的配合模式，提出低耦合的開發(fā)和管理的理念，用于指導(dǎo)項目分解的模式，以期提升行業(yè)的細化分工和促進多團隊的有效協(xié)作。

2 常見的交互裝置

2.1常見的交互裝置

近年來，多媒體展覽展示越來越向著沉浸式交互和創(chuàng)意交互方向發(fā)展，多種社交媒體的出現(xiàn)也大大提升了大眾對于交互多媒體的認知，各地文化展館、文旅小鎮(zhèn)的交互多媒體展項層出不窮[2]。大型展覽中的多媒體交互不再像桌面小游戲一樣，通過鼠標鍵盤的操作進行交互，而是更多地借由融入外部環(huán)境的定制化裝置中。

無論內(nèi)容創(chuàng)意多么玄妙，裝置外觀多么奇特，交互手段對影像的影響多么巨大，目前，交互多媒體行業(yè)的經(jīng)常用到的比較成熟的交互裝置，按照技術(shù)實現(xiàn)方式基本上分為以下幾類[3]。

（1）觸覺反饋裝置類。

（2）力覺反饋裝置類。

（3）位置、溫度、濕度等傳感器類。

（4）圖像、語音識別類。

（5）數(shù)據(jù)手套、數(shù)據(jù)衣等空間姿態(tài)捕捉類。

不同類別的交互裝置的表現(xiàn)形式，可能會以獨立的產(chǎn)品出現(xiàn)，也可能會以組件的方式進入其他系統(tǒng)中，通過不同類型的環(huán)境結(jié)構(gòu)進行固定、安裝和布線連接。在交互多媒體項目的實踐中，交互裝置可以獨立存在，也可以由開發(fā)方與現(xiàn)有管理系統(tǒng)進行對接或嵌入開發(fā)。交互裝置能否獨立存在，取決于該交互器件與開發(fā)的耦合屬性的強弱，進而決定了項目管理過程中分包拆分管理的可能性。

2.2 低耦合屬性分析

以上所述的各種設(shè)備，并非都具有低耦合的天然基因。在項目分解時，針對上述設(shè)備的軟件交付，有些必須完全由開發(fā)方打包在一起進行開發(fā)，甚至要進行現(xiàn)場軟硬件聯(lián)調(diào)，才可以實現(xiàn)功能。低耦合屬性比較明顯的是通斷類設(shè)備，模擬量傳感器類設(shè)備，以及實現(xiàn)了數(shù)據(jù)封裝，具有操作系統(tǒng)底層驅(qū)動的設(shè)備。

觸摸框是一種典型的低耦合屬性的設(shè)備，一般此類設(shè)備就像鼠標鍵盤一樣，通過USB連接到操作系統(tǒng)后，即可實現(xiàn)基于操作系統(tǒng)的全屏觸摸，所有的程序運行時也可以調(diào)用觸摸響應(yīng)。一部分手柄也做到了標準化匹配，通過面板初始化后，可以適配大多數(shù)程序。

還有一種典型的低耦合屬性的裝置是開關(guān)類設(shè)備，如按鈕觸發(fā)，通過觸點接觸實現(xiàn)0-1或1-0的跳變，向軟件通告狀態(tài)改變。重力感應(yīng)觸發(fā)的音樂地磚也是如此，傳統(tǒng)的重力感應(yīng)地磚踩踏后亮起或播放音樂，在和交互軟件對接時，還可以同時觸發(fā)軟件中的場景變化。

其他類別的設(shè)備耦合屬性和擬調(diào)用的模式有關(guān)，如旋鈕觸發(fā)，既可以是模擬量，也可以是開關(guān)量，實時驅(qū)動場景變化時，多媒體內(nèi)容會隨著模擬量的實時采集數(shù)值，按照某種規(guī)則轉(zhuǎn)化成為連續(xù)數(shù)據(jù)，影響場景變化。若旋鈕作為時間驅(qū)動，可以引起三維場景中的光照連續(xù)變化。此時，開發(fā)者需要連接到裝置進行開發(fā)調(diào)試才能更好地完成交付。

當旋鈕作為開關(guān)量時，僅需要設(shè)定閾值后，對外輸出信號跳轉(zhuǎn)即可，類似于單按鈕觸發(fā)，此時耦合性比較低，開發(fā)者只需要從外接指定端口獲取一個跳變的數(shù)值即可。

聲音觸發(fā)中，簡單的聲音傳感器一般是識別音量，音量是開關(guān)量，高于閾值則觸發(fā)輸出，樓宇走廊的聲控燈采用的就是類似機理。

提前建立問答庫的語音識別模塊也是開關(guān)量，基于公有云的語義識別，雖然在開發(fā)時較為復(fù)雜，但往往在交互多媒體結(jié)合時也是轉(zhuǎn)化為特定場景的驅(qū)動，這兩種都相當于以模式識別為目標的多開關(guān)量的管理，類似于多按鈕觸發(fā)。

凡是可以類似于開關(guān)量的觸發(fā)，都是低耦合屬性較強的裝置，完全可以實現(xiàn)裝置管理和軟件開發(fā)的分離。

凡是需要通過實時數(shù)據(jù)和軟件進行交互的裝置，低耦合屬性就會較差。

例如，數(shù)據(jù)手套對于模擬抓取程序的開發(fā)（見圖1），由于所呈現(xiàn)影像的渲染需要數(shù)據(jù)手套的實時數(shù)據(jù)，數(shù)據(jù)手套與開發(fā)方捆綁度很高，一般由一個團隊完成。數(shù)據(jù)衣驅(qū)動實時骨骼動畫也是如此，此類裝置的低耦合條件較差。

在某種需求條件下，此類低耦合條件較差的裝置也可以進行低耦合設(shè)計，此類需求往往不需要實時數(shù)據(jù)（見圖2），而是需要模式型數(shù)據(jù)（見圖3）。

例如，Leapmotion（手勢互動模塊）在進行切換控制時，可以將左、右揮手，上、下?lián)]手，部分手勢姿態(tài)模式化，封裝成為模式序號輸出，就可以作為獨立的接口狀態(tài)的模組出現(xiàn)，對接到不同種類的軟件響應(yīng)。此時，多模式輸出的設(shè)計類似于多個按鈕開關(guān)量的組合管理[4-5]。

綜上所述，需要實時驅(qū)動內(nèi)容的交互裝置低耦合設(shè)計屬性較差，而當此類設(shè)備的信號轉(zhuǎn)變?yōu)槟Ｊ阶R別是，便具備了低耦合屬性的開發(fā)條件。

3 交互裝置的IO管理模式

3.1 傳統(tǒng)的中控管理方式

展覽展示項目中，中控系統(tǒng)使用率較高，純硬件式中控管理一般會有一個中控主機，是控制系統(tǒng)的核心，所有的外設(shè)通過有線（網(wǎng)線或其他總線）或無線連接完成硬件連接，通過中控程序部署，管理所有的二級設(shè)備和終端設(shè)備，完成整個系統(tǒng)的開啟和關(guān)閉、系統(tǒng)的模式切換管理、內(nèi)容選擇、環(huán)境燈光以及窗簾外設(shè)的控制等。

此類系統(tǒng)的優(yōu)勢是系統(tǒng)穩(wěn)定，上電即用，適合設(shè)備空間分布較廣，種類和數(shù)量較多的環(huán)境，缺點是布線復(fù)雜，主要面向設(shè)備通信，與創(chuàng)意內(nèi)容的交互結(jié)合不便。

在一些簡單的控制環(huán)境中，中控系統(tǒng)會通過單一的定制化程序?qū)崿F(xiàn)，行業(yè)通常稱之為軟中控，一般是系統(tǒng)復(fù)雜度不高，各個受管理設(shè)備都可以通過網(wǎng)絡(luò)通信實現(xiàn)響應(yīng)，一個與所有受控設(shè)備處于同一網(wǎng)絡(luò)中的平板電腦，內(nèi)嵌一個軟件中控程序，就可以實現(xiàn)整個系統(tǒng)的開啟關(guān)閉、模式切換等便捷的管理。

此類系統(tǒng)的優(yōu)勢是開發(fā)靈活，可以對接到內(nèi)容管理，缺點是由于需要基于操作系統(tǒng)設(shè)計，會受到操作系統(tǒng)及運行環(huán)境穩(wěn)定度的影響，在超大視頻類的光影展示項目中，涉及多機渲染和多畫面融合播控的場合，依然是此類系統(tǒng)為主，重要場合會有多機備份。

以上中控系統(tǒng)均可以實現(xiàn)部分通斷類信號的收集和轉(zhuǎn)發(fā)，但是硬件中控系統(tǒng)與軟件開發(fā)的連接能力較差，軟中控的實現(xiàn)靈活度會較高，可以用于簡單交互設(shè)備信號的獲取和轉(zhuǎn)發(fā)。

3.2 項目協(xié)作中的交互裝置管理模式

3.2.1交互裝置管理模塊的引入

可采用通用模塊實現(xiàn)獨立的裝置數(shù)據(jù)讀取和轉(zhuǎn)化的管理，如小型PC工控機，或者ARM類主機。如基于Arduino的模塊（見圖4），可以實現(xiàn)多種數(shù)字量和模擬量的監(jiān)測，通過代碼實現(xiàn)定義和輸出，硬件方式USB線纜連接到軟件主機即可。軟件開發(fā)者只需要了解如何初始化設(shè)備，從串口設(shè)備獲取的字段對應(yīng)何種信息，驅(qū)動內(nèi)容的變化即可[6]。

在此類場景中，外設(shè)傳感器可以和一些開發(fā)板形成套裝，進行監(jiān)測數(shù)據(jù)的標準化輸出，實現(xiàn)第三方軟件開發(fā)者的讀取，而不需要涉及交互硬件裝置的細節(jié)。

3.2.2軟件開發(fā)與交互裝置的通信

對于低耦合的裝置，由于有了獨立管理服務(wù)單元的存在，軟件開發(fā)只需要進行網(wǎng)絡(luò)或者串口初始化，讀取裝置的數(shù)據(jù)輸出，并按照雙方定義好的數(shù)據(jù)轉(zhuǎn)化為對應(yīng)的驅(qū)動數(shù)據(jù)，進行內(nèi)容的管理即可。

3.2.3傳輸模式管理方式

網(wǎng)絡(luò)、串口均可，對于多設(shè)備的通信管理，建議采用網(wǎng)絡(luò)方式進行，目前展館類項目中，設(shè)備之間采用有線連接的方式較多，控制平板可以采用無線入網(wǎng)的方式。

3.2.4交互裝置與服務(wù)器及音視頻系統(tǒng)的關(guān)系

在低耦合設(shè)計的思路下，最終多媒體項目中，各個組成部分的連接如圖5所示。

對于大空間、多展項的應(yīng)用，最外部依然是依靠傳統(tǒng)的中控系統(tǒng)，來完成整個系統(tǒng)的管理。

3.2.5獨立制作內(nèi)容在軟件中的配合處理方式

對于場景的控制，如果三維場景的模型需要根據(jù)交互數(shù)據(jù)發(fā)生變化，但管理模塊一般經(jīng)過整理后輸出的是固定模式的數(shù)據(jù)，需要進行第二次整理和優(yōu)化，以實現(xiàn)模型的聯(lián)動。二維場景制作時的內(nèi)容分層制作變得更加重要（見圖6），分層制作，有利于內(nèi)容的獨立分包，而不需要各個制作團隊完全了解軟件的實際需求，降低溝通成本[7]。

在此思路下，內(nèi)容制作時，固定背景按照時長和分辨率等要求進行輸出即可，互動元素可以采用序列幀的方式進行輸出，由軟件進行圖元在場景中的進入、退出和運動控制。這需要軟件方對內(nèi)容進行合理分組，從而在軟件嵌入的內(nèi)容制作管理上，實現(xiàn)了低耦合設(shè)計。

3.2.6針對環(huán)境適配的設(shè)計取舍

對于低耦合的設(shè)計來說，地面互動，應(yīng)該實現(xiàn)互動軟件和觸摸驅(qū)動的分離，最佳模式是多點互動識別在系統(tǒng)層完成，即桌面驅(qū)動實現(xiàn)多點捕捉，而與軟件無關(guān)，任何團隊開發(fā)的軟件全屏顯示，即可實現(xiàn)在裝置上的全局互動。

對于有拖拽、縮放等要求精度比較高的墻面互動，可采用紅外框進行觸摸設(shè)置，對于精度要求不高的互動可采用雷達類設(shè)備，此類設(shè)備基本都具有桌面驅(qū)動甚至Windows免驅(qū)。還有一種攝像頭方式，墻面互動也可以采用，但是此方式一般要求開發(fā)方了解裝置，進行統(tǒng)一的開發(fā)和調(diào)試。

近年來，一些景點人流量大的地面互動需求越來越多，對于此類項目，需要考慮避免裝置的損壞，因此這些場景的地面互動或者使用地磚LED屏（內(nèi)置傳感器），或者采用攝像頭的方式，高處安裝攝像頭，才能有效地避免設(shè)備損壞。所以室外基本上都會盡量避免在地表安裝互動裝置，而有運營管理的室內(nèi)展館，地面墻角的安裝方式也是較為常見的。

4? 低耦合系統(tǒng)設(shè)計趨勢與展望

近年來，展覽展示系統(tǒng)集成發(fā)展過程中，交互多媒體的實現(xiàn)手段越來越多，項目從相對獨立的軟件集成、硬件集成，逐漸過渡到了以創(chuàng)意為先的軟硬件融合設(shè)計和落地。

在行業(yè)實踐中，需求方越來越傾向于短鏈合作，承接項目總包管理的團隊也逐漸過渡到首先具有某一方向?qū)I(yè)技能的團隊，比如專業(yè)內(nèi)容創(chuàng)作團隊、空間裝飾裝潢團隊、顯示硬件團隊、軟件開發(fā)團隊，他們都面臨著從供應(yīng)商到總包的轉(zhuǎn)換嘗試，而出于商業(yè)保護的目的，不同團隊的技術(shù)融合和對接的模式發(fā)展極為緩慢。各自為戰(zhàn)的集成等同于模塊的強行捏合，導(dǎo)致很多項目經(jīng)理只能成為終端需求與分包協(xié)作團隊的傳話筒，無法有效地把關(guān)各個輸出，也無法對最終結(jié)果負責。

本文提出的低耦合項目設(shè)計和管理思路，是第一次被引入多媒體交互項目中，僅從交互裝置和其他模塊的配合方向進行了展開說明，并未對其他系統(tǒng)間關(guān)聯(lián)進行說明。實際上，在處理系統(tǒng)、傳輸系統(tǒng)與終端設(shè)備的設(shè)計，控制系統(tǒng)與不同系統(tǒng)的協(xié)作中都可以采用低耦合的設(shè)計思路進行任務(wù)分解和設(shè)計落地。理解低耦合的項目設(shè)計和管理思想，可以有效地降低項目管理的門檻，整合團隊的核心競爭力，促進行業(yè)細分，推動所見即所得的項目落地，提升甲方的項目滿意度。

相信隨著行業(yè)的發(fā)展，行業(yè)內(nèi)各個方向團隊的專業(yè)度越來越高，產(chǎn)品和方案的范圍也會越來越多地考慮到生態(tài)協(xié)作，考慮到接口通信、數(shù)據(jù)模式定義等輸入輸出的適配度，從而推動行業(yè)從方案設(shè)計端到開發(fā)端的全面升級。

5? 結(jié)語

本文推出了交互多媒體項目方案設(shè)計與管理中的低耦合管理思路，并重點針對交互裝置的設(shè)計與管理進行闡述，以點帶面，對整個交互多媒體項目的管理思想進行了規(guī)范化引導(dǎo)，促進分包與協(xié)作，提升專業(yè)團隊的精細化運作，讓高大上的交互多媒體項目從設(shè)計到落地，真正地實現(xiàn)所見即所得，以更高的性價比服務(wù)于各行各業(yè)。

參考文獻

[1]馮勝強.簡析系統(tǒng)集成服務(wù)與系統(tǒng)集成技術(shù)[J].信息化建設(shè)，2021（7）：63.

[2]林建偉，吳凡.交互新媒體技術(shù)在展覽展示空間的應(yīng)用[J].數(shù)字技術(shù)與應(yīng)用，2018，36（11）：107-108.

[3]沈瑩，張林.新式交互設(shè)備在人機交互技術(shù)課程中的應(yīng)用[J].計算機教育，2017（9）：74-76.

[4]陳立，李穎昉，劉志遠，等.虛擬現(xiàn)實交互游戲中的手勢識別[J].科技創(chuàng)新與應(yīng)用，2019（20）：22-24.

[5]翟朋輝，王靜怡.一種簡易手勢識別裝置[J].山東工業(yè)技術(shù)，2019（12）：154.

[6]斯琴其木格，田英愛，高丹陽，等.基于Arduino的多重手勢識別傳感器的設(shè)計與實現(xiàn)[J].數(shù)字技術(shù)與應(yīng)用，2019，37（11）：134-137，139.

[7]李嫻.多屏數(shù)字動畫的多媒體交互系統(tǒng)設(shè)計研究[J].藝術(shù)科技，2018，31（11）：86.

作者簡介：王宏煒（1981—），男，碩士，工程師，研究方向為交互多媒體、VR、AR、5G應(yīng)用。