金永寧
一、前言
我們經(jīng)常在一些影視劇中看到這樣的場景:通過3D立體成像或投影,人可以在空氣中操作數(shù)字化內(nèi)容。當(dāng)前這類影片都是后期采用數(shù)字化方法把這類場景加入原始影片的,仔細(xì)回想一下,我們兒時(shí)很多的科幻場景現(xiàn)在都已經(jīng)變成了現(xiàn)實(shí),比如手機(jī)和互聯(lián)網(wǎng)等等。然而,通過處理人的行為,尤其是在沒有輸入或者穿戴設(shè)備的情況下對(duì)程序進(jìn)行控制的技術(shù)已經(jīng)悄然融入在人們的生活中,這種技術(shù)統(tǒng)稱為自然交互技術(shù)。
二、自然交互概論
下面先來簡要介紹一下計(jì)算機(jī)用戶界面發(fā)展的三個(gè)階段:
第一個(gè)階段是命令行界面(Command-line Interface,簡稱 CLI),通過使用命令行向機(jī)器發(fā)命令,完成相應(yīng)的操作,如Microsoft的DOS操作系統(tǒng),這種方式是需要用戶有編程能力(Codified)且思維邏輯嚴(yán)謹(jǐn)(Strict);第二階段叫作圖形用戶界面(Graphical User Interface,簡稱GUI),即用圖形界面和計(jì)算機(jī)進(jìn)行交互,如微軟的Windows操作系統(tǒng),用戶需要了解哪種操作對(duì)應(yīng)哪種指令(如單擊鼠標(biāo)左鍵表明選中,雙擊鼠標(biāo)表明打開程序),用戶也可以通過對(duì)輸入設(shè)備的探索來完成對(duì)指令的學(xué)習(xí);第三階段即本文討論的自然用戶界面(NUI),通過更自然,更直接的方式來操作計(jì)算機(jī),直觀的說,使用NUI的計(jì)算機(jī)不需要鍵盤或鼠標(biāo)。
自然交互技術(shù),是支持自然用戶界面的技術(shù),包括硬件和軟件兩個(gè)方面,縱觀近10年來技術(shù)的發(fā)展,各種新型設(shè)備的出現(xiàn),科研機(jī)構(gòu)和軟件公司也在不停的進(jìn)行用戶習(xí)慣和交互手勢的研究,蘋果和三星還為此進(jìn)行了專利訴訟,用戶界面技術(shù)也在不停地發(fā)展。但是這些成果距離讓我們的操作變得更加“自然”還離得很遠(yuǎn),用戶要想順暢的使用這些設(shè)備也必須首先了解設(shè)備的使用方法,比如智能手機(jī)中的放大縮小操作,首先都必須進(jìn)行訓(xùn)練。
三、交互體感設(shè)備的發(fā)展及其比較
1.Microsoft Xbox Kinect
Kinect是微軟在2010年6月14日對(duì)XBOX360體感周邊外設(shè)正式發(fā)布的名字。Natal為開發(fā)代號(hào)。它是一種3D體感攝影機(jī),同時(shí)導(dǎo)入了即時(shí)動(dòng)態(tài)捕捉、影像辨識(shí)、麥克風(fēng)輸入、語音辨識(shí)、社群互動(dòng)等功能。玩家可以通過這項(xiàng)技術(shù)在游戲中開車、與其他玩家互動(dòng)、通過互聯(lián)網(wǎng)與其他Xbox玩家分享圖片和信息等。
Kinect的組成結(jié)構(gòu)如上圖所示,由3D深度傳感器,顏色攝像機(jī),麥克風(fēng)陣列和馬達(dá)云臺(tái)組成。3D深度傳感器由紅外激光結(jié)構(gòu)光設(shè)備搭建,可以實(shí)時(shí)獲得場景的深度信息,進(jìn)而可以對(duì)周圍環(huán)境進(jìn)行三維重構(gòu);顏色攝像機(jī)可以進(jìn)行圖像的采集,然后可以進(jìn)行對(duì)采集的影像進(jìn)行識(shí)別和檢測;麥克風(fēng)輸入可以進(jìn)行語音檢測;馬達(dá)云臺(tái)可以用來校正攝像機(jī)位置和仰角。
開發(fā)Kinect可以使用官方的SDK。該SDK主要針對(duì) Windows7設(shè)計(jì),內(nèi)含驅(qū)動(dòng)程序、原始感測數(shù)據(jù)流程式開發(fā)接口(Raw Sensor Stream sAPI)、自然用戶接口、安裝文件以及參考數(shù)據(jù)??勺屖褂肅++、C#或Visual Basic語言搭配Microsoft Visual Studio 2010工具開發(fā)使用。Kinect的開發(fā)也可以使用開源的自然交互庫OpenNI,其中包含了更多對(duì)手勢的識(shí)別和檢測的接口。
2.Asus Xtion PRO
Xtion PRO是華碩針對(duì)PC開發(fā)的一款體感設(shè)備,于2011年6月正式發(fā)布。Xtion PRO和Kinect一樣,使用PrimeSense公司的提供的方案,由3D深度傳感器和顏色攝像機(jī)來構(gòu)成對(duì)世界的三維重構(gòu)和對(duì)圖像的識(shí)別。Xtion PRO沒有馬達(dá)云臺(tái),麥克風(fēng)也比Kinect設(shè)計(jì)的要弱。
對(duì)于PC開發(fā)用戶來說,Kinect需要獨(dú)立的電源供電,Xtion PRO僅需要一條USB線。Xtion PRO的另一個(gè)特點(diǎn)是體積小,因此更適合小型家用計(jì)算機(jī)。OpenNI即Xtion Pro的原生開發(fā)工具,因此它比Kinect多了手勢檢測的功能。
3.Intel CREATIVE Camera
英特爾Intel公司新推出一款交互姿勢檢測攝像頭CREATIVE Camera,這種設(shè)備很小巧,只有一個(gè)普通攝像頭大小,可以方便的夾在筆記本上面,通過紅外結(jié)構(gòu)光構(gòu)建空間環(huán)境,對(duì)人的三維信息進(jìn)行解算和處理,從而作為一種輸入設(shè)備對(duì)計(jì)算機(jī)進(jìn)行控制。體積比Xtion更小,適合在筆記本上使用,且RGB 攝像頭達(dá)到720p的清晰度,要比Xtion和Kinect成像質(zhì)量更好。目前此產(chǎn)品的SDK已經(jīng)發(fā)布,但產(chǎn)品還沒有對(duì)外公布,因此并不知道實(shí)際測試的結(jié)果和性能,只能透過官方發(fā)布的參數(shù)信息來了解。
4.LEAP
LEAP是LEAP Motion公司于2012年年初發(fā)布的一款手勢控制設(shè)備,此款設(shè)備只有一包口香糖大小,通過USB連接電腦后可以創(chuàng)造出一個(gè)4立方英尺的工作空間。通過對(duì)此空間范圍內(nèi)的物體進(jìn)行精確的檢測生成高質(zhì)量的點(diǎn)云信息,可以分析手的行為和動(dòng)作來控制程序和操作系統(tǒng)。從已發(fā)布的操作視頻可以看到,LEAP性能很好,采集信息準(zhǔn)確且實(shí)時(shí)解算速度很快。2013年9月,在惠普最新推出了最新款的Envy 17 Leap MotionSE超極本中,集成了Leap Motion的手勢操控模塊,用戶可以通過手勢的操作控制計(jì)算機(jī),搭配指定的軟件,可以實(shí)現(xiàn)不少很有趣的功能,相比獨(dú)立的Leap Motion,整合在Envy 17掌托中的Leap Motion小了大約70%。
四、總結(jié)和展望未來交互技術(shù)的發(fā)展趨勢
縱觀交互技術(shù)的發(fā)展,人們趨向于更自然更酷更炫的交互體驗(yàn),廠商也在不遺余力的開發(fā)并對(duì)這些新技術(shù)進(jìn)行推廣,例如三星最新的Galaxy S4手機(jī)中使用的眼球翻頁技術(shù)。這類交互體感設(shè)備的推出,使得科幻電影中的人機(jī)交互場景成為可能。國內(nèi)的體感設(shè)備應(yīng)用現(xiàn)在還處在起步的階段,未來有可能會(huì)成為一種行業(yè)標(biāo)準(zhǔn),如果開發(fā)方式較容易且有趣,亦可以轉(zhuǎn)化為相關(guān)的交互設(shè)計(jì)課程。