馬寶元,趙歆波,彭明地
(西北工業(yè)大學(xué)計算機學(xué)院,西安710072)
航天員需要在近地軌道或天體表面脫離母船,執(zhí)行包括維修、裝卸、更換和回收各種有效載荷、組裝大型空間結(jié)構(gòu)(如空間站)和科學(xué)試驗等復(fù)雜任務(wù),這些任務(wù)的完成依賴于艙外航天服的信息管理、信息顯示和控制功能。目前,出艙活動過程的支持主要依賴出艙航天員與艙內(nèi)航天員或地面任務(wù)支持中心的語音聯(lián)絡(luò),艙外航天服為航天員提供的實時信息支持極為有限,影響了出艙活動的有效展開[1]。因此,開發(fā)具備視聽一體化的實時通信顯示系統(tǒng)和多通道人機交互系統(tǒng)成為保障艙外任務(wù)順利完成的必要手段。
近年來,國內(nèi)外研究機構(gòu)均對艙外航天服的頭戴式信息顯示系統(tǒng)進行了科研探索,例如楊新軍等人依據(jù)我國艙外服頭盔的結(jié)構(gòu)特點開發(fā)了穿透型航天員艙外頭盔信息顯示系統(tǒng)[2];美國洛克西德馬丁公司為NASA研制了頭盔型艙外航天服信息微顯示系統(tǒng)原型[3]。這類頭戴式顯示系統(tǒng)雖然能夠提供文字、圖表和視頻等信息,但操作人員僅能通過實體按鍵控制器對系統(tǒng)進行控制。隨著出艙活動的復(fù)雜化,實體按鍵控制器(需要手操作)影響了出艙活動的工作效率。因此,可以將解放雙手的眼動交互技術(shù)引入對頭戴式信息顯示系統(tǒng)的控制系統(tǒng),實現(xiàn)多通道的人機交互。眼動交互技術(shù)是一種利用計算機和圖像處理對視線進行精確跟蹤、利用視線信息完成人機交互的新技術(shù)[4]。目前眼動交互技術(shù)主要應(yīng)用于殘疾人輔助設(shè)備和軍事領(lǐng)域,例如,李姍等利用眼動交互技術(shù)設(shè)計了面向殘障人士的繪畫系統(tǒng)[5];美國相關(guān)研究機構(gòu)將眼動跟蹤技術(shù)應(yīng)用于新一代戰(zhàn)斗機(F?35) 飛行員頭盔[6]、實現(xiàn)武器的自動瞄準(zhǔn)[7]等。但是,目前國內(nèi)外鮮有將眼動交互技術(shù)應(yīng)用于艙外航天服設(shè)計的公開研究內(nèi)容。
因此,本文提出一種將頭戴式顯示技術(shù)(Head?Mounted Display,HMD)和眼動交互技術(shù)引入艙外航天服的設(shè)計方案,利用HMD設(shè)備實現(xiàn)增強現(xiàn)實(Augmented Reality,AR)的信息顯示功能,設(shè)計一種基于注視停留時間觸發(fā)和長眼跳觸發(fā)的眼動交互模式,通過眼動交互設(shè)備及軟件實現(xiàn)航天員的眼控人機交互,為下一代先進艙外航天服的人機交互技術(shù)奠定基礎(chǔ)。
由于出艙航天員在執(zhí)行維修、裝卸、更換和回收各種有效載荷等復(fù)雜任務(wù)時,現(xiàn)有的語音指揮系統(tǒng)不足以提供大量的實時輔助信息;艙外航天服的實體按鍵需要航天員用手操作,降低了出艙任務(wù)的工作效率。因此,本文引入HMD和眼動交互技術(shù)為航天員提供文字、圖表和視頻等多媒體信息,使航天員在執(zhí)行任務(wù)時雙手被占用的情況下也能基于HMD界面對艙外航天服做出有效的控制,輔助航天員完成各種復(fù)雜任務(wù)。
眼動交互技術(shù)的實現(xiàn)在硬件方面依賴于HMD和眼動儀,考慮到航天頭盔內(nèi)頭戴式設(shè)備的佩戴舒適度,本文將HMD設(shè)備集成到眼鏡式眼動儀的結(jié)構(gòu)設(shè)計,具體硬件架構(gòu)如圖1所示,將眼動跟蹤模塊、場景圖像采集模塊和增強現(xiàn)實顯示模塊集成到眼鏡式框架上,同時利用3D打印成型技術(shù)完成硬件框架加工。為保證眼動跟蹤的準(zhǔn)確性,頭戴式眼動儀的場景圖像采集模塊與增強現(xiàn)實顯示模塊的位置相對固定,只需要對兩個模塊進行一次標(biāo)定運算就能得到場景相機與虛擬投影面的坐標(biāo)轉(zhuǎn)換關(guān)系。
圖1 頭戴式眼動儀硬件架構(gòu)Fig.1 The hardware architecture of head?mounted eye tracker
本文依托集成HMD的眼動儀設(shè)計了眼動交互的總體方案。首先通過眼動跟蹤算法得到的視點信息,然后對視點信息進行預(yù)處理,最后根據(jù)設(shè)計的基于注視停留時間觸發(fā)和長眼跳觸發(fā)的眼動交互模式來進行交互系統(tǒng)測試。航天員通過規(guī)定的眼睛運動方式對HMD界面進行人機交互,如眼動實現(xiàn)界面菜單和按鈕的選擇與觸發(fā)、眼動控制維修手冊的翻頁、眼動控制視頻請求與關(guān)閉等。方案流程如圖2所示。
圖2 眼動交互方案流程圖Fig.2 Flowchart of eye movement interaction
考慮到眼動交互作為一種面向用戶的人機交互方式,為了驗證眼動交互的可行性,從以下方面對眼動交互系統(tǒng)進行試驗驗證:1)眼動交互的準(zhǔn)確性、實時性;2)用戶對眼動儀及眼動交互方式的滿意度。
眼動跟蹤的準(zhǔn)確性與實時性嚴(yán)重制約了眼動交互的準(zhǔn)確性與實時性,本文硬件上使用頭戴式眼動儀,保證了頭部與硬件測量設(shè)備相對靜止,可以獲得較高的測量精度。軟件設(shè)計選擇成熟的眼動跟蹤算法——瞳孔?角膜反射向量法[8?9]。 眼動儀對佩戴者者侵?jǐn)_程度小,算法耗時短,并可獲得較精確的視線方向。眼動跟蹤需獲取兩個重要特征:紅外光源下獲得的清晰瞳孔圖像以及紅外光源反射在角膜上的亮斑。在眼動儀與頭部的相對位置保持不變的情況下,利用角膜反射亮斑作為參照量,獲取與瞳孔中心的方向向量來確定眼動跟蹤注視點。其基本流程如圖3所示,通過一個標(biāo)定的過程得到場景中注視點位置與眼部特征參數(shù)的映射關(guān)系,然后實時獲取眼部特征參數(shù)來獲得注視點位置。
圖3 眼動跟蹤算法流程圖Fig.3 Flowchart of eye tracking algorithm
人眼的眼球漂移和微小震動等生理特性會降低視線跟蹤的準(zhǔn)確性[10],所以在眼動交互前需要進行眼動數(shù)據(jù)預(yù)處理。眼動交互系統(tǒng)需要的有意義的數(shù)據(jù)主要有注視(fixation)和眼跳(saccade)兩種運動,其主要表征如表1所示[10]。為了從原始數(shù)據(jù)中提取出所需的兩種運動信息,須對眼動數(shù)據(jù)進行預(yù)處理,具體操作有去噪濾波,剔除無效信息,合并微型眼跳等。
表1 注視及眼跳特征[10]Table 1 The characteristics of fixation and saccade[10]
在眼動信息預(yù)處理階段,眼睛的不自主震顫會導(dǎo)致原始眼動注視點在某一位置產(chǎn)生抖動的現(xiàn)象,由于注視停留時間的觸發(fā)方式對系統(tǒng)的注視點精確性敏感,此現(xiàn)象會造成用戶體驗差的后果。由此我們在預(yù)處理時利用均值濾波g(x,y,t) =∑f(x,y,t) (其中,m 為當(dāng)前參與均值濾波處理的數(shù)據(jù)總數(shù), f(x,y,t) 為原始眼動注視點數(shù)據(jù),g(x,y,t) 為經(jīng)濾波處理后的注視點數(shù)據(jù))的數(shù)據(jù)處理方式消除了這種視覺上的劇烈抖動,并且保證了系統(tǒng)注視點的精確性,但這樣不可避免的導(dǎo)致運動中注視點的信息精準(zhǔn)度下降,我們的目標(biāo)為在注視點的精確性和下降的信息精準(zhǔn)度之間尋找一個最佳的折中。我們分別將去抖動濾波窗口設(shè)置為 0.5 s時長、0.8 s時長、1 s時長、1.2 s時長和1.5 s時長進行眼動注視行為試驗,發(fā)現(xiàn)當(dāng)窗口大小設(shè)置為0.5 s時長時,用戶會感覺到注視點的劇烈抖動;而當(dāng)窗口大小設(shè)置為1.5 s時長時,用戶會感覺到注視點在跳躍時有明顯的延時現(xiàn)象,造成系統(tǒng)不精確的主觀印象;當(dāng)濾波窗口設(shè)置為約1 s時長數(shù)據(jù)區(qū)域時,用戶主觀上不會感受到注視點的抖動現(xiàn)象和注視點跳躍時的延時現(xiàn)象,獲得了較好的用戶體驗。
眼動交互是一種利用眼睛的運動信息實現(xiàn)人機交互的方式,具有比常規(guī)交互方式(如手持操作設(shè)備交互)更直接,更符合人類思維習(xí)慣的優(yōu)點。對增強現(xiàn)實顯示界面的控制需要采用命令式交互的模式[5],利用眼動交互系統(tǒng)中的眼動儀得到的原始眼動數(shù)據(jù),進行數(shù)據(jù)處理后,判斷命令觸發(fā)條件,觸發(fā)交互命令。本文基于注視和眼跳等眼動信息設(shè)計了兩套眼控觸發(fā)方式,用戶可自主選擇使用長眼跳觸發(fā)或注視停留觸發(fā)兩種方式進行交互。
3.3.1 對角線式的長眼跳眼動交互方式
通過規(guī)定用戶的眼動點有序地在多個界面對象上進行跳躍來產(chǎn)生命令,這種眼動交互輸入機制僅僅依賴于界面對象之間的相對位置關(guān)系,對眼動設(shè)備的精確度不敏感。
眼動交互系統(tǒng)中,眼動信息在經(jīng)過預(yù)處理后,需要判斷是否為長眼跳狀態(tài)。規(guī)定眼跳交互的起始功能區(qū)為S區(qū),終止功能區(qū)為T區(qū),兩者滿足對角線方位,如圖4所示;眼跳起點和終點分別為s x,y( )和 t x,y( )。 判斷眼跳的起點 s x,y( )和終點t x,y( )是否落入相應(yīng)的功能區(qū)S區(qū)和T區(qū)(即對角線圓圈)內(nèi),若符合,則執(zhí)行眼動命令,算法流程圖如圖5所示。
圖4 對角線式長眼跳觸發(fā)界面對象示意圖Fig.4 The diagram of diagonal long saccade trigger interface
圖5 長眼跳觸發(fā)算法流程Fig.5 The process of long saccade trigger algorithm
3.3.2 注視時間觸發(fā)方式
當(dāng)用戶注視界面中某些對象超過一定時間閾值時,系統(tǒng)會觸發(fā)相應(yīng)的功能做出響應(yīng)。將注視點停留時長設(shè)置為100~1500 ms的可調(diào)參數(shù),由于不同的用戶對眼動操作的熟練程度不同,可根據(jù)主觀感受選擇參數(shù)。若注視時長過短的話很容易造成誤操作,注視時長過長的話造成用戶體驗很差,所以要找到一個合適的注視時長閾值達到較好的用戶體驗,基于注視的眼動交互對于用戶認(rèn)知有較小的負荷,符合用戶的使用習(xí)慣,本系統(tǒng)利用眼動注視在增強現(xiàn)實顯示界面能夠?qū)崿F(xiàn)菜單的喚醒與隱藏,二級菜單項觸發(fā),文檔的查看與翻閱以及視頻通信等功能。算法流程如圖6所示。
考慮到人在認(rèn)知過程中不能同時處理大量的信息,需要對信息進行了一定的選擇和加工,因此交互界面顯示的信息不宜過多造成人的視覺及認(rèn)知上的疲憊感[11]。根據(jù)人眼的注視特性,人眼在注視某一點時,并非完全靜止,包含微小眼跳、眼球漂移、微型震動等,即一個不超過1°視角的微小區(qū)域。當(dāng)用于交互方式設(shè)計時,交互功能區(qū)域不應(yīng)小于1°。本文為保證交互的流暢性和系統(tǒng)的準(zhǔn)確性,將功能區(qū)域設(shè)置為1.5°視角范圍;并在交互系統(tǒng)中加入了錯誤反饋機制,該機制可使錯誤觸發(fā)恢復(fù)至上一狀態(tài)。
圖6 注視點觸發(fā)算法流程Fig.6 The process of fixation stay trigger algorithm
系統(tǒng)的主要界面包括兩部分,分別為后臺監(jiān)控主界面和前端投影界面。后臺監(jiān)控主界面主要由場景圖像監(jiān)控區(qū)域、眼部圖像監(jiān)控區(qū)域和控制面板等組成,如圖7所示??刂泼姘蹇赏瓿傻墓δ苡校航ⅲ瘮嚅_通信連接,眼動數(shù)據(jù)處理參數(shù)調(diào)節(jié),定標(biāo)提示,九點標(biāo)定及結(jié)果的保存與讀取,實時數(shù)據(jù)顯示(亮斑中心、瞳孔中心、場景注視點、虛擬場景注視點和眼控交互狀態(tài)顯示等)。
圖7 后臺監(jiān)控主界面Fig.7 The main monitoring interface of backstage supporter
前端投影界面顯示虛擬場景信息及疊加的AR信息,其中虛擬場景信息是由系統(tǒng)初始化設(shè)定的信息,如圖8(a)所示,疊加的AR信息為系統(tǒng)在眼動命令觸發(fā)后依照功能需求顯示的信息,如圖8(b)~(d)所示。佩戴者實際視野展示如圖8(e)~(f)所示。功能需求包括主菜單的顯示與隱藏,一級菜單與二級菜單的觸發(fā),文檔的翻頁和視頻通信等。
圖8 前端投影界面Fig.8 Front projection screen
為驗證眼動交互方法的可行性與準(zhǔn)確性,開發(fā)頭戴式眼動儀(圖9(a))、搭建硬件平臺及實現(xiàn)測試軟件對眼動交互方法進行模擬驗證。
在驗證系統(tǒng)中頭戴式眼動儀與航天員身上攜帶的可穿戴計算機相連,用于數(shù)據(jù)的采集與傳輸;光學(xué)透視式投影顯示模塊,將計算機處理后的AR畫面實時投影到航天員前方投影面上,便于航天員與后臺進行交互;用于模擬空間站/地面站的后臺計算機通過無線網(wǎng)絡(luò)傳輸?shù)男问剑邮諄碜钥纱┐饔嬎銠C的眼部圖像和場景圖像并進行處理。整個軟件以客戶端/服務(wù)器端的形式實現(xiàn),客戶端采集到的眼部圖像和場景圖像經(jīng)圖像傳輸模塊傳輸?shù)椒?wù)器端進行預(yù)處理與眼動跟蹤計算得到注視點,最終實現(xiàn)基于注視點完成眼控交互測試任務(wù)。驗證系統(tǒng)搭建如圖9(b)所示。
考慮到本系統(tǒng)的主要目的在于眼控交互功能的實現(xiàn),令用戶參與到可用性評估[12]中,所以系統(tǒng)的可用性評估由眼控人機交互的實時性、準(zhǔn)確性和用戶滿意度決定。
圖9 頭戴式眼動儀及原理驗證系統(tǒng)Fig.9 Head mounted eye tracker and the principle of verification system
系統(tǒng)選用30 FPS的眼部攝像機和300 M無線USB網(wǎng)卡,視線估計算法用時約32±5 ms,能夠以25幀/s的速度獲取注視點,達到了實時性的要求。視線跟蹤的準(zhǔn)確度可用式(1)所示跟蹤誤差來衡量[10]:
其中,H為被測者到測試目標(biāo)所在平面的距離,α為允許的誤差視角,R為目標(biāo)所在平面上估算視線與真實視線的誤差圓半徑。本文將眼控交互功能觸發(fā)區(qū)域半徑設(shè)置為α為1°對應(yīng)的誤差圓半徑R,統(tǒng)計其功能觸發(fā)的正確率作為系統(tǒng)的準(zhǔn)確性評估。
為了評估系統(tǒng)的準(zhǔn)確性和用戶滿意度,本文招募了30名測試者來完成以下測試任務(wù),各個測試者視力情況均正常,統(tǒng)計測試結(jié)果并通過調(diào)查問卷的方式收集用戶的滿意度信息。
1)測試者佩戴眼動儀分別在不同注視時長閾值(100~1500 ms)下完成了10輪眼控觸發(fā)的試驗,并對主菜單的顯示與隱藏,一級菜單與二級菜單的觸發(fā),文檔的前后翻頁及關(guān)閉和視頻通信及關(guān)閉共計11個控制對象的準(zhǔn)確率進行了統(tǒng)計,結(jié)果如圖10所示。
圖10 不同注視時間閾值下的準(zhǔn)確率Fig.10 The accuracy rate of different fixation time
結(jié)果顯示,注視停留時間越長,功能觸發(fā)的準(zhǔn)確率越高,但是時間越長用戶體驗也就越差,給用戶留下系統(tǒng)延時太高的主觀印象。注視停留時間越短的話,功能觸發(fā)的錯誤率越高,由于不同的用戶的適應(yīng)能力不同,導(dǎo)致在不同時間閾值下的錯誤率不同。
2)針對長眼跳觸發(fā)的可用性評估,30名測試者佩戴眼動儀完成了長眼跳觸發(fā)實現(xiàn)文檔的前后翻頁功能測試且每名測試者有間隔的完成了10輪測試,將文檔的主對角線方向的長眼跳設(shè)置為向前翻頁,而副對角線方向設(shè)置為向后翻頁,分別統(tǒng)計了10輪測試中的功能觸發(fā)的準(zhǔn)確率,結(jié)果如圖11所示。
圖11 10輪測試下長眼跳觸發(fā)準(zhǔn)確率Fig.11 The accuracy rate of long saccade trigger in 10 rounds
隨著測試輪數(shù)的推進,系統(tǒng)長眼跳觸發(fā)的準(zhǔn)確率在慢慢增加至80%以上,這符合人的認(rèn)知規(guī)律,長眼跳觸發(fā)需要經(jīng)過學(xué)習(xí)訓(xùn)練來達到提高準(zhǔn)確率的目的。
3)對調(diào)查問卷進行統(tǒng)計,30名測試者佩戴眼動儀完成測試后對系統(tǒng)進行打分,分別就頭戴式眼動儀外觀及佩戴舒適程度、交互系統(tǒng)界面、注視停留時間觸發(fā)功能和長眼跳觸發(fā)功能的滿意程度進行主觀評價,每項打分均為10分制。對調(diào)查結(jié)果進行統(tǒng)計得到平均滿意度如表2所示。
表2 用戶主觀評價Table 2 User subjective evaluation
通過測試結(jié)果數(shù)據(jù)分析可知:測試者對系統(tǒng)的整體表現(xiàn)基本滿意,系統(tǒng)能夠?qū)崿F(xiàn)視線跟蹤;功能觸發(fā)的總的正確率為90%以上;用戶能及時搜索到交互對象,即界面設(shè)計滿足規(guī)范性與易理解性;綜上所述,面向艙外航天服的頭戴式眼動交互系統(tǒng)實現(xiàn)了所需功能,交互錯誤率低,用戶滿意度高,且界面友好,易于掌握。
本文基于HMD和眼動交互技術(shù)設(shè)計的面向艙外航天服的頭戴式眼動交互系統(tǒng)的可行性通過得到了驗證?;谧⒁曂A魰r間和長眼跳觸發(fā)相應(yīng)控制命令,佩戴者能通過眼動命令準(zhǔn)確地對HMD界面的圖標(biāo)、菜單和按鈕進行控制,眼動觸發(fā)功能的準(zhǔn)確率達到90%以上。
眼動交互為艙外活動提供了一種新穎的人機交互方式,兼具魯棒性與可靠性,滿足了人機交互系統(tǒng)中眼控觸發(fā)靈敏、交互界面友好和用戶滿意度高等需求,具有較好的應(yīng)用前景。
[1] 周曉晶,李潭秋,夏林根,等.可穿戴計算機及其在先進艙外航天服中的應(yīng)用[J].載人航天,2009,15(2):10?15.
Zhou Xiaojing, Li Tanqiu, Xia Lingen, et al.Application of wearable computer for advanced extravehicular activity space suit[J].Manned Spaceflight, 2009, 15(2):10?15.(in Chi?nese)
[2] 楊新軍,吳華夏,余曉芬,等.穿透型航天員艙外頭盔信息顯示系統(tǒng)[J].紅外與激光工程,2010,39(2):241?245.
Yang Xinjun, Wu Huaxia, Yu Xiaofen,et al.Helmet?mount?ed display system for supporting extravehicular activity of as?tronaut[J], Infrared and Laser Engineering, 2010, 39(2):241?245.(in Chinese)
[ 3 ] Marmolejo J A.Helmet?mounted display and associated re?search activities recently conducted by the NASA Johnson Space Center[C] //Helmet?and Head?Mounted Displays and Symbology Design Requirements.International Society for Op?tics and Photonics, 1994, 2218: 281?292.
[4] 王向軍,蔡方方,劉峰,等.非接觸動態(tài)實時視線跟蹤技術(shù)[J].計算機科學(xué)與探索,2015,9(3): 266?278.
Wang Xiangjun, Cai Fangfang, Liu Feng, et al.Non?contact dynamic real?time eye tracking technology[ J].Journal of Frontiers of Computer Science and Technology, 2015, 9(3):266?278.(in Chinese)
[5] 李姍,潘綱,李石堅.面向殘障人士的基于眼動交互的繪畫系統(tǒng)[J].電子學(xué)報, 2011, 39(S1): 163?167.
Li Shan, Pan Gang, Li Shijian, et al.Eye?controlled painting system for disabled[J].Acta Electronica Sinica, 2011, 39(S1): 163?167.(in Chinese)
[6] 賈宏博,師國偉,姚欽.眼動跟蹤技術(shù)及其在軍事領(lǐng)域的應(yīng)用[J].航天醫(yī)學(xué)與醫(yī)學(xué)工程,2016, 29(5):385?390.
Jia Hongbo, Shi Guowei, Yao Qin.Eye tracking technology and its application on military[J].Space Medicine & Medical Engineering, 2016, 29(5): 385?390.(in Chinese)
[7] 尹露,王雨婷,羅斌,等.基于眼動跟蹤的自動瞄準(zhǔn)技術(shù)研究[J].兵工學(xué)報, 2014(S1): 74?79.
Yin Lu, Wang Yuting, Luo Bin, et al.Study of automatic ai?ming technology based on eye tracking[J].Acta Armamenta?rii, 2014(S1): 74?79.(in Chinese)
[8] 張闖,遲健男,張朝暉,等.一種新的基于瞳孔?角膜反射技術(shù)的視線追蹤方法[J].計算機學(xué)報,2010,33(7):1272?1285.
Zhang Chuang, Chi Jiannan, Zhang Zhaohui, et al.A novel eye gaze tracking technique based on pupil center cornea re?flection technique[J].Chineae Journal of Computer, 2010,33(7): 1272?1285.(in Chinese)
[9] Li D, Winfield D, Parkhurst D J.Starburst: A hybrid algo?rithm for video?based eye tracking combining feature?based and model?based approaches[C] //IEEE Computer Society Confer?ence on Computer Vision and Pattern Recognition.IEEE,2005: 79?79.
[10] 張昀.視線跟蹤技術(shù)及可計算眼動建模研究[D].西安:西北工業(yè)大學(xué),2010.
Zhang Yun.Research on Eye Tracking and Computable Eye Movement Modeling[D].Xi’an: Northwestern Polytechnical University, 2010.(in Chinese)
[11] 謝歡,趙歆波,侯陽.適用于手機的眼動輸入方法研究[J].計算機與現(xiàn)代化, 2013(4): 81?85.
Xie Huan, Zhao Xinbo, Hou Yang.Eye?input interaction for mobile phones[J].Jisuanji Yu Xiandaihua, 2013(4): 81?85.(in Chinese)
[12] 劉穎.人機交互界面的可用性評估及方法[J].人類工效學(xué), 2002, 8(2): 35?38.
Liu Ying.Usability evaluation and method of human?computer interaction interface[J].Chinese Journal of Ergonomics,2002, 8(2): 35?38.(in Chinese)