多用戶眼動跟蹤數(shù)據(jù)的可視化共享與協(xié)同交互*

程時偉,沈嘵權(quán),孫凌云,胡屹凜

1(浙江工業(yè)大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院,浙江 杭州 310023)

2(計算機(jī)輔助設(shè)計與圖形學(xué)國家重點實驗室(浙江大學(xué)),浙江 杭州 310058)

隨著計算機(jī)支持的協(xié)同工作(computer supported cooperative work)、社會計算(social computing)等相關(guān)技術(shù)及應(yīng)用的迅速發(fā)展,人機(jī)交互活動已不再局限于以單個用戶為中心的交互空間,交互任務(wù)往往需要在多用戶協(xié)同環(huán)境下才能完成.在多人協(xié)同交互過程中,信息的共享機(jī)制不僅有助于協(xié)作者了解彼此的任務(wù)完成情況,還可以促進(jìn)協(xié)同工作效率的提升.針對與視覺認(rèn)知相關(guān)的協(xié)同交互,如何將多用戶的視覺注意資源形成一個有機(jī)的協(xié)作體,通過共享機(jī)制讓個人用戶根據(jù)自身的目標(biāo)、意圖、偏好等因素,匹配其他用戶的視覺注意資源,從而降低自身認(rèn)知負(fù)荷,提高交互效率和主觀體驗,已成為一個新的研究課題.由于眼動跟蹤(eye tracking)數(shù)據(jù)可以表征用戶的交互意圖,且基于眼動跟蹤的交互具有“所見即所得”的特點[1],所以在文本、語音、手勢等形式的交互語義無法準(zhǔn)確表達(dá)的情況下,通過眼動跟蹤數(shù)據(jù)及其可視化在多用戶之間表征視覺行為和交互語義,可以降低語義歧義性,提高多人協(xié)同交互質(zhì)量水平與效率.然而,目前多用戶協(xié)同交互環(huán)境下的視覺認(rèn)知研究相對匱乏,尤其是缺少基于眼動跟蹤的協(xié)同交互方法和關(guān)鍵技術(shù).具體而言就是,如何在協(xié)同環(huán)境下簡單、有效地記錄眼動跟蹤數(shù)據(jù),并在協(xié)作者之間傳輸、分享和表達(dá),進(jìn)而提高交互質(zhì)量和效率的相關(guān)機(jī)制目前還沒有展開加以深入研究.

為此,在上述研究背景下,本文提出面向多用戶協(xié)同交互的眼動跟蹤技術(shù),實時獲取、計算和傳輸協(xié)同環(huán)境下不同用戶的眼動跟蹤數(shù)據(jù),并通過分析與可視化眼動跟蹤數(shù)據(jù),實現(xiàn)多用戶協(xié)作過程中視覺注意行為和交互意圖的協(xié)同感知.設(shè)計與開發(fā)了一個面向程序代碼協(xié)同審查的多用戶眼動跟蹤交互應(yīng)用系統(tǒng),通過用戶實驗,驗證了本文方法能夠有效地促進(jìn)多用戶協(xié)作效率的提升.

1 相關(guān)工作

已有的相關(guān)研究主要集中在以下3 個方面.

(1)基于聯(lián)合注意理論的協(xié)同交互基礎(chǔ)研究.聯(lián)合注意(joint attention)是指社會協(xié)作者聚焦于一個共同的參考對象(例如,物體、人或者事件),并且觀察其他協(xié)作者對該對象的注意力[2].在這個過程中,注視起著十分重要的作用,使得協(xié)作者共享對感興趣事物或事件的注意[3].聯(lián)合注意不僅強(qiáng)調(diào)協(xié)作個體同時同步關(guān)注同一個對象,而且更強(qiáng)調(diào)協(xié)作者能夠互相感知出他們的視覺關(guān)注存在共同性[4].表征聯(lián)合注意的具體行為主要包括[5]:注視追隨(gaze following),即追隨其他人的注視從而注意到對方關(guān)注的對象;指向關(guān)注對象的模仿(object-directed imitation),即模仿其他人對關(guān)注對象所施加的動作;社會參照(social referencing),即根據(jù)其他人來調(diào)整自己對場景的知覺,從而做出更合理的反應(yīng).參與聯(lián)合注意的方式包括兩種,一種是被動地對其他人的注意指引做出反應(yīng),另一種是主動發(fā)起聯(lián)合注意,這兩種方式都可促進(jìn)個體對外部環(huán)境的理解和生成互動的動機(jī)[5].聯(lián)合注意可以促進(jìn)協(xié)同交互,例如,通過在協(xié)同式搜索任務(wù)過程中分享注視點,可以提高任務(wù)績效[6].特別是在分布式的協(xié)同環(huán)境下,由于語言在描述空間信息時經(jīng)常具有模糊性而影響交流效率,而聯(lián)合注意通過分享注視點信息可以起到更加明確的指示作用,一定程度上消除了語義模糊性,從而強(qiáng)化分散在不同地域協(xié)作者之間的交流,使其在復(fù)雜的協(xié)同式空間搜索任務(wù)中可顯著提高效率[7,8].

(2)眼動數(shù)據(jù)特征可視化研究.近年來,進(jìn)一步對聯(lián)合注意中所涉及的眼動數(shù)據(jù)特征參數(shù)開展可視化分析研究.例如,用矩陣散點圖來顯示隨時間變化的協(xié)同注意數(shù)據(jù),分析協(xié)作群體中聯(lián)合注意行為在時序上的演進(jìn),例如,不同用戶一開始很難同步,但會逐漸建立起與其他人的高度協(xié)調(diào);或者一個團(tuán)隊開始有很好的同步性,但隨著時間的延續(xù),逐漸產(chǎn)生分歧或沖突,而喪失視覺注意行為上的協(xié)調(diào)性[9].這種可視化方法的缺點是它只適合表達(dá)時序信息,無法表達(dá)交互過程中聯(lián)合注意行為產(chǎn)生的位置等空間信息.力導(dǎo)向網(wǎng)絡(luò)圖節(jié)點表示單個用戶在每一個感興趣區(qū)域內(nèi)的注視點數(shù)目,邊表示在這些感興趣區(qū)域之間的眼跳,可以表達(dá)空間維度相關(guān)的信息[2].比較不同用戶的力導(dǎo)向網(wǎng)絡(luò)圖可以發(fā)現(xiàn),不同的視覺注意分布和轉(zhuǎn)換模式與矩陣散點圖形成互補(bǔ).但是這些可視化形式仍存在表達(dá)不直觀、普通用戶不易于理解的缺點.還有研究人員針對解謎和模擬拆裝任務(wù),給一個用戶顯示另一個用戶在執(zhí)行任務(wù)過程中的單個注視點和注視點軌跡,設(shè)計了基于注視點的區(qū)域縮放指示和動態(tài)軌跡指示等可視化形式[10].此外,我們前期開展的研究,記錄了專家用戶在閱讀文檔時的眼動數(shù)據(jù),然后通過生成可視化批注分享給新手用戶,指導(dǎo)其把握文檔重點內(nèi)容和全文結(jié)構(gòu),可有效提高閱讀理解水平[11].然而,如何根據(jù)視覺注意機(jī)制特征對聯(lián)合注意行為本身的相關(guān)眼動數(shù)據(jù)進(jìn)行處理和可視化,提高用戶在協(xié)同交互中的認(rèn)知水平和操作績效,則有待深入研究.

(3)應(yīng)用研究.面向教育、汽車駕駛、醫(yī)療影像分析及培訓(xùn)[12]等不同領(lǐng)域開展了具體的應(yīng)用研究,實現(xiàn)了代替語音交互、協(xié)助用戶合作與分工、增強(qiáng)群體認(rèn)知等.例如,在課堂教學(xué)場景下,用兩個眼動跟蹤系統(tǒng)記錄兩兩配對學(xué)生的眼動數(shù)據(jù),并作為聯(lián)合注意資源進(jìn)行分享,實驗結(jié)果表明,對于概念性知識的學(xué)習(xí)內(nèi)容,聯(lián)合注意資源越多,學(xué)習(xí)效果越好[13,14].在汽車駕駛場景下,坐在副駕駛位置的乘客可以給駕駛員提供路況信息,以彌補(bǔ)駕駛員由于視線盲區(qū)造成的信息獲取不充分的缺陷,因此,記錄副駕駛座位上乘客的注視點,并通過可視化方式呈現(xiàn)給駕駛員,可幫助其察覺相關(guān)路況信息,提高駕駛安全性[15,16].在遠(yuǎn)程醫(yī)療場景下,國際化的醫(yī)療會診和手術(shù)團(tuán)隊中的成員來自不同國家和地區(qū),可能會產(chǎn)生語言溝通障礙,為此,在模擬手術(shù)過程中綜合使用語言、眼動發(fā)出協(xié)作指令,使不同成員合作完成目標(biāo)選取任務(wù),實驗結(jié)果表明,眼動比語言協(xié)作的準(zhǔn)確率和效率都會更高[17].在協(xié)同工作場景下,使用眼動儀記錄多用戶協(xié)同完成搜索任務(wù)時的眼動注視點并在公共屏幕上顯示,使得用戶可以看到協(xié)作者正在搜索的區(qū)域,從而有意識地避免重復(fù)和冗余搜索,提高效率[18];分析多個用戶完成協(xié)同搜索任務(wù)時的眼動注視點分布規(guī)律,發(fā)現(xiàn)在不同交互方式下,用戶眼動注視點的分布情況差異較大,尤其是在眼動數(shù)據(jù)可視化共享的情況下,不同用戶的眼動注視點分布呈相互彌補(bǔ)趨勢,分工意識更加明確,任務(wù)完成時間更短;而在其他方式下,不同用戶的注視點則呈相互重疊趨勢,分工意識不明顯[19].

上述研究工作對協(xié)同人機(jī)交互的具體實踐支持不夠,絕大多數(shù)工作只涉及不同用戶眼動數(shù)據(jù)的可視化方法,以及協(xié)同工作質(zhì)量的預(yù)測和評估[20],尚未針對目標(biāo)搜索、跟蹤、識別、圖像分析等具體任務(wù)的特征,從協(xié)同交互方式和用戶界面設(shè)計,以及具體應(yīng)用系統(tǒng)架構(gòu)和實現(xiàn)機(jī)制的角度來展開具體研究工作.

2 多用戶協(xié)同眼動跟蹤

標(biāo)定是實現(xiàn)眼動跟蹤的重要環(huán)節(jié),每位用戶在使用眼動跟蹤設(shè)備前都需要進(jìn)行標(biāo)定,以建立起個人的眼動跟蹤映射模型.本文使用基于瞳孔-普爾欽斑(Pupil center-cornea reflection,簡稱PCCR)向量的9 點標(biāo)定法[21].該方法需要先生成9 個位置已知的標(biāo)定點,然后在用戶注視這些標(biāo)定點時,求解眼動跟蹤注視點映射模型,用于后續(xù)注視點的計算.在多用戶協(xié)同環(huán)境下,隨著用戶的增多,如果對每位用戶都進(jìn)行9 點標(biāo)定,將會增加用戶的工作負(fù)荷和系統(tǒng)的計算資源消耗,并導(dǎo)致系統(tǒng)復(fù)雜性和不確定性升高.因此,本文在前期工作[22]基礎(chǔ)上提出協(xié)同式標(biāo)定方法,簡化標(biāo)定過程,并在此基礎(chǔ)上提出多用戶協(xié)同眼動跟蹤的計算架構(gòu).

2.1 基于梯度優(yōu)化的協(xié)同標(biāo)定模型

為了了解個體差異對眼動跟蹤效果的影響,相關(guān)研究通過實驗發(fā)現(xiàn),不同的用戶在同一位置注視同一目標(biāo)的情況下,眼動跟蹤注視點的位置具有較高的一致性[23].因此,PCCR 向量的方向也大致相同,其中的差異性主要是由用戶個體的視線和眼球光軸夾角不同引起的[24],進(jìn)而導(dǎo)致眼動跟蹤映射模型無法通用.為此,本文提出基于梯度優(yōu)化的協(xié)同標(biāo)定模型:首先利用標(biāo)準(zhǔn)的9 點標(biāo)定方法得到一個用戶的眼動跟蹤映射模型,然后利用其他用戶的少量標(biāo)定數(shù)據(jù),基于梯度優(yōu)化算法,對該映射模型進(jìn)行校正,使其具有更好的通用性.具體而言,就是對協(xié)作團(tuán)隊中某位用戶進(jìn)行標(biāo)定,得到跟蹤精度較高的眼動跟蹤映射模型,然后將該模型分發(fā)給其他協(xié)作者,并利用梯度優(yōu)化算法對此模型進(jìn)行優(yōu)化,得到適應(yīng)各協(xié)作者個體差異性的眼動跟蹤映射模型.主要工作可以分成兩部分:獲取基本眼動跟蹤映射模型和訓(xùn)練協(xié)同眼動跟蹤映射模型.下面進(jìn)行詳細(xì)闡述.

(1)獲取基本眼動跟蹤映射模型.

讓用戶佩戴眼動跟蹤系統(tǒng)依次注視屏幕上的9 個點,完成標(biāo)定過程,然后計算得到該用戶的眼動跟蹤映射模型系數(shù).進(jìn)一步地,在協(xié)同環(huán)境下實現(xiàn)基本眼動跟蹤映射模型在多用戶之間的傳輸和共享.如圖1 所示,用戶1完成標(biāo)定并得到基本眼動跟蹤映射模型之后,觸發(fā)分發(fā)事件,依次將該模型分發(fā)給協(xié)同環(huán)境中的其他注冊用戶.

Fig.1 Distribution mechanism of basic eye tracking model in the collaboration environment圖1 協(xié)同環(huán)境下基本眼動跟蹤映射模型分發(fā)機(jī)制

(2)訓(xùn)練協(xié)同眼動跟蹤映射模型.

本文利用涅斯捷羅夫梯度加速方法(Nesterov accelerated gradient,簡稱NAG)[25]對基本眼動跟蹤映射模型系數(shù)進(jìn)行優(yōu)化和校正.該方法的優(yōu)點是通過增加動量項參數(shù),加快了計算過程,并且在計算參數(shù)梯度時,在損失函數(shù)中也減去了動量項,進(jìn)一步提高了計算速度.具體而言,先獲取來自某個用戶的眼動跟蹤映射模型(基本眼動跟蹤映射模型),然后要求當(dāng)前用戶在屏幕上做4 點標(biāo)定.將每個標(biāo)定點的屏幕坐標(biāo)和相應(yīng)的PCCR 向量作為一組數(shù)據(jù),然后利用NAG 方法進(jìn)行協(xié)同眼動跟蹤映射模型的訓(xùn)練.計算步驟如下.

·Step 1.確認(rèn)優(yōu)化模型的假設(shè)函數(shù)和損失函數(shù).本文設(shè)計的協(xié)同眼動跟蹤映射模型的函數(shù)如下:

hθ(PX0,PX1),hθ(PY0,PY1)是注視點坐標(biāo)的計算函數(shù),θ0…θ5是最終的計算值,即協(xié)同眼動跟蹤映射模型的系數(shù).其中,

的系數(shù)a0,...,a5和b0,...,b5是基本眼動跟蹤映射模型系數(shù),x是用戶的PCCR 向量X軸方向的向量,y是用戶的PCCR 向量Y軸方向的向量.上述的協(xié)同眼動跟蹤映射模型函數(shù),以hθ(PX0,PX1)為例,其損失函數(shù)為

其中,m為訓(xùn)練數(shù)據(jù)的數(shù)量,在本文中取m=4.X為用戶標(biāo)定時真實的屏幕X軸標(biāo)定點;

·Step 2.相關(guān)參數(shù)初始化.初始化θ0,θ1,θ2的值和設(shè)置迭代次數(shù),通過多次實驗比較,本文取迭代次數(shù)為10萬次,并將θ0,θ1,θ2的值都設(shè)為0;

·Step 3.確定當(dāng)前的損失函數(shù)的梯度表達(dá)式,對于θi,其表達(dá)式為

·Step 4.用步長η乘以損失函數(shù),得到當(dāng)前的下降位置,即:

·Step 5.累計得到迭代次數(shù),如果迭代次數(shù)到達(dá)預(yù)設(shè)閾值,則停止計算;否則,轉(zhuǎn)到下一步;

·Step 6.更新所有的θ,對于θi,用如下表達(dá)式進(jìn)行更新,更新完畢后轉(zhuǎn)入步驟Step 1 繼續(xù)執(zhí)行,直到迭代次數(shù)累計達(dá)到預(yù)設(shè)閾值.

根據(jù)上述步驟,可以求得協(xié)同眼動跟蹤映射模型的系數(shù)θ0,θ1,θ2,θ3,θ4,θ5,進(jìn)而準(zhǔn)確計算當(dāng)前用戶注視點的坐標(biāo)值.

(3)模型測試.

為了驗證協(xié)同眼動跟蹤映射模型的標(biāo)定效果,本文邀請了5 名被試用戶(年齡24 歲～28 歲,無色盲,視力良好),在電腦上進(jìn)行眼動跟蹤測試.使用的電腦屏幕尺寸為35.5cm×30.5cm,屏幕分辨率為1366×786,CPU 頻率為1.7GHz,內(nèi)存為8GB.屏幕上依次顯現(xiàn)4 個標(biāo)定點,待完成標(biāo)定之后,采用21 個測試點測試跟蹤精度(為了保證測試精度的準(zhǔn)確性,測試點與標(biāo)定點處于不同位置).計算用戶在測試點的注視點坐標(biāo),然后計算其與實際坐標(biāo)值之間的誤差.設(shè)定了40cm、60cm、80cm 這3 個測試視距(用戶眼睛到屏幕之間的距離),測試結(jié)果表明,在視距為80cm 時,平均精度最高,為0.69°(標(biāo)準(zhǔn)差為0.32°);在視距為40cm 時,平均精度最低,為1.37°(標(biāo)準(zhǔn)差為0.44°);在視距為60cm 時,平均精度為0.96°(標(biāo)準(zhǔn)差為0.30°).此外,已有9 點標(biāo)定法,在測試視距相近的情況下,得到眼動跟蹤平均精度為0.8°～2.0°[26],而其中精度比本文方法較高的方法,都在硬件配置上比本文方法更復(fù)雜,如加裝了紅外光源以提高眼部圖像成像質(zhì)量和圖像處理效果[27].

2.2 多用戶協(xié)同眼動跟蹤的計算框架

對于協(xié)同眼動跟蹤的計算架構(gòu),已有研究開展了初步嘗試,例如讓兩位用戶完成搜索任務(wù),通過兩臺眼動跟蹤設(shè)備連接到一臺電腦主機(jī)實現(xiàn)多用戶眼動跟蹤[18],但其不足在于:(1)硬件接口受到限制,導(dǎo)致能接入的眼動跟蹤設(shè)備數(shù)量有限,從而限制了協(xié)同環(huán)境下的用戶人數(shù),擴(kuò)展性較差;(2)由于不同用戶眼動跟蹤數(shù)據(jù)的記錄和處理都集中在一臺主機(jī)上進(jìn)行,導(dǎo)致主機(jī)計算負(fù)荷較大,計算性能受到影響.

因此,為了將眼動跟蹤數(shù)據(jù)記錄和處理產(chǎn)生的計算負(fù)荷合理地進(jìn)行分配,并且盡可能地擴(kuò)充協(xié)同環(huán)境下的用戶人數(shù),本文的多用戶協(xié)同眼動跟蹤計算采用客戶端/服務(wù)器(client/sever,簡稱C/S)結(jié)構(gòu),其中,服務(wù)器負(fù)責(zé)記錄客戶端的眼動跟蹤數(shù)據(jù),并且進(jìn)行處理、控制和轉(zhuǎn)發(fā);客戶端則負(fù)責(zé)眼動跟蹤數(shù)據(jù)的計算、請求和可視化.所有的客戶端只與服務(wù)器連接通信,客戶端之間彼此不直接相連,而是通過服務(wù)器進(jìn)行數(shù)據(jù)轉(zhuǎn)發(fā),實現(xiàn)相互通信.這種計算架構(gòu)的優(yōu)點是服務(wù)器提供了統(tǒng)一的數(shù)據(jù)轉(zhuǎn)發(fā)模式,并且客戶端所有的數(shù)據(jù)在服務(wù)器端匯聚,方便服務(wù)器進(jìn)行統(tǒng)一的處理和分發(fā).客戶端則支持眼動跟蹤標(biāo)定、眼動跟蹤數(shù)據(jù)計算等具體工作,然后發(fā)送到服務(wù)器.系統(tǒng)框架如圖2 所示.

Fig.2 Computing framework of multi-user collaborative eye tracking圖2 多用戶協(xié)同眼動跟蹤計算框架示意圖

此外,上述計算架構(gòu)基于傳輸控制協(xié)議/Internet 互聯(lián)協(xié)議(transmission control protocol/Internet protocol,簡稱TCP/IP)傳輸層設(shè)計了新的網(wǎng)絡(luò)應(yīng)用層通信協(xié)議,用于支持眼動跟蹤協(xié)同交互的需求.眼動跟蹤注視點數(shù)據(jù)的傳輸共分為兩類.

(1)當(dāng)客戶端計算出眼動跟蹤注視點數(shù)據(jù)之后,把數(shù)據(jù)封裝進(jìn)相應(yīng)的數(shù)據(jù)包發(fā)送到服務(wù)器;

(2)當(dāng)服務(wù)器處理好眼動跟蹤注視點數(shù)據(jù)之后,把數(shù)據(jù)封裝進(jìn)相應(yīng)的數(shù)據(jù)包再發(fā)送回客戶端.本文的通信協(xié)議使用的數(shù)據(jù)包結(jié)構(gòu)如圖3 所示,由一個數(shù)據(jù)頭、若干個數(shù)據(jù)塊和校驗位組成.其中,數(shù)據(jù)頭中的命令代碼表示該數(shù)據(jù)包的作用;數(shù)據(jù)類型描述數(shù)據(jù)內(nèi)容的數(shù)據(jù)格式;數(shù)據(jù)塊大小表示每個數(shù)據(jù)塊的字節(jié)數(shù)量;數(shù)據(jù)總長度指的是該數(shù)據(jù)內(nèi)容包含的數(shù)據(jù)塊個數(shù).數(shù)據(jù)塊存儲著眼動跟蹤注視點坐標(biāo).校驗位則主要是為了確保數(shù)據(jù)包的完整性和準(zhǔn)確性.

Fig.3 Packet structure of communication protocol in the network application layer圖3 網(wǎng)絡(luò)應(yīng)用層通信協(xié)議下的數(shù)據(jù)包結(jié)構(gòu)

3 眼動跟蹤數(shù)據(jù)協(xié)同可視化

相關(guān)已有研究在多人視頻會話[28,29]、問題探索[30,31]和指令交流[32]等領(lǐng)域使用了眼跳軌跡、注視點光標(biāo)等可視化形式,在本地和遠(yuǎn)程協(xié)同交互環(huán)境下,為用戶提供在線幫助、傳遞信息和指令、促進(jìn)協(xié)作者之間的互相感知和理解.這些研究關(guān)注了協(xié)同交互中眼動跟蹤數(shù)據(jù)的可視化設(shè)計,但未深入研究具體可視化形式作為指示線索在可視性和視覺干擾性方面的矛盾[18],即忽視了聯(lián)合注意資源在視覺表現(xiàn)上對用戶感知和認(rèn)知活動的負(fù)面影響.例如,不合理的可視化形式不僅不能向協(xié)作者提供有效信息,還會造成用戶本身的視覺不適感,分散注意力和降低操作效率.因此,設(shè)計合理的眼動跟蹤數(shù)據(jù)可視化表現(xiàn)形式對于協(xié)同交互顯得尤為重要.

3.1 眼動跟蹤數(shù)據(jù)協(xié)同可視化設(shè)計

相關(guān)研究提出了眼動數(shù)據(jù)可視化形式的設(shè)計原則,如既要吸引用戶注意力,準(zhǔn)確表達(dá)眼動特征,又要防止對用戶產(chǎn)生視覺干擾,并進(jìn)行了相關(guān)實驗,結(jié)果表明,類似于光標(biāo)形式的眼動注視點可視化形式效果最佳[18].為此,本文設(shè)計了3 種注視點可視化表現(xiàn)形式:圓點、散點和軌跡.如圖4 所示,圓點具體表現(xiàn)為一個半透明的圓形(例如圓形半徑設(shè)為15 像素,透明度設(shè)置為50%),這種表現(xiàn)形式簡單明了,指向性強(qiáng),所表示的視線指示范圍集中;散點具體表現(xiàn)為若干聚集在一起的紅色圓形(例如,圓形半徑設(shè)為5 像素,4 個圓形排布在一個半徑為20 像素的圓形范圍內(nèi)),這種表現(xiàn)形式覆蓋范圍廣,使用戶更容易關(guān)注到注視點的周圍信息;軌跡具體表現(xiàn)為前一個注視點和后一個注視點之間的連線,使得原本沒有關(guān)聯(lián)的注視點有了直觀的時間順序和空間關(guān)聯(lián).

Fig.4 Eye tracking data visualization圖4 眼動跟蹤數(shù)據(jù)可視化表現(xiàn)形式

3.2 實驗與分析

我們設(shè)計了用戶實驗,探索可視化形式對協(xié)同交互環(huán)境下用戶視覺行為的影響,以及具體哪種可視化形式能夠提高協(xié)同交互效率.

(1)實驗設(shè)計.實驗招募了6 位被試用戶(5 位男生,1 位女生,平均年齡在25 歲),兩人一組開展實驗.如圖5所示,兩位用戶協(xié)同完成一個視覺搜索任務(wù):圖片中一共有510 個圓,6 個橢圓,用戶需要在所有圓中找出這6 個橢圓,橢圓全部找到之后,記錄任務(wù)完成時間.每一組實驗中,兩個用戶電腦上顯示的內(nèi)容相同,當(dāng)其中一個用戶找出橢圓時,單擊鼠標(biāo)左鍵進(jìn)行確認(rèn),系統(tǒng)會自動用矩形圈出該橢圓,這一過程也同時顯示在另一位用戶的電腦上,使其了解相關(guān)情況.

Fig.5 Experiment of collaborative visual search task圖5 協(xié)同視覺搜索任務(wù)實驗

(2)效率分析.在具體實驗過程中,不僅進(jìn)行了無注視點共享和有注視點共享的對比,還針對注視點不同的可視化形式進(jìn)行了對比.實驗結(jié)果表明,不同的眼動跟蹤注視點可視化形式對用戶完成視覺搜索任務(wù)的效率有不同程度的影響.如圖6 所示,在共享情況下,圓點可視化形式條件下任務(wù)完成時間最短,相比沒有眼動注視點共享的情況提高了搜索效率;而其他注視點可視化形式延長了視覺搜索時間,其原因是,散點和軌跡形式理解起來較為困難,且對用戶的視覺干擾較大,從而影響了視覺搜索效率.相反,圓點覆蓋范圍小,可以直觀顯示對方的注視點信息,所產(chǎn)生的視覺干擾也較小.此外,結(jié)合搜索任務(wù)實驗結(jié)果,對被試用戶進(jìn)行了訪談,90%的用戶認(rèn)為圓點形式的可視化共享能夠顯著提高搜索效率.因此,本文最終選擇圓點作為眼動跟蹤數(shù)據(jù)協(xié)同可視化的表現(xiàn)形式.

Fig.6 Average task completion time (error bars are standard deviation)圖6 任務(wù)平均完成時間(誤差線為標(biāo)準(zhǔn)差)

(3)行為分析.進(jìn)一步地,分析眼動跟蹤數(shù)據(jù)協(xié)同可視化對用戶視覺行為的影響.首先,在屏幕上劃分用戶感興趣區(qū)域(area of interest,簡稱AOI),并選擇圓點形式顯示協(xié)作者的注視點,同時記錄各自用戶的注視點數(shù)據(jù);然后,在考察用戶視覺行為時,基于交叉重復(fù)度[33]方法分析協(xié)同雙方在同一時間、同一區(qū)域的注視駐留時間與任務(wù)完成時間的關(guān)系.交叉重復(fù)度越大,表明協(xié)同雙方在任務(wù)過程中同一時刻對相同區(qū)域共同關(guān)注的時間越長;反之,表明協(xié)同雙方在任務(wù)過程中同一時刻對相同區(qū)域共同關(guān)注的時間越短.根據(jù)已有工作提出的區(qū)域劃分方法來分析注意力分布疊加特征[33],本文計算用戶交叉重復(fù)度的具體步驟是:把顯示屏幕共分成兩行兩列4 個相同面積的矩形區(qū)域,首先判斷注視點是否位于屏幕的有效區(qū)域內(nèi),然后再判斷注視點所屬具體哪個區(qū)域,并附加相應(yīng)的區(qū)域標(biāo)簽.再依據(jù)注視點的時間戳和注視點的區(qū)域標(biāo)簽得到兩位用戶在同一區(qū)域的停留時間,記為t1;依據(jù)任務(wù)開始和結(jié)束的時間戳得到任務(wù)完成總時間,記為t2.t1和t2的比值即為用戶交叉重復(fù)度c(用百分比形式表示).進(jìn)一步地,計算4個區(qū)域的交叉重復(fù)度,結(jié)果見表1.可知,無注視點共享時用戶之間的交叉重復(fù)度總體上高于有注視點共享時的交叉重復(fù)度.

Table 1 Calculation example of cross-recurrence表1 交叉重復(fù)度計算結(jié)果示例

圖7 和圖8 分別給出任務(wù)過程中一段時間內(nèi)有注視點共享和無注視點共享時每個區(qū)域的交叉重復(fù)度,其中,紅線和藍(lán)線分別表示兩位用戶注視點隨時間推移在4 個區(qū)域內(nèi)的轉(zhuǎn)移情況;虛線區(qū)域表示兩位用戶注視點在此區(qū)域重合.可見,無注視點共享時,用戶在4 個區(qū)域之間的轉(zhuǎn)換頻率較高,用戶之間的注釋點覆蓋范圍重合區(qū)域多;而有注視點共享時,用戶在4 個區(qū)域之間的轉(zhuǎn)換頻率較低,用戶之間的注視點覆蓋范圍重合區(qū)域較少,表明用戶的分工意識相對明確.

Fig.7 Example of cross-recurrence for each AOI with shared gaze visualization圖7 有注視點共享時各區(qū)域的交叉重復(fù)度示例

Fig.8 Example of cross-recurrence for each AOI without shared gaze visualization圖8 無注視點共享時各區(qū)域的交叉重復(fù)度示例

此外,通過繪制熱區(qū)圖對有注視點共享和無注視點共享條件下的用戶注視點覆蓋范圍作更加直觀的分析.用戶注視點形成的熱區(qū)圖如圖9 所示,其中,左右兩邊分別是兩個用戶各自注視點形成的熱區(qū)圖.

結(jié)果表明,在有注視點共享情況下,用戶之間的注視點覆蓋范圍呈互補(bǔ)趨勢;而在無注視點共享情況下,用戶之間的注視點覆蓋范圍呈重疊趨勢.這進(jìn)一步說明,在無注視點共享時,用戶的分工意識相對薄弱,會依據(jù)自己的情況完成任務(wù);但有了注視點共享之后,用戶的分工意識會加強(qiáng),會依據(jù)對方的注視點分布情況動態(tài)規(guī)劃自己的目標(biāo)搜索過程.這與前述基于交叉重復(fù)度所分析的結(jié)論相一致,進(jìn)一步驗證了合理的眼動跟蹤數(shù)據(jù)可視化能夠?qū)f(xié)同交互中多用戶的分工起到促進(jìn)作用,從而能夠提高協(xié)同工作的質(zhì)量和效率[18].

Fig.9 Heat map based on gaze fixation圖9 用戶眼動跟蹤注視點熱區(qū)圖

4 應(yīng)用實例

在軟件工程領(lǐng)域,利用多個眼動跟蹤系統(tǒng)同步記錄程序員們?nèi)绾螌ν欢未a進(jìn)行編程工作,進(jìn)而通過比較合作方式質(zhì)量水平的高低,可以發(fā)現(xiàn)具有較好效果的協(xié)作編程工作與更多的聯(lián)合視覺注意相關(guān)[9].受此啟發(fā),本文以代碼協(xié)同審查為應(yīng)用場景,使用多用戶眼動跟蹤及眼動跟蹤數(shù)據(jù)可視化促進(jìn)協(xié)同工作中的多用戶協(xié)作與分工,提高代碼審查效率.

4.1 基于眼動跟蹤的代碼協(xié)同審查系統(tǒng)

系統(tǒng)主要包括兩類可視化功能,一類是實時注視點,即根據(jù)第3 節(jié)的研究,通過圓點形式實時顯示協(xié)作者的注視點;另一類是基于注視點數(shù)據(jù)對代碼審查視圖進(jìn)行可視處理,設(shè)計了代碼行邊框、代碼行背景灰度、代碼行之間連線這3 種可視化屬性.此外,還包括注視點回放、基于時間軸的掃描軌跡回放這兩個可視分析模塊.客戶端通過標(biāo)定之后實現(xiàn)眼動跟蹤,隨后加入局域網(wǎng),多臺客戶端通過服務(wù)器共享數(shù)據(jù),由此建立協(xié)作交互機(jī)制.具體的可視化功能闡述如下.

1)代碼行邊框

當(dāng)協(xié)作者視線停留在某行代碼時,當(dāng)前用戶視圖中的相同代碼行會出現(xiàn)邊框,以此告知當(dāng)前用戶協(xié)作者此時正在注視的代碼行.同時,為了表示協(xié)作者對此行代碼的關(guān)注程度,記錄注視駐留時間,并以此來設(shè)置代碼行邊框的寬度,代碼行邊框越寬,表明協(xié)作者在此行代碼的注視駐留時間越長(例如,注視駐留時間每增加1s,邊框?qū)挾染驮黾? 像素).舉例而言,在圖10(a)所示用戶A 視圖中,代碼行1 出現(xiàn)了邊框,表示用戶B 當(dāng)前正在審查此行代碼,其中,淺紅色小圓點為用戶B 的注視點.類似地,圖10(b)所示用戶B 視圖中用戶A 正在查看代碼行2.此外,圖10(a)所示中代碼行1 的邊框較細(xì),表明用戶B 在此行代碼的注視駐留時間較短,而圖10(b)所示中代碼行2邊框較粗,表明用戶A 在此行代碼的注視駐留時間較長.

2)代碼行背景灰度

用戶在審查代碼時,不可避免地會對一些重要的代碼行反復(fù)進(jìn)行查看.因此,使用代碼行區(qū)域的背景顏色灰度來表示用戶對此行代碼的查看次數(shù),顏色越深,表示協(xié)作者查看此行代碼的次數(shù)越多.具體地,根據(jù)兩條規(guī)則對代碼行背景灰度進(jìn)行實時調(diào)整:(1)如果用戶注視點進(jìn)入某一行代碼,則該行代碼查看次數(shù)增加1 次,背景灰度值也相應(yīng)增加(例如,灰度值增加15);(2)如果用戶在某一行代碼的注視駐留時間有所增加,則該行代碼背景灰度值也會增加(例如,駐留時間每增加1s,背景灰度值增加10).此外,由于用戶審查代碼時,多數(shù)情況下是從第1行往下依次閱讀各行代碼,如果遵循上述的第1 條規(guī)則,用戶注視點每次從上一行轉(zhuǎn)向緊鄰的下一行時,下一行的背景灰度都會增加,從而導(dǎo)致絕大多數(shù)代碼行的背景灰度都會變化,使得視覺效果過于復(fù)雜,不利于用戶觀察.所以,為了避免這種影響,本文進(jìn)一步規(guī)定:當(dāng)用戶第1 次在看完上一行代碼并接著看下一行代碼時,下一行代碼的查看次數(shù)不增加.但是,如果用戶從下一行代碼返回來查看上一行代碼時,上一行代碼的查看次數(shù)增加1.具體可視化效果如圖11 所示,圖11(a)所示用戶A 視圖中的各行代碼背景灰度深淺各異,表明用戶B 在不同代碼行上的查看次數(shù)不同,其中,代碼行3 顏色較深,說明用戶B 從別處代碼跳轉(zhuǎn)到此行代碼的次數(shù)較多,且在此行代碼的查看時間較長,此行代碼是重點審查區(qū)域之一.類似地,在圖11(b)所示用戶B 的視圖中,可以看到用戶A將代碼行3 和代碼行i作為重點審查區(qū)域.

3)代碼行之間連線

由于不同代碼行之間存在邏輯關(guān)系,用戶常在多行代碼之間多次來回查看,這類信息可以揭示用戶在審查代碼過程中的邏輯思維,從而為協(xié)作者提供參考.為此,本文用連線表示兩行代碼之間的聯(lián)系.具體地,當(dāng)用戶在兩個代碼行之間存在注視點轉(zhuǎn)移時,記錄并計算相應(yīng)的轉(zhuǎn)移次數(shù)[11],且每轉(zhuǎn)移1 次,代碼行之間的連線寬度就增加相應(yīng)的寬度(例如10 像素).為了便于區(qū)分,不同代碼行之間的連線顏色也不同.此外,為了降低視覺復(fù)雜度,便于用戶觀察,與上文代碼行背景灰度的處理類似,上下相鄰兩個代碼行之間的首次順序轉(zhuǎn)移,不計入連線寬度值的增加計算.具體的可視化效果如圖12 所示,圖12(a)所示用戶A 視圖中的連線1 關(guān)聯(lián)了代碼行i和代碼行j,表明用戶B 在這兩行代碼之間存在多次的注視點轉(zhuǎn)換.類似地,圖12(b)所示用戶B 視圖中的連線2 關(guān)聯(lián)了代碼行6 和代碼行11,表明用戶A 在這兩行代碼之間也存在多次的注視點轉(zhuǎn)換.

Fig.11 Visualization of code line background圖11 代碼行背景灰度可視化示意圖

Fig.12 Visualization of the connections between code lines圖12 代碼行之間連線可視化示意圖

4)注視點與掃描軌跡回放

上述3 種可視化屬于代碼實時審查過程中的在線共享,而線下的共享,對促進(jìn)代碼審查方法的學(xué)習(xí)和效果評估同樣也很重要.為此,在完成協(xié)同審查代碼之后,還可以將協(xié)作者在審查代碼過程中的眼動跟蹤數(shù)據(jù)進(jìn)行可視化回放,從而讓協(xié)作者相互學(xué)習(xí)和借鑒相關(guān)的代碼審查技巧,提高自身代碼審查能力.回放功能包括:(1)注視點回放.全程記錄協(xié)同環(huán)境下每位用戶在審查代碼時的注視點運動情況,并實現(xiàn)整個過程的回放;(2)基于時間軸的掃描軌跡回放.顯示用戶時間軸上不同時段內(nèi)注視點所在的代碼行.如下文的圖13 所示,圓點表示用戶的注視點,橫軸為時間軸,從左到右依次顯示不同時間段內(nèi)用戶注視點所在的代碼行.

4.2 實驗與分析

我們招募了32 名被試用戶參與實驗(28 名男生,4 名女生,年齡在23 歲～27 歲之間,視力良好),兩人一組協(xié)同審查代碼,雙方戴上眼動跟蹤設(shè)備記錄眼動數(shù)據(jù)(眼動跟蹤設(shè)備的圖像采樣頻率為30 幀/s、視距為35cm、視角精度為1.1o)[26].實驗使用3 臺電腦進(jìn)行測試,其中兩臺作為代碼協(xié)同審查系統(tǒng)的客戶端(屏幕尺寸為35.5cm×30.5cm,分辨率為1366×786,CPU 頻率為1.7GHz,內(nèi)存為8GB),其放置在用戶的正前方,并與用戶頭部距離保持在40cm 左右;另外一臺作為服務(wù)器(屏幕尺寸為35.5cm×30.5cm,屏幕分辨率為1366×786,CPU 頻率為2.21GHz,內(nèi)存為16GB).具體實驗場景如圖14 所示.

Fig.13 Timeline based scan path playback圖13 基于時間軸的掃描軌跡回放

Fig.14 Experimental scene圖14 實驗場景

首先將用戶兩兩劃分為一組,共分為16 組.每組用戶將做兩組實驗,分別是控制組實驗和實驗組實驗.其中,實驗組的用戶在協(xié)同審查代碼時共享眼動注視點可視化(只允許在找到錯誤代碼進(jìn)行口頭提交時進(jìn)行語言交流),而控制組用戶實驗時只能用語言進(jìn)行交流.為了確保語言交流時用戶能夠清楚地聽到對方說話,用戶被安排在一間60m2的實驗室內(nèi),但是互相通過半封閉隔斷分開,以保證不能看到相互之間的計算機(jī)屏幕.在正式開始實驗之前,首先對用戶進(jìn)行簡單培訓(xùn),讓用戶了解系統(tǒng)功能和熟悉相關(guān)操作,然后開始正式實驗.每個控制組和實驗組的實驗又分別包含3 個不同的任務(wù),分別針對簡單、中等、較難這3 種不同難度的代碼進(jìn)行審查.其中,簡單和中等難度的代碼只有1 處錯誤,而較難的代碼有兩處錯誤.實驗從用戶進(jìn)入系統(tǒng)開始計時,兩位用戶通過協(xié)作找出代碼錯誤,并報告所找到的錯誤.若所報告的代碼錯誤不正確,將繼續(xù)尋找真正的錯誤,直到找到為止,屆時計時停止,任務(wù)完成(若超出時間上限,例如20 分鐘,錯誤仍未找到,則中斷任務(wù),且判定此次任務(wù)沒有完成).

系統(tǒng)以對方用戶的實時注視點為數(shù)據(jù)來源,以代碼行邊框、代碼行背景灰度、代碼行之間連線等信息給當(dāng)前用戶提供可視化分享.實驗中的可視化效果如圖15 所示.

記錄每組用戶的任務(wù)完成時間、眼動跟蹤數(shù)據(jù)及其表征的視覺行為,以及用戶主觀反饋等,然后分別進(jìn)行分析,具體分析結(jié)果說明如下.

1)任務(wù)完成時間

實驗組和控制組的用戶在實驗中分別完成簡單、中等、較難等不同任務(wù).如果不區(qū)分任務(wù)難度,那么以每項任務(wù)為單位,共48 份實驗數(shù)據(jù)樣本,則實驗組任務(wù)完成時間的平均值為249.83s,標(biāo)準(zhǔn)差為120.14s;控制組任務(wù)完成時間的平均值為 313.65s,標(biāo)準(zhǔn)差為 141.02s.進(jìn)一步地,對任務(wù)完成時間作配對 T 檢驗分析,得到t=–4.152,p<0.05,存在顯著性差異,即在不區(qū)分任務(wù)難度時,實驗組用戶的任務(wù)完成時間比控制組要短,說明眼動跟蹤數(shù)據(jù)可視化的分享機(jī)制能夠有效地提高代碼協(xié)同審查的效率.另一方面,如果區(qū)分任務(wù)難度,則每個難度條件下的實驗數(shù)據(jù)樣本各為16 份,任務(wù)完成時間結(jié)果見表2.

Fig.15 Visualization displayed in the experiment圖15 實驗中可視化效果示意圖

Table 2 Task completion time analysis under tasks with different difficulty表2 區(qū)分難度的任務(wù)完成時間分析

進(jìn)一步對任務(wù)完成時間進(jìn)行多因素方差分析,結(jié)果如圖16 所示,在3 種不同任務(wù)難度條件下,也存在顯著性差異,實驗組的任務(wù)完成時間比控制組要短,也進(jìn)一步說明眼動跟蹤數(shù)據(jù)可視化的分享機(jī)制對不同難度的代碼審查具有較好的適應(yīng)性.

Fig.16 Multi-factor variance analysis of the task completion time圖16 任務(wù)完成時間的多因素方差分析結(jié)果

2)視覺行為

我們從交叉重復(fù)度、眼動跟蹤掃描軌跡兩個方面來分析用戶視覺行為.將每一個代碼行設(shè)為一個區(qū)域,計算用戶在該區(qū)域的交叉重復(fù)度,結(jié)果見表3.

Table 3 Cross-recurrence calculation results of tasks with different difficulty (average)表3 不同任務(wù)難度條件下的交叉重復(fù)度計算結(jié)果(平均值)

在不同任務(wù)難度條件下,實驗組的交叉重復(fù)度平均值小于控制組的交叉重復(fù)度平均值,說明眼動跟蹤數(shù)據(jù)可視化的共享使用戶在審查代碼時的分工意識更為明確.

進(jìn)一步地,將每兩位用戶在任務(wù)過程中基于時間軸的掃描軌跡進(jìn)行比較分析,如圖17 所示.圖中,不同顏色的折線代表某兩位用戶的掃描軌跡,用戶在協(xié)同代碼審查過程中的掃描軌跡既存在“跟隨”現(xiàn)象(如圖17(a)所示),又存在掃描軌跡“分離”現(xiàn)象(如圖17(b)所示).例如,在開始階段,用戶通過分工進(jìn)行代碼的快速查找時,掃描軌跡會分離;在縮小錯誤范圍,共同定位具體代碼錯誤時,掃描軌跡會相互跟隨.

Fig.17 Timeline based scan paths comparison圖17 基于時間軸的掃描軌跡比較分析示例

3)主觀反饋

在實驗之后,使用量表和訪談搜集了用戶的主觀體驗和建議.使用5 點量表(1-非常不滿意,5-非常滿意)考察了用戶對代碼協(xié)同審查系統(tǒng)的整體滿意程度,結(jié)果表明,用戶主觀滿意度平均值為3.88,標(biāo)準(zhǔn)差為0.7,表明用戶對系統(tǒng)的滿意度較高.此外,在訪談中發(fā)現(xiàn):(1)對于實時注視點的共享,50%的用戶認(rèn)為很有幫助,因為可以在一個較細(xì)的粒度下實時了解協(xié)作者的視覺行為,而且對自己的視覺干擾較小.(2)對于代碼行邊框這個可視化屬性,47%的用戶覺得此功能對自己的幫助很大,主要是可以了解協(xié)作者關(guān)注的具體代碼行,可以引導(dǎo)雙方共同關(guān)注和確定具體的審查范圍.但也有用戶認(rèn)為,這種可視化效果有時會對自己產(chǎn)生視覺干擾,并建議增加一個可視化開關(guān),允許用戶自己啟動或關(guān)閉這個可視化效果.(3)對于代碼行背景灰度可視化屬性,54%的用戶覺得對自己有很大幫助,可以幫助自己了解協(xié)作者對不同代碼行的關(guān)注程度.(4)針對代碼行之間連線可視化屬性,42%的用戶覺得此功能對自己有很大的幫助,可以幫助自己了解協(xié)作者審查代碼的思路,了解兩行代碼之間的邏輯關(guān)系;但也有用戶認(rèn)為,當(dāng)連線較多時,連線識別起來比較困難,視覺干擾較大.

5 結(jié) 語

本文提出了面向多用戶眼動跟蹤的協(xié)同交互方法,具體地,通過基于梯度優(yōu)化的協(xié)同標(biāo)定模型和基于客戶端/服務(wù)器的架構(gòu)實現(xiàn)了多用戶眼動跟蹤注視點的同步記錄、精確計算和數(shù)據(jù)管理.在此基礎(chǔ)上,進(jìn)行眼動跟蹤數(shù)據(jù)協(xié)同可視化探索,提出了針對視覺搜索任務(wù)的可視化設(shè)計.進(jìn)而針對代碼協(xié)同審查應(yīng)用,設(shè)計與開發(fā)了協(xié)同式眼動跟蹤原型系統(tǒng),實現(xiàn)了實時注視點、代碼行邊框、代碼行背景灰度、代碼行之間連線等可視化屬性的共享.用戶實驗結(jié)果表明,代碼錯誤的平均搜索時間比沒有共享機(jī)制下減少了20.1%,顯著提高了協(xié)同代碼審查的效率和協(xié)作分工意識.

下一步,將針對計算機(jī)支持的協(xié)同工作和社會計算等領(lǐng)域的相關(guān)應(yīng)用,繼續(xù)擴(kuò)大用戶規(guī)模,突破配對協(xié)同(pair-collaboration)[2]的瓶頸,建立聯(lián)合注意資源驅(qū)動下的多用戶協(xié)同工作模型和用戶管理機(jī)制,融合不同用戶的認(rèn)知資源,擴(kuò)展用戶的知覺、學(xué)習(xí)和記憶能力,支持高效、有序的多人協(xié)同交互.此外,深入研究聯(lián)合注意條件下的用戶評估和反饋優(yōu)化問題,關(guān)注眼動跟蹤協(xié)同交互環(huán)境下用戶認(rèn)知負(fù)荷的動態(tài)變化,對聯(lián)合注意驅(qū)動的視覺指示線索進(jìn)行優(yōu)化和動態(tài)自適應(yīng)調(diào)整.