栗戰(zhàn)恒 鄭秀娟 劉凱
摘 要:近視會導(dǎo)致用戶眼球發(fā)生形狀畸變,近視用戶眼球與視線估計中眼球參考模型的差異導(dǎo)致基于固定模型法得到的視線位置與用戶實(shí)際視線位置不一致,這影響了視線跟蹤的數(shù)據(jù)精度。針對以上問題,文中提出了一種基于眼球誤差模型的眼動數(shù)據(jù)校正方法。結(jié)合眼動儀使用中例行的視線標(biāo)定,通過計算視線標(biāo)定過程中參考點(diǎn)與對應(yīng)的視線估計點(diǎn)之間關(guān)系求得近視用戶眼球與視線跟蹤中眼球參考模型之間的眼球誤差,然后根據(jù)眼球誤差計算跟蹤數(shù)據(jù)誤差,最后將誤差量補(bǔ)償于眼動數(shù)據(jù),并進(jìn)行了計算機(jī)仿真驗(yàn)證。實(shí)驗(yàn)結(jié)果表明:近視用戶眼球發(fā)生形狀畸變時其眼動數(shù)據(jù)偏差不僅與近視程度有關(guān)而且與用戶觀察點(diǎn)位置密切相關(guān)。數(shù)據(jù)校正前,視線估計點(diǎn)與真實(shí)值平均偏離誤差為48.66pixels;數(shù)據(jù)校正后,視線估計點(diǎn)均勻分布在真實(shí)值周圍,平均跟蹤誤差為28.02pixels,并且可以驗(yàn)證,隨著觀察對象位置不同及近視程度變化,矯正后的數(shù)據(jù)偏差始終小于48pixels。說明以上提出的方法可以很好校正近視造成的眼動數(shù)據(jù)偏差。
關(guān)鍵詞:眼動儀;視線跟蹤; 校正;近視;眼動數(shù)據(jù)
中圖分類號:TP 391 文獻(xiàn)標(biāo)識碼:A 文章編號:1672-7312(2019)04-0512-05
0 引 言
在過去的20年間,關(guān)于視線跟蹤的研究取得了很大的進(jìn)步[1-2],但是由于人類眼部形狀各異,而且其大小、閉合、位置和光源等條件的差異,使得視線跟蹤技術(shù)仍舊面臨一些難題。視線估計技術(shù)有基于模型和基于回歸的2種類型。但是,大多數(shù)基于模型的視線估計方法常需要一些先驗(yàn)參數(shù),如依據(jù)Le Grand眼球模型建立的單攝像機(jī)單光源系統(tǒng)使用了角膜半徑經(jīng)驗(yàn)值C=7.7 mm,人機(jī)交互層面廣泛使用的Morimoto二次回歸模型[3]建立在Gullstrand眼球模型之上,而后者需要角膜半徑、折射率等先驗(yàn)參數(shù)值,Shao等提出的2D模型的視線估計方法除了使用先驗(yàn)的眼球半徑外更是假定眼球光軸視軸重合[4]。
雖然大樣本采樣建模得到的眼球固定內(nèi)參數(shù)具有普適性,但對于一些個體來說并不適用,視線估計中恒定固有內(nèi)參數(shù)的使用可能會導(dǎo)致視線估計得到的眼動數(shù)據(jù)與真實(shí)數(shù)據(jù)不一致。針對以上問題,文中提出了利用原有眼動數(shù)據(jù)進(jìn)行校正的解決方案,并進(jìn)行了計算機(jī)仿真實(shí)驗(yàn)。
1 視線估計的影響因素
研究表明人的眼球在一定程度上與民族特征有關(guān)[5],并存在一定的個體差異。另外,近視造成的眼球畸變也會對基于模型的視線估計結(jié)果造成影響。近視被列為世界三大疾病之一,相關(guān)數(shù)據(jù)顯示全球人口近視發(fā)生率為22%。近視者眼球形狀的變化(尤其是高度近視者)使得依據(jù)先驗(yàn)的眼球模型得到的眼動數(shù)據(jù)不再適用。
近年來國內(nèi)外一些學(xué)者開始致力于眼動數(shù)據(jù)校正方面的研究[6-13]。其中,Biele和Kobylinski[11]、Schenk等[8]采用了誤差向量補(bǔ)償法;Vadillo等[13]采用了擬合矩陣法;Zhang和Hornof [14]采用了線性回歸向量法。上面提到的校正方法大多基于誤差數(shù)據(jù)本身進(jìn)行數(shù)據(jù)擬合,文中由導(dǎo)致眼動數(shù)據(jù)偏差的眼球誤差模型出發(fā),提出了利用原有眼動數(shù)據(jù)進(jìn)行校正的解決方案,結(jié)合眼動儀使用中的視線標(biāo)定,通過計算真實(shí)數(shù)據(jù)與誤差數(shù)據(jù)之間關(guān)系求得眼球誤差模型進(jìn)而對眼動數(shù)據(jù)進(jìn)行校正。
2 基于眼球模型的眼動數(shù)據(jù)校正
眼睛注視點(diǎn)的改變是靠眼球轉(zhuǎn)動來完成的。為了簡化計算,Shao等提出的模型擬合法將眼球視為圍繞一固定點(diǎn)旋轉(zhuǎn)的球體如圖1所示,眼球中心與瞳孔中心的連線即為用戶視線[15-16],文中根據(jù)此模型提出了眼動數(shù)據(jù)的校正方法。在眼動儀使用過程中,眼睛與屏幕位置關(guān)系如圖2所示,其中O為眼球中心,Z為眼動儀,A為眼睛正視前方時視線與屏幕的交點(diǎn)。對于眼動儀系統(tǒng),B點(diǎn)位置不變,A點(diǎn)坐標(biāo)、OZ及OA距離可通過眼動儀數(shù)據(jù)采集獲得,在以下討論中A點(diǎn)坐標(biāo)和OA值可視為已知量。
眼動儀在使用之前要先進(jìn)行一個視線標(biāo)定以匹配眼動視角與屏幕坐標(biāo)之間的關(guān)系,然后進(jìn)行相關(guān)操作,文中提出的眼動數(shù)據(jù)校正算法借助眼動系統(tǒng)的視線標(biāo)定過程。眼動數(shù)據(jù)校正流程可簡要概括為如下3個步驟:①由視線標(biāo)定時屏幕參考點(diǎn)與對應(yīng)的眼動視線估計點(diǎn)得到用戶眼球與眼球參考模型間的眼球誤差;②根據(jù)眼球誤差計算跟蹤數(shù)據(jù)誤差;③將誤差量補(bǔ)償于眼動數(shù)據(jù)。視線標(biāo)定時,參考點(diǎn)坐標(biāo)已知,對應(yīng)的視線估計點(diǎn)坐標(biāo)可由眼動儀得到。由于雙眼眼動數(shù)據(jù)的校正原理相同,文中以單個眼球?yàn)槔M(jìn)行校正原理分析。
2.1 近視用戶的數(shù)據(jù)校正
研究表明,近視患者的眼球較正視者眼球更為狹長,隨著近視屈光度數(shù)的增加,眼球前后徑、垂直徑和水平徑均有增長[17-18],近視用戶的眼球可以被假設(shè)為比正視者眼球大的球體模型。如圖3所示,虛線圓為視線估計時的眼球參考模型,實(shí)線圓為近視用戶眼球,兩圓的共同圓心為O.A為眼睛正視前方時視線與屏幕的交點(diǎn),OA垂直于屏幕平面。B為視線標(biāo)定時的一個參考點(diǎn),B1為用戶注視B時基于模型的視線估計方法得到的視線估計點(diǎn),A,B和B1在屏幕平面內(nèi)共線。DE為用戶從A看向B時瞳孔在水平方向的移動距離,F(xiàn)G為DE在眼球參考模型上的映射,DE=FG.基于模型的視線估計方法中視線由A點(diǎn)移到B1點(diǎn)對應(yīng)眼球參考模型中瞳孔在水平方向上移動距離FG.
記OE/OG為ρ,即用戶眼球與眼球參考模型半徑之比。視線標(biāo)定時,A點(diǎn)、B點(diǎn)、B1點(diǎn)坐標(biāo)及OA距離已知,易求得AB,OB,OB1及AB1距離,進(jìn)而可求得ρ。對于同一受試者,其ρ值固定不變。
視線標(biāo)定完成后,用戶視線點(diǎn)仍滿足圖3類似幾何關(guān)系。重畫圖3,這里為方便表示用戶實(shí)際視線點(diǎn)仍記作B,其他標(biāo)注類似。進(jìn)行視線估計時以上關(guān)系式仍然成立,可以推出
根據(jù)上式可以求得近視用戶的實(shí)際注視點(diǎn)B的坐標(biāo)。
2.2 視線校正的仿真驗(yàn)證
針對以上提出的校正方法采用計算機(jī)仿真進(jìn)行驗(yàn)證。通常眼動儀的有效跟蹤距離為50~80 cm,仿真時該距離設(shè)定為65 cm,并假設(shè)用戶正視點(diǎn)(用戶正視前方時,視線與屏幕的交點(diǎn),對應(yīng)上文中點(diǎn)A)位于屏幕中心,在寬高比為16∶9,屏幕分辨率為1 920×1 080 pixels的23.1英寸顯示器上進(jìn)行。視線跟蹤過程中必然存在一定的眼球生理震顫和外界干擾從而造成數(shù)據(jù)誤差,我們用實(shí)驗(yàn)擬合擾動誤差模型,之后將其施加于計算機(jī)仿真來模擬實(shí)際情形。顯示器屏幕被等分成9個部分,以每部分的中心作為測試參考點(diǎn),并從上到下、從左到右依次編號為1,2,3,…,9.成年人眼球長度為23 mm左右,經(jīng)典理論認(rèn)為眼軸每延長1 mm,屈光力增加約3D[19].眼睛近視度數(shù)過高時易發(fā)生視網(wǎng)膜脫落,故仿真時選取近視度數(shù)范圍為0°到1 380°,對應(yīng)ρ的取值范圍是1.0~1.2.
選取眼球半徑比ρ為1.1,進(jìn)行了10次仿真模擬實(shí)驗(yàn)。圖4為近視用戶校正前后視線誤差對比圖,圖5為校正前后視線估計點(diǎn)對比圖,測試點(diǎn)1~9表示屏幕上9個參考點(diǎn)。文中視線跟蹤誤差定義為參考點(diǎn)和所對應(yīng)的視線估計點(diǎn)之間距離Δd的均值,單位為像素(pixel)。Δd越大,說明視線估計點(diǎn)位置和真實(shí)注視點(diǎn)位置之間的距離越遠(yuǎn),估計點(diǎn)誤差越大;反之,則估計點(diǎn)誤差越小。
由圖4及圖5可知,校正前各參考點(diǎn)的視線估計點(diǎn)與屏幕中心的距離均大于真實(shí)值與屏幕中心的距離,視線估計點(diǎn)呈現(xiàn)四周發(fā)散的趨勢。校正前,視線估計點(diǎn)與真實(shí)值偏離比較遠(yuǎn);校正后,視線估計點(diǎn)均勻分布在真實(shí)值周圍,平均跟蹤誤差為28.02 pixels(SD=3.34)。
為了研究校正算法對單變量變化的校正效果,我們分別研究了用戶注視點(diǎn)與正視點(diǎn)距離、近視程度單變量變化時的校正效果。圖6(a)為選取ρ為1.1,當(dāng)用戶注視點(diǎn)與A點(diǎn)的距離由0變?yōu)?40 pixels時的仿真圖。顯然,校正后數(shù)據(jù)偏差穩(wěn)定在±44.18 pixels范圍內(nèi),而校正前數(shù)據(jù)偏差隨著注視點(diǎn)與正視點(diǎn)距離變大逐漸變大。圖6(b)為用戶注視點(diǎn)與正視點(diǎn)距離為384 pixels,ρ從1變化為1.2時的仿真圖,隨著近視程度的加深(即ρ從1變?yōu)?.2)校正前數(shù)據(jù)偏差越來越大,校正后數(shù)據(jù)偏差穩(wěn)定在±47.29 pixels的范圍內(nèi),并且可以驗(yàn)證校正后數(shù)據(jù)偏差小于48 pixels。以上仿真結(jié)果說明,用戶近視時其眼動數(shù)據(jù)偏差不光與近視程度有關(guān)而且與用戶注視點(diǎn)位置密切相關(guān)。
3 結(jié) 語
文中對由用戶近視導(dǎo)致的特定情形下眼動數(shù)據(jù)不準(zhǔn)問題提出了相應(yīng)解決方案,仿真結(jié)果顯示以上校正方法十分有效??梢孕U晫?dǎo)致的依據(jù)固定眼球模型得到的眼動數(shù)據(jù)不準(zhǔn),雖然針對基于模型的視線估計方法,但對于瞳孔—角膜向量法及其他算法同樣具有參考作用(其他一些視線估計算法也在一定程度上借鑒了眼球生理模型)。文中校正算法對其他類型視線估計算法的適應(yīng)性將在接下來進(jìn)行研究。
文中僅列舉了近視用戶眼球誤差模型并進(jìn)行了公式推導(dǎo)和校正說明,其他類型的眼球誤差模型校正原理相似。如,文中對近視者的校正中假設(shè)近視者眼球大于正視者的眼球,所以上述方法對用戶眼球半徑大于參考模型半徑的情形同樣適用。并且可以驗(yàn)證,當(dāng)用戶眼球半徑小于參考模型半徑時,上述校正算法同樣成立。雖然文中提出的校正算法對近視導(dǎo)致的特定類型跟蹤不準(zhǔn)問題十分有效,但是存在一定的局限性,必須已知用戶眼病類型才可對其進(jìn)行校正。對于其他類型眼動數(shù)據(jù)的校正將在接下來進(jìn)行討論。
參考文獻(xiàn):
[1] 李晨輝,龐志兵,張艷君,等.眼動測量在人機(jī)界面作業(yè)優(yōu)化評估系統(tǒng)中的應(yīng)用[J].技術(shù)與創(chuàng)新管理,2017,38(01):41-45.
[2]鄭秀娟,栗戰(zhàn)恒,張 昀.基于視覺特性的駕駛安全眼動研究進(jìn)展[J].技術(shù)與創(chuàng)新管理,2018,39(01):50-59.
[3]Morimoto C H,Koons D,Amir A,et al.Pupil detection and tracking using multiple light sources[J].Image & Vision Computing,2000,18(04):331-335.
[4]Shao G,Che M,Zhang B,et al.A novel simple 2D model of eye gaze estimation[C]//International Conference on Intelligent Human-Machine Systems and Cybernetics,2010:300-304.
[5]李作勇.關(guān)于近視[J].中國眼鏡科技雜志,2000(06):30.
[6]Zhang Y,Hornof A J.Mode-of-disparities error correction of eye-tracking data[J].Behavior Research Methods,2011,43(03):834-842.
[7]Hornof A J,Halverson T.Cleaning up systematic error in eye-tracking data by using required fixation locations[J].Behavior Research Methods Instruments & Computers,2002,34(04):592.
[8]Schenk S,Dreiser M,Rigoll G,et al.GazeEverywhere:Enabling Gaze-only User Interaction on an Unmodified Desktop PC in Everyday Scenarios[C].CHI Conference,2017:3034-3044.
[9]Gibaldi A,Vanegas M,Bex P J,et al.Evaluation of the tobii eye X eye tracking controller and Matlab toolkit for research[J].Behavior Research Methods,2017,49(03):923-946.
[10]Zhang Y,Hornof A J.Easy post-hoc spatial recalibration of eye tracking data[C].Symposium on Eye Tracking Research and Applications,2014:95-98.
[11]Biele C,Kobylinski P.Surface recalibration as a new method improving gaze-based human-computer interaction[C].International Conference on Intelligent Human Systems Integration,2018:197-202.
[12]Binaee K,Diaz G,Pelz J,et al.Binocular eye tracking calibration during a virtual ball catching task using head mounted display[C].ACM Symposium on Applied Perception,2016:15-18.
[13]Vadillo M A,Street C N,Beesley T,et al.A simple algorithm for the offline recalibration of eye-tracking data through best-fitting linear transformation.[J].Behavior Research Methods,2015,47(04):1365-1376.
[14]Zhang Y,Hornof A J.Easy post-hoc spatial recalibration of eye tracking data[C].Symposium on Eye Tracking Research and Applications,2014:95-98.
[15]Kyung-Nam K,Ramakrishna R S.Vision-based eye-gaze tracking for human computer interface[C].IEEE International Conference on Systems.IEEE,1999(02):324-329.
[16]余 沁,劉龍繁,熊 艷,等.文字強(qiáng)調(diào)方式對多媒體學(xué)習(xí)的影響——基于眼動追蹤技術(shù)[J].生物醫(yī)學(xué)工程研究,2018,37(01):96-100.
[17]Atchison D A,Jones C E,Schmid K L,et al.Eye shape in emmetropia and myopia[J].Investigative Ophthalmology & Visual Science,2004,45(10):3380.
[18]Mutti D O,Sholtz R I,F(xiàn)riedman N E,et al.Peripheral refraction and ocular shape in children[J].Investigative Ophthalmology & Visual Science,2000,41(05):1022-1030.
[19]周躍華,李志輝.近視眼角膜屈光力及眼軸的測定分析[J].中華眼科雜志,1995(05):356-358.
(責(zé)任編輯:張 江)