基于用戶自定義興趣區(qū)的飛行員眼動數(shù)據(jù)可視分析方法

賀懷清 鄭立源 劉浩翰 張昱旻

摘 要：針對傳統(tǒng)基于興趣區(qū)的可視化方法在分析飛行員眼動數(shù)據(jù)過程中無法關(guān)注細(xì)節(jié)的問題，提出了一種基于用戶自定義興趣區(qū)的眼動數(shù)據(jù)可視分析方法。首先，根據(jù)具體的分析任務(wù)，引入對任務(wù)背景圖像的自我劃分和定義;然后，在此基礎(chǔ)上，結(jié)合多種輔助視圖和交互手段，設(shè)計并實現(xiàn)了面向飛行員培訓(xùn)的眼動數(shù)據(jù)可視分析系統(tǒng)，幫助分析人員分析不同的飛行員之間的眼動差異，最后通過案例分析，證明了可視分析方法的有效性和分析系統(tǒng)的實用性。實驗結(jié)果表明，較傳統(tǒng)方法來說，所提方法增加了分析人員在分析過程中的主動性，在整體和局部方面，支持分析人員對任務(wù)背景進(jìn)行細(xì)節(jié)的探索，增加了分析人員分析數(shù)據(jù)的多角度性，讓分析人員能夠結(jié)合整體發(fā)現(xiàn)飛行學(xué)員在訓(xùn)練過程中認(rèn)知困難的部分，進(jìn)而制定更有針對性、更有效的訓(xùn)練課程。

關(guān)鍵詞：飛行員;眼動數(shù)據(jù);數(shù)據(jù)可視化;可視分析;興趣區(qū);多視圖

中圖分類號：TP391.9

文獻(xiàn)標(biāo)志碼：A

Visual analysis method for pilot eye movement data based on user-defined interest area

HE Huaiqing， ZHENG Liyuan*， LIU Haohan， ZHANG Yumin

College of Computer Science and Technology， Civil Aviation University of China， Tianjin 300300， China

Abstract：

Focused on the issue that the traditional interest area based visualization method can not pay attention to the details in the process of analyzing pilot eye movement data， a visual analysis method of eye movement data based on user-defined interest area was proposed. Firstly， according to the specific analysis task， the self-divison and self-definition of the background image of the task were introduced. Then， multiple auxiliary views and interactive approaches were combined， and an eye movement data visual analysis system for pilot training was designed and implemented to help analysts analyze the difference of eye movement between different pilots. Finally， through case analysis， the effectiveness of the visual analysis method and the practicability of the analysis system were proved. The experimental results show that compared with the traditional method， in the proposed method， the analysts initiative in the analysis process is increased. The analysts are allowed to explore the local details of the task background in both global and local aspects， making the analysts analyze the data in multi-angle; the analysts are allowed find the flight students cognitive difficulties in the training process as a whole， so as to develop more targeted and more effective training courses.

Key words：

pilot;eye movement data; data visualization; visual analytics;Area Of Interest （AOI）; multi-view

0 引言

近年來，隨著人們生活水平的提高，飛機逐漸成為了人們?nèi)粘３鲂械氖走x交通工具，其安全性越發(fā)引人關(guān)注。當(dāng)然，隨著航空系統(tǒng)技術(shù)的進(jìn)步，飛行員訓(xùn)練和機組人員、空中管制員程序的改進(jìn)，商業(yè)航空的事故發(fā)生率已經(jīng)相對較低。其中，緣于技術(shù)故障的僅占10%，而人為因素造成的占到了60%～80% [1]。2013年美國聯(lián)邦航空管理局（Federal Aviation Administration， FAA）[2]發(fā)布了一項培訓(xùn)規(guī)定，要求到2019年3月將加強飛行員監(jiān)控培訓(xùn)納入現(xiàn)有的航空職業(yè)培訓(xùn)項目中。法國調(diào)查機構(gòu)事故調(diào)查局（British European Airways， BEA） [3]也建議研究飛行員的眼球追蹤監(jiān)視，以改進(jìn)駕駛程序。在最近的一項調(diào)查[4]中，75%的飛行員回答說，公布有關(guān)不同飛行階段（如起飛、進(jìn)近）所需的視覺模式的詳細(xì)信息，可以幫助他們提高監(jiān)控技能，可見飛行員眼動軌跡的研究對于飛行員訓(xùn)練至關(guān)重要。

d=di/dmax（2）

這里0代表完全相似，1代表相似度比較小。在日常對相似度的比較中，數(shù)值越大代表相似度越高，所以本文方法用sim=1-d來表示相似度，這樣就構(gòu)成了內(nèi)部圓形的顏色編碼。

2.2.2 參與者分類

考慮到分析人員在分析過程中要對所有參與者進(jìn)行評估，本文方法根據(jù)參與者對比中相似度，對所有參與者進(jìn)行分類，構(gòu)建參與者分類視圖。視圖包含三層圓形，如圖3所示，外層圓形包含所有參與者，中間層每個灰色圓形表示一類參與者，內(nèi)層每個深色的圓形表示一個參與者，其中圓形的大小代表與被選對象的相似度，圓形越大，表示與被選對象相似度越高。

2.2.3 總體概覽

飛行的不同階段，飛行員所關(guān)注的區(qū)域以及關(guān)注區(qū)域的停留時間不同，為了便于分析人員快速獲取訓(xùn)練階段參與者重點關(guān)注的區(qū)域，給出總體概覽視圖，如圖4所示，顯示所有參與者在各個AOI的停留時間，其中橫軸代表每個AOI，縱軸代表在每個AOI停留的總時間，便于分析人員了解每個AOI在整個任務(wù)過程中的重要程度。

2.3 單一視圖

2.3.1 參與者列表

參與者列表列出了數(shù)據(jù)集中的所有參與者，如圖5所示。

每一行代表一個參與者AOI交替的情況，每一行起始標(biāo)簽代表參與者編號，末尾標(biāo)簽代表該參與者完成任務(wù)的總時間。為了便于分析人員更好地對所有參與者觀察，本文方法采用統(tǒng)一開始時間和結(jié)束時間的方式，在每行的末尾處用灰色的矩形條填補，可以讓分析人員在短時間內(nèi)對所有參與者完成任務(wù)所花費的時間有一個大致的了解。

2.3.2 單一參與者

對于分析人員，參與者每次視覺轉(zhuǎn)換的原因和轉(zhuǎn)換后的關(guān)注點，是重要的分析指標(biāo)。本文方法提出單一參與者視圖，如圖6所示，包括上下兩個部分：上半部分用縮略圖表示當(dāng)前參與者每次AOI轉(zhuǎn)換時，所關(guān)注的區(qū)域，其中縮略圖上的紅色點表示每次AOI轉(zhuǎn)換時，參與者所關(guān)注的第一個注視點;下半部分則對應(yīng)當(dāng)前參與者的視覺轉(zhuǎn)換軌跡視圖。

2.4 交互操作

數(shù)據(jù)可視化雖然能在一定程度上幫助用戶理解數(shù)據(jù)，但其效果有一定的局限性。為了讓用戶進(jìn)一步的了解和探索數(shù)據(jù)，充分發(fā)揮分析人員的主動性和分析能力，本文加入了選擇和拖放交互設(shè)計。

2.4.1 選擇操作

參與者列表展示了每個參與者的大致完成信息，通過鼠標(biāo)點擊選中每個參與者，相對應(yīng)的參與者對比、參與者分類和單一參與者都會重新構(gòu)建。

2.4.2 拖拉操作

當(dāng)分析人員打開任務(wù)背景圖片后，可以通過點擊并拖拉鼠標(biāo)的方式定義AOI。

3 方法實現(xiàn)和案例分析

3.1 基于本文方法的可視分析系統(tǒng)

本文的樣本數(shù)據(jù)主要來源于A320飛行駕駛模擬器場景下，使用Tobii Glasses 2.0與配套的眼球跟蹤系統(tǒng)，該眼動儀支持頭部自由活動，自動校正平行視差，采集視覺范圍為水平82°，垂直52°，在30Hz的條件下對模擬下降、進(jìn)近和著陸階段飛行員眼動軌跡數(shù)據(jù)進(jìn)行雙眼運動采樣。結(jié)合分析目標(biāo)，提取原始數(shù)據(jù)中的當(dāng)前注視點基于任務(wù)背景下的坐標(biāo)點（x，y）和眼動轉(zhuǎn)換時間time信息，在眼動數(shù)據(jù)采樣過程中，由于被選人員的自身影響以及設(shè)備存在的外部環(huán)境影響等原因，使得眼動儀在采集過程中會產(chǎn)生噪聲數(shù)據(jù)。因此，在預(yù)處理階段需要對噪聲數(shù)據(jù)進(jìn)行處理，例如補充空白數(shù)據(jù)、過濾異常數(shù)據(jù)等操作。

本文方法使用Java實現(xiàn)，利用JavaScript和D3.js庫進(jìn)行可視化界面和交互的實現(xiàn)。如圖7所示，其中（a）自定義AOI、（b）參與者列表、（c）任務(wù)背景、（d）參與者對比、（e）參與者分類、（f）、整體概覽、（g）單一參與者。

3.2 案例分析

以A320飛行駕駛模擬器場景下，模擬降落和進(jìn)近階段10名飛行員眼動軌跡數(shù)據(jù)為例，在數(shù)據(jù)集中P0和P1為飛行員教練，P2～P9為新手飛行員，下面說明分析人員使用系統(tǒng)的過程。

3.2.1 自定義AOI

當(dāng)進(jìn)行飛行員眼動數(shù)據(jù)分析時，分析人員可以根據(jù)具體的分析任務(wù)，對AOI自定義，然后根據(jù)自定義的AOI以及多視圖，從飛行員注視點、注視時間、注視模式等方面對眼動數(shù)據(jù)進(jìn)行整體到局部的探索;同時在探索的過程中，如果自定義的AOI無法達(dá)到分析人員對任務(wù)分析的角度，分析人員可以再次根據(jù)分析任務(wù)對AOI重新定義，從而提高分析人員在數(shù)據(jù)分析過程中的主動性和數(shù)據(jù)分析的多角度性。

根據(jù)案例中對飛行員眼動數(shù)據(jù)分析的研究，將A320駕駛艙劃分為5個AOI（如圖8，包含一個未選擇AOI），分別為駕駛艙外景（AOI1）、遮光板（AOI2）、中央儀表盤（AOI3）、中央操縱臺（AOI4）和未選擇區(qū)域（AOI5），劃分后對10名飛行員眼動軌跡數(shù)據(jù)進(jìn)行可視化，結(jié)果如圖7。

3.2.2 整體概覽

對可視化視圖進(jìn)行分析，結(jié)合視圖對整體進(jìn)行分析。

首先通過對視圖7（b）進(jìn)行觀察，發(fā)現(xiàn)參與者完成任務(wù)所用時間大部分都在10.8min到12.2min左右，但是參與者P5完成任務(wù)只用了8.8min，低于模擬駕駛過程的平均完成時間，其次P6和P8完成時間也偏短。結(jié)合視圖（f），可以看出，在所有的AOI中，駕駛艙外景（AOI1）和中央儀表盤（AOI3）的停留時間占比比較多，可以看出在降落和進(jìn)近過程中，對駕駛艙外景和中央儀表盤的監(jiān)控的重要性;再結(jié)合視圖（d）中的圓環(huán)，可以看出參與者大致分為三種類型：在兩個AOI之間分布平均、在駕駛艙外景注視時間較長和在中央儀表盤注視時間較長。

本文將P0作為被觀察對象，結(jié)合（b）（c）（d）（e）視圖，可以發(fā)現(xiàn)：

1）在軌跡相似度方面，P0和P1在眼動軌跡掃射方面相似度最高，其他飛行員參與者的眼動軌跡與P0的相似度偏低，如圖9所示。

2）在AOI的切換方面，P0和P1飛行員在外景和儀表盤之間停留時間分布均勻，且在外景和儀表盤之間進(jìn)行有規(guī)律的切換，在最后飛機落地滑向停機位時，更加關(guān)注外景，具有較好的掃視頻率和注視頻率，而其他飛行員在完成整個任務(wù)過程中視覺大部分停留在外景上，基本不關(guān)注儀表盤的變化，在飛機滑向停機位的過程中幾乎不關(guān)注儀表盤，只關(guān)注機艙外景。

3）在關(guān)注時間方面，P0和P1飛行員在每次AOI切換后保持時間相差不大，可以看出在每次視線的轉(zhuǎn)換過程中，都能及時有效地獲取相關(guān)信息，并作出相對應(yīng)的操作，而其他飛行員，存在視線轉(zhuǎn)換后長時間停留的情況，可以看出該飛行員在讀取AOI中某個儀表盤的過程中出現(xiàn)了認(rèn)知困難的情況，難以第一時間獲取有效的信息。再根據(jù)視圖（g）中單一飛行員AOI轉(zhuǎn)換的縮略圖，可以大概定位飛行員認(rèn)知困難的AOI區(qū)域。

4）在飛行員評估方面，可以從視圖（e）中更好地獲取，其余參與者與被選擇參與者之間的關(guān)系，從而對每個參與者進(jìn)行評估打分。

3.2.3 細(xì)節(jié)探索

通過3.2.2節(jié)的結(jié)合分析，可以對所有參與者有一個整體概覽了解，但是在分析人員對飛行員眼動數(shù)據(jù)的分析中，可能不僅需要了解飛行員關(guān)注的是外景還是中央儀表盤，還需要了解飛行員關(guān)注的是哪部分儀表盤或者儀表盤哪個位置和數(shù)字，所以根據(jù)具體的分析任務(wù)對AOI進(jìn)行重新定義，如圖10所示。

對重新構(gòu)建后的視圖進(jìn)行分析，可以看出：P0和P1飛行員在AOI1、AOI2關(guān)注時間較多，在其他儀表盤上關(guān)注時間均衡，其他飛行員在AOI1和AOI4上關(guān)注時間較長，對AOI4關(guān)注時間多集中在降落前期，在其他儀表盤上關(guān)注時間較少。結(jié)合對飛機降落和進(jìn)近過程的分析，飛機在降落的前期，會從AOI4中的系統(tǒng)顯示儀表盤中獲取飛機降落需要檢查的項目，所以可以看出，飛行員在查看該儀表盤時出現(xiàn)認(rèn)知困難情況。

進(jìn)一步對圖10中AOI1的主飛行顯示儀表盤（PFD）進(jìn)行重新定義AOI，如圖11。

PFD主要包括三部分，左側(cè)的空速表、中間的姿態(tài)表和右側(cè)的高度表，對重新構(gòu)建后的視圖進(jìn)行分析，可以發(fā)現(xiàn)P0和P1在速度和高度表之間掃視頻率和注視時間均衡，其他飛行員存在過度關(guān)注高度或者速度的情況。

本文提出的可視化方法同文獻(xiàn)[11-15]對比討論如表1。

通過上述對比可以看出，本文提出的方法在主動性、整體性、局部性、多角度性和多參與者方面比其他可視分析方法完整，盡管在全面性方面僅僅支持靜態(tài)，但是目前仍可應(yīng)用于固定場景下動態(tài)刺激的可視化，比如車輛駕駛、飛行駕駛、室內(nèi)監(jiān)控等，此時被觀察人員看到的場景單一，眼球運動在固定場景內(nèi)移動;因此本文提出的方法對飛行員訓(xùn)練過程中眼動數(shù)據(jù)的分析有很大幫助，同時提高了分析人員的主動性和準(zhǔn)確性，得到質(zhì)量較高的分析結(jié)果，并以此制定針對性的訓(xùn)練項目，提高飛行訓(xùn)練的效率，加大飛行安全。

4 結(jié)語

本文提出了一種基于用戶自定義AOI的飛行員眼動軌跡可視分析方法。以一套完整的可視系統(tǒng)為基礎(chǔ)，讓分析人員根據(jù)具體分析任務(wù)，自定義合理的AOI，結(jié)合定義不同AOI所形成的多種可視化視圖，對飛行訓(xùn)練過程中飛行員的眼動軌跡數(shù)據(jù)進(jìn)行分析和探索。通過案例分析，本文初步驗證了方法的可行性和有效性。

系統(tǒng)注重分析過程中分析人員的主動性，讓分析人員在具體分析任務(wù)的基礎(chǔ)上，自定義合理的AOI，進(jìn)而作出有效、合理的分析結(jié)果。相比于傳統(tǒng)的固定AOI的可視化方法，本文方法大大提高了分析人員的參與程度，以幫助分析人員多角度分析飛行員的眼動軌跡數(shù)據(jù)。

在飛行員眼動數(shù)據(jù)分析方面，如何借助眼動數(shù)據(jù)對飛行員飛行績效進(jìn)行評估，對飛行員飛行疲勞狀態(tài)進(jìn)行分析也是非常重要的。同時目前存在的可視分析技術(shù)，在飛行員心理和情感可視方面還有需要突破的難點。在可視化設(shè)計方面，由于被試人群的特殊性，可操作的公開數(shù)據(jù)集較少，且目前只有靜態(tài)任務(wù)背景數(shù)據(jù)，對于視頻類飛行員訓(xùn)練眼動軌跡數(shù)據(jù)不支持。如何加大對視頻類數(shù)據(jù)的可視化支持，為分析人員提供更方便、更完整的可視分析系統(tǒng)，以提高民航飛行安全，這些都是未來研究的重要方向。

參考文獻(xiàn)

[1]SHAPPELL S， DETWILER C， HOLCOMB K， et al. Human error and commercial aviation accidents： an analysis using the human factors analysis and classification system [J]. Human Factors， 2007， 49（2）： 227-242.

[2]Federal Aviation Administration （FAA）. 14 CFR part 121 qualification， service， and use of crewmembers and aircraft dispatchers; final rule; federal register [EB/OL]. （2013-11-12） [2018-11-02]. http：//www.gpo.gov/fdsys/granule/FR-2013-11-12/2013-26845.

[3]British European Airways （BEA）. Study on aeroplane state awareness during go-around [EB/OL]. （2013-08-01） [2018-11-02]. https：//www.skybrary.aero/bookshelf/books/2404.pdf.

[4]LEFRANCOIS O， MATTON N， YVES G， et al. The role of pilots monitoring strategies in flight performance [EB/OL].（2016-09-26） ?[2018-11-02]. http：//oatao.univ-toulouse.fr/16173/1/Lefrancois_16173.pdf.

[5]柳忠起，袁修干，樊瑜波，等.模擬飛機著陸飛行中專家和新手眼動行為的對比[J].航天醫(yī)學(xué)與醫(yī)學(xué)工程，2009，22（5）：358-361.（LIU Z Q， YUAN X G， FAN Y B， et al. Comparison of expert and novice eye movement behaviors during simulated landing flight[J]. Space Medicine and Medical Engineering， 2009， 22（5）： 358-361.）

[6]孫瑞山，汪苧，董屾.基于非接觸式眼動儀的模擬飛行中注視分析[J].人類工效學(xué)，2013，19（4）：51-55.（SUN R S， WANG N， DONG S. Simulated in-flight gaze analysis based on non-contact eye tracker[J]. Chinese Journal of Ergonomics， 2013， 19（4）： 51-55.）

[7]REYNAL M， COLINEAUX Y， VERNAY A， et al. Pilot flying vs. pilot monitoring during the approach phase： an eye-tracking study [C]// Proceedings of the 2016 International Conference on Human-Computer Interaction in Aerospace. New York： ACM， 2016： Article No. 7.

[8]DEHAIS F， BEHREND J， PEYSAKHOVICH V， et al. Pilot flying and pilot monitorings aircraft state awareness during go-around execution in aviation： a behavioral and eye tracking study [J]. The International Journal of Aerospace Psychology， 2017， 27（1/2）： 15-28.

[9]白杰，葛祥雨，楊坤.飛行員探測跑道入侵的眼動模式分析[J].航天醫(yī)學(xué)與醫(yī)學(xué)工程， 2017，30（5）：327-332.（BAI J， GE X Y， YANG K. Analysis of eye movement patterns in pilots detection of runway incursion [J]. Space Medicine and Medical Engineering， 2017， 30（5）： 327-332.）

[10]程時偉，孫凌云.眼動數(shù)據(jù)可視化綜述[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報，2014，26（5）：698-707.（CHENG S W， SUN L Y. A survey on visualization for eye tracking data [J]. Journal of Computer-Aided Design and Computer Graphics， 2014， 26（5）： 698-707.）

[11]RICHARDSON D C， DALE R. Looking to understand： the coupling between speakers and listeners eye movements and its relationship to discourse comprehension [J]. Cognitive Science，2005， 29（6）： 1045-1060.

[12]STELLMACH S， NACKE L， DACHSELT R. Advanced gaze visualizations for three-dimensional virtual environments [C]// Proceedings of the 2010 Symposium on Eye-tracking Research and Applications. New York： ACM， 2010： 109-112.

[13]KURZHALS K， HLAWATSCH M， HEIMERL F， et al. Gaze stripes： image-based visualization of eye tracking data [J]. IEEE Transactions on Visualization and Computer Graphics， 2016， 22（1）： 1005-1014.

[14]BURCH M， KULL A， WEISKOPF D. AOI rivers for visualizing dynamic eye gaze frequencies [C]// Proceedings of the 15th Eurographics Conference on Visualization. Chichester， UK： the Eurographs Association and John Wiley & Sons， 2013： 281-290.

[15]BLASCHECK T， SCHWEIZER M， BECK F， et al. Visual comparison of eye movement patterns [J]. Computer Graphics Forum， 2017， 36（3）： 87-97.

This work is partially supported by the National Natural Science Foundation of China （U1333110）.

HE Huaiqing， born in 1969， Ph. D.， professor. Her research interests include graphic， image and visual analysis.

ZHENG Liyuan， born in 1993， M. S.candidate. His research interests include graphic， image and visual analysis.

LIU Haohan， born in 1966， M. S.， associate professor. His research interests include graphic， image and visual analysis.

ZHANG Yumin， born in 1996， M. S. candidate. Her research interests include graphic， image and visual analysis.