基于眼動(dòng)信號(hào)的感興趣檢測(cè)方法研究*

王新志，曾 洪，張華宇，宋愛(ài)國(guó)

（東南大學(xué)儀器科學(xué)與工程學(xué)院，江蘇 南京 210096）

0 引 言

如今，基于機(jī)器智能的目標(biāo)檢測(cè)技術(shù)飛速發(fā)展，并在人臉識(shí)別、遙感圖像識(shí)別等領(lǐng)域取得廣泛應(yīng)用。然而，對(duì)于目標(biāo)遮擋或部分缺失等難例樣本，機(jī)器智能難以有效檢測(cè)，使用輸入設(shè)備，如鍵盤(pán)、鼠標(biāo)等為機(jī)器智能提供人工標(biāo)注難例樣本是常見(jiàn)的解決方案，但是存在標(biāo)注效率較低的問(wèn)題［1，2］。

眼動(dòng)信號(hào)是人眼球注視位置隨時(shí)間變化的時(shí)間序列數(shù)據(jù)，其中的注視事件能夠分析人的相關(guān)認(rèn)知信息。通過(guò)分析被試執(zhí)行標(biāo)注任務(wù)的眼動(dòng)信號(hào)可以自然地實(shí)現(xiàn)難例樣本標(biāo)注，已在實(shí)踐中探索出許多應(yīng)用［3，4］，但現(xiàn)有研究多基于提取眼動(dòng)信號(hào)特征、使用淺層模型分類(lèi)的方法。受到深度學(xué)習(xí)取得廣泛應(yīng)用的啟發(fā)，有學(xué)者提出InceptionTime 網(wǎng)絡(luò)［5］，卷積長(zhǎng)短期記憶（convolutional long short-term memory，ConvLSTM）網(wǎng)絡(luò)［6］，LSTM-全卷積網(wǎng)絡(luò)（fully convolutional network，F(xiàn)CN）［7］等用于時(shí)間序列分類(lèi)的深度網(wǎng)絡(luò)。深度學(xué)習(xí)方法具有無(wú)需特征工程、支持端到端訓(xùn)練等優(yōu)勢(shì)，但以上研究中未充分提取注視序列的不同尺度特征，未考慮各卷積通道的重要性關(guān)系。因此，研究多尺度特征和卷積通道權(quán)重分配對(duì)注視序列分類(lèi)的影響很有意義。

本文提出一種基于眼動(dòng)信號(hào)的感興趣檢測(cè)深度學(xué)習(xí)方法，旨在提高感興趣檢測(cè)精度，應(yīng)用于難例樣本標(biāo)注場(chǎng)景中。本文的創(chuàng)新點(diǎn)在于：一方面，使用眼動(dòng)儀無(wú)接觸采集被試瀏覽圖像的眼動(dòng)信號(hào)，并通過(guò)自適應(yīng)閾值算法提取出注視序列；另一方面，設(shè)計(jì)多尺度卷積殘差模塊學(xué)習(xí)注視序列不同尺度特征，并結(jié)合特征通道權(quán)重重分配模塊為不同卷積通道分配權(quán)重，提升感興趣檢測(cè)的精度和魯棒性。

1 感興趣檢測(cè)方法的總體設(shè)計(jì)

感興趣檢測(cè)方法的總體設(shè)計(jì)（圖1）先通過(guò)眼動(dòng)儀采集被試瀏覽圖像的眼動(dòng)信號(hào)；其次，通過(guò)自適應(yīng)閾值算法提取出注視序列，注視序列是信息加工的主要過(guò)程，也即當(dāng)前感興趣區(qū)域（region of interest，ROI）；最后，通過(guò)多尺度殘差網(wǎng)絡(luò)對(duì)目標(biāo)ROI和非目標(biāo)ROI識(shí)別，提高感興趣檢測(cè)精度。

圖1 感興趣檢測(cè)方法的總體設(shè)計(jì)

1.1 注視序列提取算法

人的眼球運(yùn)動(dòng)能夠反映大腦內(nèi)部信息的加工過(guò)程，根據(jù)眼動(dòng)速度可分為3 種基本眼動(dòng)事件：注視（fixation）、掃視（saccade）和追隨運(yùn)動(dòng)（pursuit movement）。注視眼動(dòng)是眼睛在目標(biāo)物體上的停留，是進(jìn)行信息加工的主要過(guò)程，也即當(dāng)前ROI［8］。眼動(dòng)儀以高時(shí)空分辨率精確地記錄眼睛注視位置以及運(yùn)動(dòng)軌跡，為研究視覺(jué)信息加工過(guò)程提供了有效的數(shù)據(jù)支持。

在眼動(dòng)數(shù)據(jù)分析研究中，區(qū)分具體的眼動(dòng)事件是至關(guān)重要的步驟。常用的眼動(dòng)事件檢測(cè)是根據(jù)經(jīng)驗(yàn)設(shè)置眼動(dòng)速度閾值，根據(jù)閾值區(qū)分不同的眼動(dòng)事件［9，10］，但是由于個(gè)體差異，具體閾值的設(shè)置會(huì)對(duì)事件檢測(cè)結(jié)果產(chǎn)生影響。鑒于此，本文使用自適應(yīng)閾值算法實(shí)現(xiàn)眼動(dòng)事件檢測(cè)，該算法主要包含預(yù)處理和眼動(dòng)事件檢測(cè)。

首先，眼動(dòng)信號(hào)預(yù)處理，目的是去除噪聲和獲取眼動(dòng)速度序列。采用尖峰濾波器濾除異常尖峰，之后通過(guò)中值濾波和Savitzky-Golay濾波對(duì)數(shù)據(jù)平滑處理。最后按式（1）和式（2）分別計(jì)算出眼動(dòng)角速度v和眼動(dòng)角加速度a

式中t為2個(gè)注視點(diǎn)之間的時(shí)間間隔；x0，y0為第1 個(gè)注視點(diǎn)的像素坐標(biāo)；xt，yt為第2個(gè)注視點(diǎn)的像素坐標(biāo)；d為被試物與顯示器的距離。

其次，眼動(dòng)事件檢測(cè)。計(jì)算掃視速度閾值，初始速度閾值為PT1（初始值范圍100 ～300°／s）［8］，逐步計(jì)算n-1 范圍內(nèi)眼動(dòng)角速度的中值和方差更新掃視速度閾值，更新公式如式（3）所示

式中 median 為中值；F為絕對(duì)中位差（median absolute deviation，MAD）縮放因子；vn-1為前n-1 個(gè)眼動(dòng)角速度序列。

不斷更新掃視速度閾值，直到其穩(wěn)定在一定范圍內(nèi)，停止條件如式（4）所示

在獲得掃視速度閾值后，將眼動(dòng)角速度序列按照該閾值分塊，將大于追隨速度閾值的樣本標(biāo)注為追隨事件，其余樣本歸類(lèi)為注視事件。保存所有注視序列，作為感興趣檢測(cè)樣本數(shù)據(jù)。

1.2 多尺度殘差網(wǎng)絡(luò)模型

注視序列是一種隨時(shí)間變換的時(shí)間序列，感興趣檢測(cè)是判斷某個(gè)注視序列是否為目標(biāo)注視序列，即注視目標(biāo)的認(rèn)知過(guò)程，非目標(biāo)注視序列是由圖片中干擾信息產(chǎn)生［11］。針對(duì)目前模型缺乏多尺度特征和各卷積通道重要性的研究，本文提出一種基于特征通道權(quán)重重分配的多尺度殘差網(wǎng)絡(luò)Res_Fix（如圖2），不但通過(guò)多尺度卷積捕獲不同時(shí)間尺度的眼動(dòng)信號(hào)特征，而且通過(guò)特征通道權(quán)重重分配模塊分配各卷積特征通道的權(quán)重。網(wǎng)絡(luò)模型包括卷積濾波模塊、特征學(xué)習(xí)模塊和分類(lèi)輸出模塊3 部分。卷積濾波模塊主要功能是增強(qiáng)眼動(dòng)信號(hào)信噪比，特征提取模塊通過(guò)多尺度卷積和卷積特征通道權(quán)重重分配實(shí)現(xiàn)，最后使用全連接（fully connected，F(xiàn)C）層和SoftMax函數(shù)實(shí)現(xiàn)分類(lèi)，以下內(nèi)容將主要介紹多尺度卷積和卷積特征通道權(quán)重重分配的具體實(shí)現(xiàn)方法。

圖2 Res_Fix網(wǎng)絡(luò)結(jié)構(gòu)

一個(gè)健壯的時(shí)間序列分類(lèi)算法應(yīng)該能夠捕獲不同時(shí)間尺度的序列數(shù)據(jù)，因?yàn)殚L(zhǎng)期特征反映總體趨勢(shì)，短期特征反映局部區(qū)域的細(xì)節(jié)變化。本文提出一種新的神經(jīng)網(wǎng)絡(luò)構(gòu)建塊ResTnet，通過(guò)在單個(gè)殘差塊內(nèi)構(gòu)建分層類(lèi)殘差連接，增加了每層網(wǎng)絡(luò)感受野（receptive field）的多樣性，從而更好地獲得時(shí)間序列的多尺度特征。ResTnet 將多個(gè)一維卷積組通過(guò)殘差連接，增加了每層網(wǎng)絡(luò)感受野的多樣性，其內(nèi)部結(jié)構(gòu)如圖3（右）所示，圖3（左）表示殘差網(wǎng)絡(luò)的瓶頸（Bottleneck）模塊結(jié)構(gòu)。ResTnet采用一維卷積核處理時(shí)間序列，將不同卷積組之間以類(lèi)似分層殘差的方式連接起來(lái)，最后將卷積輸出特征塊按通道拼接。這種特征先拆分后融合的方案，使得單個(gè)殘差塊內(nèi)融合多尺度特征。

圖3 Bottleneck模塊（左）和ResTnet模塊結(jié)構(gòu)（右）

SE 模塊的內(nèi)部結(jié)構(gòu)如圖4 右圖所示［12］，包括“壓縮”（squeeze）操作、“激勵(lì)”（exciation）操作和“縮放”（scale）操作。首先，通過(guò)全局平均池化（Global pooling）實(shí)現(xiàn)二維張量的壓縮整合；其次，使用2個(gè)含激活函數(shù)且無(wú)偏置的FC層實(shí)現(xiàn)不同卷積通道特征重要性權(quán)重學(xué)習(xí)，r為控制FC層通道數(shù)的超參數(shù)；最后，將學(xué)習(xí)的權(quán)值與原特征映射進(jìn)行逐通道的自適應(yīng)加權(quán)，實(shí)現(xiàn)卷積特征通道權(quán)重重分配。

圖4 嵌入SE模塊的ResTnet結(jié)構(gòu)（左）和SE模塊內(nèi)部結(jié)構(gòu)（右）

2 實(shí)驗(yàn)平臺(tái)與方案

2.1 實(shí)驗(yàn)平臺(tái)

本文使用實(shí)驗(yàn)室現(xiàn)有設(shè)備搭建感興趣檢測(cè)實(shí)驗(yàn)平臺(tái)，主要使用Tobii Eye Tracker 4C眼動(dòng)儀、戴爾臺(tái)式計(jì)算機(jī)和戴爾1 920 ×1 080 LCD 顯示器等硬件設(shè)備，圖5 為本文的實(shí)驗(yàn)現(xiàn)場(chǎng)。視覺(jué)刺激程序和分類(lèi)算法在Spyder 編譯器下通過(guò)Python編程實(shí)現(xiàn)，所有深層網(wǎng)絡(luò)模型均通過(guò)調(diào)用開(kāi)源深度學(xué)習(xí)框架Keras實(shí)現(xiàn)，交叉驗(yàn)證、模型評(píng)估和淺層模型通過(guò)調(diào)用開(kāi)源機(jī)器學(xué)習(xí)框架Scikit-learn實(shí)現(xiàn)。

圖5 實(shí)驗(yàn)現(xiàn)場(chǎng)

本文實(shí)驗(yàn)所使用的圖像是從圖像公開(kāi)數(shù)據(jù)集RSOD［13］、UCAS_AOD 中篩選出的，共包含198 張實(shí)驗(yàn)圖像，圖像中1 ～3架飛機(jī)作為待搜索對(duì)象，為了緩解被試疲勞，單個(gè)被試實(shí)驗(yàn)分為4 組。本文使用自由搜索視覺(jué)（free view）刺激范式采集被試搜索飛機(jī)目標(biāo)過(guò)程中的眼動(dòng)信號(hào)，實(shí)驗(yàn)流程如圖6所示。實(shí)驗(yàn)前先校正眼動(dòng)儀，并顯示提示語(yǔ)，1 s后開(kāi)始實(shí)驗(yàn)；然后，被試者自由搜索圖片中的飛機(jī)目標(biāo)，眼動(dòng)儀記錄搜索過(guò)程中的眼動(dòng)信號(hào)，搜索完顯示1 s灰色背景；最后，每搜索10 張圖片休息1 min，直到完成一組實(shí)驗(yàn)，休息5 min后進(jìn)行下一組實(shí)驗(yàn)。

圖6 自由搜索視覺(jué)刺激范式流程

按照此實(shí)驗(yàn)范式，本文共采集8 位健康被試者的眼動(dòng)數(shù)據(jù)，其中包括2名女性，6 名男性，年齡范圍在23 ～26 歲之間。所有被試者實(shí)驗(yàn)前精神狀態(tài)良好，均熟悉了自由搜索視覺(jué)刺激實(shí)驗(yàn)流程。

2.2 實(shí)驗(yàn)方案

本文感興趣檢測(cè)實(shí)驗(yàn)的具體方案為，首先，采用自適應(yīng)閾值算法從自由搜索視覺(jué)范式采集的眼動(dòng)數(shù)據(jù)中提取注視序列，所有被試共提取到4 300 個(gè)有效的待檢測(cè)注視序列；其次，采用本文提出的基于特征通道權(quán)重重分配多尺度殘差網(wǎng)絡(luò)對(duì)注視序列分類(lèi)實(shí)現(xiàn)感興趣檢測(cè)，主要目的是對(duì)眼動(dòng)數(shù)據(jù)中由“飛機(jī)”目標(biāo)（target）誘發(fā)的注視序列與其他非目標(biāo)（nontarget）注視序列進(jìn)行分類(lèi)。設(shè)計(jì)對(duì)比驗(yàn)證實(shí)驗(yàn)，將基于傳統(tǒng)淺層機(jī)器學(xué)習(xí)模型的方法支持向量機(jī)（support vector machine，SVM）和K 近鄰（K-nearest neighbor，KNN），以及文獻(xiàn)［5，6］提出的基于深層模型方法InceptionTime、ConvLSTM為基線（baseline），模型的特征、參數(shù)設(shè)置參考原文中的設(shè)置，在注視序列分類(lèi)實(shí)驗(yàn)中與本文所提方法的結(jié)果進(jìn)行對(duì)比。網(wǎng)絡(luò)訓(xùn)練采用Adam優(yōu)化器和交叉熵?fù)p失函數(shù)，在對(duì)模型分類(lèi)結(jié)果進(jìn)行評(píng)估時(shí)，使用準(zhǔn)確率（accuracy）作為評(píng)價(jià)指標(biāo)。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 網(wǎng)絡(luò)模型超參數(shù)選擇

本文對(duì)Res_Fix 中降維超參數(shù)r（圖4）的數(shù)值選取進(jìn)行調(diào)試，結(jié)果如表1所示?？芍?，降維超參數(shù)使FC 層有不同的神經(jīng)元，對(duì)分類(lèi)結(jié)果和參數(shù)量略有影響，當(dāng)r＝4 時(shí)新增訓(xùn)練參數(shù)量較少且分類(lèi)準(zhǔn)確率較高。因此，以下實(shí)驗(yàn)中Res_Fix降維超參數(shù)均設(shè)置為4。

表1 Res_Fix中超參數(shù)r調(diào)試結(jié)果

3.2 注視序列分類(lèi)結(jié)果分析

本文使用共計(jì)5種方法對(duì)注視序列數(shù)據(jù)進(jìn)行了分類(lèi)實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖7 所示。為了比較各方法間是否具有顯著性差異（統(tǒng)計(jì)顯著性閾值選取為0.05），首先對(duì)所有方法的分類(lèi)結(jié)果進(jìn)行單因素方差檢驗(yàn)，然后對(duì)各方法進(jìn)行多重比較檢驗(yàn)。實(shí)驗(yàn)結(jié)果表明，相比于KNN、SVM、文獻(xiàn)［5，6］中深層模型，本文提出的Res_Fix 模型在注視序列分類(lèi)上取得最優(yōu)結(jié)果。本文提出多尺度殘差網(wǎng)絡(luò)的分類(lèi)準(zhǔn)確率和標(biāo)準(zhǔn)差達(dá)到0.960 5 ±0.005 1，一方面，說(shuō)明本文提出的多尺度殘差網(wǎng)絡(luò)充分提取了注視序列特征、SE模塊能合理分配各卷積通道的權(quán)重；另一方面，深層模型分類(lèi)結(jié)果的標(biāo)準(zhǔn)層較低，說(shuō)明其對(duì)被試者的個(gè)體差異性具有更好的魯棒性。才會(huì)在注視序列分類(lèi)任務(wù)上具有較好的準(zhǔn)確率和魯棒性。

圖7 各方法注視序列分類(lèi)結(jié)果

統(tǒng)計(jì)顯著性檢驗(yàn)結(jié)果表明，本文各方法的分類(lèi)結(jié)果單因素方差檢驗(yàn)中，P值遠(yuǎn)小于0.01，因此各方法分類(lèi)結(jié)果之間存在統(tǒng)計(jì)顯著性差異。首先，文獻(xiàn)［5，6］以及本文的基于深層模型的方法（ConvLSTM，InceptionTime，Res_Fix）相比于基于淺層模型的方法（SVM、KNN）在注視序列分類(lèi)任務(wù)上存在顯著性差異。本文提出模型與現(xiàn)有注視序列分類(lèi)方法均存在顯著性差異，說(shuō)明基于特征通道權(quán)重重分配多尺度殘差網(wǎng)絡(luò)能夠自動(dòng)的學(xué)習(xí)注視序列中的特征信息并對(duì)其進(jìn)行分類(lèi)，該模型通過(guò)提取多尺度特征和特征通道權(quán)重重分配提高了刻意注視序列的預(yù)測(cè)準(zhǔn)確率。

4 結(jié) 論

為解決機(jī)器視覺(jué)中難例樣本標(biāo)注問(wèn)題，本文引入視線追蹤技術(shù)，通過(guò)檢測(cè)目標(biāo)誘發(fā)的感興趣注視序列來(lái)實(shí)現(xiàn)難例樣本標(biāo)注。該方案創(chuàng)新性在于，采用自適應(yīng)閾值算法提取出注視序列；使用多尺度殘差網(wǎng)絡(luò)模型提取注視序列不同尺度特征、為不同卷積通道分配權(quán)重。對(duì)比實(shí)驗(yàn)結(jié)果表明，本文提出的基于特征通道權(quán)重重分配多尺度殘差網(wǎng)絡(luò)的感興趣檢測(cè)方法，在注視序列分類(lèi)準(zhǔn)確率和魯棒性上優(yōu)于對(duì)比模型，達(dá)到了96%的檢測(cè)準(zhǔn)確率且提升效果具有統(tǒng)計(jì)差異。

本文研究的基于眼動(dòng)信號(hào)的感興趣檢測(cè)方法可準(zhǔn)確分類(lèi)注視序列，方便在難例樣本標(biāo)注應(yīng)用中使用。在未來(lái)工作中，將考慮融合多種自主神經(jīng)信號(hào)（如腦電信號(hào)）實(shí)現(xiàn)感興趣檢測(cè)，進(jìn)一步提升感興趣檢測(cè)的精度和魯棒性。