實(shí)現(xiàn)級(jí)聯(lián)形狀回歸方法對(duì)視線追蹤

崔強(qiáng) 田文泉

摘 要：網(wǎng)課的分心問題是網(wǎng)課中一個(gè)比較常見的缺點(diǎn)。在家上網(wǎng)課，學(xué)生往往會(huì)因?yàn)槠渌虑槎中?，這會(huì)影響他們的學(xué)習(xí)效果和提高學(xué)習(xí)難度。有效地解決分心問題是提升在線學(xué)習(xí)效率的關(guān)鍵要素之一。針對(duì)這一問題，可以使用技術(shù)手段來解決，使用OpenCV對(duì)視線追蹤方法對(duì)視線追蹤在網(wǎng)課中具有廣泛的應(yīng)用前景。隨著互聯(lián)網(wǎng)和智能設(shè)備的普及，越來越多的學(xué)生和教師選擇網(wǎng)課作為教學(xué)和學(xué)習(xí)的方式。而視線追蹤技術(shù)可以實(shí)現(xiàn)在線教學(xué)中的眼動(dòng)跟蹤、情感分析、注意力監(jiān)測(cè)等，以提高學(xué)生的參與度和教學(xué)效果。該方法還能夠根據(jù)學(xué)生的興趣愛好和學(xué)習(xí)進(jìn)度，提供個(gè)性化、靈活和多樣化的學(xué)習(xí)資源和內(nèi)容，以適應(yīng)不同學(xué)生的需求和特點(diǎn)。

關(guān)鍵詞：分心問題；視線追蹤技術(shù)；OpenCV；在線學(xué)習(xí)效率

一、引言

普及網(wǎng)課的背景和動(dòng)機(jī)主要是因?yàn)樾畔⒓夹g(shù)的發(fā)展和互聯(lián)網(wǎng)的普及。全球化和移動(dòng)化的趨勢(shì)將人們從傳統(tǒng)的教育模式中解放出來，使他們能夠獲得更加自由、靈活和多樣化的學(xué)習(xí)體驗(yàn)。在這種情況下，網(wǎng)課作為一種新的教學(xué)模式應(yīng)運(yùn)而生，具有時(shí)間靈活、地點(diǎn)無(wú)限、資源共享等優(yōu)勢(shì)，已逐漸被廣泛采用。

但是網(wǎng)課教學(xué)仍然有不少的缺點(diǎn)，主要表現(xiàn)在缺乏互動(dòng)性、技術(shù)要求高、容易分心和缺乏社交互動(dòng)方面。實(shí)現(xiàn)視覺追蹤可以幫助網(wǎng)課解決以上問題，提高教育資源的利用效率，讓更多的學(xué)生受益。

二、視線追蹤

OpenCV中的級(jí)聯(lián)形狀回歸方法是一種基于機(jī)器學(xué)習(xí)的目標(biāo)檢測(cè)算法，它可以用于人臉關(guān)鍵點(diǎn)檢測(cè)、手部姿態(tài)估計(jì)等任務(wù)。該方法的基本思想是通過訓(xùn)練一個(gè)級(jí)聯(lián)回歸器，將目標(biāo)的形狀從初始位置逐步回歸到真實(shí)位置。OpenCV提供了豐富的圖像處理和計(jì)算機(jī)視覺算法，可以用于實(shí)現(xiàn)視線追蹤功能。

級(jí)聯(lián)形狀回歸方法就是使用回歸模型，直接學(xué)習(xí)從人臉表征到人臉形狀的映射函數(shù)，進(jìn)而建立從表觀到形狀的對(duì)應(yīng)關(guān)系。這種方法的學(xué)習(xí)依賴于訓(xùn)練集的選取，我們選擇從官方的數(shù)據(jù)庫(kù)選擇數(shù)據(jù)集，訓(xùn)練集中包含了復(fù)雜的姿態(tài)變化，學(xué)習(xí)到的函數(shù)測(cè)試性能就會(huì)比較好。級(jí)聯(lián)方式：由粗到精一級(jí)一級(jí)的優(yōu)化前一步得到的形狀，2個(gè)級(jí)聯(lián)結(jié)構(gòu)，逐步細(xì)化特征點(diǎn)位置。人臉特征點(diǎn)檢測(cè)與形狀擬合方法，基于“特征提取”+“回歸坐標(biāo)”的方法，把形狀擬合的坐標(biāo)回歸問題，轉(zhuǎn)化為坐標(biāo)PCA壓縮后系數(shù)與形狀整體仿射變換系數(shù)的回歸問題（相當(dāng)于將傳統(tǒng)的SDM算法用于深度學(xué)習(xí)算法當(dāng)中）。

（一）人眼檢測(cè)

級(jí)聯(lián)分類器：CascadeClassifier就是OpenCV下objdetect模塊中用來做目標(biāo)檢測(cè)的級(jí)聯(lián)分類器的一個(gè)類，它可以幫助我們檢測(cè)人臉等物體。它的大概原理就是判別某個(gè)物體是否屬于某個(gè)分類。以人臉為例，我們可以把眼睛、鼻子、眉毛、嘴巴等屬性定義成一個(gè)分類器，如果檢測(cè)到一個(gè)模型符合定義人臉的所有屬性，那么就認(rèn)為它是一個(gè)人臉。分類器對(duì)人臉數(shù)據(jù)集進(jìn)行訓(xùn)練，生成人臉分類器。用分類器對(duì)人臉檢測(cè)。從攝像頭讀取數(shù)據(jù)，將原彩色圖轉(zhuǎn)化為灰度圖，檢測(cè)圖像resize，調(diào)節(jié)minNeighbors類似于調(diào)節(jié)一個(gè)閾值，開始在灰度圖上檢測(cè)人臉。根據(jù)給定的人臉（x，y）坐標(biāo)和寬度高度在圖像上繪制矩形，輸出是人臉區(qū)域的外接矩陣框。

對(duì)人眼數(shù)據(jù)集進(jìn)行訓(xùn)練，從而得到人眼分類器。在人臉檢測(cè)的基礎(chǔ)上，將人臉特征點(diǎn)檢測(cè)與形狀擬合方法，基于“特征提取”+“回歸坐標(biāo)”的方法，對(duì)臉上再進(jìn)行特征值提取，對(duì)人眼數(shù)據(jù)的進(jìn)行標(biāo)記，從而達(dá)到人眼識(shí)別的效果。根據(jù)給定的人臉（x，y）坐標(biāo)和寬度高度在圖像上繪制矩形，輸出是人臉區(qū)域的外接矩陣框和人眼區(qū)域的外接矩陣框。

（二）PCA降維

PCA（Principal Component Analysis）是一種常用的數(shù)據(jù)降維方法，它可以將高維數(shù)據(jù)映射到低維空間中，同時(shí)保留數(shù)據(jù)的主要特征。PCA的降維過程為，將原始數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，使得每個(gè)特征的均值為0，方差為1。計(jì)算標(biāo)準(zhǔn)化后的數(shù)據(jù)的協(xié)方差矩陣。對(duì)協(xié)方差矩陣進(jìn)行特征值分解，得到特征值和對(duì)應(yīng)的特征向量。根據(jù)特征值的大小，選擇前k個(gè)特征向量作為主成分。將原始數(shù)據(jù)投影到主成分上，得到降維后的數(shù)據(jù)。具體來說，數(shù)據(jù)映射的過程可以通過以下公式實(shí)現(xiàn)：

Y=X*W

其中，X是原始數(shù)據(jù)矩陣，W是由前k個(gè)特征向量組成的矩陣，Y是降維后的數(shù)據(jù)矩陣。

（三）視線檢測(cè)方法

再?gòu)娜搜弁饨泳仃嚳蛑?，?duì)特征值進(jìn)行提取。通過圖片對(duì)瞳孔和眼角點(diǎn)進(jìn)行標(biāo)記，得到瞳孔識(shí)別分類器，對(duì)人眼中的瞳孔進(jìn)行坐標(biāo)化定位。

將眼睛的注視方向歸結(jié)為十類，上、下、左、右、左上、右上、左下、右下、中間和閉眼狀態(tài)。以瞳孔中心為動(dòng)點(diǎn)，眼角為定點(diǎn)，通過分析兩者的相對(duì)位置來確定視線方向。并與待觀測(cè)目標(biāo)（比如電腦顯示屏上的某移動(dòng)的點(diǎn)）所在平面建立對(duì)應(yīng)坐標(biāo)變換關(guān)系，從而獲得視線方向。形成射線來模擬人眼的視線效果。通過算法來預(yù)測(cè)在屏幕上的位置得到具體的坐標(biāo)。

采集這十類眼睛的樣本，利用PCA等方法將得到的圖片向量降維，訓(xùn)練出十類分類器。測(cè)試時(shí)，通過攝像頭采集圖像先進(jìn)行人臉檢測(cè)然后是眼睛檢測(cè)，將檢測(cè)到的眼睛歸一化到樣本的尺寸，同樣方法降維后送入到訓(xùn)練好的多類分類器中，輸出屬于哪類就認(rèn)為眼睛就注視著哪個(gè)方向。根據(jù)這一思路可以檢測(cè)工作效率。

三、小結(jié)

眼動(dòng)追蹤應(yīng)用于網(wǎng)課可以提供更多的教學(xué)策略和評(píng)估方法，例如通過眼動(dòng)數(shù)據(jù)分析學(xué)生的注意力、認(rèn)知負(fù)荷、情緒狀態(tài)等，從而調(diào)整教學(xué)內(nèi)容和難度?？梢栽鰪?qiáng)教師和學(xué)生之間的溝通和互動(dòng)，例如通過眼動(dòng)數(shù)據(jù)實(shí)現(xiàn)同步或異步的視線共享，讓教師和學(xué)生能夠更好地理解對(duì)方的視覺焦點(diǎn)和思維過程?？梢源龠M(jìn)網(wǎng)課的創(chuàng)新和發(fā)展，例如通過眼動(dòng)數(shù)據(jù)結(jié)合人工智能、虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)等技術(shù)，實(shí)現(xiàn)更高效、更個(gè)性化、更沉浸式的網(wǎng)課體驗(yàn)。

當(dāng)然，眼動(dòng)追蹤技術(shù)在網(wǎng)課中的應(yīng)用也面臨著一些挑戰(zhàn)和難題，例如如何保證眼動(dòng)數(shù)據(jù)的質(zhì)量和有效性、如何保護(hù)眼動(dòng)數(shù)據(jù)的隱私和安全性、如何降低眼動(dòng)追蹤設(shè)備的成本和復(fù)雜度等。這些問題需要未來的研究和實(shí)踐來不斷探索和解決。

參考文獻(xiàn)：

[1].胡宇鵬.時(shí)間序列數(shù)據(jù)挖掘中的特征表示與分類方法的研究[D].山東大學(xué)，2018.

[2].胡瀟魚.基于深度學(xué)習(xí)的視覺跟蹤及應(yīng)用[D].電子科技大學(xué)，2021

[3].李鈺卿. 基于深度學(xué)習(xí)的視線追蹤技術(shù)研究[D].廣東工業(yè)大學(xué)，2021

[4].李生武. 基于卷積神經(jīng)網(wǎng)絡(luò)的單目標(biāo)視覺追蹤算法研究[D].陜西科技大學(xué)，2021.

[5].屠增輝，劉淼，陳小麗.基于DataX的異構(gòu)教學(xué)數(shù)據(jù)同步研究和應(yīng)用[J].中國(guó)現(xiàn)代教育裝備，2021（19）：114-115+118.

[6].楊金英，李延娟.疫情期間網(wǎng)課對(duì)教育信息化影響的初步分析[J].中國(guó)教育信息化，2020（17）：62-65.