OpenCV+Dlib技術在課堂教學中的應用與研究

李洋 郭紅利 管樹林 萬莉 鄒楊

摘要：本文運用OpenCV+Dlib人臉特征技術，采集學生學習過程中的面部特征數(shù)據(jù)，利用相關性分析和回歸模型，研究發(fā)現(xiàn)課堂平均抬頭次數(shù)隨著時間的增加呈先上升后下降的趨勢，說明學生在課堂開始的前一段時間內(nèi)課堂關注度較高，課堂抬頭次數(shù)與課堂測試成績之間存在較強的正向線性關系;一堂課班級學生中自然表情占絕大多數(shù)，只有少部分人會表現(xiàn)出好奇、疑惑或者高興的表情;高興和自然兩種面部表情對成績有高度顯著性影響，尤其是高興表情出現(xiàn)的次數(shù)越多，課堂測試成績越高，說明愉悅的學習情感體驗對學習效果和教學質(zhì)量有明顯的正向影響;好奇對測試成績呈較弱的正向影響，疑惑對成績呈較弱的負向影響。本文通過多維的量化指標分析影響學生學習效果的因素，為課堂教學改革提出一些參考建議。

關鍵詞：OpenCV+Dlib技術;人臉68特征點定位;課堂教學;回歸分析

中圖分類號：TP18 文獻標識碼：A

文章編號：1009-3044（2020）19-0159-04

開放科學（資源服務）標識碼（OSID）：

目前，國家著力深化課堂教學改革，在課堂教學改革的不斷探索和實踐中，計算機信息技術成為實現(xiàn)教學高效管理的重要手段。本文基于OpenCV+Dlib的人臉特征識別技術逐漸在教育教學中發(fā)揮著它獨特的作用，為課堂教學過程性評價提供了多元化的定量依據(jù)。

近年來很多專家學者利用人臉識別技術應用于教育教學，例如金維香[1]，利用OpenCV技術設計了一套課堂考勤系統(tǒng)，為相關系統(tǒng)研發(fā)提供了一定的參考;王登林[2]，施宇星[3]，陳章斌[4]，茹峰[5]等學者也給出了有關課堂出勤的技術方案;江波[6]，對困惑表情進行設計研究，檢測學生學習困惑及研究該表情對學習效果的影響;酈澤坤[7]，對學生在MOOC課程的學習過程進行表情檢測，以此獲得教學效果的反饋，但沒有將各種表情與學生聽課效率進行實證分析;韓麗[8]，結(jié)合視頻監(jiān)控及人臉識別技術，較為全面分析了人臉特征點與學生課堂心理狀態(tài)的關系，但在學生實際收獲與面部表情的關聯(lián)性方面，沒有進行實證的相關性分析。本文在目前研究的基礎上，運用OpenCV+Dlib的人臉特征技術，抓取學生課堂面部特征數(shù)據(jù)，利用面部出現(xiàn)的次數(shù)來刻畫學生課堂抬頭數(shù)，以此反映課堂關注度，同時根據(jù)表情出現(xiàn)次數(shù)，分析高興、好奇、疑惑、自然四種表情與課堂測試結(jié)果的相關性，利用多維量化指標分析影響學生學習效果的情感因素，為課堂教學改革提出一些參考建議。

1 人臉特征識別

人臉特征點檢測能夠?qū)崿F(xiàn)人臉對齊，人臉特征點定位。為了又快又準識別表情，本文參考了論文《A Compact Deep Learn-ing Model for Robust Facial Expression Recognition》c9]，文中對基于神經(jīng)網(wǎng)絡的表情識別有很好的效果，公布了演示程序，但技術實現(xiàn)難度較大，且存在過擬合現(xiàn)象，而訓練時所用的硬件和數(shù)據(jù)源、參數(shù)選擇等因素可能導致訓練效果不明顯。基于此，本文選擇Dlib對人臉特征點進行檢測，它提供了人臉特征點檢測的接口，能穩(wěn)定地實現(xiàn)特征點檢測功能，且檢測精度較高。

人臉檢測的實質(zhì)是區(qū)別人臉圖像與非人臉圖像。課堂開始時，通過攝像頭錄入的視頻傳人后臺，通過OpenCV+Dlib技術，自動進行分幀，圖像灰度化，然后進行學生人臉的檢測與定位，實現(xiàn)課堂抬頭數(shù)的自動化記錄。課堂抬頭率和專注度是課堂教學的第一步保障，本文選取ti～tj時間段，記錄抬頭數(shù)，以此作為課堂專注度的考量。

表情特征提取在檢測與定位到人臉的基礎上，框出人臉并標定特征點，進行參數(shù)指標計算，最終達到系統(tǒng)識別表情的屬性。人臉表情其實是內(nèi)在情緒的折射，通常情況下，課堂上學生對于感興趣、易接受的教學內(nèi)容一般表現(xiàn)為好奇、自然或高興的狀態(tài)，對于晦澀難懂或不感興趣的教學內(nèi)容表現(xiàn)為疑惑的狀態(tài)。通過抓取課堂學生表情數(shù)據(jù)，統(tǒng)計分析學生學習情緒的變化，探究情感變化與收獲對學習效果的影響程度。

2 技術實現(xiàn)

2.1 0penCV+Dlib人臉特征技術

OpenCV是一個開源的、跨平臺的計算機視覺庫，應用廣泛，包括人臉識別、表情識別等，還提供機器學習模塊。在本文中OpenCV主要實現(xiàn)功能有：從攝像頭或本地獲取視頻、視頻取幀、實現(xiàn)灰度處理與降噪、實現(xiàn)人臉識別特征點繪制及OpenCV繪圖。

Dlib是一個現(xiàn)代化的C++工具箱，它是一個開源的庫，擁有眾多模塊，包括機器學習、圖像處理、網(wǎng)絡通信等領域。Dlib庫使用ERT級聯(lián)回歸算法，用于建立集成回歸樹算法訓練模型，并生成特征點預測器。該算法可以根據(jù)局部特征，很好地對當前形狀進行描述，取得較好的定位精度，且級聯(lián)的弱回歸器能夠擬合復雜的非線性關系。在本文中Dlib庫用于讀取和保存常見圖像規(guī)格的例程，各種像素類型之間自動顏色空間轉(zhuǎn)換，進行人臉識別，這個庫支持68個特征點的提取，通過調(diào)用68個特征點預測器，最終得到人臉關鍵點的位置。

2.2 人臉68特征點定位技術

特征提取在構建人臉特征模型中至關重要，會對人臉識別率產(chǎn)生影響。人臉特征就是對人臉抽象描述的結(jié)果，可以劃分為臉部輪廓、眼睛輪廓、鼻子輪廓、嘴巴輪廓，通過對這些輪廓提取特征就可以描述人臉基本情況。利用特征點對輪廓進行勾畫，通過特征點位置的變化情況，得出人臉的特征模型，據(jù)此描述出人臉發(fā)生的變化從而來判斷人臉的表情情況。人臉識別技術就是通過檢測圖像的頻域空間滑動檢測圖像塊，判別是否存在人臉區(qū)域，提取有效的特征信息，用來識別人臉狀態(tài)的一種技術。

本文利用OpenCV對視頻進行分幀，對除人臉區(qū)域外的多余區(qū)域進行降噪。將圖片輸入構建人臉特征模型，Dlib中68點人臉特征模型是Dlib庫官網(wǎng)2018年正式更新的人臉特征模型，能夠較為精準地對人臉進行描述。68特征點定位技術的實現(xiàn)首先是人臉檢測與定位，然后對人臉描框鎖定與描點操作，最終完成人臉識別，通過設置特征點的參數(shù)位置變化得到相應的表情指標。

3 數(shù)學模型

3.1 二元邏輯回歸模型

邏輯回歸算法是一種分類模型，預測值可以是實數(shù)范圍內(nèi)的任意值，輸出結(jié)果為分類變量，用0表示非，1表示是，通常被應用于二分類問題，即y=0，1，假設二元邏輯回歸模型表達式：

3.2 模型評價

二元邏輯回歸模型通常用混淆矩陣評價模型準確度，混淆矩陣見表1

除此之外，ROC曲線也可以非常形象的反應模型的準確度，AUC為ROC曲線下的面積，它的取值范圍在0≤AUC≤1，若0.7≤AUC≤0.9時通常認為二元邏輯回歸模型有一定準確性，AUC越接近1準確度高。

4 實證分析

4.1 數(shù)據(jù)采集

數(shù)據(jù)源采集對象為22名自愿參加實驗的在校學生，實驗在學校機房實施，利用Python語言，以0.5s為記錄時間間隔，采集到自愿者在本次實驗過程中的抬頭次數(shù)和人臉表情特征數(shù)據(jù)（抬頭次數(shù)記為xl、高興表情次數(shù)記為x2、好奇表胯次數(shù)記為x3、疑惑表情次數(shù)記為x4、自然表情次數(shù)記為x5），每5分鐘為一個階段，每階段末做一個課堂測試，測試結(jié)果記為Y（做對標記為1，做錯標記為0），本次實驗共得到198個有效樣本數(shù)據(jù)，抬頭平均次數(shù)為3956次，高興平均次數(shù)為294次，好奇平均次數(shù)為34次，疑惑平均次數(shù)為155次，自然平均次數(shù)為3473次。

4.2 數(shù)據(jù)初步分析

利用描述性統(tǒng)計方法可知學生在本次實驗中高興表情占7.5%，好奇表情占0.8%，疑惑表情占3.9%，自然表情占87.8%。說明學生在學習過程中自然表情占絕大多數(shù)，只有少部分人會表現(xiàn)出好奇、疑惑或者高興的表情。

將總實驗時間等分為15個時間段，統(tǒng)計出每個學生各時間段抬頭次數(shù)及表情次數(shù)的平均值，得到圖1和圖2。

圖1直觀地反映出一個時間段內(nèi)，同學在課堂中的表情變化情況，其中疑惑、高興、自然在一段時間內(nèi)無太大變化，學生表現(xiàn)出自然的表情會隨著時間的變化，平均次數(shù)會逐步增加。圖2反映出在一段時間內(nèi)，同學在課堂中平均抬頭次數(shù)隨著時間的增加，平均抬頭次數(shù)呈先上升后下降的趨勢，說明學生在課堂開始的前一段時間內(nèi)課堂關注度較高。

利用相關性分析方法，學生抬頭次數(shù)與課堂測試成績的皮爾遜相關系數(shù)為0.876，說明抬頭次數(shù)與線上測試成績相關性很高。兩者的散點圖如圖3所示，發(fā)現(xiàn)兩者呈正相關趨勢。進一步，利用一元線性回歸模型，得到模型的R為0.876，概率P值為0.000，說明抬頭次數(shù)與成績之間的線性回歸效果顯著，且一元線性回歸方程為γ= 0.876x1+1.013×10^-13≈ 0.876x1，此方程說明學生抬頭次數(shù)與在線測試成績具有很大的相關聯(lián)系，當課堂抬頭次數(shù)增加時，課堂成績也會隨之提升。

學生四維表情之間的相關性分析結(jié)果見表2。

表2數(shù)據(jù)可知：高興與好奇、高興與疑惑、好奇與疑惑、好奇與自然、疑惑與自然之間的相關系數(shù)均很低，顯著性Sig值均大于0.05，說明它們之間線性相關性不強，而高興與自然的相關系數(shù)為0.715，說明這兩個表情之間存在一定的線性性質(zhì)，可能會對下一步計算結(jié)果造成影響。

以學生四種面部表情為解釋變量，課堂測試成績?yōu)楸唤忉屪兞?，利用多元線性回歸模型，利用回歸分析原理得到?jīng)Q定系數(shù)R2為0.859，概率P值為0.000，說明解釋變量和被解釋變量之間線性回歸效果顯著，模型擬合效果理想，同時得到對應的多元線性回歸方程為γ= 0.534x2+ 0.13x3 - 0.061x4+0.481x5+1.015×10^-13。該方程表明高興、自然這兩種表情和課堂測試成績呈正相關性，而對應的sig值均小于顯著性水平0.05，說明高興和自然兩種面部表情對成績有高度顯著性影響，而好奇對測試成績呈較弱的正向影響，疑惑對成績呈較弱的負向影響。

4.3 二元邏輯回歸分析

將樣本數(shù)據(jù)分為兩部分，訓練集：測試集=7：3。利用python得到各類評價指標、混淆矩陣和ROC曲線，結(jié)果依次見表3、表4，圖4、圖5、圖6、圖7。

利用python得到二元邏輯回歸模型系數(shù)以及置信區(qū)間，結(jié)果見表5。

從結(jié)果數(shù)據(jù)看出學生在學習過程中高興情緒對課堂學習效果呈顯著的正向影響，疑惑情緒對學習效果呈顯著的負向影響。

5 總結(jié)

提高教與學的質(zhì)量和效果要從課堂抓起。目前課堂教學特別注重強化學生認知和情感體驗。本文利用OpenCV+Dlib人臉特征技術識別課堂人臉數(shù)，統(tǒng)計課堂抬頭數(shù)以此刻畫課堂關注度，研究發(fā)現(xiàn)課堂平均抬頭次數(shù)隨著時間的變動呈先上升后下降的趨勢，說明學生在課堂開始的前一段時間內(nèi)課堂關注度較高，利用一元回歸模型發(fā)現(xiàn)課堂抬頭次數(shù)與課堂測試成績之間存在較強的、線性的正向相關關系。采用人臉68特征點定位技術，將面部區(qū)域定義為16個形變特征&34個距離特征，對比參數(shù)的變化，進行機器的表情分類。通過該技術，采集到學生在課堂上的四種表情，利用統(tǒng)計方法發(fā)現(xiàn)一堂課班級學生中自然表情占絕大多數(shù)，只有少部分人會表現(xiàn)出好奇、疑惑或者高興的表情，利用回歸模型分析得到高興和自然兩種面部表情對成績有高度顯著性影響，尤其是高興表情出現(xiàn)的次數(shù)越多，當堂課測試成績越高，說明愉悅的學習情感體驗對學習效果和教學質(zhì)量有明顯的正向影響;好奇對測試成績呈較弱的正向影響，疑惑則呈較弱的負向影響。

本文通過人臉特征技術實現(xiàn)了對課堂質(zhì)量監(jiān)控的多維評測，利用多維的量化指標分析影響學生學習效果的情感因素，旨在為教學質(zhì)量實施監(jiān)控與評價提供自動化管理新手段，實現(xiàn)信息技術與教育教學的有機融合。

參考文獻：

[1]金維香，邢晨.基于OpenCV的人臉識別課堂考勤系統(tǒng)[J].浙江水利水電學院學報，2019（6）.

[2]王登林，嚴義輝，吳文平，等，基于人臉識別下高校課堂考勤系統(tǒng)的分析[J].計算機產(chǎn)品與流通，2019（6）.

[3]施宇星，基于人臉識別的學生課程出勤管理系統(tǒng)設計分析[J].中國新通信，2019（1）.

[4]陳章斌.基于深度學習人臉識別技術在高校課堂點名中的設計及實現(xiàn)[J].蘭州文理學院學報（自然科學版），2018（6）

[5]茹峰，彭曉宏，侯立剛，等，基于人臉識別的學生課程出勤管理系統(tǒng)設計[J].現(xiàn)代電子技術，2016，81-84.

[6]江波，李萬健，李芷璇，等.基于面部表情的學習困惑自動識別法[J].開放教育研究，2018，24（4）：101-108.

[7]酈澤坤，蘇航，陳美月，高克寧.支持MOOC課程的動態(tài)表情識別算法[J].小型微型計算機系統(tǒng)，2017，2096-2100.

[8]韓麗，李洋，周子佳，等.課堂環(huán)境中基于面部表情的教學效果分析[J].現(xiàn)代遠程教育研究，2017，97-103.

[9]Chieh-MingKuo， Shang-Hong Lai.A Compact Deep LearningModel for Robust Facial Expression Recognition[J].IEEE國際計算機視覺與模式識別會議，2017.

【通聯(lián)編輯：唐一東】