• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      基于“專注”與“走神”表情識別的線上課堂學(xué)生專注度評價研究

      2022-12-12 18:52:11李盡秀孫濤
      計算機應(yīng)用文摘·觸控 2022年21期
      關(guān)鍵詞:專注

      李盡秀 孫濤

      關(guān)鍵詞:表情識別;眼部關(guān)鍵點檢測;表情持續(xù)時間統(tǒng)計;專注度評價

      1引言

      近年來,隨著人工智能技術(shù)的快速發(fā)展,表情識別已成為感知學(xué)習(xí)情緒最直接和最有效的方式,備受教育技術(shù)領(lǐng)域關(guān)注。然而,由于表情與認知之間關(guān)聯(lián)度復(fù)雜、教育場景復(fù)雜多變等,學(xué)生表情識別依然是一個開放問題。心理學(xué)家MEHRABIAN通過研究發(fā)現(xiàn):“情緒表達=7%的語言+ 38%的姿勢表情+55%的面部表情”,面部表情包含豐富直觀的情緒信息。研究表明,在學(xué)習(xí)環(huán)境下,面部表情不僅能直觀反映學(xué)生的情緒狀態(tài),還能反映學(xué)生的心理狀態(tài)[2]。

      通常而言,課堂環(huán)境下學(xué)生的面部表情以中性表情居多。然而,中性表情識別的結(jié)果并不能作為準(zhǔn)確判斷學(xué)生聽課專注度的依據(jù),無法確定學(xué)生在中性表情的狀態(tài)下是專注聽講,還是走神發(fā)呆。因此,本文將線上教學(xué)環(huán)境中學(xué)生的中性表情進一步劃分為“專注”和“走神”兩種子表情,提出了一種基于Dlib眼部關(guān)鍵點檢測的“專注”與“走神”表情識別方法,通過計算眼睛高寬比,實現(xiàn)“專注”與“走神”兩類表情的識別,并在此基礎(chǔ)上設(shè)計學(xué)生表情持續(xù)時間統(tǒng)計算法,計算各表情持續(xù)的時間,為線上教學(xué)環(huán)境中精準(zhǔn)判斷學(xué)生聽課專注度提供技術(shù)依據(jù)與支持。

      2相關(guān)研究

      隨著學(xué)生表情識別研究的不斷深入,國內(nèi)外學(xué)者建立了許多與學(xué)生表情相關(guān)的數(shù)據(jù)庫,但其構(gòu)建標(biāo)準(zhǔn)和方法并不統(tǒng)一。目前,大多數(shù)研究者在Ekman六類基本情緒(憤怒、厭惡、恐懼、高興、悲傷、驚訝)理論[3]基礎(chǔ)上開展學(xué)生表情識別研究,如表1所列。

      現(xiàn)有的面部表情識別技術(shù)中魏刃佳等[9]基于ASM定位人臉特征點,獲取眼部和嘴巴的形變特征,以識別學(xué)習(xí)者的疲勞情況。韓麗等[10]基于AAM對課堂環(huán)境下學(xué)生面部關(guān)鍵點進行標(biāo)記,依據(jù)建立的形狀模型提取多姿態(tài)人臉特征,有效解決了人臉姿態(tài)的多樣性,取得了較好的識別效果。徐振國[11]設(shè)計了一個7層CNN模型,能夠快速準(zhǔn)確地識別學(xué)生的面部表情,進一步提升判斷學(xué)生的情緒整體狀態(tài)的效果。

      基于眼睛特征的方法是對眼睛特有的形狀、虹膜與眼白的像素差等固有的特征進行檢測,這些方法實現(xiàn)簡單。侯向丹等[12]根據(jù)眼睛與周圍區(qū)域的對比度檢測眼睛候選區(qū)域,并利用在水平和豎直方向的積分投影法定位眼睛,而當(dāng)頭部姿態(tài)變化時,積分投影誤差較大。RUILIAN利用霍夫變換法對眼睛的橢圓形狀特征進行檢測,但在多姿態(tài)下眼睛形狀變化較大。為解決多姿態(tài)下的眼睛定位問題,KIM等[14]提出一種基于多尺度虹膜形狀特征的方法,首先進行人臉定位,然后利用多尺度虹膜特征提取眼睛候選區(qū)域,最后對眼睛候選區(qū)域進行分類篩選,得到最終的眼睛位置。由于在現(xiàn)實的無約束環(huán)境下,眼睛的形狀、虹膜等固有特征很容易受到影響,所以這些方法在現(xiàn)實條件下的效果都不理想。

      3工具介紹

      Dlib是一個現(xiàn)代C++工具箱,其中包含機器學(xué)習(xí)算法和在C++創(chuàng)建復(fù)雜軟件以解決實際問題的工具。它廣泛應(yīng)用于工業(yè)界和學(xué)術(shù)界,包括機器人、嵌入式設(shè)備、移動電話和大規(guī)模高性能計算環(huán)境。Dlib的開源許可證允許它在任何應(yīng)用中免費使用。Dlib包含很多模塊,近年來,學(xué)者主要關(guān)注于機器學(xué)習(xí)、深度學(xué)習(xí)、圖像處理等模塊的開發(fā)。它的主要特點也非常多,其中包括文檔豐富、高質(zhì)量的廣泛兼容的代碼等,而在圖形模型推理算法中,加入樹算法可以在貝葉斯網(wǎng)絡(luò)中進行精確推理。在圖像處理技術(shù)中,用來讀取和保存常用圖像格式的是一種例行程序。針對各種像素類型之間的自動顏色空間轉(zhuǎn)換,常見的圖像操作,如邊緣檢測和形態(tài)學(xué)操作,SURF,HOG和FHOG的特征提取算法,還可作為圖像中目標(biāo)檢測的工具,包括正面人臉檢測和目標(biāo)姿態(tài)估計以及應(yīng)用高質(zhì)量的人臉識別。

      4基于眼睛關(guān)鍵點檢測的“專注”與“走神”表情識別

      4.1人臉數(shù)據(jù)集

      視頻數(shù)據(jù)采集于內(nèi)蒙古科技大學(xué)線上騰訊會議授課環(huán)境,采集工具為筆記本電腦攝像頭,視頻來源則是對學(xué)生聽課場景的錄屏操作。所采取的視頻為5段不同學(xué)生的上課視頻,視頻格式為MP4,如圖1所示。將視頻通過Video Crop轉(zhuǎn)變?yōu)閹瑪?shù)為3幀的圖像并保存。

      4.2實驗設(shè)計與實現(xiàn)

      本實驗中采用的模型是shape_predictor_68_facelandmarks. dat。這是一個人臉68關(guān)鍵點檢測模型,如圖2所示,利用68個關(guān)鍵點對人臉進行檢測。

      首先,將數(shù)據(jù)利用圖像處理中的開運算,去除類膚色塊中像素點少于100的區(qū)域,并分割出人臉區(qū)域。其次,標(biāo)記眼部的6個特征點,每個眼睛區(qū)域表示為6個坐標(biāo)。眼部特征提取算法如表2所列。

      即以右眼目青區(qū)域的左角為起點,如圖3所示,以順時針方式在眼鏡區(qū)域的周圍設(shè)置6個面部特征點。其中,P1為眼睛區(qū)域的左角面部特征點的位置,P2為眼睛區(qū)域的左上面部特征點的位置,P3為眼睛區(qū)域的右上面部特征點的位置.P4為眼睛區(qū)域右角面部特征點的位置,P5為眼睛區(qū)域的右下面部特征點的位置,P6為眼睛區(qū)域的左下面部特征點的位置。

      根據(jù)采集的眼部6個特征點的坐標(biāo)來計算每一個學(xué)生圖像的眼睛高寬比。如公式(1)所示,W為眼睛高寬比的比例。

      4.3

      實驗結(jié)果與誤差分析

      當(dāng)人眼睜開日寸,高寬比在某個值域范圍內(nèi)波動;當(dāng)人眼閉合時,高寬比迅速下降,理論上接近于0。洪子夢[15]提出一種基于眼睛長寬比的船舵手疲勞檢測方法以及人工判斷,當(dāng)眼睛的高寬比例大于0.25的時候,判定學(xué)生為“專注”,并用綠色進行說明,而“走神”的時候則用比較顯眼的紅色來說明。圖4為眼目青特征點識別展示圖。

      將采集的學(xué)生人臉視頻利用視頻剪輯器剪輯成一個包含兩類學(xué)生表情的5分37秒視頻,并對通過人工統(tǒng)計方法得出的表情進行篩選和對比分析。學(xué)生表情數(shù)量統(tǒng)計及誤差如表4所列。

      表4中第一行是人工統(tǒng)計的表情數(shù)量:第二行是本算法識別的表情數(shù)量:第三行是兩種數(shù)量統(tǒng)計方法的絕對數(shù)量誤差:第四行是兩種數(shù)量統(tǒng)計方法的相對數(shù)量誤差,其計算方法如公式(2)所示:

      在公式(2)中,RE為兩種數(shù)量統(tǒng)計方法的相對誤差;AE為兩種數(shù)量統(tǒng)計方法的絕對誤差;CE為人工統(tǒng)計的學(xué)生課堂表情數(shù)量。

      在線上課堂學(xué)生“專注”與“走神”的表情識別中,將眼睛高寬比作為判斷學(xué)生“專注”與“走神”狀態(tài)的重要依據(jù),“專注”時眼睛開合較大,而在“走神”時眼睛的開合較小。實驗結(jié)果表明,該方法識別準(zhǔn)確率為95. 1%,誤差相對較小,可為線上課堂教學(xué)評價提供技術(shù)支持。

      5表情持續(xù)時間統(tǒng)計

      學(xué)生聽課狀態(tài)與“專注”和“走神”兩種表情的持續(xù)時間高度相關(guān)。表情持續(xù)時間統(tǒng)計是通過人臉眼睛關(guān)鍵點識別出視頻圖像數(shù)據(jù)中學(xué)生的兩種表情,并統(tǒng)計眼睛關(guān)鍵點識別出來的視頻中表情的視頻幀數(shù),再利用表情的視頻幀數(shù)與視頻幀率的關(guān)系計算出學(xué)生上述兩種表情的持續(xù)時間,經(jīng)由公式(3)實現(xiàn):

      在公式(3)中,T為學(xué)生表情的時間,count為學(xué)生表情的幀數(shù),rate為每秒視頻的幀率。學(xué)生表情持續(xù)時間統(tǒng)計算法如表5所列。

      為了驗證學(xué)生表情持續(xù)時間算法及其誤差情況,將攝像頭采集的五個學(xué)生的單個人臉視頻剪輯成一個5分38秒的視頻,通過人工統(tǒng)計方法得出視頻中學(xué)生上課表情的時長,同時采用本文算法,將學(xué)生上課表情的時間與人工統(tǒng)計時長進行對比分析。學(xué)生表情持續(xù)日寸間統(tǒng)計及誤差如表6所列。

      表6中第一行是人工統(tǒng)計的學(xué)生表情持續(xù)時間;第二行是本算法統(tǒng)計的學(xué)生表情持續(xù)時間:第三行是兩種時間統(tǒng)計方法的絕對誤差:第四行是兩種日寸間統(tǒng)計方法的相對誤差,其計算方法如公式(4)所示:

      在公式(4)中,RE為兩種時間統(tǒng)計方法的相對誤差;AE為兩種時間統(tǒng)計方法的絕對誤差;CE為人工統(tǒng)計的學(xué)生課堂表情持續(xù)日寸間。

      從表6可知,本文表情持續(xù)時間算法中“專注”表情的誤差比較小,只有0.1%,基本上滿足學(xué)生表情識別的檢測需求,而“走神”的誤差較大,達到了10.4%。經(jīng)過實驗分析,主要是在眼睛的高寬比小于特定值時,“走神”與眨眼的過渡期是有重合的,當(dāng)學(xué)生眨眼時,本算法采取的幀數(shù)(3幀)會出現(xiàn)時間差。所以,針對這一現(xiàn)象,可以在后續(xù)的實驗中提取“走神”的視頻,然后在一定的時間內(nèi)設(shè)定一個閾值,如果高寬比處于眨眼的浮動日寸間(0.2~0.4s)范圍且小于該閾值,就可判定為眨眼:如果大于該閾值且保持一定的日寸間,就可判定為“走神”。但總體而言,利用學(xué)生表情持續(xù)時間統(tǒng)計算法基本上能夠統(tǒng)計出學(xué)生兩種表情的持續(xù)時間。

      6線上課堂學(xué)生專注度評價

      基于線上課堂學(xué)生“專注”與“走神”兩種表情識別結(jié)果,從以下兩個維度開展線上課堂學(xué)生專注度評價,具體如下。

      6.1線上課堂學(xué)生專注度占比分析

      網(wǎng)上授課與傳統(tǒng)的線下課堂不同,教師與學(xué)生在空間上處于分離狀態(tài),除了在溝通的時候會出現(xiàn)一定的障礙,更為重要的是,教師并不能第一時間觀察出學(xué)生上課時的狀態(tài),只能通過課堂測驗和考試的形式來判斷學(xué)生整體的學(xué)習(xí)狀態(tài)。其弊端顯而易見,即教師不能及時在課堂上對學(xué)生狀態(tài)的變化做出調(diào)整。

      6.1.1學(xué)生整體課堂專注度占比分析

      學(xué)生的專注度可以較為直觀地說明學(xué)生的聽課狀態(tài)和效果。首先,將線上授課的視頻分別截取為每10分鐘為一單位的子視頻,在每一單元的視頻中,將“專注”與“走神”所占的比例來反映一段時間內(nèi)學(xué)生的“專注”與“走神”程度,如圖5所示。

      通過計算所得學(xué)生的“專注”與“走神”兩類表情的占比,可以在一定程度上對課堂中學(xué)生的“專注”程度做出大致的判斷。經(jīng)過多次實驗和查看相關(guān)文獻,并結(jié)合對課堂視頻的人為分析結(jié)果,可以得出以下規(guī)律公式:

      在公式(5)中,a表示學(xué)生的專注度。對于一般的線上課堂,當(dāng)班級整體專注度低于0.5時,學(xué)生的課堂專注度較差:當(dāng)專注度在0.5~0.7時,學(xué)生的課堂專注度良好:而當(dāng)專注度高于0.7時,學(xué)生整體通常表現(xiàn)得十分專注。

      從圖5可以看出,在上課開始10分鐘左右以及30分鐘左右這一時間段中,學(xué)生整體專注度偏高,而在20分鐘左右的時間段中,可以看出“走神”的比例明顯大于“專注”的比例。至此,可以得出整節(jié)課的學(xué)生“專注”與“走神”程度在各個時間段內(nèi)的分布情況。例如,在20分鐘左右的日寸間段中,學(xué)生因線上授課缺乏交流溝通導(dǎo)致專注度降低,教師可以在此時間段安排學(xué)生進行小組內(nèi)交流或者參加一些與課堂相關(guān)的趣味游戲來調(diào)動學(xué)生的專注度,在后面的時間段中可以通過提問等方式使學(xué)生更加集中注意力,以提升學(xué)生的課堂專注度。

      6.1.2學(xué)生個體課堂專注度占比分析

      針對學(xué)生個體課堂專注度占比的分析,以上圖4中的女生為例,將線上授課的視頻分別截取為每10分鐘為一單位的子視頻,在每一單元的視頻中,用“專注”與“走神”所占的比例來反映一段時間內(nèi)學(xué)生個體的“專注”與“走神”程度,如圖6所示。

      通過計算所得學(xué)生的“專注”與“走神”兩類表情的占比,可以在一定程度上對課堂中學(xué)生的專注度做出大致判斷。結(jié)合規(guī)律公式(5),當(dāng)學(xué)生個體專注度低于0.5時,學(xué)生的課堂專注度較差:當(dāng)專注度在0.5~0.7時,學(xué)生的課堂專注度良好:而當(dāng)專注度高于0.7時,學(xué)生整體通常表現(xiàn)得十分專注。

      由圖6可知,該女生整體課堂表現(xiàn)得比較專注,只是在20分鐘與40分鐘之間的時候?qū)W⒄急扔兴陆?,而在課程的后半段專注度又呈上升趨勢。經(jīng)過實驗分析,學(xué)生的專注區(qū)間類別大致分為三類,一類是學(xué)生剛開始上課時較為積極,而隨著課堂時間的推移,專注度有所下降。二類是慢熱型學(xué)生在課堂開始階段并不是很專注,但是隨著時間的推移,慢慢變得有興趣。三類是學(xué)生在課堂中間階段比較積極,而在課堂開始與結(jié)束時卻積極性不高。由此可知,針對不同學(xué)生的專注度可以做不同的調(diào)整。例如,教師可以在不同的時間段穿插興趣活動,或者分組使不同類型的學(xué)生結(jié)合起來達到提升專注度的效果。

      6.2線上課堂專注度趨勢分析

      根據(jù)線上課堂學(xué)生“專注”與“走神”的時間統(tǒng)計結(jié)果,首先將線上授課視頻分別截取為每10分鐘為一單位的子視頻,在每一個子視頻的時間段中,用專注度趨勢來反映整節(jié)課堂學(xué)生專注度的走勢。如圖7所示,橫坐標(biāo)表示每10分鐘為一時間段,縱坐標(biāo)表示“專注”表情的比例。

      從圖7可以看出,在課堂剛開始階段,學(xué)生的專注度呈上升趨勢:在15分鐘至30分鐘時增長較為平緩:35分鐘左右此趨勢到達頂峰:在35分鐘之后,學(xué)生專注度則明顯有下降趨勢:在即將下課的末尾階段,學(xué)生專注度下降的趨勢變得較為平緩。由此,可以判斷學(xué)生的專注度在一定時間內(nèi)是變化的。

      教師可以根據(jù)此研究結(jié)果在講授知識難點與授課方式方面進行改進。例如,將知識難點講授著重放在課程的前半段左右,而在課程的后半段則利用較為活躍的授課方式與知識點相結(jié)合,給學(xué)生良好的上課體驗。而在學(xué)生層面,同樣是受到上課時間疲勞等因素的影響,在課程的后半段可根據(jù)自身條件做出調(diào)整。例如,改變學(xué)習(xí)方法或者調(diào)整自我身體因素等。

      7結(jié)束語

      隨著5G與人工智能、計算機視覺等先進技術(shù)與教育的深度融合,通過學(xué)生線上課堂表情識別可有效判斷學(xué)生課堂專注度。本文提出了一種基于眼睛特征提取的線上教學(xué)環(huán)境下學(xué)生“專注”與“走神”兩類表情檢測的方法,采用眼部特征點進行表情檢測,優(yōu)點是數(shù)據(jù)量小、計算速度快。而且,時間統(tǒng)計同樣滿足誤差需求。針對線上課堂,從學(xué)生“專注”占比程度與“專注”趨勢兩個維度做出評價,不僅有助于教師獲取實時精準(zhǔn)的教學(xué)反饋,及時改進教學(xué)策略,還能提高課堂教學(xué)質(zhì)量,為教育領(lǐng)域提供技術(shù)支持與依據(jù)。在未來的研究工作中,可結(jié)合視線偏移,設(shè)定眨眼時間閾值以及將多種面部特征進行融合,進一步提高表情識別的準(zhǔn)確率以及完善線上課堂教學(xué)質(zhì)量評價體系。

      猜你喜歡
      專注
      基于幼兒學(xué)習(xí)品質(zhì)培養(yǎng)的幼兒園生活館創(chuàng)設(shè)與利用
      學(xué)習(xí)匠人精神爭當(dāng)好班主任
      個性發(fā)展對個體全面發(fā)展的心理促進作用
      浙企要向臺企學(xué)“專注”
      專注·極致·口碑·快
      聲屏世界(2017年4期)2017-06-02 10:37:42
      抱樸守拙 精益求精
      “專注”的力量
      “專注”成就百年老店
      一切源于愛,我們專注少兒出版
      出版廣角(2016年7期)2016-08-04 16:36:43
      用好學(xué)生課程資源 提高陶藝教學(xué)實效
      江西教育C(2015年5期)2015-06-13 21:25:33
      明光市| 湄潭县| 多伦县| 闽清县| 宜阳县| 始兴县| 临沭县| 武邑县| 阿坝| 长丰县| 仪陇县| 文成县| 新化县| 白城市| 正蓝旗| 大英县| 黑水县| 南和县| 龙井市| 岑巩县| 海口市| 福州市| 宁武县| 浦城县| 汨罗市| 泉州市| 连州市| 嵩明县| 江安县| 江西省| 保德县| 珲春市| 兴宁市| 吴桥县| 富蕴县| 临湘市| 阿荣旗| 普安县| 泗洪县| 黑山县| 景谷|