• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      智慧教室課堂教學(xué)中學(xué)生抬頭率檢測與分析

      2022-11-21 16:56:34孟祥睛賀紅趙永健
      關(guān)鍵詞:目標(biāo)檢測智慧教室教學(xué)評價

      孟祥睛 賀紅 趙永健

      關(guān)鍵詞:目標(biāo)檢測;YOLOv5;BiFPN;智慧教室;教學(xué)評價

      1引言

      為加快教育現(xiàn)代化和教育強(qiáng)國進(jìn)程,教育部于2018年制定了《教育信息化2.0行動計(jì)劃》,計(jì)劃指出要以人工智能、大數(shù)據(jù)、物聯(lián)網(wǎng)等新興技術(shù)為基礎(chǔ),依托各類智能設(shè)備及網(wǎng)絡(luò),積極開展智慧教育研究和示范。2019年,相關(guān)部門印發(fā)《中國教育現(xiàn)代化2035》,再次指出要加快教育信息化的腳步,建設(shè)智能化的校園,為國內(nèi)高校探索智慧教育模式提供了方向。智慧校園是數(shù)字校園的進(jìn)一步發(fā)展和提升,是教育信息化的更高級形態(tài),智慧教室作為智慧校園的重要組成部分,是建設(shè)智慧校園進(jìn)程中不可或缺的部分。

      智慧教室是指在傳統(tǒng)教室基礎(chǔ)上應(yīng)用物聯(lián)網(wǎng)和人工智能技術(shù)實(shí)現(xiàn)對教室內(nèi)物品和人員的智能感知與控制、應(yīng)用大數(shù)據(jù)技術(shù)對課堂活動所產(chǎn)生的的數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘和數(shù)據(jù)分析,為教學(xué)和教學(xué)督導(dǎo)提供便利、有效的幫助。

      有關(guān)智慧教室的研究,國外相對國內(nèi)要早一些。20世紀(jì)80年代末,RESCIGNO RC首先提出了“Smart Classroom”的概念。這是一種集成了個人計(jì)算機(jī)、交互式激光磁盤視頻程序、閉路電視和局域網(wǎng)等設(shè)備或技術(shù)的課堂設(shè)施。國內(nèi)史元春等在2001年提出了未來智慧教室的四個特征,即自然用戶交互、自動捕獲課堂事件和體驗(yàn)、情景感知和主動服務(wù)、支持協(xié)作工作。他們設(shè)計(jì)的智慧教室兼具遠(yuǎn)程教育概念,在當(dāng)時被稱為世界上最先進(jìn)的教室之一。早期的智慧教室實(shí)際上更應(yīng)該稱為多媒體教室,直到2008年“智慧地球”概念的提出,傳感器技術(shù)、富媒體技術(shù)和人工智能技術(shù)爭先發(fā)展,促進(jìn)了智慧教室項(xiàng)目的發(fā)展,研究人員開始嘗試將物聯(lián)網(wǎng)和人工智能中的各類技術(shù)與智慧教室相結(jié)合。

      在人工智能方面,嘗試用于處理智慧教室音視頻圖像數(shù)據(jù)的有語義識別、人臉識別、目標(biāo)檢測和情緒識別等模型。但是,實(shí)驗(yàn)室場景和教室實(shí)際應(yīng)用場景相差較大,有的模型在實(shí)驗(yàn)室效果很好但是卻不適合用在實(shí)際場景。YELINK等在智慧教室項(xiàng)目中加入了情緒識別來檢測學(xué)生情緒狀態(tài)。人類的情緒會影響學(xué)生的學(xué)習(xí)認(rèn)知過程尤其是對注意力影響巨大,在課堂中檢測師生情緒狀態(tài)可以判斷其是否在認(rèn)真參與課堂教學(xué)。但是,若要精確識別學(xué)生的情緒狀態(tài),需要清晰的面部照片和瞳孔照片來展示表情變化,所須條件和環(huán)境比較苛刻,難于在學(xué)校中廣泛實(shí)施。LIN J等提出了一種在課堂中進(jìn)行舉手檢測的方法來分析教學(xué)氛圍,通過特征金字塔捕捉細(xì)節(jié)和語義特征,然后融于R-FCN架構(gòu)中,取得了85%的平均準(zhǔn)確率。董琪琪等改進(jìn)的SSD算法在進(jìn)行智慧教室學(xué)生狀態(tài)檢測時識別準(zhǔn)確率達(dá)到了驚人的95.4%,但是從論文中所給出的效果圖來看,實(shí)驗(yàn)是在8-10人的房間里進(jìn)行的,且教室內(nèi)人員較固定、影響因子較小,與實(shí)際教室環(huán)境相差甚遠(yuǎn)。

      如今,移動智能設(shè)備的快速發(fā)展,使得手機(jī)、平板電腦等智能終端成為人們生活中密不可分的一部分,在大學(xué)課堂上越來越多的學(xué)生被智能終端吸引從而低頭,這種狀況對教師教學(xué)內(nèi)容和形式的吸引力是一種負(fù)證據(jù)。所以,課堂上的抬頭率對于教學(xué)評價便有了一定的參考價值。為了進(jìn)一步提高深度學(xué)習(xí)技術(shù)與智慧教育的結(jié)合度,在不侵犯學(xué)生個人隱私的前提下,本研究將以目標(biāo)檢測的方式,從檢測課堂學(xué)生抬頭率人手,為教學(xué)評價新方式提供一定參考。

      目標(biāo)檢測至今已有20多年的發(fā)展歷程,早期的傳統(tǒng)目標(biāo)檢測主要是由手工提取特征,不僅實(shí)驗(yàn)準(zhǔn)確率不高,而且速度還慢,直到2012年卷積神經(jīng)網(wǎng)絡(luò)的興起給目標(biāo)檢測領(lǐng)域注入了新的活力。YOLO( YouOnly Look Once)系列正是基于卷積神經(jīng)網(wǎng)絡(luò)的單階段目標(biāo)檢測算法,自YOLOvl面世以來,歷經(jīng)YOLOv2,YOL0v3等多個版本的改進(jìn)與優(yōu)化,一直到現(xiàn)在的YOL0v4與YOL0v5,都是目標(biāo)檢測領(lǐng)域的佼佼者。YOL0v5與YOL0v4相比具有更高的靈活性和更快的速度,且模型方便快速部署。YOL0v5按照模型大小遞增分為n,s,m,l,x,其中YOL0v5x模型參數(shù)最多,性能最好,但也最耗時間,各模型結(jié)構(gòu)一致,僅在深度和寬度上有變化,模型主體部分均由Backbone,Neck,Head三部分組成。

      研究思路是:對智慧教室的各路圖像進(jìn)行比較,從中選出一路能從前方拍到教室所有學(xué)生的視頻,使用目標(biāo)檢測技術(shù)從視頻中檢測出低頭和抬頭的學(xué)生,統(tǒng)計(jì)人數(shù),計(jì)算出抬頭率。

      2材料與方法

      在眾多目標(biāo)檢測工具中,YOL0v5是較為活躍的一種網(wǎng)絡(luò)模型,具有超高的靈活性和較低的上手難度。經(jīng)過速度與準(zhǔn)確率之間的比較,本文采用YOL0v5中的YOL0v5s模型進(jìn)行研究。

      2.1課堂學(xué)生抬頭率檢測流程

      YOL0v5s模型直接用于在智慧教室課堂監(jiān)測學(xué)生抬頭率效果不夠理想。比如,有學(xué)生會把書包放在桌上,書包上端從視頻中看去就是一個黑色頭頂,容易造成檢測誤差。經(jīng)過大量實(shí)驗(yàn),列舉了各種造成檢測誤差的情況,為了提高模型對課堂場景的適用性,提高學(xué)生抬頭率檢測的準(zhǔn)確率,團(tuán)隊(duì)對YOL0v5s模型進(jìn)行改進(jìn)。改進(jìn)方法是將BiFPN模塊融入YOLOv5s模型。研究流程如圖1所示。

      2.2數(shù)據(jù)采集與準(zhǔn)備

      本研究所用實(shí)驗(yàn)數(shù)據(jù)均來源于本校區(qū)智慧教室云平臺,目前本校已在校區(qū)內(nèi)大多數(shù)教室安裝了智慧教室所需的硬件設(shè)備,該平臺具備實(shí)時直播、錄播回放等視頻功能,每間教室設(shè)有教師講臺、學(xué)生全景、課件屏幕三個機(jī)位,部分教室在此基礎(chǔ)上額外實(shí)現(xiàn)了學(xué)生雙機(jī)位全景。

      本文研究的課堂抬頭率檢測基于學(xué)生全景機(jī)位(如圖2所示)制作數(shù)據(jù)集,具體方式為:(1)在智慧教室云平臺的錄播回放分區(qū)分別獲取春夏秋冬四季課堂上課視頻;(2)根據(jù)觀察,由于時間相隔太近視頻幀之間變化極小,因此不必挨個抽取每幀圖像,每節(jié)課視頻選擇均勻抽取十幀圖像;(3)人工篩選出抽幀不合理的圖片,如圖片過于模糊、上下課期間等無意義場景圖。最終,共采集課堂圖片427張,采用Labellmg標(biāo)注軟件進(jìn)行人工標(biāo)注后,共計(jì)獲得標(biāo)注樣本24010個,其中抬頭樣本10629個、低頭樣本13381個。

      2.3BiFPN簡述

      在YOLO系列Backbone網(wǎng)絡(luò)中,將原始輸入圖像分別通過8倍、16倍和32倍下采樣得到三種不同尺寸的特征圖,然后采用特征金字塔網(wǎng)絡(luò)(FeaturePvramid Network,F(xiàn)PN)進(jìn)行特征融合,從而實(shí)現(xiàn)不同大小目標(biāo)的檢測。但是,由于不同的輸入特征具有不同的分辨率,帶來了各尺度特征信息不一致的問題,LIU S等通過添加路徑的方式對其進(jìn)行了改進(jìn),他們提出了一個自頂向下和自底向上的雙向融合骨干網(wǎng)絡(luò),即路徑聚合網(wǎng)絡(luò)(Path AggregationNetwork,PANet),顯著提高了不同尺寸特征融合之后的精確度,但隨之而來的問題是成倍增加的計(jì)算量。對于只有一條輸入邊而沒有進(jìn)行特征融合的結(jié)點(diǎn),它并不會對融合不同特征的特征網(wǎng)絡(luò)產(chǎn)生多少影響,據(jù)此TAN M等提出了一種雙向特征金字塔網(wǎng)絡(luò)(Bi-Directional

      Feature

      Pyramid

      Network,

      BiFPN),在:PANet基礎(chǔ)上刪除了只有一條輸入邊的結(jié)點(diǎn),從原始輸入到輸出結(jié)點(diǎn)添加額外的邊,以便在不增加太多成本的境況下融合更多的特征,同時反復(fù)應(yīng)用多次BiFPN實(shí)現(xiàn)更高級別的特征融合。

      2.4遷移學(xué)習(xí)

      機(jī)器學(xué)習(xí)模型通常是為了解決某類特定任務(wù)而設(shè)計(jì),從頭構(gòu)建和訓(xùn)練模型需要大量的數(shù)據(jù),可能達(dá)到百萬量級,不僅標(biāo)注需要大量的人力物力,訓(xùn)練也需要極大地消耗資源。遷移學(xué)習(xí)是一種用于轉(zhuǎn)移從一個任務(wù)獲得的成果解決另一個任務(wù)的方法,而不是從零開始,有助于提高準(zhǔn)確性和減少訓(xùn)練時間。具體到本研究表現(xiàn)為:從COCO數(shù)據(jù)集的80類目標(biāo)向抬頭、低頭兩類目標(biāo)的轉(zhuǎn)換,可大大加快模型訓(xùn)練速度,節(jié)省資源占用。

      2.5評價指標(biāo)

      本研究采用目標(biāo)檢測常用評價標(biāo)準(zhǔn),即準(zhǔn)確率(Precision,P)、召回率(Recall,R)、平均準(zhǔn)確率均值(mean Average Precision,mAP)以及每秒幀數(shù)(Frames Per Second,F(xiàn)PS),其中平均準(zhǔn)確率均值mAP常與IOU閾值相結(jié)合來反應(yīng)性能,mAP@0.5代表在IOU閾值為0.5時的平均AP,主要提現(xiàn)模型的識別能力:mAP@0.5:0.95代表在IOU閾值從0.5到0.95.步長為0.05時各個mAP的平均值,主要用于提現(xiàn)定位效果以及邊界回歸能力,比單一的IOU閾值0.5更能說明模型的預(yù)測能力:FPS表示每秒檢測圖像的數(shù)目,值越大則說明模型每秒處理的圖片越多即速度越快。各指標(biāo)計(jì)算公式如下:

      在公式(2)與公式(3)中,TP代表對目標(biāo)的正確預(yù)測樣本個數(shù)、FP代表對目標(biāo)的錯誤預(yù)測或不存在目標(biāo)的錯誤預(yù)測樣本個數(shù)、FN代表對目標(biāo)的漏檢樣本個數(shù)。

      3實(shí)驗(yàn)與結(jié)果分析

      3.1模型訓(xùn)練過程

      本研究實(shí)驗(yàn)環(huán)境如表1所列。

      訓(xùn)練過程如下:為減少資源消耗、快速得出結(jié)果,以YOLOv5官方提供的YOLOv5s權(quán)重文件為預(yù)訓(xùn)練權(quán)重,在此基礎(chǔ)上進(jìn)行遷移學(xué)習(xí),設(shè)置迭代批量大小為16,總迭代次數(shù)為300次,初始學(xué)習(xí)率為0.01進(jìn)行模型訓(xùn)練。訓(xùn)練過程中的mAP@ 0.5隨訓(xùn)練迭代次數(shù)變化如圖3所示,mAP@ 0.5:0.95隨訓(xùn)練迭代次數(shù)變化如圖4所示。

      3.2模型對比與分析

      通過訓(xùn)練過程產(chǎn)生的平均準(zhǔn)確率變化(圖3)可知,YOLOv5s模型與融合了BiFPN模塊的YOLOv5s模型的識別準(zhǔn)確率都非常不錯,在最高處分別達(dá)到了96.21%和96.38%的平均準(zhǔn)確率,相較之下,后者優(yōu)勢并不明顯。但是從圖4來看,融合了BiFPN模塊的YOLOv5s模型在mAP@0.5:0.95下相比原版YOLOv5s模型有所提高。根據(jù)表2看到,添加了BiFPN模塊的YOLOv5s模型之后檢測速率略有下降,在本應(yīng)用場景下差距0.002秒,幾乎沒有影響,可忽略不計(jì)。

      為進(jìn)一步探索BiFPN模塊是否起到理論上的作用,在測試集上再次進(jìn)行對比實(shí)驗(yàn),本次實(shí)驗(yàn)采用人工檢驗(yàn)的方式檢查模型預(yù)測結(jié)果,使用訓(xùn)練好的模型進(jìn)行訓(xùn)練時,confidence設(shè)置為0.55,IOU閾值設(shè)置為0.7,結(jié)果如表3所列??梢钥吹剑噍^于原版模型,融合BiFPN模塊的YOLOv5s模型的錯識別率和漏識別率顯著降低。從識別的效果圖(圖5)來看,除了人眼看不到但人腦可以猜測到的人外,BiFPN-YOLOv5模型基本都可以識別正確。

      3.3檢測結(jié)果展示

      本研究在模型訓(xùn)練完成后進(jìn)行了應(yīng)用測試,測試時會先對輸入的視頻進(jìn)行處理。據(jù)觀察,對于智慧教室產(chǎn)生課堂視頻,一節(jié)50分鐘的課大概有10萬幀,因此選擇均勻抽幀的方式對其進(jìn)行處理,這既能確保獲取整節(jié)課的抬頭率變化情況,也能節(jié)省系統(tǒng)資源,縮短處理時間。圖6為對某節(jié)課堂視頻使用BiFPN-YOLOv5s模型檢測后產(chǎn)生的抬頭率變化圖,從圖6中可以大致得出本節(jié)課教師的上課情況,如前半部分學(xué)生抬頭率較高,說明任課教師講的內(nèi)容可能非常吸引學(xué)生,課堂中間部分學(xué)生抬頭率波動比較大,可能是任課教師讓學(xué)生在記錄。

      4結(jié)束語

      本研究基于YOLOv5提出了一種面向教學(xué)評價的抬頭率檢測模型,采用BiFPN結(jié)構(gòu)對網(wǎng)絡(luò)的精度和泛化能力進(jìn)行提升,實(shí)驗(yàn)結(jié)果表明,該模型的平均識別準(zhǔn)確率已經(jīng)達(dá)到95.8%,在測試集上經(jīng)過人工核驗(yàn)后單一精度達(dá)到98.4%,每秒可處理50張圖片。本文提出的抬頭率監(jiān)測模型具有較強(qiáng)的檢測能力和泛化能力,可為學(xué)校進(jìn)行教學(xué)評價和學(xué)生選課提供客觀依據(jù),為智慧教室的數(shù)據(jù)使用方式提供參考。

      猜你喜歡
      目標(biāo)檢測智慧教室教學(xué)評價
      視頻中目標(biāo)檢測算法研究
      軟件(2016年4期)2017-01-20 09:38:03
      行為識別中的人體運(yùn)動目標(biāo)檢測方法
      借用“智慧教室”打造數(shù)學(xué)互動課堂
      淺談未來教室
      “智慧教室”平臺數(shù)字化教學(xué)資源課堂教學(xué)應(yīng)用策略研究
      信息技術(shù)—Internet實(shí)用教程教學(xué)設(shè)計(jì)的思考與實(shí)踐
      對農(nóng)村小學(xué)數(shù)學(xué)課堂教學(xué)評價的認(rèn)識和看法
      考試周刊(2016年85期)2016-11-11 01:23:32
      網(wǎng)絡(luò)環(huán)境下高職英語課程多維度評價方式研究
      淺談基于智慧教室環(huán)境下小學(xué)數(shù)學(xué)課堂教學(xué)的應(yīng)用與實(shí)施
      移動機(jī)器人圖像目標(biāo)識別
      高雄县| 南靖县| 上虞市| 丰台区| 方山县| 盐山县| 克什克腾旗| 徐州市| 闻喜县| 马龙县| 周至县| 弥勒县| 抚顺市| 曲水县| 涪陵区| 桐梓县| 麻城市| 大埔县| 大方县| 怀集县| 巴彦县| 昭苏县| 拜泉县| 阿克苏市| 禄丰县| 辰溪县| 岳阳市| 平远县| 宜兰市| 海丰县| 菏泽市| 望奎县| 册亨县| 乌鲁木齐市| 临沧市| 高邑县| 盐池县| 通渭县| 咸宁市| 溧水县| 综艺|