陳彬杰 田生偉 易大強 常朋肖

摘 要 為了有效管理日益增多的高校學(xué)生，對學(xué)生進行實時準(zhǔn)確監(jiān)控，解決在機房或者網(wǎng)上課堂等教師難以觀察學(xué)生狀態(tài)的環(huán)境中如何有效了解學(xué)生動態(tài)的問題，提出并研制基于視頻分析的機房教學(xué)監(jiān)控系統(tǒng)，系統(tǒng)通過攝像頭捕獲人臉，使用深度學(xué)習(xí)來識別學(xué)生狀態(tài)。經(jīng)驗證，該系統(tǒng)能及時讓教師了解學(xué)生上課狀態(tài)。

關(guān)鍵詞 人臉識別；教學(xué)監(jiān)控系統(tǒng)；機房教學(xué)；深度學(xué)習(xí)

中圖分類號：G642 文獻標(biāo)識碼：B

文章編號：1671-489X（2018）10-0024-03

Development of Automatic Monitoring System in Computer Lab//

CHEN Binjie， TIAN Shengwei， YI Daqiang， CHANG Pengxiao

Abstract In order to effectively manage a growing number of uni-versity students， monitor students in real time and accurately， and solve the problem of how to understand the students ‘status in an environment where the teachers classrooms or online classrooms are

difficult to observe. This paper presents and develops a computer lab teaching monitoring system based on video analysis. The system uses the camera to capture face and identify students status. The system is verified that can help teachers understand the status of stu-dents in time.

Key words face recognition； teaching monitoring system； computer lab teaching； deep learning

1 引言

在高等教育中，機房教學(xué)是培養(yǎng)計算機人才必不可少的環(huán)節(jié)，機房也是高等教育的主要進行場所。我國高等教育的現(xiàn)狀大多是一個教師在課堂上至少要管理百余人，若是在機房環(huán)境中上課，教師和學(xué)生之間被計算機屏幕等設(shè)備阻隔，教師無法獲得學(xué)生學(xué)習(xí)狀態(tài)，這讓學(xué)校從課堂表現(xiàn)上評價學(xué)生變得非常困難，評價學(xué)生的學(xué)習(xí)效果只能通過考試分數(shù)，而評價不準(zhǔn)確也讓教學(xué)質(zhì)量難以獲得保證。解決這個矛盾的關(guān)鍵點在于，如何解決機房中教師無法準(zhǔn)確全面獲得學(xué)生信息的問題，即如何監(jiān)管學(xué)生的問題。

1）機房課堂中學(xué)生和教師之間的空間阻隔大，教師視線受到機房中計算機屏幕等設(shè)備的遮擋，無法觀察學(xué)生的一舉一動，導(dǎo)致課堂上出現(xiàn)學(xué)生睡覺、玩手機、聊天甚至中途離開機房早退的現(xiàn)象，而這些問題教師都難以察覺和監(jiān)督。

2）現(xiàn)今大學(xué)生曠課、遲到、早退現(xiàn)象尤為常見，還有學(xué)生上課代答到的現(xiàn)象發(fā)生，在考勤管理上使用傳統(tǒng)點名方式管理學(xué)生極為困難，無法得到真實的考勤情況。

3）在人數(shù)多的機房中進行點名工作、統(tǒng)計到勤情況是十分耗費時間的，耽誤學(xué)生學(xué)習(xí)和教師講課；若要檢查學(xué)生的早退情況，在下課時還要進行一次點名，教師無法實時掌握學(xué)生的到崗情況。

2 系統(tǒng)簡介

基于視頻分析的機房教學(xué)監(jiān)控系統(tǒng)（以下簡稱“本系統(tǒng)”）是一個基于人臉識別、機器學(xué)習(xí)、深度學(xué)習(xí)，適用于機房教學(xué)環(huán)境的教學(xué)輔助類系統(tǒng)。本系統(tǒng)可以實時地分析學(xué)生的課堂學(xué)習(xí)情況，克服傳統(tǒng)教學(xué)評價系統(tǒng)的高延遲性這一缺陷。此外，應(yīng)用軟件系統(tǒng)將對學(xué)生學(xué)習(xí)狀況進行匯總分析，形成基于真實數(shù)據(jù)的數(shù)字報告并反饋給學(xué)生和學(xué)校，更好地輔助學(xué)生優(yōu)化在機房中的學(xué)習(xí)效果。該系統(tǒng)能對學(xué)生的學(xué)習(xí)情況進行全面客觀分析：以往，課堂學(xué)習(xí)情況本應(yīng)作為學(xué)生學(xué)習(xí)成績評價的重要依據(jù)，但由于考查難度大而大打折扣、難以實施，因而不得已采用考試分數(shù)作為學(xué)生學(xué)習(xí)成績評價的主要指標(biāo)；若使用該系統(tǒng)，就能夠克服這一缺陷，將學(xué)生的上課表現(xiàn)納入期末綜合考核中，同時大大減輕教師的調(diào)查負擔(dān)，讓教師能夠?qū)Ｐ挠谏险n而不需要分心觀察記錄學(xué)生情況，相當(dāng)于為教師配備了一個“電子助教”。

3 系統(tǒng)功能介紹

本系統(tǒng)主要有課程管理功能、簽到考勤功能、學(xué)習(xí)狀態(tài)分析功能、學(xué)生信息發(fā)送功能、教師后臺管理功能等五大功能。以下是教學(xué)監(jiān)控系統(tǒng)各功能的介紹。

課程管理功能 系統(tǒng)可以從數(shù)據(jù)庫中獲取學(xué)生課表信息，結(jié)合課表信息自動設(shè)置課程監(jiān)控開始時間和結(jié)束時間。同時，系統(tǒng)可以手動添加學(xué)生和課程數(shù)據(jù)：添加學(xué)生數(shù)據(jù)時需要添加學(xué)生人臉照片和姓名等個人信息，學(xué)生的人臉數(shù)據(jù)將用于簽到考勤功能；添加課程數(shù)據(jù)時需要添加課程名稱和課程開始時間、結(jié)束時間等。

簽到考勤功能 系統(tǒng)將在課程上課時間啟動該功能，當(dāng)?shù)竭_上課時間時，攝像頭會自動運行，并每隔一段時間截取攝像頭當(dāng)前所拍攝的視頻中某一幀的圖片，通過人臉檢測模塊截取人臉部分，和數(shù)據(jù)庫中修該課程的學(xué)生的人臉圖片進行比對識別，將該學(xué)生識別為數(shù)據(jù)庫中與攝像頭截取的圖片相似度最高的學(xué)生，將考勤情況記為已到；當(dāng)連續(xù)10分鐘未截取到人臉或截取到的人臉不屬于原學(xué)生時，將會把情況記錄生成學(xué)生課堂信息，用作學(xué)生信息發(fā)送功能要發(fā)送的數(shù)據(jù)。這樣便可做到對學(xué)生上課全時間段的考勤，其準(zhǔn)確性和實時性是傳統(tǒng)考勤方式無法做到的，且考勤不會占用學(xué)生和授課教師的時間。

學(xué)習(xí)狀態(tài)分析功能 在教師上課期間，系統(tǒng)會將所有學(xué)生攝像頭截取到的視頻圖片通過LBP閉眼檢測[1]和人臉定位來檢測學(xué)生是否在上課睡覺，當(dāng)人臉無法定位時，默認學(xué)生低頭或者趴下，系統(tǒng)在數(shù)據(jù)庫中會將這些行為標(biāo)記為未在學(xué)習(xí)。目前系統(tǒng)能區(qū)分的狀態(tài)有認真學(xué)習(xí)、閉眼睡覺、低頭未在學(xué)習(xí)三種。當(dāng)認真學(xué)習(xí)的時間和其他狀態(tài)的時間比率低于教師設(shè)定值時，系統(tǒng)將會把學(xué)生姓名發(fā)送到教師端，教師將能收到當(dāng)前學(xué)生攝像頭前的即時畫面和系統(tǒng)分析的學(xué)生學(xué)習(xí)狀態(tài)。同時，所有的學(xué)生上課狀態(tài)信息都會被保存在數(shù)據(jù)庫中，以便于在期末或者其他任意時間段導(dǎo)出學(xué)生的上課情況表。

學(xué)生信息發(fā)送功能 簽到考勤狀況和學(xué)生狀態(tài)的狀況將永久保留在系統(tǒng)內(nèi)，同時會對每個人的學(xué)習(xí)情況進行分析，統(tǒng)計出給定時間內(nèi)某門課程的學(xué)習(xí)情況分析表并發(fā)送給任課教師，任課教師可以通過綁定微信的方式來快速收取系統(tǒng)發(fā)送的信息；同時可生成給定時間內(nèi)某學(xué)生的個人學(xué)習(xí)情況分析表，學(xué)生也能通過綁定微信的方式來接收信息，讓學(xué)生和教師對自己和對方上課的狀態(tài)進行分析，從而更好地進行教學(xué)工作。

教師后臺管理功能 教師登錄教師賬號后可以管理自己課程內(nèi)的學(xué)生，修改其考勤情況，錄入學(xué)生請假信息，需要輸入學(xué)生學(xué)號、請假原因以及請假起訖時間。在請假時間段內(nèi)，簽到考勤模塊將不會對該生進行考勤，而是直接記錄為“請假”。教師還可以在系統(tǒng)后臺設(shè)置學(xué)習(xí)狀態(tài)分析系統(tǒng)參數(shù)，包括：每節(jié)課認真學(xué)習(xí)時間低于多少時，判定為課堂表現(xiàn)不及格；學(xué)生離開屏幕多久后，系統(tǒng)向教師發(fā)送通知；認真學(xué)習(xí)的學(xué)生能得到多少課堂表現(xiàn)分；系統(tǒng)每隔多久截取學(xué)生當(dāng)前的圖像并進行一次識別。

4 系統(tǒng)設(shè)計概要

主要總結(jié)教學(xué)監(jiān)控系統(tǒng)結(jié)構(gòu)設(shè)計流程以及系統(tǒng)各模塊的功能及相關(guān)原理。應(yīng)用程序的總體結(jié)構(gòu)設(shè)計流程如圖1所示。預(yù)處理流程如圖2所示。

各模塊功能概述

1）圖像獲取模塊。該模塊截取攝像頭錄制的視頻中的圖片幀來獲得圖像信息，也可以從現(xiàn)有視頻中選擇導(dǎo)入視頻來獲取，在視頻片段中每隔1 s截取一次圖片，以獲取學(xué)生最實時的信息。

2）圖像預(yù)處理模塊。該模塊包括四個環(huán)節(jié)，即灰度化、人臉檢測、縮放、歸一化。其中，灰度化環(huán)節(jié)將通常的RGB彩色圖像通過加權(quán)平均法轉(zhuǎn)換成灰度圖；人臉檢測環(huán)節(jié)是這四個環(huán)節(jié)中最重要的，它通過已經(jīng)訓(xùn)練好的級聯(lián)分類器提取出圖片中的人臉特征部分；縮放環(huán)節(jié)將截取出的人臉圖像的大小縮放到99 px×99 px的大小，這是一個較小的圖片，這樣能減輕計算機識別人臉的計算來獲得更實時的信息；歸一化環(huán)節(jié)將截取的人臉圖像進行歸一化。

3）人臉識別模塊。該模塊將輸入的人臉圖像進行特征提取，然后送入已經(jīng)訓(xùn)練好的分類器進行概率估計，取概率最大的結(jié)果作為輸出結(jié)果[2]。

4）學(xué)習(xí)狀態(tài)識別模塊。該模塊將整張預(yù)處理后的圖片作為輸入，然后用之前訓(xùn)練好的動作級聯(lián)分類器進行提取，共用到眼睛、臉部、低頭的臉部三個級聯(lián)分類器。

算法實現(xiàn)概述 人臉識別部分使用了一種LBP（局部二值模式）+CNN（卷積神經(jīng)網(wǎng)絡(luò)）的人臉識別算法。因為LBP對輸入圖片位置敏感，所以當(dāng)人臉檢測算法截取的人臉區(qū)域不準(zhǔn)確時，提取的特征也會不準(zhǔn)確，因此需要對算法進行改進。

將圖片歸一化為99 px×99 px的圖片，再把圖片分成9×9個像素大小為11 px×11 px的子集，對子集進行LBP特征的提取。LBP編碼時，LBP算子中的半徑與采樣點的選擇將影響LBP算法的性能，半徑越大，采樣點越多，雖然能夠獲得更高的識別率，但是數(shù)據(jù)維度也將變得巨大，并且算法也將更耗時。根據(jù)文獻[3]中的試驗，本文算法采用LBP8-1編碼方式。將最后編碼獲得的每個子集的直方圖作為CNN的輸入來訓(xùn)練整個網(wǎng)絡(luò)使用BP算法對整個網(wǎng)絡(luò)進行微調(diào)。卷積神經(jīng)網(wǎng)絡(luò)含有一個可視層、一個卷積層和一個池化層。卷積核大小與池化大小均為10×10。最后用訓(xùn)練好的CNN提取訓(xùn)練樣本的人臉特征，并以這些特征訓(xùn)練一個Softmax分類器進行人臉識別，同時使用驗證集來計算正確率。

5 系統(tǒng)應(yīng)用測試

簽到考勤功能測試 首先，在YALE[4]庫上進行人臉識別測試，LBP由于計算簡單且具有光照和旋轉(zhuǎn)不變性，因此在限制條件下的人臉庫YALE上取得較高的識別率。之后將系統(tǒng)部署到機房進行測試，視頻圖像的采集上使用200萬像素的網(wǎng)絡(luò)攝像頭。在30人的課堂中進行試驗，系統(tǒng)預(yù)先錄入30名學(xué)生的臉部信息；在預(yù)定的考勤時間開始時，分別讓10人、15人、20人離開教室，系統(tǒng)準(zhǔn)確地識別并記錄了考勤成功的學(xué)生和離開教室的學(xué)生，僅一名學(xué)生因錄入臉部信息時沒有佩戴眼鏡，而考勤時佩戴了眼鏡，導(dǎo)致識別偏差。結(jié)果表明，試驗中考勤正確率達96.7%，達到實際運行要求。

學(xué)習(xí)狀態(tài)分析功能測試 在上課的一小時內(nèi)，按每秒一張的頻率采集上一個試驗中的30名學(xué)生上課時攝像頭獲取的照片，共108 000張；之后30名學(xué)生隨機抽取寫有編號為1～30的紙條，抽到編號為n的紙條的學(xué)生在第n×2分鐘做指定的動作，使用學(xué)習(xí)狀態(tài)分析模塊對輸入的

108 000張照片進行分析，分析睡覺、低頭玩手機和不在屏幕前的時間，并和每個學(xué)生記錄的真實情況進行對比。結(jié)果表明，試驗中識別這三種狀態(tài)的正確率達到99%以上，極為準(zhǔn)確。

參考文獻

[1]徐翠.基于計算機視覺的汽車安全輔助駕駛?cè)舾申P(guān)鍵問題研究[D].合肥：中國科學(xué)技術(shù)大學(xué)，2009.

[2]齊禮成.基于人臉識別考勤系統(tǒng)的設(shè)計與實現(xiàn)[D].西安：西安電子科技大學(xué)，2012.

[3]Ahonen T， Hadid A， Pietik?inen M. Face Recognition

with Local Binary Patterns[J].Computer Vision，2004（12）：

469-481.

[4]王憲，張彥，慕鑫，等.基于改進的LBP人臉識別算法[J].光電工程，2012，39（7）：109?114.