基于YOLOv3的大學(xué)生上課時(shí)間觀念的研究

程莎 王全民

摘 ?要： 本文基于教室監(jiān)控視頻數(shù)據(jù)對(duì)大學(xué)生上課時(shí)間觀念進(jìn)行研究，采用“檢測(cè)-跟蹤-計(jì)數(shù)”框架對(duì)不同時(shí)間段學(xué)生到課人數(shù)進(jìn)行統(tǒng)計(jì)分析。目標(biāo)檢測(cè)階段是以YOLOv3網(wǎng)絡(luò)作為目標(biāo)檢測(cè)的基礎(chǔ)模型，通過構(gòu)建教室出入學(xué)生樣本庫，訓(xùn)練出更適合檢測(cè)教室行人的網(wǎng)絡(luò)模型;目標(biāo)跟蹤階段使用的是DSST算法進(jìn)行目標(biāo)跟蹤，結(jié)合幀間質(zhì)心匹配算法進(jìn)行人數(shù)統(tǒng)計(jì)。最后，對(duì)各個(gè)時(shí)間點(diǎn)進(jìn)出教室人數(shù)進(jìn)行分析研究，實(shí)驗(yàn)結(jié)果表明了方法的有效性。

關(guān)鍵詞： Yolov3;目標(biāo)檢測(cè);DSST;人數(shù)統(tǒng)計(jì)

中圖分類號(hào)： TP391.41 ? ?文獻(xiàn)標(biāo)識(shí)碼： A ? ?DOI：10.3969/j.issn.1003-6970.2020.01.034

本文著錄格式：程莎，王全民. 基于YOLOv3的大學(xué)生上課時(shí)間觀念的研究[J]. 軟件，2020，41（01）：156159

【Abstract】： This paper studies the concept of college students' class time based on video data of classroom monitoring，the "detection - tracking - counting" framework was used to analyze the number of students coming to class in different time periods. The target detection phase is based on the YOLOv3 network， through the construction of classroom access student sample database， a more suitable network model is trained to detect pedestrians in the classroom; In the target tracking phase， DSST algorithm is used for target tracking， combined with the inter-frame centroid matching algorithm， the number of people is counted. Finally， the number of students entering and leaving the classroom at each time point is analyzed and the experimental results show the effectiveness of the method.

【Key words】： YOLOv3; Object detection; DSST; People counting

0 ?引言

在校園數(shù)字化建設(shè)的大背景下，產(chǎn)生了大量可挖掘數(shù)據(jù);隨著深度學(xué)習(xí)的飛速發(fā)展，通過智能的識(shí)別與分析，我們可以充分挖掘數(shù)據(jù)里面的潛在價(jià)值，有助于優(yōu)化教學(xué)管理提高教學(xué)質(zhì)量。針對(duì)到課人數(shù)統(tǒng)計(jì)的研究主要涉及目標(biāo)檢測(cè)和目標(biāo)跟蹤算法。

傳統(tǒng)目標(biāo)檢測(cè)方法主要分三步：區(qū)域選擇、特征提取和分類器分類。深度學(xué)習(xí)的出現(xiàn)，使得特征提取和分類器分類合并一步實(shí)現(xiàn)。利用卷積神經(jīng)網(wǎng)絡(luò)提取行人特征進(jìn)行檢測(cè)的方法，在行人目標(biāo)出現(xiàn)遮擋、形變問題的情況下，檢測(cè)的準(zhǔn)確度仍然得到一定程度的保證。目前CNN常用的目標(biāo)檢測(cè)模型有：Faster R-CNN、SSD和YOLO。Faster R-CNN提出了新的RPN網(wǎng)絡(luò)代替了原來的對(duì)每個(gè)區(qū)域建議（region proposal）方法，準(zhǔn)確度得到了提升但是檢測(cè)速度仍然不夠快;SSD的改進(jìn)核心是使用小卷積濾波器預(yù)測(cè)邊界框位置中的對(duì)象類別和偏移，使用單獨(dú)的預(yù)測(cè)變量（濾波器）進(jìn)行不同的寬高比檢測(cè)，并將這些濾波器應(yīng)用于網(wǎng)絡(luò)后期的多個(gè)要素圖以執(zhí)行多尺度檢測(cè)。SSD檢測(cè)相比Faster R-CNN檢測(cè)速度更快，檢測(cè)精度更高;2018年Joseph Redmon和Ali Farhadi提出YOLOv3模型，該模型準(zhǔn)確度與SSD模型相媲美，速度卻是SSD模型的3倍多。YOLOv3是速度和精度最均衡的目標(biāo)檢測(cè)網(wǎng)絡(luò)，它融合了多種先進(jìn)方法，改進(jìn)了YOLOv1和YOLOv2的缺點(diǎn)，且效果更優(yōu)。因此，實(shí)驗(yàn)選用了YOLOv3作為目標(biāo)檢測(cè)模型。

根據(jù)工作原理，目標(biāo)跟蹤主要分為生成式模型和鑒別式模型兩大類。鑒別式模型相對(duì)于生成式模型能夠更好的處理遮擋目標(biāo)，由于實(shí)驗(yàn)數(shù)據(jù)存在大量遮擋的情景，所以我們選擇了鑒別式模型。鑒別式模型中相關(guān)濾波算法無論在準(zhǔn)確率還是速度方面都有好的性能，而DSST是相關(guān)濾波的改進(jìn)增加了尺度跟蹤，更準(zhǔn)確的對(duì)視頻中行人進(jìn)行跟蹤。

采用幀間質(zhì)心匹配算法最終實(shí)現(xiàn)計(jì)數(shù)功能。通過前面階段獲取目標(biāo)檢測(cè)狀態(tài)集和目標(biāo)跟蹤狀態(tài)集，采用歐式距離最近原則，來關(guān)聯(lián)目標(biāo)檢測(cè)狀態(tài)集和目標(biāo)跟蹤狀態(tài)集，進(jìn)而得到各個(gè)學(xué)生的運(yùn)動(dòng)軌跡。根據(jù)目標(biāo)對(duì)象運(yùn)動(dòng)軌跡計(jì)算出目標(biāo)移動(dòng)方向。設(shè)置閾值，跟蹤目標(biāo)如果發(fā)現(xiàn)目標(biāo)通過閾值，進(jìn)行該目標(biāo)的計(jì)數(shù)。

1 ?本文方法

1.1 ?YOLOv3原理

YOLOv3算法是物體檢測(cè)算法YOLO系列第三個(gè)版本，可以檢測(cè)出person、bicycle、car等80個(gè)類別物體。借助于GPUTitanX，YOLOv3在COCO數(shù)據(jù)上51 ms內(nèi)實(shí)現(xiàn)了57.9的AP50[1]，檢測(cè)性能表現(xiàn)非常優(yōu)異。

YOLOv3首先將原圖縮放到寬416高416大小，然后將其按照特征圖的尺度大小劃分為S X S大小單元格，每個(gè)單元格有三個(gè)anchor boxes預(yù)測(cè)三個(gè)邊框，在在特征圖為13×13、26×26、52×52三個(gè)尺度上依次進(jìn)行檢測(cè)。每個(gè)尺度預(yù)測(cè)3個(gè)box，使用聚類設(shè)計(jì)anchor，解出9個(gè)聚類中心，按照大小將其分成三種尺度。在訓(xùn)練過程中，YOLOv3損失函數(shù)包括三部分：目標(biāo)置信度損失、目標(biāo)定位損失和目標(biāo)分類損失。目標(biāo)置信度是預(yù)測(cè)目標(biāo)矩形框內(nèi)存在目標(biāo)的概率，采用二值交叉熵?fù)p失;目標(biāo)分類損失同樣采用的是二值交叉熵?fù)p失;目標(biāo)定位損失采用的是真實(shí)偏差值與預(yù)測(cè)偏差值差的平方和。

YOLOv3的模型結(jié)構(gòu)是由Darknet53和三次采樣輸出構(gòu)成。網(wǎng)絡(luò)中大量使用殘差連接，通過增加深度提高準(zhǔn)確度。Darknet53網(wǎng)絡(luò)結(jié)構(gòu)的最小單元是由卷積層、Batch Normalization層和激活函數(shù)（LeakyRelu）組成。借鑒類金字塔輸出，三次采樣輸出越來越小的檢測(cè)目標(biāo)，增強(qiáng)了對(duì)不同大小物體及復(fù)雜背景物體的檢測(cè)效果。使用多個(gè)獨(dú)立logistic分類器代替softmax，實(shí)現(xiàn)多標(biāo)簽分類，一定程度上保證檢測(cè)到的物體多樣性。

1.2 ?DSST原理

DSST跟蹤算法是基于MOSSE濾波器的改進(jìn)，增加了HOG特征進(jìn)行目標(biāo)跟蹤，而且提出了快速尺度估計(jì)的方法。DSST算法用不同維度的濾波器來進(jìn)行相應(yīng)的目標(biāo)尺度變化評(píng)估、目標(biāo)位置變化評(píng)估以及用于詳盡尺度空間的目標(biāo)定位。算法的思想是設(shè)計(jì)兩個(gè)濾波器，一個(gè)是位置濾波器用來給當(dāng)前目標(biāo)進(jìn)行定位，另一個(gè)是尺度濾波器用來對(duì)當(dāng)前目標(biāo)進(jìn)行尺度估計(jì)，結(jié)合兩種濾波器實(shí)現(xiàn)目標(biāo)跟蹤，算法簡(jiǎn)潔相對(duì)于MOSSE算法更適合于紋理特征的場(chǎng)景。

1.2.1 ?位置過濾器

該算法將輸入樣本f設(shè)計(jì)為d維特征向量，那么最小均方誤差和可以表示如下。

上式中，λ是正則項(xiàng)系數(shù)，參數(shù)λ可以消除f頻譜中的零分量干擾，避免分子為零;上標(biāo)l表示特征的維度;g是通過訓(xùn)練f得到的理想輸出。式中當(dāng)t=1時(shí)，結(jié)果如下。

由于求解d維線性方程非常耗時(shí)，可以通過對(duì)上式中的分子 和分母 進(jìn)行分別更新，進(jìn)而得到魯棒的近似結(jié)果，公式如下。

其中，η為學(xué)習(xí)率，最大濾波器相應(yīng)值y為。

1.2.2 ?尺度過濾器

在新的一幀圖像中，先利用二維位置濾波器來確定目標(biāo)物體的位置信息，然后再利用一維尺度濾波器進(jìn)行尺度匹配。過程是以目標(biāo)位置的中心位置為中心點(diǎn)，獲取不同尺度的候選patch，然后找到最優(yōu)的匹配尺度。目標(biāo)樣本尺寸選擇原則：

上式中，P和R代表在前一幀的目標(biāo)框的寬和高，S代表尺度個(gè)數(shù)，省略號(hào)代表區(qū)間為[–16， 16]之間的整數(shù)值，a代表尺度因子。

1.3 ?幀間質(zhì)心匹配算法

學(xué)生上課時(shí)間統(tǒng)計(jì)實(shí)驗(yàn)的核心算法是目標(biāo)檢測(cè)和目標(biāo)跟蹤兩大算法，但是要實(shí)現(xiàn)視頻流數(shù)據(jù)統(tǒng)計(jì)，我們需要通過幀間質(zhì)心匹配算法在幀間建立邏輯聯(lián)系，關(guān)聯(lián)目標(biāo)檢測(cè)結(jié)果和目標(biāo)跟蹤結(jié)果，然后通過學(xué)生運(yùn)動(dòng)軌跡流，實(shí)現(xiàn)進(jìn)出教室人數(shù)計(jì)數(shù)功能。

假設(shè)在t時(shí)刻，目標(biāo)檢測(cè)列表為 ，目標(biāo)跟蹤鏈表為 ，設(shè) 為檢測(cè)鏈表中第k個(gè)目標(biāo) 的中心坐標(biāo)，設(shè) 為跟蹤鏈表中第l個(gè)目標(biāo) 的中心坐標(biāo)，定義 和 空間距離為。

計(jì)算出每個(gè)檢測(cè)出的目標(biāo)和所有的跟蹤目標(biāo)進(jìn)行距離求解 ，設(shè)有K個(gè)檢測(cè)目標(biāo)和L跟蹤目標(biāo)，則可以得到距離關(guān)聯(lián)矩陣。

通過距離矩陣λ，根據(jù)質(zhì)心最近距離匹配原則，我們求得檢測(cè)出來的學(xué)生以及其對(duì)應(yīng)的跟蹤狀態(tài)集，從而我們可以得到視頻中各的學(xué)生的運(yùn)動(dòng)軌跡。

根據(jù)視頻里教室分配特點(diǎn)，我們?cè)O(shè)置計(jì)數(shù)閾值為第一排過道。當(dāng)目標(biāo)物體越界，計(jì)數(shù)器自動(dòng)進(jìn)行計(jì)數(shù)。假設(shè)學(xué)生軌跡點(diǎn)開始坐標(biāo)值為（m1， n1），結(jié)束坐標(biāo)為（m2， n2），如果m2–m1小于零，則表示軌跡方向是向上的，視頻中反應(yīng)的就是出教室，則設(shè)置的出教室數(shù)值加一，總數(shù)減一;反之，則表示軌跡方向是向下的，視頻中反應(yīng)的就是進(jìn)教室，則設(shè)置的進(jìn)教室數(shù)值加一，總數(shù)加一。

2 ?實(shí)驗(yàn)結(jié)果及和分析

2.1 ?實(shí)驗(yàn)數(shù)據(jù)介紹與預(yù)處理

2.1.1 ?數(shù)據(jù)說明

實(shí)驗(yàn)數(shù)據(jù)是某高校教室的監(jiān)控視頻。采集的數(shù)據(jù)包括了本科四個(gè)年級(jí)以及研究生三個(gè)年級(jí)的教室監(jiān)控視頻。相對(duì)于傳統(tǒng)的問卷調(diào)查，本文實(shí)驗(yàn)數(shù)據(jù)覆蓋面更廣更全面。

2.1.2 ?數(shù)據(jù)處理

根據(jù)教室特點(diǎn)，為了減少不必要的干擾因素以及提高實(shí)驗(yàn)效率，我們將實(shí)驗(yàn)原數(shù)據(jù)通過視頻剪裁分成左通道與右通道兩部分，如下圖所示。

2.2 ?實(shí)驗(yàn)設(shè)計(jì)細(xì)節(jié)與效果

檢測(cè)試驗(yàn)數(shù)據(jù)集是從樣本視頻中采集的，使用labelImg標(biāo)注工具，然后將數(shù)據(jù)集轉(zhuǎn)化為Pascal VOC數(shù)據(jù)集的標(biāo)準(zhǔn)格式。完成了數(shù)據(jù)集的制作后，用YOLOv3檢測(cè)器訓(xùn)練。

目標(biāo)跟蹤的實(shí)現(xiàn)使用OpenCV的pyimagesearch庫中的trackableObjects類，其中包含了DSST算法。實(shí)驗(yàn)中，跟蹤類的初始化中目標(biāo)位置框參數(shù)由檢測(cè)結(jié)果賦值。

結(jié)合幀間質(zhì)心匹配算法，根據(jù)距離最近原則，我們將目標(biāo)檢測(cè)階段的到的對(duì)象和目標(biāo)跟蹤階段的到的狀態(tài)集一一對(duì)應(yīng)，從而得到每個(gè)進(jìn)出學(xué)生的運(yùn)動(dòng)軌跡，通過運(yùn)動(dòng)軌跡，和我們?cè)O(shè)置的越界線（第一排過道），實(shí)現(xiàn)進(jìn)出學(xué)生計(jì)數(shù)功能。其中，進(jìn)教室則標(biāo)志In加一，出教室則標(biāo)志Out加一。實(shí)驗(yàn)效果如下圖。

2.3 ?結(jié)果分析

本文對(duì)大一、大二、大三、大四的課堂視頻進(jìn)行了實(shí)驗(yàn)，并進(jìn)行了數(shù)據(jù)的統(tǒng)計(jì)。根據(jù)實(shí)驗(yàn)結(jié)果，我們?cè)谡n前30分鐘課后30分鐘時(shí)間段內(nèi)以及課程結(jié)束時(shí)刻，選取幾個(gè)時(shí)刻統(tǒng)計(jì)人數(shù)，統(tǒng)計(jì)表格如下。

樣本中大一某課堂總?cè)藬?shù)100，大二某課堂總?cè)藬?shù)110，大三某課堂總?cè)藬?shù)106，大四班級(jí)總?cè)藬?shù)90。根據(jù)數(shù)據(jù)統(tǒng)計(jì)結(jié)果，從大一至大四我們可以分別分析出缺課率是0、5.5%、5.6%、0，遲到率是3%、5.8%、10%、1.1%，早退率是1%、6.7%、18%、0。從數(shù)據(jù)我們可以看出來，樣本中大一和大四課堂的時(shí)間觀念較強(qiáng)，大三課堂的遲到率和早退率都較高于其他年級(jí)。在大數(shù)據(jù)時(shí)代，通過數(shù)據(jù)我們可以更加客觀科學(xué)的分析事物。從數(shù)據(jù)著手，更加科學(xué)規(guī)范的管理學(xué)生和提高教學(xué)質(zhì)量。

3 ?結(jié)論

本文主要研究?jī)?nèi)容包括目標(biāo)檢測(cè)、目標(biāo)跟蹤和軌跡分析等技術(shù)，研究對(duì)象是動(dòng)態(tài)的學(xué)生上課視頻，智能化的行人流量統(tǒng)計(jì)算法可以幫助使用者節(jié)省人力成本。本文所涉及的算法通過實(shí)際的測(cè)試驗(yàn)證了其實(shí)時(shí)性以及適用性都可以達(dá)到預(yù)期的目標(biāo)?；诮淌冶O(jiān)控視頻使用YOLOv3目標(biāo)檢測(cè)算法對(duì)不同時(shí)間點(diǎn)學(xué)生人數(shù)進(jìn)行實(shí)時(shí)統(tǒng)計(jì)，可以客觀統(tǒng)計(jì)學(xué)生的缺課率、遲到率和早退率，相應(yīng)反應(yīng)出學(xué)生的時(shí)間觀念、學(xué)習(xí)風(fēng)氣以及對(duì)不同課程的興趣情況等，方便學(xué)校更好的管理教務(wù)。

參考文獻(xiàn)

[1] 基于視頻監(jiān)控的教室人數(shù)統(tǒng)計(jì)系統(tǒng)的研究與設(shè)計(jì)[D]. 重慶理工大學(xué)， 2017.

[2] 基于視頻監(jiān)控的教室人數(shù)統(tǒng)計(jì)[D]. 安徽大學(xué)， 2014.

[3] 尹本雄. 基于WEB的多媒體教室遠(yuǎn)程視頻監(jiān)控及控制系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 信息系統(tǒng)工程， 2014（12）： 35-35.

[4] 教室監(jiān)控視頻中人員異常行為檢測(cè)研究[D]. 電子科技大學(xué)， 2018.

[5] 閆一鳴. 高校教室電子監(jiān)控的合法性探究[D]. 廣西大學(xué)， 2015.

[6] 哈圖， 金永昌. 計(jì)算機(jī)遠(yuǎn)程監(jiān)控系統(tǒng)在教學(xué)中的研究與實(shí)現(xiàn)[J]. 內(nèi)蒙古農(nóng)業(yè)大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2015（3）： 141-146.

[7] 黃欣. 視頻監(jiān)控系統(tǒng)在教學(xué)管理中的應(yīng)用[J]. 中國教育技術(shù)裝備， 2015（10）： 18-20.

[8] 黎翠轉(zhuǎn). 視頻監(jiān)控系統(tǒng)及智能視頻監(jiān)控技術(shù)研究[J]. 機(jī)電信息， 2014（15）： 110-111.

[9] 黃巖. 基于計(jì)算機(jī)軟硬件的視頻監(jiān)控系統(tǒng)設(shè)計(jì)與研究[J]. 計(jì)算機(jī)技術(shù)與發(fā)展， 2018， v.28; No.253（5）： 133-136+140.

[10] 邵志晨. 計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)在視頻監(jiān)控聯(lián)網(wǎng)中的應(yīng)用探究[J]. 計(jì)算機(jī)光盤軟件與應(yīng)用， 2014（1）： 107-107.

[11] 趙華， 鐘志宏， 蘭峰， 等. 淺析智能視頻監(jiān)控系統(tǒng)[J]. 計(jì)算機(jī)光盤軟件與應(yīng)用， 2014（19）： 45-45.

[12] 葉金嶺， 王青峰， 余波. 網(wǎng)絡(luò)視頻監(jiān)控在數(shù)字校園中的應(yīng)用研究[J]. 計(jì)算機(jī)光盤軟件與應(yīng)用， 2014（11）： 251-251.

[13] 陳俊良， 葛俊鋒， 葉林， 等. 基于海康威視SDK的視頻監(jiān)控軟件的開發(fā)[J]. 工業(yè)控制計(jì)算機(jī)， 2015（7）： 97-98.

[14] 惠曉威， 王克. 移動(dòng)視頻監(jiān)控系統(tǒng)的實(shí)現(xiàn)[J]. 計(jì)算機(jī)應(yīng)用與軟件， 2014（1）： 148-150.

[15] 面向智能視頻分析的網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)軟件設(shè)計(jì)與實(shí)現(xiàn)[D]. 東南大學(xué)， 2016.

[16] 李曉飛. 探討計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)在視頻監(jiān)控聯(lián)網(wǎng)中的應(yīng)用[J]. 電子技術(shù)與軟件工程， 2013（23）： 31-31.

[17] 張亮. 計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)在視頻監(jiān)控聯(lián)網(wǎng)中的應(yīng)用[J]. 網(wǎng)友世界·云教育， 2014（19）： 23-23.

[18] 陳翔， 顧慶， 劉望舒， 等. 靜態(tài)軟件缺陷預(yù)測(cè)方法研究[J]. 軟件學(xué)報(bào)， 2016， 27（1）： 1-25.

[19] 孫文榮， 周先春， 嵇亞婷. 基于直方圖均衡化、PCA和SVM算法的人臉識(shí)別[J]. 軟件， 2014， 35（8）： 11-15.