基于改進(jìn)SSD算法的學(xué)生課堂行為狀態(tài)識(shí)別

董琪琪，劉劍飛+，郝祿國(guó)，高 星，曾文彬

(1.河北工業(yè)大學(xué) 電子信息工程學(xué)院，天津 300401； 2.廣東工業(yè)大學(xué) 信息工程學(xué)院，廣東 廣州 510006； 3.廣州海昇計(jì)算機(jī)科技有限公司研發(fā)部，廣東 廣州 510663)

0 引 言

將人工智能引入教學(xué)活動(dòng)，采用深度學(xué)習(xí)的方法識(shí)別學(xué)生在課堂上的行為，了解學(xué)生的上課狀態(tài)，對(duì)教學(xué)改革具有積極意義。在針對(duì)行為識(shí)別的研究中，無(wú)論是使用雙流CNNs[1-3]和3D卷積算法[4,5]進(jìn)行人體行為識(shí)別，還是基于人體骨架的行為識(shí)別[6]都已經(jīng)取得顯著效果，但是這些方法基本上都需要分析一段完整的視頻，識(shí)別結(jié)果即分類(lèi)為單個(gè)行為標(biāo)簽，使得其計(jì)算時(shí)間長(zhǎng)和訓(xùn)練開(kāi)銷(xiāo)大。將VGG16網(wǎng)絡(luò)模型遷移到學(xué)生課堂行為識(shí)別任務(wù)中，具有較高的識(shí)別精度，但也是將測(cè)試圖像歸為某一類(lèi)行為[7]。這些方法不能實(shí)時(shí)檢測(cè)同一幀圖像里多人行為，不適用課堂多位學(xué)生同時(shí)檢測(cè)。目標(biāo)檢測(cè)Faster R-CNN算法通過(guò)基于ZFNet預(yù)訓(xùn)練網(wǎng)絡(luò)模型的遷移學(xué)習(xí)，實(shí)現(xiàn)對(duì)學(xué)生課堂行為的檢測(cè)識(shí)別分析，取得良好的檢測(cè)識(shí)別效果，可以檢測(cè)同一幀圖像里多人行為，但缺乏實(shí)時(shí)性[8]。目標(biāo)檢測(cè)YOLO算法定位和識(shí)別行為狀態(tài)，可以實(shí)時(shí)檢測(cè)從監(jiān)控?cái)z像機(jī)視頻數(shù)據(jù)流中捕獲的幀，基于單個(gè)幀可得到行為狀態(tài)標(biāo)簽，但其對(duì)遠(yuǎn)景小目標(biāo)識(shí)別能力欠佳[9-11]。

SSD(single shot MultiBox detector)算法[12]具有檢測(cè)精度高和實(shí)時(shí)性好等優(yōu)勢(shì)，本文對(duì)SSD算法的候選框設(shè)計(jì)及損失函數(shù)進(jìn)行改進(jìn)：一方面采用K-means聚類(lèi)算法統(tǒng)計(jì)訓(xùn)練集真實(shí)框長(zhǎng)寬比，重新設(shè)置SSD網(wǎng)絡(luò)預(yù)測(cè)層候選框比例及分布，增大候選框與真實(shí)框的匹配度；另一方面融合焦點(diǎn)損失函數(shù)調(diào)節(jié)樣本權(quán)重，解決訓(xùn)練時(shí)正負(fù)樣本及難易分類(lèi)樣本不平衡問(wèn)題?；诟倪M(jìn)SSD算法對(duì)智慧教室中舉手、睡覺(jué)、回答、寫(xiě)字、聽(tīng)講5類(lèi)學(xué)生課堂行為狀態(tài)進(jìn)行識(shí)別。

1 原理與方法

圖1所示為基于改進(jìn)的SSD算法的學(xué)生課堂行為狀態(tài)識(shí)別的實(shí)現(xiàn)流程。由圖可見(jiàn)，實(shí)現(xiàn)對(duì)學(xué)生課堂行為狀態(tài)識(shí)別包括3個(gè)環(huán)節(jié)：數(shù)據(jù)集構(gòu)建、算法模型訓(xùn)練和學(xué)生課堂行為識(shí)別。首先是數(shù)據(jù)集構(gòu)建。本文采用LabelImg工具標(biāo)注舉手、睡覺(jué)、回答、寫(xiě)字、聽(tīng)講5類(lèi)學(xué)生行為狀態(tài)；然后，采用基本改進(jìn)的SSD算法訓(xùn)練學(xué)生行為數(shù)據(jù)集。訓(xùn)練過(guò)程中，輸入的學(xué)生行為狀態(tài)圖片前向傳播至SSD網(wǎng)絡(luò)進(jìn)行特征提取，不同預(yù)測(cè)層的候選框與真實(shí)框匹配，輸出每個(gè)候選框類(lèi)別置信度預(yù)測(cè)和位置偏移量預(yù)測(cè)的誤差，計(jì)算損失反向傳播調(diào)節(jié)對(duì)應(yīng)的權(quán)重，直到損失函數(shù)降到較小的穩(wěn)定值，模型訓(xùn)練完成；最后進(jìn)行學(xué)生課堂行為狀態(tài)的識(shí)別。智慧教室錄播系統(tǒng)中待檢測(cè)視頻幀輸入，通過(guò)訓(xùn)練好的參數(shù)模型在圖像幀上生成一系列檢測(cè)框，通過(guò)非極大值抑制消除冗余框，得到檢測(cè)學(xué)生行為的最佳位置框，進(jìn)行舉手、睡覺(jué)、回答、寫(xiě)字、聽(tīng)講5類(lèi)學(xué)生行為狀態(tài)識(shí)別。

圖1 基于改進(jìn)SSD算法的學(xué)生課堂行為狀態(tài)識(shí)別的實(shí)現(xiàn)流程

1.1 SSD網(wǎng)絡(luò)

SSD網(wǎng)絡(luò)融合不同尺度的特征圖進(jìn)行特征提取，網(wǎng)絡(luò)結(jié)構(gòu)分為基礎(chǔ)網(wǎng)絡(luò)、金字塔網(wǎng)絡(luò)兩部分。其中，基礎(chǔ)網(wǎng)絡(luò)是VGG-16的前4層網(wǎng)絡(luò)，金字塔網(wǎng)絡(luò)由特征圖逐漸變小的5個(gè)簡(jiǎn)單卷積網(wǎng)絡(luò)構(gòu)成。表1所示為預(yù)測(cè)層候選框的分布。表中，SSD網(wǎng)絡(luò)模型中將VGG-16中的Conv4_3層作為特征融合的第一個(gè)特征圖，特征圖大小為38×38，基礎(chǔ)網(wǎng)絡(luò)后新增的卷積網(wǎng)絡(luò)中選用5個(gè)特征層(Conv7，Conv8_2，Conv9_2，Conv10_2，Conv11_2)作為檢測(cè)所用的特征融合圖，這樣共有6個(gè)特征層，特征圖大小分別為38×38、19×19、10×10、5×5、3×3和1×1，而且每個(gè)特征層的特征圖設(shè)置的候選框數(shù)目、大小、比例也不盡相同。

表1 預(yù)測(cè)層候選框的分布

候選框的大小遵守線(xiàn)性遞增規(guī)則，如式(1)所示

(1)

其中，m表示特征層個(gè)數(shù)，Smin和Smax分別表示比例的最小值和最大值，Sk表示第k個(gè)候選框相對(duì)于圖片的比例大小。對(duì)于長(zhǎng)寬比，一般按式(2)選取5種長(zhǎng)寬比

(2)

確定長(zhǎng)寬比后，按式(3)計(jì)算候選框的寬度與高度，其中sk表示候選框?qū)嶋H尺度

(3)

為提高計(jì)算速度，且精度不受較大影響，Conv4_3，Conv10_2和Conv11_2層在實(shí)現(xiàn)時(shí)僅使用4個(gè)候選框，沒(méi)有長(zhǎng)寬比為{3,1/3}的候選框。SSD網(wǎng)絡(luò)最終預(yù)測(cè)8732個(gè)候選框，候選框的比例及分布與SSD算法的特征提取能力密切相關(guān)。為提高算法的檢測(cè)準(zhǔn)確率，在不同應(yīng)用場(chǎng)景，候選框的比例及分布應(yīng)重新設(shè)置。

1.2 學(xué)生課堂行為狀態(tài)識(shí)別的候選框設(shè)計(jì)

SSD算法設(shè)置的預(yù)選框比例適用于VOC數(shù)據(jù)集。VOC數(shù)據(jù)集中20類(lèi)目標(biāo)大小不一、種類(lèi)差異大，目標(biāo)框大小差距也很大。如果按原先設(shè)置的預(yù)選框比例訓(xùn)練檢測(cè)學(xué)生行為狀態(tài)數(shù)據(jù)集，根據(jù)人體形態(tài)比例可知其中部分預(yù)選框比例并不合理。因此本文預(yù)選框的比例根據(jù)學(xué)生行為狀態(tài)數(shù)據(jù)集的訓(xùn)練集來(lái)設(shè)置。采用K-means在訓(xùn)練集標(biāo)簽框上進(jìn)行聚類(lèi)產(chǎn)生合適的候選框使得模型的提取特征能力更強(qiáng)，學(xué)習(xí)能力更強(qiáng)[13,14]。本文利用K-means聚類(lèi)算法對(duì)自制學(xué)生行為狀態(tài)數(shù)據(jù)集進(jìn)行聚類(lèi)，得到k個(gè)聚類(lèi)中心，再由聚類(lèi)中心坐標(biāo)進(jìn)而得到真實(shí)標(biāo)簽框的長(zhǎng)寬比。針對(duì)學(xué)生行為數(shù)據(jù)集及SSD算法候選框比例的分布，設(shè)置參數(shù)k=5，最終得到5個(gè)聚類(lèi)中心，K-means聚類(lèi)過(guò)程如下：

步驟1從標(biāo)注的學(xué)生行為狀態(tài)訓(xùn)練集獲取xml文件，讀取xml文件，隨機(jī)選擇k個(gè)初始聚類(lèi)中心；

步驟2計(jì)算每個(gè)標(biāo)注樣本與k個(gè)中心各自的歐式距離，然后按最小距離原則被分配至最鄰近聚類(lèi)；

步驟3使用每個(gè)聚類(lèi)中的樣本均值作為新的聚類(lèi)中心；

步驟4重復(fù)步驟2、步驟3到聚類(lèi)中心不再變化；

步驟5最后得到k個(gè)聚類(lèi)結(jié)果坐標(biāo)。

由聚類(lèi)中心坐標(biāo)獲得學(xué)生行為狀態(tài)數(shù)據(jù)集標(biāo)簽框的長(zhǎng)寬比后，重新設(shè)置預(yù)測(cè)層候選框的分布進(jìn)行實(shí)驗(yàn)對(duì)比。

1.3 樣本不平衡改進(jìn)策略

SSD訓(xùn)練時(shí)對(duì)位置和目標(biāo)類(lèi)別進(jìn)行回歸預(yù)測(cè)，產(chǎn)生的誤差損失記為損失函數(shù)L(·)，可表示為位置誤差(locatization loss)與置信度誤差(confidence loss)的加權(quán)和，如式(4)所示

(4)

其中，N是候選框的正樣本數(shù)量，即與真實(shí)框匹配的候選框數(shù)量，Lconf(x,c)為置信度誤差，Lloc(x,l,g)為位置誤差，x表示默認(rèn)框與不同類(lèi)別目標(biāo)的真實(shí)框匹配結(jié)果，c表示目標(biāo)類(lèi)別置信度預(yù)測(cè)值，l表示候選框?qū)?yīng)邊界框的位置預(yù)測(cè)值，而g為真實(shí)框的位置參數(shù)，α為衡量位置損失和置信度損失的權(quán)重系數(shù)，通常設(shè)置為1。

位置回歸采用的是L1平滑損失函數(shù)，目標(biāo)函數(shù)如式(5)所示

(5)

(6)

一般目標(biāo)檢測(cè)問(wèn)題可以視為圖像分類(lèi)中的二分類(lèi)問(wèn)題，其中二進(jìn)制分類(lèi)(binary classification)的交叉熵(CE)損失式(7)如下

(7)

其中，p表示正樣本概率。

在二分類(lèi)問(wèn)題中y的值為1或-1，p的范圍為[0,1]。為了方便，用正樣本概率pt代替概率p，如式(8)所示

(8)

將式(8)代入式(7)得到交叉熵?fù)p失函數(shù)，如式(9)所示

CE(p,y)=CE(pt)=-log(pt)

(9)

為使損失函數(shù)在樣本的迭代過(guò)程中優(yōu)化至最優(yōu)，引入一個(gè)加權(quán)因子αt以調(diào)整正負(fù)樣本對(duì)總的損失函數(shù)的共享權(quán)重，αt的范圍為[0,1]，交叉熵?fù)p失函數(shù)如式(10)所示

CE(pt)=-αtlog(pt)

(10)

交叉熵?fù)p失函數(shù)可以控制正負(fù)樣本的權(quán)重，但是無(wú)法控制容易分類(lèi)和難分類(lèi)樣本的權(quán)重，于是引入了Focal loss，如式(11)所示

FL(pt)=-(1-pt)γlog(pt)

(11)

其中，γ為焦點(diǎn)參數(shù)，γ≥0，(1-pt)γ稱(chēng)為調(diào)制系數(shù)。

圖2所示為Focal loss函數(shù)曲線(xiàn)圖。由圖可知，對(duì)于目標(biāo)檢測(cè)Focal loss，當(dāng)目標(biāo)對(duì)象被錯(cuò)誤分類(lèi)且pt很小時(shí)，調(diào)制系數(shù)趨于1，近似等于原來(lái)的損失函數(shù)。反之，當(dāng)pt趨于1時(shí)，樣本分類(lèi)正確，調(diào)制系數(shù)趨于0，對(duì)總的損失函數(shù)影響很小，可忽略不計(jì)。Focal loss函數(shù)通過(guò)調(diào)制系數(shù)調(diào)節(jié)樣本權(quán)重，易分類(lèi)樣本的權(quán)重減少，在訓(xùn)練時(shí)網(wǎng)絡(luò)模型更著重于難分類(lèi)的樣本。當(dāng)γ=0時(shí)，F(xiàn)ocal loss即為傳統(tǒng)的交叉熵?fù)p失，當(dāng)γ增大時(shí)，調(diào)制系數(shù)也會(huì)增大。

圖2 Focal loss曲線(xiàn)

Focal loss融合交叉熵函數(shù)，損失函數(shù)如式(12)所示

L(pt)=-αt(1-pt)γlog(pt)

(12)

于是，將原SSD算法中類(lèi)別回歸的softmax損失函數(shù)(見(jiàn)式(6))代入式(12)，作為SSD算法中新的置信度損失。如式(13)所示

(13)

訓(xùn)練時(shí)設(shè)置參數(shù)αt=0.25,γ=2。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 課堂學(xué)生行為狀態(tài)數(shù)據(jù)集制作

目前公開(kāi)的數(shù)據(jù)集沒(méi)有課堂學(xué)生上課動(dòng)作的數(shù)據(jù)信息，針對(duì)學(xué)生課堂行為類(lèi)別分析的數(shù)據(jù)庫(kù)需要自行建立。根據(jù)需求將學(xué)生行為狀態(tài)數(shù)據(jù)集類(lèi)別分為5大類(lèi)：聽(tīng)講、舉手、回答、睡覺(jué)及寫(xiě)字。數(shù)據(jù)集圖片用腳本隔幀處理智慧教室錄播視頻，挑選學(xué)生行為特征明顯的圖片。為達(dá)到較好的泛化性能，具備良好的魯棒性，數(shù)據(jù)集包括所有學(xué)生動(dòng)作特征，且學(xué)生動(dòng)作特征明顯。數(shù)據(jù)集圖片中有學(xué)生單人和多人的變化，學(xué)生穿著和發(fā)型的變化，學(xué)生目標(biāo)大小和遠(yuǎn)近的變化，課桌的位置和角度變化，學(xué)生排座和動(dòng)作類(lèi)別的變化。剔除動(dòng)作特征變化不明顯、前后變化小的圖片后，用LabelImg工具，通過(guò)人工標(biāo)注的方式，一張圖片生成一個(gè)xml文件，生成的xml文件包含標(biāo)簽類(lèi)別(hand，write，answer，listen，sleep)，真實(shí)框的坐標(biāo)信息和圖片的名稱(chēng)，一共記錄了12 279張標(biāo)簽。自制學(xué)生行為狀態(tài)數(shù)據(jù)集可為后續(xù)的智慧教室自動(dòng)教學(xué)分析提供數(shù)據(jù)來(lái)源。

表2 學(xué)生行為狀態(tài)數(shù)據(jù)集各類(lèi)別數(shù)量

2.2 網(wǎng)絡(luò)模型評(píng)價(jià)指標(biāo)

SSD算法網(wǎng)絡(luò)模型性能最常用的評(píng)價(jià)指標(biāo)就是平均精度均值(mean average precision，mAP)，如式(14)所示

(14)

其中，j是類(lèi)別，共有J類(lèi)，aveP(j)是網(wǎng)絡(luò)模型對(duì)于第j類(lèi)的準(zhǔn)確率的平均值。mAP是訓(xùn)練模型對(duì)于測(cè)試集中每一類(lèi)的平均準(zhǔn)確率的平均值，代表了訓(xùn)練模型在整個(gè)數(shù)據(jù)集上的所有類(lèi)別的準(zhǔn)確率和召回率的綜合評(píng)估值。圖像處理中衡量算法效率的常用指標(biāo)，可用FPS(frames per second)表示，即每秒處理圖像幀的數(shù)量。

2.3 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)環(huán)境：服務(wù)器上硬件環(huán)境配備N(xiāo)VIDIA GTX1080ti顯卡，顯存大小11 GB，軟件環(huán)境為Ubuntu16.04操作系統(tǒng)、深度學(xué)習(xí)開(kāi)源框架TensorFlow、用于科學(xué)計(jì)算的Python發(fā)行版Anaconda3、顯卡并行計(jì)算架構(gòu)CUDA、針對(duì)神經(jīng)網(wǎng)絡(luò)運(yùn)算的GPU加速庫(kù)cu DNN等。訓(xùn)練時(shí)初始化學(xué)習(xí)率為0.001，每隔兩個(gè)周期下降到之前的0.94倍，梯度更新采用Adam優(yōu)化器，動(dòng)量因子為0.9，每次迭代訓(xùn)練50 000次結(jié)束。

在相同的環(huán)境設(shè)置下，YOLO算法和SSD算法在自制學(xué)生行為數(shù)據(jù)集上的測(cè)試結(jié)果在表5可見(jiàn)，SSD算法對(duì)5類(lèi)行為狀態(tài)的識(shí)別的平均準(zhǔn)確率比YOLO算法高9.8%，卻也降低了檢測(cè)效率。本文在保證實(shí)時(shí)檢測(cè)的同時(shí)，致力于提高檢測(cè)精度，接下來(lái)在候選框分布及引入Focal loss做了以下幾組對(duì)比實(shí)驗(yàn)。

2.3.1 候選框分布實(shí)驗(yàn)

學(xué)生行為狀態(tài)數(shù)據(jù)集中訓(xùn)練集通過(guò)K-means聚類(lèi)后，得到樣本寬高比見(jiàn)表3。

表3 聚類(lèi)后的寬高比

為了研究候選框比例對(duì)及分布對(duì)實(shí)驗(yàn)結(jié)果的影響，根據(jù)表1中SSD算法的候選框數(shù)量分布及K-means聚類(lèi)中心的結(jié)果，進(jìn)行了以下兩組實(shí)驗(yàn)對(duì)比。

表4所示為改進(jìn)SSD算法各預(yù)測(cè)層候選框比例設(shè)置。表中，把SSD模型中conv4_3預(yù)測(cè)層中長(zhǎng)寬比為1的區(qū)域候選框替換為長(zhǎng)寬比為1/4的區(qū)域候選框，此模型記作SSD_change1。而把SSD網(wǎng)絡(luò)模型中各個(gè)預(yù)測(cè)層中的長(zhǎng)寬比為1的區(qū)域候選框都替換為長(zhǎng)寬比為1/4的區(qū)域候選框，則模型記為SSD_change2。

表4 改進(jìn)SSD算法各預(yù)測(cè)層候選框比例設(shè)置

表5為各模型在課堂學(xué)生行為狀態(tài)數(shù)據(jù)集上的測(cè)試結(jié)果。由表可知，在相同的訓(xùn)練參數(shù)條件下，SSD_change1模型檢測(cè)性能比原SSD模型的mAP提高了5.9%，而SSD_change2模型比原SSD模型準(zhǔn)確率提高了7.6%，且比SSD_change1提高了1.7%。由此說(shuō)明按照學(xué)生行為狀態(tài)數(shù)據(jù)集聚類(lèi)分析結(jié)果設(shè)置候選框長(zhǎng)寬比及分布，增大了訓(xùn)練時(shí)候選框與真實(shí)框的匹配度，減小噪聲，測(cè)試準(zhǔn)確率得到提高。在實(shí)踐中，根據(jù)不同的數(shù)據(jù)集設(shè)計(jì)預(yù)選框的比例及分布有重要意義。

2.3.2 平衡樣本實(shí)驗(yàn)

在重新設(shè)置候選框分布的基礎(chǔ)上，引入Focal loss損失函數(shù)，在課堂學(xué)生行為狀態(tài)數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果見(jiàn)表5。

表5 各模型在課堂學(xué)生行為狀態(tài)數(shù)據(jù)集上測(cè)試結(jié)果

由表5可見(jiàn)，SSD算法在引入Focal loss以后準(zhǔn)確率為0.862，比原SSD提高了1%。說(shuō)明通過(guò)Focal loss調(diào)制系數(shù)調(diào)節(jié)正負(fù)樣本權(quán)重及難易樣本權(quán)重，減小了對(duì)損失和計(jì)算的梯度產(chǎn)生負(fù)面影響，因此識(shí)別精度均值有提高。進(jìn)一步將Focal loss引入SSD_change1和SSD_change2中，則mAP較SSD_change1和SSD_change2分別提高了3.6%和2.6%。特別是SSD_change2_Focal loss對(duì)行為狀態(tài)識(shí)別的mAP達(dá)到95.4%。由此說(shuō)明，在重新設(shè)置候選框分布并引入Focal loss損失函數(shù)后，網(wǎng)絡(luò)模型的性能得到明顯提升。同時(shí)，由FPS指標(biāo)可知該算法每秒可以檢測(cè)29幀圖像，因此可以實(shí)時(shí)檢測(cè)學(xué)生課堂行為狀態(tài)。

由于映射數(shù)據(jù)集的不完備性和算法精度限制，在智慧教室實(shí)時(shí)檢測(cè)學(xué)生行為過(guò)程中不可避免地存在誤檢和漏檢。表6所示為SSD_change2_Focal loss在學(xué)生行為狀態(tài)測(cè)試集上誤檢和漏檢結(jié)果。由表可見(jiàn)，采用改進(jìn)SSD算法SSD_change2_Focal loss模型對(duì)學(xué)生課堂行為狀態(tài)識(shí)別，在測(cè)試集上測(cè)試的結(jié)果誤檢率和漏檢率分別為0.45%和0.24%，這一結(jié)果對(duì)利用該數(shù)據(jù)進(jìn)行教學(xué)效果分析的影響可以忽略不計(jì)。

表6 SSD_change2_Focal loss在學(xué)生行為狀態(tài)測(cè)試集上誤檢和漏檢結(jié)果

2.3.3 智慧教室檢測(cè)結(jié)果

用測(cè)試集檢測(cè)模型性能時(shí)，僅用一塊GPU時(shí)檢測(cè)幀率在表5中可查?？梢钥闯鰩追N模型檢測(cè)識(shí)別速率差別很小，而且常見(jiàn)的視頻流一般都是每秒25幀圖像，可以進(jìn)行實(shí)時(shí)檢測(cè)。圖3所示為智慧教室實(shí)時(shí)檢測(cè)效果圖。采用SSD_change2_Focal loss網(wǎng)絡(luò)模型實(shí)時(shí)檢測(cè)智慧錄播系統(tǒng)中視頻數(shù)據(jù)流中的學(xué)生課堂行為，并設(shè)置程序?qū)z測(cè)結(jié)果圖像幀自動(dòng)保存，由圖可見(jiàn)該方法能夠同時(shí)準(zhǔn)確定位、識(shí)別多位學(xué)生聽(tīng)講、寫(xiě)字、睡覺(jué)、回答、舉手5類(lèi)學(xué)生課堂行為狀態(tài)。

圖3 在智慧教室實(shí)時(shí)檢測(cè)效果

3 結(jié)束語(yǔ)

本文基于改進(jìn)的SSD目標(biāo)檢測(cè)算法進(jìn)行智慧教室學(xué)生課堂行為狀態(tài)的識(shí)別，根據(jù)自制的學(xué)生行為狀態(tài)數(shù)據(jù)集重新設(shè)置候選框比例和分布，增大訓(xùn)練時(shí)的匹配度，并引入Focal loss調(diào)節(jié)訓(xùn)練時(shí)數(shù)據(jù)類(lèi)別及正負(fù)樣本的不平衡，以此減小訓(xùn)練時(shí)的誤差，提高生成網(wǎng)絡(luò)模型的準(zhǔn)確率，實(shí)現(xiàn)了在不降低 SSD 檢測(cè)效率的同時(shí)提高檢測(cè)精度，實(shí)時(shí)并準(zhǔn)確檢測(cè)學(xué)生聽(tīng)講、寫(xiě)字、睡覺(jué)、回答、舉手5種動(dòng)作，識(shí)別準(zhǔn)確率達(dá)到95.4%。需要指出的是，盡管目前改進(jìn)算法對(duì)于特征明顯的行為狀態(tài)識(shí)別準(zhǔn)確率很高，但在實(shí)際應(yīng)用環(huán)境中對(duì)于特征復(fù)雜或狀態(tài)組合的學(xué)生行為識(shí)別準(zhǔn)確率有待進(jìn)一步研究。另外，在后續(xù)的研究中除了可以得到學(xué)生課堂動(dòng)作的類(lèi)別，還可以將定位的學(xué)生位置坐標(biāo)信息與人臉識(shí)別結(jié)合，實(shí)現(xiàn)智慧教室中學(xué)生身份識(shí)別與其上課行為狀態(tài)的一一對(duì)應(yīng)。