鄧嘉明,張志鵬,潘熙婷

(1.嘉應(yīng)學(xué)院 信息網(wǎng)絡(luò)中心，廣東 梅州 514015;2.嘉應(yīng)學(xué)院 計(jì)算機(jī)學(xué)院，廣東 梅州 514015)

隨著科技的發(fā)展，人臉識(shí)別已經(jīng)成為身份驗(yàn)證的快捷有效的方法之一，被廣泛應(yīng)用于公安、銀行、安檢等各行各業(yè)中.在高校校園管理中，學(xué)生管理工作是一項(xiàng)非常重要的工作，包含了課堂學(xué)習(xí)、課外學(xué)習(xí)、校園生活、娛樂等多維度管理[1].其中，學(xué)生晚間歸寢情況、晨練情況、上課出勤情況的統(tǒng)計(jì)與管理又是學(xué)生管理工作中的一個(gè)重要部分，既是維護(hù)學(xué)校正常秩序，也涉及學(xué)生人身安全.目前，學(xué)校對(duì)學(xué)生晚間歸寢情況、晨練情況、上課出勤情況的統(tǒng)計(jì)基本上都是依靠人工去查詢.隨著學(xué)校學(xué)生規(guī)模的擴(kuò)大，學(xué)生晚間歸寢、晨練、上課出勤的管理工作所涉及的數(shù)據(jù)量越來越大，任務(wù)也越來越重.采用人工點(diǎn)名這種方式存在著效率低、易出錯(cuò)、統(tǒng)計(jì)繁瑣、對(duì)學(xué)校的管理提供決策信息較為困難等缺點(diǎn).將人臉識(shí)別技術(shù)結(jié)合智慧校園建設(shè)，建立基于人臉識(shí)別的智慧校園學(xué)生行為管理系統(tǒng)成為解決上述問題的可行途徑.

1 智慧校園建設(shè)

1.1 智慧校園應(yīng)用系統(tǒng)建設(shè)

近幾年，各高校都進(jìn)行了數(shù)字化校園建設(shè)，建立了面向各個(gè)行政部門的應(yīng)用管理系統(tǒng)，包括教務(wù)、學(xué)生工作、人事、后勤，等等.這類管理系統(tǒng)多以流程引擎為主，以解決審批流程為主，在事項(xiàng)處理上需要人工進(jìn)行數(shù)據(jù)錄入[2].以學(xué)工系統(tǒng)中的宿舍管理為例，目前的宿舍管理是根據(jù)學(xué)生全周期管理的思路，從學(xué)生入學(xué)分配宿舍開始，進(jìn)校后的學(xué)生宿舍評(píng)比、宿舍調(diào)整，到離校宿舍退房的管理.這些管理中多為辦事流程管理，而真正需要日常管理的學(xué)生宿舍點(diǎn)名，僅由輔導(dǎo)員或?qū)W生干部線下點(diǎn)名后，將情況錄入系統(tǒng).而這些錄入系統(tǒng)的數(shù)據(jù)正是智慧校園中越來越需要的數(shù)據(jù)，日常學(xué)生行為管理和年度的綜合測評(píng)、評(píng)獎(jiǎng)評(píng)優(yōu)都要用到.這些數(shù)據(jù)通過人工線下點(diǎn)名后錄入，采集方式相當(dāng)不便，已經(jīng)成為智慧校園建設(shè)的一個(gè)大問題.為了能方便、快捷地采集學(xué)生日常行為數(shù)據(jù)，國內(nèi)部分高校已經(jīng)利用一卡通進(jìn)行了門禁管理，這種門禁管理需要學(xué)生主動(dòng)刷卡，存在管理上的漏洞[3]；一些國外高校也提出了用物聯(lián)網(wǎng)傳感器來解決，但是這會(huì)增加建設(shè)成本.本文基于人臉識(shí)別技術(shù)具有的“人臉無法替代”、非侵犯性的特性，探討了結(jié)合人臉識(shí)別技術(shù)來對(duì)學(xué)生行為進(jìn)行管理，通過這種方式不僅可以解決一些管理上的漏洞，應(yīng)用部署起來也簡單，而且基本可以實(shí)現(xiàn)“無感知”認(rèn)證，這在學(xué)生日常管理中是非常重要的[4].

1.2 智慧校園學(xué)生行為管理需求

智慧校園在原有學(xué)工管理系統(tǒng)的基礎(chǔ)上，設(shè)計(jì)一套用于管理學(xué)生晚間歸寢、晨練、上課考勤的系統(tǒng).通過人臉識(shí)別終端將實(shí)時(shí)識(shí)別結(jié)果利用校園網(wǎng)傳到系統(tǒng)數(shù)據(jù)庫中，各類管理用戶可通過Web頁面終端或手機(jī)App終端查看學(xué)生的實(shí)時(shí)簽到情況.

系統(tǒng)功能性需求包括：人臉識(shí)別功能、軌跡管理功能、業(yè)務(wù)管理功能、系統(tǒng)對(duì)接功能、角色管理功能.人臉識(shí)別功能是通過開發(fā)兩種識(shí)別終端，一種是帶顯示屏反饋信息的簽到機(jī)，另一種是槍式或球式的視頻監(jiān)控?cái)z像機(jī)，簽到機(jī)內(nèi)置人臉識(shí)別引擎僅將識(shí)別結(jié)果傳回，攝像機(jī)將視頻流傳回后端利用云平臺(tái)的識(shí)別節(jié)點(diǎn)識(shí)別；軌跡管理功能是實(shí)現(xiàn)教學(xué)樓、宿舍樓、校園主干道的視頻監(jiān)控的人臉識(shí)別，通過將識(shí)別結(jié)果反饋到系統(tǒng)，系統(tǒng)通過每個(gè)視頻監(jiān)控地址所綁定的地址信息形成學(xué)生行為軌跡.業(yè)務(wù)管理功能是實(shí)現(xiàn)可查詢每個(gè)學(xué)生當(dāng)前的軌跡情況、每個(gè)宿舍樓的當(dāng)前宿舍人數(shù)、每個(gè)學(xué)生的歸寢、晨練、上課考勤情況等，實(shí)現(xiàn)異常情況自動(dòng)報(bào)警.系統(tǒng)對(duì)接功能包括與教務(wù)系統(tǒng)、學(xué)工系統(tǒng)對(duì)接，包括學(xué)生的基本信息、學(xué)生的宿舍安排信息、上課安排信息、考勤信息等，能實(shí)現(xiàn)數(shù)據(jù)交換共享.角色管理包括形成多維度的角色：按宿舍樓分的宿舍管理員角色，按學(xué)院和班級(jí)分的輔導(dǎo)員、班主任角色，按區(qū)域分的保衛(wèi)處管理員角色，按數(shù)據(jù)分的系統(tǒng)管理員角色.

系統(tǒng)性能需求包括：監(jiān)控識(shí)別速度小于1 s，達(dá)到無障礙識(shí)別；同時(shí)識(shí)別目標(biāo)達(dá)到一個(gè)畫面內(nèi)最多12個(gè)，效果最優(yōu)為1～3個(gè)；識(shí)別準(zhǔn)確率達(dá)到在一人多圖庫包支持下準(zhǔn)確率大于95%，樣本人數(shù)支持20 000人.人臉識(shí)別需要保證準(zhǔn)確率和實(shí)時(shí)性，基本達(dá)到無感知、無障礙識(shí)別.

2 智慧校園學(xué)生行為管理平臺(tái)架構(gòu)

圖1 平臺(tái)物理架構(gòu)拓?fù)鋱D

2.1 平臺(tái)物理架構(gòu)拓?fù)?/h3>

整體系統(tǒng)為云架構(gòu)模式，所有計(jì)算節(jié)點(diǎn)、服務(wù)節(jié)點(diǎn)在中心機(jī)房架設(shè)，攝像頭、攝像槍和前置機(jī)通過校園網(wǎng)專網(wǎng)進(jìn)行連接.前端終端包括了采集設(shè)備的攝像頭、攝像槍和前置機(jī)攝像頭，通過POE供電交換機(jī)直接連到各樓層交換機(jī)，經(jīng)核心交換機(jī)、機(jī)房交換機(jī)到服務(wù)器群中.所有計(jì)算節(jié)點(diǎn)、服務(wù)節(jié)點(diǎn)架設(shè)在服務(wù)器和存儲(chǔ)的虛擬集群上，根據(jù)計(jì)算需求不同可以擴(kuò)展配置.這種物理架構(gòu)拓?fù)淇蓴U(kuò)展性強(qiáng)，可以分期分批實(shí)施上線，平臺(tái)物理架構(gòu)拓?fù)鋱D如圖1所示.

2.2 平臺(tái)整體架構(gòu)系統(tǒng)設(shè)計(jì)

通過頂層設(shè)計(jì)構(gòu)建應(yīng)用于全校的人臉識(shí)別管理平臺(tái)，統(tǒng)一進(jìn)行人臉庫、識(shí)別結(jié)果和設(shè)備的管理，便于數(shù)據(jù)的收集、分析和應(yīng)用.系統(tǒng)總體框架圖2所示.

硬件層：包括骨干網(wǎng)絡(luò)、POE網(wǎng)絡(luò)完成組網(wǎng)，連接后端的云平臺(tái)和前端的攝像頭和物聯(lián)網(wǎng)設(shè)備.

接口層：主要是不同設(shè)備、不同系統(tǒng)的數(shù)據(jù)傳輸接口，既包括了硬件設(shè)備調(diào)用的協(xié)議接口，如RTSP協(xié)議接口等，又包括了計(jì)算數(shù)據(jù)所規(guī)劃的接口，還包括了一些外部應(yīng)用調(diào)用接口等.目標(biāo)主要接口包括空間定位、網(wǎng)絡(luò)傳輸、計(jì)算節(jié)點(diǎn)、物聯(lián)網(wǎng)設(shè)備、視頻傳輸.

平臺(tái)層：包括虛擬集群、操作系統(tǒng)等系統(tǒng)平臺(tái)、應(yīng)用環(huán)境等應(yīng)用平臺(tái)和計(jì)算節(jié)點(diǎn)等.

數(shù)據(jù)層：為了方便后期開發(fā)，將所有數(shù)據(jù)進(jìn)行匯總，包括應(yīng)用系統(tǒng)所涉及的應(yīng)用數(shù)據(jù)、計(jì)算節(jié)點(diǎn)輸出的相關(guān)計(jì)算數(shù)據(jù)以及空間定位數(shù)據(jù)等.

應(yīng)用層：通過對(duì)數(shù)據(jù)進(jìn)行應(yīng)用管理，主要包括事務(wù)管理、識(shí)別計(jì)算、報(bào)警管理、人員管理和權(quán)限管理等.

呈現(xiàn)層：按照不同需求分別包括了Web端、App端、大屏展示、地圖展示等.

安全體系：網(wǎng)絡(luò)信息安全相關(guān)事項(xiàng)包括軟件層面的權(quán)限管理、密碼加密管理等和硬件層面的網(wǎng)絡(luò)安全管理、鏈路路由管理等.

標(biāo)準(zhǔn)體系：本次建設(shè)需要與數(shù)字化校園對(duì)接，相關(guān)接口規(guī)劃、數(shù)據(jù)規(guī)劃都應(yīng)符合數(shù)字化校園建設(shè)相關(guān)標(biāo)準(zhǔn)體系.

1.1 對(duì)象 選取2010年4—6月在我院門診就診的50例老年性癡呆患者的照顧者，其中男20例，女30例;年齡:60歲以下28例，≥60歲22例;平均年齡(56.9±4.4)歲。文化程度:初中及以下11例，高中以上39例。與患者關(guān)系:兄弟姐妹9例，配偶16例，子女25例。患者病程:＜2年19例，≥2年21例。本組患者均符合CCMD-3老年性癡呆診斷標(biāo)準(zhǔn);照顧者均是與患者共同生活1年以上的直系親屬，并承擔(dān)患者的主要照料責(zé)任;照顧者均簽署知情同意書，排除嚴(yán)重軀體疾病、精神疾患。

3 智慧校園學(xué)生行為管理平臺(tái)算法引擎

3.1 人臉識(shí)別流程設(shè)計(jì)

目前國內(nèi)外領(lǐng)先的人臉識(shí)別技術(shù)已經(jīng)較為成熟，多數(shù)算法都是通過辨別人臉圖像中的五官特征進(jìn)行判斷，主要包括主成分特征分析方法、BP神經(jīng)網(wǎng)絡(luò)識(shí)別方法，以及Gabor和LBP等特征提取方法等[5].綜合幾種算法后，完成了人臉識(shí)別流程設(shè)計(jì)，流程如下：

(1)進(jìn)行人臉偵測采集.識(shí)別開始后系統(tǒng)通過調(diào)取監(jiān)控設(shè)備獲取圖像進(jìn)行初步分析，偵測當(dāng)前幀畫面圖像中是否有人臉，若存在人臉則定位到較為清晰的位置抓取帶有人臉部分圖像.

(2)進(jìn)行檢測人臉.對(duì)于當(dāng)前幀畫面圖像，設(shè)定相關(guān)策略搜索分析是否存在此人臉，若檢測到存在人臉則識(shí)別人臉輪廓、五官和位置等關(guān)鍵位置，將這些關(guān)鍵位置信息按設(shè)定的算法策略進(jìn)行提取，通過算法策略提取出如結(jié)構(gòu)特征、直方圖特征、模板特征及Haar-Like特征信息[6].

(3)進(jìn)行圖像預(yù)處理.將人臉檢測的特征數(shù)據(jù)進(jìn)行預(yù)處理，消除監(jiān)控畫面中環(huán)境光線、角度、姿態(tài)等干擾因素影響，降低噪聲并將人臉特征明顯地表現(xiàn)出來，常用的算法有光線補(bǔ)償、平滑濾波、圖像二值化、均衡直方圖等[7].

(4)進(jìn)行特征信息提取.在預(yù)處理強(qiáng)化特征后，提取人臉位置、輪廓形狀等信息，標(biāo)記圖像中的五官特征信息，將這些特征信息描述為數(shù)值和向量.

3.2 人臉識(shí)別引擎模塊實(shí)現(xiàn)

根據(jù)以上人臉識(shí)別流程，設(shè)計(jì)的平臺(tái)人臉識(shí)別引擎功能模塊包括了圖像預(yù)處理模塊、人臉檢測與跟蹤模塊、特征碼提取與人臉比對(duì)模塊.

圖像預(yù)處理模塊：這種“無障礙”識(shí)別的監(jiān)控?cái)z像捕捉畫面多數(shù)為運(yùn)動(dòng)中的畫面，畫面圖像可能出現(xiàn)較模糊或者姿態(tài)變化幅度較大的問題.通過小波降噪建立人臉圖像的幾何模型，通過Gabor小波變換對(duì)像素集進(jìn)行濾波處理，獲取底層數(shù)據(jù)分布實(shí)現(xiàn)降噪，進(jìn)行姿態(tài)調(diào)整和模糊檢索，由此得到較高質(zhì)量的人臉圖像.

人臉檢測與跟蹤模塊：人臉檢測是指在視頻監(jiān)控的每一幀圖像中確定人臉位置，并識(shí)別人臉圖像區(qū)域大小.人臉跟蹤視頻監(jiān)控的是跟蹤連續(xù)圖像中被捕獲人臉的運(yùn)動(dòng).該模塊主要由人臉檢測和人臉跟蹤兩部分組成，采用當(dāng)前比較熱門的“積分圖特征計(jì)算+Adaboost+級(jí)聯(lián)”檢測方法.該方法中，積分圖特征計(jì)算較其他算法高效，其算法核心是將監(jiān)控圖像的每個(gè)像素遍歷一次形成積分圖，以此快速計(jì)算識(shí)別人臉特征；Adaboost算法可以將許多弱特征組合成更強(qiáng)的分類器；級(jí)聯(lián)可以快速過濾掉多余的背景[8].首先，模塊開始檢測視頻監(jiān)控第一幀中的人臉圖像，定位人臉后鎖定信號(hào)發(fā)送到跟蹤模塊.跟蹤模塊從鎖定的人臉中提取參考特征，開始人臉跟蹤.如果跟蹤失鎖，則向檢測模塊發(fā)出失鎖信號(hào)，重新啟動(dòng)檢測模塊，啟動(dòng)新的檢測跟蹤過程，增加特征提取的效率，可提高識(shí)別的速度和準(zhǔn)確率.

特征碼提取與人臉比對(duì)模塊：在人臉檢測與跟蹤后，模塊采用深度學(xué)習(xí)進(jìn)行正面人臉重構(gòu).算法含三個(gè)卷積層，其中前兩層采取最大池化，最后一層采用全連接，不同通道采用不同權(quán)值，由此分類辨識(shí)出更好的特征[9].通過提取5個(gè)人臉中的面部關(guān)鍵特征點(diǎn)生成人臉區(qū)域特征，利用人臉區(qū)域特征進(jìn)行訓(xùn)練，將多個(gè)人臉區(qū)域特征級(jí)聯(lián)形成整體特征，使用PCA降維和利用SVM進(jìn)行分類，以此來重構(gòu)正臉[10].

3.3 系統(tǒng)集成與平臺(tái)測試

系統(tǒng)集成包括了B/S架構(gòu)管理系統(tǒng)與C/S架構(gòu)識(shí)別引擎的集成、前端設(shè)備與計(jì)算節(jié)點(diǎn)、后端應(yīng)用服務(wù)器的集成，集成方式如圖3所示.通過應(yīng)用服務(wù)器下達(dá)人臉識(shí)別任務(wù)列表數(shù)據(jù)到前置機(jī)和計(jì)算節(jié)點(diǎn)，前置機(jī)和計(jì)算節(jié)點(diǎn)從版本服務(wù)器獲取最新的算法庫包和人臉庫包.開始識(shí)別任務(wù)時(shí)，從監(jiān)控?cái)z像頭或前置機(jī)集成攝像頭獲取視頻流進(jìn)行識(shí)別，實(shí)時(shí)反饋?zhàn)R別信息，并將無法識(shí)別的信息提交給二次識(shí)別的計(jì)算節(jié)點(diǎn).二次識(shí)別通過在硬盤錄像機(jī)中調(diào)用視頻片段，進(jìn)行二次識(shí)別，二次反饋?zhàn)R別信息，此處二次識(shí)別的原因是為了保證識(shí)別速度.單臺(tái)節(jié)點(diǎn)機(jī)器是對(duì)應(yīng)識(shí)別任務(wù)下達(dá)的人臉特征庫包，如一號(hào)宿舍樓識(shí)別終端僅啟用一號(hào)樓學(xué)生人臉特征庫包，如出現(xiàn)無法識(shí)別，則返回二次識(shí)別節(jié)點(diǎn)識(shí)別全校庫包.定期將識(shí)別成功的圖像進(jìn)行反饋，更新到版本服務(wù)器中.系統(tǒng)集成后可在一體機(jī)中完成識(shí)別提示，前置一體機(jī)運(yùn)行狀況圖4所示.

圖3 系統(tǒng)集成圖

圖4 前置機(jī)運(yùn)行狀況圖

通過系統(tǒng)集成后，前端簽到機(jī)采用的一體機(jī)雙核主頻大于3.0 GHz的CPU，8 G內(nèi)存，計(jì)算節(jié)點(diǎn)采用云平臺(tái)虛擬機(jī)雙核8 G內(nèi)存.通過對(duì)學(xué)校一號(hào)宿舍樓2 000人樣本進(jìn)行測試，對(duì)某日夜晚11點(diǎn)歸寢簽到進(jìn)行測試，簽到速度小于1 s，識(shí)別成功率大于96%，二次識(shí)別后準(zhǔn)確率100%，基本實(shí)現(xiàn)無障礙、無感知.

4 智慧校園學(xué)生行為管理平臺(tái)應(yīng)用拓展

智慧校園已經(jīng)建設(shè)多年，此前各高校都投入大量人力物力建立統(tǒng)一數(shù)據(jù)平臺(tái)，而這些數(shù)據(jù)屬于各業(yè)務(wù)系統(tǒng)的運(yùn)行數(shù)據(jù)，多數(shù)為被動(dòng)填報(bào)的數(shù)據(jù).隨著智慧校園管理平臺(tái)的應(yīng)用拓展，更多的是需要人臉識(shí)別技術(shù)等各類主動(dòng)采集方法輔助.智慧校園學(xué)生行為管理平臺(tái)可以提供全方位無感知的采集.如在課堂管理中，以前僅僅通過學(xué)習(xí)成績、學(xué)生評(píng)教等方式進(jìn)行質(zhì)量監(jiān)控，而通過人臉識(shí)別除可以做到日常簽到外，還可實(shí)現(xiàn)課堂上教師、學(xué)生行為過程的監(jiān)控，檢測課堂內(nèi)授課時(shí)長、學(xué)生聽課狀態(tài)(是否睡覺、是否在低頭玩手機(jī))，將課堂行為還原成過程數(shù)據(jù)，結(jié)合教育學(xué)弗蘭德斯模型，分析教師授課時(shí)間、學(xué)生交流時(shí)間、互動(dòng)時(shí)間等，并引入學(xué)生成績、學(xué)生評(píng)教結(jié)果等數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析，可以更好地分析出課堂改革效果，為教務(wù)處、二級(jí)學(xué)院等提供決策數(shù)據(jù)，輔助教學(xué)質(zhì)量監(jiān)控.在學(xué)生管理中，此前的管理模式還是通過人工點(diǎn)名，這種方式耗時(shí)且不準(zhǔn)確，通過平臺(tái)可以實(shí)時(shí)獲取學(xué)生軌跡，及時(shí)、準(zhǔn)確、全面地掌握學(xué)生情況，可以應(yīng)對(duì)突發(fā)事件與公共危機(jī)，根據(jù)個(gè)人軌跡管理，可實(shí)現(xiàn)重點(diǎn)關(guān)注群體、孤僻人群預(yù)警、疑似失聯(lián)預(yù)警等功能，為學(xué)生管理提供決策輔助.結(jié)合智慧校園大數(shù)據(jù)學(xué)情分析、生活軌跡分析、服務(wù)分析，可以逐步形成學(xué)生數(shù)據(jù)畫像，可以分析其學(xué)情與生活的相關(guān)性，引導(dǎo)學(xué)生改善生活習(xí)慣，提高學(xué)業(yè)水平[11]，以此逐步實(shí)現(xiàn)更智慧的校園.