席 倩, 謝忠沂, 孫超群, 安夢生, 吳克力

(淮陰師范學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 江蘇 淮安 223300)

0 引言

隨著社會(huì)的不斷發(fā)展和進(jìn)步,人工智能技術(shù)已經(jīng)成為新一輪經(jīng)濟(jì)發(fā)展的重要驅(qū)動(dòng)和社會(huì)創(chuàng)新的核心競爭力[1]．?dāng)?shù)字化教育裝備普及率日益升高,在新課標(biāo)教育教學(xué)理念下,過去的教育教學(xué)模式已不適應(yīng)學(xué)生的發(fā)展,教師還是原來的老一套傳統(tǒng)教學(xué)模式更不適應(yīng)現(xiàn)代教育教學(xué)的要求和需要,教師必須轉(zhuǎn)變教育教學(xué)觀念,不斷更新教育教學(xué)理念,在這樣的大時(shí)代下,一種新型的教育形式——“智慧教室”應(yīng)運(yùn)而生[2]．智慧教室作為一種典型的智慧學(xué)習(xí)環(huán)境,是在物聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)等新興信息技術(shù)推動(dòng)下而誕生的,是數(shù)字化教育發(fā)展到一定階段的內(nèi)在訴求[3]．

1 系統(tǒng)需求分析

1) 注冊(cè)功能[4]:利用人臉識(shí)別系統(tǒng)對(duì)用戶照片進(jìn)行采集,成功注冊(cè)后系統(tǒng)將所采集的照片轉(zhuǎn)化為對(duì)應(yīng)的人臉特征值存入CSV文件中,并將該特征值與用戶注冊(cè)姓名進(jìn)行綁定．

2) 登陸功能:調(diào)用人臉識(shí)別系統(tǒng)獲取用戶人臉特征值,并與注冊(cè)時(shí)所存儲(chǔ)在CSV文件中的特征值進(jìn)行匹配,若匹配成功則進(jìn)入操控界面．

3) 軟件控制功能:使用語音完成對(duì)Word、Excel和PowerPoint文件的新建、打開和刪除;實(shí)現(xiàn)語音控制PowerPoint的放映、翻頁和結(jié)束放映．

4) 硬件控制功能:通過語音控制燈泡和空調(diào)的開關(guān),并調(diào)節(jié)空調(diào)的溫度．

2 系統(tǒng)設(shè)計(jì)

2.1 系統(tǒng)結(jié)構(gòu)設(shè)計(jì)

本系統(tǒng)利用了PyQT5框架進(jìn)行設(shè)計(jì),首先是注冊(cè)和登陸頁面．由于本系統(tǒng)所面向的對(duì)象是所有的教師員工,不是每個(gè)人都可以隨意使用的,因此為了加強(qiáng)安全性,引用了人臉識(shí)別系統(tǒng)作為用戶登陸的唯一途徑;在考慮到該系統(tǒng)主要的目的是為了教學(xué),并且現(xiàn)在部分教師年齡偏大,因此本系統(tǒng)的使用界面設(shè)計(jì)非常簡便,只有一個(gè)語音識(shí)別的窗口;另外為了讓用戶能夠更快、更加熟練地掌握此系統(tǒng),在控制界面中設(shè)計(jì)了使用說明,該說明書中詳細(xì)介紹了系統(tǒng)的使用方法及操作流程．

2.2 系統(tǒng)功能設(shè)計(jì)

2.2.1 人臉識(shí)別技術(shù)

本系統(tǒng)通過現(xiàn)場拍攝的途徑獲取注冊(cè)用戶的面部圖片,檢測人臉并采集用戶的面部信息,提取人臉特征進(jìn)行量化處理,再將特征值存入在CSV文件中,在用戶登陸時(shí)與存儲(chǔ)的特征值進(jìn)行匹配,實(shí)現(xiàn)登陸功能．具體實(shí)現(xiàn)的技術(shù)流程如圖1所示．

圖1 技術(shù)流程

人臉特征標(biāo)記[5]及人臉特征提取:本系統(tǒng)使用landmark進(jìn)行人臉標(biāo)記,landmark是一直運(yùn)用于人臉特征點(diǎn)提取的技術(shù)．通過調(diào)用Dlib庫中的shape-predictor-68-face-landmarks.dat對(duì)人臉的68個(gè)特征點(diǎn)進(jìn)行檢測,使用Dlib庫提供的深度殘差神經(jīng)網(wǎng)絡(luò)ResNet(Residual Network)輸出128個(gè)特征向量,并利用已經(jīng)訓(xùn)練好的模型獲取特征向量后,使用歐氏距離與本地的人臉特征進(jìn)行匹配,最終返回樣本的信息[6]．人臉68特征點(diǎn)標(biāo)記變化如圖2所示．人臉特征提取其工作原理如圖3所示．

圖2 人臉68特征點(diǎn)標(biāo)記變化

圖3 人臉特征值提取工作原理

2.2.2 語音控制功能

本系統(tǒng)的語音系統(tǒng)負(fù)責(zé)將用戶輸入的語音轉(zhuǎn)化為可識(shí)別的字符串．采用模式識(shí)別作為基本框架,分為預(yù)處理、特征提取、模式匹配及測試應(yīng)用4個(gè)部分[7]．語音識(shí)別原理如圖4所示．

圖4 語音識(shí)別原理

訊飛接口調(diào)用[8]:集成訊飛的SDK文件,利用一種名為前饋型序列記憶網(wǎng)絡(luò)(Feed-forward Sequential Memory Network)的新框架,簡稱為FSMN,將多個(gè)技術(shù)點(diǎn)進(jìn)行融合,同時(shí)可以使各個(gè)技術(shù)的效果進(jìn)行一個(gè)有效的疊加．值得一提的是,FSMN采用非循環(huán)的前饋結(jié)構(gòu),只需要180 ms延遲,就達(dá)到了和雙向循環(huán)神經(jīng)網(wǎng)絡(luò)RNN(Recurrent Neural Network)相當(dāng)?shù)男Ч?從而實(shí)現(xiàn)了本系統(tǒng)對(duì)于語音識(shí)別功能的應(yīng)用．

基于系統(tǒng)的用戶面向范圍廣,地域性強(qiáng),課堂環(huán)境復(fù)雜的情況,對(duì)于語音識(shí)別模塊的語音識(shí)別測試,本系統(tǒng)利用普通話、方言在低音環(huán)境、正常環(huán)境、噪音環(huán)境分別進(jìn)行了測試,得出結(jié)論對(duì)于所有的環(huán)境語音識(shí)別的準(zhǔn)確率可以達(dá)到75%以上．語音識(shí)別結(jié)果正確率情況如表1所示．

表1 語音識(shí)別識(shí)別結(jié)果正確率

2.2.3 軟件控制功能

該功能主要是完成用戶對(duì)系統(tǒng)內(nèi)部軟件功能的操控．首先是獲取用戶的命令,這一步需要先從語音模塊接收用戶提出的命令,并利用代碼檢索出可以執(zhí)行的操作語句,該功能通過引入Python中的OS標(biāo)準(zhǔn)庫完成實(shí)現(xiàn)．同樣對(duì)于網(wǎng)站和常用應(yīng)用的打開,這個(gè)功能也需要檢索命令的關(guān)鍵字,但是和上面功能有所不同,該功能需要利Python中內(nèi)置的Web Browser庫接收該應(yīng)用的路徑或網(wǎng)頁的網(wǎng)址執(zhí)行打開命令．

2.2.4 硬件控制模塊

該模塊實(shí)現(xiàn)了用戶對(duì)硬件的操控,此模塊主要是通過導(dǎo)線連接和紅外設(shè)備兩個(gè)方面完成對(duì)硬件的控制．因?yàn)閷?dǎo)線連接和紅外設(shè)備兩個(gè)方面的完成都離不開樹莓派[4],而用戶利用語音控制硬件的功能也同樣離不開軟件部分,因此對(duì)于硬件操控核心是將樹莓派與軟件部分進(jìn)行一個(gè)遠(yuǎn)程交互．對(duì)于語音控制教室燈光的功能,利用小燈泡進(jìn)行了模擬,首先將小燈泡的正極通過導(dǎo)線連接到樹莓派的引腳,將小燈泡的負(fù)極接地,然后在樹莓派內(nèi)使用Python代碼控制樹莓派的引腳,并通過Paramiko庫的功能連接樹莓派和該系統(tǒng),然后調(diào)用系統(tǒng)控制燈泡的命令實(shí)現(xiàn)對(duì)小燈泡的控制．第二功能是對(duì)教室空調(diào)、投影等紅外硬件的控制,本系統(tǒng)以宿舍空調(diào)為例實(shí)現(xiàn)了該功能.首先連接樹莓派,之后在樹莓派內(nèi)通過Linux系統(tǒng)添加了lirc紅外模塊,并在Linux系統(tǒng)內(nèi)打開樹莓派對(duì)于紅外模塊的使用權(quán)限,然后把型號(hào)為HS0038B的紅外接收管接入樹莓派的17引腳,將型號(hào)為940N的紅外發(fā)射管連接到樹莓派的18引腳,此時(shí)對(duì)于硬件的連接已完成．樹莓派的連接如圖5所示．

接下來是對(duì)于紅外模塊的內(nèi)部操作,這一步通過紅外接收和紅外發(fā)射兩個(gè)部分來實(shí)現(xiàn)．第一部分是對(duì)于紅外接收功能的實(shí)現(xiàn),本系統(tǒng)通過調(diào)用Linux系統(tǒng),打開lirc紅外模塊的內(nèi)部文件,將紅外模塊設(shè)置為接收狀態(tài),此時(shí)樹莓派就可以接收紅外信號(hào),本系統(tǒng)中采集了宿舍空調(diào)的多種紅外信號(hào),并把這些數(shù)據(jù)按照格式編排,定義為了4個(gè)功能模塊．第二部分是紅外發(fā)射模塊,通過調(diào)用Linux系統(tǒng),將紅外模塊設(shè)置為發(fā)射狀態(tài),根據(jù)用戶的命令,發(fā)射對(duì)應(yīng)的功能按鈕．例如:當(dāng)用戶發(fā)出“打開空調(diào)”命令時(shí),系統(tǒng)先進(jìn)入“打開”的功能模塊,然后當(dāng)檢索到“空調(diào)”時(shí)發(fā)現(xiàn)功能與用戶提出的要求相匹配,從而進(jìn)入空調(diào)的功能頁面,調(diào)用樹莓派Linux系統(tǒng)內(nèi)編寫好的打開空調(diào)功能模塊,實(shí)現(xiàn)打開空調(diào)的功能,對(duì)于其他有關(guān)于空調(diào)的功能實(shí)現(xiàn)也是使用相同的方法．基于整個(gè)紅外模塊的流程,理論上本系統(tǒng)可以完成對(duì)所有紅外硬件的控制．

3 系統(tǒng)實(shí)現(xiàn)

本系統(tǒng)實(shí)現(xiàn)了對(duì)教室中軟硬件設(shè)施基本的控制,如通過語音識(shí)別來新建工作文檔、打開或者關(guān)閉教室中的硬件設(shè)備以及基礎(chǔ)的用戶人臉登陸等功能．本系統(tǒng)使用樹莓派串接的LED小燈泡模擬教室燈光,利用宿舍空調(diào)模擬了教室空調(diào)．主要的實(shí)現(xiàn)步驟如下:

1) 用戶通過人臉識(shí)別來進(jìn)行注冊(cè)和登陸;

2) 進(jìn)入系統(tǒng)后,點(diǎn)擊on按鈕;

3) 用戶可以通過語音來控制電腦中的軟件以及教室中的硬件設(shè)備;

4) 點(diǎn)擊off按鈕則是關(guān)閉語音識(shí)別;

5) 系統(tǒng)連接樹莓派進(jìn)行模擬,樹莓派上LED燈的開關(guān)代表教室燈光設(shè)備的狀態(tài),宿舍空調(diào)的不同模式模擬了教室空調(diào)的不同模式．

系統(tǒng)功能如圖6所示．

圖6 系統(tǒng)功能實(shí)現(xiàn)圖

4 結(jié)束語

基于人臉與語音識(shí)別的智慧教室控制系統(tǒng)是以PyQT5為基礎(chǔ),融合了人臉識(shí)別、語音識(shí)別、遠(yuǎn)程控制和嵌入式等多個(gè)模塊來搭建的系統(tǒng),已適應(yīng)當(dāng)前的新課標(biāo)教育教學(xué)理念．較傳統(tǒng)的教育教學(xué)理念而言,本系統(tǒng)有助于提高教學(xué)的工作效率．在應(yīng)用功能方面,由于系統(tǒng)運(yùn)用了單獨(dú)的功能文件控制,因而在未來對(duì)于應(yīng)用功能的開發(fā)還具有無限的可能性．