馮韶文 楊晨 黃良帥 鞏秀鋼
【摘要】目前,市場(chǎng)上訓(xùn)練青少年專(zhuān)注度的產(chǎn)品較少且功能單一,市場(chǎng)缺口已然很大。本研究突破了傳統(tǒng)訓(xùn)練方法的局限性,設(shè)計(jì)了一種基于腦電波的青少年專(zhuān)注度訓(xùn)練系統(tǒng)。本系統(tǒng)主要由腦電波模塊、圖像模塊、專(zhuān)注度訓(xùn)練模塊和云平臺(tái)構(gòu)成。首先使用腦電波模塊對(duì)訓(xùn)練者的專(zhuān)注度進(jìn)行監(jiān)測(cè),讓訓(xùn)練者與訓(xùn)練模塊進(jìn)行語(yǔ)音交互,配合圖像模塊的識(shí)別結(jié)果,分析訓(xùn)練者的興趣點(diǎn),然后使用網(wǎng)頁(yè)進(jìn)行興趣視頻實(shí)時(shí)切換,吸引訓(xùn)練者的注意力,從而提高訓(xùn)練者的專(zhuān)注度。訓(xùn)練結(jié)果表明:該專(zhuān)注度訓(xùn)練系統(tǒng)設(shè)計(jì)能夠?qū)崿F(xiàn)對(duì)青少年專(zhuān)注度的逐步提高,系統(tǒng)穩(wěn)定可靠,數(shù)據(jù)可視化便于觀察。本系統(tǒng)的應(yīng)用領(lǐng)域廣泛,為進(jìn)一步發(fā)展打下了基礎(chǔ)。
【關(guān)鍵詞】計(jì)算機(jī)應(yīng)用腦電波專(zhuān)注度訓(xùn)練圖像識(shí)別
引言
青少年教育是一個(gè)國(guó)家教育體系的基礎(chǔ)工作,怎樣培養(yǎng)一個(gè)性格樂(lè)觀向上、行為習(xí)慣良好、具備初步探索社會(huì)形態(tài)能力的下一代已經(jīng)成為國(guó)家戰(zhàn)略的有機(jī)組成部分[1]。而在青少年教育中,青少年專(zhuān)注度的高低直接影響青少年對(duì)外界的認(rèn)知能力,專(zhuān)注度差不僅會(huì)對(duì)青少年的日常生活有影響,還會(huì)影響青少年以后的學(xué)習(xí)生活,甚至對(duì)青少年的一生都有影響。因此訓(xùn)練并提高青少年專(zhuān)注度具有一定社會(huì)意義。現(xiàn)有專(zhuān)注度訓(xùn)練方法有很多,但普遍存在訓(xùn)練效果緩慢、效果不穩(wěn)固等缺陷。而隨著科學(xué)家對(duì)大腦的不斷研究,腦電波作為一種直接映射大腦內(nèi)部活動(dòng)狀態(tài)和人們思維狀態(tài)的生物電信號(hào),在神經(jīng)心理學(xué)、腦疾病診斷、腦機(jī)接口、認(rèn)知科學(xué)等領(lǐng)域中被廣泛運(yùn)用[2]。所以使用腦電波改善現(xiàn)有訓(xùn)練方法具有一定研究?jī)r(jià)值。
本文設(shè)計(jì)研發(fā)了一種基于腦電波的青少年專(zhuān)注度訓(xùn)練系統(tǒng),以益智性為出發(fā)點(diǎn),從興趣點(diǎn)入手對(duì)青少年進(jìn)行專(zhuān)注度訓(xùn)練,引導(dǎo)青少年在快樂(lè)中集中注意力。父母可以通過(guò)腦電波數(shù)據(jù)實(shí)時(shí)反饋了解到孩子的訓(xùn)練效果,便于與孩子更好的溝通。
1 系統(tǒng)整體設(shè)計(jì)方案
青少年專(zhuān)注度訓(xùn)練系統(tǒng)方案設(shè)計(jì)如圖1所示。系統(tǒng)主要由腦電波模塊、圖像模塊、專(zhuān)注度訓(xùn)練模塊和云平臺(tái)構(gòu)成。其中,腦電波模塊主要由腦電波傳感器Neurosky和ThinkGear芯片組成,通過(guò)采集訓(xùn)練者的原始腦電波信號(hào),用來(lái)計(jì)算訓(xùn)練者的專(zhuān)注度指數(shù),實(shí)現(xiàn)對(duì)整個(gè)訓(xùn)練過(guò)程的專(zhuān)注度監(jiān)測(cè);圖像模塊主要由樹(shù)莓派微處理器作為控制器,通過(guò)接受攝像頭采集的圖像信息,通過(guò)數(shù)據(jù)傳輸發(fā)送到服務(wù)器端,進(jìn)行機(jī)器視覺(jué)圖像識(shí)別;專(zhuān)注度訓(xùn)練模塊是由Arduino微處理器、語(yǔ)音識(shí)別模塊、語(yǔ)音合成模塊和上位機(jī)組成,訓(xùn)練模塊通過(guò)與訓(xùn)練者進(jìn)行語(yǔ)音交互,配合圖像模塊的識(shí)別結(jié)果,分析訓(xùn)練者的興趣點(diǎn),然后使用上位機(jī)進(jìn)行興趣視頻實(shí)時(shí)切換,吸引訓(xùn)練者的注意力,從而達(dá)到對(duì)訓(xùn)練者的專(zhuān)注度提高;云平臺(tái)主要由服務(wù)器和上位機(jī)網(wǎng)站構(gòu)成,通過(guò)記錄分析訓(xùn)練者的訓(xùn)練過(guò)程和結(jié)果,不斷迭代更新個(gè)性興趣矩陣,進(jìn)一步完善本訓(xùn)練系統(tǒng)。
2 系統(tǒng)硬件設(shè)計(jì)
2.1 腦電波模塊
本系統(tǒng)腦電波模塊是由腦電波傳感器和藍(lán)牙模塊組成。本模塊的主要功能是實(shí)現(xiàn)對(duì)整個(gè)訓(xùn)練過(guò)程的的專(zhuān)注度監(jiān)測(cè)。腦電波模塊使用的是neurosky腦電波傳感器,傳感器通過(guò)對(duì)訓(xùn)練者的原始腦電波數(shù)據(jù)進(jìn)行濾波去噪、頻譜分析,結(jié)合神念腦電算法[3],由不同頻率腦電波占比關(guān)系計(jì)算出eSense專(zhuān)注度指數(shù),不同類(lèi)型腦電波如圖2所示,表明訓(xùn)練者的專(zhuān)注度水平的強(qiáng)烈程度,從而作為本系統(tǒng)的專(zhuān)注度衡量指標(biāo)。為滿(mǎn)足高速率、低功率的數(shù)據(jù)傳輸,使用藍(lán)牙模塊建立無(wú)線連接,優(yōu)化了腦電波模塊和云平臺(tái)之間的數(shù)據(jù)交互,實(shí)現(xiàn)了信息傳遞。
2.2 圖像模塊
本系統(tǒng)的圖像模塊是由攝像頭和樹(shù)莓派微處理器組成。本模塊的主要功能是完成對(duì)訓(xùn)練過(guò)程所需的圖像信息采集及傳輸。攝像頭選用的是KS8A17AF高清800萬(wàn)像素?cái)z像頭模組,使用USB3.0數(shù)據(jù)傳輸,支持標(biāo)準(zhǔn)的UVC傳輸協(xié)議,分辨率高且反應(yīng)迅速。主控器采用的是樹(shù)莓派Raspberry Pi 4,是一款基于4核心64位ARM Cortex-A72 CPU的高性能微處理器,工作頻率高達(dá)1.5GHz,具有非常高的運(yùn)算能力和處理性能[4]。該處理器還具有千兆以太網(wǎng)接口、兩個(gè)USB 3.0和兩個(gè)USB 2.0接口,滿(mǎn)足系統(tǒng)低延遲、高速率的圖片流傳輸要求。當(dāng)收到服務(wù)器發(fā)送的拍照命令時(shí),樹(shù)莓派控制攝像頭進(jìn)行圖像采集,存儲(chǔ)并等待服務(wù)器響應(yīng),最后以圖片流的形式將圖像信息發(fā)送至服務(wù)器端。
2.3 專(zhuān)注度訓(xùn)練模塊
本系統(tǒng)的專(zhuān)注度訓(xùn)練模塊由語(yǔ)音識(shí)別模塊、Arduino單片機(jī)和語(yǔ)音合成模塊組成。本模塊的主要功能是通過(guò)青少年與訓(xùn)練系統(tǒng)之間簡(jiǎn)單的語(yǔ)音交互,從而進(jìn)一步控制圖像采集、興趣分析和視頻切換等功能,實(shí)現(xiàn)專(zhuān)注度持續(xù)訓(xùn)練。語(yǔ)音識(shí)別模塊采用的是基于SI-ASR技術(shù)的LD3320芯片,集成了高精度A/D和D/A接口,不需要用戶(hù)進(jìn)行錄音訓(xùn)練,可動(dòng)態(tài)編輯識(shí)別關(guān)鍵詞列表[5]。本模塊的主控器采用的是Arduino單片機(jī),具有豐富的接口和片上資源,支持多種串口通信協(xié)議,搭配Wifi模塊,可快速傳輸和響應(yīng)操作命令。語(yǔ)音合成模塊使用的是XFS5152C芯片,使用簡(jiǎn)單的文本命令便可以自動(dòng)合成語(yǔ)音,操作便捷靈活。
具體實(shí)現(xiàn)流程如圖3所示,當(dāng)訓(xùn)練者與訓(xùn)練模塊進(jìn)行語(yǔ)音交互時(shí),語(yǔ)音識(shí)別模塊將接受的語(yǔ)音信息進(jìn)行預(yù)處理和特征向量轉(zhuǎn)化,通過(guò)Arduino將語(yǔ)音數(shù)據(jù)處理為文本標(biāo)簽,經(jīng)Wifi模塊將數(shù)據(jù)發(fā)送到服務(wù)器。等待服務(wù)器對(duì)數(shù)據(jù)做出響應(yīng)之后,Arduino將接受的答復(fù)命令發(fā)送給語(yǔ)音合成模塊,完成語(yǔ)音播報(bào)。同時(shí),服務(wù)器根據(jù)語(yǔ)音信號(hào)和采集的圖像信號(hào),進(jìn)行興趣分析,實(shí)時(shí)視頻切換,吸引訓(xùn)練者注意力,從而達(dá)到專(zhuān)注度訓(xùn)練。
3 系統(tǒng)軟件設(shè)計(jì)
本訓(xùn)練系統(tǒng)的軟件設(shè)計(jì)主要包括基于腦電波的專(zhuān)注度監(jiān)測(cè)、基于機(jī)器視覺(jué)的目標(biāo)檢測(cè)算法、平臺(tái)網(wǎng)頁(yè)設(shè)計(jì)3部分。接下來(lái),將分別介紹每一部分的設(shè)計(jì)。
3.1 基于腦電波的專(zhuān)注度監(jiān)測(cè)
為實(shí)現(xiàn)對(duì)整個(gè)訓(xùn)練過(guò)程的的專(zhuān)注度監(jiān)測(cè),設(shè)計(jì)了基于腦電波的專(zhuān)注度監(jiān)測(cè),青少年在專(zhuān)注度訓(xùn)練期間一直佩戴腦電波模塊,采集訓(xùn)練者的原始腦電波信號(hào)。首先對(duì)采集的腦電波信號(hào)進(jìn)行預(yù)處理,使用ICA算法[6]進(jìn)行偽跡去除,減少周?chē)h(huán)境的噪聲干擾。然后對(duì)腦電波信號(hào)進(jìn)行頻段劃分,按照不同頻率范圍提取Delta、Theta、Alpha、Beta、Gamma波段。之后使用NeuroSky公司的eSense腦電算法進(jìn)行信號(hào)分類(lèi),由不同頻率腦電波占比關(guān)系計(jì)算出eSense專(zhuān)注度指數(shù),作為本系統(tǒng)的專(zhuān)注度訓(xùn)練衡量指標(biāo),并在Web端實(shí)時(shí)顯示。
3.2 基于機(jī)器視覺(jué)的目標(biāo)檢測(cè)算法
3.2.1 RetinaNet算法
為了利用攝像頭進(jìn)行目標(biāo)檢測(cè),達(dá)到物品種類(lèi)識(shí)別以及后期興趣分析的目的,在這里設(shè)計(jì)了基于機(jī)器視覺(jué)的目標(biāo)檢測(cè)算法,選取了RetinaNet網(wǎng)絡(luò)進(jìn)行圖像識(shí)別。RetinaNet是在深度殘差網(wǎng)絡(luò)(Deep Residual Network,ResNet)的基礎(chǔ)上進(jìn)行改進(jìn),增加了一層特征金字塔網(wǎng)絡(luò)(Feature Pyramid Networks,F(xiàn)PN)和兩層全卷積神經(jīng)網(wǎng)絡(luò)(Fully Convolutional Networks,F(xiàn)CN)。主要效果是改進(jìn)了標(biāo)準(zhǔn)的交叉熵(Cross-entropy,CE)loss,解決了類(lèi)別不平衡的問(wèn)題。具體實(shí)現(xiàn)原理如下:
標(biāo)準(zhǔn)的交叉熵loss如下所示:
(1)
稍微變換一下如式(2):
(2)
得出:
(3)
式中,越大,代表越容易實(shí)現(xiàn)分類(lèi)目標(biāo)。而RetinaNet提出了Focal loss[7]改進(jìn)CE loss:
(4)
最終,為了使不同類(lèi)別更加平衡,補(bǔ)充了常數(shù)項(xiàng)正負(fù)樣本平衡因子,如下:
(5)
Focal loss最大的特點(diǎn)是解決了正負(fù)樣本分布不平衡的問(wèn)題,減少了數(shù)量較大的無(wú)關(guān)信息對(duì)loss的影響。RetinaNet不僅提高了識(shí)別準(zhǔn)確率,而且在單階段目標(biāo)檢測(cè)網(wǎng)絡(luò)實(shí)現(xiàn)了與雙階段目標(biāo)檢測(cè)網(wǎng)絡(luò)近似的速率。
3.2.2 訓(xùn)練數(shù)據(jù)集
本算法的訓(xùn)練數(shù)據(jù)采用COCO標(biāo)準(zhǔn)數(shù)據(jù)集和網(wǎng)絡(luò)爬蟲(chóng)獲取。COCO數(shù)據(jù)集是一個(gè)由微軟團(tuán)隊(duì)提供的,以環(huán)境感知為目標(biāo)的圖像識(shí)別數(shù)據(jù)集。提供80類(lèi)圖像,20萬(wàn)張標(biāo)注圖片,主要通過(guò)圖像分割來(lái)進(jìn)行目標(biāo)標(biāo)定。為了進(jìn)一步提高識(shí)別率,本系統(tǒng)還通過(guò)網(wǎng)絡(luò)爬蟲(chóng)從搜索引擎等圖片網(wǎng)站爬取了20類(lèi),共6萬(wàn)張圖片。對(duì)圖片數(shù)據(jù)打上標(biāo)簽、進(jìn)行目標(biāo)標(biāo)注,并按照VOC2007格式將數(shù)據(jù)按比例隨機(jī)抽樣切分訓(xùn)練集、驗(yàn)證集和測(cè)試集樣本。
3.2.3 目標(biāo)檢測(cè)結(jié)果
通過(guò)使用本算法進(jìn)行目標(biāo)檢測(cè)時(shí),可以濾除大部分背景等無(wú)用信息對(duì)識(shí)別結(jié)果的影響。如圖4所示,拍攝圖片中大量背景物體的識(shí)別權(quán)重較低,對(duì)居中明顯的物體進(jìn)行優(yōu)先篩選識(shí)別。
3.3 平臺(tái)網(wǎng)頁(yè)設(shè)計(jì)
3.3.1 實(shí)時(shí)切換興趣視頻
在通過(guò)語(yǔ)音交互和機(jī)器視覺(jué)目標(biāo)檢測(cè)之后,服務(wù)器會(huì)根據(jù)識(shí)別的結(jié)果,結(jié)合興趣分類(lèi),在Web端進(jìn)行興趣視頻實(shí)時(shí)切換,吸引訓(xùn)練者的注意力,從而提高訓(xùn)練者的專(zhuān)注度。具體實(shí)現(xiàn)過(guò)程為:當(dāng)服務(wù)器完成物體識(shí)別之后,向Web監(jiān)聽(tīng)器發(fā)送post請(qǐng)求,監(jiān)聽(tīng)器進(jìn)行解析,一方面將解析數(shù)據(jù)存入數(shù)據(jù)庫(kù)中保存,另一方面將數(shù)據(jù)對(duì)應(yīng)的視頻文件通過(guò)WebSockets協(xié)議推送到瀏覽器端,實(shí)現(xiàn)視頻的切換。
3.3.2 記錄成長(zhǎng)歷程
云平臺(tái)通過(guò)數(shù)據(jù)庫(kù)記錄每一次的識(shí)別結(jié)果,不斷迭代更新個(gè)性興趣矩陣,同時(shí)Web實(shí)時(shí)顯示訓(xùn)練者的專(zhuān)注度變化,可以通過(guò)歷史記錄瀏覽專(zhuān)注度訓(xùn)練效果。
圖5中,通過(guò)對(duì)某一訓(xùn)練者訓(xùn)練效果連續(xù)記錄,將日平均專(zhuān)注度展示。結(jié)果表明,這一訓(xùn)練者的訓(xùn)練效果有較為平穩(wěn)的提高。
4 結(jié)論
青少年專(zhuān)注度問(wèn)題是一個(gè)值得注意的問(wèn)題,隨著腦電波技術(shù)的不斷發(fā)展,結(jié)合腦電波技術(shù)提高青少年專(zhuān)注度是一個(gè)重要的研究方向。本文設(shè)計(jì)了一套基于腦電波的青少年專(zhuān)注度訓(xùn)練系統(tǒng),利用腦電波分析對(duì)整個(gè)訓(xùn)練過(guò)程進(jìn)行專(zhuān)注度監(jiān)測(cè),直觀反映訓(xùn)練效果,通過(guò)語(yǔ)音交互和圖像識(shí)別分析青少年興趣點(diǎn),以視頻互動(dòng)的方式吸引青少年的注意力,從而不斷提高青少年的專(zhuān)注度。該系統(tǒng)經(jīng)過(guò)前期測(cè)試,在設(shè)計(jì)成本、測(cè)量方法、測(cè)量效果等方面都達(dá)到了設(shè)計(jì)要求,可以通過(guò)不斷改進(jìn),進(jìn)一步應(yīng)用到各個(gè)領(lǐng)域。
【參考文獻(xiàn)】
[1]和超, 龐峰. 兒童教育空間趣味性的營(yíng)造[J]. 大眾文藝, 2017(21):137.
[2]謝宗豹, 林蕙青. 醫(yī)學(xué)思維與創(chuàng)新[M]. 上??茖W(xué)技術(shù)出版社, 2009.
[3]Zhang L, Lv Q, Xu Y. Single channel brain-computer interface control system based on TGAM module[C]. International Congress on Image & Signal Processing. IEEE, 2018.
[4]劉繼元. 基于樹(shù)莓派的物聯(lián)網(wǎng)應(yīng)用[J]. 電子世界, 2016, No.494(08):26-27.
[5]李艷霞. 智能化電梯控制系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 2013.
[6]Chen J L , Ros T , Gruzelier J H . Dynamic changes of ICA-derived EEG functional connectivity in the resting state[J]. Human Brain Mapping, 2013, 34(4).
[7]Lin T Y , Goyal P , Girshick R , et al. Focal Loss for Dense Object Detection[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, PP(99):2999-3007.
作者簡(jiǎn)介:馮韶文(1995—),男,漢族,山東青島市人,碩士研究生,單位:山東理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院計(jì)算機(jī)技術(shù)專(zhuān)業(yè),研究方向:嵌入式應(yīng)用。
通訊作者:*鞏秀鋼(1970—),男,漢族,山東淄博市人,副教授,博士,單位:山東理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院計(jì)算機(jī)技術(shù)專(zhuān)業(yè),研究方向:計(jì)算機(jī)測(cè)控、嵌入式應(yīng)用、儀器儀表智能化等。
基金項(xiàng)目:國(guó)家級(jí)大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃項(xiàng)目(201910433024)