張珣 李道磊

摘 要：針對(duì)目前市場(chǎng)上語(yǔ)音控制家居產(chǎn)品的語(yǔ)音識(shí)別必須在服務(wù)端進(jìn)行，在缺乏互聯(lián)網(wǎng)情況下則無(wú)法使用，以及智能家居設(shè)備采用有線組網(wǎng)方式導(dǎo)致升級(jí)維護(hù)成本高的問(wèn)題，設(shè)計(jì)一款采用WiFi、藍(lán)牙等無(wú)線混合組網(wǎng)技術(shù)搭建的異構(gòu)家庭網(wǎng)關(guān)，可以動(dòng)態(tài)添加設(shè)備，組網(wǎng)靈活方便且成本低，即使在斷網(wǎng)情況下，網(wǎng)關(guān)也可自動(dòng)切換到本地語(yǔ)音識(shí)別。為此，使用基于上下文相關(guān)的GMM-HMM算法訓(xùn)練聲學(xué)模型與語(yǔ)言模型搭建語(yǔ)音識(shí)別引擎，采用BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法實(shí)現(xiàn)語(yǔ)音智能控制。測(cè)試結(jié)果表明，系統(tǒng)功能基本符合預(yù)期，在斷網(wǎng)情況下系統(tǒng)仍可以進(jìn)行語(yǔ)音識(shí)別并對(duì)家庭設(shè)備進(jìn)行語(yǔ)音控制。

關(guān)鍵詞：智能家居；語(yǔ)音識(shí)別；異構(gòu)網(wǎng)關(guān)；智能學(xué)習(xí)

DOI：10. 11907/rjdk. 182433

中圖分類號(hào)：TP319 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-7800（2019）005-0049-04

Abstract：For the voice recognition of the voice control home products on the market，the voice recognition must be identified on the server side，and it cannot be used in the absence of the Internet. The smart home equipment adopts the wired networking method，which leads to the problem of high upgrade and maintenance cost. The heterogeneous home gateway built by the bluetooth wireless hybrid networking technology can dynamically add devices. The networking is flexible and convenient，and the cost is low. Even in the case of network disconnection，the gateway can automatically switch to local voice recognition.To this end，the context-based GMM-HMM algorithm is used to train the acoustic model and the language model to build the speech recognition engine，and the BP neural network learning algorithm is used to implement the speech intelligent control. The test results show that the system function is basically in line with expectations，and the system can still perform voice recognition and voice control of the home device in the case of network disconnection.

Key Words： smart home； speech recognition； heterogeneous gateway； intelligent learning

0 引言

語(yǔ)言作為人類信息交流中最重要與便捷的方式，讓人與機(jī)器交流就像人與人交流一樣方便，一直是學(xué)者們研究的重點(diǎn)課題。隨著現(xiàn)代科技的發(fā)展與人民生活水平的提高，人們對(duì)家庭住宅的需求也發(fā)生了較大改變。隨著人工智能算法的逐漸成熟，采用語(yǔ)音控制的智能家居勢(shì)必會(huì)成為一個(gè)新的研究熱點(diǎn)。

基于在線語(yǔ)音識(shí)別技術(shù)[1]的亞馬遜智能音箱以及國(guó)內(nèi)的小米、百度智能音響等均是基于智能家居設(shè)備語(yǔ)音交互技術(shù)實(shí)現(xiàn)的，但其語(yǔ)音識(shí)別引擎均位于云端及服務(wù)器端，在斷網(wǎng)情況下則無(wú)法使用。本文使用語(yǔ)音識(shí)別技術(shù)、異構(gòu)網(wǎng)絡(luò)通信技術(shù)[2]與Web網(wǎng)絡(luò)控制技術(shù)，搭建一個(gè)具有語(yǔ)音識(shí)別功能的智能家居網(wǎng)關(guān)系統(tǒng)。系統(tǒng)由語(yǔ)音識(shí)別控制中央器、智能設(shè)備及Web客戶端組成，家庭人員可通過(guò)手機(jī)Web端對(duì)家庭智能設(shè)備進(jìn)行遠(yuǎn)程控制[3-4]，同時(shí)采用最新語(yǔ)音識(shí)別算法GMM-HMM訓(xùn)練聲學(xué)模型與語(yǔ)言模型搭建離線語(yǔ)音識(shí)別引擎，使系統(tǒng)即使在斷網(wǎng)情況下依然能夠進(jìn)行語(yǔ)音識(shí)別，對(duì)家居設(shè)備發(fā)送控制指令。

1 智能家居系統(tǒng)總體框架

本系統(tǒng)主體由智能家居網(wǎng)關(guān)后臺(tái)管理服務(wù)器Web平臺(tái)、語(yǔ)音識(shí)別控制器、家庭設(shè)備、智能家庭異構(gòu)網(wǎng)關(guān)[5]等部分組成。本文采用騰訊云服務(wù)器作為Web服務(wù)器端，使用手機(jī)或PC登錄系統(tǒng)Web頁(yè)面即可查看家庭設(shè)備狀況，并發(fā)送指令控制設(shè)備；語(yǔ)音控制器除集成家庭網(wǎng)關(guān)功能外，還具有語(yǔ)音識(shí)別功能；家庭設(shè)備主要包括燈、窗簾、空調(diào)等電器設(shè)備。系統(tǒng)框架如圖1所示，其中遠(yuǎn)聲場(chǎng)語(yǔ)音采集與識(shí)別使用科大訊飛的AIUI 硬件模塊[6]，通過(guò)ZigBee、藍(lán)牙m(xù)esh組網(wǎng)技術(shù)[7]組建家庭無(wú)線傳感控制網(wǎng)絡(luò)，實(shí)現(xiàn)控制中心與各家庭設(shè)備的連接。家庭網(wǎng)關(guān)控制中心通過(guò)串口將ZigBee網(wǎng)絡(luò)與Internet網(wǎng)絡(luò)聯(lián)系起來(lái)，將家庭設(shè)備狀態(tài)信息上傳至服務(wù)器并在Web頁(yè)面上展示。

2 智能家居語(yǔ)音主控硬件與軟件模塊設(shè)計(jì)

2.1 智能家居主控硬件模塊設(shè)計(jì)

在系統(tǒng)硬件上，家庭網(wǎng)關(guān)主控硬件主要由AIUI語(yǔ)音識(shí)別模塊[8]與異構(gòu)網(wǎng)關(guān)通信模塊[9]組成。AIUI語(yǔ)音識(shí)別模塊對(duì)語(yǔ)音進(jìn)行采集與預(yù)處理，最后將其識(shí)別成文字；異構(gòu)通信模塊主要負(fù)責(zé)對(duì)家庭內(nèi)部的藍(lán)牙、WiFi、ZigBee等設(shè)備進(jìn)行組網(wǎng)，同時(shí)負(fù)責(zé)管理網(wǎng)關(guān)與外網(wǎng)通信。主要模塊實(shí)物如圖2所示。

2.1.1 AIUI語(yǔ)音模塊

AIUI語(yǔ)音識(shí)別模塊是由科大訊飛提供的軟硬一體化語(yǔ)音識(shí)別模塊，內(nèi)部集成了語(yǔ)音采集與處理功能，并封裝了語(yǔ)音交互的復(fù)雜功能，同時(shí)為開(kāi)發(fā)者提供接口調(diào)用；內(nèi)置ARM處理器、WiFi芯片等，可以選擇Andriod、Linux、Window等適合的操作系統(tǒng)進(jìn)行二次開(kāi)發(fā)，對(duì)功能進(jìn)行擴(kuò)展[10]。

2.1.2 AIUI異構(gòu)通信模塊

通信模塊主要集成了ZigBee、WiFi等無(wú)線模塊，可以接收組網(wǎng)網(wǎng)絡(luò)中的多種信號(hào)。異構(gòu)通信模塊內(nèi)主要包含一個(gè)協(xié)議轉(zhuǎn)換[11]模塊，其主要功能是對(duì)終端硬件模塊傳輸過(guò)來(lái)的包含不同通信協(xié)議的數(shù)據(jù)進(jìn)行解析轉(zhuǎn)換。根據(jù)終端設(shè)備遵循的通信協(xié)議，協(xié)議適配塊負(fù)責(zé)與不同協(xié)議終端進(jìn)行協(xié)議匹配驗(yàn)證；數(shù)據(jù)處理模塊則根據(jù)不同公司的協(xié)議規(guī)范，分別對(duì)數(shù)據(jù)進(jìn)行處理；統(tǒng)一協(xié)議模塊用于統(tǒng)一數(shù)據(jù)，規(guī)范數(shù)據(jù)格式。協(xié)議轉(zhuǎn)換模塊如圖3所示。

2.2 智能家居網(wǎng)關(guān)軟件模塊設(shè)計(jì)

網(wǎng)關(guān)軟件設(shè)計(jì)主要是在AIUI模塊提供的ARM芯片基礎(chǔ)上進(jìn)行編程開(kāi)發(fā)，實(shí)現(xiàn)在有網(wǎng)絡(luò)連接的情況下將語(yǔ)音數(shù)據(jù)通過(guò)AIUI模塊直接上傳到AIUI語(yǔ)音識(shí)別引擎上，返回識(shí)別后的文字；沒(méi)有網(wǎng)絡(luò)連接時(shí)則使用本地建立的語(yǔ)音識(shí)別模型，并返回語(yǔ)音識(shí)別后的文字；網(wǎng)關(guān)將識(shí)別后的文字與已建立的指令庫(kù)文字進(jìn)行匹配映射，最后將匹配的文字指令下發(fā)給相應(yīng)終端設(shè)備。

2.2.1 在線語(yǔ)音識(shí)別處理

本文采用科大訊飛的AIUI語(yǔ)音模塊，其支持聽(tīng)寫識(shí)別與語(yǔ)義識(shí)別功能。聽(tīng)寫識(shí)別和語(yǔ)義識(shí)別都屬于在線識(shí)別，需要將語(yǔ)音數(shù)據(jù)上傳到訊飛云端服務(wù)器。當(dāng)語(yǔ)音識(shí)別成功后，服務(wù)器會(huì)返回一段包含語(yǔ)義分析結(jié)果的數(shù)據(jù)，只需調(diào)用其提供的接口并對(duì)輸出數(shù)據(jù)進(jìn)行解析即可。

2.2.2 離線語(yǔ)音識(shí)別處理

在無(wú)網(wǎng)絡(luò)的情況下，需要構(gòu)建一個(gè)能對(duì)輸入語(yǔ)音數(shù)據(jù)進(jìn)行本地化語(yǔ)音識(shí)別的模塊，這也是本文研究的重點(diǎn)和難點(diǎn)。語(yǔ)音識(shí)別步驟主要包括語(yǔ)音信號(hào)預(yù)處理、特征提取、聲學(xué)模型訓(xùn)練、語(yǔ)言模型訓(xùn)練與解碼搜索5個(gè)基本單元[12]。語(yǔ)音識(shí)別步驟如圖4所示。

（1）預(yù)處理。獲取的語(yǔ)音信號(hào)不能直接用來(lái)進(jìn)行語(yǔ)音識(shí)別，而首先需要對(duì)語(yǔ)音信號(hào)作一些預(yù)處理，包括將輸入的模擬語(yǔ)音進(jìn)行數(shù)字化，然后進(jìn)行預(yù)加重、分幀、加窗、端點(diǎn)檢測(cè)等處理，從而在一定程度上消除噪音。由于預(yù)處理效果將直接影響后續(xù)語(yǔ)音識(shí)別效果，所以本文引入一個(gè)新的預(yù)處理模型，即多噪聲環(huán)境下的層級(jí)語(yǔ)音識(shí)別模型，其核心思想是將環(huán)境噪聲也作為需識(shí)別的內(nèi)容并傳遞到要識(shí)別的語(yǔ)音中，前端使用DNN進(jìn)行特征映射以降低噪聲，后端使用高斯混合—隱馬爾可夫模型（GMM-HMM）作為聲學(xué)模型[13]。

（2）特征提取。提取出能代表語(yǔ)音信號(hào)本質(zhì)的特征參數(shù)，同時(shí)去除無(wú)關(guān)噪音信號(hào)，以及可能的信道失真等，最終得到可用于聲學(xué)模型訓(xùn)練及語(yǔ)音識(shí)別的語(yǔ)音特征參數(shù)[14]。目前常用特征提取方法有LPCC、MFCC，本文采用梅爾頻率倒譜系數(shù)（MFCC）[15]。

（3）識(shí)別算法選擇。以上識(shí)別步驟中最關(guān)鍵的是聲學(xué)模型與語(yǔ)言模型訓(xùn)練，在深度學(xué)習(xí)尚未得到廣泛應(yīng)用之前，語(yǔ)音識(shí)別系統(tǒng)普遍采用基于隱馬爾可夫模型（HMM）的聲學(xué)模型[16]，以及基于N階馬爾科夫假設(shè)的N-gram語(yǔ)言模型[17]，而目前最新應(yīng)用的基于上下文相關(guān)GMM-HMM的聲學(xué)模型與語(yǔ)言模型[8]相較于傳統(tǒng)語(yǔ)音識(shí)別方法，性能有了很大提升，其主要克服了HMM算法隨著詞匯量增加，模型訓(xùn)練也越來(lái)越困難的缺點(diǎn)。GMM-HMM聲學(xué)模型如圖5所示。

3 Back Propagation 神經(jīng)網(wǎng)絡(luò)智能學(xué)習(xí)

使用Back Propagation（以下簡(jiǎn)稱BP）[18]神經(jīng)網(wǎng)絡(luò)建立簡(jiǎn)化語(yǔ)音指令模型，使用戶在輸出很少語(yǔ)音命令的情況下即能智能學(xué)習(xí)匹配異構(gòu)家庭網(wǎng)關(guān)對(duì)應(yīng)的指令集。BP模型如圖6所示。

3.1 BP神經(jīng)網(wǎng)絡(luò)模型

BP神經(jīng)網(wǎng)絡(luò)也稱為多層前饋神經(jīng)網(wǎng)絡(luò)，其核心思想是對(duì)誤差進(jìn)行逆向傳播訓(xùn)練，該算法是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)算法。典型BP神經(jīng)網(wǎng)絡(luò)包含3層：輸入層、隱含層與輸出層。

BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程由輸入層信息正向傳播與誤差反向傳播組成。輸入數(shù)據(jù)經(jīng)輸入層、隱含層與輸出層計(jì)算后得到實(shí)際結(jié)果；當(dāng)實(shí)際結(jié)果與期望輸出誤差超過(guò)閾值時(shí)，則向隱含層和輸入層進(jìn)行反向傳播，按誤差梯度下降方式修正每一層權(quán)值；不斷進(jìn)行正向傳播與誤差反向傳播，并動(dòng)態(tài)修改各層權(quán)值，直到最后輸出結(jié)果與期望輸出誤差小于閾值[19]。

3.2 算法原理

3.2.1 正反向傳播網(wǎng)絡(luò)

4 評(píng)估結(jié)果

基于系統(tǒng)初始化內(nèi)置的網(wǎng)關(guān)協(xié)議指令集與基于異構(gòu)協(xié)議網(wǎng)關(guān)收集的數(shù)據(jù)，本文使用BP神經(jīng)網(wǎng)絡(luò)算法訓(xùn)練模型結(jié)果集，輸入層包含語(yǔ)音指令時(shí)間、家庭成員聲紋編號(hào)、麥克風(fēng)陣列編號(hào)、語(yǔ)音指令等，期望輸出包括家庭電器編號(hào)、操作編號(hào)等，通過(guò)神經(jīng)網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)自動(dòng)確定各連接權(quán)值與激活閾值，使期望輸出不斷接近想要的結(jié)果，即實(shí)現(xiàn)人在廚房及客廳等場(chǎng)景下只要說(shuō)出開(kāi)燈指令，即可實(shí)現(xiàn)打開(kāi)燈的效果，而不用說(shuō)出完整指令。模型訓(xùn)練后的結(jié)果如表1所示。

5 結(jié)語(yǔ)

本文搭建一個(gè)具有語(yǔ)音識(shí)別功能的智能家居網(wǎng)關(guān)系統(tǒng)，從實(shí)驗(yàn)結(jié)果可以看出，指令在經(jīng)過(guò)BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)之后，在家庭不同位置，只需說(shuō)出簡(jiǎn)單的語(yǔ)音指令如打開(kāi)燈，網(wǎng)關(guān)仍能將該語(yǔ)音指令匹配到已建立好的指令集，實(shí)現(xiàn)對(duì)相應(yīng)設(shè)備的識(shí)別控制。然而，當(dāng)前模型訓(xùn)練仍較為簡(jiǎn)單，隨著語(yǔ)音識(shí)別技術(shù)的進(jìn)一步發(fā)展，以及云計(jì)算、人工智能技術(shù)的普及與使用成本的降低，可以使用云計(jì)算結(jié)合深度學(xué)習(xí)算法，從海量用戶生活數(shù)據(jù)中學(xué)習(xí)用戶生活習(xí)慣，以實(shí)現(xiàn)在近似的時(shí)間及位置上，用戶只需說(shuō)出網(wǎng)關(guān)系統(tǒng)的語(yǔ)音喚醒詞，便能輸出在該時(shí)間段及位置上用戶已發(fā)出語(yǔ)音指令記錄中次數(shù)最多的指令，或?qū)τ脩粜枰僮鞯闹噶钸M(jìn)行智能提醒等，從而大大降低用戶的指令發(fā)出頻次，實(shí)現(xiàn)智能交互家居生活。

參考文獻(xiàn)：

[1] CUILING L. English speech recognition method based on hidden Markov model[C]. International Conference on Smart Grid & Electrical Automation. IEEE， 2016.

[2] 王浩. 多通道智能網(wǎng)關(guān)設(shè)計(jì)與實(shí)現(xiàn)[D]. 北京：北方工業(yè)大學(xué)， 2017.

[3] 賈玉輝. 面向語(yǔ)音交互的云計(jì)算系統(tǒng)的研究[D]. 青島：中國(guó)海洋大學(xué)， 2013.

[4] 王海坤，潘嘉，劉聰. 語(yǔ)音識(shí)別技術(shù)的研究進(jìn)展與展望[J]. 電信科學(xué)， 2018（2）： 1-11.

[5] 張如龍. 智能家居中異構(gòu)網(wǎng)關(guān)的設(shè)計(jì)與應(yīng)用[D].杭州：杭州電子科技大學(xué)， 2015.

[6] 章繼剛.科大訊飛AIUI3.0人機(jī)交互體驗(yàn)[J]. 網(wǎng)絡(luò)安全和信息化，2018（6）： 17.

[7] 楊望卓. 基于藍(lán)牙Mesh智能設(shè)備控制技術(shù)研究[D]. 寧波：寧波大學(xué)， 2017.

[8] 程風(fēng). 基于語(yǔ)音交互技術(shù)的智能家居主控設(shè)計(jì)[D]. 合肥：中國(guó)科學(xué)技術(shù)大學(xué)， 2018.

[9] 譚立志，周維龍，歐陽(yáng)洪波. 一種智能家居異構(gòu)網(wǎng)關(guān)的研究與實(shí)現(xiàn)[J]. 電子設(shè)計(jì)工程，2015（22）： 114-116.

[10] 程風(fēng)，翟超，呂志，等. 基于語(yǔ)音識(shí)別技術(shù)的智能家居主控設(shè)計(jì)[J]. 工業(yè)控制計(jì)算機(jī)，2018（5）： 29-31.

[11] 王治靈. 基于FPGA的多協(xié)議轉(zhuǎn)換系統(tǒng)的研究與設(shè)計(jì)[D].成都：電子科技大學(xué)， 2018.

[12] 滕云，賀春林，岳淼. 基于神經(jīng)網(wǎng)絡(luò)的語(yǔ)音識(shí)別研究[J]. 重慶師范大學(xué)學(xué)報(bào)：自然科學(xué)版， 2010（4）： 73-76.

[13] 牛廷偉. 噪聲環(huán)境下的語(yǔ)音識(shí)別關(guān)鍵技術(shù)研究[D]. 天津：天津理工大學(xué)， 2012.

[14] 袁翔. 基于HMM和DNN的語(yǔ)音識(shí)別算法研究與實(shí)現(xiàn)[D].贛州：江西理工大學(xué)， 2017.

[15] 曹輝，徐晨，趙曉，等. 說(shuō)話人識(shí)別中的Mel特征頻率倒譜系數(shù)[J]. 西北大學(xué)學(xué)報(bào)：自然科學(xué)版，2013（2）： 203-208.

[16] 王為凱. 基于GMM-HMM的聲學(xué)模型訓(xùn)練研究[D]. 廣州：華南理工大學(xué)， 2016.

[17] 董廣宇，呂學(xué)強(qiáng)，王濤，等. 基于N-gram語(yǔ)言模型的漢字識(shí)別后處理研究[J]. 微計(jì)算機(jī)信息，2009（10）： 276-278.

[18] ROMERO E， MAZZANTI F， DELGADO J. A neighbourhood-based stopping criterion for contrastive divergence learning[J]. Computer Science， 2015.

[19] 墨蒙，趙龍章，龔嬡雯，等. 基于遺傳算法優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)研究應(yīng)用[J]. 現(xiàn)代電子技術(shù)，2018（9）： 41-44.

[20] 吳建源. 基于BP神經(jīng)網(wǎng)絡(luò)的中文分詞算法研究[J]. 佛山科學(xué)技術(shù)學(xué)院學(xué)報(bào)：自然科學(xué)版，2012（2）： 33-37.

[21] 張珣，何東陽(yáng). 基于深度信念網(wǎng)絡(luò)的個(gè)人健康評(píng)估模型[J].軟件導(dǎo)刊，2018，17（10）：44-47.

[22] FISCHER A. Training restricted Boltzmann machines[J].Künstliche Intelligenz， 2015， 29（4）：441-444.

（責(zé)任編輯：黃 健）