衛(wèi) 敏

(山西職業(yè)技術(shù)學(xué)院 計(jì)算機(jī)工程系, 山西 太原 030006)

1 3D虛擬智能家居系統(tǒng)概述

本研究項(xiàng)目依托3D虛擬平臺(tái)嘗試開(kāi)發(fā)了一個(gè)智能家居的交互模擬系統(tǒng),其目的是通過(guò)三維虛擬仿真技術(shù)對(duì)智能家居交互系統(tǒng)的演示效果進(jìn)行模擬。虛擬智能家居系統(tǒng)主要提供了兩種交互方式,一種是通過(guò)移動(dòng)終端的觸摸屏操作實(shí)現(xiàn)人機(jī)交互,一種是通過(guò)語(yǔ)音識(shí)別進(jìn)行人機(jī)交互[1]。采用設(shè)備操作的方式進(jìn)行人機(jī)交互,用戶需要花費(fèi)時(shí)間在設(shè)備上進(jìn)行瀏覽、選擇和點(diǎn)擊等操作,如果界面設(shè)計(jì)功能較多的話,人們還需要再對(duì)界面進(jìn)行學(xué)習(xí)和了解。而語(yǔ)音識(shí)別的交互方式極大地簡(jiǎn)化了系統(tǒng)的操作步驟,用戶可以直接通過(guò)語(yǔ)音發(fā)布指令,脫離了對(duì)設(shè)備操作的依賴性。

目前主流的3D開(kāi)發(fā)平臺(tái)都未集成語(yǔ)音識(shí)別功能。為了滿足虛擬智能家居的語(yǔ)音交互需求,本文嘗試對(duì)基于隱馬爾可夫算法的語(yǔ)音識(shí)別策略進(jìn)行了改進(jìn),并應(yīng)用在了虛擬智能家居交互系統(tǒng)當(dāng)中。

2 語(yǔ)音識(shí)別技術(shù)

2.1 原理

語(yǔ)音識(shí)別技術(shù)簡(jiǎn)單來(lái)說(shuō)就是將語(yǔ)音轉(zhuǎn)換成對(duì)應(yīng)文字的一種技術(shù),它主要由聲學(xué)模型與語(yǔ)言模型兩部分構(gòu)成,前者用于解決語(yǔ)音的發(fā)聲特性識(shí)別問(wèn)題,后者用于描述語(yǔ)言的用詞習(xí)慣,并對(duì)其進(jìn)行區(qū)分[2]。其功能模型的一般結(jié)構(gòu)如圖1所示。

語(yǔ)音本身的特征變化非常豐富,同一個(gè)人連續(xù)兩次發(fā)同一個(gè)音時(shí),都會(huì)存在持續(xù)時(shí)長(zhǎng)和語(yǔ)氣輕重的不同變化,不同的人發(fā)出的語(yǔ)音更是千差萬(wàn)別。因此在構(gòu)建語(yǔ)音識(shí)別模型時(shí),對(duì)語(yǔ)音識(shí)別的算法設(shè)計(jì)是非常重要的。

圖1 語(yǔ)音識(shí)別系統(tǒng)功能結(jié)構(gòu)圖Fig.1 Functional structure diagram of speech recognition system

2.2 語(yǔ)音識(shí)別算法

語(yǔ)音識(shí)別技術(shù)中比較具有代表性的算法有動(dòng)態(tài)特征值規(guī)整算法、隱馬爾可夫算法和神經(jīng)網(wǎng)絡(luò)模型等[3]。

非線性的動(dòng)態(tài)特征值規(guī)整算法,簡(jiǎn)單來(lái)說(shuō)就是將輸入的語(yǔ)音信號(hào)基于時(shí)間軸進(jìn)行彎曲調(diào)整,目的是要將其特征值曲線與算法內(nèi)置的特征模板盡可能地進(jìn)行匹配。這種匹配不僅是基于時(shí)長(zhǎng)的,還包括距離測(cè)度。將語(yǔ)音信號(hào)中獲取的特征值與特征模板中特征值視作兩個(gè)矢量,不斷進(jìn)行最小距離的測(cè)算(可采用路徑算法),以達(dá)到距離上的匹配,最終獲取的最小距離所對(duì)應(yīng)的語(yǔ)音即為識(shí)別結(jié)果。由于語(yǔ)音時(shí)長(zhǎng)的不均勻,輸入的語(yǔ)音特征與模型特征的比對(duì)就會(huì)出現(xiàn)較大誤差；采用該算法能夠較好地解決這一問(wèn)題,但其算法過(guò)于簡(jiǎn)單,未引入統(tǒng)計(jì)模型對(duì)特征值進(jìn)行連續(xù)的記憶和分析,在連續(xù)發(fā)音情境下識(shí)別準(zhǔn)確度較差。

基于統(tǒng)計(jì)模型的隱馬爾可夫算法,其統(tǒng)計(jì)模型的構(gòu)建,主要由狀態(tài)序列與觀察序列兩組識(shí)別基元組成。為了能夠適應(yīng)各類突發(fā)情況,兩組識(shí)別基元可實(shí)現(xiàn)連續(xù)和離散兩種狀態(tài)下的特征參數(shù)分析,并在識(shí)別過(guò)程中,持續(xù)將新的識(shí)別結(jié)果加入到統(tǒng)計(jì)模型當(dāng)中進(jìn)行學(xué)習(xí)。隨著統(tǒng)計(jì)模型的不斷擴(kuò)充,該算法能夠高效地模擬出人類通過(guò)大腦對(duì)語(yǔ)法和語(yǔ)言需要的分析所產(chǎn)生的音素流,使其變?yōu)橐粋€(gè)可觀測(cè)的時(shí)變序列,由此可以快速準(zhǔn)確獲取其狀態(tài)序列,并進(jìn)行識(shí)別。由于統(tǒng)計(jì)模型中能夠不斷通過(guò)學(xué)習(xí)獲取到不同的特征參考序列,因此該算法可以對(duì)各類語(yǔ)音特征進(jìn)行準(zhǔn)確識(shí)別,具有極高的識(shí)別性與抗噪性。

神經(jīng)網(wǎng)絡(luò)模型,該模型借鑒了人類神經(jīng)系統(tǒng)工作原理,設(shè)計(jì)了神經(jīng)元、網(wǎng)絡(luò)拓?fù)浜蛯W(xué)習(xí)方法三個(gè)功能模塊[4]。通過(guò)神經(jīng)元實(shí)現(xiàn)非線性的語(yǔ)音識(shí)別處理,通過(guò)網(wǎng)絡(luò)拓?fù)鋵?shí)現(xiàn)大規(guī)模數(shù)據(jù)的并行處理,通過(guò)學(xué)習(xí)方法提高語(yǔ)音識(shí)別的學(xué)習(xí)能力。適用于較為復(fù)雜的環(huán)境背景,例如語(yǔ)義不明、噪音干擾、知識(shí)背景不確定和邏輯關(guān)系不清等。但該算法的實(shí)現(xiàn)非常復(fù)雜,且開(kāi)銷較大,不易應(yīng)用在較小規(guī)模的系統(tǒng)開(kāi)發(fā)當(dāng)中。

結(jié)合3D虛擬智能家居系統(tǒng)開(kāi)發(fā)的實(shí)際需求,基于隱馬爾可夫算法的語(yǔ)音識(shí)別功能實(shí)現(xiàn),既可以有效提高語(yǔ)音識(shí)別的準(zhǔn)確性,又不會(huì)對(duì)系統(tǒng)性能造成太大的開(kāi)銷負(fù)擔(dān),是目前較為理想的一種解決方案。

3 語(yǔ)音識(shí)別技術(shù)的應(yīng)用策略研究

語(yǔ)音識(shí)別技術(shù)在虛擬智能家居系統(tǒng)中的應(yīng)用主要是實(shí)現(xiàn)系統(tǒng)控制命令的識(shí)別功能,例如開(kāi)關(guān)燈命令和開(kāi)關(guān)電器命令等。這類詞匯語(yǔ)義簡(jiǎn)單,詞匯量也很少,通過(guò)構(gòu)建小型的孤立詞識(shí)別庫(kù),即可滿足語(yǔ)音識(shí)別的需求。

3.1 孤立詞識(shí)別策略

采用隱馬爾可夫算法實(shí)現(xiàn)孤立詞匯的語(yǔ)音識(shí)別功能,首先要構(gòu)建孤立詞識(shí)別庫(kù)。由于虛擬智能家居系統(tǒng)的控制命令都較為簡(jiǎn)單且有限,因此孤立詞識(shí)別庫(kù)的構(gòu)建并不復(fù)雜,只要識(shí)別庫(kù)中涵蓋了所有的操作命令即可[5]。接著要對(duì)輸入的語(yǔ)音信號(hào)進(jìn)行矢量化序列轉(zhuǎn)換,經(jīng)過(guò)量化轉(zhuǎn)換的語(yǔ)音信號(hào)才能與識(shí)別庫(kù)中的孤立詞匯做進(jìn)一步的比對(duì)。在與孤立詞的特征序列比對(duì)過(guò)程中,依次計(jì)算語(yǔ)音信號(hào)與各個(gè)孤立詞的匹配概率,最后選取匹配概率最高的孤立詞作為最終的識(shí)別結(jié)果。實(shí)現(xiàn)過(guò)程如圖2所示。

圖2 基于隱馬爾可夫算法的孤立詞識(shí)別策略Fig.2 An isolated word recognition strategy based on HMA

語(yǔ)音信號(hào)的矢量化轉(zhuǎn)換實(shí)質(zhì)是從信號(hào)采樣中抽取若干特征矢量,并構(gòu)成離散型的觀察序列。設(shè)該觀察序列為Q={q1,q2,…,qn},觀察序列的概率P(Q|V)由公式3.1可知:

(1)

其中N為觀察序列可能取值的個(gè)數(shù),at連續(xù)觀察時(shí)刻下特征值狀態(tài)的前向概率。設(shè)孤立詞模型的給定模型參數(shù)V=(A,B,π),其中A表示狀態(tài)轉(zhuǎn)移概率,B表示輸出觀測(cè)概率,π表示初始狀態(tài)概率,計(jì)算最大概率值V*,公式如下:

V*=arg max{P(Q|V1),P(Q|V2), …,P(Q|Vk)}

(2)

最后依據(jù)V*所對(duì)應(yīng)的孤立詞模型,獲取最終的識(shí)別結(jié)果。

隱馬爾可夫算法所構(gòu)建的統(tǒng)計(jì)模型支持自主訓(xùn)練學(xué)習(xí),通過(guò)訓(xùn)練獲取到大量的語(yǔ)音數(shù)據(jù),可以對(duì)語(yǔ)音信號(hào)作出精確的描述,識(shí)別效果良好,功能穩(wěn)定[6]。但是該算法對(duì)于語(yǔ)音中噪聲的過(guò)濾效果較差,如果處于非常嘈雜的環(huán)境當(dāng)中,其識(shí)別的準(zhǔn)確率就會(huì)大大降低。為了有效解決這一問(wèn)題,還需對(duì)語(yǔ)音識(shí)別功能做出進(jìn)一步改進(jìn)。

3.2 語(yǔ)音識(shí)別的策略改進(jìn)

在日常生活中,人們常常會(huì)處在非常嘈雜的環(huán)境當(dāng)中,身邊會(huì)有各種各樣的噪聲干擾語(yǔ)音識(shí)別的準(zhǔn)確性。為了能夠從語(yǔ)句中準(zhǔn)確識(shí)別出有效的詞匯指令,本文嘗試在語(yǔ)音識(shí)別策略中加入了預(yù)處理改進(jìn)功能。

預(yù)處理的主要目的是對(duì)語(yǔ)句中疑似指令的詞匯進(jìn)行特征分析和提取,以過(guò)濾無(wú)效的噪聲,提高指令識(shí)別的準(zhǔn)確率。其功能實(shí)現(xiàn)主要由三部分組成，如圖3所示。

圖3 語(yǔ)音噪聲過(guò)濾預(yù)處理功能的實(shí)現(xiàn)過(guò)程Fig.3 The realization process of voice noise filtering preprocessing function

在人機(jī)交互中,人們通常會(huì)對(duì)涉及指令的詞匯加重發(fā)音,因此可以通過(guò)預(yù)加重方式對(duì)語(yǔ)音中的每幀信號(hào)按一定比例做增強(qiáng)處理。增強(qiáng)后的語(yǔ)音信號(hào)的高低頻差異會(huì)更加明顯,通過(guò)對(duì)低頻信號(hào)的過(guò)濾可以剔除掉大部分的噪聲。信號(hào)加重公式為:

s[n]=p[n]-ep(n-1)

(3)

其中：s[n]為加重后的信號(hào)樣本序列;p[0]為輸入的初始語(yǔ)音信號(hào)序列,數(shù)字化語(yǔ)音信號(hào)的最小存儲(chǔ)單位為16 bit,也是最小的信號(hào)樣本,n為輸入的信號(hào)樣本總數(shù);e為預(yù)設(shè)的信號(hào)加重系數(shù),其取值范圍為0.9

經(jīng)過(guò)初步過(guò)濾后,將提取到的高頻信號(hào)序列作進(jìn)一步的分段處理,以獲取到真正有效的語(yǔ)音段。由于語(yǔ)音信號(hào)的變化與時(shí)間長(zhǎng)短有著密切關(guān)聯(lián),且有效語(yǔ)音信號(hào)在短時(shí)間內(nèi)會(huì)呈現(xiàn)出較為平穩(wěn)的狀態(tài),通常這個(gè)時(shí)間長(zhǎng)度約在10 ms到20 ms之間。采用過(guò)零率分析法,以15 ms為一個(gè)時(shí)間周期,假設(shè)音頻采樣頻率為40 kHz,可知需采樣的語(yǔ)音樣本點(diǎn)為225個(gè),公式如下:

As=(15000/1000)×15=225

(4)

對(duì)這225個(gè)信號(hào)樣本進(jìn)行過(guò)零電平檢測(cè),如果過(guò)零的次數(shù)超過(guò)了系統(tǒng)所設(shè)定的閾值,則認(rèn)為該時(shí)間段內(nèi)的語(yǔ)音為有效語(yǔ)音,否則為無(wú)效語(yǔ)音。

為了使獲取到的多個(gè)有效語(yǔ)音段之間能夠平滑地過(guò)渡,對(duì)其進(jìn)行分幀處理,即將語(yǔ)音序列以幀為單位進(jìn)行前后銜接，每幀所持續(xù)的時(shí)長(zhǎng)即為幀長(zhǎng)。為了保證幀之間的銜接信號(hào)完整,一般會(huì)使前后幀有一定重疊。采用加窗法對(duì)語(yǔ)音序列進(jìn)行分幀,通過(guò)給定寬度的可移動(dòng)窗口加權(quán)的方式對(duì)語(yǔ)音信號(hào)進(jìn)行分幀操作。公式表示為:

F(n)=s(n)×win(n)

(5)

其中s(n)為待分幀處理的語(yǔ)音信號(hào)序列,win(n)為加窗函數(shù)。加窗函數(shù)按計(jì)算方式分為三類,分別為Rectangle window、Hamming window、Hanning window。Rectangle window雖然低通性較差,但在短時(shí)語(yǔ)音特征分析中能夠更好地實(shí)現(xiàn)過(guò)渡,且計(jì)算效率較高,因此選用Rectangle window作為加窗權(quán)值。

經(jīng)過(guò)預(yù)處理的語(yǔ)音信號(hào)中無(wú)聲段和明顯的噪聲段都可以得到有效去除,因此能大大提高隱馬爾可夫算法的語(yǔ)音識(shí)別效率和準(zhǔn)確度。

圖4 語(yǔ)音識(shí)別服務(wù)主要功能Fig.4 The main function of voice recognition service

4 語(yǔ)音識(shí)別策略的應(yīng)用

4.1 語(yǔ)音交互服務(wù)系統(tǒng)

語(yǔ)音識(shí)別策略主要提供的是語(yǔ)音識(shí)別服務(wù),應(yīng)用在虛擬智能家居系統(tǒng)中還需要提供對(duì)應(yīng)的接口進(jìn)行交互,即各類終端語(yǔ)音采集設(shè)備的調(diào)用,統(tǒng)稱為語(yǔ)音交互服務(wù)系統(tǒng)。語(yǔ)音交互服務(wù)系統(tǒng)采用WEB服務(wù)框架實(shí)現(xiàn)其核心功能的調(diào)用,通過(guò)http方式實(shí)現(xiàn)語(yǔ)音請(qǐng)求的提交。語(yǔ)音識(shí)別服務(wù)功能主要包括三大部分，如圖4所示。

1)采集與校驗(yàn)語(yǔ)音信息,目前終端的語(yǔ)音采集設(shè)備已經(jīng)將采集與識(shí)別、校驗(yàn)等多種語(yǔ)音服務(wù)封裝在統(tǒng)一的接口調(diào)用中,能夠?yàn)楦黝惖谌杰浖峁┱Z(yǔ)音的交互服務(wù)。

2)過(guò)濾噪聲,通過(guò)語(yǔ)音識(shí)別的預(yù)處理策略提取有效的語(yǔ)音序列。

3)基于語(yǔ)音識(shí)別算法實(shí)現(xiàn)語(yǔ)音控制命令的識(shí)別。

4.2 語(yǔ)音交互功能的接口實(shí)現(xiàn)

3D虛擬智能家居系統(tǒng)中語(yǔ)音交互功能調(diào)用采用Java編程來(lái)實(shí)現(xiàn),并封裝了三類接口:

1)常量類設(shè)置接口,包括TracktypeCon(聲道類型接口),用于切換語(yǔ)音輸入的聲道類型,聲道類型主要包括單聲道與雙聲道兩種;SampleRate(采樣頻率接口),采樣頻率的設(shè)置決定了語(yǔ)音采樣的樣本點(diǎn)生成數(shù)量,樣本過(guò)少會(huì)降低語(yǔ)音識(shí)別的準(zhǔn)確率,樣本過(guò)多又會(huì)對(duì)系統(tǒng)性能產(chǎn)生影響,結(jié)合虛擬智能家居系統(tǒng)的實(shí)際運(yùn)行情況,這里提供兩種采樣頻率,分別為16 kHz和20 kHz;Parsetting(系統(tǒng)參數(shù)接口),用于對(duì)全局資源中所需參數(shù)進(jìn)行初始化配置,并提供了全局變量設(shè)置的對(duì)外接口。

2)外部調(diào)用類接口,包括ListenintMec(監(jiān)聽(tīng)事件接口),采用Android事件監(jiān)聽(tīng)機(jī)制監(jiān)聽(tīng)外語(yǔ)語(yǔ)音的輸入請(qǐng)求;ResultsDataOn(結(jié)果數(shù)據(jù)獲取接口),獲取語(yǔ)音識(shí)別的結(jié)果數(shù)據(jù);ErrorDataOn(錯(cuò)誤信息獲取結(jié)果),用于捕獲識(shí)別過(guò)程中的異常錯(cuò)誤信息;StartSpeech、EndSpeech分別是開(kāi)始識(shí)別與結(jié)束識(shí)別的調(diào)用接口。

3)中間類控制接口,主要實(shí)現(xiàn)語(yǔ)音識(shí)別服務(wù)系統(tǒng)的內(nèi)外部功能銜接控制。接口定義的代碼如下:

MiddleControle(int TracktypeCon,int SampleRate,int Area,int Amountres,int frequency,int genderage,int TypeChannelTo,string OnBase,TManager Telmanager)

MiddleControle中的形參主要涉及外部的參數(shù)設(shè)置,例如聲道選擇和頻率設(shè)定等,以及全局變量的傳遞和語(yǔ)音控制命令的傳遞。

以上三種常用類型的接口功能調(diào)用實(shí)現(xiàn)了3D虛擬智能家居系統(tǒng)的語(yǔ)音交互功能,結(jié)合后端的語(yǔ)音識(shí)別算法,基本滿足了系統(tǒng)的交互需求。

5 結(jié)論

本研究結(jié)合3D虛擬智能家居系統(tǒng)中語(yǔ)音交互的功能需求,圍繞語(yǔ)音識(shí)別技術(shù)的算法原理和策略應(yīng)用展開(kāi)深入研究,在語(yǔ)音識(shí)別策略中采用隱馬爾可夫算法實(shí)現(xiàn)了對(duì)系統(tǒng)命令的語(yǔ)音識(shí)別,通過(guò)預(yù)處理策略改進(jìn)實(shí)現(xiàn)了噪聲的有效過(guò)濾。并在此基礎(chǔ)上嘗試構(gòu)建了語(yǔ)音交互服務(wù)系統(tǒng),通過(guò)常量類設(shè)置接口、外部調(diào)用類接口和中間類控制接口調(diào)用實(shí)現(xiàn)了3D虛擬智能家居系統(tǒng)語(yǔ)音交互功能的擴(kuò)展。

隱馬爾可夫算法是語(yǔ)音識(shí)別技術(shù)中應(yīng)用非常成熟的一種算法,因此針對(duì)孤立詞的識(shí)別效果非常好,準(zhǔn)確率可達(dá)到90%。但是由于其對(duì)噪聲過(guò)濾的性能較差,因此還需進(jìn)行另外的噪聲處理,也就增加了系統(tǒng)執(zhí)行開(kāi)銷。當(dāng)交互環(huán)境非常嘈雜的時(shí)候,對(duì)語(yǔ)音識(shí)別的準(zhǔn)確度也會(huì)有很大影響。在之后的研究當(dāng)中,本研究還將針對(duì)系統(tǒng)性能的進(jìn)一步提高與噪聲的有效屏蔽等問(wèn)題繼續(xù)開(kāi)展語(yǔ)音識(shí)別策略的改進(jìn)研究。