基于機(jī)載語音識別軟件中的分段識別設(shè)計

陳景達(dá) 郭麗霞

（上海航空電器有限公司 上海市 200040）

1 概述

語音識別處理軟件的主要功能是飛行員通過油門桿上的DOI選擇開關(guān)控制語音采集使能開關(guān)，啟動或關(guān)閉機(jī)載語音識別處理設(shè)備；機(jī)載語音識別處理設(shè)備啟動后，飛行員說出語音指令，機(jī)載語音識別處理設(shè)備將識別的結(jié)果通過相應(yīng)的總線將識別結(jié)果上報給飛行的各個設(shè)備，飛行員通過顯示結(jié)果判斷識別結(jié)果的正確并進(jìn)行相應(yīng)的處理。目前飛機(jī)上在語音識別使用的指令為信息調(diào)顯調(diào)類和狀態(tài)變更類的短指令如“引導(dǎo)”、“降級”、“機(jī)場”等，該類短指令只需要飛行員在使能開關(guān)時說出相應(yīng)的指令，松開開關(guān)時上報識別結(jié)果即可。

隨著語音識別控制功能在飛機(jī)上的持續(xù)應(yīng)用，系統(tǒng)對語音指令的需求量不斷的加大，語音指令的種類也隨之增加，因此除了信息調(diào)顯調(diào)類和狀態(tài)變更類的短指令外，增加了數(shù)據(jù)變更和計劃類長指令。這些指令需要飛行員確認(rèn)識別結(jié)果的有效性，目前的語音識別處理軟件已經(jīng)無法滿足新增的該類長指令的語言識別需求。

本文在語音識別處理軟件中增加語音識別分段識別功能模塊來完成對長指令的識別優(yōu)化。同時完成了對整個分段識別的整體設(shè)計和驗證。以確保識別長指令的及時性和有效性。

2 分段識別說明

飛行員進(jìn)行音頻輸入時，如長指令“飛行計劃XX航路點(diǎn)XX（東/西）經(jīng)XXX度XX分XX秒輸入完畢”，無法保證其能一口氣說完該指令。因此語音識別處理軟件對該指令的識別結(jié)果可能是該指令中的部分詞的結(jié)果。為此對語音識別結(jié)果處理中增加了分段識別設(shè)計，以滿足長指令的語音識別需求，其語音識別的整體流程中增加了分段識別功能模塊如圖1所示。

圖1：機(jī)載語音識別處理流程圖

圖2：分段識別功能模塊結(jié)構(gòu)圖

分段識別功能模塊的主要功能是將語音識別結(jié)果進(jìn)行相應(yīng)的分段識別，將分段識別結(jié)果進(jìn)行組合并判斷其正確性，最后給出其相應(yīng)的指令代號和完整的識別結(jié)果。例如短指令“自飛控”進(jìn)行識別時無需進(jìn)行分段識別，其語音識別模塊輸出的結(jié)果即為“自飛控”，相應(yīng)的指令代碼為1。根據(jù)研究表明人們在朗讀時，因內(nèi)容以及生理需求，一般在詞與詞之間會出現(xiàn)短暫的停頓。因此在進(jìn)行長指令的識別時，需要處理語音識別結(jié)果為多個詞的情況。比如飛行員說 “飛行計劃1航路點(diǎn)1西經(jīng)20度20分20秒輸入完畢”該條指令時，語音識別結(jié)果可能是“飛行計劃1”，“航路點(diǎn)1”，“西經(jīng)”，“20度20分20秒”的組合。

3 分段識別設(shè)計

語音識別處理軟件的開發(fā)平臺為嵌入式開發(fā)平臺，使用的芯片是TI的TMS320C6678，并通過標(biāo)準(zhǔn)的C語言進(jìn)行編寫。語音識別模塊識別的結(jié)果是字符串類型的，使用C語音處理字符串類型時相對復(fù)雜并且容易出錯。因此分段識別設(shè)計的核心思想是將字符串類型的識別結(jié)果進(jìn)行數(shù)字化。

分段識別的主要設(shè)計思路是將所有的語言指令包括（短指令、長指令）進(jìn)行原子指令的提取，并進(jìn)行相應(yīng)的數(shù)字化，最終形成原子指令編碼表和語音指令編碼表。并通過原子指令編碼表和語音指令編碼表完成語音指令獲取、原子指令表遍歷匹配、語音指令碼組合匹配和分段識別結(jié)果形成這四個功能模塊，最終形成完整正確的識別結(jié)果。該方法有效的降低了語音識別軟件處理邏輯的復(fù)雜度，同時提高軟件可讀性、可維護(hù)性和擴(kuò)展性，并提升對長指令的識別率和用戶的體驗感。

3.1 指令編碼表的設(shè)計

指令編碼表的設(shè)計主要用于在分段識別中能夠快速的匹配到語音指令，同時能夠及時的剔除不符合規(guī)則的語言指令。其包括原子指令的提取，原子指令的數(shù)字ID設(shè)計和指令編碼表設(shè)計這三個方面。

3.1.1 原子指令的提取

原子指令表示的是組成該指令的基礎(chǔ)詞，根據(jù)當(dāng)前的機(jī)載語音識別指令，可分為三類語音指令：

Ⅰ類指令代碼范圍為1～32的畫面控制指令和相關(guān)的特殊指令如：“自飛控”、“確認(rèn)”、“前翻頁”等。

Ⅱ類指令代碼范圍為201～214的調(diào)顯畫面類指令如：“（調(diào)顯/顯示/進(jìn)入）武器（畫面）”等。

Ⅲ類指令代碼范圍為1005～1013的修改類指令如：“飛行計劃XX航路點(diǎn)XX（東/西）經(jīng)XXX度XX分XX秒輸入完畢”。

提取上述三類指令中的原子指令。Ⅰ類指令其本身即為原子指令。Ⅱ類指令如“（調(diào)顯/顯示/進(jìn)入）武器（畫面）”提取的原子指令可分為“調(diào)顯”，“顯示”，“進(jìn)入”，“武器”和“畫面”這5個。Ⅲ類指令如“飛行計劃XX航路點(diǎn)XX（東/西）經(jīng)XXX度XX分XX秒輸入完畢”提取出來的原子指令可分為“飛行計劃”，“航路點(diǎn)”，“東經(jīng)”，“西經(jīng)”，“輸入完畢”。

原子指令同樣可以分為關(guān)鍵原子指令和輔助原子指令兩類。如“調(diào)顯”，“顯示”，“進(jìn)入”，“畫面”為輔助原子指令，是可有可無，而“武器”則為關(guān)鍵原子指令，是必不可少的。

3.1.2 原子指令的數(shù)字ID設(shè)計

原子指令數(shù)字ID設(shè)計是用32位的無符號整型來表示不同的原子指令。將32無符號整形分為4*8表示如表1所示。

規(guī)定高8位為完整指令標(biāo)識碼部分，當(dāng)將識別結(jié)果中的原子指令組合成一個完整的指令時必須保證其高8位累加的結(jié)果為0xFF，若出現(xiàn)其他值則表明其不是一個正確的指令。

規(guī)定次高8位為指令識別碼1，次低8位為指令識別碼2，低8位為指令識別碼3。指令識別碼用來區(qū)別具體的指令。例如在Ⅱ類指令中“（調(diào)顯/顯示/進(jìn)入）武器（畫面）”指令。其原子指令為“武器”，其輔助原子指令包括“調(diào)顯”、“顯示”、“進(jìn)入”、“畫面”。其完整的指令可以是單純的“武器”或者是“武器畫面”又或者是“進(jìn)入武器畫面”。因此可通過指令識別碼部分來區(qū)分有效指令。

3.1.3 指令編碼表設(shè)計

通過提取語音指令中的原子指令并進(jìn)行分析設(shè)計，形成原子指令編碼表。選?、耦愔噶睢白燥w控”、“前翻頁”、“確認(rèn)”，Ⅱ類指令“（調(diào)顯/顯示/進(jìn)入）程序（畫面）”，Ⅲ類指令“飛行計劃XX航路點(diǎn)XX（東/西）經(jīng)XXX度XX分XX秒輸入完畢”作為編碼表的設(shè)計對象，形成如下原子指令編碼表如表2所示。

根據(jù)原子指令編碼表，針對現(xiàn)有的機(jī)載語音識別詞條，選取上述的語音指令形成的語音指令編碼表如表3所示。

3.2 分段識別功能模塊設(shè)計

表1：原子指令32位數(shù)字ID信息表

表2：原子指令編碼表

表3：語音指令編碼表

表4：語音識別處理軟件識別結(jié)果對比表

分段識別功能模塊可分為語音指令獲取、原子指令表遍歷匹配、語音指令碼組合匹配、分段識別結(jié)果形成四個功能處理模塊，如圖2所示。

3.2.1 語音識別獲取

該模塊的主要功能是提取語音指令和數(shù)字信息。語音識別模塊識別結(jié)果包含語音指令集和數(shù)字信息，如語音識別模塊給出的識別結(jié)果可能是“飛行計劃1航路點(diǎn)2”，該語音指令需要將其去數(shù)字后形成語音指令為“飛行計劃航路點(diǎn)”。即語音指令“飛行計劃航路點(diǎn)”由“飛行計劃”，“航路點(diǎn)"兩個原子指令的組成作為后續(xù)原子指令表遍歷匹配的輸入條件。

3.2.2 原子指令表遍歷匹配

該模塊主要的功能是通過遍歷原子指令編碼表，查找與語音指令相匹配的原子指令，獲取該條語音指令的標(biāo)識碼并初步判斷是否符合語音指令要求。如“飛行計劃航路點(diǎn)”通過遍歷匹配獲取的標(biāo)識碼為0x80和0x40，組合為0b11000000，其高2位均為1則初步滿足編碼要求。其不符合編碼規(guī)則的包括以下三種：

應(yīng)該認(rèn)識到一體化教學(xué)模式的重點(diǎn)是教學(xué)資源的同步呼應(yīng)。一體化教學(xué)場所建設(shè)，不是課桌椅和實(shí)訓(xùn)設(shè)備放到一間教室的改革，簡單地認(rèn)為一體化就是“一起放”，不是科學(xué)的一體化，是形式主義的一體化。一體化教學(xué)場所建設(shè)應(yīng)該注重理論教學(xué)場所和實(shí)訓(xùn)教學(xué)場所內(nèi)在功能上的相互呼應(yīng)。一體化教師的培養(yǎng)任重道遠(yuǎn)，不能把一體化教師簡單機(jī)械地理解為一個人，達(dá)到理論教學(xué)和實(shí)習(xí)教學(xué)在內(nèi)容和進(jìn)度方面的有機(jī)結(jié)合，就實(shí)現(xiàn)了一體化教學(xué)?！?/p>

（1）標(biāo)識碼中出現(xiàn)不連續(xù)的1，如語音指令為“飛行計劃西經(jīng)”，其標(biāo)識碼為0x80和0x30，組合為是0b10110000。

（2）標(biāo)識碼中出現(xiàn)重復(fù)位，如語音指令“飛行計劃”后出現(xiàn)指令“程序”，其標(biāo)識碼為0x80和0xあ，其高位出現(xiàn)重復(fù)的1。

（3）標(biāo)識碼中首次出現(xiàn)的指令最高位不是1。如語音指令“航路點(diǎn)西經(jīng)”，其標(biāo)識碼為0x40和0x30，組合為0b01110000。

3.2.3 語音指令碼組合匹配

該模塊主要的功能是判斷當(dāng)前語音指令是否完整，并通過獲取的語音指令中每個原子指令中的識別碼進(jìn)行組合形成完整的語音指令碼，通過遍歷語音指令編碼表的來判定該指令是否是完整的有效的語音指令。如語音指令“飛行計劃/航路點(diǎn)/經(jīng)度/西經(jīng)/輸入完畢”其標(biāo)識碼組合為0xあ符合編碼要求，組合得到的語音指令碼0xFF00D201也在指令編碼表中，表明該條語音指令是符合要求的。其不符合要求的包括以下兩方面：

（1）標(biāo)識碼不是0xあ,如“飛行計劃/航路點(diǎn)/西經(jīng)”其標(biāo)識碼為0xf0缺少后續(xù)的0x0f即（輸入完畢），表明該指條語音指令未輸入完成。

（2）語音指令碼不在語音指令編碼表中。如“飛行計劃/航路點(diǎn)/經(jīng)度/北維/輸入完畢”，其語音指令碼為0xFF00D401，該指令不在語音編碼表中，表明該指令無效。

3.2.4 分段識別結(jié)果形成

該模塊的主要功能是將語音指令模塊中的提取的數(shù)字信息重新填充回正確完整的語音指令中，形成完整的分段識別結(jié)果，同時賦予相應(yīng)的指令代碼。

4 驗證與分析

根據(jù)研究表明79%的韻律短語間停頓時集中在200～900ms之間。因此根據(jù)上述的三類語言指令進(jìn)行相關(guān)的實(shí)驗設(shè)計用于驗證分段識別效果。

根據(jù)采集的語音樣本并在每個短指令之間隨機(jī)增加（200ms～900ms）的延遲，并進(jìn)行播放。針對優(yōu)化后使用分段識別的語音識別處理軟件和未優(yōu)化的語言識別處理軟件進(jìn)行了驗證對比，其實(shí)驗結(jié)果如表4所示。

實(shí)驗結(jié)果表明，采用優(yōu)化后使用分段識別方式進(jìn)行語音識別的方式明顯的提高了語音識別的識別率。

對相關(guān)的數(shù)據(jù)進(jìn)行分析。優(yōu)化前Ⅱ類和Ⅲ類的語言識別率低的主要原因是在于，語音停頓時語音識別超過了靜音的判斷條件，從而得出的識別結(jié)果未查詢到對應(yīng)的語言指令。

根據(jù)上述問題分析的原因，采用增加靜音的判斷時間的方法看能否解決。通過實(shí)驗發(fā)現(xiàn)在靜音時間判斷增加到900ms時，發(fā)現(xiàn)使用上述的兩種方式識別率基本保持一致。但引入了新的問題，即對語音指令識別時，響應(yīng)時間慢，有明顯的延遲感，無法滿足飛行員對語音識別的響應(yīng)的要求。

5 結(jié)束語

為了解決目前飛機(jī)上飛行員對數(shù)據(jù)變更和計劃類語音指令識別時出現(xiàn)的識別率偏低和響應(yīng)不及時的問題，本文提出了分段識別的設(shè)計方案。基于識別結(jié)果數(shù)字化的原則，完成了原子指令編碼表和語音指令編碼表的設(shè)計，并增加了分段識別功能模塊。實(shí)驗結(jié)果表明，該設(shè)計方案能有效的解決目前對長指令識別所遇到的問題。針對后續(xù)語音詞條的不斷增加，下一步將優(yōu)化相關(guān)的遍歷算法，進(jìn)一步提高性能。同時由于國產(chǎn)化的需求，下一步將語音識別處理軟件移植到國防科技大學(xué)的FT-6678M芯片上。