視聽語音識別系統(tǒng)

視聽語音識別系統(tǒng)

由于對大多數(shù)視聽語音識別系統(tǒng)的設(shè)計(jì)都是基于試驗(yàn)室環(huán)境，因此難以解決視覺域干擾方面的問題，如說話者移動(dòng)、照明不良、分辨率不高等。介紹了一種基于口型及聲音信息工作的視聽語音識別（AVSR）系統(tǒng)。利用主動(dòng)外觀模型這個(gè)功能強(qiáng)大的統(tǒng)計(jì)工具，采用梯度下降法將物體的形狀和紋路相結(jié)合,確保建立的模型與目標(biāo)圖像匹配。利用路面標(biāo)記的位置坐標(biāo)獲得物體的尺寸大小，從外觀矢量中獲取像素信息（如顏色或亮度）。因此,采用主動(dòng)外觀模型可根據(jù)人體下巴和嘴唇的特征，精確提取其形狀和外觀信息。將傳統(tǒng)聲學(xué)特征與視覺特征識相結(jié)合，識別復(fù)雜環(huán)境下駕駛員的指示命令。

德州儀器和麻省理工學(xué)院（TIMIT）將語言庫融入多個(gè)相機(jī)與視聽組件相結(jié)合的機(jī)制中，研究雙向視聽語音識別系統(tǒng)的性能?？紤]“Mc-Guruk”的效應(yīng)，分

別根據(jù)口型動(dòng)態(tài)特征和語音信息建立聲學(xué)和視覺模型。在嚴(yán)苛的真實(shí)環(huán)境下進(jìn)行一系列視聽語音識別試驗(yàn)，以驗(yàn)證所提出的具有活動(dòng)外觀模型視覺特征方案的有效性。將幾何結(jié)構(gòu)、紋路模型與外觀子空間相結(jié)合，提取出的視覺特性對視覺干擾有較強(qiáng)的抵抗能力。將4個(gè)相機(jī)識別的圖片進(jìn)行融合，能夠補(bǔ)充從不同視覺角度中獲得的圖片信息。在現(xiàn)實(shí)場景中，車窗玻璃打開時(shí)，由于行駛過程中的風(fēng)可能會(huì)遮擋照相機(jī)捕捉的視圖，因此利用側(cè)面相機(jī)可以根據(jù)補(bǔ)充信息相互支持。試驗(yàn)結(jié)果表明，聲學(xué)和視覺形態(tài)的集成比單個(gè)形態(tài)語音識別系統(tǒng)好，特別是在車輛以一定速度行駛時(shí)，即基于語音-口型動(dòng)態(tài)的視聽語音識別系統(tǒng)的性能明顯高于傳統(tǒng)的基于語音信息的視聽語音識別系統(tǒng)，聲音和口型特征有助于開發(fā)穩(wěn)定的視聽語音識別系統(tǒng)。此外，從結(jié)果可以看出，還需進(jìn)一步開發(fā)不依賴實(shí)際口型的視聽語音識別系統(tǒng)，減少4個(gè)照相機(jī)的融合需要大量的計(jì)算時(shí)間，使其既具有識別功能，又能較精確地獲取車輛信息。

刊名：Computers and Electrical Engineering（英）

刊期：2015年第47期

作者：Pradnya N.Bhujbal et al

編譯：朱會(huì)