為了幫助失語者解決溝通障礙,來自北京航空航天大學(xué)和清華大學(xué)的研究生王娜娜、黃爽,用業(yè)余時(shí)間為失語者研制了一款直接將手語轉(zhuǎn)化成語音的翻譯臂環(huán)—“手音”。
這種溝通方式很簡(jiǎn)單,比如,演示者用手指向前方,又做出點(diǎn)贊的手勢(shì),文字“你好”就會(huì)快速出現(xiàn)在App“手音”的界面上。捕捉手部運(yùn)動(dòng)肌電信號(hào)的是演示者手臂上戴的黑色臂環(huán),看上去像跑步時(shí)用的護(hù)腕。
如今,“手音”涵蓋了200個(gè)手語動(dòng)作。為了保證精確度,每一個(gè)動(dòng)作錄制了1000人次。在有了自己的手勢(shì)數(shù)據(jù)庫后,團(tuán)隊(duì)還搭建了一個(gè)7層BP神經(jīng)網(wǎng)絡(luò)(一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò),是目前廣泛應(yīng)用的神經(jīng)網(wǎng)絡(luò)模型之一)對(duì)數(shù)據(jù)速度進(jìn)行訓(xùn)練,目前識(shí)別準(zhǔn)確度已達(dá)到95%。
團(tuán)隊(duì)對(duì)未來有很多設(shè)想,比如“手音”可以實(shí)現(xiàn)面對(duì)面聊天和長(zhǎng)時(shí)間對(duì)話的功能;還可以推出手語教學(xué)、手語字母和智能臂環(huán),解決手語教師缺乏等問題。