基于虛擬現(xiàn)實技術(shù)的人機交互式盲人閱讀器

萬心媛，宋萌，趙渴欣，王繹然，劉千

（哈爾濱商業(yè)大學金融學院，哈爾濱 150028）

1 虛擬現(xiàn)實技術(shù)與盲人仿真視覺環(huán)境的創(chuàng)建

1.1 虛擬現(xiàn)實技術(shù)概述

虛擬現(xiàn)實（VR）融合了計算機圖形、數(shù)字多媒體、模擬仿真技術(shù)等多種技術(shù)，包括模擬環(huán)境、感知等以達到用戶無法區(qū)分這究竟是現(xiàn)實環(huán)境還是計算機模擬出來的環(huán)境［1］。

（1）虛擬現(xiàn)實技術(shù)特點

虛擬現(xiàn)實技術(shù)具有3I的特征，分別是沉浸感（Im?mersion）、交互性（Interaction）和想象性（Imagination）：

沉浸性，通過計算機的三維建模技術(shù)創(chuàng)造出仿真虛擬環(huán)境，使體驗者感受到強大且震撼的真實感，仿佛身臨其境。

交互性，在計算機創(chuàng)建的模擬環(huán)境中，用戶可以通過一些可穿戴設備進行人機交互。例如：在虛擬環(huán)境中佩戴可穿戴手套去觸摸虛擬環(huán)境中的物體時，會真實地感受到物體的觸感與粗糙程度，并且當抓取此物體時，會切實地感覺到物體的重量。

想象性，虛擬現(xiàn)實環(huán)境可以讓受眾用戶沉浸其中，通過體驗計算機創(chuàng)造出的各種虛擬環(huán)境，在短時間內(nèi)、高效率地體會多種不同的人機交互環(huán)境。并且可以通過計算機的交互設備，將自己的動作與觸感信息錄入計算機，在計算機收到這些信息后，通過傳感設備進行數(shù)據(jù)的處理，從而更好地為用戶創(chuàng)造更加真實的環(huán)境。用戶在根據(jù)自己需要向計算機發(fā)出指令，從而體驗虛擬環(huán)境，在此過程中，用戶激發(fā)了自身想象力，并且在人機交互的過程中，不斷會將自身新的想法與感知輸入到計算機內(nèi)，從而通過與計算機進一步的人機交互中，激發(fā)創(chuàng)造力、觸發(fā)靈感。

1.2 盲人仿真視覺環(huán)境的創(chuàng)建

我們團隊的新型盲人閱讀器利用虛擬現(xiàn)實技術(shù)，通過計算機捕捉盲人用戶頭部等身體部位的運動軌跡、利用特制的虛擬現(xiàn)實手套將盲人的觸感放大，并且通過聲源的捕捉，利用人機交互的技術(shù)，為盲人用戶創(chuàng)建一個仿真的視覺環(huán)境。三維建模是其中的一項核心技術(shù)，通過3D Max和VRML語言編寫，主要包括模式識別技術(shù)、支持向量計算技術(shù)、傳感器技術(shù)、通訊技術(shù)等[2]。虛擬仿真環(huán)境的創(chuàng)建也是基于三維建模技術(shù)的重要支持。

（1）頭部運動追蹤創(chuàng)建盲人模擬視覺環(huán)境

我們團隊的新型盲人閱讀器即是利用虛擬現(xiàn)實技術(shù)，將產(chǎn)品設計為一個虛擬現(xiàn)實的眼鏡，盲人由于自身視力障礙的特殊性，通過佩戴本產(chǎn)品眼鏡時，產(chǎn)品上有感知盲人頭部運動軌跡的接觸點，通過這些接觸點可以實時感知到盲人頭部的運動軌跡，從而可以利用盲人的頭部跟蹤來改變圖像的視角，而出于針對盲人用戶群體特殊性的考慮。當盲人用戶頭部在發(fā)生運動時，本產(chǎn)品眼鏡的接觸點感知后，就會自動智能追蹤盲人用戶運動的軌跡，實時給出相關(guān)語音的播報。創(chuàng)造出一種盲人用戶仿佛是視力正常者的虛擬環(huán)境，為盲人用戶提供無障礙出行的環(huán)境，從此解決了盲人視力障礙的問題，使盲人用戶能夠和明眼人一樣正常出行，而不再受到諸多局限。這也就是，利用虛擬現(xiàn)實技術(shù)，使盲人用戶可以用另一套系統(tǒng)來觀察環(huán)境，也就是頭部的運動。

（2）判定聲源方向創(chuàng)建盲人模擬視覺環(huán)境

人類具有判定聲音方向的能力，人類的雙耳可以根據(jù)聲音的強度、來源的方向來判定位置，并且聲音在傳到兩個耳朵時的時間和強弱也會有細微的差別，這就是雙耳效應。而作為盲人這一特殊群體來說，由于視覺方面的障礙，導致他們的聽覺感知更加靈敏，他們對于利用聲音來判別方向這一技能更為突出。他們可以更加快速地對于聲源方向進行識別，并且能夠更加靈敏通過雙耳效應辨別出左右耳在聽到聲音時細微的差別，從而對于聲源來源的方向有一個更加清晰的把控。

盲人足球這一運動地快速傳播就為本閱讀器利用判定聲源方向創(chuàng)建盲人模擬視覺環(huán)境的這一技術(shù)提供了現(xiàn)實依據(jù)。盲人足球19世紀80年代在西班牙出現(xiàn)，這種新興的運動模式激發(fā)了全世界各地愛好足球運動的盲人朋友的興趣。之前由于自身視力方面的障礙，盲人運球運動幾乎是一件不可能實現(xiàn)的事情，但盲人足球這種運動方式卻將盲人也能夠出色地進行一次足球比賽帶來了可能。由于這項運動開啟了盲人群體進行足球運動的新世界，這項運動迅速普及，在巴西、英國、阿根廷、德國等世界足球強國非常普遍。2004年，在雅典，五人制盲人足球運動項目首次進入殘奧會。2006年，中國正式組建了第一支盲人足球隊，而廣東省盲人足球隊則是其中非常出色的盲人足球隊之一。與普通的足球比賽不同，盲人足球比賽一開始，觀眾席就必須寂靜無聲，任何與足球比賽無關(guān)的噪音都可能會影響盲人運動員對于足球方向辨別的準確度。因為，比賽時，盲人隊員只能通過聲音來辨別方向，完全是在利用“耳朵”在踢球，他們通過聲音的辨別來判斷足球的方向，隊友的位置，自己的位置。5人制盲人足球賽制規(guī)定，除守門員以外的4名選手的視力傷殘程度應是B1級，即完全喪失視力并無光感。并且為了保證比賽公平防止作弊，場上除守門員以外的隊員均需佩戴眼罩。這樣就完全避免了盲人隊員可能通過微弱的光感來辨別方向，從而保證場上除守門員以外的所有隊員都是通過聲音來辨別方向。并且盲人足球還會內(nèi)置鐵片和滾珠，從而加大聲音的清晰程度，更好地幫助球員根據(jù)聲音來判斷球的方位和距離。皮球內(nèi)的鈴鐺聲音提醒著隊員們帶球人的位置，接球的球員和防守的球員要喊出聲，讓隊友和對手知道自己的位置，場內(nèi)的守門員、場外的引導員和教練，則要不斷大聲指揮隊友調(diào)整前進方向和防守位置。就是通過這樣特殊的訓練方式和比賽方式，盲人運動員利用自身對于聲音的獨特辨識能力，出色的完成了每一次訓練和比賽。廣東省盲人足球隊多名主力入選國家隊，并且于2014年12月代表中國參加在香港舉辦的亞洲盲人足球隊公開賽，在其中表現(xiàn)出色，一舉奪冠。對于足球這一激烈的運動，盲人隊員都能夠通過聲音的識別來完成比賽并取得出色的成績，那對于盲人群體來說，平時生活中出行通過聲音來判斷障礙物的位置將更容易被實現(xiàn)。

因此，根據(jù)盲人用戶這一特殊性，在本產(chǎn)品的VR系統(tǒng)中，加入聲源探測器，將探測器的接觸點貼近雙耳，從而在盲人用戶聽到聲音后，通過接觸點可以探測到聲源的方向，與聲音的強弱，再與頭部追蹤系統(tǒng)相融合。當頭部發(fā)生運動時，聽到的聲音也會改變，從而帶來定位的不同。通過頭部的運動追蹤與聲源的判定，能夠更加準確地為盲人用戶確定當前的位置，所創(chuàng)建的模擬視覺環(huán)境將更為真實。

（3）感覺反饋創(chuàng)建盲人虛擬視覺環(huán)境

基于盲人用戶群體的特殊性，用戶無法看到虛擬的物體，但可以通過感知來判斷物體的存在，這個模擬環(huán)境的創(chuàng)建可以通過本產(chǎn)品盲人閱讀器虛擬現(xiàn)實眼鏡配備的虛擬現(xiàn)實手套完成。通過在手套內(nèi)層安裝一些可以感知以及振動的觸發(fā)點，在盲人用戶接觸物體或障礙物時，就會觸發(fā)到這些接觸點。這些接觸點通過對于物體表面進行感知，根據(jù)其質(zhì)地、粗糙程度的感知帶來的振動頻率強度不同，從而為盲人用戶判斷障礙物做出幫助。在基于可穿戴傳感器的手勢識別算法研究方面，有學者用離散的隱馬爾可夫模型結(jié)合矢量量化技術(shù)獲得的特征碼本識別了6種不同的網(wǎng)球擊球動作，獲得了較高的識別率[3]。進一步將盲人虛擬視覺環(huán)境創(chuàng)建的更為真實細致。

（4）語音匹配與盲人虛擬視覺環(huán)境的創(chuàng)建

在VR系統(tǒng)中，語音匹配系統(tǒng)是十分重要的。這要求模擬環(huán)境系統(tǒng)能快速識別用戶的語言，并對于用戶的指令做出反應。但對于計算機來說，讓其快速識別人類語言并及時做出反應是較為困難的。由于我國是一個多民族國家，各地的方言千差萬別，并且每個用戶在發(fā)音時的清晰程度和準確度也是無法統(tǒng)一量化的。這就為計算機在進行語音識別方面帶來了難度。

而本產(chǎn)品，新型盲人閱讀器則配備有多國語言智能識別系統(tǒng)，與區(qū)域語言識別系統(tǒng)，能夠帶來盲人用戶語言的快速識別?；谌斯ぶ悄芗夹g(shù)，在對于用戶語音進行識別方面加入更多智能識別技術(shù)，不只是簡單地將用戶輸入的語音與語音庫數(shù)據(jù)進行對比匹配，而是將用戶的語音輸入進行更為智能的識別，加入更多“人”的思維智慧，從而可以更好的完成人機交互。在盲人用戶需要幫助時，可以直接通過語言的方式與本產(chǎn)品所創(chuàng)建的虛擬環(huán)境進行溝通。在機器自動識別后，根據(jù)閱讀器內(nèi)裝備的人工智能系統(tǒng)，及時解決回答盲人用戶的困難和問題，從而使本產(chǎn)品創(chuàng)建的盲人虛擬現(xiàn)實環(huán)境更為人性化、智能化。

2 多語種轉(zhuǎn)換系統(tǒng)與盲人閱讀器的有機結(jié)合

我們生活在一個全球化的時代，不同文化、不同語言間的交流日益頻繁，多語種的互譯就顯得尤其重要。本團隊設計的盲人閱讀器的多語種翻譯功能，旨在通過攝像頭錄入所需閱讀的文字后，轉(zhuǎn)化為數(shù)據(jù)，通過內(nèi)置的翻譯軟件將其翻譯為客戶所需要的語言。其不僅可以方便我國盲人的生活，讓其感受多種語言、多種文化的魅力，還擴大了應用地域范圍，能為更多來自不同國度的盲人群體提高服務。

2.1 架構(gòu)模式

隨著技術(shù)的不斷提高，翻譯系統(tǒng)也在不斷創(chuàng)新完善。目前的多語種輔助翻譯系統(tǒng)多采用網(wǎng)絡版和單機版兩種架構(gòu)模式。網(wǎng)絡版系統(tǒng)包括：客戶端在線功能模塊、核心功能模塊、服務端WCF服務接口模塊、應用服務模塊、數(shù)據(jù)庫接口模塊，以及后臺數(shù)據(jù)存儲模塊。單機版包括：系統(tǒng)核心功能模塊、本地接口模塊和本地文件存儲模塊[4]。

2.2 網(wǎng)絡拓撲結(jié)構(gòu)設計

應用網(wǎng)絡拓撲結(jié)構(gòu)作為翻譯系統(tǒng)運行的基礎(chǔ)，通過按鍵向系統(tǒng)發(fā)出翻譯請求，在與數(shù)據(jù)庫進行交互后，將翻譯得出的結(jié)果傳遞給語音朗讀系統(tǒng)，通過預設的聲音模式，直接將其朗讀出來，即可將文字信息翻譯成所需要的語種并通過聲音傳遞給盲人用戶，帶來方便快捷的用戶體驗。

2.3 核心翻譯方法

本團隊采用中間語言法作為翻譯的核心方法，通過互聯(lián)網(wǎng)資源和自然語言處理技術(shù)，利用算法將源語言轉(zhuǎn)化為目標語言，從而完成翻譯。使用基于中間語言的方法，這種方法利用一種人工制定的標準語言作為語言翻譯的中介，即首先把源語言解析為中間語言的表示形式，然后再由這種中間語言生成目標語言[5]。這種方法具有研究人員無需精通2種以上語言、可分步進行語種添加等優(yōu)點，技術(shù)要求低，操作簡單易上手，是多語種機器翻譯核心機理的首選。

2.4 作用流程

通過盲人閱讀器的攝像頭，將需要進行閱讀的文字信息進行錄入,而后轉(zhuǎn)化為數(shù)據(jù)暫存入數(shù)據(jù)庫，由數(shù)據(jù)庫對基本信息進行短時間內(nèi)存儲，通過嵌入的翻譯腳本，將數(shù)據(jù)庫中的數(shù)據(jù)提取出來，通過單機版翻譯軟件、云翻譯等翻譯程序，將其翻譯為所需的語種，再通過語音功能將其播放出來。

2.5 作用原理

影像資料的處理：從外部的影像設備將需要翻譯的信息錄入以后，首先將其轉(zhuǎn)化為一張張的靜態(tài)圖片。并且根據(jù)盲人閱讀器內(nèi)部的程序，在一句話的最后選擇5個比對點，若比中，可以將兩張圖片在系統(tǒng)中串聯(lián)起來，形成完整的信息。若不能比中，則說明掃描的速度太快，中間有斷點，缺了若干行文字。

文字特征抽取：特征抽取可以說是盲人閱讀器的核心，用什么特征，怎么抽取，直接影像到識別的好壞。特征抽取是文字識別中一個基本而又十分重要的問題，合理、正確抽取文字是提高識別率的關(guān)鍵[6]。

數(shù)據(jù)庫比較：通過與閱讀器自身數(shù)據(jù)庫的對比，將文字特征轉(zhuǎn)化為數(shù)據(jù)庫中的文字信息，將與之匹配的語音信息，通過擴音器朗讀出來。盲人閱讀器默認的翻譯語言將設置為中文，用戶可以通過計算機聯(lián)網(wǎng)方式下載所需翻譯語言的數(shù)據(jù)包，以實現(xiàn)閱讀器的多語種翻譯。用戶也應當定期更新盲人閱讀器的聯(lián)網(wǎng)數(shù)據(jù)庫，以保證數(shù)據(jù)的實效性。

人工矯正與學習：由于識別的正確度無法達到百分之百，想要加強閱讀器的實用性，人工矯正與學習這一步至關(guān)重要。盲人在使用過程中如果發(fā)現(xiàn)翻譯的語意嚴重偏離，那么就可以開啟矯正與學習功能。此時盲人閱讀器內(nèi)部相關(guān)程序段就會運行，盲人只需要語音輸入他認為正確的語義內(nèi)容，閱讀器便通過語音識別內(nèi)容，并與數(shù)據(jù)庫對比是否有相似翻譯。一旦比中，程序就會修改關(guān)于這類詞語的翻譯方式，以提高系統(tǒng)的適用性。

3 新型盲人閱讀器內(nèi)嵌智能識別系統(tǒng)

本團隊設計研發(fā)的此款盲人閱讀器運用了OCR技術(shù)、TTS技術(shù)、ASR技術(shù)等，不僅具有強大的內(nèi)置攝像頭智能識別及提醒功能，還具有靈活的語音詞匯搜索功能。

3.1 文字識別技術(shù)

本閱讀器能夠?qū)⒋喿x文本進行圖像采集，然后利用圖像處理技術(shù)完成對文本的提取和文字識別，最后對識別的文字進行音頻輸出。文字識別（OCR）技術(shù)是模式識別的一個分支，是智能閱讀的核心[7]。閱讀器的提醒功能是指夠幫助盲人對想要獲取的信息文本進行完全錄入，使其閱讀過程更為順暢。在文字信息的處理方面，我團隊在盲人閱讀器中安裝了doPDF?Cajviewer 7.0系統(tǒng)。此系統(tǒng)可以做到經(jīng)攝像頭讀取后確定文本范圍，進行文本內(nèi)容錄入的操作。在錄入過程中，可以對識別內(nèi)容進行自動調(diào)整，對于拍攝過程中的燈光角度自行調(diào)節(jié)。

3.2 文字轉(zhuǎn)語音技術(shù)

在對文本進行拍攝錄入時，應用了文字轉(zhuǎn)語音技術(shù)。TTS（Text-To-Speech）文字轉(zhuǎn)語音技術(shù)是一項實現(xiàn)任意文本信息到語音信號轉(zhuǎn)換的技術(shù)[8]。被拍攝的目標文本信息可以與多語種文字系統(tǒng)進行匹配，閱讀器會按照用戶需求進行文本信息的處理。在音頻信息的處理方面，通過多語種語音系統(tǒng)，建立生成多語種音頻庫，同時盲人用戶在使用過程中對于文本范圍的選取伴有建議范圍提醒功能，具體精確到對于范圍角度及廣度的提醒，提醒過程充分考慮到盲人的不便與需求。在已確定文本語種及音頻語種的前提下，系統(tǒng)將文字與音頻進行一對一搭配，匹配過程中智能查找錯誤進行修改與完善。并且，盲人用戶在文本信息讀取過程中，能夠及時進行詞匯語音搜索。具體來說即是盲人在聽讀過程中，遇到有疑問的詞匯，能夠立即通過語音搜索系統(tǒng)提出自己的疑問，閱讀器在接收到盲人用戶的語音反饋后，通過無線網(wǎng)絡系統(tǒng)進行智能搜索。通過這一服務項目，達到瞬時通過語音反饋解決閱讀過程中出現(xiàn)的困難的目的。

3.3 自動語音識別(ASR)技術(shù)

語音識別技術(shù)，也被稱為自動語音識別(ASR)。語音識別技術(shù)與語音合成技術(shù)結(jié)合使人們能夠甩掉鍵盤，通過語音命令進行相應的操作[9]。其目標是將人類的語音中的詞匯內(nèi)容轉(zhuǎn)換為計算機可讀的輸入，例如按鍵、二進制編碼或者字符序列。在語音識別處理中，過高的語音采樣速率會使一段語音信號的幀數(shù)大大增加，不利于系統(tǒng)的實時處理[10]。

參考文獻：

[1]張毅.虛擬現(xiàn)實技術(shù)的發(fā)展現(xiàn)狀與展望[J].電腦迷,2017(11):32.

[2]王陽陽.基于虛擬現(xiàn)實的三維建模技術(shù)探析[J].數(shù)字技術(shù)與應用,2017(07):209-210.

[3]趙小川.手勢識別技術(shù)研究綜述與應用展望[A].中國高科技產(chǎn)業(yè)化研究會智能信息處理產(chǎn)業(yè)化分會、中國高科技產(chǎn)業(yè)化研究會信號處理專家委員會.第十一屆全國信號和智能信息處理與應用學術(shù)會議?？痆C].中國高科技產(chǎn)業(yè)化研究會智能信息處理產(chǎn)業(yè)化分會、中國高科技產(chǎn)業(yè)化研究會信號處理專家委員會,2017:4.

[4]尼加提·納吉米,席小剛,馬斌,買合木提·買買提.多語種輔助翻譯系統(tǒng)研究與實現(xiàn)[J].電腦知識與技術(shù),2012,8(02):345-350.

[5]包蘇魯?shù)?多語種機器翻譯平臺關(guān)鍵技術(shù)研究[D].復旦大學,2008.

[6]潘保昌.浮動模板法——一種抽取文字特征的方法[J].計算機學報,1983,(06):469-477.

[7]秦瑞強.嵌入式盲人閱讀器系統(tǒng)設計與開發(fā)[D].大連理工大學,2015.

[8]廖正和.淺析語音合成技術(shù)[J].科技情報開發(fā)與經(jīng)濟,2006(18):216-217.

[9]劉向華.語音識別技術(shù)及應用[J].溫州職業(yè)技術(shù)學院學報,2006(03):33-35.

[10]王一.盲人信息輸入新方法的研究與實現(xiàn)[D].湖南大學,2009.