馮 霞 胡永斌
[摘要]多媒體技術(shù)在聾童言語訓(xùn)練中的應(yīng)用改善了聾童語言學(xué)習(xí)的現(xiàn)狀,文章在分析當(dāng)前多媒體聾童言語訓(xùn)練軟件優(yōu)缺點(diǎn)的基礎(chǔ)上,提出利用虛擬現(xiàn)實(shí)技術(shù)構(gòu)建聾童言語訓(xùn)練場(chǎng)景,根據(jù)聾童視覺和推理能力較強(qiáng)的優(yōu)勢(shì),設(shè)計(jì)人機(jī)交互界面和系統(tǒng)邏輯結(jié)構(gòu)。從理論上開創(chuàng)了虛擬現(xiàn)實(shí)技術(shù)在聾童言語訓(xùn)練中的應(yīng)用先例。
[關(guān)鍵詞]言語訓(xùn)練;虛擬現(xiàn)實(shí);聾童
[中圖分類號(hào)]G40-057[文獻(xiàn)標(biāo)識(shí)碼]A[論文編號(hào)]1009-8097(2009)03-0050-04
聾童因?yàn)槁犛X障礙,導(dǎo)致不同程度的語言障礙,嚴(yán)重影響他們與主流社會(huì)的溝通交往和自身發(fā)展。而聾童語言的發(fā)展在很大程度上依賴于環(huán)境,根據(jù)聾童的身心發(fā)展特點(diǎn),創(chuàng)設(shè)適合聾童語言發(fā)展規(guī)律的環(huán)境,為聾童語言發(fā)展提供了新的方向。而虛擬現(xiàn)實(shí)技術(shù)因其環(huán)境創(chuàng)設(shè)的獨(dú)特優(yōu)勢(shì),必將為聾童言語的發(fā)展提供強(qiáng)有力的支持。
一常用多媒體及虛擬現(xiàn)實(shí)聾童官語訓(xùn)練軟件評(píng)析
從目前的文獻(xiàn)調(diào)查來看,國內(nèi)外很多學(xué)者在聾童言語康復(fù)訓(xùn)練實(shí)踐方面做出了努力,也有部分不錯(cuò)的商業(yè)訓(xùn)練系統(tǒng)在聾校得到應(yīng)用,但是更多的系統(tǒng)只是進(jìn)行了開發(fā)和測(cè)試,沒有得到實(shí)際應(yīng)用。以下系統(tǒng)在實(shí)際應(yīng)用中發(fā)揮了積極作用。
1軟件介紹
(1)啟音博士(Dr.Speech),美國TigerDRS,Inc公司開發(fā)的比較專業(yè)的聾童言語訓(xùn)練軟件,目前有包括中英文版本在內(nèi)的多個(gè)版本。“啟音博士”提供了數(shù)十個(gè)聲控動(dòng)畫游戲,幫助聾童進(jìn)行多方面的實(shí)時(shí)訓(xùn)練,聾童發(fā)音后,立刻能獲得動(dòng)畫形式的反饋。聾童在玩游戲的同時(shí),該軟件能夠獲得相關(guān)特征曲線圖和統(tǒng)計(jì)報(bào)告,對(duì)于言語訓(xùn)練教師來說,這一功能為記錄聾童的言語過程提供了可能,并為取得更好的訓(xùn)練效果提供了依據(jù)。
(2)妙語快車,語言訓(xùn)練是聾童言語訓(xùn)練的中心任務(wù),聾童大部分的時(shí)間都在從事語言訓(xùn)練。徐州師范大學(xué)開發(fā)的多媒體技術(shù)支持下的語言訓(xùn)練系統(tǒng)“妙語快車”是通過計(jì)算機(jī)多媒體技術(shù)設(shè)計(jì)開發(fā)的訓(xùn)練程序,可以幫助聾童進(jìn)行聽覺訓(xùn)練、發(fā)音器官訓(xùn)練、語音訓(xùn)練、語言理解訓(xùn)練和語言表達(dá)訓(xùn)練。其中發(fā)音訓(xùn)練和辨音訓(xùn)練通過游戲的方式,調(diào)動(dòng)了聾童學(xué)習(xí)語言的積極性。
聾童語言教學(xué)最重要、最艱巨的任務(wù),就是幫助他們建立語言信息和視覺形象、感覺等相互對(duì)應(yīng)關(guān)系。計(jì)算機(jī)多媒體技術(shù)很好地解決了這個(gè)難題。在計(jì)算機(jī)的屏幕上,可以看到文字和圖像,同時(shí)聽到語音,它能幫助聾童建立語言信息和視覺形象的相互感應(yīng)關(guān)系,可以提高聾童學(xué)習(xí)語言的積極性,改善聾童學(xué)習(xí)語言的效果。
2多媒體聾童言語訓(xùn)練軟件在聾童言語學(xué)習(xí)中的不足之處
聾童是聽力有障礙的兒童,他們有自己特殊的認(rèn)知方式,現(xiàn)有的多媒體聾童訓(xùn)練軟件在教學(xué)內(nèi)容的設(shè)置上充分考慮了聾童的言語需求,卻未能充分發(fā)揮聾童的認(rèn)知優(yōu)勢(shì),聾童的視覺和推理優(yōu)勢(shì)沒能得到很好的利用和發(fā)掘,具體表現(xiàn)在以下幾個(gè)方面。
(1)聾童的視覺優(yōu)勢(shì)未能得到充分發(fā)掘
研究者經(jīng)由標(biāo)準(zhǔn)的心理學(xué)范式討論聾童的認(rèn)知能力,發(fā)現(xiàn)聾童在視覺空間任務(wù)上的表現(xiàn)超過健聽兒童。比如聾童在心理旋轉(zhuǎn),面孔識(shí)別,心理表象生成,運(yùn)動(dòng)覺察,邊緣視覺的手語,改變方向的視覺注意等方面聾童都有優(yōu)秀的表現(xiàn)。Todman和Cowdy的研究發(fā)現(xiàn),6—16歲的聾童在視覺信息混合刺激(以下簡(jiǎn)稱CSVI)任務(wù)中的成績(jī)超過健聽兒童。CSVI任務(wù)包括復(fù)雜視覺圖形的短時(shí)記憶和在不同圖形維度上并發(fā)操作的活動(dòng)。這些都說明聾童在視知覺上有自己的天然優(yōu)勢(shì),聾童更加依賴視覺信息,必須連續(xù)而非同時(shí)地處理視覺和言語信息,所以他們的知覺和認(rèn)知機(jī)能與那些利用視覺和聽覺同時(shí)輸入信息的健聽群體不同。也就是說聾童的視知覺有自己的特性,視知覺的某些方面優(yōu)于正常兒童。當(dāng)前的多媒體聾童言語訓(xùn)練系統(tǒng)在一定程度上發(fā)揮了聾童的視覺優(yōu)勢(shì),但在具體視覺優(yōu)勢(shì)的設(shè)置及體現(xiàn)方面和正常兒童語言學(xué)習(xí)軟件沒有太大區(qū)別。
(2)聾童較強(qiáng)的知覺推理能力被忽略
學(xué)習(xí)與交流是人的天性,聾童也不例外。聽力上的缺陷,使得聾童無法理解正常人的語言,為達(dá)到理解語言的目的,聾童依靠殘余聽力及知覺對(duì)聽覺障礙的補(bǔ)償,通過猜想、推理等方法,達(dá)到理解的目的。正常兒童在認(rèn)識(shí)事物的同時(shí)習(xí)得語言,聾童由于聽力缺陷帶來的語言障礙,認(rèn)識(shí)到的往往是事物的形象,及通過推理所得的事物,語言的習(xí)得落后于認(rèn)識(shí)活動(dòng),落后于認(rèn)識(shí)過程中發(fā)展起來的推理能力,使得聾童的推理能力強(qiáng)于言語理解能力。聾童具備了一定的推理能力,在學(xué)習(xí)語言時(shí)可以通過一定的情境認(rèn)知,結(jié)合聾童的推理優(yōu)勢(shì),達(dá)到對(duì)語言的習(xí)得和理解?,F(xiàn)有的多媒體聾童言語訓(xùn)練軟件缺少對(duì)聾童推理能力較強(qiáng)這一特點(diǎn)的考慮,在多媒體言語訓(xùn)練系統(tǒng)的邏輯結(jié)構(gòu)設(shè)置中,未能充分發(fā)揮推理能力較強(qiáng)的優(yōu)勢(shì)。
(3)聾童身心參與度不夠人本主義學(xué)習(xí)理論的代表人物羅杰斯認(rèn)為教學(xué)中應(yīng)該使學(xué)生整個(gè)人沉浸于學(xué)習(xí)之中,包括情感、行為等方面。即在學(xué)習(xí)中要充分發(fā)揮學(xué)生學(xué)習(xí)的自主性,只有把學(xué)生的積極性充分調(diào)動(dòng)起來,學(xué)生才能全身心地投入到學(xué)習(xí)中去。錯(cuò)過最佳學(xué)語期的聾童已經(jīng)習(xí)慣原有的聽和表達(dá)方式,對(duì)聲音的刺激表現(xiàn)出不友好態(tài)度。多媒體訓(xùn)練軟件僅僅依靠視覺形象的刺激,無法將聾童的注意力持續(xù)集中到聲音的刺激上,而多數(shù)聾童言語訓(xùn)練軟件的交互功能較差導(dǎo)致聾童的注意力不集中,或過分集中于多媒體畫面上,不利于聾童的語言習(xí)得。如何調(diào)動(dòng)聾童全身心參與到語言的學(xué)習(xí)中,使聾童在自然場(chǎng)景中學(xué)會(huì)說話,成為當(dāng)前聾童言語訓(xùn)練系統(tǒng)的發(fā)展方向。
二虛擬現(xiàn)實(shí)技術(shù)及其開發(fā)工具
1虛擬現(xiàn)實(shí)技術(shù)概述
虛擬現(xiàn)實(shí)技術(shù)又稱靈境技術(shù),是20世紀(jì)末興起的一種新型綜合性信息技術(shù)。借助虛擬現(xiàn)實(shí)技術(shù)可以為學(xué)習(xí)者創(chuàng)立真三維、全立體的仿真環(huán)境,它可以充分調(diào)動(dòng)人的視覺、聽覺、觸覺、味覺、平衡感、力感、痛感等,通過特制的儀器,學(xué)習(xí)者就可以完全進(jìn)入計(jì)算機(jī)產(chǎn)生的三維空間現(xiàn)實(shí)中,在虛擬空間可以遇到事先安排的各種情境,其臨場(chǎng)感、可信度完全可以同現(xiàn)實(shí)相比。虛擬現(xiàn)實(shí)是一項(xiàng)融合了計(jì)算機(jī)圖形學(xué)、人機(jī)接口技術(shù)、傳感技術(shù)、心理學(xué)、人類工程學(xué)及人工智能的綜合技術(shù)。由于其特有的感知特征,在多領(lǐng)域中得到廣泛應(yīng)用。
虛擬現(xiàn)實(shí)系統(tǒng)的基本特征可以簡(jiǎn)單地表征為沉浸性、交互性和構(gòu)想性。沉浸性是使人具有真實(shí)感并獲得體驗(yàn)的根本。通俗地解釋為“身臨其境”,意味著參與者將不是以敏銳的雙眼和聰慧的大腦介入虛擬環(huán)境,而是要以完整的生物個(gè)體融入虛擬系統(tǒng)。交互性是實(shí)現(xiàn)人機(jī)互動(dòng)的關(guān)鍵,計(jì)算機(jī)使用者可以通過三維交互設(shè)備直接操縱計(jì)算機(jī)所給出的虛擬世界中的對(duì)象,虛擬世界中的對(duì)象也能夠?qū)崟r(shí)地做出相應(yīng)的反應(yīng)。構(gòu)想性則是輔助人類進(jìn)行創(chuàng)造性思維的基礎(chǔ),虛擬現(xiàn)實(shí)系統(tǒng)可以構(gòu)造出那些現(xiàn)實(shí)中不存在或不易觀察到的,只出現(xiàn)在人們想象中的情景。虛擬現(xiàn)實(shí)技術(shù)中人與虛擬環(huán)境的交互作用,在本質(zhì)上意味著它不是現(xiàn)成的而是生成性的,是人為創(chuàng)造的。
虛擬現(xiàn)實(shí)所具有的三個(gè)特征使得傳統(tǒng)的多媒體系統(tǒng)無法與之相比。雖然利用虛擬現(xiàn)實(shí)技術(shù)的聾童語言實(shí)驗(yàn)室尚未問世,但隨著虛擬現(xiàn)實(shí)技術(shù)的發(fā)展,虛擬現(xiàn)實(shí)技術(shù)與聾童語言實(shí)驗(yàn)室相結(jié)合將成為必然。
2虛擬現(xiàn)實(shí)開發(fā)技術(shù)介紹
目前常用的虛擬現(xiàn)實(shí)開發(fā)工具是VRML語言和3D MAX軟件。VRML語言是一種描述三維場(chǎng)景的語言,可以直接構(gòu)建虛擬環(huán)境。通過VRML語言構(gòu)造的三維物體具有代碼簡(jiǎn)單、執(zhí)行速度快等優(yōu)點(diǎn)。用戶可以直接用寫字板編輯VRML文件,也可用VRML的編輯器(如VrmlPad)編輯VRML文件。而3D MAX則提供了良好的用戶界面以及簡(jiǎn)單易行的操作方式,是目前較好的可視化三維開發(fā)工具。3DMAX基于PC平臺(tái)進(jìn)行軟件開發(fā),是目前世界上應(yīng)用最廣泛的三維建模、動(dòng)畫、渲染軟件,其強(qiáng)大的三維場(chǎng)景建造功能簡(jiǎn)單易行,完全可以滿足場(chǎng)景建造的需要。
Poser是由Curious Labs美國公司推出的人體三維動(dòng)畫制作軟件。Poser提供了豐富多彩的人體三維模型,使用這些模型可輕松快捷地設(shè)計(jì)人體造型和動(dòng)作,免去了人體建模的繁瑣工作。Poser的模型材質(zhì)和動(dòng)畫可以導(dǎo)出到其它大型的三維軟件中,如3ds Max和Maya等。Poser強(qiáng)大的人體造型設(shè)計(jì)功能為虛擬人物的制作提供了極大便利,利用其工具,可以很迅速地完成人物的姿態(tài)塑造工作。簡(jiǎn)單直觀的關(guān)鍵幀制作方式,還可以很方便地得到細(xì)膩逼真的人體動(dòng)作。利用該軟件的導(dǎo)入功能可以大大豐富人物造型和動(dòng)作設(shè)計(jì)的創(chuàng)作空間。
虛擬現(xiàn)實(shí)聾童言語訓(xùn)練系統(tǒng)可以采用VRML語言和3DMAX以及Poser相結(jié)合的方法來進(jìn)行開發(fā)。
三虛擬現(xiàn)實(shí)技術(shù)在聾童言語訓(xùn)練中的應(yīng)用研究
1研究背景
虛擬現(xiàn)實(shí)技術(shù)是一種面向自然的交互形式,它對(duì)于聽力障礙的學(xué)習(xí)者有著特殊的用途。2003年3月,中國科學(xué)院計(jì)算所開發(fā)的“中國手語合成系統(tǒng)”,是國內(nèi)第一例利用人工智能,計(jì)算機(jī)圖形學(xué)等技術(shù),實(shí)現(xiàn)用三維虛擬角色演示用戶指定的中國手語。中國手語合成系統(tǒng)負(fù)責(zé)人指出,該系統(tǒng)實(shí)現(xiàn)了手語和自然語言之間的雙向翻譯:一方面,穿戴有數(shù)據(jù)手套和位置跟蹤器的聾人輸入手語,可以轉(zhuǎn)換為正常人可以聽到的語音輸出;另一方面,通過語音識(shí)別技術(shù)識(shí)別正常人的語音,轉(zhuǎn)換為聾人能夠看懂的手語輸出,從而使得聾人能夠“看到”正常人說的話,是一個(gè)用于聾人和具有正常聽說能力的人之間進(jìn)行無障礙自然交流的原型系統(tǒng)。本系統(tǒng)在國際上率先實(shí)現(xiàn)了聾人與健聽人之間的交流和對(duì)話,為手語和自然語言之間的翻譯奠定了基礎(chǔ)。中國手語合成系統(tǒng)的關(guān)鍵意義在于成功地開創(chuàng)了虛擬現(xiàn)實(shí)技術(shù)在聾人教育中的應(yīng)用先河,對(duì)于虛擬現(xiàn)實(shí)技術(shù)在聾人言語訓(xùn)練中的應(yīng)用具有啟發(fā)性意義。
虛擬現(xiàn)實(shí)已經(jīng)成功地模擬了手語的生成過程,它還可以模擬真實(shí)的場(chǎng)景和過程,提供給用戶真實(shí)的經(jīng)歷體驗(yàn)和動(dòng)態(tài)信息。虛擬現(xiàn)實(shí)所具有的對(duì)時(shí)間和空間的壓縮、放大、轉(zhuǎn)換等特性。使得在利用虛擬現(xiàn)實(shí)所營造的真實(shí)場(chǎng)景中很容易實(shí)現(xiàn)學(xué)習(xí)、訓(xùn)練、探索的目的性和娛樂性的統(tǒng)一,對(duì)人們產(chǎn)生強(qiáng)大的吸引力。虛擬現(xiàn)實(shí)技術(shù)的這些特點(diǎn),無論為手語學(xué)習(xí)、還是言語學(xué)習(xí),都起到了語言學(xué)習(xí)環(huán)境所需要的積極作用,從而彌補(bǔ)目前聾童言語訓(xùn)練系統(tǒng)的缺憾,大大提高訓(xùn)練的效果。
2虛擬現(xiàn)實(shí)聾童言語訓(xùn)練系統(tǒng)模型構(gòu)建
語言訓(xùn)練是聾童言語訓(xùn)練的中心任務(wù),聾童大部分的時(shí)間都在從事語言訓(xùn)練。虛擬現(xiàn)實(shí)技術(shù)支持下的語言訓(xùn)練可以通過設(shè)計(jì)的虛擬現(xiàn)實(shí)場(chǎng)景幫助聾童進(jìn)行語言表達(dá)訓(xùn)練、語言理解訓(xùn)練。根據(jù)聾童的需要開發(fā)出虛擬現(xiàn)實(shí)語言訓(xùn)練系統(tǒng),讓學(xué)生在虛擬的語言環(huán)境中漫游,得到更多的言語信息,從而促進(jìn)聾童學(xué)習(xí)語言的積極性。
虛擬現(xiàn)實(shí)聾童言語訓(xùn)練系統(tǒng)模型如圖1所示。
虛擬聾童言語訓(xùn)練系統(tǒng)模型具有以下關(guān)鍵環(huán)節(jié):
(1)創(chuàng)設(shè)虛擬現(xiàn)實(shí)場(chǎng)景
對(duì)聾童來說最困難的是開口說話和表達(dá),因此語言的表達(dá)訓(xùn)練應(yīng)該從啟發(fā)、激勵(lì)聾童開口說話開始。利用Poser軟件工具設(shè)計(jì)出虛擬教師、虛擬學(xué)伴等人物,并將人物導(dǎo)入利用3D MAX創(chuàng)建好的虛擬場(chǎng)景中,利用動(dòng)畫技術(shù)實(shí)現(xiàn)人物的運(yùn)動(dòng),從而逼真地模擬出現(xiàn)實(shí)場(chǎng)景、游戲場(chǎng)景等,讓學(xué)生置身于有虛擬人物的情境中,聾童受到情境的感染,產(chǎn)生探索和交流的欲望,使聾童處于將要開口交流的氛圍當(dāng)中,幫助學(xué)生獲得真實(shí)體驗(yàn),促使聾童做出交流和交互,從而邁出聾童語言表達(dá)的第一步。眾所周知,構(gòu)建優(yōu)良的語言環(huán)境對(duì)促進(jìn)聾童聽說能力的發(fā)展非常重要,因此虛擬聾童語言環(huán)境的構(gòu)建必須貼近聾生的實(shí)際,有一定的針對(duì)性和科學(xué)性。
(2)人機(jī)交互界面的設(shè)計(jì)需遵循聾童的視覺優(yōu)勢(shì)
人機(jī)交互界面相當(dāng)于虛擬聾童言語訓(xùn)練系統(tǒng)的面孔,決定了虛擬現(xiàn)實(shí)系統(tǒng)的表現(xiàn)形式。而且人類視覺原理是人機(jī)交互設(shè)計(jì)的重要依據(jù),人機(jī)交互作用于聾童的視、聽、觸覺,對(duì)聾童接收信息起著基礎(chǔ)的作用。但是聾童由于聽覺障礙,對(duì)于外界信息的選擇多依賴于視覺,使得對(duì)外界信息處理上具有與正常兒童不同的選擇性技巧。人機(jī)交互界面的設(shè)計(jì)應(yīng)該根據(jù)聾童特殊的視覺原理及其優(yōu)勢(shì),精心設(shè)計(jì)視覺信息內(nèi)容,在給聾童言語訓(xùn)練提供豐富視覺信息的同時(shí),避免提供和正常兒童相同的視覺刺激,從而防止視覺信息冗余帶來的厭煩情緒。充分利用虛擬現(xiàn)實(shí)創(chuàng)建真實(shí)場(chǎng)景的特點(diǎn),營造出讓聾童感興趣的視覺畫面,讓他們?cè)谟淇?、輕松的學(xué)習(xí)游戲中進(jìn)行聽和說的訓(xùn)練,利用場(chǎng)景所提供的友好用戶界面教會(huì)聾童注意聲音、識(shí)別聲音、理解聲音的含義,同時(shí)鍛煉發(fā)音器官,循序漸進(jìn)地獲得口語。另外,我們還可以利用虛擬現(xiàn)實(shí)超現(xiàn)實(shí)的特點(diǎn),把語言教學(xué)中的困難之處形象化,使聾童可感覺、可操作,加強(qiáng)視覺形象與語言信息的聯(lián)系,從而培養(yǎng)聾童理解語言的能力。
(3)充分發(fā)揮聾童推理能力較強(qiáng)的優(yōu)勢(shì),設(shè)計(jì)信息呈現(xiàn)的邏輯結(jié)構(gòu)
虛擬現(xiàn)實(shí)系統(tǒng)應(yīng)用成功的關(guān)鍵在于信息呈現(xiàn)的方式以及邏輯安排是否合乎聾童較強(qiáng)的視覺推理特征。兒童多媒體言語訓(xùn)練系統(tǒng)的設(shè)計(jì)在邏輯推理和言語理解方面保持同步,而研究證明聾童推理能力優(yōu)先于言語理解能力,更優(yōu)先于語言能力。因此在虛擬現(xiàn)實(shí)系統(tǒng)信息表達(dá)的邏輯設(shè)計(jì)中,要使言語內(nèi)容的理解程度與聾童的邏輯推理發(fā)展程度相吻合,充分利用較強(qiáng)的推理能力來發(fā)展聾童的語言能力。在虛擬現(xiàn)實(shí)環(huán)境中通過設(shè)置帶有一定情境的推理知識(shí),有意識(shí)地發(fā)揮聾童的推理能力優(yōu)勢(shì),尤其是直觀形象推理能力,訓(xùn)練聾童使用推理的方法來學(xué)習(xí)語言,在理解語言意義的基礎(chǔ)上,習(xí)得與其相對(duì)應(yīng)的口語,從而加深語言印象。
虛擬環(huán)境可以根據(jù)需要,人為地或自動(dòng)地進(jìn)行調(diào)整??梢愿鶕?jù)聾童的情緒和反應(yīng),調(diào)整言語訓(xùn)練的進(jìn)度和內(nèi)容,使語言學(xué)習(xí)和娛樂融為一體,讓學(xué)生保持最佳的練習(xí)狀態(tài)。虛擬現(xiàn)實(shí)技術(shù)本身的性能還在不斷提高,更加簡(jiǎn)單易于操作的技術(shù)無疑能為其在聾校語言教學(xué)中的應(yīng)用提供可能,從而促進(jìn)聾童言語能力的提高。
虛擬現(xiàn)實(shí)技術(shù)在聾童語言教學(xué)中的應(yīng)用結(jié)合了計(jì)算機(jī)圖形學(xué)、傳感技術(shù)、人類工程學(xué)、人工智能、聾童心理學(xué)、康復(fù)科學(xué)、醫(yī)療科學(xué)等技術(shù),是一個(gè)全新的交叉性研究領(lǐng)域。聾校教育專家和一線教師由于教學(xué)任務(wù)繁重和計(jì)算機(jī)技術(shù)欠缺,無力開展計(jì)算機(jī)虛擬現(xiàn)實(shí)技術(shù)的教學(xué)應(yīng)用,聾校需采取一定的方法,如通過校企合作的方式開展虛擬現(xiàn)實(shí)的教學(xué)應(yīng)