摘要：中國2780萬聽障人士中，絕大多數(shù)具備閱讀能力，同時很多經(jīng)過特殊教育學校培訓過的聽障人士具備發(fā)音能力。本項目通過研究近眼顯示技術(shù)，分析和論證觸覺和視覺對言語交流的補償機制;比較了幾種主流的近眼顯示技術(shù)，指出它們對聽障人群康復的弊端所在;論證了電潤濕技術(shù)在幫助成人聽障人士康復過程中的作用，指出觸覺與視覺的聯(lián)合補償機制能夠提高聽障人群的勞動能力，改善他們的生活品質(zhì)，減輕社會負擔。

關(guān)鍵詞：聽障;康復;溝通;近眼顯示;電潤濕

中圖分類號：TN873? ? 文獻標識碼：A? ? ? ?文章編號：1007-9416（2020）10-0000-00

1聽障康復

1.1聽障現(xiàn)狀

聽障人群是我國主要的殘疾群體，其總?cè)丝诩s為2057萬，達到全國人口的1.67%， 其中兒童約為80余萬，“迄今國內(nèi)接受人工耳蝸植入的患者人數(shù)累積達到10000余人，其中90%以上是兒童”（曹克利、魏朝剛，中華耳鼻咽喉頭頸外科雜志， 2010，45（10）： 798-799）。聽障嚴重制約了聽障人群對社會的認知和學習，輕度耳聾患者可以依靠助聽器改善生活質(zhì)量，重度或極重度以上的耳聾患者就只能選擇人工耳蝸[7]，但人工耳蝸不僅售價昂貴，而且對聾啞人的身體也有特殊要求。這些因素極大地限制了聽障人群對人工耳蝸的選擇。

1.2問題所在

造成聽障人群各種社會困難的根本原因是言語溝通技能的缺失[3]。但實際上絕大部分聽障人群的語言系統(tǒng)良好，具備發(fā)音和表達言語的物理條件和生理條件[2]。很多聽障人士在經(jīng)過訓練之后普遍具備單向言語表達的能力，即通過言語表達自身意圖[5]。但是由于無法聽見，導致無法實現(xiàn)雙向溝通，同時聽障人群也無法判斷自身言語的語音大小是否合適，無法準確判斷自己的言語內(nèi)容是否符合自己的真實意圖[4]，即缺乏實時校正系統(tǒng)。

1.3解決方案

皮膚聽覺補償系統(tǒng)+近眼文字顯示系統(tǒng)。皮膚聽覺補償系統(tǒng)（也可以理解為觸覺補償）可以實現(xiàn)聲波導入[2]，但無法在短期內(nèi)實現(xiàn)聽懂的目的;語音文字轉(zhuǎn)換系統(tǒng)可以實現(xiàn)實時的文字轉(zhuǎn)換，但無法獲得對聲波的感知;兩者結(jié)合可以實現(xiàn)優(yōu)勢補充。光譜與音頻的自動轉(zhuǎn)換技術(shù)可以實現(xiàn)不同的人說出來的文字顏色不同[8] ，能夠有效實現(xiàn)復雜背景下的多人交流，多人同時說話的情況下所轉(zhuǎn)化出來的文字不會出現(xiàn)邏輯混亂。實現(xiàn)兩者結(jié)合的載體是近眼顯示系統(tǒng)，近眼顯示技術(shù)的優(yōu)勢是不需要做手術(shù)，即戴即用，使用方便，基本不受年齡限制。

1.4方案原理

聽障人士在與健聽人士語音交流時，可以實現(xiàn)觸覺補償系統(tǒng)與視覺系統(tǒng)的雙重補償，一方面通過皮膚聽覺補償系統(tǒng)感知對方和自己的語音存在及聲音的大小，另一方面通過視覺獲得同步的文字信息[6]，獲得交流對象和自己的語音含義，即實時校正系統(tǒng)得以建立。

通過圖1和圖2可以看出人類的言語機制（圖1）與朗讀機制（圖2）受聽覺皮層功能的影響較小[1]，觸覺與視覺的聯(lián)合補償機制可以幫助言語機制和朗讀機制克服聽障阻礙，實現(xiàn)聽障人群與健聽人群的言語交流。

1.5技術(shù)瓶頸

本方案的核心是近眼顯示不能遮擋現(xiàn)實情景，近眼顯示屏幕的透光率和虛擬文字系統(tǒng)的色飽和度以及畫面響應時間是關(guān)鍵。由于近眼顯示技術(shù)本身尚不成熟，以下通過論證幾種近眼顯示方案的對聽障人群的不足，并出新的近眼顯示方案。

2光波導AR近眼顯示對聽障人群的不足

（1）在使用場合方面，現(xiàn)有的光波導近眼顯示產(chǎn)品中，“HoloLens和DAQRI Smart Glasses的亮度約為300尼特，而Magic Leap One亮度約為200尼特”（數(shù)據(jù)源自網(wǎng)絡，https：//t.cj.sina.com.cn/articles/view/5868123755/15dc4766b00100k2ff？from=digit），其他大多數(shù)AR眼鏡的亮度則僅適合在室內(nèi)使用，在室外幾乎無法用，OLED 或microLED方案也同樣存在無法在外界強光下使用的問題。這種缺陷對聽障人群的使用是致命性的，會導致室外無法溝通，這對于大多數(shù)生活場景和工作場景在室外的聽障人群尤其無法容忍。

（2）在視場角方面，現(xiàn)有光學波導方案的FOV視場角缺陷明顯，一般只能達到40°×40°的視場角，目前市場上混合光波導方案的最大視場角也僅為51°×51°。視場角小也就意味著可用于呈現(xiàn)文字的空間有限，也就是芯片在進行文字轉(zhuǎn)換時可以調(diào)整的空間有限。在語音文字轉(zhuǎn)換過程中，軟件需要根據(jù)足夠的語音信息來判斷和組織文字信息，這個過程中需要對前面已經(jīng)呈現(xiàn)的文字進行必要的修改，如果呈現(xiàn)文字的可視窗口太小，就會使軟件調(diào)整后的文字無法呈現(xiàn)，這樣帶來的后果是邏輯混亂，無法滿足有效交流的需求。

（3）在透光率方面，現(xiàn)有工業(yè)端的光波導近眼顯產(chǎn)品中，“HoloLens的透光率大約在40%左右，Magic Leap One的透光率約為15%，2019年初展示的Nreal機型大約具備25%左右的透光率”（數(shù)據(jù)源自網(wǎng)絡）。較低的透光率必然導致清晰度和舒適度的下降，這樣的場景對聽障人群必須依賴文字進行交流帶來了不小的挑戰(zhàn)，沒有足夠的透光率，投射型的文字呈現(xiàn)是無法滿足文字識別的需求。

（4）在光學干擾方面，現(xiàn)有的光學波導方案中，存在“光暈、彩虹斑等”現(xiàn)象，這種現(xiàn)象是由AR眼鏡側(cè)面或后面透入的雜散光造成的，雜散光會導致顯示問題。類似方案的衍射光波導也會導致了色散問題的存在，這是由于衍射過程對于入射光的角度和波長具有選擇性選，相同色彩的衍射效率會隨著入射角度的不同而浮動，這種情況下整個視場角（FOV）內(nèi)的紅黃藍三色光的配比出現(xiàn)變動導致“彩虹效應”。對于需要將文字根據(jù)音頻轉(zhuǎn)換成有色文字的軟件來說，如何避免“彩虹效應”至關(guān)重要，因為有色文字是聽障人群判斷文字來源于誰的重要依據(jù)，“彩虹效應”會擾亂聽障人群的文字歸屬判斷。

3 LCD近眼顯示技術(shù)對聽障人群的不足

LCD理論上可以實現(xiàn)透明型或半反半透型近眼顯示系統(tǒng)。但缺陷也很明顯，色飽和度、透光率嚴重不足，遮蔽現(xiàn)象明顯。

（1）在透射型條件下，如果沒有第三方光源，則透光率明顯不足，只能在正午日光下實現(xiàn)透明顯示，室內(nèi)條件下的聽障人群得不到滿意的體驗。

（2）色彩飽和度需求高，透射條件下每單位需要800流明（實驗數(shù)據(jù)）以上才能達到色彩飽和度需求，雖然聽障人群對畫面沒有特殊要求，但只有強光環(huán)境下才能看清文字的使用條件顯然無法滿足聽障人群的需求。

（3）半反半透型的LCD方案可以滿足室內(nèi)和室外的應用場景需求，當自有光源亮度超過外部環(huán)境光時，會出現(xiàn)虛擬信息遮蔽現(xiàn)實場景情況（實驗檢測結(jié)果），影響聽障人群對現(xiàn)實場景的觀察。

（4）半反半透型LCD方案需要背光源，這就導致設備具有發(fā)熱性，關(guān)鍵在于熱源距離眼球太近（不足2cm），需要散熱風扇（風扇距離眼球約2cm），長期使用會導致眼球干澀，不利于聽障人群的長期佩戴。

4 OLED 近眼顯示技術(shù)對聽障人群的不足

透明型OLED 屏幕具有自發(fā)光的特點，在室內(nèi)和室外都能良好地呈現(xiàn)畫面，除色散問題外，這項技術(shù)的缺點跟光波導很相似。OLED 屏幕還具有“燒屏”（像素衰減）和發(fā)熱的特征，屏幕本身的發(fā)熱對眼球的近距離觀察極為不利，透明度與清晰度均不理想，同樣不利于聽障人群的長期佩戴。

5電潤濕（Electrowetting，EW）近眼顯示方案的潛在優(yōu)勢

電潤濕的近眼顯示方案主要通過油膜反射實現(xiàn)，在電潤濕顯示器中包含水和油兩種不相溶的介質(zhì)，其中水的透明性和油膜的非透明特征是構(gòu)成電潤濕近眼顯示的關(guān)鍵，通過透明電極的作用可以控制油膜的收縮度[9]。沒有電壓作用的時候，水和油是相互不溶的，結(jié)構(gòu)是一層水一層油。遇到電壓時，油膜收縮一個點[9]。通過對油膜染色就能夠?qū)崿F(xiàn)反射型的近眼顯示結(jié)構(gòu)，由于反射結(jié)構(gòu)不需要第三方光源，且電潤濕的反射效率超過50%，這就使得電潤濕結(jié)構(gòu)的近眼顯示方案對聽障人群是一個比較理想的文字顯示方案。以下分析電潤濕方案對聽障人群的特殊優(yōu)勢。

（1）反射原理實現(xiàn)的油膜像素成像[9]?？梢暂p松實現(xiàn)任何色彩的渲染。這使得音頻信號和光譜信號有較大的匹配空間，可以實現(xiàn)任意范圍的個性音色與文字顏色的轉(zhuǎn)換。聽障人群可以通過文字色彩變化輕松實現(xiàn)語音歸屬的識別。

（2）光源采用的是自然光源，對光源的要求低，適用范圍廣，能夠在室外使用，并且由于使用的是自然光源，其優(yōu)點恰恰是只要可見光足夠就行。這就保障了聽障人群可以在復雜勞動條件下的對設備的依賴。

（3）實現(xiàn)了擴大視場角的效果，接近人的自然視場角，可以輕松實現(xiàn)120°×120°的視場角。這樣就能夠在更大的視角內(nèi)呈現(xiàn)文字信息，減輕短時記憶的負擔，還可以及時呈現(xiàn)軟件對文字的修正，防止誤解或邏輯混亂。

（4）電潤濕的反射原理使得虛擬信息成像不受外界光線強弱的干擾，室內(nèi)弱光環(huán)境和室外強光環(huán)境均能實現(xiàn)優(yōu)良的色彩飽和度，室外光和室內(nèi)光表現(xiàn)一致。對使用者的眼睛沒有副作用，有利于聽障人群長期使用。

（5）由于是光反射原理，不存在光波導方案中出現(xiàn)的光折射缺陷和雜散光干擾現(xiàn)象。雜散光在電潤濕（EW）單元成像時呈現(xiàn)反射效果，是主要的反射光來源，是EW成像的光源之一（若油膜被設計成為半透明狀態(tài)是，透射光也能幫助EW單元成像，形成半透明現(xiàn)象）。

6結(jié)語

毋庸置疑能夠使聽障人群獲得聲波感知和識別的人工耳蝸方案是理想方案，但由于年齡因素、身體因素和價格因素，目前還不能使大多數(shù)聽障人群接受人工耳蝸的方案。在這樣的背景下視覺與觸覺相結(jié)合重建聽障人群的言語機制成為未來有效的替代方案。筆者通過對聽障康復技術(shù)方案的論證和對近眼顯示技術(shù)的分析，得出目前康復聽障人群較為理想的技術(shù)方案和技術(shù)組合。筆者認為電潤濕方案極有可能成為改善聽障人群交流的技術(shù)突破口。

參考文獻

[1] 【美】貝爾，【美】柯勒斯，【美】帕羅蒂斯.神經(jīng)科學.探索腦[M].費城：利平科特威廉姆斯.威爾金斯出版社，2005.

[2] 【美】David L. Felten，Ralph F.Jozefowicz.奈特人體神經(jīng)解剖彩色圖譜[M].崔益群，譯.北京：北京人民衛(wèi)生出版社，2009.

[3] 崔剛.神經(jīng)語言學[M].北京：清華大學出版社，2015.

[4] 羅國剛，李公正.聽力障礙后智能結(jié)構(gòu)的改變和評估[J].中國行為醫(yī)學科學，2001（5）：114-115.

[5] 王楓，胡旭君，秦艷玲，等.聽力障礙兒童視覺記憶能力在言語訓練中的作用[J].中國聽力語言康復科學雜志，2005（4）：19-20.

[6] 邢丹.聽力障礙兒童篇章閱讀的眼動特征[D].大連：遼寧師范大學，2005.

[7] 曹克利，魏朝剛.亟待加強兒童人工耳蝸植入術(shù)后效果的評估[J].中華耳鼻咽喉頭頸外科雜志，2010（10）：798-799.

[8] 鄧勇，唐彪，郭媛媛，等.電潤濕顯示彩色油墨材料研究進展[J].華南師范大學學報（自然科學版），2016，48（5）：31-36.

[9] 錢明勇，林珊玲，曾素云，等.電潤濕電子紙的實時動態(tài)顯示驅(qū)動系統(tǒng)實現(xiàn)[J].光電工程，2019，46（6）：87-95.

收稿日期：2020-08-18

基金項目：江蘇省社會教育規(guī)劃課題：聽障人士的康復培訓與就業(yè)培訓方式研究（JSS-B-2019001）

作者簡介：汪勇（1971—），男，安徽舒城人，碩士，研究方向：神經(jīng)語言學。

Effect of Near Eye Display Technology on Speech Compensation Mechanism of Hearing Impaired People

WANG Yong1，2

（1.Wuxi Vocational College of Science and Technology， Wuxi? Jiangsu? 214000;

2.Jiangsu Lijun Intelligent Technology Co.， Ltd.， Wuxi? Jiangsu? 214000）

Abstract：Among the 27.8 million hearing-impaired people in China， the vast majority have the ability to read， and many of them who have been trained in special education schools have the ability to pronounce. Through the research of near eye display technology， this project analyzes and demonstrates the compensation mechanism of tactile and visual for speech communication. After comparing several mainstream near eye display technologies， this paper points out their disadvantages in the rehabilitation of hearing-impaired people. This paper also demonstrates the role of electrowetting technology in the rehabilitation of adult hearing-impaired people， and points out that the joint compensation mechanism of touch and vision can improve the labor ability of hearing-impaired people， improve their quality of life and reduce the social burden.

Keywords：hearing impaired; rehabilitation; communication; near eye display; electrowetting