李曉博 于會(huì)敏 孟昭軍 劉鍇旭 陶紅穎

（遼寧科技學(xué)院電氣與信息工程學(xué)院，遼寧本溪，117004）

0 引言

據(jù)《中國(guó)自閉癥教育康復(fù)行業(yè)發(fā)展?fàn)顩r報(bào)告》顯示，中國(guó)自閉癥人群數(shù)量超過(guò)千萬(wàn)，其中0～14歲兒童患者人數(shù)超過(guò)200萬(wàn)[1]。據(jù)Coeckelbergh 等人的調(diào)查，74%的自閉癥兒童相比與人交流，更愿意接受可愛(ài)型機(jī)器人[2]。有些機(jī)器人造型雖然不規(guī)則，卻有討人喜歡的外觀，讓自閉癥兒童感到親切且易于接受。因此，本文以NAO機(jī)器人為平臺(tái)，結(jié)合視覺(jué)、語(yǔ)音、觸覺(jué)等多通道的人機(jī)交互技術(shù)，將人形機(jī)器人應(yīng)用到自閉癥兒童社會(huì)交往課程中。

1 國(guó)內(nèi)外研究現(xiàn)狀

1976年，在機(jī)器人誕生之初，國(guó)外有研究者進(jìn)行了一項(xiàng)大膽的嘗試：Weir等人利用機(jī)器人對(duì)一名自閉癥兒童進(jìn)行干預(yù)訓(xùn)練，最后取得了良好效果。之后，隨著智能機(jī)器人的出現(xiàn)，更多的研究人員開(kāi)始利用智能機(jī)器人輔助治療自閉癥兒童[3]。Dautenhahn等人研究認(rèn)為，機(jī)器人在和自閉癥兒童交流時(shí)，會(huì)給自閉癥兒童營(yíng)造出一種可預(yù)測(cè)的環(huán)境，這種安全又穩(wěn)定的環(huán)境對(duì)穩(wěn)定自閉癥兒童的情緒十分有利，同時(shí)也非常適合發(fā)展自閉癥兒童的社交技能[4]。以上這些研究都表明：機(jī)器人在干預(yù)治療自閉癥兒童過(guò)程中具有潛力和優(yōu)勢(shì)。

目前國(guó)外的相關(guān)研究方向多集中于模仿、引發(fā)行為等。在模仿方向上，Warren等人曾設(shè)計(jì)過(guò)一個(gè)2×2的“兩因素混合”實(shí)驗(yàn)，每個(gè)因素有兩個(gè)水平，一個(gè)水平是有機(jī)器人的場(chǎng)景和真人場(chǎng)景，另一個(gè)水平是自閉癥兒童和正常兒童。實(shí)驗(yàn)讓每名兒童模仿機(jī)器人或真人，來(lái)對(duì)比測(cè)試自閉兒童和普通兒童模仿機(jī)器人或者真人時(shí)的效果[5]。在引發(fā)行為方向上，Dautenhahn等人在研究中引入了具有觸覺(jué)和視覺(jué)交流的機(jī)器人，讓自閉癥兒童觀察機(jī)器人唱歌、跳舞，引發(fā)眼神交流和注視行為[6]。因?yàn)檠凵窨梢詡鬟_(dá)人的注意力和情緒，而這是自閉癥兒童極為缺少的一項(xiàng)能力。

在國(guó)內(nèi)，南開(kāi)大學(xué)的研究者挑選了20名自閉癥兒童進(jìn)行人機(jī)交互社交場(chǎng)景的眼動(dòng)實(shí)驗(yàn)，研究發(fā)現(xiàn)自閉癥兒童和正常兒童對(duì)人機(jī)交互社交場(chǎng)景展現(xiàn)出相同的注意模式，證明機(jī)器人可以引發(fā)自閉癥兒童的正常的注意模式[7]。

本文根據(jù)自閉癥兒童的性格差異（如社交障礙表現(xiàn)、自身特點(diǎn)、行為習(xí)慣等），利用多通道人機(jī)交互技術(shù)制定出個(gè)性化方案設(shè)計(jì)、開(kāi)發(fā)社會(huì)交往課程，以人機(jī)交互模式干預(yù)治療自閉癥兒童的社會(huì)交往能力缺失癥狀。

2 多通道的人機(jī)交互

多通道人機(jī)交互就是將視覺(jué)、語(yǔ)音、觸覺(jué)等多個(gè)感知通道綜合在一起，實(shí)現(xiàn)NAO機(jī)器人像人一樣通過(guò)多種途徑與自閉癥兒童進(jìn)行互動(dòng)，進(jìn)而激發(fā)自閉癥兒童的興趣。多通道的人機(jī)交互技術(shù)使NAO能更加靈活、更加智能地干預(yù)治療自閉癥兒童。

2.1 視覺(jué)交互通道

視覺(jué)交互通道實(shí)現(xiàn)了讓NAO機(jī)器人“看到”交互者的功能。NAO 的頭部有2個(gè)作為視覺(jué)傳感器的攝像頭，一個(gè)是前額攝像頭，主要用于拍攝遠(yuǎn)景圖像，另一個(gè)是嘴部攝像頭，主要用于拍攝機(jī)器人下方的圖像。

與人類(lèi)的視覺(jué)處理不同，NAO需要對(duì)拍攝到的圖像進(jìn)行計(jì)算處理，以便了解自己看到的是什么。NAO的視覺(jué)交互主要依賴(lài)于ALVideoDevice（視覺(jué)處理）模塊和ALFaceDetection（臉部檢測(cè)）模塊。其中，ALVideoDevice模塊負(fù)責(zé)對(duì)相機(jī)獲取的源圖像進(jìn)行前期處理，是其他視覺(jué)模塊的基礎(chǔ)；ALFaceDetection是人機(jī)交互的重要模塊，用于檢測(cè)和識(shí)別人臉[8]。調(diào)用ALFaceDetection模塊后，該模塊會(huì)在相機(jī)已獲取到圖像中搜索人臉并計(jì)算人臉特征值，如圖1所示，并將特征值寫(xiě)入NAO的數(shù)據(jù)庫(kù)中。

圖1 人臉特征值

圖2 為多通道人機(jī)交互實(shí)例，其中，視覺(jué)交互通道模塊調(diào)用了選擇照相機(jī)指令盒、視覺(jué)掃描指令盒、臉部檢測(cè)指令盒、開(kāi)關(guān)指令盒、說(shuō)話指令盒。其中，視覺(jué)掃描指令盒采用時(shí)間軸編寫(xiě)，通過(guò)設(shè)置NAO頭部的關(guān)節(jié)，使得頭部可以朝向左和右，把視覺(jué)掃描指令盒的輸入和輸出接在一起，就可以實(shí)現(xiàn)NAO的搖頭功能，如圖3所示。NAO可以尋找四周的目標(biāo)人物，其頭部擺動(dòng)范圍在-119.5°～119.5°之間。

當(dāng)NAO上的相機(jī)掃描到自閉癥兒童時(shí)，NAO會(huì)主動(dòng)向?qū)Ψ秸f(shuō)：“你好啊，小朋友”，并試圖和對(duì)方握手。

圖2 多通道人機(jī)交互實(shí)例

圖3 NAO搖頭仿真

2.2 語(yǔ)音交互通道

語(yǔ)音交互通道可以實(shí)現(xiàn)機(jī)器人與自閉癥兒童進(jìn)行對(duì)話交流的功能，讓NAO具有“說(shuō)”和“聽(tīng)”的能力。NAO的頭部裝有4個(gè)靈敏度為20mV/Pa±3dB at 1kHz、頻率范圍在150Hz～12kHz的定向麥克風(fēng)，使得機(jī)器人在獲取外界聲音的同時(shí)，還可以辨別出聲源的方向。每個(gè)麥克風(fēng)都對(duì)應(yīng)一個(gè)聲道，并且具有獨(dú)立的采樣和編碼電路[9]。

NAOqi（NAO機(jī)器人內(nèi)部的操作系統(tǒng)）可提供ALAudioRecorder（錄音）模塊，其錄音的音頻文件保存的文件格式為WAV或OGG[10]，語(yǔ)音識(shí)別流程如圖4所示。

圖4 語(yǔ)音識(shí)別流程圖

NAO的ALSpeechRecognition(語(yǔ)音識(shí)別)算法采用美國(guó)NUANCE公司的語(yǔ)音識(shí)別引擎，可以識(shí)別預(yù)先定義的詞和短語(yǔ)語(yǔ)音。由于NAO本身的中文語(yǔ)音識(shí)別有一定的局限性，所以筆者在科大訊飛股份有限公司的官網(wǎng)申請(qǐng)語(yǔ)音識(shí)別WebAPI（網(wǎng)絡(luò)應(yīng)用程序編程接口），再利用APPID（接口賬號(hào)）和接口密鑰組裝了一個(gè)http請(qǐng)求頭（這需要根據(jù)開(kāi)發(fā)文檔來(lái)更改音頻參數(shù)以得到所需要的音頻），然后把NAO的IP地址添加到該官網(wǎng)上，最終通過(guò)調(diào)用語(yǔ)音識(shí)別WebAPI的接口提高了NAO對(duì)中文的語(yǔ)音識(shí)別的準(zhǔn)確度[11]。

當(dāng)Speech Reco（語(yǔ)音識(shí)別模塊）聽(tīng)到聲音輸入時(shí)，它會(huì)根據(jù)設(shè)定的詞庫(kù)做出相應(yīng)的回答。如果輸入的聲音信號(hào)與Speech Reco中設(shè)定的詞庫(kù)相同，則信號(hào)會(huì)傳入到利用Python語(yǔ)言編程好的語(yǔ)音指令盒中，如圖5所示；如果聲音信號(hào)和Speech Reco的詞庫(kù)不同，那么信號(hào)就會(huì)傳入到說(shuō)話指令盒中并輸出所設(shè)定的對(duì)話。該模塊設(shè)置的交互語(yǔ)言為中文和英文。

NAO機(jī)器人能夠引導(dǎo)自閉癥兒童進(jìn)行一些有趣的對(duì)話和游戲。語(yǔ)音交互模塊中還設(shè)置了幾個(gè)有趣的故事，當(dāng)自閉癥兒童說(shuō)出故事名字時(shí)，NAO便會(huì)把這個(gè)故事講給自閉癥兒童聽(tīng)。當(dāng)自閉癥兒童問(wèn)NAO：“你能給我跳個(gè)舞嗎?”NAO就會(huì)說(shuō)：“當(dāng)然，唱、跳、rap（說(shuō)唱）、踢足球，我樣樣精通”。接下來(lái)自閉癥兒童就可以欣賞NAO跳的舞蹈了。

圖5 語(yǔ)音代碼

2.3 觸覺(jué)交互通道

觸覺(jué)交互原理是通過(guò)依靠NAO的各種傳感器（如紅外線、超聲波、溫度傳感器以及頭部、手部、胸部的觸摸傳感器等），感知外部信息。當(dāng)自閉癥兒童觸碰到NAO的頭部或者腳部等部位的傳感器時(shí)，NAO會(huì)做出相應(yīng)的反應(yīng)。

NAO的觸覺(jué)交互主要依賴(lài)于ALTouch（觸覺(jué))模塊和ALSonar（聲吶）模塊。當(dāng)自閉癥兒童觸碰到觸摸傳感器時(shí)，傳感器讀出的值為1.0，NAO做出的反應(yīng)是根據(jù)編寫(xiě)的程序而定；否則讀出的值為0.0，此時(shí)表示沒(méi)有觸碰到，NAO不作出反應(yīng)。當(dāng)自閉癥兒童觸摸NAO的腳步傳感器時(shí)，NAO眼睛和耳朵上LED燈的顏色會(huì)發(fā)生改變，同時(shí)還可以讓NAO切換到不同形態(tài)。當(dāng)NAO的腦袋被觸摸時(shí)，NAO會(huì)說(shuō)：“是誰(shuí)在摸我的腦袋，我好癢啊”。自閉癥兒童還可以拉著NAO的手，讓NAO跟著他們一起走。

ALSonar（聲吶）模塊用于超聲波的測(cè)距。超聲波系統(tǒng)有2個(gè)發(fā)射器和2個(gè)接收器，二者的頻率為40kHz，敏感度為- 86dB，分辨率為1cm，檢測(cè)范圍為25mm～2.55m。當(dāng)超聲波向某一方向發(fā)射時(shí)，發(fā)射的同時(shí)開(kāi)始計(jì)數(shù)，當(dāng)碰到障礙物時(shí)信號(hào)反射回來(lái)，接收器接收到信號(hào)時(shí)停止計(jì)數(shù)。聲波在空氣中傳播的速度是340m/s，計(jì)時(shí)器記錄的時(shí)間是t，故可以計(jì)算出發(fā)射點(diǎn)到障礙物的距離為s=340t/2[12]。NAO在行走過(guò)程中，聲吶模塊會(huì)檢測(cè)與前方障礙物的距離，當(dāng)障礙物與機(jī)器人的距離小于設(shè)定的參數(shù)值時(shí)，機(jī)器人會(huì)轉(zhuǎn)向左邊或者右邊。

3 實(shí)驗(yàn)分析

本文的實(shí)驗(yàn)過(guò)程是把NAO機(jī)器人應(yīng)用到自閉癥兒童的戶外課堂中。研究小組將5名10～14歲的自閉癥兒童分5個(gè)組，分別與1名正常兒童和1個(gè)NAO機(jī)器人做短時(shí)互動(dòng)交流，最后進(jìn)行對(duì)比實(shí)驗(yàn)，如圖6所示。

圖6 NAO與自閉癥兒童互動(dòng)實(shí)驗(yàn)

實(shí)驗(yàn)數(shù)據(jù)表明，自閉癥兒童與NAO機(jī)器人互動(dòng)的時(shí)間明顯多于與正常兒童互動(dòng)的時(shí)間。5組自閉癥兒童的實(shí)驗(yàn)數(shù)據(jù)如圖7所示。研究結(jié)果表明，自閉癥兒童對(duì)NAO機(jī)器人更有好奇心，與其互動(dòng)的意愿更強(qiáng)，通過(guò)適合的自閉癥干預(yù)治療模塊可以提高自閉癥兒童的社交能力。

圖7 實(shí)驗(yàn)數(shù)據(jù)

4 結(jié)論

本文以NAO機(jī)器人為平臺(tái)，結(jié)合了視覺(jué)交互、語(yǔ)音交互、觸覺(jué)交互等多通道的人機(jī)交互技術(shù)，設(shè)計(jì)了一套相應(yīng)的干預(yù)治療自閉癥模塊。其中，在視覺(jué)方面，通過(guò)ALFcaeDetectionmo算法來(lái)識(shí)別人臉；在語(yǔ)音方面，通過(guò)調(diào)用科大訊飛的語(yǔ)音識(shí)別API完善了NAO的在線語(yǔ)音識(shí)別功能，利用對(duì)話程序?qū)AO進(jìn)行控制；在觸覺(jué)方面，利用ALTouch算法實(shí)現(xiàn)NAO與人的肢體交互。最后通過(guò)對(duì)NAO機(jī)器人干預(yù)治療自閉癥兒童的康復(fù)訓(xùn)練模塊進(jìn)行驗(yàn)證，實(shí)驗(yàn)結(jié)果表明，自閉癥兒童對(duì)NAO更好奇，NAO能夠激發(fā)自閉癥兒童與外界溝通的意愿。

NAO機(jī)器人干預(yù)治療自閉兒童的人機(jī)交互應(yīng)用研究中涉及多方面的理論、方法和技術(shù)。雖然筆者在NAO與人對(duì)話方面編寫(xiě)了相關(guān)的模塊，但是目前需要開(kāi)發(fā)更多適合與自閉癥兒童對(duì)話交流的模塊以形成更完善的數(shù)據(jù)庫(kù)，同時(shí)也需要更多特定情景和不同類(lèi)型自閉癥兒童的模塊。本項(xiàng)研究還需要在實(shí)際應(yīng)用中不斷積累和完善，做進(jìn)一步的研究和開(kāi)發(fā)。