陳欣民,孟超,曲景影
(南開大學(xué)電子信息與光學(xué)工程學(xué)院,天津300071)
谷歌作為普適計(jì)算的一大終端,在兩大領(lǐng)域有重要應(yīng)用:增強(qiáng)實(shí)境和人機(jī)交互。增強(qiáng)實(shí)境的研究者主要關(guān)注怎樣呈現(xiàn)更多的物理世界的信息;而人機(jī)交互研究者主要是致力于自然控制模式上的新方法[2]。本系統(tǒng)結(jié)合谷歌增強(qiáng)實(shí)境的“輸入”實(shí)現(xiàn)信息的放大以及谷歌人際交互的“輸出”控制機(jī)器或者計(jì)算機(jī),這樣形成信息雙向傳輸并且使得交互性更強(qiáng)。
由于要設(shè)計(jì)成一個(gè)終端,本系統(tǒng)僅適用于兩種信號(hào)(眼部運(yùn)動(dòng)和頭部運(yùn)動(dòng))的獲取以及具有一定透明度的屏顯裝置,其他計(jì)算通過(guò)普通的智能手機(jī)來(lái)實(shí)現(xiàn)。特別的,系統(tǒng)主要允許使用者可以和電動(dòng)輪椅進(jìn)行交互,方便使用者控制輪椅的行進(jìn)。
由于眼部移動(dòng)的角度與探測(cè)到的電信號(hào)幾乎成正比,我們可以通過(guò)濾波和放大得到眼睛移動(dòng)引起的電位變化,如圖1所示[3]。
圖1 眼部移動(dòng)與電信號(hào)的關(guān)系
眼電信號(hào)是通過(guò)左右眼眶附近的一對(duì)Agcl電極獲得,將得到的電信號(hào)送入濾波放大電路中[4]。濾波放大電路主要包括由INA128P組成的放大倍數(shù)為51、高共模抑制比的一級(jí)放大器,截止頻率為0.05Hz的二階高通濾波器,放大倍數(shù)為131的二級(jí)放大器,截止頻率為27.6Hz的一級(jí)二階低通濾波器,截止頻率為15.2Hz的二級(jí)二階低通濾波器和電壓偏置調(diào)整電路,放大濾波電路示意圖如圖2所示。
圖2 信號(hào)處理電路
信號(hào)處理電路通過(guò)濾波去除了EEG、ECG和EMG信號(hào),得到了頻率范圍為0.05~15.02Hz的眼電信號(hào),并且通過(guò)放大得到0~5V適合于單片機(jī)的工作電壓,通過(guò)A/D轉(zhuǎn)換器輸入到單片機(jī)中。對(duì)于眼睛移動(dòng)產(chǎn)生的信號(hào),當(dāng)眼睛從正視前方到向右看(或者左側(cè)),然后恢復(fù)向前看,這樣被認(rèn)為是一個(gè)完整的控制信號(hào)發(fā)出動(dòng)作。對(duì)于頭部運(yùn)動(dòng),點(diǎn)頭或者搖頭則被認(rèn)為是一個(gè)完整的控制信號(hào)。
系統(tǒng)通過(guò)結(jié)合GPS和電子羅盤,提供給使用者要前往地點(diǎn)的實(shí)時(shí)路線。在本系統(tǒng)中,智能手機(jī)中的電子羅盤由于平時(shí)置于使用者的口袋中,不能很有效地顯示路線,且開車人不方便拿手機(jī)觀察路線[5]。所以,眼鏡裝置被嵌入電子羅盤功能。使用者所面對(duì)的方向可以通過(guò)電子羅盤進(jìn)行識(shí)別從而發(fā)送到智能手機(jī)與GPS信號(hào)進(jìn)行綜合。這幫助使用者到達(dá)目的地。
要注意的是,通過(guò)GPS獲得的放大數(shù)據(jù)以及眼鏡中的電子羅盤與使用者前方的某些物體是無(wú)關(guān)聯(lián)的。事實(shí)上,許多AR的應(yīng)用都會(huì)考慮實(shí)景3D物體的具體特征,并且呈現(xiàn)出準(zhǔn)確的虛擬圖像到屏幕上。這里主要指一些特征諸如放縮、透明度以及內(nèi)物空間關(guān)系等。在這些情境下,常需要一個(gè)前置攝像頭記錄實(shí)時(shí)環(huán)境情況。
這部分討論了在輪椅上通過(guò)使用本系統(tǒng)提供非手動(dòng)控制的方法。根據(jù)輕便和電源的要求,系統(tǒng)的眼鏡部分由三部分模塊組成:信號(hào)處理模塊、顯示驅(qū)動(dòng)模塊、與手機(jī)以及輪椅通信的信號(hào)交互模塊。這三個(gè)模塊都集成到AR控制器中,這樣可攜帶性很強(qiáng)。在本系統(tǒng)中,大多數(shù)計(jì)算過(guò)程被去除,這是因?yàn)橄駃Phone和Android的手機(jī)可以提供OpenGL和GPS的技術(shù)。本系統(tǒng)的眼鏡極其輕便,AR的控制器可以完成信號(hào)處理的功能。圖3為本系統(tǒng)的原型裝置。
圖3 系統(tǒng)原型裝置
圖4為利用本系統(tǒng)控制輪椅的架構(gòu)。在這個(gè)系統(tǒng)中,使用者可以不通過(guò)手來(lái)控制輪椅行動(dòng),同時(shí)通過(guò)眼鏡屏幕接收實(shí)時(shí)信息[6]。輪椅的運(yùn)動(dòng)是通過(guò)使用者眼睛和頭部的運(yùn)動(dòng)來(lái)控制的,其控制邏輯如圖5所示。
考慮到使用者在輪椅前進(jìn)的過(guò)程中可能四處觀望,系統(tǒng)提供兩種模式:在模式1下,眼睛的移動(dòng)能夠控制輪椅前進(jìn);在模式2下,使用者能夠在輪椅前進(jìn)時(shí)自由觀看周圍景物。這兩種模式通過(guò)使用者較大幅度點(diǎn)頭信號(hào)進(jìn)行切換。
圖4 眼控輪椅架構(gòu)
圖5 眼控輪椅控制邏輯
本系統(tǒng)的硬件主要包括基于STC12C5A60S2單片機(jī)系統(tǒng)控制核心、采集信號(hào)的傳感器與電極、信號(hào)處理的模擬電路以及無(wú)線發(fā)送和接收模塊。首先利用Agcl電極采集眼電信號(hào),加速度傳感器采集頭部運(yùn)動(dòng)信號(hào),然后將采集的信號(hào)送入到信號(hào)處理電路(放大濾波)中,這部分前文已經(jīng)提到。
將放大濾波電路處理后的信號(hào)調(diào)整到0~5V,通過(guò)A/D轉(zhuǎn)換器送入單片機(jī)STC12C5A60S2中,在單片機(jī)中實(shí)現(xiàn)邏輯控制,并轉(zhuǎn)換成對(duì)輪椅的控制信號(hào),通過(guò)串口連接無(wú)線發(fā)送設(shè)備APC220,將信號(hào)發(fā)送至接收端的APC220中,再通過(guò)串口傳送到接收端的Arduino控制器中,完成對(duì)輪椅的控制。系統(tǒng)硬件框圖如圖6所示。
圖6 系統(tǒng)硬件框圖
眼鏡的屏顯功能主要通過(guò)將手機(jī)的電子羅盤顯示外接,顯示到眼鏡集成的屏幕中,利用手機(jī)的GPS功能完成路線的顯示。
系統(tǒng)的軟件實(shí)現(xiàn)主要將通過(guò)模數(shù)轉(zhuǎn)換器得到的信號(hào)進(jìn)行處理,轉(zhuǎn)化成對(duì)于輪椅方向和前進(jìn)后退控制的邏輯信號(hào),并通過(guò)串口發(fā)送到APC220中,以便無(wú)線傳輸。軟件實(shí)現(xiàn)框圖如圖7所示。
圖7 軟件實(shí)現(xiàn)框圖
增強(qiáng)實(shí)境系統(tǒng)將使用者看到的情景放到虛擬的世界中。因此,眼鏡能夠給人們呈現(xiàn)最適合的虛擬世界的媒介,是理想的終端。
為了最大化應(yīng)用眼鏡的功能,把眼鏡移動(dòng)所帶來(lái)的皮膚表皮信號(hào)的變化和點(diǎn)頭搖頭引起加速度的變化引入到系統(tǒng)控制方式中。這樣不通過(guò)手,使用者就可以對(duì)眼鏡上的信息進(jìn)行選擇。在日常的情景中,用手控制輪椅常常使人厭倦,本系統(tǒng)提供了2D導(dǎo)航信息在眼鏡上,并且允許使用者不通過(guò)手控制輪椅的行進(jìn)。很明顯,非手動(dòng)電動(dòng)輪椅減輕了使用者家庭負(fù)擔(dān),并且提高了使用者生活信心。在未來(lái),為了減少對(duì)使用者眼睛的損害,OLED制作的屏幕將更加有意義。
[1] Kristina Grifantini.Augmented Reality Goggles[EB/OL] .[2013-07] .http://www.technologyreview.com/computing/26692/?ref=rss&a=f.
[3] Wu Jin,Zhang Jiacai,Yao Li.An automated detection and correction method of EOG artifacts in EEG-based BCI[C]//ICME International Conference on Digital Object,New York,2009:1-5.
[4] LawrenceYDeng,ChunLiang Hsu,Tzu-Ching Lin,et al.EOG-based Human-Computer Interface system development[J] .Expert Systems with Applications,2010,37(4):3337-3343.
[5] Blaine Bell,Steven Feiner,Tobias HOllerer.View Management for Virtual and Augmented Reality[EB/OL] .[2013-07] .http://dl.acm.org/citation.cfm?id=502363.
[6] Min Lin,Bin Li.A wireless EOG-based Human Computer Interface[C]//Biomedical Engineering and Informatics(BMEI)3rd International Conference,Shandong,2010:1794-1796.