多模態(tài)人機(jī)混合交互智能控制技術(shù)

王振亞　代京

【摘 要】人機(jī)融合智能操縱技術(shù)是人機(jī)混合智能的一個(gè)重要研究方向，旨在通過(guò)采集人體腦電信號(hào)、眼動(dòng)軌跡等生理特征參量，建立人-機(jī)-環(huán)境一體化的協(xié)作通路，實(shí)現(xiàn)非常規(guī)物理操作通道下對(duì)外部產(chǎn)品的實(shí)時(shí)控制。本文創(chuàng)新性的提出一種腦控、眼控、增強(qiáng)現(xiàn)實(shí)等多種人機(jī)交互手段復(fù)合應(yīng)用的新型人機(jī)融合智能操控技術(shù)框架，并建立相關(guān)的演示平臺(tái)，提升針對(duì)單通道交互的人機(jī)融合控制精度與魯棒性，實(shí)現(xiàn)人-機(jī)-環(huán)三個(gè)方面的安全保障、性能提升和能力拓展。

【關(guān)鍵詞】人機(jī)融合；腦機(jī)接口；眼動(dòng)跟蹤；增強(qiáng)現(xiàn)實(shí)

中圖分類(lèi)號(hào)： TP242 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 2095-2457（2018）09-0011-002

DOI：10.19694/j.cnki.issn2095-2457.2018.09.004

軍委科技委主任劉國(guó)治認(rèn)為“人機(jī)混合智能將是未來(lái)智能的最高形式”，人機(jī)融合作為混合增強(qiáng)智能發(fā)展的一個(gè)關(guān)鍵方向，對(duì)未來(lái)載人航天，遙操作探測(cè)等領(lǐng)域能夠起到重要的支撐作用。隨著計(jì)算機(jī)技術(shù)、傳感器、可穿戴設(shè)備及人工智能技術(shù)不斷取得階段性的進(jìn)展，人機(jī)一體化也越來(lái)越廣泛地引起了人們的關(guān)注，其研究核心是利用新型交互邏輯實(shí)現(xiàn)人體行為機(jī)能增強(qiáng)，建立異源多模態(tài)的人機(jī)交互范式，實(shí)現(xiàn)人與裝備之間智能、自然的人機(jī)交互能力，建立一體化協(xié)同的信息流通機(jī)制。

本文針對(duì)人機(jī)協(xié)作的應(yīng)用場(chǎng)景，創(chuàng)新性的提出一種腦控、眼控、增強(qiáng)現(xiàn)實(shí)等多種人機(jī)交互手段復(fù)合應(yīng)用的新型人機(jī)融合智能操控技術(shù)框架，并構(gòu)建一個(gè)全作業(yè)場(chǎng)景的視覺(jué)環(huán)境和便捷的輔助信息獲取途徑，重點(diǎn)解決人機(jī)協(xié)同作業(yè)中控制通道不足的問(wèn)題。首先，進(jìn)行頭盔顯示器與視點(diǎn)跟蹤式眼動(dòng)儀的結(jié)構(gòu)一體化設(shè)計(jì)，開(kāi)發(fā)與數(shù)字頭盔相匹配的集成嵌入式增強(qiáng)現(xiàn)實(shí)作業(yè)環(huán)境，實(shí)現(xiàn)基于眼動(dòng)跟蹤的機(jī)械臂自由度選擇和動(dòng)作預(yù)選，然后通過(guò)對(duì)腦機(jī)接口穩(wěn)態(tài)視覺(jué)誘發(fā)范式控制信息的識(shí)別，實(shí)現(xiàn)機(jī)械臂六自由度控制動(dòng)作的穩(wěn)定意圖理解和精細(xì)控制。與現(xiàn)有技術(shù)相比，解決了單通道控制能力較弱、魯棒性和穩(wěn)定不足的問(wèn)題。

1 頭盔顯示器與視點(diǎn)跟蹤式眼動(dòng)儀的結(jié)構(gòu)一體化設(shè)計(jì)

本文采用的數(shù)字頭盔顯示功能為腦-機(jī)交互提供指令呈現(xiàn)，通過(guò)視覺(jué)跟蹤檢測(cè)和腦-機(jī)信號(hào)檢測(cè)，實(shí)現(xiàn)對(duì)控制意圖的解析，數(shù)字頭盔是腦眼協(xié)同控制的硬件平臺(tái)，其內(nèi)置CPU、GPU和專(zhuān)門(mén)的全息處理器。黑色的鏡片上包含了透明顯示屏，并內(nèi)置了一整套的傳感器用來(lái)實(shí)現(xiàn)各項(xiàng)預(yù)置功能。雙透明鏡片各顯示左右眼的內(nèi)容，通過(guò)使用者的大腦，合成真實(shí)的3D全息圖像，但使用者同時(shí)可以看到真實(shí)空間的物體。頭盔上的電腦可以自主實(shí)現(xiàn)全息計(jì)算。使用者只要用目光和語(yǔ)音與內(nèi)置的功能齊全的計(jì)算機(jī)互動(dòng)即可。

數(shù)字頭盔基于主動(dòng)投射共外線(xiàn)光速來(lái)提取特征，本文設(shè)計(jì)的裝置是以雙透明鏡片為基礎(chǔ)，每只眼睛周?chē)O(shè)置8個(gè)低功耗紅外LED，將眼球追蹤傳感器置于眼鏡片下。檢測(cè)裝置采用模塊化開(kāi)發(fā)，使其很好的整合在頭盔之中，同時(shí)可以根據(jù)使用者的特性將鏡片置于特定位置，追蹤速度達(dá)到120～380Hz，能夠跟上眼睛的運(yùn)動(dòng)速度，實(shí)現(xiàn)準(zhǔn)確、低時(shí)延的眼球追蹤。

2 基于數(shù)字頭盔的嵌入式增強(qiáng)現(xiàn)實(shí)環(huán)境設(shè)計(jì)

針對(duì)智能操縱任務(wù)需求，本文在數(shù)字頭盔中建立增強(qiáng)現(xiàn)實(shí)場(chǎng)景環(huán)境，為基于腦電信號(hào)和眼動(dòng)軌跡的新型人機(jī)交互控制模式提供支撐。該交互場(chǎng)景以太空作業(yè)環(huán)境為背景，包括機(jī)械臂建模、背景建模、控制軌跡建模等。

機(jī)械臂建模：按照真實(shí)的六自由度機(jī)械臂進(jìn)行三維建模。各個(gè)自由度單獨(dú)建模，結(jié)構(gòu)細(xì)節(jié)和尺寸與真實(shí)結(jié)構(gòu)相同，然后按順序組合到一起。每個(gè)自由度在運(yùn)動(dòng)時(shí)，不影響另外自由度的狀態(tài)，但是，整個(gè)機(jī)械臂按照從下往上的主從關(guān)系動(dòng)作。即底座旋轉(zhuǎn)時(shí)，帶動(dòng)其上部分；機(jī)械手旋轉(zhuǎn)時(shí)，帶動(dòng)機(jī)械手動(dòng)作，但子部件動(dòng)作時(shí)，主部件不跟隨運(yùn)動(dòng)。每個(gè)自由度的顏色有正常紋理顏色和高亮顏色二種。高亮顏色為紅色，表征該自由度已經(jīng)被選中，將要進(jìn)行步進(jìn)或連續(xù)動(dòng)作。

背景建模：近處建立幾個(gè)星球模型，以模擬太陽(yáng)系的九大行星，在各自的橢圓軌道上運(yùn)行。星球模型的表面貼圖與真實(shí)太空中的星球一致，給操作者以處于真實(shí)太空的感受。機(jī)械臂放置于星球表面上，用一帶星球表面紋理貼圖的大平面來(lái)表征，為操作者提供真實(shí)沉浸的感受。

控制軌跡建模：對(duì)被抓持物體，建立出球體和正六面體。被持物初始狀態(tài)置于地面上。動(dòng)作軌跡符合機(jī)械臂的操作原理，每次只有一個(gè)自由度動(dòng)作，然后換為下一個(gè)自由度動(dòng)作。動(dòng)作時(shí)間與真實(shí)的六自由度機(jī)械臂的對(duì)控制者做出的操作響應(yīng)一致。

3 基于腦電信號(hào)與眼動(dòng)信號(hào)的自然交互方法

本文提出了一種基于腦眼融合的智能控制與操縱方法，該方法主要針對(duì)在作業(yè)過(guò)程中腦電信號(hào)識(shí)別較慢等問(wèn)題，將眼動(dòng)跟蹤和腦電信號(hào)相融合，首先通過(guò)視點(diǎn)估計(jì)確定大致的相對(duì)位置關(guān)系，然后利用腦電信號(hào)分類(lèi)實(shí)現(xiàn)更為準(zhǔn)確的位置定位。

3.1 眼動(dòng)跟蹤算法

在硬件設(shè)備的基礎(chǔ)上，本文眼動(dòng)跟蹤控制的核心是通過(guò)角膜反射法實(shí)現(xiàn)關(guān)注點(diǎn)的精確測(cè)量。當(dāng)眼球運(yùn)動(dòng)時(shí)，光以變化的角度射到角膜，得到不同方向上的反光，使得角膜表面形成的虛像因眼球旋轉(zhuǎn)而移動(dòng)，再經(jīng)信號(hào)處理得到可定位的眼動(dòng)信號(hào)。

眼動(dòng)視覺(jué)數(shù)據(jù)的處理包括噪聲濾除、識(shí)別定位及局部校準(zhǔn)與補(bǔ)償?shù)?，核心目?biāo)是提取出用于人機(jī)交互所必需的眼鏡定位坐標(biāo)。眼動(dòng)跟蹤算法設(shè)計(jì)主要分為特征點(diǎn)坐標(biāo)提取和數(shù)據(jù)中斷處理兩個(gè)部分。

（1）特征點(diǎn)坐標(biāo)提取

該部分主要完成角膜反射光斑中心坐標(biāo)和瞳孔中心坐標(biāo)位置的提取工作。首先，利用二值法提取普爾欣影像中的最亮斑點(diǎn)（中心點(diǎn)）的坐標(biāo)，并通過(guò)求解公式（1）的極點(diǎn)作為亮度的最佳閾值。以最佳閾值為門(mén)限二值化眼圖后，找到面積最大的反射光斑，然后求取其幾何中心坐標(biāo)（xcomea，ycomea）作為角膜反射光斑的中心位置。

在此基礎(chǔ)上，本文利用延展星射線(xiàn)法來(lái)實(shí)現(xiàn)瞳孔輪廓特征點(diǎn)提取，即從圖像中一個(gè)初始點(diǎn)延伸出數(shù)條等角度間隔的射線(xiàn)，然后沿著這些射線(xiàn)向外，對(duì)射線(xiàn)上的點(diǎn)逐像素求導(dǎo)。當(dāng)某一點(diǎn)的灰度導(dǎo)數(shù)的變化大于某個(gè)門(mén)限閾值的時(shí)候，說(shuō)明圖像上這個(gè)點(diǎn)的灰度值發(fā)生了突變，很有可能是瞳孔輪廓上的特征點(diǎn)。

（2）數(shù)據(jù)中斷處理

在處理連續(xù)數(shù)據(jù)的時(shí)候，有時(shí)候會(huì)遇到睫毛或眼瞼部分遮蔽了瞳孔的情況，或由于眼睛本身的固有抖動(dòng)，以及眨眼等因素，造成了算法無(wú)法提取出相應(yīng)地?cái)?shù)據(jù)，即所謂的數(shù)據(jù)中斷，進(jìn)而造成視線(xiàn)在跟蹤視場(chǎng)上目標(biāo)注視存在一定困難，無(wú)法適應(yīng)現(xiàn)場(chǎng)快速變化的情況。為此，本文利用前幾幀獲得的數(shù)據(jù)來(lái)平滑預(yù)測(cè)當(dāng)前幀中的數(shù)據(jù)。假設(shè)原函數(shù)f（t）在N個(gè)順序時(shí)刻的測(cè)量值為f（ti）（i=1，2，3，…，N），且f（t）可以用如下公式進(jìn)行最佳線(xiàn)性逼近：

則Ti時(shí)刻測(cè)量值與逼近值之間的誤差可計(jì)算為：Δεi=f（ti）-a0-a1ti，對(duì)N個(gè)點(diǎn)估計(jì)的均方差為：

對(duì)缺失點(diǎn)平滑逼近的核心就是對(duì)公式（3）取最小值，本文采用最小二乘法建立E（Δεi）關(guān)于自變量a0和a1的二元函數(shù)，進(jìn)而利用消元法求解，實(shí)現(xiàn)對(duì)缺失點(diǎn)數(shù)值的有效估計(jì)。

2）腦電信號(hào)信息識(shí)別算法

在眼動(dòng)跟蹤的基礎(chǔ)上，本文腦電信號(hào)刺激生成的方法是穩(wěn)態(tài)視覺(jué)誘發(fā)算法（SSVEP），分類(lèi)識(shí)別選用的算法是線(xiàn)性判別式分析（LDA）。LDA在腦-機(jī)接口領(lǐng)域中有著十分廣泛的應(yīng)用，且達(dá)到了令人滿(mǎn)意的效果，它把高維樣本投影到最佳的鑒別矢量空間，投影后保證原樣本在該新的子空間中有最佳可分離性。

LDA算法的具體過(guò)程是：

對(duì)于特征為d維的N個(gè)樣本X=[x1，x2，…，xn]T，其中在類(lèi)別ω1中有N1個(gè)樣本，另外N2個(gè)樣本在類(lèi)別ω2中。用ω表示投影方向，則樣本X經(jīng)過(guò)ω投影之后可表示為：y=ωTx。當(dāng)x為二維時(shí)，只需找到一條投影后能使特征點(diǎn)分離的直線(xiàn)即可（方向?yàn)棣兀?/p>

測(cè)試樣本經(jīng)過(guò)特征投影后，其決策值加和的符號(hào)決定了分類(lèi)類(lèi)別，也就是對(duì)應(yīng)的控制輸出。在本文實(shí)驗(yàn)中，每輪刺激都各會(huì)觸發(fā)一次SSVEP信號(hào)。在線(xiàn)判斷時(shí)，只需要將刺激套用LDA模型投影后，判斷最大投影值，并對(duì)其交叉后就可以得到控制輸出目標(biāo)了。

本文可在AR環(huán)境中，生成腦機(jī)控制所需的刺激界面。以SSVEP刺激為例，需要在增強(qiáng)現(xiàn)實(shí)環(huán)境中，建立不同頻率閃爍的刺激塊，對(duì)操作者形成相關(guān)的刺激。該刺激應(yīng)與電子屏幕上的刺激形式保持一致，保證人接收刺激的有效性，刺激可采用菜單式的方式來(lái)呈現(xiàn)。

4 案例驗(yàn)證

在腦電信號(hào)測(cè)試方面，本文構(gòu)建了離線(xiàn)和在線(xiàn)模塊，采用留一法對(duì)腦電信號(hào)進(jìn)行測(cè)試。在數(shù)字頭盔控制過(guò)程中，得到腦眼協(xié)同控制信號(hào)的初始和抓取標(biāo)定邏輯如圖2所示。

機(jī)械臂6個(gè)自由度的運(yùn)動(dòng)狀態(tài)如下表所示，通過(guò)建立視覺(jué)誘發(fā)刺激，可以建立相關(guān)的腦電識(shí)別模型，包括自由度1：底座的持續(xù)旋轉(zhuǎn)；自由度2：豎直平面內(nèi)的持續(xù)轉(zhuǎn)動(dòng)；自由度3：豎直平面內(nèi)的步進(jìn)式（步進(jìn)角度較大）；自由度4：豎直平面內(nèi)的步進(jìn)式（步進(jìn)角度較大）；自由度5：機(jī)械手底座步進(jìn)式（步進(jìn)角度較小）轉(zhuǎn)動(dòng)；自由度6：往復(fù)進(jìn)行抓取動(dòng)作。

在協(xié)同控制過(guò)程中，本文將離線(xiàn)訓(xùn)練的停止標(biāo)準(zhǔn)設(shè)為：連續(xù)兩個(gè)試次的十輪平均正確率都在0.85以上。同時(shí)，為了保證離線(xiàn)模塊既能準(zhǔn)確建模，又不至于花費(fèi)太長(zhǎng)時(shí)間，將試次數(shù)控制在5～20之間，經(jīng)過(guò)離線(xiàn)動(dòng)態(tài)停止的優(yōu)化后，經(jīng)過(guò)充分訓(xùn)練的被試者腦眼協(xié)同控制正確率可達(dá)到95%左右，腦電信號(hào)識(shí)別正確率達(dá)到90%以上。

【參考文獻(xiàn)】

[1]李琳.基于穩(wěn)態(tài)視覺(jué)誘發(fā)電位的腦機(jī)接口系統(tǒng)設(shè)計(jì)及相關(guān)算法的研究[D].浙江理工大學(xué)，2017.

[2]程時(shí)偉，孫志強(qiáng).用于移動(dòng)設(shè)備人機(jī)交互的眼動(dòng)跟蹤方法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào).2014（08）：1354-1361.

[3]余威.基于腦機(jī)接口技術(shù)的智能小車(chē)控制系統(tǒng)的研究與設(shè)計(jì)[D].武漢理工大學(xué)，2015.