面向磁懸浮視觸覺交互的多速率系統(tǒng)框架

石杰元，袁志勇，廖祥云，趙儉輝

1.武漢大學(xué) 計算機學(xué)院，武漢430072

2.中國科學(xué)院 深圳先進技術(shù)研究院，廣東 深圳518055

觸覺是人類賴以探索世界的重要感覺通道。如今，提供實體觸覺存在許多方式，如機械[1]、超聲波[2]、噴氣式[3]、磁懸浮[4]。目前廣泛使用的Geomagic Touch的Phantom[1]觸覺設(shè)備基于機械傳動方式提供觸覺反饋，交互過程中受到機械關(guān)節(jié)固有摩擦、慣性的影響，且操作空間有限。基于超聲波[2]、噴氣式[3]的非接觸觸覺反饋方式消除了機械交互方式中的固有摩擦，但仍存在些許不足，例如超聲波觸覺設(shè)備存在力傳輸距離較短、對噪聲敏感、存在安全隱患等問題[2]；噴氣式設(shè)備由于采用空氣作為力傳導(dǎo)介質(zhì)，力在壓縮空氣場中的傳導(dǎo)速度較慢，且力反饋缺乏時空特性，操作空間有限[3]?；诖艖腋〉姆墙佑|式觸覺反饋消除了機械交互方式中的固有摩擦，且可通過自適應(yīng)調(diào)節(jié)磁感線圈電流、擺放角度等方式，實現(xiàn)靈活的6-DOF觸覺反饋[4]，操作更加自由、穩(wěn)定，具有廣闊應(yīng)用前景。為此，本文基于磁懸浮觸覺反饋設(shè)備[4]，提出一種面向磁懸浮視觸覺交互的多速率系統(tǒng)框架，該系統(tǒng)由雙目視覺定位、虛擬場景物理仿真和觸覺渲染三部分組成，各部分相互協(xié)同。

為確保視觸覺交互過程中的視覺可信性，需構(gòu)建真實可信的虛擬場景。本文采用基于位置的動力學(xué)（Position Based Dynamics，PBD）[5]作為虛擬場景的物理仿真方法。PBD相對于有限元方法（Finite Element Method，F(xiàn)EM）[6-7]而言，計算效率更高、實時性更強、交互性更好。此外，與傳統(tǒng)機械定位方式不同，設(shè)備采用雙目視覺定位方式。因此，需構(gòu)造面向磁觸覺設(shè)備的定位數(shù)據(jù)映射算法。

在磁懸浮視觸覺交互中，為避免虛擬工具穿透物體，并提供穩(wěn)定真實的觸覺反饋，觸覺渲染算法至關(guān)重要，但針對磁懸浮觸覺設(shè)備[4]，現(xiàn)有OpenHaptics[8]觸覺開發(fā)工具無法直接使用，因此需建立面向磁觸覺設(shè)備的具體觸覺渲染算法。在計算機觸覺研究早期，絕大部分觸覺渲染算法是3-DOF的，用戶通過控制虛擬代理點與虛擬環(huán)境進行交互，生成3-DOF觸覺反饋，經(jīng)典方法包括god-object[9]、virtual proxy[10]、ray-based[11]等。以上3-DOF算法實現(xiàn)簡單、計算效率高，但由于無法提供反饋力矩信息，適用場景有限。此后，隨著觸覺生成硬件不斷發(fā)展，6-DOF觸覺渲染算法得以出現(xiàn)，其以6-DOF形式記錄虛擬工具運動軌跡，并且可同時提供反饋力、力矩，相較于3-DOF算法具有更高精度，但其計算復(fù)雜度往往較高。

在本文中，考慮到所使用的磁懸浮觸覺設(shè)備[4]的手持觸覺接口為一根底部配置小磁鐵的桿狀工具，充分結(jié)合3-DOF與6-DOF算法各自的優(yōu)點，通過對現(xiàn)有3-DOF基于射線的觸覺渲染方法[11]的擴展，提出一種多射線觸覺渲染方法，基于力系等效原理[12]，其不僅能提供6-DOF逼真觸覺反饋，有效避免工具“穿透”，同時也滿足觸覺刷新頻率的要求。

此外，在視觸覺交互場景中，圖形渲染的刷新頻率一般為30 Hz左右，但維持觸覺渲染算法穩(wěn)定需要1 kHz以上的刷新頻率[13]。傳統(tǒng)的針對這一速率沖突的解決方法主要分為兩類：一是通過降低物理仿真的計算復(fù)雜度，即提高物理仿真的計算速度來滿足觸覺更新頻率的要求，典型方法包括模態(tài)分析[14]、形變預(yù)計算[15]等，但這種簡化會對仿真的真實性與穩(wěn)定性造成影響。另一類為多速率方法，通過將形變仿真和觸覺渲染劃分成不同更新頻率的并行模塊，高速率觸覺渲染通過捕捉低速率形變仿真的瞬態(tài)值以計算觸覺反饋[16-18]。本文采用第二種方法，通過多線程并行技術(shù)實現(xiàn)系統(tǒng)不同模塊間的多速率協(xié)同。

1 多速率視觸覺仿真框架

1.1 系統(tǒng)總體框架劃分

本文的磁懸浮視觸覺交互系統(tǒng)的流程如圖1所示，為方便后續(xù)描述，給出關(guān)于觸覺接口的三個不同定義：（1）“視覺工具”，指代現(xiàn)實世界中操作者實際手持工具。（2）“觸覺工具”，指代虛擬工具，其位姿通過對定位數(shù)據(jù)映射得到，不受虛擬環(huán)境障礙物的約束，可以穿透障礙物，運動趨勢與用戶操作動作保持同步。（3）“圖形工具”，指代滿足虛擬環(huán)境非穿透約束的理想工具。通常當(dāng)觸覺工具已穿透虛擬物體時，圖形工具仍將被限制在碰撞物體表面以避免穿透。

如圖1所示，整個系統(tǒng)為一個閉環(huán)系統(tǒng)。首先，用戶手持視覺工具進行操作，其運動被視覺定位模塊所捕捉。接著，通過映射算法，將定位數(shù)據(jù)映射到觸覺工具的位姿。當(dāng)碰撞檢測到觸覺工具與其他虛擬物體發(fā)生碰撞時，觸覺渲染模塊便計算觸覺反饋信息，并將其傳遞給觸覺生成硬件。最終觸覺硬件生成相應(yīng)的磁場，與視覺工具底部小磁鐵發(fā)生相互作用，進而使用戶感受到真實的反饋力，并對用戶接下來的操作造成影響。上述過程便形成了一個閉環(huán)，接下來，將針對各模塊展開詳細(xì)介紹。

圖1 系統(tǒng)總體運作流程

1.2 視覺工具到觸覺工具的映射

視覺定位模塊負(fù)責(zé)跟蹤視覺工具的運動，并通過映射算法將雙目視覺定位數(shù)據(jù)映射為觸覺工具的位姿。接下來將對映射算法的構(gòu)造展開具體論述。

1.2.1 工具位姿向量的表示

在本文系統(tǒng)中，觸覺工具被建模成一個剛性桿，具有六自由度位姿信息，其中包含三個平動自由度和三個轉(zhuǎn)動自由度。視覺工具、觸覺工具的六維位姿向量定義如下：

1.2.2 位姿信息的映射方法

圖2 預(yù)采樣操作示意圖

用戶手持視覺工具在定位區(qū)域中進行任意的操作移動，其中定位區(qū)域如圖2半透明長方體區(qū)域所示。通過對操作中的定位輸出數(shù)據(jù)進行統(tǒng)計處理，便可得出視覺定位輸出的大致坐標(biāo)范圍，類似于AABB包圍盒，本文將視覺定位坐標(biāo)邊界范圍定義為如下六維向量：其中，上標(biāo)B代表邊界。以的映射為例，構(gòu)造映射關(guān)系如下：

其中，Lx代表觸覺工具x坐標(biāo)范圍區(qū)間的長度，Tx代表區(qū)間左端點相對于原點的平移量。y、z坐標(biāo)也以一種類似的方式進行映射。針對旋轉(zhuǎn)分量的映射，由于定位模塊輸出數(shù)據(jù)中采用單位向量來表示桿的主軸方向，因此只需一次從單位方向向量到歐拉角的簡單變換即可。至此便完成了從的映射，進一步基于剛體動力學(xué)的基本原理，可計算出觸覺工具的線速度和角速度

1.3 基于位置的動力學(xué)物理仿真

視觸覺交互應(yīng)用需求與傳統(tǒng)圖形應(yīng)用存在一定區(qū)別，尤其是針對觸覺工具的仿真。在本文系統(tǒng)中，除觸覺工具之外，其余虛擬物體均以傳統(tǒng)PBD[5]的方式進行建模仿真，對形變特性利用體積保持約束進行建模[19]。特別地，觸覺工具的位置、速度增量僅來源于視覺工具的移動，而不應(yīng)擁有其他的增量來源，例如PBD中的辛-歐拉預(yù)測步[5]、碰撞約束求解導(dǎo)致的增量等。

1.4 多速率并行

為協(xié)調(diào)不同模塊之間的運行速率差異，本文系統(tǒng)實現(xiàn)了基于CPU的多速率并行。并行模塊劃分策略如圖3所示，三個并行模塊通過共享內(nèi)存雙緩沖區(qū)的方式實現(xiàn)數(shù)據(jù)的單向流動通信，并運行在不同時態(tài)更新率上。其中，W1、W2為寫緩沖區(qū)，R1、R2為讀緩沖區(qū)時刻的第i個碰撞對信息為圖形工具位姿向量，為對應(yīng)的觸覺反饋。

圖3 并行模塊劃分示意圖

1.5 多射線觸覺渲染

在觸覺渲染模塊中，為確保視觸覺交互體驗可靠、真實，提升沉浸感，需要保證視覺與觸覺上的雙重可信性，即實時逼真的非穿透圖形工具位姿計算與6-DOF觸覺反饋計算[13]。

1.5.1 圖形工具的位姿計算

為計算qtg，首先需要考慮觸覺工具與虛擬物體可能的碰撞情況。如文獻[11]中所提到的，射線與凸殼物體之間的交互分為三類：（1）點-多邊形交互；（2）點-邊交互；（3）點-面交互?？紤]到本文系統(tǒng)將觸覺工具建模成一個剛性桿，后兩種交互情況的發(fā)生概率較低，此處只考慮第一種交互：點-多邊形交互。當(dāng)碰撞發(fā)生時，碰撞檢測算法會生成多個碰撞對信息。其中，本文碰撞檢測基于符號距離場算法[20-21]實現(xiàn)，碰撞對信息定義如下：表示t時刻由于觸覺工具碰撞所產(chǎn)生的第i個碰撞對信息，cph和cpo分別為觸覺工具、碰撞物體表面的碰撞點，normal為cpo處的表面法線，方向指向碰撞物體外部，tangent為cpo處的單位切向向量。

在經(jīng)典的基于射線的觸覺渲染算法[11]中，觸覺工具往往以單線段進行建模，發(fā)生碰撞時，只生成一個碰撞對，包含兩個接觸點，這種建模方式由于沒有考慮觸覺工具的具體形狀而不夠精確。為此，本文提出了基于多射線的觸覺渲染方法，如圖4所示，沿柱狀工具母線建立多根射線并同時考慮多個碰撞對信息。參照文獻[10，22]中關(guān)于觸覺接口點（Haptic Interface Point，HIP）的定義，本文在觸覺工具的底部圓周采樣n個點作為HIP，并以這些觸覺接口點作為射線的底部端點。定義向量Linei,j=HIPi-cpj，其中cpj為碰撞物體表面的第j個接觸點。為描述方便，接下來將會省略一些下標(biāo)。

圖4 多射線建模示意圖

本文觀察到，當(dāng)觸覺工具穿透其他物體時，向量Line到對應(yīng)碰撞對的表面法向量的投影距離必為一個負(fù)值。反之，若觸覺工具沒有穿透其他物體，該投影距離必為一個非負(fù)值。基于此便可利用碰撞信息，實現(xiàn)針對觸覺工具的快速穿透檢測。定義射線的符號距離dist=Line?normal，如果dist＜0，則判定該射線已發(fā)生穿透，否則便沒有穿透。針對每條射線，對所有的碰撞對進行一次遍歷，并依次計算該射線對應(yīng)的dist。定義六維穿透矯正向量Δcorrt，其由3個平動矯正量和3個轉(zhuǎn)動矯正量組成。因此，可如下計算：

當(dāng)觸覺工具未發(fā)生穿透時，矯正向量Δcorrt為一個零向量，即圖形工具位姿與觸覺工具位姿保持一致。當(dāng)觸覺工具發(fā)生穿透時，為消除穿透，應(yīng)將工具往物體外部方向（物體表面法線方向）移動，基于此想法，本文將矯正向量Δcorrt定義如下：

其中，N、J、K分別代表穿透距離disti的數(shù)量、射線數(shù)和碰撞對的數(shù)量。至此，便得到了矯正后的圖形工具位姿，接下來將對6-DOF觸覺反饋計算展開論述。

1.5.2 計算6-DOF觸覺反饋

現(xiàn)行的6-DOF觸覺反饋計算方法主要分為兩類：直接渲染與虛擬耦合[13，23]。其中，在直接渲染方法中，碰撞響應(yīng)直接基于穿透深度進行映射計算。在虛擬耦合方法中，其在力反饋觸覺設(shè)備和虛擬觸覺工具之間建立一種虛擬彈簧阻尼元件的聯(lián)系，用戶手部給觸覺設(shè)備所施加的力也會被考慮進碰撞響應(yīng)以及圖形工具的位姿計算之中。由于本文的磁懸浮視觸覺交互系統(tǒng)采用非接觸式的操作方式，無法對用戶操作所施加力的具體大小進行捕獲，因此本文將采用直接渲染方式來實現(xiàn)6-DOF觸覺反饋計算。

在交互過程中，盡管用戶手部位置、視覺工具的空間絕對位置、工具底端與握點的相對位置會隨著操作的進行而不斷變化，但用戶手與工具握點的相對位置將始終保持不變。因此，可采用球型鉸鏈作為交互工具的力學(xué)模型，將握點建模成球形鉸點，如圖5所示。

圖5 觸覺接口力學(xué)模型

由于小磁鐵位于視覺工具底端，因此觸覺反饋力作用點也將為工具桿底端。圖5中，F(xiàn)表示觸覺反饋合力，M表示相對于鉸點O的反饋合力矩。基于力系等效原理，可將合力矩M等效轉(zhuǎn)換為作用在桿底端的力FM。進一步對F和FM進行平面正交分解，并將對應(yīng)方向的分力進行合成，便可得到如圖5右半部分所示的最終兩個正交力：Frot和Fparallel，其中，一個垂直于桿，一個沿桿方向，這兩個力將分別為用戶提供“旋轉(zhuǎn)”和“軸向阻礙”的感受。與圖形工具位姿計算方式相對應(yīng)，觸覺反饋如下計算：

其中，rod為桿主軸的單位方向向量，k、kparallel、krot為三個剛度調(diào)節(jié)系數(shù)，分別用以調(diào)節(jié)觸覺反饋的整體強度、軸向阻力強度和旋轉(zhuǎn)反饋強度。通常，設(shè)置k=C、kparallel=krot=1，其中常數(shù)C根據(jù)觸覺設(shè)備輸出力的范圍進行確定。在本文應(yīng)用場景下，利用Frot和Fparallel來替代F和Μ將不會產(chǎn)生任何操作感受上的差異。

2 實驗仿真與評估

實驗中操作者通過操控磁懸浮觸覺反饋設(shè)備[4]與虛擬場景進行交互，本文對剛體碰撞、剛體-形變體碰撞交互進行了實驗仿真，并完成了相應(yīng)的觸覺渲染計算。其中，虛擬場景基于PBD框架[5]進行擴展構(gòu)建，重點利用PBD框架的物理仿真與碰撞檢測機制。由于視觸覺交互應(yīng)用場景需求的特殊性，觸覺工具的移動將僅由用戶操作決定，為此實驗移除了虛擬環(huán)境中的重力，從而保證不存在用戶操作輸入時，觸覺工具能夠在自由三維空間中保持靜止。

通常在虛擬外科手術(shù)應(yīng)用中，為獲得特定的模型（例如患者的肝臟模型），需要基于一系列肝臟醫(yī)學(xué)圖像進行三維重建，再利用網(wǎng)格生成技術(shù)生成最終的仿真三維模型。但這不是本文核心工作所在，本文首先從一些開源模型數(shù)據(jù)集上取得三角面片模型，之后利用模型處理軟件（如Maya）對模型進行減面簡化，進而對簡化模型利用開源軟件Tetwild[24]進行四面體體素化，最終得到用于物理仿真的四面體網(wǎng)格。

2.1 剛體交互場景仿真

在剛體交互場景中，構(gòu)造觸覺工具與剛性地面之間的碰撞場景如圖6所示，其中灰色部分代表剛性地面，藍色桿代表觸覺工具，橘黃色桿代表觸覺渲染算法計算出來的圖形工具，世界坐標(biāo)系的x、y、z軸分別以紅、綠、藍細(xì)線表示。在此場景中，用戶手持視覺工具以控制虛擬觸覺工具慢慢穿透剛性地面。當(dāng)觸覺工具未與地面發(fā)生碰撞時，圖形工具與觸覺工具的位姿保持一致，兩者相互重合。隨著觸覺工具的不斷下移，其與地面的穿透量也逐漸增大，而圖形工具始終保持在地表從而有效避免了穿透，與之相應(yīng)的觸覺反饋力變化也如圖7所示。

圖6 剛體碰撞場景

圖7 剛體碰撞場景的觸覺反饋

在該過程中，隨著穿透不斷加深，反饋合力、分力的幅值也不斷增大，由于此時主要為Y方向上的移動，因此Y分量占據(jù)了合力的主要部分，該生成結(jié)果在觸覺上也是合理的。

2.2 形變體交互場景仿真

實驗對觸覺工具與形變體之間的交互也進行了仿真。在這些場景中，為了觀察形變模型特定區(qū)域的形變，對模型的部分無關(guān)區(qū)域進行了固定處理，例如針對犰狳模型的四肢進行了固定。如圖8所示，當(dāng)觸覺工具與柔性犰狳進行交互時，犰狳發(fā)生了適當(dāng)?shù)男巫?，同時圖形工具始終保持在犰狳的表面，有效避免了穿透。同樣地，與該交互過程相對應(yīng)的觸覺反饋力也在圖9中給出。由于用戶操作主要是Y方向由上至下的與犰狳的碰撞交互，因此合力的Y分量將相對于X、Z分量具有更大的變化范圍。此外，由于犰狳的形變特性，在碰撞點處會發(fā)生凹陷，導(dǎo)致碰撞處法線方向與桿的主軸方向十分接近，平行分力的幅度遠遠大于垂直分力，不過在實際操作過程中，垂直分力的大小也可通過剛度參數(shù)krot來進行調(diào)節(jié)。

圖8 犰狳碰撞場景

圖10 、圖11分別展示了針對形變肝臟和形變斯坦福兔子的交互仿真場景，可見本文觸覺渲染算法也有效地避免了穿透，并伴隨與之對應(yīng)的可信視覺形變。

圖10 形變肝臟碰撞交互

圖11 形變兔子碰撞交互

當(dāng)所有模塊以串行順序運行（即視覺定位-物理仿真-觸覺渲染的順序），場景中的形變模型三角面片數(shù)為30 000、四面體數(shù)為3 717時，一次完整的串行流程計算需要31 ms，對應(yīng)32 Hz的刷新率，遠低于1 kHz的觸覺刷新率要求。而將系統(tǒng)實行并行模塊劃分之后，觸覺渲染模塊僅需0.13μs即可完成一次更新，滿足1 kHz的速率要求，相應(yīng)的測試結(jié)果在表1中給出。

表1 串行、并行算法力更新頻率比較

3 結(jié)束語

本文提出了面向磁懸浮視觸覺交互應(yīng)用的多速率系統(tǒng)仿真框架，該系統(tǒng)能夠滿足穩(wěn)定、高效的視觸覺交互需求，且相對于傳統(tǒng)機械交互方式，系統(tǒng)采用非接觸的操作方式，具備更多的操作自由度且消去了摩擦。系統(tǒng)對傳統(tǒng)3-DOF單射線觸覺渲染方法進行了擴展，基于力系等效原理，可以為用戶提供6-DOF觸覺感知。實驗結(jié)果證明本文方法可以有效避免不真實的穿透以及提供真實、合理的視觸覺反饋。

然而，本文還存在一些不足。目前實驗假定仿真模型是各向同性的，后續(xù)將針對各向異性的生物力學(xué)參數(shù)模型進一步開展實驗。此外，由于觸覺渲染線程基于物理仿真線程的瞬時配置進行計算，觸覺反饋結(jié)果的不連續(xù)性將在一定程度上受限于物理仿真線程實際刷新的速率，未來將繼續(xù)探索針對這一速率差異的誤差補償方法，以降低觸覺反饋結(jié)果的不連續(xù)性。