禹鑫燚 王正安 吳加鑫 歐林林

隨著自動化與機器人技術(shù)的發(fā)展,機器人在制造、運輸、倉儲等許多領(lǐng)域中都得到了廣泛應用,然而大部分的機器人仍處在與人完全隔離的環(huán)境下進行工作,一方面是為了避免安全上的隱患,另一方面是為了降低系統(tǒng)部署的難度.雖然人機隔離的工作方式能夠發(fā)揮機器人在運動精度和速度上的優(yōu)勢,適用于一些簡單重復性的工作,但對于一些需要復雜判斷能力和靈活機動性的工作,目前大部分的機器人很難單獨勝任,而且大部分機器人都缺乏在人機共融環(huán)境下工作的能力,導致這些工作只能由人來完成[1].為了改變?nèi)藱C分離工作的現(xiàn)狀,希望機器人以協(xié)助的方式參與到人的生產(chǎn)工作中,負責搬運、夾持、預處理等任務,減少人的負擔,提升整體的工作效率.

為了讓機器人融入有人參與的工作環(huán)境,首先需要解決的是人機之間的安全問題.國際標準化組織提出了4 種實現(xiàn)安全人機協(xié)作的方式: 1)安全級監(jiān)控停止: 當檢測到人和機器人同時處于協(xié)作區(qū)內(nèi)時,機器人保持停止;2)手動引導: 通過手動引導的裝置或設備在協(xié)作區(qū)內(nèi)對操作機器人的末端工具使其達到期望的位置和姿態(tài);3)速度與距離監(jiān)控: 機器人與操作人員時刻保持在一定距離以上,當機器人本身的運行速度越大,需要與人保持的距離也越大;4)功率及力限制: 通過限制機器人本身的力/力矩輸出來防止對人的傷害[2-3].針對不同情況的人機交互,Bdiwi 等[4]對國際標準化組織提出的安全模式進行了擴展,根據(jù)視覺信息,如觸碰、分離、遮擋等定義機器人當前需要符合的行為;Bdiwi[5]對人機協(xié)作的交互等級做了更細致的劃分,規(guī)定了不同交互等級下機器人需要符合的行為和場景內(nèi)需要被監(jiān)控的信息.可以看出,實時信息監(jiān)控對于任何形式的人機協(xié)作都是非常重要的.

信息監(jiān)控包括對機器人運動的監(jiān)控、受力輸出力矩的監(jiān)控以及人體動作的監(jiān)控等.要實現(xiàn)機器人的運動監(jiān)控,需要解決機器人在周邊環(huán)境中的定位問題.對于固定安裝的機器人,可以采用相機手眼標定的方式對機器人在相機坐標系下的位姿進行確定[6];而對于包含移動平臺的機器人,根據(jù)使用場景的不同,可以采用即時定位與地圖構(gòu)建或定位標記的方式確定機器人的位姿.對于人體姿態(tài)的實時估計,目前的方法主要有3 種: 1)基于光學標記的人體姿態(tài)捕捉;2)基于慣性傳感的姿態(tài)捕捉;3)基于圖像和卷積神經(jīng)網(wǎng)絡的姿態(tài)估計.Vicon 和Optitrack 等公司為基于光學標記的人體姿態(tài)捕捉提供了商業(yè)化的解決方案: 姿態(tài)捕捉的對象需要穿戴特殊服裝并粘貼相應的光學標記,通過空間中的多臺紅外攝像機組對人體動作進行采集.該方法具有較高的精度和響應速度,但由于穿戴方式過于復雜和成本較高等原因不適合工業(yè)環(huán)境的使用[7].基于慣性傳感的方式需要在身上佩戴慣性測量單元(Inertial measurement unit,IMU),Von Marcard 等[8]研究中使用稀疏傳感器配置來估計人體姿態(tài),但需要利用一個時間片段內(nèi)所有的加速度和旋轉(zhuǎn)信息進行優(yōu)化計算來保證估計的準確率,實時性較差.此外,基于慣性傳感器的方法主要的問題在于無法對捕捉人員在空間中的絕對位置進行有效的估計[9].基于圖像的姿態(tài)估計方法近年發(fā)展迅速,其主要原理是利用卷積神經(jīng)網(wǎng)絡對人體肢體、關(guān)節(jié)進行識別,不需要佩戴任何設備,降低了使用的門檻.Cao 等[10]提出了一種利用單張圖像估計多人2D 姿態(tài)的方法,在硬件加速的情況下能夠達到準實時的效果.結(jié)合人體運動學擬合方法.Mehta 等[11]利用卷積神經(jīng)網(wǎng)絡給出了基于單目相機的3D 人體姿態(tài)計算方法.基于圖像的姿態(tài)估計方法很難對誤差進行控制,對于遮擋、畫面背景、圖像輸入分辨率等因素較為敏感,而且僅依靠視覺信息很難對肢體的旋轉(zhuǎn)信息做出有效的檢測.除以上利用彩色圖像進行人體姿態(tài)估計的方法,也有利用深度相機的深度圖像進行人體姿態(tài)識別的研究.Shotton 等[12]提出了基于單張深度圖像的3D 人體姿態(tài)快速計算方法,但其檢測效果也同樣容易受到遮擋,光照等因素的影響.

除了人機信息的采集,機器人的靈活控制在人機交互系統(tǒng)中也起到非常重要的作用.靈活的控制策略能夠保證機器人對不同交互情況具有良好的適應性[13].Flacco 等[14]提出一種深度圖下快速估計多個動態(tài)質(zhì)點之間的距離的方法,并利用距離向量所生成的斥力場實現(xiàn)了機器人的動態(tài)避障.Tsai 等[15]研究了7 軸機器人的軌跡規(guī)劃方法來執(zhí)行人機共融環(huán)境下的工作任務,并通過仿真驗證了其軌跡規(guī)劃方法的可行性.Mohammed 等[16]提出了一種視覺驅(qū)動的機器人動態(tài)避障方法,并在VR 虛擬空間中進行了實驗驗證了算法的有效性.目前普遍的機器人控制研究沒有對人機交互中任務目標的隨機性和工作場景頻繁的變化進行充足的考慮,很難保證機器人在動態(tài)環(huán)境下的控制可靠性.

為了實現(xiàn)安全高效的人機交互,本文對人機共融環(huán)境下人與機器人的運動狀態(tài)估計方法,以及交互系統(tǒng)中機器人的控制方法進行了研究.為了在人機共存的環(huán)境下實時獲取穩(wěn)定的人體姿態(tài),采用了多相機和IMU 信息融合優(yōu)化的方式對人體姿態(tài)進行估計,提升了人體姿態(tài)估計效果的魯棒性,避免了單相機視角下對遮擋因素敏感的問題,并通過融合IMU 信息實現(xiàn)了對肢體旋轉(zhuǎn)旋轉(zhuǎn)信息的檢測,提供了有效的交互信息.此外,結(jié)合機器人本身的運動學特性,設計了機器人的交互控制策略.所設計的控制策略能夠提升機器人在復雜環(huán)境中工作的安全性,且對不同的任務目標能夠靈活的切換,提高了機器人在不同場景下的適應性.

本文的內(nèi)容組織結(jié)構(gòu)如下: 第1 節(jié)提出了人機共融系統(tǒng)的系統(tǒng)設計,第2 節(jié)研究了機器人和操作人員的姿態(tài)解算方法,第3 節(jié)設計了機器人控制策略,第4 節(jié)通過若干實驗說明了算法和控制方法的有效性和實用性.

1 系統(tǒng)設計

在人機共融系統(tǒng)下工作的機器人,主要起到協(xié)助操作人員進行工作的作用.圖1 給出的動作跟隨、目標指定、動態(tài)避障等較為典型人機協(xié)作方式,在非接觸式人機交互中有較強的應用價值.為了滿足上述功能,實現(xiàn)可靠的交互,需要穩(wěn)定的人體姿態(tài)識別算法和靈活的機器人控制策略.

圖1 人機交互方式Fig.1 Patterns of human-robot interaction

對于人體姿態(tài)估計問題,基于單相機的方法對遮擋、光照、背景等環(huán)境因素較為敏感,而且僅基于圖像信息很難對人體肢體的旋轉(zhuǎn)信息進行有效的判斷.本文擬采用多相機與IMU 信息融合的方法對人體姿態(tài)進行估計,以提升人體姿態(tài)識別的精度、穩(wěn)定性和姿態(tài)信息的完整性.

對于人機交互應用中的機器人控制,需要使用合適的交互控制策略使得機器人能夠適應不同的交互模式下不同的控制需求.本文擬針對不同的交互方式給出相應目標點生成方式,機器人通過對相應目標點進行追蹤以實現(xiàn)不同的交互運動;結(jié)合模型預測控制,通過建立優(yōu)化函數(shù),以調(diào)整優(yōu)化參數(shù)的方式使機器人適應不同模式下的控制性能要求.

具體的系統(tǒng)設計如圖2 所示.機器人的工作空間處于多臺固定架設的相機視野下,機器人的坐標系與相機坐標系的變換關(guān)系通過機器人手眼標定獲得,從而可以通過機器人運動學計算出機器人的運動狀態(tài).利用多臺相機的2D 人體姿態(tài)估計結(jié)果和操作人員所佩戴的IMU 的旋轉(zhuǎn)信息,在人體姿態(tài)估計模塊中通過構(gòu)造能量函數(shù),對傳感器信息進行融合并優(yōu)化求解出3D 的人體姿態(tài)信息.系統(tǒng)通過分析操作人員與機器人的空間關(guān)系,并結(jié)合當前的交互模式生成機器人的任務目標,機器人的任務目標經(jīng)過系統(tǒng)修正以保證安全性與合理性.最后,以生成的任務目標為參考,通過模型預測控制器生成機器人的運動指令,最終控制機器人運動完成交互行為.“虛擬環(huán)境”作為整個系統(tǒng)信息交換的中樞,存儲了當前實時的人機姿態(tài)信息,起到信息同步和可視化的作用.在人機交互系統(tǒng)中,基于多傳感器融合的人機姿態(tài)解算、機器人的目標點生成和修正方法以及靈活的控制策略是本文研究的核心問題.

圖2 人機共融系統(tǒng)示意圖Fig.2 Overview of human-robot coexisting system

2 基于多傳感器的三維人機姿態(tài)解算

2.1 虛擬空間的坐標關(guān)系描述

在圖2 所示的虛擬環(huán)境中,利用坐標系來表示空間中人與機器人的狀態(tài).人與機器人都被視為獨立的剛體運動系統(tǒng),分別具有各自的基坐標系.對于機器人,基坐標系為機器人的基座坐標系;對于操作人員來說,髖部關(guān)節(jié)坐標系被視為基坐標系.為了方便對人與機器人之間的位姿關(guān)系進行計算和表示,在虛擬環(huán)境中還設有世界坐標系,機器人與操作人員的定位信息都基于世界坐標系來表示.虛擬3D 環(huán)境中的人機動作捕獲主要依靠多臺單目相機構(gòu)成的視覺系統(tǒng).多臺單目相機之間的空間關(guān)系采用了標定板進行了標定,最后,所有相機的相機坐標系也基于世界坐標系進行表示.

2.2 機器人的姿態(tài)解算

對于固定安裝的機器人,其基坐標系與世界坐標系的關(guān)系保持恒定,因此只需對基坐標系進行標定,得到機器人基坐標系與世界坐標系之間的固定關(guān)系.在相機固定安裝的條件下,通過一種基于迭代最小二乘法的機器人手眼標定方法[6],配合視覺標記對固定安裝的機器人進行標定,得到相機坐標系c下機器人基坐標系r0的位姿.世界坐標下機器人基坐標系的位姿表示為:

機器人可以被視為串聯(lián)的剛體連桿運動系統(tǒng),具有數(shù)個串聯(lián)的連桿,父連桿與子連桿之間由單自由度的旋轉(zhuǎn)關(guān)節(jié)連接.通過機器人正運動學,可以從基座坐標系對機器人的子連桿坐標系進行推算.機器人子連桿rj相對機器人基座r0的位姿的計算公式為:

由式(3)可以計算出如圖3 所示的機器人在虛擬空間中的運動狀態(tài).

圖3 機器人動作解算結(jié)果Fig.3 Robot pose estimation result

2.3 基于多傳感器融合的人體動作解算

在人機交互過程中,需要獲得盡可能完整的人體動作信息,同時需要考慮姿態(tài)估計的穩(wěn)定性.一般基于圖像的方法容易受到遮擋的影響,而且很難對手掌等部位的旋轉(zhuǎn)信息進行有效的檢測.本節(jié)建立了人體上肢骨骼模型,并引入了可穿戴的慣性測量單元,配合多臺相機進行人體動作的估計.

2.3.1 人體上肢模型的建立

與機器人類似,本系統(tǒng)中,人體也被視為串聯(lián)的剛體運動系統(tǒng).在與機器人的交互行為中,人體的上肢動作信息更為重要.為了對人體上肢姿態(tài)進行表示和計算,基于文獻[17]的數(shù)據(jù)集,建立了人體上肢的運動學模型,如圖4 所示.人體上肢運動學模型為包含10 個連桿的運動系統(tǒng),其中,根連桿h0(髖部)為人體基坐標系,包含相對世界坐標系表示的姿態(tài)和位移其余子連桿hj,j ∈{1,2,···,9}通過球形關(guān)節(jié)與父連桿連接,相對于父連桿有旋轉(zhuǎn)和常量連桿位移其中,是用于表示球形關(guān)節(jié)歐拉角旋轉(zhuǎn)量的3 維向量.人體模型中的左肩連桿h2和右鍵連桿h6同時將胸部連桿h1作為父連桿,區(qū)別于機器人的結(jié)構(gòu),以prt作為父連桿編號.令P(hj) 為連桿hj所有上級連桿的集合,則hj在世界坐標系下的位姿為:

圖4 人體上肢骨骼關(guān)節(jié)點Fig.4 Key points of human upper limb skeleton

2.3.2 能量函數(shù)構(gòu)造

人體動作估計需要融合視覺和IMU 傳感器的數(shù)據(jù),對θh進行求解.建立θh的目標函數(shù)

式中,ER(θh)為人體上肢模型中連桿姿態(tài)與IMU測得肢體姿態(tài)的誤差項,EP(θh)表示視覺傳感器測得的人體肢體位置的誤差項,EL(θh)為人體關(guān)節(jié)自由度約束項,αR、αP、αL分別為上述3 項的權(quán)重系數(shù).通過最小化E(θh)能夠求得融合了視覺信息與IMU 信息的人體動作估計結(jié)果θh.

1) IMU 誤差項

人體姿態(tài)估計中,IMU 佩戴方式如圖4 所示,需要在腰部、左手臂、右手臂、左手掌和右手掌佩戴IMU.各個IMU 能夠檢測自身在世界坐標系下的姿態(tài)對應其追蹤的肢體連桿hj.在佩戴好IMU 后,肢體連桿坐標系hj與IMU 傳感器坐標系Ij存在固定的旋轉(zhuǎn)偏差,該偏差能夠在人體姿態(tài)估計的初始化階段通過動作標定計算得出,具體計算方法見式(12).那么肢體連桿hj在世界坐標系下的IMU 測量值表示為:

式中,I為佩戴有IMU 的肢體連桿編號的集合,Γ(·)將旋轉(zhuǎn)矩陣轉(zhuǎn)化四元數(shù)并取其向量部分.

2)視覺誤差項

式中,Projc(·) 為相機c的3D-2D 投影函數(shù).最后建立視覺誤差項:

式中,C為所有相機的集合,J為所有關(guān)鍵點的集合.

3)關(guān)節(jié)自由度約束項

僅依靠穿戴的IMU 和圖像的信息無法很好地保證優(yōu)化中θh收斂結(jié)果的合理性.其主要的原因在于傳感器信息的自由度不足,無法完全約束人體模型的關(guān)節(jié)自由度.例如肩部連桿和胸部連桿的關(guān)節(jié)信息并沒有被IMU 直接觀測,主要依靠圖像信息進行估計.在建立人體運動學模型時,雖然人體的每一個連桿關(guān)節(jié)具有3 個自由度,但對于實際的人體,大部分的關(guān)節(jié)都有著運動方向和角度上的限制,并非所有的關(guān)節(jié)都能滿足3 個自由度上的自由旋轉(zhuǎn).

通過對人體動作數(shù)據(jù)集[17]的分析,可以得到各個關(guān)節(jié)數(shù)據(jù)分布的均值和標準差,以此建立關(guān)節(jié)自由度約束項:

式中,J′為除髖關(guān)節(jié)外所有旋轉(zhuǎn)關(guān)節(jié)的集合.標準差較大的關(guān)節(jié)在關(guān)節(jié)運動限制上有著較大的容忍度;而對于標準差較小的關(guān)節(jié),與均值偏差較大的優(yōu)化結(jié)果會導致該項的計算結(jié)果顯著增大.最小化該項能夠使優(yōu)化求解所得出的姿態(tài)更趨近數(shù)據(jù)集中存在的姿態(tài),從而達到約束關(guān)節(jié)自由度的效果.

2.3.3 人體姿態(tài)的優(yōu)化求解

式(5)中的IMU 誤差項(7)和視覺誤差項(9)分別定義了兩種傳感器在人體姿態(tài)優(yōu)化求解過程中的誤差,但由于所對應物理量量綱的不同,以及傳感器本身對測量誤差的容忍度不同(IMU 一般不會出現(xiàn)較大的測量誤差,而基于卷積神經(jīng)網(wǎng)絡的圖像數(shù)據(jù)處理經(jīng)常出現(xiàn)不合理的輸出結(jié)果),需要調(diào)整各項所對應的權(quán)重系數(shù)α∈[0,1] 以平衡各項在優(yōu)化過程中的作用,對于關(guān)節(jié)自由度約束項(10)同理.

同一時刻的IMU 數(shù)據(jù)和圖像檢測數(shù)據(jù)作為一組傳感器數(shù)據(jù),對于每一組傳感器數(shù)據(jù),首先將對式(7)與式(9)進行數(shù)據(jù)代入,再建立優(yōu)化目標問題(11),給定優(yōu)化過程的初始迭代值,并采用Levenberg-Marquardt 法在約束范圍內(nèi)對該非線性問題的最小值解θh進行迭代搜索,最后收斂得到當前人體姿態(tài)的計算結(jié)果.

在優(yōu)化問題中給定接近最優(yōu)解的初始迭代值能夠提升梯度下降的效率,并減少求解陷入局部最優(yōu)的可能性,為此使用前一組數(shù)據(jù)所求得的姿態(tài)結(jié)果作為初始迭代值來進行優(yōu)化問題的求解.而對于優(yōu)化第一組數(shù)據(jù),由于沒有上一時刻的結(jié)果可以利用,設計了初始化階段以提供最初的迭代值.在初始化階段中,預先定義了一個初始姿態(tài)(一般為Tpose: 即保持身體直立,雙手向兩側(cè)平舉的姿態(tài)),操作人員需要和初始姿態(tài)保持吻合,再以初始姿態(tài)作為當前優(yōu)化問題的初始值進行姿態(tài)求解,以計算得到第一組數(shù)據(jù)的姿態(tài)估計結(jié)果.同時,由于給定了初始姿態(tài),各個IMU 與相應骨骼連桿的固定旋轉(zhuǎn)偏移能夠在初始化階段進行計算:

3 人機共融系統(tǒng)中的機器人控制

在人機交互應用中,機器人以操作人員為中心進行工作,操作人員在交互過程中常常起到指定任務目標的作用.然而,人在交互過程中所給定的目標具有潛在的隨意性和不合理性.隨意性是指操作人員往往無法直接給出精確的任務目標,而需要給出大致目標后,經(jīng)過不斷的反饋調(diào)整最終令操作人員達到滿意;不合理性是指,人在指定目標時往往并不考慮機器人自身能力與周圍環(huán)境等因素,給出的目標容易導致機器人不安全的運動,甚至發(fā)生碰撞而導致?lián)p耗等情況.在人機交互的過程中,機器人一方面需要對頻繁發(fā)生變動的目標進行快速的響應,提高交互的效率和舒適度,同時另一方面需要考慮操作人員和自身的安全,對于不合理的目標指令進行修正,并及時對操作人員發(fā)出反饋.本節(jié)首先對人機交互中不同模式的目標點生成方法進行闡述,隨后提出基于邊界限制的目標修正和機器人的模型預測控制來解決上述的問題.

3.1 機器人目標點生成方法

在所設計的系統(tǒng)中,機器人在工作狀態(tài)下始終具有一個任務目標,機器人通過對進行跟蹤來達到交互目的.基于第2 節(jié)中構(gòu)建的虛擬環(huán)境中得到的信息,對圖1 中給出的幾種交互方式所對應的的生成方式進行說明.

1)動作跟隨模式

式中,I3為3 階單位矩陣.

2)目標指定模式

如圖1(b)所示,機器人的工作環(huán)境中一般存在若干操作平面.在虛擬環(huán)境中,人體運動模型的手掌連桿能夠形成射線矢量與機器人的操作平面相交,若相交點處于操作平面內(nèi),則以相交的位置作為機器人的行動目標.在該模式下能夠讓操作人員方便地對桌面上離散的目標進行指定,命令機器人進行抓取等操作.

3)動態(tài)避障模式

系統(tǒng)能夠?qū)崟r地對虛擬環(huán)境中機器人的各個連桿與人體的各個連桿的距離進行計算.如圖1(c)所示,當機器人處于自主運動狀態(tài)(指操作人員并無意圖控制機器人運動的情況),同時檢測到機器人連桿與人體連桿距離過近時,能夠觸發(fā)該模式,通過動態(tài)避障算法實時修正,對人體進行避讓.本文以人工勢場法為啟發(fā),設計了基于斥力引力場的避障目標點生成方法: 當人體與機器人距離足夠大的情況下,機器人向任務目標運動,目標點對機器人工具坐標系rtool產(chǎn)生引力向量Fo:

式中,δ∈(0,∞)為目標點距離系數(shù),用于調(diào)整合成力與生成的目標點之間的線性關(guān)系.

3.2 機器人運動控制策略設計

3.2.1 任務目標的修正

圖5 機器人運動邊界Fig.5 Boundary of robot motion

1)奇異狀態(tài)邊界.理論上,機器人具有以基座為中心,最大臂展R為半徑的球形的最大可達工作空間W{R}.但是機器人在達到最大伸展距離時會處于奇異姿態(tài),在奇異姿態(tài)下無法保證逆運動學求解的合理性,這將導致機器人的運動方式進入一種難以預估的狀態(tài).為了避免奇異姿態(tài)的出現(xiàn),對機器人的工作空間進行了限制.若理論上的機器人最大工作空間半徑為R,則令限制后的工作空間半徑為R′=0.9R,超出工作空間W{R′}的目標姿態(tài)將被重新限制到W{R′}的邊界,以此避免了奇異姿態(tài)的出現(xiàn).

2) 靜態(tài)障礙物邊界.除了工作空間W{R′}的限制外,機器人的運動還受到工作空間中靜態(tài)障礙物的限制,對于體積較大的靜態(tài)障礙物,如操作臺面,貨架等,機器人難以通過運動規(guī)劃對其進行避讓,那么系統(tǒng)根據(jù)此類障礙物的形狀形成邊界,在W{R′}的基礎上對工作空間進行限制.這些邊界的生成需要使用者根據(jù)機器人所處的具體環(huán)境在虛擬環(huán)境中對障礙物進行配置,每個障礙物都設有接觸閾值,根據(jù)閾值系統(tǒng)會在障礙物周圍形成外包絡邊界,目標姿態(tài)將會被限制在包絡邊界外,以免和環(huán)境發(fā)生碰撞.

3)自碰撞邊界.機器人在運動時也可能會與自身發(fā)生碰撞,類似靜態(tài)障礙物,機器人自身在連桿周圍根據(jù)接觸閾值形成外包絡邊界,目標姿態(tài)將被修正在邊界外,防止自碰撞的發(fā)生.

3.2.2 基于模型預測的機器人靈活控制

在人機交互系統(tǒng)中,針對當前不同情況可能有著不同的控制需求.比如在動作跟隨模式下,機器人需要快速的響應速度以減小軌跡的跟蹤誤差,而在近距離的交互過程中,運動過程的柔和度和人機安全更加重要.為了能夠靈活地調(diào)整機器人的控制策略,使用了模型預測控制分別應用于各個機器人關(guān)節(jié).控制器設計如圖6 所示,其中,為預測時間窗口Tpre內(nèi)的機器人的目標關(guān)節(jié)角序列;目標點的序列經(jīng)逆運動學求解得出;控制量u為關(guān)節(jié)角加速度分別為關(guān)節(jié)位置和關(guān)節(jié)角速度.單關(guān)節(jié)預測模型通過輸入u對機器人關(guān)節(jié)狀態(tài)x=進 行計算,θpre和分別為預測時間窗口Tpre內(nèi)的關(guān)節(jié)位置和關(guān)節(jié)角速度的預測結(jié)果序列,機器人的單關(guān)節(jié)狀態(tài)空間模型定義如下:

圖6 基于單關(guān)節(jié)模型的預測控制器Fig.6 Model predictive controller based on single robot joint

建立如下的優(yōu)化問題進行滾動優(yōu)化:

通過調(diào)節(jié)qp、qv、qa的大小,能夠有效地改變控制側(cè)重的性能指標: 在qp相對較大,qv和qa相對較小的情況下,能夠保證機器人具有較好的軌跡跟蹤性能;反之,在qv和qa相對較大時,軌跡跟蹤的實時性下降,但能夠更好地限制機器人的運行速度和加速度,使得機器人的運動更為柔和.針對不同的交互情況可以使用不同的機器人控制策略,同時機器人的運動能夠嚴格保持在最大速度vmax和最大加速度amax的約束之下,從而實現(xiàn)安全靈活的機器人交互控制.

4 系統(tǒng)實現(xiàn)與驗證

為了驗證所提出的機器人共融系統(tǒng)的性能,設計了若干實驗,分別對第2 節(jié)提出的人體姿態(tài)估計方法的穩(wěn)定性和第3 節(jié)提出的機器人控制策略對動態(tài)目標的跟蹤性能以及人機共融環(huán)境下的人機交互可行性進行了驗證.

4.1 系統(tǒng)具體配置

系統(tǒng)中的交互在一對一的情況下展開.使用的機器人為串聯(lián)6 軸協(xié)作型機器人UR5.使用的傳感器包含高清相機3 臺,5 個可穿戴式IMU.高清相機的圖像傳輸分辨率為1 920 × 1 080,通過USB3.0接口與主機相連.該分辨率下的圖像主要用于相機的標定環(huán)節(jié),每臺相機利用支架架設于交互場景的高處,均勻的分布的場景的周圍,主要目的是為了保證相機的視野.在相機經(jīng)過標定得到內(nèi)外參數(shù)后,在實際實時處理過程中被降采樣為960×540 的分辨率.在降采樣后,圖像在傳輸和識別部分的延遲都能夠得到有效降低.人體2D 關(guān)節(jié)點的識別使用文獻[10]方法,本文使用的主機配置為i7-8700X,Nvidia Titan Xp,在識別環(huán)節(jié)能夠達到25 Hz 的幀率,處理結(jié)果有40 ms 左右的延時.

可穿戴式的IMU 使用無線網(wǎng)絡與主機進行數(shù)據(jù)傳輸,為了方便計算,將IMU 的參考坐標系設為和相機標定得到的世界坐標系保持一致.每個IMU與相應人體連桿的固定偏差通過預設定的初始人體姿態(tài)進行標定得到.

UR5 與主機采用socket 通訊方式進行數(shù)據(jù)傳輸,主機對UR5 的30002 端口進行數(shù)據(jù)解析以獲取機器人各關(guān)節(jié)角度θr與角速度,同時對30003端口進行速度指令寫入以控制UR5 的運動.

4.2 人體動作估計穩(wěn)定性實驗

單臺相機圖像處理得到的2D 姿態(tài)估計結(jié)果常常由于遮擋因素導致識別上的錯誤,而在與機器人的近距離交互過程當中,遮擋的情況時有發(fā)生.本文通過一組時長60 秒的人體姿態(tài)數(shù)據(jù)進行實驗,驗證了第2.3 節(jié)提出的人體姿態(tài)解算方法在不同傳感器配置下的準確度.實驗中所使用的人體姿態(tài)求解能量函數(shù)(5)的權(quán)重系數(shù)為:αP=1.0,αR=8.0,αP=5.0,實驗結(jié)果如表1 所示.需要注意的是,由于人體關(guān)節(jié)具體位置定義的模糊性,不采用絕對的參考值進行準確率的判斷,在姿態(tài)估計結(jié)果與當前圖像大致吻合時即認為該幀數(shù)據(jù)的估計結(jié)果準確,只有當某一幀數(shù)據(jù)的計算結(jié)果和圖像本身出現(xiàn)了明顯偏差時,該幀數(shù)據(jù)被視為不準確,判斷準確率時不考慮肢體的旋轉(zhuǎn)信息,準確率的計算公式為: 準確幀幀/實驗數(shù)據(jù)總幀數(shù).

表1 不同傳感器配置下的人體姿態(tài)估計準確率Table 1 Accuracy of human pose estimation under different sensor configurations

由表1 可以看出,相機的使用數(shù)量對準確率有著顯著的影響,在只使用兩臺相機的信息時,非常容易出現(xiàn)遮擋導致的結(jié)果失真.在使用了第3 臺相機后準確率有了很大的提升,偶爾出現(xiàn)的姿態(tài)結(jié)果失真一般都能夠快速恢復正常.IMU 的使用對結(jié)果準確率的提升有一定的幫助,其主要的作用在于提供準確的肢體旋轉(zhuǎn)信息.

圖7 給出了同一組數(shù)據(jù)下使用不同傳感器配置時的姿態(tài)估計情況.相機圖像中的圓圈標志為被識別的人體關(guān)鍵點,其半徑代表了式(9)中置信度的大小,人體身上標明的骨架信息為姿態(tài)估計的結(jié)果.使用2 臺相機是實現(xiàn)人體姿態(tài)捕捉的最小傳感器配置,但在信息受到遮擋時就很難得到精確的估計結(jié)果.如圖7(a)所示,由于沒有使用相機3 的信息,導致右手臂的動作無法正確地被估計,可以觀察到人體姿態(tài)的估計結(jié)果與機器人模型發(fā)生了位置上的重疊,顯然是不正確的.圖7(b)中使用了相機3 的關(guān)鍵點信息,右手臂的姿態(tài)能夠被正確地估計.在使用大于2 臺相機時,由于關(guān)鍵點置信度的存在,各臺相機得到的信息能夠相互補償,得到更好的結(jié)果.使用了IMU 信息的圖7(c)中,姿態(tài)估計結(jié)果得到了進一步的矯正,并解算得出了正確的肢體旋轉(zhuǎn)信息.

圖7 不同傳感器配置下的姿態(tài)估計結(jié)果Fig.7 Pose estimation result under different sensor configuration cases

4.3 目標跟蹤實驗

基于第3.2.2 節(jié)給出的模型預測控制方法,采用2 組不同的控制權(quán)重qp、qv、qa,對機器人的目標跟蹤性能進行驗證.目標點的生成使用第3.1 節(jié)中的動作跟隨模式,模型預測控制的預測窗口為0.5 s,機器人狀態(tài)的采樣頻率和機器人控制頻率均為100 Hz,機器人的關(guān)節(jié)角速度限制vmax為1.5 rad/s,角加速度限制amax為3.0 rad/s2,使用的2 組控制權(quán)重參數(shù)為:

參數(shù)組1:qp=5.0,qv=1.0,qa=0.5.

參數(shù)組2:qp=3.0,qv=1.5,qa=1.0.

圖8 給出了參數(shù)組1 對應的機器人各關(guān)節(jié)的跟蹤軌跡.在qp相對較大,qv和qa相對較小的情況下,可以看出機器人能夠?qū)崟r地對軌跡進行跟蹤.圖9 給出了參數(shù)組2 對應的機器人各關(guān)節(jié)的跟蹤軌跡.在qp相對較小,qv和qa相對較大的情況下,機器人的軌跡跟蹤有較大的延時,但軌跡跟蹤速度較為柔和,且對目標軌跡中的噪聲有較好的過濾作用.在不同參數(shù)配置下控制都有良好的穩(wěn)定性和較小的靜態(tài)誤差,根據(jù)不同控制性能需求可以選用相應的控制參數(shù)對機器人進行控制.

圖8 基于參數(shù)組1 的機器人各關(guān)節(jié)目標跟蹤軌跡Fig.8 Robot joint tracking result based on parameter 1

圖9 基于參數(shù)組2 的機器人各關(guān)節(jié)目標跟蹤軌跡Fig.9 Robot joint tracking result based on parameter 2

4.4 人機交互實驗

基于本文給出的人機姿態(tài)解算方法和機器人控制策略,實現(xiàn)了滿足第3.1 節(jié)中不同機器人交互模式的機器人交互系統(tǒng).

基于動作跟隨模式實現(xiàn)了機器人遙操作搬運,如圖10 所示.本實驗根據(jù)人體右手手掌位姿,以固定的位移偏差值生成目標,以實現(xiàn)對機器人末端的遙操作.在實驗中,操作臺面上設有一環(huán)狀物體和一柱狀物體,操作人員利用該模式控制機器人對環(huán)狀物體進行了抓取并將其套入柱狀物體中.使用該模式操作機器人能夠保證操作人員視角的直觀性,操作人員無需考慮機器人本身的參考坐標系,只需以當前機器人末端位置為準對其進行位姿調(diào)整,而且當操作人員進行操作時,無需束縛在固定的操作位置,可以自由走動同時對機器人的姿態(tài)進行調(diào)整.

圖10 機器人遙操作搬運Fig.10 Robot pick-and-place under teleoperation

基于目標指定模式實現(xiàn)了指定物品的遞送,如圖11 所示.在實驗的操作臺面上設置了需要遞送的毛絨玩具,操作人員用手指定機器人需要抓取的目 標,在機器人移動至物品上方并且經(jīng)過操作人員確認后,機器人執(zhí)行抓取操作,并將所持物品交給操作人員.在本實驗中,系統(tǒng)利用人體手臂生成的矢量與操作桌面形成的交點來判斷機器人需要抓取的物品.

圖11 指定物品遞送Fig.11 Target pointing and fetching

基于動態(tài)避障模式實現(xiàn)了人機共融環(huán)境下的機器人主動避讓.正常情況下,機器人在自身預設的運動軌跡中工作,如圖12(a)所示.當人靠近機器人工作區(qū)域并在臺面上操作時,阻擋了機器人原本的運行軌跡,系統(tǒng)通過人工勢場法對機器人的運動軌跡進行了調(diào)整,在不與人體產(chǎn)生沖突的情況下到達了目標位置,如圖12(b)所示.

圖12 機器人主動避障Fig.12 Active collision avoidance

5 結(jié)束語

本文通過對人機姿態(tài)解算和機器人控制策略的研究,設計并實現(xiàn)了滿足不同交互需求的人機共融系統(tǒng).為了獲取交互系統(tǒng)中的人體姿態(tài)信息,建立了人體上肢運動學模型,并基于傳感器特性構(gòu)造了相應的能量函數(shù)用于多相機和IMU 信息的融合優(yōu)化,給出了高穩(wěn)定性的人體姿態(tài)估計方法.針對動作跟隨、目標指定、動態(tài)避障等人機交互模式,設計了相應的目標點生成方法和目標點修正方法,并采用模型預測控制使得機器人能夠通過調(diào)整控制參數(shù)適應不同的交互需求.結(jié)合人機姿態(tài)的解算方法和機器人控制策略,對所設計的人機交互系統(tǒng)的性能進行了實驗驗證.實驗結(jié)果分別驗證了: 本文人體姿態(tài)解算方法在局部遮擋條件下的穩(wěn)定性;機器人控制方法進行動態(tài)目標跟蹤的平滑性;機器人交互系統(tǒng)在不同交互模式下的有效性.所設計的人機共融能夠保證交互時的人機安全以及對不同交互模式的適應性.在今后的研究中,將進一步給出多人情況下的人機交互方法.