陳楚浩,謝 瑜,代稷珅
(廈門(mén)大學(xué)航空航天學(xué)院,福建廈門(mén) 361102)
近年來(lái),機(jī)器人的工作從基本的機(jī)械搬運(yùn)、簡(jiǎn)單協(xié)助發(fā)展到了需要和環(huán)境、人及其他機(jī)器人密切交互的一系列復(fù)雜任務(wù)。而傳統(tǒng)機(jī)器人由于在線感知能力匱乏,使其在非結(jié)構(gòu)環(huán)境下缺乏自主能力,無(wú)法與動(dòng)態(tài)的目標(biāo)進(jìn)行有效交互[1-3]。因此需要為機(jī)器人開(kāi)發(fā)運(yùn)動(dòng)感知系統(tǒng),使機(jī)器人能夠高度適應(yīng)非結(jié)構(gòu)化的動(dòng)態(tài)環(huán)境,精確完成復(fù)雜任務(wù),滿足高端制造、醫(yī)療康復(fù)和國(guó)防安全等領(lǐng)域?qū)ο冗M(jìn)機(jī)器人的需求[4-8]。目前機(jī)器人主要依靠視覺(jué)感知目標(biāo)運(yùn)動(dòng)[9-12],但視覺(jué)傳感技術(shù)對(duì)機(jī)器人的工作環(huán)境提出了較高的要求,在光線不足、黑暗、沙塵等條件下,視覺(jué)數(shù)據(jù)將產(chǎn)生較大誤差,影響感知結(jié)果。觸覺(jué)作為機(jī)器人的一種重要的傳感技術(shù),可以通過(guò)接觸感知交互目標(biāo)的形狀、硬度、質(zhì)地等物理性質(zhì),檢測(cè)滑動(dòng)、振動(dòng)等機(jī)械刺激[13-16]。因此,在極端環(huán)境下使用機(jī)器人觸覺(jué)代替視覺(jué)感知目標(biāo)運(yùn)動(dòng)具有重要的研究意義。
自21世紀(jì)以來(lái),電子皮膚作為一種新型高密度觸覺(jué)傳感器得到了迅猛發(fā)展[17-19]。電子皮膚憑借其輕薄、柔順的優(yōu)勢(shì),可以大面積地集成在機(jī)器人表面,有效增大了機(jī)器人的感知面積。此外,和只能感知單點(diǎn)力的傳統(tǒng)力傳感器相比,具有傳感器陣列的電子皮膚能以觸覺(jué)圖像的形式顯示面接觸力分布,追蹤接觸目標(biāo)的位置和姿態(tài),是機(jī)器人實(shí)現(xiàn)運(yùn)動(dòng)感知的理想觸覺(jué)傳感器[20-22]。因此,利用電子皮膚采集的觸覺(jué)圖像,設(shè)計(jì)基于圖像處理的運(yùn)動(dòng)感知算法,具有理論和實(shí)踐上的可行性。
本研究基于電子皮膚和觸覺(jué)圖像處理技術(shù)提出了對(duì)接觸目標(biāo)運(yùn)動(dòng)感知的算法。該算法首先使用柔性基底改善電子皮膚與目標(biāo)的接觸,并對(duì)觸覺(jué)圖像進(jìn)行預(yù)處理,使用圖像形態(tài)學(xué)技術(shù)消除觸覺(jué)圖像中的噪聲點(diǎn)以減小誤差,接著對(duì)觸覺(jué)圖像進(jìn)行雙線性插值以增強(qiáng)分辨率。改善觸覺(jué)圖像后,通過(guò)計(jì)算觸覺(jué)圖像的形心獲取目標(biāo)的位置變化,感知目標(biāo)平移,接著利用對(duì)數(shù)極坐標(biāo)變換,對(duì)觸覺(jué)圖像進(jìn)行最優(yōu)旋轉(zhuǎn)配準(zhǔn)以獲取目標(biāo)姿態(tài)變化,實(shí)現(xiàn)對(duì)旋轉(zhuǎn)運(yùn)動(dòng)的高效感知。最后利用線性回歸模型擬合不同時(shí)刻下目標(biāo)的位置和姿態(tài)變化,計(jì)算目標(biāo)的運(yùn)動(dòng)速度。此外,本研究使用高精度并聯(lián)定位平臺(tái)實(shí)驗(yàn)驗(yàn)證了算法精度,分析了算法誤差產(chǎn)生的原因。
當(dāng)運(yùn)動(dòng)目標(biāo)與機(jī)器人接觸時(shí),電子皮膚的高密度力傳感陣列能夠連續(xù)采集運(yùn)動(dòng)目標(biāo)的觸覺(jué)圖像,以傳感器陣列為基準(zhǔn)建立觸覺(jué)坐標(biāo)系分析觸覺(jué)圖像,可以計(jì)算目標(biāo)在不同時(shí)刻下的位置和姿態(tài),進(jìn)而獲取目標(biāo)的運(yùn)動(dòng)速度,最終實(shí)現(xiàn)運(yùn)動(dòng)感知。但當(dāng)目標(biāo)物體質(zhì)地粗糙或硬度較高時(shí),電子皮膚無(wú)法與目標(biāo)充分接觸,導(dǎo)致不同時(shí)刻的觸覺(jué)圖像變化很大,此外,當(dāng)外部干擾強(qiáng)烈時(shí),觸覺(jué)圖像會(huì)產(chǎn)生較多的噪聲點(diǎn),這些現(xiàn)象都會(huì)影響算法精度,因此需要改善觸覺(jué)圖像。
1.1.1 電子皮膚結(jié)構(gòu)
本研究選擇了一款高密度的商用壓力傳感器陣列(5101,Tekscan,美國(guó))作為電子皮膚,該傳感器陣列由44行和44列的壓力傳感器呈矩形排列而成,行列間距均為2.5 mm,整體厚度為0.08 mm。整個(gè)電子皮膚由2塊聚酯薄片拼接而成,2塊聚酯薄片的內(nèi)側(cè)面分別以行模式和列模式沉積著導(dǎo)電電極,力敏感材料也以行列分布的形式被安裝在兩塊薄片之間,這些電極和力敏感材料行列的交叉形成了一個(gè)觸覺(jué)傳感單元,如圖1所示。數(shù)據(jù)采集電路(Evolution Handle,Tekscan,美國(guó))和配套軟件可以自動(dòng)將傳感單元采集到的力數(shù)據(jù)轉(zhuǎn)化為一個(gè)8位的像素強(qiáng)度值,并組成一張顯示接觸力分布的壓力云圖。
圖1 電子皮膚的結(jié)構(gòu)
1.1.2 柔性基底選擇
本研究通過(guò)在電子皮膚下放置一塊柔性基底以解決與目標(biāo)接觸不充分的問(wèn)題。為了最大程度上改善接觸,需要為基底選擇合適的彈性模量和厚度,因此選擇了厚度范圍在0.5~2.0 mm內(nèi),間隔為0.5 mm的4種硅膠板(silicone rubber sheet,SRS)和厚度范圍在1.0~6.0 mm,間隔為1.0 mm的6種發(fā)泡硅膠板(foamed silicone rubber sheet,F(xiàn)SRS)進(jìn)行實(shí)驗(yàn)。與硅膠板相比,發(fā)泡硅膠板在制造中多了發(fā)泡工序,材料呈開(kāi)孔結(jié)構(gòu),因此彈性模量更小。在實(shí)驗(yàn)中,基底被放置在電子皮膚之下,并將0.5、1.0、1.5、2.0、2.5 kg的砝碼按順序放置在硬質(zhì)粗糙工件上作為負(fù)載,觀察不同基底對(duì)接觸的改善,如圖2所示。
圖2 電子皮膚的結(jié)構(gòu)
為了定量比較基底對(duì)接觸的改善,本研究使用觸覺(jué)圖像面積與目標(biāo)接觸面的實(shí)際面積之比來(lái)描述接觸情況,它的定義如下:
(1)
式中:St為觸覺(jué)圖像面積;So為目標(biāo)接觸面面積。
由定義可得:接觸比R越接近1,電子皮膚與目標(biāo)的接觸越充分。在實(shí)驗(yàn)中,使用不同基底的電子皮膚采集觸覺(jué)圖像的接觸比如圖3所示,觀察發(fā)現(xiàn),不使用基底時(shí),接觸比R非常小,表明電子皮膚與目標(biāo)未充分接觸。而硅膠板(SRS)和發(fā)泡硅膠板(FSRS)均能提高接觸比R,改善接觸。此外,在相同壓力下彈性模量小的發(fā)泡硅膠板改善效果更好,且改善效果在厚度達(dá)到1 mm后不再明顯改變。因此,本研究使用1 mm厚的發(fā)泡硅膠板作為基底來(lái)改善電子皮膚與接觸目標(biāo)的接觸。
(a)
(b)圖3 不同基底的接觸比
為了提高算法的準(zhǔn)確性,需要對(duì)采集到的觸覺(jué)圖像進(jìn)行預(yù)處理。首先,本算法依次使用了圖像形態(tài)學(xué)中的腐蝕和膨脹技術(shù)消除觸覺(jué)圖像中的噪聲點(diǎn)。該技術(shù)利用3×3的核遍歷觸覺(jué)圖像,其中腐蝕操作會(huì)把核中心點(diǎn)的強(qiáng)度值替換成核覆蓋區(qū)域內(nèi)的最小強(qiáng)度值,而膨脹操作則會(huì)替換成區(qū)域內(nèi)的最大強(qiáng)度值,其公式表達(dá)如下:
(2)
(3)
由于電子皮膚傳感器陣列的間距是2.5 mm,所以使用觸覺(jué)圖像感知平移的最小分辨率僅為2.5 mm,這會(huì)影響算法的分辨率。為解決此問(wèn)題,本文采用了5倍雙線性插值對(duì)觸覺(jué)圖像進(jìn)行縮放。在雙線性插值中,已知上下左右相鄰的4個(gè)點(diǎn)為Q11=(x1,y1)、Q12=(x1,y2)、Q21=(x2,y1)和Q22=(x2,y2)以及4個(gè)點(diǎn)對(duì)應(yīng)的像素強(qiáng)度值,如圖4所示。
圖4 雙線性插值
為了得到觸覺(jué)圖像I插值后在P=(x,y)點(diǎn)的強(qiáng)度值,可以先在x方向?yàn)辄c(diǎn)R1=(x,y1)和R2=(x,y2)進(jìn)行插值,公式如下:
(4)
(5)
然后在y方向?yàn)镻點(diǎn)插值,公式如下:
(6)
對(duì)原始觸覺(jué)圖像進(jìn)行腐蝕膨脹處理和雙線性插值的結(jié)果如圖5所示。新觸覺(jué)圖像在消除噪聲點(diǎn)的同時(shí)改善了分辨率,因此可以顯著提高算法的精度。
圖5 觸覺(jué)圖像預(yù)處理
改善之后的觸覺(jué)圖像能夠在目標(biāo)的運(yùn)動(dòng)中準(zhǔn)確顯示接觸面形狀,為在觸覺(jué)坐標(biāo)系中精確計(jì)算目標(biāo)平移和旋轉(zhuǎn)提供了重要保證。
本算法通過(guò)在觸覺(jué)坐標(biāo)系上計(jì)算接觸圖像形心以獲取目標(biāo)位置的變化,形心的計(jì)算公式如下:
(7)
式中:n為觸覺(jué)圖像中強(qiáng)度值非零的像素點(diǎn)數(shù)量;pk為這些像素點(diǎn)在觸覺(jué)坐標(biāo)系中的坐標(biāo);pcenter為接觸面形心的坐標(biāo)。
通過(guò)計(jì)算不同時(shí)刻下觸覺(jué)圖像中接觸面形心坐標(biāo)的差值,可以判斷運(yùn)動(dòng)目標(biāo)的平移,如圖6所示。
圖6 通過(guò)形心計(jì)算目標(biāo)平移
算法獲取目標(biāo)的平移信息后,會(huì)在觸覺(jué)坐標(biāo)系中對(duì)2張觸覺(jué)圖像的位置進(jìn)行對(duì)準(zhǔn),對(duì)準(zhǔn)后2張觸覺(jué)圖像只有姿態(tài)的差異,如圖7所示。
圖7 通過(guò)旋轉(zhuǎn)配準(zhǔn)計(jì)算目標(biāo)旋轉(zhuǎn)
接著本算法不斷旋轉(zhuǎn)第一張觸覺(jué)圖像,并在旋轉(zhuǎn)過(guò)程中計(jì)算2張觸覺(jué)圖像的差異值,差異值最小的旋轉(zhuǎn)角度即為采樣間隔內(nèi)目標(biāo)的旋轉(zhuǎn)角度。由于接觸力的分布并不總是相同的,使用加速搜索算法會(huì)得到局部極小值[23]。為避免出現(xiàn)該問(wèn)題,本算法采用了對(duì)最小差異值的全搜索。然而對(duì)觸覺(jué)圖像進(jìn)行圖形學(xué)的旋轉(zhuǎn)變換非常耗時(shí),全搜索策略的時(shí)間開(kāi)銷會(huì)非常巨大。為改善效率,本算法在搜索前先使用對(duì)數(shù)極坐標(biāo)變換[24],將觸覺(jué)圖像映射到對(duì)數(shù)極坐標(biāo)系中,它的實(shí)現(xiàn)如下:
(8)
(9)
式中:x和y為強(qiáng)度值非零像素點(diǎn)在坐標(biāo)系上的橫坐標(biāo)和縱坐標(biāo);xc和yc為接觸面形心坐標(biāo);M為縮放幅值;ρ為像素點(diǎn)與形心的對(duì)數(shù)距離;θ為像素點(diǎn)相對(duì)于形心的方位;ρ和θ組成了對(duì)數(shù)極坐標(biāo)系的橫坐標(biāo)和縱坐標(biāo)。
在對(duì)數(shù)極坐標(biāo)變換后,原坐標(biāo)系中的旋轉(zhuǎn)變化在對(duì)數(shù)極坐標(biāo)系中被轉(zhuǎn)換成了平移變換。由于在圖形學(xué)中執(zhí)行平移變化的時(shí)間開(kāi)銷遠(yuǎn)小于旋轉(zhuǎn)變化,便可以為對(duì)數(shù)極坐標(biāo)系中的第一張觸覺(jué)圖像測(cè)試所有可能的平移,搜索使2張觸覺(jué)圖像差異值最小的平移。為了進(jìn)一步加強(qiáng)算法對(duì)姿態(tài)的分辨率,本算法在對(duì)數(shù)極坐標(biāo)系的ρ方向上對(duì)2張觸覺(jué)圖像進(jìn)行了8倍線性插值。圖像平移和差異值計(jì)算的實(shí)現(xiàn)如下:
(10)
(11)
(12)
式中:Ilp1和Ilp2為對(duì)數(shù)極坐標(biāo)中的觸覺(jué)圖像;Mtranslate為初等變換矩陣,它負(fù)責(zé)實(shí)現(xiàn)把Ilp1平移至與Ilp2相同的姿態(tài);E為差異值,是觸覺(jué)坐標(biāo)系內(nèi)2張觸覺(jué)圖像內(nèi)所有像素點(diǎn)強(qiáng)度值之差ek的和;φ()為增強(qiáng)算法魯棒性的函數(shù);a為異常閾值,取所有誤差ek的平均值。
使差異值E最小的初等變換矩陣Mtranslate即是算法在對(duì)數(shù)極坐標(biāo)系內(nèi)搜索到的最佳平移,將該平移轉(zhuǎn)換成觸覺(jué)坐標(biāo)系中的旋轉(zhuǎn)角度,即可獲得不同時(shí)刻下運(yùn)動(dòng)目標(biāo)的姿態(tài)差異,進(jìn)而判斷運(yùn)動(dòng)目標(biāo)的旋轉(zhuǎn)。
由于電子皮膚是以固定的頻率采集觸覺(jué)圖像的,因此在獲取不同時(shí)刻下運(yùn)動(dòng)目標(biāo)的位置和姿態(tài)后,可以進(jìn)一步計(jì)算目標(biāo)的運(yùn)動(dòng)速度。假設(shè)電子皮膚的采樣頻率為f,目標(biāo)在采樣間隔內(nèi)位置或姿態(tài)的差異為d,則目標(biāo)平移或旋轉(zhuǎn)的瞬時(shí)速度v計(jì)算如下:
v=f×d
(13)
在實(shí)際應(yīng)用中,電子皮膚與運(yùn)動(dòng)目標(biāo)的接觸并不總是相同的,相鄰時(shí)刻差異較大的接觸會(huì)使姿態(tài)差異d的計(jì)算出現(xiàn)較大誤差,因此只使用一個(gè)采樣間隔內(nèi)2張觸覺(jué)圖像的式(13)計(jì)算得到的速度會(huì)與真實(shí)速度產(chǎn)生較大的偏差。為解決這個(gè)問(wèn)題,本算法使用了多個(gè)采樣間隔內(nèi)連續(xù)的觸覺(jué)圖像,并以圖像序列的第一張圖片為基準(zhǔn),計(jì)算其他圖像與第一張圖像之間的位姿差異,接著利用線性回歸模型擬合這些差異,擬合后,線性回歸模型的斜率即為目標(biāo)的運(yùn)動(dòng)速度。
為了驗(yàn)證運(yùn)動(dòng)感知算法的準(zhǔn)確性,本研究設(shè)置了驗(yàn)證實(shí)驗(yàn)。該實(shí)驗(yàn)固定電子皮膚的位姿不動(dòng),控制六自由度高精度并聯(lián)運(yùn)動(dòng)定位平臺(tái)(Hexapod M850,PI,德國(guó))驅(qū)使目標(biāo)接觸電子皮膚,并在接觸后為目標(biāo)提供精準(zhǔn)的平移和旋轉(zhuǎn)運(yùn)動(dòng),整個(gè)實(shí)驗(yàn)設(shè)備如圖8所示。
圖8 實(shí)驗(yàn)平臺(tái)
實(shí)驗(yàn)中,Hexapod平臺(tái)為目標(biāo)提供行程不同的平移和旋轉(zhuǎn)運(yùn)動(dòng)以全面測(cè)試算法的準(zhǔn)確度,每一次測(cè)試都會(huì)重復(fù)20次以減小隨機(jī)因素的干擾。實(shí)驗(yàn)結(jié)果如表1所示。該結(jié)果顯示算法感知平移時(shí)相對(duì)誤差在1.9%~2.7%的范圍內(nèi)變化,感知旋轉(zhuǎn)時(shí)相對(duì)誤差在5.0%~9.7%的范圍內(nèi)變化。在感知不同距離平移時(shí),算法的最大誤差僅為1.0 mm,小于電子皮膚傳感器陣列的間距2.5 mm,且算法的平均誤差遠(yuǎn)小于運(yùn)動(dòng)行程,這說(shuō)明本算法在加強(qiáng)電子皮膚分辨率的同時(shí)實(shí)現(xiàn)了對(duì)平移運(yùn)動(dòng)的精確感知。此外實(shí)驗(yàn)結(jié)果顯示算法對(duì)旋轉(zhuǎn)運(yùn)動(dòng)的感知并未像平移運(yùn)動(dòng)感知那么精確,這是由于皮膚傳感器陣列的間隔長(zhǎng)度和目標(biāo)物體尺寸相比過(guò)大,導(dǎo)致電子皮膚無(wú)法準(zhǔn)確感知微小的旋轉(zhuǎn)運(yùn)動(dòng)。產(chǎn)生誤差的另一個(gè)原因是目標(biāo)與電子皮膚的接觸并不總是相同的,這會(huì)干擾觸覺(jué)圖像差異值d的計(jì)算,進(jìn)而影響對(duì)旋轉(zhuǎn)角度的感知。
表1 實(shí)驗(yàn)驗(yàn)證結(jié)果
本研究除了驗(yàn)證算法對(duì)平移距離和旋轉(zhuǎn)角度的計(jì)算之外,還驗(yàn)證了算法對(duì)平移旋轉(zhuǎn)速度的計(jì)算。在平移速度驗(yàn)證中,Hexapod平臺(tái)驅(qū)動(dòng)目標(biāo)以0.5、1.0、1.5、2.0 mm/s的速度在電子皮膚上平移。使用線性回歸模型對(duì)不同時(shí)刻下的目標(biāo)位置進(jìn)行擬合,對(duì)X方向和Y方向平移擬合的結(jié)果如圖9和圖10所示。擬合模型的斜率非常接近目標(biāo)實(shí)際的平移速度,相對(duì)誤差在3.4%~6.0%的范圍內(nèi)變化。
(a)0.5 mm/s
(b)1.0 mm/s
(c)1.5 mm/s
(d)2.0 mm/s
(a)0.5 mm/s
(b)1.0 mm/s
(c)1.5 mm/s
(d)2.0 mm/s
在旋轉(zhuǎn)速度驗(yàn)證中,Hexapod平臺(tái)驅(qū)動(dòng)目標(biāo)以0.25、0.50、0.75、1.00°/s的速度旋轉(zhuǎn),同樣使用線性回歸模型擬合,結(jié)果如圖11所示,擬合模型的斜率仍非常接近目標(biāo)實(shí)際的旋轉(zhuǎn)速度,相對(duì)誤差在2.0%~4.0%的范圍內(nèi)變化。從擬合圖中可以看到,在運(yùn)動(dòng)速度慢的情況下,使用多幅觸覺(jué)圖像進(jìn)行速度擬合,可以有效解決電子皮膚由于分辨率低,無(wú)法識(shí)別微小運(yùn)動(dòng)進(jìn)而影響低速運(yùn)動(dòng)感知的問(wèn)題。此外,該方法還能降低隨機(jī)誤差對(duì)結(jié)果的干擾,因此極大提高了算法的精度。
(a)0.25°/s
(b)0.50°/s
(c)0.75°/s
(d)1.00°/s
本研究提出了基于電子皮膚的運(yùn)動(dòng)感知算法,經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證,該算法能準(zhǔn)確識(shí)別運(yùn)動(dòng)目標(biāo)的平移和旋轉(zhuǎn),為機(jī)器人在極端環(huán)境下交互運(yùn)動(dòng)目標(biāo)提供技術(shù)支持。下一階段本研究需要分析電子皮膚與接觸目標(biāo)發(fā)生滑動(dòng)時(shí)觸覺(jué)圖像強(qiáng)度值的變化,并通過(guò)圖像融合技術(shù)獲取目標(biāo)的形狀,在時(shí)域和頻域下分析強(qiáng)度值變化規(guī)律判斷目標(biāo)柔順性、質(zhì)地等物理性質(zhì),最終完成對(duì)交互目標(biāo)準(zhǔn)確、全面的感知。