文小冬 裴以建 王群立 劉強(qiáng)

摘 要： 設(shè)計(jì)一種搭建在移動(dòng)平臺(tái)上的機(jī)械臂控制系統(tǒng)。利用Leap Motion紅外手勢(shì)傳感器進(jìn)行實(shí)時(shí)的手部動(dòng)作采集，計(jì)算機(jī)的上位機(jī)軟件Processing通過調(diào)用相關(guān)的庫(kù)函數(shù)，實(shí)現(xiàn)手勢(shì)動(dòng)作的捕捉，并通過WiFi將數(shù)據(jù)傳送給Arduino控制板，由此實(shí)現(xiàn)機(jī)械臂的手勢(shì)控制。機(jī)械臂搭建在一個(gè)由Android手機(jī)遠(yuǎn)程控制的、帶攝像頭的移動(dòng)小車上，可以實(shí)現(xiàn)多種遠(yuǎn)程的抓取任務(wù)。實(shí)驗(yàn)結(jié)果表明，基于移動(dòng)平臺(tái)的手勢(shì)控制機(jī)械臂移動(dòng)靈活、控制便捷、應(yīng)用領(lǐng)域廣泛。

關(guān)鍵詞： 手勢(shì)識(shí)別； 機(jī)械臂； 傳感器； 上位機(jī)軟件； 遠(yuǎn)程控制； 移動(dòng)平臺(tái)

中圖分類號(hào)： TN876?34； TP242.6 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2018）22?0072?03

Abstract： A mechanical arm control system built on the mobile platform is designed. The Leap Motion infrared hand gesture sensor is used for real?time acquisition of hand movements. The relevant library functions are called by using the computer′s upper?computer software Processing to realize capture of gesture motions. Data is transmitted to the Arduino control panel by means of WiFi， so as to realize gesture control of the mechanical arm. The mechanical arm is built on a mobile car with a camera and remotely controlled by an Android mobile phone， so as to realize multiple remote grasping tasks. The experimental results show that the gesture control mechanical arm based on the mobile platform is flexible to move， easy to control and has a wide application field.

Keywords： gesture recognition； mechanical arm； sensor； upper?computer software； remote control； mobile platform

0 引 言

伴隨著信息技術(shù)的快速發(fā)展，機(jī)器人技術(shù)也隨之成熟，并廣泛應(yīng)用于軍事、工業(yè)、農(nóng)業(yè)、醫(yī)學(xué)、科學(xué)研究等領(lǐng)域，涵蓋了人們生活的方方面面。遠(yuǎn)程控制機(jī)器人能夠代替人類實(shí)現(xiàn)惡劣環(huán)境下的作業(yè)，因此發(fā)展?jié)摿薮?[1]。體感控制機(jī)器人利用體感設(shè)備進(jìn)行動(dòng)作捕捉，并將動(dòng)作信息轉(zhuǎn)換為機(jī)器人的控制信號(hào)，交互方式更加靈活、自然。本系統(tǒng)結(jié)合以上兩種控制方式，在Android手機(jī)上編寫了一個(gè)APP程序，實(shí)現(xiàn)對(duì)小車運(yùn)動(dòng)方向的無線控制；同時(shí)采用Leap Motion手勢(shì)感應(yīng)器，將手部運(yùn)動(dòng)的數(shù)據(jù)傳遞給PC，經(jīng)過Processing軟件處理后，再通過無線方式傳遞給下位機(jī)，達(dá)到手勢(shì)實(shí)時(shí)控制機(jī)械臂的效果 [2]。

1 系統(tǒng)整體結(jié)構(gòu)

本系統(tǒng)采用Leap Motion體感器，利用紅外傳感器來捕捉使用者的手部動(dòng)作軌跡和姿態(tài)。PC上的Processing調(diào)用Leap Motion函數(shù)庫(kù)進(jìn)行手部坐標(biāo)和運(yùn)動(dòng)幀的分析處理，并將其轉(zhuǎn)換為控制指令，通過WiFi傳遞到Arduino上，并控制機(jī)械臂上的舵機(jī)[3]。機(jī)械臂搭載在一個(gè)搭有攝像頭的自制四輪移動(dòng)小車上，小車是由APP進(jìn)行遠(yuǎn)程WiFi控制[4]，從而遠(yuǎn)距離地抓取任務(wù)。系統(tǒng)的整體結(jié)構(gòu)如圖1所示。

2 硬件選型與設(shè)計(jì)

2.1 Leap Motion手勢(shì)傳感器

Leap Motion是由兩個(gè)紅外接收相機(jī)和三個(gè)紅外發(fā)射LED組成，它通過雙目視覺深度算法構(gòu)建出手指三維立體空間的運(yùn)動(dòng)和坐標(biāo)信息，是一款專門用來捕捉手部動(dòng)作姿態(tài)的體感設(shè)備。Leap Motion可以同時(shí)追蹤全部10只手指，精度高達(dá)0.01 mm。手勢(shì)跟蹤過程中，傳感器會(huì)每隔單位時(shí)間向PC發(fā)送一次手部的運(yùn)動(dòng)幀信息。Leap Motion根據(jù)當(dāng)前幀和之前幀進(jìn)行比對(duì)，從而得出手的平移向量、旋轉(zhuǎn)角度等，分析出手的運(yùn)動(dòng)信息。

2.2 芯片選型

控制板選用的是“颼”多功能Arduino板，處理器型號(hào)為ATmega2560，共有75個(gè)I/O口，可以實(shí)現(xiàn)更多的I/O口的控制[5]。本系統(tǒng)共采用2塊Arduino控制板，Arduino（I）板只負(fù)責(zé)小車的APP控制；Arduino（Ⅱ）板只負(fù)責(zé)機(jī)械臂的手勢(shì)控制。系統(tǒng)中使用兩種類型的WiFi模塊：一種是Openwrt?WiFi模塊，傳輸距離較遠(yuǎn)，用于APP對(duì)小車運(yùn)動(dòng)的無線控制；另一種是W5500?WiFi模塊，傳輸更為穩(wěn)定，用于機(jī)械臂的無線控制。

2.3 機(jī)械臂

本系統(tǒng)的機(jī)械臂是使用舵機(jī)進(jìn)行動(dòng)力輸出的一種機(jī)械臂。操作者手勢(shì)的運(yùn)動(dòng)數(shù)據(jù)信息經(jīng)過上位機(jī)軟件Processing處理后，轉(zhuǎn)化為舵機(jī)轉(zhuǎn)動(dòng)角度指令，并通過WiFi傳遞到Arduino（Ⅱ）控制板上，從而實(shí)現(xiàn)機(jī)械臂的手勢(shì)控制[6]。

3 軟件設(shè)計(jì)與實(shí)現(xiàn)

3.1 機(jī)械臂的手勢(shì)控制

機(jī)械臂手勢(shì)識(shí)別控制使用Leap Motion官網(wǎng)提供的Windows環(huán)境下的開發(fā)包工具包：SDK文件、Leap Motion驅(qū)動(dòng)程序（版本號(hào)為3.2.0）。上位機(jī)采用的是交互式圖形編程軟件Processing（版本為3.3.5，選擇的是Java語言環(huán)境）。上位機(jī)軟件Processing通過調(diào)用Leap Motion SDK開發(fā)包中的Leap Motion庫(kù)函數(shù)de.voidplus.leapmotion和以太網(wǎng)函數(shù)processing.net*，用于手勢(shì)數(shù)據(jù)的獲取和手勢(shì)控制數(shù)據(jù)的無線傳輸[7]。

Processing中只需讀取手部的5個(gè)數(shù)據(jù)：手掌掌心骨骼點(diǎn)在x軸上對(duì)應(yīng)的坐標(biāo)數(shù)值、手掌掌心骨骼點(diǎn)在y軸上對(duì)應(yīng)的坐標(biāo)數(shù)值、手掌掌心骨骼點(diǎn)在z軸上對(duì)應(yīng)的坐標(biāo)數(shù)值、手腕骨骼點(diǎn)順時(shí)針轉(zhuǎn)動(dòng)的角度值、大拇指指尖和食指指尖的距離數(shù)值。處理后的數(shù)值依次傳值給hand_x，hand_y，hand_z，hand_dir，hand_dist[8]，相關(guān)程序如圖2所示。

在操作者手部動(dòng)作實(shí)時(shí)映射到機(jī)械臂的控制過程中，map（）函數(shù)扮演了最重要的角色，在手的5個(gè)動(dòng)作中都有用到。本文中map（）函數(shù)的功能是：將手在x，y，z軸正負(fù)6個(gè)方向上的運(yùn)動(dòng)范圍、手腕關(guān)節(jié)順逆時(shí)針運(yùn)動(dòng)的角度范圍、食指和拇指的張合范圍，依次線性映射為對(duì)應(yīng)舵機(jī)的轉(zhuǎn)動(dòng)角度范圍值（0°～179°），如圖3所示。最后通過WiFi將數(shù)據(jù)傳遞給下位機(jī)Arduino[9]。Arduino接收到數(shù)據(jù)后，發(fā)出舵機(jī)控制指令，實(shí)現(xiàn)機(jī)械臂的實(shí)時(shí)手勢(shì)控制。

3.2 小車的手機(jī)控制

本系統(tǒng)利用Eclipse軟件中的Android SDK，編寫了一個(gè)簡(jiǎn)易的控制小車移動(dòng)的手機(jī)APP，其中每按下一個(gè)按鍵，就通過WiFi發(fā)送一個(gè)相應(yīng)的控制字符[10]。以“前進(jìn)”按鈕為例，圖4為APP操控界面、按鈕布局程序，以及按鈕按下和彈起后發(fā)送不同字符的程序。

控制字符‘a(chǎn)通過WiFi傳輸?shù)紸rduino（I）控制板上。Arduino（I）控制板根據(jù)接收到的字符‘a(chǎn)，調(diào)用對(duì)應(yīng)的前進(jìn)函數(shù)，實(shí)現(xiàn)小車的前進(jìn)運(yùn)動(dòng)。當(dāng)手指從任意按鍵上松開，手機(jī)就會(huì)發(fā)送控制小車停止的字符‘l，這樣小車就實(shí)現(xiàn)了停止。前進(jìn)和停止程序如圖5所示。

4 實(shí)驗(yàn)結(jié)果

本次實(shí)驗(yàn)是由Windows 7系統(tǒng)的電腦、Android手機(jī)和裝有兩塊Arduino控制板的小車共同完成，實(shí)驗(yàn)的具體過程為：

1） 在Android手機(jī)的APP上，按下小車的控制按鈕，會(huì)將對(duì)應(yīng)的字符指令通過WiFi發(fā)送到Arduino（I）控制板上，然后調(diào)用相應(yīng)的方向控制函數(shù)，實(shí)現(xiàn)小車的方向控制[11]。同時(shí)攝像頭會(huì)將圖像信息不間斷地傳送給接收器，實(shí)時(shí)偵查前方情況。

2） 在Leap Motion手勢(shì)感應(yīng)器上，手部做出動(dòng)作后，手部運(yùn)動(dòng)的信息會(huì)通過上位機(jī)Processing轉(zhuǎn)化為對(duì)應(yīng)的舵機(jī)運(yùn)動(dòng)角度的范圍值，如圖6和表1所示。

然后通過WiFi發(fā)送到Arduino（Ⅱ）控制板上，控制相應(yīng)的舵機(jī)，從而實(shí)現(xiàn)對(duì)機(jī)械臂的控制。

5 結(jié) 語

本文針對(duì)基于移動(dòng)小車平臺(tái)的機(jī)械臂，提出一種新穎的控制方式：手機(jī)APP控制小車的運(yùn)動(dòng)、手勢(shì)控制五自由度的舵機(jī)機(jī)械臂。實(shí)驗(yàn)成本低，控制靈活方便，能夠到達(dá)較為危險(xiǎn)的環(huán)境，完成遠(yuǎn)程任務(wù)。在軍事偵查、教育科研、醫(yī)學(xué)研究等領(lǐng)域都有較好的應(yīng)用前景。

參考文獻(xiàn)

[1] WEICHERT F， BACHMANN D， RUDAK B， et al. Analysis of the accuracy and robustness of the leap motion controller [J]. Sensors， 2013， 13（5）： 6380?6393.

[2] 黃俊，景紅.基于Leap Motion的手勢(shì)控制技術(shù)初探[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2015，24（10）：259?263.

HUANG Jun， JING Hong. Gesture control research based on Leap Motion [J]. Computer systems & applications， 2015， 24（10）： 259?263.

[3] 樊博文.基于Leap Motion的仿生機(jī)械手的研究與實(shí)現(xiàn)[J].電子世界，2017（10）：25?26.

FAN Bowen. Research and implementation of bionic mechanical arm based on Leap Motion [J]. Electronics world， 2017（10）： 25?26.

[4] 羅回彬，劉春麗，董思奇，等.Leap Motion體感控制器的智能移動(dòng)機(jī)械臂控制系統(tǒng)[J].單片機(jī)與嵌入式系統(tǒng)應(yīng)用，2017，17（1）：40?43.

LUO Huibin， LIU Chunli， DONG Siqi， et al. Intelligent mobile manipulator control system based on Leap Motion [J]. Microcontrollers & embedded systems， 2017， 17（1）： 40?43.

[5] 謝杰騰，顏曉文.基于Android手機(jī)語音和Arduino控制板的機(jī)器人控制系統(tǒng)[J].物聯(lián)網(wǎng)技術(shù)，2015，5（3）：101?102.

XIE Jieteng， YAN Xiaowen. Robot control system based on Android mobile phone voice and Arduino control board [J]. Internet of Things technologies， 2015， 5（3）： 101?102.

[6] 呂偉文.全方位輪移動(dòng)機(jī)構(gòu)的結(jié)構(gòu)設(shè)計(jì)[J].機(jī)械與電子，2006（12）：63?65.

L? Weiwen. The structure design of omni?directional moving mechanism [J]. Machinery & electronics， 2006（12）： 63?65.

[7] 康楊雨軒，鄭文，李松林，等.基于Leap Motion的機(jī)械臂交互控制研究[J].傳感器與微系統(tǒng)，2016，35（6）：34?37.

KANG Yangyuxuan， ZHENG Wen， LI Songlin， et al. Research on manipulator interactive control based on Leap Motion [J]. Transducer and microsystem technologies， 2016， 35（6）： 34?37.

[8] 寧亞楠.基于Leap Motion的手勢(shì)識(shí)別在虛擬沙畫中的應(yīng)用研究[D].太原：中北大學(xué)，2017.

NING Yanan. Application research of gesture recognition based on Leap Motion in virtual sand painting [D]. Taiyuan： North University of China， 2017.

[9] 陶林，李凱格，王淼.基于Leap Motion手勢(shì)識(shí)別的機(jī)器人控制系統(tǒng)[J].制造業(yè)自動(dòng)化，2015，37（24）：64?66.

TAO Lin， LI Kaige， WANG Miao. Robot control system based on Leap Motion gesture recognition [J]. Manufacturing automation， 2015， 37（24）： 64?66.

[10] 危思思.基于OpenWrt開源平臺(tái)的移動(dòng)智能裝備[D].杭州：浙江大學(xué)，2014.

WEI Sisi. Mobile intelligent equipment based on OpenWrt open source platform [D]. Hangzhou： Zhejiang University， 2014.

[11] 燕飛.基于Android平臺(tái)的移動(dòng)機(jī)器人遠(yuǎn)程控制系統(tǒng)[D].杭州：浙江理工大學(xué)，2014.

YAN Fei. Android?based remote control system for mobile robot [D]. Hangzhou： Zhejiang Sci?Tech University， 2014.