手勢識別機器人

陸一嬌 廖倩倩 李成良 王靖賀 劉翼溥

摘要：隨著智能移動設備和可穿戴設備的發(fā)展，自然的、符合人類習慣的人機交互方式逐漸成為人們研究的熱點。手勢、體態(tài)、人臉姿態(tài)這些最為直觀、方便的人體動作，自然就成為人機交互研究的難點和重要方向。基于以上背景，我們將以履帶式抓取機器人為實驗平臺，通過智能手套對手勢進行識別，進而完成對移動機器人的運動狀態(tài)的控制。致力于設計和開發(fā)適當的控制算法，實現對機器人多方面的操控。使用者可以通過智能手套控制機器人在多種環(huán)境下進行抓取操作，既操作方便，還能保護用戶自身安全。

關鍵詞：抓取機器人;控制算法;手勢識別

1.引言

目前，手勢識別在手語、智能監(jiān)控、機器人控制、虛擬現實等領域發(fā)揮著重要作用。隨著計算機視覺的發(fā)展和人機交互的需要，手勢識別的研究得到了巨大的發(fā)展。我國手勢識別下游應用市場也逐漸成熟。現在，大多數消費類應用程序都在嘗試增加這種識別功能，可以帶來很多好處。它在許多應用中發(fā)揮了良好的作用。多年來，人機交互一直以鍵盤和鼠標為中心。然而，隨著科學技術的進步，特別是傳感器技術和芯片制造技術的進步，中國正在不斷研究新的人機交互體驗。手勢識別是一種新型的人機交互方式。它使用人類的姿勢和動作來表達用戶的重要性，這對于殘疾人來說非常重要。不同的手勢可以命令機器人執(zhí)行不同的指令。

2.主要內容

本文是使用智能手套通過彎曲度傳感器感知人的手部動作，然后通過藍牙模塊對機器車發(fā)出不同的工作指令;機器車以STM32單片機為主控，使用直流電機和履帶驅動，搭載伺服電機驅動的機械手臂，在接收到智能手套發(fā)來的控制信號后可以進行移動和抓取操作。

2.1履帶式智能抓取機器人

（1）機器人主控

我們選擇STM32作為主控，STM32單片機是一種集成度高的單片機，具有高性能、實時功能、低功耗、低電壓運行等特點。同時，它還保留了高集成度和輕開發(fā)的特點，這將為未來的集成開發(fā)提供舒適性和便利性。

（2）機器人姿態(tài)檢測模塊

我們利用陀螺儀MPU6050來實時感知機器人的姿態(tài)，MPU6050為全球首例整合性6軸運動處理組件，我們可以利用它感知機器人行走方向，以及獲知機器人在平路行駛還是坡路行駛，從而可以使機器人適應室內的不同地形。

（3）障礙感知

超聲波模塊HC-SR04可以通過發(fā)送和接收超聲波，利用時間差和聲音傳播速度，計算出模塊到前方障礙物的距離。我們利用它檢測室內不同的障礙，在遇到障礙物時，提前做出避障。

（4）多舵機控制

舵機是機器人轉向的中心機構。它具的體型小、力矩大、穩(wěn)定性高等特點，無論在硬件設計還是軟件設計中，舵機都是機器人控制的重要組成部分。

（5）人體感應

我們采用HC-R501人體紅外感應模塊，HC-R501是基于紅外線技術的自動控制模塊，采用LH1788探頭設計，靈敏度高，可靠性強。我們通過此傳感器探測周圍是否有人靠近，避免阻礙行人，方便用戶使用。

（6）機械手臂

機械手臂是機器人技術領域中應用最廣泛的自動化機械設備。它可以在工業(yè)生產、醫(yī)療、軍事、制造業(yè)和空間的研究等領域看到。它們都有一個共同的特點，即它們可以接受指令并精確定位三維空間中的一個點進行操作。

2.2智能感知手套

（1）手勢姿態(tài)識別模塊

RFP系列薄膜彎曲傳感器基本功能是可以對物體彎曲度進行測試，它可用于各種應用環(huán)境和各種場景：傳感器具有抗干擾性。當感應彎曲發(fā)生變化時，傳感器的電阻也會發(fā)生變化：彎曲越大，電阻越大。其原理簡單易用。它可以直接捕獲彎曲度傳感器的電阻值，或通過采集模塊將其轉換為標準信號電壓數據。

通常，傳感器可以直接檢測電阻，并根據電阻值計算出相應的彎曲范圍。因此，只能使用一個歐姆表。在實際的測試過程中，直接使用電阻檢測設備不適合集成，因此在很多情況下通常使用電壓采集卡，即將電阻信號轉換為電壓信號記錄，并根據測試電壓值計算出相應的彎曲度。下圖計算公式：

（2）手勢識別算法

①基于模板匹配

直接匹配法：利用輸入手勢與訓練好的標準模板的相似度。

優(yōu)點：通俗易懂，可以方便后期添加和改進。

動態(tài)時間規(guī)整（Dynamic Time Warping，DTW）：把輸入手勢時間軸非線性地映射到模板事件軸，再進行模板匹配。

②基于概率統(tǒng)計

隱性馬爾科夫模型（Hiden Markov Model，HMM）模型：訓練時每一種手勢對應一個HMM model，識別時取概率最大的一個HMM即可。

優(yōu)點：比較適合時間序列模型，比較容易對手勢庫進行添加和修改。

③基于數據分類

神經網絡（Nerual Network，NN）模型：基于某種學習準則循環(huán)進行學習，使得下次犯錯誤的概率最低。

優(yōu)點：容錯能力強，抗干擾能力強，比較適合學習算法。

（3）藍牙控制模塊

藍牙技術實際上是一種無線短程技術。藍牙技術可以有效簡化移動設備之間的通信。它負責將從串行接口接收到的數據轉換成藍牙協議，并發(fā)送到另一個藍牙設備，將從另一個藍牙設備接收到的藍牙數據轉換成串行端口數據并發(fā)送到該設備。其次，根據傳輸特性選擇不同功能的藍牙模塊。如果用于數據傳輸，可以選擇點對點透明傳輸模塊，和點對多點模，還可以根據包裝形式進行選擇。藍牙模塊有三種類型：直插型、表貼型和串行端口適配器。直插型適合前期焊接和小批量生產。該模塊有兩種安裝模式：內置和外部。此外，還有一個外部串行端口藍牙適配器。如果用戶不喜歡在設備中內置藍牙，他們可以將適配器直接插入設備的串行接口，并在開機時使用。

3.結果

通過制作，該系統(tǒng)一切正常運行，可以通過智能手套的控制實現小車的前進、后退、加速、減速，藍牙連接等操作。該系統(tǒng)具有可靠、方便、低成本等特性。具有一定的使用功能。其應用范圍廣泛，具有一定的現實意義，可以幫助行動不便的老年人進行抓取操作。

參考文獻：

[1]梅武松，李忠新.基于手形和姿態(tài)的軍用動態(tài)手勢識別方法研究[J].兵器裝備工程學報，2021，42（05）：208-214.

[2]苗凱，曲海洲，徐何江.基于人工智能的無穿戴人體姿態(tài)識別技術研究[J].信息化建設，2020（09）：60-64.

[3]王敏旭. 實時目標的位置姿態(tài)識別以及運動跟蹤的研究和應用[D].電子科技大學，2020.DOI：10.27005/d.cnki.gdzku.2020.004348.

[4]宋一凡，張鵬，劉立波.基于視覺手勢識別的人機交互系統(tǒng)[J].計算機科學，2019，46（S2）：570-574.

作者簡介：

陸一嬌（2000-），女，滿族，遼寧錦州人，西北民族大學本科在讀，物聯網工程方向。

基金項目：

西北民族大學國家級大學生創(chuàng)新創(chuàng)業(yè)訓練計劃資助項目 （202110742027）。