基于Android手機(jī)手勢(shì)和語(yǔ)音控制的人機(jī)交互系統(tǒng)設(shè)計(jì)

郭慧敏　孟游　遲少華　丁培甫

摘要 針對(duì)普通遙控器控制智能小車的局限性，結(jié)合移動(dòng)互聯(lián)網(wǎng)的應(yīng)用，提出了一種新的人機(jī)交互智能小車控制系統(tǒng)的研究方案——一種基于Android手機(jī)方向（重力）傳感器和語(yǔ)音控制的藍(lán)牙小車控制系統(tǒng).以Android手機(jī)作為上位機(jī)，包括語(yǔ)音系統(tǒng)、方向（重力）傳感器系統(tǒng)，利用藍(lán)牙通信技術(shù)與單片機(jī)總控制中心、藍(lán)牙模塊、電機(jī)驅(qū)動(dòng)模塊、蜂鳴器和LED模塊、避障模塊等組成的下位機(jī)進(jìn)行通信，實(shí)現(xiàn)對(duì)藍(lán)牙智能小車的實(shí)時(shí)控制.通過(guò)實(shí)物制作和測(cè)試，驗(yàn)證了系統(tǒng)的可操作性和實(shí)用性，同時(shí)也為智能輪椅、倉(cāng)庫(kù)管理等領(lǐng)域的實(shí)際應(yīng)用奠定了一定的技術(shù)基礎(chǔ).

關(guān)鍵詞 方向（重力）傳感器;語(yǔ)音控制系統(tǒng);Android 手機(jī);無(wú)線智能控制;智能小車.

中圖分類號(hào) TN79;TP311.5

文獻(xiàn)標(biāo)志碼 A

0 引言

人機(jī)交互技術(shù)的飛速發(fā)展，促使遙感技術(shù)蓬勃發(fā)展，人們的生活方式將漸趨智能化.讓機(jī)器了解你的言語(yǔ)、表情和肢體語(yǔ)言，將給人們帶來(lái)更加輕松、舒適和便捷的生活方式[1]，而傳統(tǒng)的人機(jī)交互系統(tǒng)遠(yuǎn)遠(yuǎn)滿足不了人們的需求.

目前市場(chǎng)上的一些遙控車都是一個(gè)產(chǎn)品對(duì)應(yīng)著一個(gè)遙控設(shè)備，即使可以通用的遙控設(shè)備也需要手動(dòng)按鍵去控制[2-3]，操作起來(lái)十分不便.Android設(shè)備以本身獨(dú)特的開(kāi)源性和可操作性的優(yōu)勢(shì)，迅速成為最大的智能手機(jī)操作平臺(tái)，無(wú)論高端機(jī)還是低端機(jī)，大多集成了方向傳感器、語(yǔ)音和藍(lán)牙系統(tǒng)，為本系統(tǒng)的研究提供了便利[4-5].相對(duì)于傳統(tǒng)的遙控器控制技術(shù)，基于Android手機(jī)手勢(shì)和語(yǔ)音技術(shù)的智能小車的控制方式更加方便快捷，適用于多種帶有方向傳感器和語(yǔ)音功能的Android手機(jī).

1 系統(tǒng)結(jié)構(gòu)

本設(shè)計(jì)著眼于無(wú)線智能設(shè)備的傳感器控制[6]，如Android手機(jī)、智能手表等.拋棄了傳統(tǒng)的遙控器技術(shù)，利用App Inventor[7]作為手機(jī)軟件的開(kāi)發(fā)平臺(tái)，通過(guò)智能手機(jī)攜帶的方向傳感器[8]和語(yǔ)音系統(tǒng)，根據(jù)翻轉(zhuǎn)手機(jī)或語(yǔ)音識(shí)別便可實(shí)現(xiàn)小車停止、前進(jìn)、后退和左右轉(zhuǎn)等，從而達(dá)到人機(jī)交互的目的.

通過(guò)設(shè)計(jì)帶有方向感應(yīng)器、語(yǔ)音系統(tǒng)和藍(lán)牙功能的Android手機(jī)軟件，與帶有HC-05藍(lán)牙模塊、STC89C52RC主控制芯片、L9110H電機(jī)驅(qū)動(dòng)模塊和紅外避障模塊等硬件電路組成的智能小車控制系統(tǒng)，共同實(shí)現(xiàn)了一種新型無(wú)線控制智能小車的方法——通過(guò)搖晃手機(jī)或語(yǔ)音便可對(duì)小車進(jìn)行控制.同時(shí)，還在下位機(jī)增加了環(huán)境檢測(cè)系統(tǒng).本設(shè)計(jì)框架如圖1所示.

2 下位機(jī)硬件電路設(shè)計(jì)

小車設(shè)計(jì)的硬件電路由單片機(jī)總控制中心、電機(jī)驅(qū)動(dòng)模塊、避障模塊、電源供電電路、蜂鳴器和LED控制電路等模塊組成.

2.1 電機(jī)控制模塊設(shè)計(jì)

智能小車最基本的功能是行走，利用單片機(jī)驅(qū)動(dòng)直流電機(jī)帶動(dòng)車輪的轉(zhuǎn)動(dòng)，但是由于單片機(jī)驅(qū)動(dòng)能力有限，無(wú)法驅(qū)動(dòng)大功率的直流電機(jī)，所以需要在直流電機(jī)與單片機(jī)之間加一個(gè)驅(qū)動(dòng)模塊L9110H.L9110H連接電機(jī)的正負(fù)極，由兩個(gè)輸出端，直接控制電機(jī)的正反轉(zhuǎn).原理如圖2所示.

2.2 蜂鳴器模塊設(shè)計(jì)

設(shè)計(jì)過(guò)程中，考慮到單片機(jī)I/O口驅(qū)動(dòng)能力不能讓蜂鳴器發(fā)聲，需要利用8550三極管放大驅(qū)動(dòng)電流讓蜂鳴器發(fā)出聲音.當(dāng)輸入為低電平時(shí)，三極管導(dǎo)通，集電極電流通過(guò)蜂鳴器，蜂鳴器發(fā)出聲音;當(dāng)輸入為高電平時(shí)，三極管截止，無(wú)電流通過(guò)蜂鳴器，蜂鳴器不發(fā)聲.設(shè)計(jì)原理如圖3所示.

2.3 HC-05藍(lán)牙模塊

本設(shè)計(jì)選用HC-05藍(lán)牙串口通信模塊.它是主從一體的藍(lán)牙串口模塊，簡(jiǎn)單地說(shuō)，就是當(dāng)藍(lán)牙設(shè)備與藍(lán)牙設(shè)備配對(duì)成功后，可以忽視藍(lán)牙內(nèi)部的通信協(xié)議，直接將藍(lán)牙當(dāng)串口用.當(dāng)建立連接時(shí)，兩個(gè)設(shè)備共用一個(gè)通道也就是同一個(gè)串口，一個(gè)設(shè)備發(fā)送數(shù)據(jù)到通道中，另一個(gè)設(shè)備便可以接收通道中的數(shù)據(jù).但是，建立這種通道連接是有一定條件的，需要先對(duì)藍(lán)牙模塊進(jìn)行AT指令參數(shù)設(shè)置.

2.4 紅外避障模塊

該模塊具有一對(duì)紅外發(fā)射器和接收器，通過(guò)發(fā)射管發(fā)出紅外線，當(dāng)檢測(cè)到前方障礙物時(shí)，發(fā)射光被接收器接收，經(jīng)過(guò)電路處理，發(fā)送給主控制中心.避障距離可以利用電位器進(jìn)行調(diào)節(jié)，具有裝配方便和干擾小的特點(diǎn)，如圖4所示.

3 下位機(jī)硬件程序設(shè)計(jì)

本控制系統(tǒng)需要小車的硬件系統(tǒng)作為支撐.下面分別對(duì)藍(lán)牙接收信息傳遞給單片機(jī)和單片機(jī)接收信息后對(duì)電機(jī)、蜂鳴器以及LED做出相應(yīng)的控制進(jìn)行介紹.程序設(shè)計(jì)采用的是Keil4 for 51作為單片機(jī)程序的編程軟件.

3.1 藍(lán)牙接收系統(tǒng)程序

通過(guò)藍(lán)牙模塊對(duì)接收手機(jī)端發(fā)送過(guò)來(lái)的控制指令信息進(jìn)行接收處理，如停止、前進(jìn)、后退、左右轉(zhuǎn)等，程序流程如圖5所示.

利用藍(lán)牙模塊與51單片機(jī)進(jìn)行連接，串口通信進(jìn)行數(shù)據(jù)傳輸.接收時(shí)，中斷標(biāo)志RI=0，置允許接收位REN=1，數(shù)據(jù)進(jìn)入移位寄存器，裝載到SBUF緩沖寄存器，置RI=1;由緩沖接收器SBUF通過(guò)總線發(fā)送給CPU.串行通信在數(shù)據(jù)傳輸、人機(jī)交互設(shè)計(jì)等方面起著重要作用[9].設(shè)計(jì)要求串口通信晶振為11.059 2 MHz，波特率9 600 bps，設(shè)置計(jì)數(shù)器1的工作方式（SM0=0，SM1=1，即SCON=0x05），T1的初值為253（X值為FDH）.

3.2 電機(jī)、蜂鳴器及LED控制系統(tǒng)程序

小車運(yùn)動(dòng)狀態(tài)的控制方式如下（藍(lán)牙接收控制指令流程如圖5所示）：

1）小車運(yùn)動(dòng)：控制電機(jī)的轉(zhuǎn)動(dòng);

2）燈：控制LED1及LED2燈的亮滅;

3）蜂鳴器：模擬喇叭，控制蜂鳴器的開(kāi)關(guān).

4 上位機(jī)APP設(shè)計(jì)

4.1 軟件界面設(shè)計(jì)

App中添加的控件有：

1）Button按鍵（前進(jìn)、后退、停止、左轉(zhuǎn)、右轉(zhuǎn)、燈、喇叭、方向傳感器以及語(yǔ)音開(kāi)關(guān)鍵）：按下后通過(guò)藍(lán)牙發(fā)送相應(yīng)的數(shù)據(jù);

2）連接選擇框：按下它，會(huì)訪問(wèn)到一個(gè)列表，用來(lái)存儲(chǔ)藍(lán)牙信息;

3）水平布局、垂直布局：使按鈕在水平控件框內(nèi)呈水平或垂直分布;

4）藍(lán)牙客戶端：藍(lán)牙配對(duì)、連接以及通信，通過(guò)藍(lán)牙設(shè)備選擇框組件來(lái)顯示藍(lán)牙列表;

5）對(duì)話框：顯示警告信息，當(dāng)藍(lán)牙連接失敗時(shí)，顯示錯(cuò)誤信息;

6）方向傳感器：設(shè)置通過(guò)翻轉(zhuǎn)手機(jī)可以實(shí)現(xiàn)對(duì)小車發(fā)送相應(yīng)的數(shù)據(jù);

7）語(yǔ)音識(shí)別器：設(shè)置通過(guò)識(shí)別語(yǔ)音可以實(shí)現(xiàn)對(duì)小車發(fā)送相應(yīng)的數(shù)據(jù).

4.2 藍(lán)牙連接系統(tǒng)

建立藍(lán)牙連接時(shí)，Android手機(jī)需要獲取小車HC-05藍(lán)牙模塊的地址.

點(diǎn)擊連接時(shí)，出現(xiàn)選擇藍(lán)牙設(shè)備的界面，如圖6所示（列表中的藍(lán)牙設(shè)備是手機(jī)在設(shè)置中心已經(jīng)配對(duì)成功的藍(lán)牙設(shè)備），點(diǎn)擊小車地址，將小車與手機(jī)之間建立連接.如果連接成功，界面將會(huì)跳轉(zhuǎn)到控制界面;如果配對(duì)失敗，彈出錯(cuò)誤的警示窗口，則小車的藍(lán)牙模塊沒(méi)有打開(kāi)或者沒(méi)有正常工作.

點(diǎn)擊斷開(kāi)連接按鈕時(shí)，關(guān)閉藍(lán)牙連接，同時(shí)用戶界面發(fā)生變化，如圖7所示.藍(lán)牙設(shè)備選擇框會(huì)重新出現(xiàn)，而用戶界面上的其余組件將被隱藏.

4.3 按鍵控制系統(tǒng)

App軟件主要通過(guò)上下左右4個(gè)按鍵控制小車的前進(jìn)、后退、左轉(zhuǎn)、右轉(zhuǎn)，中間的停止鍵讓小車緊急停止.另外，為了增加真實(shí)性，還增加了小燈以及喇叭控制的功能（圖8）.按下不同的按鈕，手機(jī)就會(huì)通過(guò)藍(lán)牙發(fā)送相應(yīng)的數(shù)據(jù).

4.4 方向傳感器控制系統(tǒng)

在按鍵的基礎(chǔ)上，增加了方向傳感器的控制，利用手機(jī)內(nèi)的方向傳感器，通過(guò)傾斜角和翻轉(zhuǎn)角的角度變化發(fā)送數(shù)據(jù).在程序軟件的界面上，增加了一個(gè)方向傳感器的開(kāi)關(guān)（圖8），在必要時(shí)可以關(guān)閉方向傳感器.首次打開(kāi)軟件，方向傳感器是不工作的，點(diǎn)擊一次，方向傳感器開(kāi)始工作，再點(diǎn)擊一次，方向傳感器停止工作，可通過(guò)除2取余的算法來(lái)辨識(shí).

點(diǎn)擊方向傳感器按鈕，翻轉(zhuǎn)角和傾斜角數(shù)據(jù)隨手機(jī)的晃動(dòng)發(fā)生改變，表示方向傳感器開(kāi)始工作.因?yàn)槿藷o(wú)法保證手機(jī)在手中時(shí)，翻轉(zhuǎn)角和傾斜角都為0，所以翻轉(zhuǎn)角和傾斜角的大小在±20°范圍內(nèi)都規(guī)定手機(jī)為水平放置.手機(jī)發(fā)送數(shù)據(jù)03，智能小車為停止?fàn)顟B(tài).另外，設(shè)定傾斜角和翻轉(zhuǎn)角同時(shí)變化時(shí)，為無(wú)法識(shí)別狀態(tài)，令小車停止，確保其安全性.手機(jī)狀態(tài)發(fā)送數(shù)據(jù)如表1所示（可根據(jù)實(shí)際需求進(jìn)行角度判斷的設(shè)定）.

為了增加Android遙控小車手機(jī)方向傳感器的可辨識(shí)度，可在界面顯示傾斜角和翻轉(zhuǎn)角的數(shù)據(jù).

4.4 語(yǔ)音控制系統(tǒng)

在軟件設(shè)計(jì)上增加手機(jī)語(yǔ)音系統(tǒng)，通過(guò)調(diào)用手機(jī)內(nèi)部的語(yǔ)音識(shí)別器，但手機(jī)本身沒(méi)有識(shí)別語(yǔ)音和文字轉(zhuǎn)換的功能，需要調(diào)用訊飛語(yǔ)記軟件的語(yǔ)音識(shí)別功能.設(shè)置軟件可識(shí)別到的語(yǔ)音中包含“前進(jìn)”、“后退”、“左轉(zhuǎn)”等命令，軟件可通過(guò)藍(lán)牙發(fā)送相關(guān)的控制數(shù)據(jù)，具體的數(shù)據(jù)可參考方向傳感器設(shè)計(jì)部分.

使用時(shí)通過(guò)按住話筒按鈕，發(fā)出命令語(yǔ)音，如“前進(jìn)”、“后退”、“左轉(zhuǎn)”、“右轉(zhuǎn)”、“停止”等命令，松開(kāi)后，界面顯示小車相應(yīng)的運(yùn)動(dòng)狀態(tài)，同時(shí)會(huì)通過(guò)藍(lán)牙對(duì)已連接設(shè)備發(fā)送相應(yīng)的控制數(shù)據(jù)（01、02、03等）.

5 實(shí)驗(yàn)測(cè)試與分析

為了測(cè)試系統(tǒng)的安全性和準(zhǔn)確性，分別對(duì)設(shè)計(jì)進(jìn)行了軟硬件供電調(diào)試.調(diào)試包含對(duì)下位機(jī)小車能否接收數(shù)據(jù)和接收數(shù)據(jù)的準(zhǔn)確性，以及上位機(jī)是否可以發(fā)送控制數(shù)據(jù)和數(shù)據(jù)發(fā)送的準(zhǔn)確率.對(duì)于下位機(jī)，首先檢查與單片機(jī)的連線是否正確，接通電源，燒錄單片機(jī)程序測(cè)試驅(qū)動(dòng)電機(jī)是否可以正常運(yùn)轉(zhuǎn)以及電機(jī)的運(yùn)動(dòng)方向是否正確：當(dāng)Right-Negative=0，Right-Positive=1，Left-Negative=0，Left-Positive=1是否前進(jìn)，另外分別測(cè)試左轉(zhuǎn)、右轉(zhuǎn)、后退、停止等狀態(tài)是否正確.

在小車下載單片機(jī)程序后，首先要對(duì)通信方面進(jìn)行測(cè)試.通信測(cè)試分為3步：

1）第1步是使用單片機(jī)串口監(jiān)視器測(cè)試.通過(guò)USB串口給小車發(fā)送00，01，02，03，04，05，06，07，08等幾個(gè)控制數(shù)據(jù)，查看小車的運(yùn)動(dòng)狀態(tài)的準(zhǔn)確性.

2）第2步是使用手機(jī)藍(lán)牙串口工具測(cè)試.首先USB接口連接藍(lán)牙，插入電腦，利用手機(jī)連接藍(lán)牙模塊后，通過(guò)按鍵看是否發(fā)送相應(yīng)的數(shù)據(jù).按鍵測(cè)試成功后，測(cè)試手機(jī)方向傳感器是否工作.

觀察手機(jī)界面上的翻轉(zhuǎn)角和傾斜角數(shù)據(jù)是否發(fā)生變化，以及手機(jī)前翻轉(zhuǎn)時(shí)，手機(jī)是否發(fā)送數(shù)據(jù)01;手機(jī)左傾斜時(shí)，手機(jī)是否發(fā)送數(shù)據(jù)02;當(dāng)手機(jī)右傾斜時(shí)，手機(jī)是否發(fā)送數(shù)據(jù)04;手機(jī)后翻轉(zhuǎn)時(shí)，手機(jī)是否發(fā)送數(shù)據(jù)05;手機(jī)平放時(shí)，手機(jī)是否發(fā)送數(shù)據(jù)00等.

3）第3步是對(duì)手機(jī)語(yǔ)音控制的測(cè)試.在第2步測(cè)試成功后，按下語(yǔ)音按鈕，通過(guò)語(yǔ)音“前進(jìn)”、“后退”、“左轉(zhuǎn)”、“右轉(zhuǎn)”、“亮燈”等命令分別測(cè)試手機(jī)發(fā)送的數(shù)據(jù)是否正確.

為采集不同型號(hào)手機(jī)的實(shí)驗(yàn)數(shù)據(jù)，分別采用了OPPO-A57、小米note1、小米5、華為Mate9進(jìn)行測(cè)試.通過(guò)多次數(shù)據(jù)統(tǒng)計(jì)分析得出，無(wú)線控制距離在空曠地帶可達(dá)20 m，在0～15 m內(nèi)可發(fā)送的數(shù)據(jù)正確率在99.1%～99.5%，在15～20 m內(nèi)收到數(shù)據(jù)的正確率會(huì)隨距離的增加逐漸減小，距離超過(guò)20 m時(shí)會(huì)斷開(kāi)連接，軟件提示“無(wú)法連接到藍(lán)牙設(shè)備”.

測(cè)試結(jié)果表明，本設(shè)計(jì)的手機(jī)方向傳感器、語(yǔ)音和按鍵3種方式同時(shí)控制智能小車行走的軟硬件設(shè)備中，下位機(jī)的小車硬件以及軟件系統(tǒng)工作正常，上位機(jī)Android手機(jī)軟件程序正常，可通過(guò)方向傳感器、語(yǔ)音和按鍵3種控制方式控制小車，并實(shí)現(xiàn)靈活地前行、后退、左轉(zhuǎn)、右轉(zhuǎn)、停止、亮燈、鳴笛等功能.

6 結(jié)束語(yǔ)

本設(shè)計(jì)有效利用現(xiàn)有通信設(shè)備完成了基于Android手機(jī)方向傳感器、語(yǔ)音系統(tǒng)和藍(lán)牙技術(shù)控制的智能小車系統(tǒng).本設(shè)計(jì)可以無(wú)障礙地在15 m范圍內(nèi)進(jìn)行通信，從而降低了智能化設(shè)備的成本.該控制系統(tǒng)的相關(guān)技術(shù)能直接應(yīng)用到智能電動(dòng)輪椅的研究中，使電動(dòng)輪椅更加智能化、功能化.

參考文獻(xiàn)

References

[1] 劉少軍，王瑜瑜.基于Android手機(jī)藍(lán)牙控制的智能小車設(shè)計(jì)與實(shí)現(xiàn)[J].電子測(cè)量技術(shù)，2016，39（9）：114-117

LIU Shaojun，WANG Yuyu.Design and implementation of intelligent vehicle control based on the control of the Android mobile phone bluetooth[J].Electronic Measurement Technology，2016，39（9）：114-117

[2] 朱丹峰，葛主冉，林曉雷.基于Android平臺(tái)的無(wú)線遙控智能小車[J].電子器件，2013，36（3）：408-412

ZHU Danfeng，GE Zhuran，LIN Xiaolei.Android-based intelligent car with wireless remote control[J].Chinese Journal of Electron Devices，2013，36（3）：408-412

[3] 李毅，黨長(zhǎng)青，張行.基于安卓手機(jī)重力感應(yīng)小車[J].電子世界，2014（11）：94

LI Yi，DANG Changqing，ZHANG Xing.Gravity sensor car based on android mobile phone[J].Electronics World，2014（11）：94

[4] 聶茹.基于Android手機(jī)藍(lán)牙控制的智能小車設(shè)計(jì)與實(shí)現(xiàn)[J].微型電腦應(yīng)用，2015，31（9）：68-69，74

NIE Ru.Design and realization of intelligent vehicle based on android mobile phone bluetooth control[J].Microcomputer Applications，2015，31（9）：68-69，74

[5] 馬惠蘭.基于單片機(jī)的藍(lán)牙搜救小車設(shè)計(jì)[J].工業(yè)儀表與自動(dòng)化裝置，2016（3）：111-114

MA Huilan.Design of Bluetooth search and rescue vehicle based on single chip microcomputer[J].Industrial Instrumentation & Automation，2016（3）：111-114

[6] Yin Q，Zhang J，Wang X，et al.The video intelligent car based on wireless sensor[J].Cluster Computing，2017（6）：1-16

[7] David W，Hal A.App inventor2快速入門與實(shí)驗(yàn)[M].北京：人民郵電出版社，2016

David W，Hal A.App inventor2 quick introduction and experiment[M].Beijing：Posts and Telecom Press，2016

[8] 林明標(biāo)，莫金海.基于安卓手機(jī)的無(wú)線重力感應(yīng)控制智能小車[J].計(jì)算機(jī)測(cè)量與控制，2015，23（4）：1175-1178

LIN Mingbiao，MO Jinhai.Wireless accelerometer sensor control smart car based on android mobile[J].Computer Measurement & Control，2015，23（4）：1175-1178

[9] 盧嘉川，馮云姣，鄭丹晨，等.數(shù)字化反應(yīng)堆人機(jī)交互功能需求的研究[J].科技視界，2018（8）：19-21，18

LU Jiachuan，F(xiàn)ENG Yunjiao，ZHENG Danchen，et al.Research on human-computer interaction functional requirement for digital reactors[J].Science & Technology Vision，2018（8）：19-21，18

Design of human-machine interaction system based on

Android mobile phone gesture and voice control

GUO Huimin1 MENG You1 CHI Shaohua1 DING Peifu1

1 School of Information Engineering，Jincheng College，NanJing University of Aeronautics and Astronautics，211156 NanJing

AbstractAiming at the limitation of the common remote control and the application of mobile internet，a new research scheme for a human-computer interaction driven intelligent vehicle control system is proposed：a bluetooth based vehicle control system utilizing android mobile phone direction sensor （gravity sensor） and voice control is designed.The design uses android mobile phone as host computer，including the voice and direction sensor systems and uses bluetooth communication technology to communicate with the lower computer，which is composed of the MCU control center，bluetooth module，motor drive module，buzzer，led module，and obstacle avoidance module.The operability and practicability of the system is verified through physical production and testing.This research also lays a technical foundation for the practical application of intelligent control systems in wheelchair design and warehouse management among other fields.

Key wordsdirection （gravity） sensor;voice control system;Android phones;wireless intelligent control;smart car