嵌入式AI視覺套件在中學(xué)創(chuàng)客活動(dòng)、機(jī)器人活動(dòng)中的應(yīng)用研究

孟憲超

摘 要：本文研究主旨是將嵌入式AI視覺套件與樹莓派結(jié)合，形成一套可兼容Arduino、能力風(fēng)暴、樂高等主流控制器的視覺傳感器;可以讓學(xué)生用該傳感器做自己熟悉硬件的人工智能方面的開發(fā)。

關(guān)鍵字：樹莓派;創(chuàng)客教育;機(jī)器人教育;Arduino;計(jì)算機(jī)視覺

1、研究背景：

近年來，機(jī)器人教育、創(chuàng)客教育在中小學(xué)生教育中越來越普及，無論是Arduino、樹莓派這類開源硬件，還是樂高、能力風(fēng)暴這類教育機(jī)器人產(chǎn)品對(duì)于人工智能（AI）的教學(xué)應(yīng)用幾乎沒有，隨著AI逐漸滲入到我們生活的方方面面，對(duì)于中小學(xué)生學(xué)習(xí)AI的重要性逐漸突顯出來[1]。所以是否能設(shè)計(jì)一款兼容性好的人工智能設(shè)備讓同學(xué)們?cè)谧约菏煜さ挠布蠈W(xué)習(xí)人工智能、做人工智能應(yīng)用開發(fā)，是我們研究該項(xiàng)目的基本思路。

2、該研究應(yīng)用的科學(xué)依據(jù)和創(chuàng)新點(diǎn)

2.1嵌入式AI視覺套件的應(yīng)用研究使用了，項(xiàng)目教學(xué)法：教師設(shè)置創(chuàng)客項(xiàng)目，學(xué)生組建團(tuán)隊(duì)完成該項(xiàng)目，以此來學(xué)習(xí)計(jì)算機(jī)程序設(shè)計(jì)：python編程方法。黑箱實(shí)驗(yàn)法：在硬件方面，使用Intel的MA245X卷積神經(jīng)網(wǎng)絡(luò)加速芯片，讓計(jì)算機(jī)視覺識(shí)別檢測(cè)本地化運(yùn)算成為可能。在軟件方面利用網(wǎng)絡(luò)中開源的圖像檢測(cè)的模型，提前由教師搭建運(yùn)行該模型通用的環(huán)境，學(xué)生可以很容易的調(diào)用該模型中API接口，比如學(xué)生檢測(cè)人臉，學(xué)生使用設(shè)備直接調(diào)用對(duì)應(yīng)的人臉檢測(cè)API接口，就可以取得檢測(cè)結(jié)果。利用學(xué)生現(xiàn)有平臺(tái)，將設(shè)備檢測(cè)結(jié)果傳遞給學(xué)生熟悉的主控設(shè)備，利用GPIO數(shù)字口的高低電平方式進(jìn)行信息傳遞。

2.2該項(xiàng)目的創(chuàng)新點(diǎn)

IntelMovidiusMA245X卷積神經(jīng)網(wǎng)絡(luò)（CNN）加速芯和攝像頭組成的嵌入式AI視覺套件結(jié)合樹莓派組成一套視覺傳感器，其基本原理是攝像頭將捕捉到的畫面，通過內(nèi)嵌模型（具有人臉檢測(cè)、人臉識(shí)別、物體識(shí)別、場(chǎng)景學(xué)習(xí)等）運(yùn)算后反饋給樹莓派，樹莓派將這些視覺信息變?yōu)閿?shù)字信號(hào)通過GPIO、串口、Wifi、藍(lán)牙等形式傳遞給Arduino、樂高、能力風(fēng)暴等主控設(shè)備。

3、AI視覺套件應(yīng)用研究的實(shí)施過程：

3.1方案構(gòu)思

IntelMovidiusMA245X卷積神經(jīng)網(wǎng)絡(luò)（CNN）加速芯和攝像頭組成的嵌入式AI視覺套件結(jié)合樹莓派組成一套視覺傳感器，其基本原理是攝像頭將捕捉到的畫面，通過內(nèi)嵌模型（具有人臉檢測(cè)、人臉識(shí)別、物體識(shí)別、場(chǎng)景學(xué)習(xí)等）運(yùn)算后反饋給樹莓派，樹莓派將這些視覺信息變?yōu)閿?shù)字信號(hào)通過GPIO、串口、Wifi、藍(lán)牙等形式傳遞給Arduino、樂高、能力風(fēng)暴等主控設(shè)備[2]。

材料清單：

樹莓派，Intel的MA245X卷積神經(jīng)網(wǎng)絡(luò)加速芯片、攝像頭、10.1寸液晶屏、基本計(jì)算機(jī)外設(shè)、各類教育機(jī)器人平臺(tái)（Arduino、樂高、能力風(fēng)暴），3D打印機(jī)。

3.2在樹莓派上搭建模型最簡(jiǎn)系統(tǒng)

硬件方面的搭建：

方案一：嵌入式AI視覺套件與樹莓派zero-w的組合，特點(diǎn)：體積小巧，使用環(huán)境多樣，但運(yùn)算能力有限，進(jìn)行多線程程序運(yùn)行時(shí)卡頓明顯。如圖1

方案二：嵌入式AI視覺套件與樹莓派3B+與10.1寸顯示器的組合，可視化的操作非常方便，運(yùn)算能力相對(duì)方案一有了很大的提升，但體積過大，兼容性不如方案一。

3.3模型運(yùn)行的驗(yàn)證，參數(shù)調(diào)整和記錄

搭建號(hào)硬件與軟件環(huán)境后，我們?cè)跇漭缮蠎?yīng)用python進(jìn)行編程，調(diào)用模型中的人臉檢測(cè)模型，設(shè)計(jì)一個(gè)小程序：智能臺(tái)燈，具體功能為，當(dāng)攝像頭檢測(cè)到人臉時(shí)，設(shè)置樹莓派GPIO數(shù)字口為高電平，點(diǎn)亮LED，未檢測(cè)到時(shí)，LED熄滅。如圖2

3.4設(shè)計(jì)項(xiàng)目，開發(fā)與Arduino、EV3、能力風(fēng)暴等主控設(shè)備的接口

模型驗(yàn)證成功后，我們制作一根可以連接樹莓派與能力風(fēng)暴主控的數(shù)字信號(hào)線，連接后進(jìn)行測(cè)試。

如圖3當(dāng)檢測(cè)到人臉時(shí)，在主控五號(hào)端口上的值由0變?yōu)?710。模型驗(yàn)證成功。

4、項(xiàng)目的使用情況和進(jìn)一步完善的設(shè)想

目前該項(xiàng)目在學(xué)生的兩項(xiàng)設(shè)計(jì)中得到應(yīng)用：

4.1智能工具箱的應(yīng)用，功能簡(jiǎn)介：使用視覺傳感器結(jié)合能力風(fēng)暴主控設(shè)計(jì)一個(gè)可檢測(cè)人臉并進(jìn)行跟隨功能的移動(dòng)工具箱，并且工具箱配備指紋鎖，達(dá)到隨用隨取，用完即放、專人專用的目的。

4.2學(xué)校大門預(yù)警機(jī)器人的應(yīng)用，功能簡(jiǎn)介：通過視覺傳感器結(jié)合Arduino設(shè)計(jì)一款可檢測(cè)突發(fā)情況的預(yù)警設(shè)備，通過視覺傳感器場(chǎng)景學(xué)習(xí)功能，讓設(shè)備學(xué)習(xí)校門口日常正常場(chǎng)景，當(dāng)異常場(chǎng)景出現(xiàn)時(shí)，設(shè)備做出警報(bào)，并向相關(guān)部門發(fā)送警報(bào)信息。

參考文獻(xiàn)

[1]楊剛.創(chuàng)客教育：我國(guó)創(chuàng)新教育發(fā)展的新路徑[J].中國(guó)電化教育，2016（3）：8-13.

[2]盧宏濤，上海交通大學(xué)計(jì)算機(jī)科學(xué)與工程系，上海，，盧宏濤，etal.深度卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺中的應(yīng)用研究綜述[J].數(shù)據(jù)采集與處理，2016.

[3]柴煒，賈雯杰.基于計(jì)算機(jī)視覺的智能機(jī)器人設(shè)計(jì)[J].硅谷，2011（7）：51-51.