謝作如 浙江省溫州科技高級中學(xué)

高毓甜 王海濤 上海人工智能實驗室

人工智能教育的核心內(nèi)容關(guān)注AI模型的理解、訓(xùn)練和應(yīng)用，但如果模型不結(jié)合開源硬件設(shè)計交互作品，就顯得不夠有趣。在2023年的某人工智能活動線下的展示會中，筆者接到了設(shè)計現(xiàn)場交流活動的設(shè)計任務(wù)。因為前期已經(jīng)研究過ESP32-CAM結(jié)合普通機器人小車的項目（請參考本欄目的《讓ESP32-CAM小車“智能”起來》一文），經(jīng)過多次討論，筆者最終選擇了麥昆小車和掌控板為載體，設(shè)計了一個AI硬件交互活動。

● “低門檻”的含義及其實現(xiàn)

考慮到全國各地的信息技術(shù)課程實施情況差異較大，學(xué)生編程水平也參差不齊，所以，這個活動內(nèi)容的設(shè)計在考慮真實問題解決的同時，還要做到低門檻，這樣才能讓不同水平的學(xué)生都有收獲。這里的“低門檻”有兩層含義：其一指技術(shù)門檻低，無論是硬件的連接、搭建，還是驅(qū)動硬件的代碼編寫，都比較容易；其二指實施門檻低，包括硬件的價格要適宜、采購要便捷、對算力的要求要低等。

相對來說，麥昆小車的性價比很高，掌控板更是國內(nèi)較受歡迎的開源硬件之一，因而“低門檻”的重點在于編程難度。為了能夠?qū)崿F(xiàn)用最簡潔的方式控制小車，筆者放棄了常見的MQTT協(xié)議而選擇了Scoket，畢竟MQTT還需要單獨部署MQTT服務(wù)器。具體的工作流程如圖1所示，電腦端借助OpenCV獲取ESP32-CAM的畫面，經(jīng)過XEduhub的模型推理后，借助XEduGPIO庫發(fā)送指令給掌控板，掌控板再驅(qū)動小車。這樣一來，這個麥昆小車就成了一輛擁有強悍算力的智能小車了。

圖1

圖1中的XEduGPIO庫內(nèi)置了Scoket連接的各種協(xié)議。核心類CarComm提供了speed、servo、led和stop四種最基本的方法，分別用于驅(qū)動小車前進、舵機轉(zhuǎn)動、改變led狀態(tài)和停止運動等。在“XEduGPIO”庫的支持下，4行代碼即可實現(xiàn)小車的驅(qū)動。當(dāng)然，掌控板也需要另外做相應(yīng)的Scoket編程，筆者寫好相應(yīng)的固件，刷入即可運行（如圖2）。

圖2

● AI交互活動的主題設(shè)計

按照慣例，需要給這個AI交互活動編寫一個故事，也就是主題設(shè)計。由于該活動的線上主題“算法挑戰(zhàn)”使用了“八段錦”數(shù)據(jù)集，內(nèi)置了3萬多張不同人做八段錦動作的截圖，所以這個主題也應(yīng)與這個數(shù)據(jù)集有關(guān)，并且還要結(jié)合學(xué)生自己訓(xùn)練的AI模型，體現(xiàn)出活動的關(guān)聯(lián)性。

筆者將主題確定為“星球基地建設(shè)”，然后在大語言模型的幫助下，設(shè)計了如下故事，并繪制了一張供小車運行的地圖（如圖3）。

圖3

在不久后的未來，地球聯(lián)合航天局為了推進人類在星球基地的長期居住計劃實施，以及推廣中華傳統(tǒng)養(yǎng)生功法——八段錦，舉辦了一場創(chuàng)新獨特的“八段錦巡線推物挑戰(zhàn)賽”……

對應(yīng)八段錦的動作名稱，筆者給地圖的四種路段做了一一對應(yīng)標(biāo)注：左上方路段為“左右開弓似射雕”，右上方路段為“兩手托天理三焦”，左下方路段為“調(diào)理脾胃須單舉”，右下方路段為“搖頭擺尾去心火”。具體的含義這里不展開。

● AI交互活動的任務(wù)設(shè)計和難度解析

“星球基地建設(shè)”任務(wù)共分為三個，分別為小車測試、車人合一和無人駕駛。挑戰(zhàn)者需依次完成三個任務(wù)。其中，“小車測試”環(huán)節(jié)要完成小車的機械拼裝，并且實現(xiàn)讓小車走一個正方形，算是一個入門熱身的活動。而任務(wù)二和任務(wù)三的難度就逐步增加了，任務(wù)二要使用電腦攝像頭，互動性較強，任務(wù)三需用到ESP32-CAM，讓學(xué)生挑戰(zhàn)無人駕駛。

任務(wù)二：車人合一。

描述：學(xué)生在電腦攝像頭前，通過自己的姿態(tài)控制小車移動和鏟子起落，按跑道軌跡將物體分別移至三個目的地。

難度解析：要完成本任務(wù)，需使用電腦上的攝像頭。首先要用XEduHub的det_body任務(wù)，獲得畫面中的人體，然后再將檢測到的人體畫面送到人體關(guān)鍵點檢測任務(wù)中。以pose_body17為例，pose_body17檢測出的keypoints以二維數(shù)組的形式保存了所有關(guān)鍵點的坐標(biāo)，每個關(guān)鍵點(x,y)被表示為[x,y]。如圖4所示，要獲取到某個特定序號i的關(guān)鍵點，只需要訪問keypoints[i]即可。

圖4

需要注意的是，det_body任務(wù)是支持多人體的檢測，建議選取第一個人體（bbox[0]）進行檢測，避免當(dāng)畫面有多個人存在而出現(xiàn)誤判。相關(guān)的參考代碼如下頁圖5所示。

圖5

任務(wù)三：無人駕駛。

任務(wù)描述：使用電腦讀取小車上的ESP32-CAM畫面，根據(jù)推理結(jié)果來控制小車自主完成八段錦姿態(tài)分類任務(wù)，小車能夠合理規(guī)劃路徑，完成尋找地圖中與目標(biāo)八段錦姿態(tài)相同的立牌（樹立呈現(xiàn)的圖片）并轉(zhuǎn)動鏟子。

難度分析：這個任務(wù)看起來最難，其實不過是在上一個任務(wù)的基礎(chǔ)上，增加了姿態(tài)分類模型的應(yīng)用。而學(xué)生之前已經(jīng)用BaseNN搭建全連接神經(jīng)網(wǎng)絡(luò)（DNN）訓(xùn)練過姿態(tài)分類模型，所有的挑戰(zhàn)在于如何將各種綜合的任務(wù)合并在一起。鑒于篇幅，這里僅僅提供了用OpenCV讀取ESP32-CAM畫面的參考代碼（如圖6）。

任務(wù)號任務(wù)要求評分說明評分正確搭建小車正確組裝小車，屏幕亮起10讓小車動起來讓小車走一個正方形10任務(wù)一出發(fā)控制小車前進5分別完成A、B、C物品搬運任務(wù)二小車完成鏟起動作、放下動作小車和物品移動至目的地30結(jié)束回到出發(fā)點5讀取小車攝像頭數(shù)據(jù)顯示攝像頭畫面5完成關(guān)鍵點檢測任務(wù)顯示關(guān)鍵點檢測結(jié)果5完成姿態(tài)分類任務(wù)并控制小車出發(fā)任務(wù)三完成目標(biāo)姿態(tài)分類任務(wù)，顯示類別（5分）小車掉頭，并朝目標(biāo)方向前進（5分）10尋找相同的目標(biāo)姿態(tài)立牌小車移動至正確的目標(biāo)姿態(tài)立牌前（8分）小車完成鏟起動作、放下動作（2分）10整理材料材料整理清理垃圾，完成現(xiàn)場清理復(fù)原，將所有的物資歸還10

圖6

● AI交互活動的評價設(shè)計

在設(shè)計好活動后，最后一個環(huán)節(jié)就是設(shè)計活動的評價表了。筆者采用100分制（如左下表），將這三個任務(wù)的細節(jié)分解成一個個得分點。另外，為了避免某一個環(huán)節(jié)失敗導(dǎo)致下面的環(huán)節(jié)都無法進行的情況出現(xiàn)，允許部分小任務(wù)可以跳過，只是不給分而已。

● AI交互活動的反饋

通過這次嘗試，筆者認識到，在青少年的人工智能活動中增加與開源硬件結(jié)合的內(nèi)容，能夠更直觀地展現(xiàn)AI模型，且能有效提升學(xué)生的學(xué)習(xí)興趣。實際上，這個基于ESP32-CAM的AI硬件交互方案，不僅可以做無人駕駛，還可以結(jié)合無人機做智能巡檢、結(jié)合智慧農(nóng)場做蟲害監(jiān)測、結(jié)合保護區(qū)做生態(tài)監(jiān)測之類的有趣課程內(nèi)容。對中小學(xué)的人工智能教育來說，“低門檻”是一個重要的設(shè)計原則，相信會有更多的人為“低門檻”提供更多的可能。