姜孝春　楊萍

選題背景

《新一代人工智能發(fā)展規(guī)劃》將人工智能發(fā)展提升至國(guó)家戰(zhàn)略層面，明確指出要完善人工智能教育體系，在中小學(xué)階段設(shè)置人工智能相關(guān)課程?！读x務(wù)教育信息科技課程標(biāo)準(zhǔn)（2022 年版）》中提出了對(duì)人工智能教育的具體要求。然而，縱觀世界各國(guó)對(duì)于基礎(chǔ)教育階段的人工智能教育尚未形成完整的體系，缺少系統(tǒng)、科學(xué)的課程內(nèi)容，更沒(méi)有配套的軟件平臺(tái)和硬件形成合力，導(dǎo)致目前相關(guān)教學(xué)難以有效組織和實(shí)施。

人工智能是發(fā)展新質(zhì)生產(chǎn)力的重要引擎，中小學(xué)人工智能教育不應(yīng)僅停留在體驗(yàn)層面，應(yīng)當(dāng)結(jié)合最新的人工智能技術(shù)，深入剖析技術(shù)原理，加強(qiáng)應(yīng)用與實(shí)踐，以達(dá)成新課程標(biāo)準(zhǔn)的目標(biāo)，培養(yǎng)具備創(chuàng)新思維和實(shí)踐能力、能夠解決真實(shí)問(wèn)題的新時(shí)代青少年。

本文以發(fā)芽土豆分揀問(wèn)題為導(dǎo)向，圍繞數(shù)據(jù)、算法和算力——人工智能的三大基石同頻共振，開(kāi)展人工智能知識(shí)、技能與創(chuàng)客教育相結(jié)合的大單元教學(xué)設(shè)計(jì)。通過(guò)貼近學(xué)生生活案例激發(fā)學(xué)生的學(xué)習(xí)興趣，在實(shí)踐中系統(tǒng)學(xué)習(xí)人工智能知識(shí)和技能，掌握利用人工智能解決真實(shí)問(wèn)題的完整流程和方法。

課程設(shè)計(jì)

課程目標(biāo)

學(xué)生基于真實(shí)情境學(xué)習(xí)人工智能圖像分類(lèi)技術(shù)，通過(guò)數(shù)據(jù)集制作、模型訓(xùn)練、模型推理等一系列實(shí)踐活動(dòng)，體驗(yàn)運(yùn)用人工智能技術(shù)解決真實(shí)問(wèn)題的流程。通過(guò)學(xué)習(xí)和實(shí)踐模型轉(zhuǎn)換，使用開(kāi)源硬件實(shí)現(xiàn)圖像分類(lèi)應(yīng)用部署，掌握多模態(tài)交互的一般流程和方法，完成人工智能發(fā)芽土豆分揀機(jī)的制作。在項(xiàng)目實(shí)踐中，提高學(xué)生對(duì)人工智能的興趣，培養(yǎng)人工智能創(chuàng)新思維和問(wèn)題解決能力，進(jìn)行項(xiàng)目?jī)?yōu)化、改進(jìn)和創(chuàng)新。

學(xué)情分析。

學(xué)生對(duì)人工智能技術(shù)有一定的興趣和基礎(chǔ)知識(shí)，但缺乏實(shí)踐經(jīng)驗(yàn)和動(dòng)手能力，需要通過(guò)具體項(xiàng)目將原理與實(shí)踐相結(jié)合，提高學(xué)生的創(chuàng)新思維和問(wèn)題解決能力。

課程內(nèi)容。

本課程緊扣人工智能的三大基石——數(shù)據(jù)、算法和算力展開(kāi)，通過(guò)真實(shí)情境問(wèn)題引導(dǎo)學(xué)生探索人工智能圖像分類(lèi)技術(shù)和硬件部署操作。課程從引導(dǎo)學(xué)生采集多樣化的土豆圖像數(shù)據(jù)開(kāi)始，學(xué)習(xí)對(duì)圖像進(jìn)行分類(lèi)用以構(gòu)建數(shù)據(jù)集。學(xué)生根據(jù)任務(wù)需求選擇合適的算法訓(xùn)練圖像分類(lèi)模型，進(jìn)行模型推理并評(píng)價(jià)模型性能，通過(guò)實(shí)踐調(diào)整訓(xùn)練參數(shù)，不斷提升模型性能。最終學(xué)生通過(guò)模型轉(zhuǎn)換與硬件應(yīng)用部署，利用“行空板”等開(kāi)源硬件實(shí)現(xiàn)多模態(tài)交互。

課時(shí)安排。

本單元共分8 個(gè)課時(shí)，內(nèi)容涵蓋了人工智能圖像識(shí)別技術(shù)的全流程。具體課時(shí)安排和學(xué)習(xí)內(nèi)容見(jiàn)圖1。

教學(xué)準(zhǔn)備

本單元適合在具有一定創(chuàng)客加工條件的計(jì)算機(jī)房進(jìn)行，需要使用到的軟件如下。

浦育平臺(tái)：基于上海人工智能實(shí)驗(yàn)室的在線教育平臺(tái)提供的Jupyter Notebook 運(yùn)行環(huán)境和算力資源，具備數(shù)據(jù)集制作、模型訓(xùn)練、模型轉(zhuǎn)換等功能，方便學(xué)生學(xué)習(xí)和實(shí)踐人工智能圖像識(shí)別技術(shù)。

Mind+：圖形化編程工具，支持行空板等開(kāi)源硬件和Python 程序調(diào)試運(yùn)行，提供圖像識(shí)別、語(yǔ)音輸出、超聲波檢測(cè)、舵機(jī)控制等功能，方便學(xué)生將模型部署到開(kāi)源硬件，實(shí)現(xiàn)人工智能發(fā)芽土豆分揀機(jī)的多模態(tài)交互和程序調(diào)試。

需要使用到的硬件如下。

行空板：采用微型計(jì)算機(jī)架構(gòu)的國(guó)產(chǎn)開(kāi)源硬件，自帶Linux 操作系統(tǒng)和Python 運(yùn)行環(huán)境，集成了LCD 彩色觸摸屏、Wi-Fi、麥克風(fēng)等多種常用傳感器和豐富的拓展接口，支持接入攝像頭、揚(yáng)聲器等外設(shè)和超聲波傳感器、舵機(jī)等開(kāi)源硬件。行空板使用方便，預(yù)裝了常用的Python 庫(kù)，也可以快速安裝人工智能運(yùn)行庫(kù)，同時(shí)支持Mind+ 等圖形化編程工具，是一款理想的中小學(xué)人工智能教學(xué)和實(shí)踐創(chuàng)新開(kāi)發(fā)工具。

超聲波傳感器：判斷是否有需要分揀的土豆，進(jìn)而開(kāi)啟攝像頭進(jìn)行圖像識(shí)別。

舵機(jī)：可以控制角度的電機(jī)，用于驅(qū)動(dòng)分揀機(jī)的運(yùn)動(dòng)，實(shí)現(xiàn)土豆分揀。

土豆：用于分揀的土豆，需要有一定數(shù)量和比例的發(fā)芽土豆和不發(fā)芽土豆，方便學(xué)生進(jìn)行數(shù)據(jù)集的制作和分揀機(jī)的測(cè)試。

實(shí)施過(guò)程

本單元以發(fā)芽土豆分類(lèi)為實(shí)際問(wèn)題，引導(dǎo)學(xué)生從認(rèn)識(shí)圖像分類(lèi)算法到制作數(shù)據(jù)集，使用XEdu 工具進(jìn)行模型訓(xùn)練、模型推理和硬件部署，最終利用多模態(tài)交互技術(shù)實(shí)現(xiàn)項(xiàng)目迭代和交流展示，全面體驗(yàn)人工智能項(xiàng)目開(kāi)發(fā)和制作的全過(guò)程。

人工智能模型基石：數(shù)據(jù)集制作與優(yōu)化

數(shù)據(jù)集制作是訓(xùn)練有效圖像分類(lèi)模型的基礎(chǔ)，在課時(shí)2 的任務(wù)中，學(xué)生通過(guò)參與制作和完善高質(zhì)量的數(shù)據(jù)集，體驗(yàn)圖像分類(lèi)數(shù)據(jù)集制作的一般流程。在本單元的教學(xué)中著重強(qiáng)調(diào)數(shù)據(jù)集的多樣性、準(zhǔn)確性和質(zhì)量對(duì)模型訓(xùn)練的重要程度，這些因素直接影響到模型的性能和后續(xù)課程的實(shí)施。

明確分類(lèi)問(wèn)題需求后，收集數(shù)據(jù)并整理和完善數(shù)據(jù)集，解決發(fā)芽土豆識(shí)別問(wèn)題需準(zhǔn)備發(fā)芽、不發(fā)芽土豆的二分類(lèi)數(shù)據(jù)集。教師鼓勵(lì)學(xué)生參與到數(shù)據(jù)采集過(guò)程中，在家里選擇合適的發(fā)芽和未發(fā)芽土豆，通過(guò)智能手機(jī)拍攝圖片，每個(gè)學(xué)生都親身參與到數(shù)據(jù)采集的過(guò)程。根據(jù)訓(xùn)練要求，數(shù)據(jù)需要批量預(yù)處理，步驟包括圖像裁剪、調(diào)整大小和增強(qiáng)對(duì)比度，通過(guò)這些操作提高制作數(shù)據(jù)集的準(zhǔn)確率。我們的基礎(chǔ)數(shù)據(jù)集包含近1 800 張圖片，大約按照8 ∶ 1 ∶ 1 的比例劃分為訓(xùn)練集（trainning_set）、驗(yàn)證集（val_set）和測(cè)試集（test_set）3 個(gè)文件夾，其中訓(xùn)練集1 429 張圖片（不發(fā)芽土豆956 張、發(fā)芽土豆478 張）、測(cè)試集180 張圖片、驗(yàn)證集179 張圖片。

教學(xué)過(guò)程中引導(dǎo)學(xué)生深入實(shí)際思考問(wèn)題，例如為什么不發(fā)芽土豆的圖片數(shù)量要遠(yuǎn)多于發(fā)芽土豆圖片數(shù)量？通過(guò)設(shè)置懸念激發(fā)學(xué)生的興趣和求知欲，讓學(xué)生在后續(xù)實(shí)踐中更加細(xì)心觀察思考尋找原因，明白不發(fā)芽土豆容易誤識(shí)別為發(fā)芽，有部分原因是土豆圖片的背景雜亂造成的，反思數(shù)據(jù)集的制作，并進(jìn)一步深入思考在設(shè)計(jì)土豆分揀結(jié)構(gòu)中要設(shè)計(jì)相應(yīng)的解決方案。如何高效地采集這些數(shù)據(jù)集圖片？實(shí)踐中通過(guò)手機(jī)拍攝動(dòng)態(tài)視頻，再使用PotPlayer 軟件自動(dòng)批量截取符合訓(xùn)練需求尺寸的JPEG 格式圖像，或者使用Python 程序提取幀再批量處理，這些方法都大大提高了數(shù)據(jù)集制作的效率。

人工智能訓(xùn)練實(shí)戰(zhàn)：模型訓(xùn)練與優(yōu)化探索

模型訓(xùn)練部分是人工智能教學(xué)的重要環(huán)節(jié)。課時(shí)3 與課時(shí)4 的任務(wù)目標(biāo)是讓學(xué)生理解并實(shí)踐如何通過(guò)機(jī)器學(xué)習(xí)處理和分析數(shù)據(jù)訓(xùn)練模型。教學(xué)中詳細(xì)介紹模型訓(xùn)練的步驟，包括選擇合適的算法、數(shù)據(jù)集、設(shè)置訓(xùn)練參數(shù)、執(zhí)行訓(xùn)練過(guò)程及評(píng)估模型性能。使用XEdu 工具實(shí)踐操作發(fā)芽土豆圖像分類(lèi)模型的訓(xùn)練，讓學(xué)生通過(guò)優(yōu)化超參數(shù)調(diào)整，不斷提升模型性能，在此過(guò)程中深入理解數(shù)據(jù)、算法、算力對(duì)模型訓(xùn)練的重要作用。

發(fā)芽土豆圖像分類(lèi)模型訓(xùn)練教學(xué)實(shí)踐在上海人工智能實(shí)驗(yàn)室浦育平臺(tái)上進(jìn)行，通過(guò)創(chuàng)建一個(gè)“人工智能工坊”XEdu Notebook 編程項(xiàng)目進(jìn)行。模型訓(xùn)練流程包括：①導(dǎo)入MMEdu深度學(xué)習(xí)庫(kù)；②根據(jù)任務(wù)需求實(shí)例化模型；③配置模型訓(xùn)練參數(shù)，如訓(xùn)練輪數(shù)、學(xué)習(xí)率、批量大小等；④使用發(fā)芽土豆圖像數(shù)據(jù)集開(kāi)始訓(xùn)練模型，觀察訓(xùn)練過(guò)程，找出最佳權(quán)重文件；⑤使用最佳權(quán)重文件為預(yù)訓(xùn)練模型繼續(xù)訓(xùn)練，微調(diào)參數(shù)使模型達(dá)到更好的效果，以適應(yīng)發(fā)芽土豆圖片的分類(lèi)任務(wù)。

在實(shí)踐教學(xué)過(guò)程中學(xué)生使用浦育平臺(tái)XEdu 工具在CPU 版和GPU 版服務(wù)器運(yùn)行環(huán)境切換，在相同參數(shù)條件下感受CPU 與GPU不同的算力對(duì)訓(xùn)練效率的影響。在訓(xùn)練參數(shù)教學(xué)環(huán)節(jié)可采用分組實(shí)驗(yàn)，對(duì)比訓(xùn)練輪數(shù)、學(xué)習(xí)率、批量大小等不同參數(shù)對(duì)模型訓(xùn)練效果的影響。學(xué)生通過(guò)實(shí)踐操作從頭訓(xùn)練模型和使用預(yù)訓(xùn)練模型訓(xùn)練，觀察模型性能變化，從而理解預(yù)訓(xùn)練模型訓(xùn)練具有提高模型性能、節(jié)省訓(xùn)練時(shí)間和計(jì)算資源、增強(qiáng)模型泛化能力、遷移學(xué)習(xí)能力等優(yōu)點(diǎn)。訓(xùn)練出的模型權(quán)重文件準(zhǔn)確率達(dá)到98.324%，學(xué)生在數(shù)據(jù)集制作到模型訓(xùn)練的完整過(guò)程中感受算法、算力和數(shù)據(jù)相互支撐、相互促進(jìn)，共同推動(dòng)模型性能的提升。

模型推理：人工智能實(shí)踐的關(guān)鍵一步

模型推理是將模型訓(xùn)練成果轉(zhuǎn)化為人工智能應(yīng)用的橋梁。課時(shí)5 的目標(biāo)是將模型訓(xùn)練的成果應(yīng)用于解決真實(shí)問(wèn)題——推理土豆圖片發(fā)芽或未發(fā)芽的可能性。學(xué)生將學(xué)習(xí)如何運(yùn)用訓(xùn)練好的模型進(jìn)行實(shí)際推理的方法和操作流程，并深入理解模型推理的原理與應(yīng)用價(jià)值。

使用模型推理識(shí)別發(fā)芽土豆圖像的教學(xué)同樣在浦育平臺(tái)XEdu Notebook編程項(xiàng)目進(jìn)行，模型推理流程包括：①加載模型，學(xué)生導(dǎo)入必要的庫(kù)、實(shí)例化模型，并加載之前訓(xùn)練好的模型；②推理數(shù)據(jù)準(zhǔn)備，學(xué)生重新拍攝或搜索獲得不同土豆的照片（不同于數(shù)據(jù)集的圖片），將圖片上傳到項(xiàng)目文件用于模型推理；③執(zhí)行推理，學(xué)生指定圖片并啟動(dòng)推理過(guò)程，模型將根據(jù)學(xué)習(xí)結(jié)果對(duì)輸入圖片進(jìn)行分類(lèi)，判斷其是否發(fā)芽；④推理結(jié)果解析，學(xué)生對(duì)結(jié)果進(jìn)行分析，觀察模型在不同情況下的表現(xiàn)，分析誤判分類(lèi)的原因，從而進(jìn)一步理解模型的性能與局限性。

模型推理過(guò)程是圖像分類(lèi)技術(shù)的核心，學(xué)生面對(duì)真實(shí)問(wèn)題，親身參與體驗(yàn)圖像分類(lèi)從理論知識(shí)到模型應(yīng)用，通過(guò)實(shí)踐獲得成功開(kāi)發(fā)人工智能的喜悅。同時(shí)，面對(duì)諸如背景復(fù)雜的土豆圖片出現(xiàn)誤判的情況，深入思考如何改進(jìn)模型，如何設(shè)計(jì)土豆分揀機(jī)結(jié)構(gòu)，以適應(yīng)復(fù)雜的真實(shí)問(wèn)題挑戰(zhàn)。

多模態(tài)交互應(yīng)用：人工智能發(fā)芽土豆分揀機(jī)部署實(shí)踐

多模態(tài)交互是一種融合多種感官信息的交互方式，為學(xué)生提供更豐富、更有趣的學(xué)習(xí)體驗(yàn)。在本課程中，將模型轉(zhuǎn)換為onnx格式并部署到行空板上，通過(guò)超聲波傳感器實(shí)現(xiàn)物體的識(shí)別，進(jìn)一步啟動(dòng)外接攝像頭采集土豆圖像進(jìn)行圖像識(shí)別，運(yùn)用圖像、文字和語(yǔ)音輸出檢測(cè)結(jié)果。學(xué)生通過(guò)人工智能發(fā)芽土豆分揀機(jī)的模型部署和開(kāi)源硬件交互，深入探索多模態(tài)交互在人工智能項(xiàng)目中的應(yīng)用方法與實(shí)踐操作。

人工智能發(fā)芽土豆分揀機(jī)使用行空板作為硬件平臺(tái)，行空板自帶Linux 操作系統(tǒng)和Python 運(yùn)行環(huán)境，集多種常用傳感器和豐富的拓展接口，支持接入攝像頭、舵機(jī)等開(kāi)源硬件。行空板自帶pinpong 庫(kù)，可用于超聲波物體檢測(cè)和舵機(jī)控制，也可以快速安裝人工智能運(yùn)行庫(kù)。教學(xué)中使用行空板終端pip 命令安裝所需的庫(kù)，比如onnxruntime 庫(kù)支持onnx 模型的運(yùn)行，pyttsx3 庫(kù)實(shí)現(xiàn)離線文字轉(zhuǎn)語(yǔ)音功能等。需要注意的是，在安裝庫(kù)的過(guò)程中需要使用網(wǎng)絡(luò)，可以通過(guò)電腦連接行空板，打開(kāi)Wi-Fi 連接無(wú)線網(wǎng)絡(luò)再安裝。

行空板支持Mind+ 等圖形化編程工具，Python 不熟練的學(xué)生也可以使用圖形化編程完成傳感器與舵機(jī)的程序調(diào)試，再將圖形化程序轉(zhuǎn)化為Python 代碼，在教師的指導(dǎo)下完成與onnx 模型轉(zhuǎn)換生成的圖像識(shí)別程序進(jìn)行融合，最終完成人工智能發(fā)芽土豆分揀機(jī)的程序編寫(xiě)。通過(guò)程序控制實(shí)現(xiàn)人工智能發(fā)芽土豆分揀機(jī)的幾個(gè)關(guān)鍵功能：①使用超聲波傳感器判斷土豆是否進(jìn)入識(shí)別區(qū)域，并控制圖像識(shí)別的啟動(dòng)和停止；②使用外接攝像頭獲取實(shí)時(shí)圖像并輸入到模型中進(jìn)行識(shí)別；③使用行空板自帶顯示屏顯示圖像和文字結(jié)果；④將識(shí)別結(jié)果以語(yǔ)音形式輸出到音箱；⑤使用外接舵機(jī)對(duì)識(shí)別好的土豆進(jìn)行分揀。人工智能和多模態(tài)交互實(shí)踐不僅提高了學(xué)生的編程能力和創(chuàng)新思維，也為人工智能技術(shù)在實(shí)際場(chǎng)景中的應(yīng)用提供了有益的參考。

學(xué)習(xí)成果

本課程在8 年級(jí)部分班級(jí)開(kāi)展了教學(xué)實(shí)驗(yàn)，項(xiàng)目經(jīng)歷了多次迭代，并對(duì)教學(xué)進(jìn)行優(yōu)化。本單元的教學(xué)設(shè)計(jì)重在引導(dǎo)學(xué)生學(xué)習(xí)和運(yùn)用人工智能技術(shù)解決真實(shí)問(wèn)題，項(xiàng)目涵蓋了人工智能圖像識(shí)別技術(shù)的全流程，包括數(shù)據(jù)集制作、模型訓(xùn)練、模型推理、模型轉(zhuǎn)換、模型部署等，讓學(xué)生能夠全面、清晰地了解和掌握人工智能圖像識(shí)別技術(shù)的原理和方法，明確運(yùn)用人工智能技術(shù)解決真實(shí)問(wèn)題的思路。

學(xué)生成功地將訓(xùn)練完成的模型轉(zhuǎn)換并部署到硬件平臺(tái)，實(shí)現(xiàn)了多模態(tài)交互的功能，包括超聲波檢測(cè)、圖像分類(lèi)、語(yǔ)音輸出、舵機(jī)控制等，提升了學(xué)生對(duì)人工智能應(yīng)用創(chuàng)作的良好體驗(yàn)。項(xiàng)目具有一定的可拓展性，可以根據(jù)實(shí)際情況進(jìn)行創(chuàng)新，訓(xùn)練新的模型實(shí)現(xiàn)其他物品的分類(lèi)。

學(xué)生在模型訓(xùn)練方面展現(xiàn)出了極高的熱情和創(chuàng)造力，在理論學(xué)習(xí)和實(shí)踐操作中都有了明顯的進(jìn)步。他們不僅掌握了人工智能的核心技術(shù)，還學(xué)會(huì)了如何將這些技術(shù)應(yīng)用于解決實(shí)際問(wèn)題。這些學(xué)習(xí)成果將為他們未來(lái)在人工智能領(lǐng)域的深入學(xué)習(xí)和發(fā)展奠定堅(jiān)實(shí)的基礎(chǔ)。

反思與提高

本單元的教學(xué)展示了如何利用人工智能技術(shù)解決實(shí)際問(wèn)題的完整流程，從理論到實(shí)踐的轉(zhuǎn)化過(guò)程清晰而完整。豐富的教學(xué)活動(dòng)不僅加深了學(xué)生對(duì)人工智能技術(shù)的理解，也鍛煉了他們運(yùn)用人工智能技術(shù)解決真實(shí)問(wèn)題的實(shí)踐操作能力。

在未來(lái)的教學(xué)中，我們將在以下幾個(gè)方向進(jìn)行探索與優(yōu)化：

項(xiàng)目可以嘗試使用更先進(jìn)的數(shù)據(jù)集制作方法，如使用視頻拍攝加程序抽幀批量獲取圖片、批量處理、結(jié)合數(shù)據(jù)清洗提高數(shù)據(jù)集的質(zhì)量和數(shù)量，提高模型的準(zhǔn)確率。

項(xiàng)目可以嘗試使用更優(yōu)化的模型訓(xùn)練方法，使用預(yù)訓(xùn)練模型等技術(shù)進(jìn)一步提高模型的訓(xùn)練效果和效率，降低模型的訓(xùn)練成本和時(shí)間。

項(xiàng)目可以嘗試使用更簡(jiǎn)化的硬件搭建，使用更易用的外設(shè)和連接線接入攝像頭、揚(yáng)聲器、超聲波傳感器等，簡(jiǎn)化硬件的搭建過(guò)程和難度，提高硬件的穩(wěn)定性和可靠性。

我們也將持續(xù)關(guān)注學(xué)生的反饋，不斷調(diào)整和優(yōu)化教學(xué)方法，確保教學(xué)活動(dòng)的有效性和趣味性。為學(xué)生提供更豐富、更高質(zhì)量的人工智能學(xué)習(xí)體驗(yàn)，激發(fā)中小學(xué)生對(duì)人工智能技術(shù)的興趣和熱情，培養(yǎng)學(xué)生的人工智能創(chuàng)新思維和問(wèn)題解決能力，為人工智能創(chuàng)新教學(xué)貢獻(xiàn)一份力量。