□林梓柔 胡小勇 黃婕

一、引言

我國政府高度重視人工智能對教育的深刻影響。2017 年發(fā)布的《新一代人工智能發(fā)展規(guī)劃》首次提出 “發(fā)展智能教育” ，并要求 “利用智能技術加快推動人才培養(yǎng)模式、教學方法改革，構建包含智能學習、交互式學習的新型教育體系” （中華人民共和國國務院，2017）；教育部在《教育信息化2.0 行動計劃》中也明確提出 “大力推進智能教育” “開展智慧教育創(chuàng)新示范” （中華人民共和國教育部，2018）；并在2019年宣布擬研制《中國智能教育發(fā)展方案》（中華人民共和國教育部，2019）。到2021 年，教育部已經立項支持兩批國家級 “智慧教育示范區(qū)” 創(chuàng)建項目和 “人工智能助推教師隊伍建設” 行動試點，持續(xù)推進智能教育創(chuàng)新發(fā)展。從政策文件看， “智能教育” 與 “智慧教育” 內涵相近且均受國家認可，本研究對二者不作嚴格的概念區(qū)分，統(tǒng)一使用 “智能教育” 。在基礎教育階段，中小學在利用智能技術變革教育中發(fā)揮了主戰(zhàn)場作用。然而推進數年，當前中小學智能教育發(fā)展現狀究竟如何，缺乏明晰準確的答案，有必要通過科學評估來解答并促進中小學智能教育的發(fā)展。

教育評價事關教育發(fā)展方向（中華人民共和國國務院，2020）。只有科學合理的評價指揮棒，才能發(fā)揮 “以評促建” 作用，引導智能教育健康發(fā)展。當前中小學智能教育發(fā)展仍處于起步階段（鐘祖榮等，2020），相關評估研究十分匱乏。已有評估研究主要存在兩類取向：一是將智能化作為教育信息化評估指標體系的一部分，未能完整體現智能教育全貌；二是針對智能教育下屬的微觀要素設計評估指標體系，缺乏系統(tǒng)的觀照。本研究立足中小學視角，認為智能教育是以智能技術為基礎構建泛在聯(lián)通、情境感知、數據融通、精準服務的智能教育體系，推動中小學教育系統(tǒng)各要素與智能技術融合創(chuàng)新發(fā)展，最終促進系統(tǒng)中人的發(fā)展，因此，有必要從系統(tǒng)視角對其進行評估審視?；诖?，本研究梳理影響中小學智能教育發(fā)展的要素，以此開展評估指標體系的設計、開發(fā)與應用，為我國中小學智能教育評估提供工具參考。

二、中小學智能教育發(fā)展評估研究現狀

在全球范圍內，智能教育仍處于發(fā)展初期，鮮有大規(guī)模、系統(tǒng)化的中小學智能教育發(fā)展水平專項評估項目。部分研究在微觀層面關注智能技術在環(huán)境設施、軟件平臺、師生素養(yǎng)等方面的發(fā)展水平和應用效果：劉學等（2018）針對智能教育軟設施 “教育云” 進行區(qū)域發(fā)展評價指標體系構建；李璐等（2020）從組織管理、智慧學習環(huán)境、智慧學習資源、創(chuàng)新融合應用、創(chuàng)新人才培養(yǎng)、特色成果等6個方面構建了高校智慧校園的評估指標體系；尹合棟等（2020）聚焦智慧教室，圍繞基礎設施、環(huán)境與布局、智能錄播、教學與資源平臺、智能管控與感知、軟硬件工具與移動終端、培訓方案等方面構建了評估指標體系；劉斌（2020）探索了教師智能教育素養(yǎng)的關鍵要素，為智能教育素養(yǎng)評估提供借鑒。這些圍繞智能教育系統(tǒng)的獨立要素開展的評估研究表明，推進智能教育評估逐漸成為新的研究熱點。然而，開展系統(tǒng)化的中小學智能教育評估研究難度較大（Zhang et al.，2021）。究其原因，一方面是智能教育尚較新穎，理論基礎薄弱，評估內容未成體系。另一方面，中小學智能教育實踐正在起步，評估難以得到有效支持，側面印證了中小學智能教育發(fā)展評估研究的迫切性。

作為教育信息化發(fā)展的新階段，智能教育雖未有系統(tǒng)化的評估項目，但各個國家及組織長期以來開展的教育信息化評估可資借鑒。國外較有代表性的基礎教育信息化發(fā)展評估項目包括：歐盟30個國家參與的教育系統(tǒng)信息化評估項目（Eurydice，2000），聯(lián)合國教科文組織的ICT教育應用評估項目（UNESCO Institute for Statistics，2009），英國的學校信息化自我評估項目（The Education Technology Association，2014）等。我國開展基礎教育信息化發(fā)展評估研究多聚焦于國家、省市、區(qū)縣等不同區(qū)域范圍開展規(guī)模化調研，評估結果較少關注各中小學的信息化發(fā)展，評估內容仍是以中小學的教育實踐為基礎，對本研究具有指導價值。例如，王珠珠等（2005）早期在全國開展了中小學教育信息化建設與應用狀況調查，構建的指標覆蓋基礎設施、信息資源、信息素養(yǎng)、ICT應用和信息化管理。隨著教育信息化2.0的推進，研究者對教育信息化的評估研究不斷深化，例如，劉曉琳（2018）構建了面向教育信息化2.0的基礎教育學校信息化教學創(chuàng)新評價指標體系，以科學有效的評估來促進學校落實教育信息化2.0時代的發(fā)展任務。總體而言，教育信息化發(fā)展水平大多從政策落實、基礎設施、教學應用，以及教師專業(yè)發(fā)展和學生學業(yè)績效等方面進行評估，這為中小學智能教育發(fā)展水平評估提供了方向借鑒。

三、評估指標體系設計與開發(fā)

1.基本思路

一份完整、科學、合理的評估指標體系包括各級指標項和相應權重，恰當的指標構建方法和權重分配技術將極大提升指標體系的科學性。本研究的基本思路如圖1所示，以系統(tǒng)科學理論、第四代教育評估理論、發(fā)展性評估理論和新時代教育評價理念為指導，首先，利用內容分析法總結政策文件和學術文獻中的相關研究結果，服務于評估指標體系設計，保證指標內容的合理性。其次，采用德爾菲法開展三輪專家征詢和指標修訂，確保指標的內容效度。再次，使用AHP 法和CRITIC 法進行組合賦權，確保指標權重的科學性。最后，進行指標體系信效度檢驗，驗證指標權重的科學性。最終形成完整的中小學智能教育發(fā)展水平評估指標體系，并通過實踐案例進行應用和檢驗。

圖1 評估指標體系設計與開發(fā)的基本思路

2.評估指標體系設計

評估指標體系設計包括關鍵要素提取、一級指標確定與二三級指標內容構建等環(huán)節(jié)。

首先是提取關鍵要素。中小學智能教育發(fā)展水平評估從以下兩方面尋找理論依據和要素來源：一是國家政策文件中與智能教育相關的內容，它表明了我國未來一段時期的智能教育發(fā)展圖景和導向，是中小學智能教育發(fā)展的目標指引；二是智能教育微觀要素的相關評估研究，這些研究結果能為挖掘中小學智能教育發(fā)展的關鍵要素提供參考。因此，本研究通過內容分析法梳理了相關政策文件和學術文獻（見表1），發(fā)現其主要涵蓋組織保障、教育環(huán)境、教學資源、教學應用、學習應用與治理服務等方面，這為確定中小學智能教育發(fā)展的關鍵要素奠定了基礎。

表1 政策文件與學術文獻內容分析結果一覽表

其次是確定一級指標。結合所提取的關鍵要素和中小學智能教育發(fā)展特征，本研究選取組織保障、智能教育環(huán)境、智能教學資源、智能教學應用、智能學習應用和智能治理服務作為中小學智能教育發(fā)展水平評估指標體系的一級指標。其中，區(qū)域和學校的組織保障提供外部支持；智能教育環(huán)境提供了網絡、設施、平臺和數據等技術支撐，同時依此建設智能教學資源并提供資源服務；智能教育的核心價值需在教育應用中得以體現，包括智能教學應用、智能學習應用和智能治理服務。中小學的智能教育發(fā)展均圍繞上述6個方面開展建設與應用。

最后是細化二三級指標和完善指標描述內容。為保證評估指標體系既體現智能教育的 “應然” 圖景，又兼顧我國中小學的 “實然” 現況，主要構建思路為：以推進中小學智能教育健康發(fā)展為價值取向，圍繞一級指標進行內涵拆解，在二三級指標構建中融入中小學智能教育發(fā)展實際。雖然我國高度重視并大力投入資源來支持智能教育實踐，但中小學智能教育發(fā)展仍處于前期探索階段，發(fā)展不平衡不充分現象突出。一是組織保障上，政策引領力度大，但經費保障是難題。經濟差距可能進一步拉大智能教育發(fā)展鴻溝。二是智能教育環(huán)境上，教育網絡基本普及（中國教育在線，2020），但智能教育對網絡帶寬和時延提出了更高要求，除少數發(fā)達地區(qū)外，大部分省市尚未建設5G教育網絡。三是教學資源上，數字化資源豐富多樣，師生有機會在教學中大量使用智能技術支持的資源（余亮等，2020），但目前學校提供資源服務的能力較弱。四是智能化教與學應用上，師生信息素養(yǎng)和在線學習習慣初步養(yǎng)成，但受智能教育環(huán)境的客觀限制，以及師生智能教育素養(yǎng)的主觀制約（余勝泉，2018），智能化教與學應用水平仍有限。五是智能治理服務上，應用場景豐富（陳磊等，2020），但普及范圍小、區(qū)域差異大。因此，在評估指標體系的細化過程中需著重關注評估的區(qū)分度和可操作性，使指標既能指導中小學智能教育的未來發(fā)展，也不脫離當前發(fā)展現況。基于此，本研究初步構建了包括6個一級指標、21個二級指標、60個三級指標及指標描述的中小學智能教育發(fā)展水平評估指標體系。

3.基于德爾菲法修訂評估指標體系

本研究構建了中小學智能教育發(fā)展水平評估指標體系專家征詢意見表，包含專家基本信息、各級指標描述、重要性評價與專家修改建議；并選取了30 位智能教育相關領域的高校學者、中小學教育工作者組成專家組，每輪約向15 名專家進行征詢。針對專家征詢數據分析所運用的統(tǒng)計指標包括平均值、標準差和變異系數。其中，平均值能夠判斷專家意見的集中度，標準差能夠判斷專家意見的離散度，變異系數能夠判斷專家意見的差異程度。如表2所示，經過三輪指標修訂，專家意見協(xié)調程度不斷提高并趨于穩(wěn)定，文字意見逐輪減少，指標設計合理性不斷提高。

表2 三輪專家征詢數據分析結果

根據專家征詢結果，逐輪修訂完善指標。主要修訂內容包括：（1）組織保障：增加 “A2經費保障” 和 “A3 人員配置” 下級指標的區(qū)分度；優(yōu)化 “A4 服務支持” 表述。（2）智能教育環(huán)境：重新梳理二級指標分類，合并內涵重復項，剔除 “智能教學空間比例” 項。（3）智能教學資源：關注資源的適切性、多樣性和共享性，精簡指標描述，調整 “資源管理” 等三級指標的內涵范疇。（4）智能教學應用：更改 “D2智能備課” 和 “D4精準教研” 的表述使其更精準明確，對 “D3 智能授課” 增加數據驅動的伴隨式診斷、分析和評價。（5）智能學習應用： “E2 學習支持” 從學生視角更改指標描述， “E4學習預警” 合并納入E2。（6）智能治理服務：增加 “管理者素養(yǎng)” 指標。對二級指標F1、F2和F3更改表述、合并調整，避免交叉混亂。此外，對所有指標描述進行逐一修正，保證指標描述與指標名稱內涵一致，提高指標的準確性、可讀性和可用性。

至此，得到包含6 個一級指標、18 個二級指標、59 個三級指標以及指標描述的評估指標體系。 “A組織保障” 是智能教育發(fā)展不可或缺的頂層支持，能夠確保政策舉措有效落地，包括 “A1政策規(guī)劃” “A2 經費保障” “A3 人員配置” 和 “A4 服務支持” 。 “B 智能教育環(huán)境” 是中小學智能教育發(fā)展的基礎條件，包括提供軟支持的 “B1網絡數據配置” 和提供硬支持的 “B2 智能空間平臺” 。 “C 智能教學資源” 是支持師生智能化教與學的資源，包括數字化資源 “C1 資源建設” 與基于資源衍生的智能化服務 “C2資源服務” 。 “D智能教學應用” 是智能技術支持中小學課堂教學創(chuàng)新的重要體現，是智能教育的關鍵價值所在，包括 “D1教師素養(yǎng)” “D2智能備課” “D3智能授課” 和 “D4精準教研” ，涵蓋教師教學和教研的智能化應用場景。 “E智能學習應用” 是智能技術支持個性化學習，促進學生發(fā)展的綜合體現，包括 “E1學生素養(yǎng)” “E2學習支持” 和 “E3學習方式” 。 “F智能治理服務” 是指中小學利用智能技術來管理教育公共事務的諸多方式的總和，是人類智能和人工智能聯(lián)合提升治理服務效能的過程，包括 “F1管理者素養(yǎng)” “F2教學治理” 和 “F3管理服務” 。

4.基于組合賦權確定評估指標體系權重

主觀賦權法過于受人為因素影響，客觀賦權法又過于依賴評估樣本，兩種方法都存在信息損失，采用組合賦權法能夠最大限度地減少信息損失。因此，本研究將AHP法和CRITIC法相結合得出組合權重，以保證專家主觀經驗與客觀樣本數據的平衡，使賦權結果盡可能與實際接近。具體過程如下：

第一，AHP主觀賦權，以專家知識與經驗為基礎進行賦權征詢和統(tǒng)計。首先，根據中小學智能教育發(fā)展水平評估指標體系構建層次分析結構模型。其次，設計了包含25個兩兩判斷打分矩陣的專家賦權網絡調查表，邀請14位參與過指標修訂的專家進行9級重要性（T. L.薩蒂，1988）比較評價。最后，進行主觀權重計算與一致性檢驗，得到主觀權重Wα。

第二，CRITIC客觀賦權，以依據指標體系改編的評估問卷數據為基礎進行數理計算獲得客觀權重。首先，向管理者、教師、學生發(fā)放評估問卷，共回收283份有效問卷，對原始數據進行無量綱處理。其次，計算標準差、相關系數和各指標信息量。最后，對信息量進行歸一化處理得到客觀權重Wβ。

第三，主客觀組合賦權確定權重。據前述得到的主觀權重Wα和客觀權重Wβ，本研究利用離差平方和最大賦權法求解組合賦權系數θ＝（θ1，θ2），即通過評估數據構造矩陣以求解特征根，選取最大特征根對應的特征向量作為該組合的權重系數，并對其進行歸一化得到。接著，將代入組合賦權公式進行求解，得到各級指標的組合權重Wγ。其中一級指標權重如表3 所示。從6個一級指標的權重系數來看，組織保障是前置條件，智能教學應用和智能學習應用是核心環(huán)節(jié)，三者位列前三；再依次是作為基礎支撐的智能教育環(huán)境、作為衍生服務的智能教學資源和作為拓展應用的智能治理服務。

表3 一級指標賦權取值表

至此，完整的中小學智能教育發(fā)展水平評估指標體系已構建完成，其由組織保障、智能教育環(huán)境、智能教學資源、智能教學應用、智能學習應用、智能治理服務6 個一級指標、18 個二級指標、59個三級指標及其指標描述和各級指標權重組成，詳見表4。

表4 中小學智能教育發(fā)展水平評估指標體系

5.評估指標體系信效度檢驗

為驗證評估指標體系的信效度，本研究面向管理者、教師和學生開發(fā)了三份評估問卷工具。向GD省GZ市、SZ市、JM市等地的中小學管理者和師生抽樣發(fā)放評估問卷，共回收371 份問卷。剔除無效問卷，得到管理者問卷44 份、教師問卷125 份、學生問卷114 份，共計283 份評估問卷，有效率為76.28%。首先，采用臨界比值法對問卷高分組與低分組的每道題目進行T 檢驗。三套問卷的項目分析結果均表明各題項已達到顯著性差異。其次，為保證指標體系的一致性和穩(wěn)定性，本研究對問卷進行信度分析。不論問卷整體還是各個因子維度的Cronbach’s α系數均高于0.8，這表明問卷穩(wěn)定可靠，能夠通過樣本數據評估中小學智能教育發(fā)展各維度水平，可廣泛用于中小學智能教育發(fā)展水平評估實踐中。最后，本研究從內容效度和結構效度兩方面論證問卷工具的效度。一方面，使用 “專家效度” 進行內容效度檢驗，即在德爾菲法中進行專家征詢，最大程度彌合分歧，取得了較高的專家認同度。另一方面，使用因素分析進行結構效度檢驗。Bartlett’s 球形檢驗結果顯示各維度的KMO 值均高于0.7，指標間具有較強相關性。對指標體系進行主成分分析，結果表明其與 “專家效度” 檢驗的指標體系維度劃分一致，一級指標間具有較強獨立性，雙向驗證了指標體系的合理性。

續(xù)表4

四、評估指標體系應用案例

1.案例背景與評估過程

面向全國 “智慧教育示范區(qū)” GZ 市，本研究選取HD 區(qū) “大數據個性化教學評測項目” 的5 所實驗校作為中小學智能教育發(fā)展水平評估的對象，并將其編號為HD1、HD2、HD3、HD4和HD5。這5所學校類型為公辦普通中學，并在不同程度上開展了智能教育實踐，以大數據、智慧教育、個性化教學等作為其發(fā)展方向和特色。通過HD區(qū)教育局組織各校管理者、教師和學生進行網絡問卷填寫。最終回收有效問卷2071 份，其中管理者問卷37份，教師問卷266 份，學生問卷1768 份。問卷的Cronbach’s α系數均高于0.9，說明5所學校的評估數據信度高，評估結果具有可靠性。

2.學校評估結果分析

本研究通過指數測算方法統(tǒng)計得到5所學校的智能教育綜合發(fā)展指數和維度發(fā)展指數。表5呈現了各校的綜合發(fā)展排名與指數、六大維度發(fā)展指數與排名變化情況。5所學校的智能教育綜合發(fā)展指數分別為71.74、61.80、64.94、58.90 和55.84，均值為62.64。各校的綜合發(fā)展指數排名和維度發(fā)展指數排名并不完全一致，各自存在優(yōu)勢及短板。

表5 HD區(qū)5校智能教育發(fā)展指數統(tǒng)計表

綜合發(fā)展水平方面，5所學校智能教育發(fā)展水平參差不齊。通過計算綜合發(fā)展差異指數并聚類得到圖2，橫坐標為綜合發(fā)展指數，縱坐標為綜合發(fā)展差異指數。最終匯聚為兩類學校：第一類是高水平、正差異的學校，HD1、HD3綜合發(fā)展指數得分高于均值，且綜合發(fā)展差異指數大于0，處于第一象限。第二類是低水平、負差異的學校，HD2、HD4、HD5的綜合發(fā)展指數得分低于均值，綜合發(fā)展差異指數小于0，處于第三象限。

圖2 HD區(qū)5校綜合發(fā)展指數與綜合發(fā)展差異指數象限圖

維度發(fā)展水平方面，通過發(fā)展差異指數深入分析每所學校一級指標維度的發(fā)展特征，得到圖3。坐標系中以Y軸的0為基點，上下分布了各校6個一級指標的維度發(fā)展差異指數，能夠直觀看到每所學校的發(fā)展水平和差異特征。在0點上方的指標發(fā)展指數高于均值，越往上則正向差異越大；反之，下方的指標發(fā)展指數低于均值，越往下則負向差異越大。聚焦到每所學校，可以看出：HD1的維度差異指數除了智能教學應用外，其它維度都在0 點以上，表明該校各個維度較其他學校發(fā)展水平更高。HD2 各個維度差異指數較為均衡分布在0 點兩側，智能教育環(huán)境和智能教學應用相較于其他維度更具優(yōu)勢。HD3除組織保障和智能教學應用外，其他維度發(fā)展差異系數均位于正向坐標系中，整體發(fā)展水平較好。HD4的維度發(fā)展差異系數整體向下偏移，除智能教學資源指數高于均值，其他維度皆處于較低發(fā)展水平。HD5的維度發(fā)展差異指數整體處于坐標系下方，各維度發(fā)展指數皆低于均值，位于5所學校中智能教育發(fā)展的最低水平?？傮w而言，HD區(qū)各校有較好的組織保障水平（均值為58.91），具有一定的智能教育建設基礎（均值為65.99），在智能化教學（均值為60.21）和智能化學習（均值為58.16）方面的應用場景水平相近。此外，智能教學資源（均值為49.18）的建設和服務水平是六大維度中最低的，這表明優(yōu)質資源仍然匱乏，而在技術可用性較強的智能化治理（均值為66.42）方面達到了最高的發(fā)展水平。

圖3 HD區(qū)5校一級指標維度差異指數散點圖

3.評估總結與建議

通過應用評估指標體系，成功評估了HD 區(qū)5所學校的智能教育發(fā)展水平。實踐表明，本研究構建的中小學智能教育發(fā)展水平評估指標體系具有較好的科學性和合理性。面向全國 “智慧教育示范區(qū)” HD 區(qū)5 所代表性學校的智能教育發(fā)展水平均值為62.64，僅處于及格線之上，這從側面印證了我國智能教育發(fā)展處于起步階段，而且更加關注基礎環(huán)境建設，但在教學應用和學習應用等核心層面卻較為薄弱。

評估結果表明，HD區(qū)的管理層需要為中小學的智能教育發(fā)展提供更多外部支持：一是系統(tǒng)規(guī)劃區(qū)域內各校的智能教育發(fā)展，縮小校際差異。二是引入智能教育專業(yè)技術人員和教育領域專家，深化智能教育應用。三是探索優(yōu)質教育資源服務的創(chuàng)新供給與共享服務模式。四是通過多樣化活動幫助師生提升自身智能教育素養(yǎng)。此外，各?？梢酝ㄟ^評估結果，對照自身發(fā)展實際，對標評估指標體系中的各項要素和指標，明確自身差距和現存問題，進一步調整和規(guī)劃學校未來的智能教育發(fā)展方案。

五、結語

立足新時代教育評價理念，本研究面向中小學智能教育發(fā)展，通過科學規(guī)范的 “設計—修訂—賦權—驗證” 過程，構建了中小學智能教育發(fā)展水平評估指標體系并將其應用于實際?？傮w而言，該評估指標體系能夠較為系統(tǒng)全面地評估中小學在智能教育發(fā)展中各個方面的表現，豐富了我國在智能教育發(fā)展水平評估工具方面的研究。在評估指標體系應用方面，教育行政部門及區(qū)域管理者可依此制定區(qū)域智能教育發(fā)展綱要和評價標準，總體指引中小學智能教育發(fā)展方向；學校管理者可以據此開展智能教育自檢評估，客觀了解本校智能教育發(fā)展現狀，尋找不足并制定針對性的改進策略；師生可以對標自身智能教學應用與學習應用能力，獲取自我提升建議。本研究回答了 “用什么評估” 和 “如何去評估” 的問題，未來還可以在評估實踐上探索伴隨式采集和智能化分析等新方向。