敏捷治理：教育人工智能倫理治理新模式

王佑鎂 王旦 梁煒怡 柳晨晨

[摘? ?要] 進(jìn)入21世紀(jì)以來，人類邁入數(shù)據(jù)規(guī)模呈指數(shù)級(jí)上升的人工智能時(shí)代，人工智能教育成了熱切的必然趨勢(shì)，也出現(xiàn)了不可避免的風(fēng)險(xiǎn)挑戰(zhàn)，引發(fā)一系列倫理問題，而教育人工智能倫理治理研究始終停留在單一化、被動(dòng)化的層面，治理效能不顯。文章將教育人工智能的倫理風(fēng)險(xiǎn)歸納為“PBAS”四類問題，剖析倫理風(fēng)險(xiǎn)治理現(xiàn)存的五個(gè)短板，提出借鑒使用一種全新的治理模式——敏捷治理，來創(chuàng)新應(yīng)對(duì)教育人工智能倫理治理問題。研究以敏捷治理的演繹趨勢(shì)與內(nèi)涵特征為切入口，結(jié)合敏捷治理的原則與能力，構(gòu)建教育人工智能倫理敏捷治理五步循環(huán)模型，設(shè)計(jì)五層實(shí)踐路徑，并以“PBAS”四類問題為例，詳細(xì)闡述敏捷治理解決方案。以期為教育人工智能倫理問題提供一種新的治理范式，為倫理風(fēng)險(xiǎn)的可持續(xù)治理與健康發(fā)展提供參考與借鑒。

[關(guān)鍵詞] 教育人工智能； 倫理問題； 敏捷治理； 治理模式

[中圖分類號(hào)] G434? ? ? ? ? ? [文獻(xiàn)標(biāo)志碼] A

[作者簡(jiǎn)介] 王佑鎂（1974—），男，江西吉安人。教授，博士，主要從事人工智能教育、數(shù)字閱讀研究。E-mail：wangyoumei@126.com。

一、引? ?言

隨著算法與交互方式的不斷更新迭代，人工智能不斷推動(dòng)人類社會(huì)向智能化方向邁進(jìn)，對(duì)包括教育在內(nèi)的社會(huì)各個(gè)領(lǐng)域帶來了巨大的沖擊。2017年7月，中華人民共和國(guó)國(guó)務(wù)院發(fā)布《新一代人工智能發(fā)展規(guī)劃》聚焦人工智能技術(shù)的變革與未來發(fā)展，并指出智能時(shí)代教育改革的基本方向與根本性道路，即發(fā)展智能化教育[1]。目前，教育人工智能發(fā)展如火如荼，在促進(jìn)學(xué)生個(gè)性化學(xué)習(xí)、提升教師教學(xué)效率、實(shí)現(xiàn)數(shù)據(jù)精準(zhǔn)采集等方面顯示出巨大潛力和顯著成效，但同時(shí)也給教育某些方面帶來新的挑戰(zhàn)，諸如師生間情感交流較少、技術(shù)存在偏見與歧視、教學(xué)過程機(jī)械化等，在教育領(lǐng)域逐漸被技術(shù)壟斷的過程中，人工智能教育應(yīng)用忽略了倫理和道德的內(nèi)在意蘊(yùn)，忽視了以人為本的準(zhǔn)則，從而背離了教育的本質(zhì)與初衷。社會(huì)各界開始重視教育人工智能倫理規(guī)范建設(shè)，一方面，從人工智能倫理原則中建構(gòu)教育倫理規(guī)范及治理路徑[2]；另一方面，探討人工智能與學(xué)校教育的有效融合方式以此避免倫理風(fēng)險(xiǎn)的發(fā)生[3]。從趨勢(shì)看，教育人工智能會(huì)走向強(qiáng)大的融合發(fā)展場(chǎng)域，如果僅僅依靠傳統(tǒng)自上而下、被動(dòng)的治理方式，是否能夠及時(shí)應(yīng)對(duì)教育人工智能引發(fā)的一系列倫理問題，是否需要改變治理方式；如果需要，又將如何開展和治理，本文試圖回答上述議題。

二、 教育人工智能倫理風(fēng)險(xiǎn)問題及治理現(xiàn)狀

（一）教育人工智能主要倫理問題

人工智能是能執(zhí)行通常需要人類智力或感官能力的任務(wù)或功能的技術(shù)，在科學(xué)、工程和技術(shù)等領(lǐng)域占據(jù)主導(dǎo)地位，也通過人工智能學(xué)習(xí)系統(tǒng)、算法產(chǎn)品等在教育領(lǐng)域蓬勃發(fā)展。教育人工智能是人工智能與學(xué)習(xí)科學(xué)相結(jié)合形成的新研究領(lǐng)域，通過觀察、理解和掌握學(xué)習(xí)的發(fā)生過程，為學(xué)生的學(xué)習(xí)創(chuàng)造更好的條件，幫助教師更有效地教學(xué)[4]。例如，人工智能可為學(xué)生提供個(gè)性化的學(xué)習(xí)系統(tǒng)，為教師提供自動(dòng)評(píng)估系統(tǒng)、輔助教學(xué)的面部識(shí)別系統(tǒng)等。然而，人工智能也為教育領(lǐng)域帶來了一些倫理道德的缺陷，如算法偏見和歧視對(duì)學(xué)生造成心理傷害，放大種族、性別、地域等多種形式的不公平性，侵犯學(xué)生隱私和數(shù)據(jù)帶來隱患等。胡小勇等將倫理問題歸納為技術(shù)設(shè)計(jì)與開發(fā)和教育實(shí)踐兩方面[5]，苗逢春總結(jié)了基于數(shù)據(jù)和算法的預(yù)測(cè)和決策引發(fā)的四類倫理問題[6]，鄧國(guó)明等將教育人工智能倫理問題劃分為利益相關(guān)者倫理問題、技術(shù)倫理問題和社會(huì)倫理問題三個(gè)層次[7]，將教育人工智能倫理問題的研究推上熱潮。本文借鑒Akgun在K-12教育中提出的人工智能教育應(yīng)用的倫理問題[8]，主要從“PBAS”四類來闡述教育人工智能的倫理問題，包含隱私、偏見和歧視、自治、監(jiān)視，如圖1所示。

圖1? ?“PBAS”四類問題

1. 隱私（Privacy）

教育人工智能倫理最大的問題之一是隱私問題，隱私侵犯主要發(fā)生在學(xué)生的個(gè)人信息未被征得同意的情況下暴露過多，通過不知情分享降低學(xué)生個(gè)人能動(dòng)性與泄露隱私，隱私保護(hù)與開放共享之間的關(guān)系矛盾難以化解[9]。例如，在人工智能系統(tǒng)采集學(xué)生學(xué)習(xí)行為數(shù)據(jù)、面部表情數(shù)據(jù)等情況下，學(xué)生個(gè)人隱私極有可能被傳播，產(chǎn)生不良影響。管理者在收集數(shù)據(jù)后，也可能發(fā)生向教師、家長(zhǎng)等隨意透露的風(fēng)險(xiǎn)。數(shù)據(jù)的過度采集十分容易加劇學(xué)生隱私泄露而帶來的傷害[10]。在學(xué)校單方面使用人工智能產(chǎn)品來輔助教學(xué)的同時(shí)，學(xué)生和家長(zhǎng)對(duì)于隱私問題是未知和別無選擇的。此外，一些在線教育平臺(tái)也會(huì)在未經(jīng)用戶的允許下收集超出范圍以外的信息并泄露給第三方。

2. 偏見和歧視（Bias and Discrimination）

教育人工智能的變革關(guān)鍵是算法，但算法是人類開發(fā)設(shè)計(jì)的，能操縱且不易改變。因此，經(jīng)過長(zhǎng)時(shí)間的算法迭代，它的未知性無疑給教育領(lǐng)域帶來了一定的算法偏見或歧視，可能造成信息繭房。研發(fā)者在沒有充足教育知識(shí)與經(jīng)驗(yàn)的情況下，無法預(yù)先洞悉算法會(huì)帶來哪些問題，從而對(duì)學(xué)生造成偏見與歧視，這很有可能是無意的。例如，2020年，英國(guó)某中學(xué)利用資格等級(jí)的算法對(duì)大量學(xué)生造成了嚴(yán)重地分層打擊，引發(fā)教育的不公平性[11]。此外，性別偏見和歧視也是常見倫理問題，對(duì)語(yǔ)言學(xué)習(xí)課程學(xué)生最為明顯。例如，使用人工智能翻譯器時(shí)，谷歌翻譯會(huì)將“她/他是護(hù)士”翻譯為女性，將“她/他是醫(yī)生”翻譯為男性，這表明了教育人工智能的社會(huì)偏見和對(duì)性別的刻板印象。

3. 自治（Autonomy）

教育的本質(zhì)是主體間發(fā)生交互的學(xué)習(xí)過程，教師與學(xué)生在享受人工智能帶來便利的同時(shí)，也存在著人際關(guān)系的倫理風(fēng)險(xiǎn)。例如，教師與學(xué)生間主體地位不明，學(xué)生喪失自主學(xué)習(xí)能動(dòng)性，失去自主決策的權(quán)利，教師過度以人工智能教學(xué)為主，弱化創(chuàng)新思維和探究性學(xué)習(xí)培養(yǎng)。此外，更有可能出現(xiàn)人工智能越位現(xiàn)象，人工智能不僅具有著作權(quán)、勞動(dòng)權(quán)等權(quán)利與義務(wù)，甚至能精準(zhǔn)模仿人類行為與語(yǔ)言。可是，人工智能在教育領(lǐng)域帶給教師與學(xué)生學(xué)習(xí)、教學(xué)、評(píng)價(jià)和監(jiān)測(cè)等方面的便利都是有益的嗎？相關(guān)問題的探討目前沒有得到明晰地解決。

4. 監(jiān)視（Surveillance）

在監(jiān)視方面，最熟悉的教育人工智能應(yīng)用則是利用智能算法設(shè)計(jì)對(duì)師生的情緒、表情、行為等進(jìn)行收集與記錄。將監(jiān)控機(jī)制嵌入人工智能預(yù)測(cè)系統(tǒng)中，以衡量學(xué)生學(xué)習(xí)表現(xiàn)、優(yōu)缺點(diǎn)、學(xué)習(xí)方式，甚至對(duì)師生之間的交流對(duì)話進(jìn)行錄音分析。這必將限制師生之間的正常交流，使其逐漸對(duì)自己想法產(chǎn)生質(zhì)疑[12]，從而影響正常的教學(xué)活動(dòng)，降低教學(xué)效率。此外，教師不恰當(dāng)行為的發(fā)生，如經(jīng)常性巡邏與監(jiān)督，也會(huì)給學(xué)生帶來未知傷害，但很有可能被人工智能產(chǎn)品視為對(duì)學(xué)生的正確管理，這一倫理問題的解決方式主要需要背后管理人員規(guī)范。

（二）教育人工智能倫理問題的治理狀況

針對(duì)教育人工智能倫理現(xiàn)存的一系列問題，引起了各國(guó)廣泛關(guān)注，各國(guó)開始重視對(duì)教育人工智能倫理問題的治理。目前，僅有少量的官方政策文本與報(bào)告和學(xué)者們的研究。例如，聯(lián)合國(guó)教科文組織在2019年發(fā)布《北京共識(shí)——人工智能與教育》[13]《教育中的人工智能：可持續(xù)發(fā)展的機(jī)遇和挑戰(zhàn)》[14]，強(qiáng)調(diào)了人工智能需要為全民提供優(yōu)質(zhì)的教育和學(xué)習(xí)機(jī)會(huì)，并對(duì)其帶來的影響進(jìn)行預(yù)見性評(píng)測(cè)。杜靜等提出“APETHICS”框架，為教育人工智能倫理問題提供解決模型[15]。本文重點(diǎn)關(guān)注白金漢大學(xué)建立的教育人工智能倫理研究所在2020年發(fā)布的《中期報(bào)告：值得信賴的人工智能倫理指南》[16]，其中提到為實(shí)現(xiàn)道德化的教育人工智能而提供的機(jī)制選項(xiàng)，包括九條基礎(chǔ)實(shí)現(xiàn)機(jī)制和七條深層實(shí)現(xiàn)機(jī)制。其中，基礎(chǔ)實(shí)現(xiàn)機(jī)制中第五條：利益相關(guān)者的教育和意識(shí)，即提供教育相關(guān)知識(shí)提升利益相關(guān)者的道德意識(shí)。深層實(shí)現(xiàn)機(jī)制中第三條：保障途徑，即在法律保障的范圍內(nèi)確保學(xué)習(xí)者使用教育人工智能的安全性。然而，現(xiàn)階段對(duì)教育人工智能倫理問題治理仍存在現(xiàn)實(shí)難點(diǎn)，傳統(tǒng)的治理方式已不能滿足其風(fēng)險(xiǎn)的治理，主要問題歸納為五個(gè)方面。

1. 缺乏規(guī)范指引，系統(tǒng)性不足

面對(duì)教育人工智能存在的各類倫理問題，仍沒有系統(tǒng)的教育倫理標(biāo)準(zhǔn)與管理規(guī)范。在企業(yè)不斷拓寬人工智能在教育領(lǐng)域的應(yīng)用范圍下，政府政策與法律規(guī)范的更新速度已跟不上行業(yè)的迭代產(chǎn)出[17]。主要原因包括：一是目前教育人工智能產(chǎn)品與現(xiàn)有規(guī)范不匹配；二是未及時(shí)出臺(tái)規(guī)制教育人工智能產(chǎn)品帶來的倫理風(fēng)險(xiǎn)制度，教育人工智能的發(fā)展長(zhǎng)期處于一種野蠻生長(zhǎng)的狀態(tài)。例如，對(duì)于教師使用人工智能輔助教學(xué)時(shí)，產(chǎn)生的有關(guān)隱私、偏見等倫理問題對(duì)學(xué)生造成威脅，而學(xué)校管理者過分相信人工智能產(chǎn)品，這是缺乏系統(tǒng)地頂層規(guī)范指引而造成的。

2. 人文關(guān)懷缺漏，主動(dòng)性不強(qiáng)

智慧教育的目標(biāo)始終是以人為本，需關(guān)注人、尊重人、彰顯人的主體性。在教育人工智能的倫理問題中關(guān)于師生人際關(guān)系問題值得關(guān)注與思考，教師人文關(guān)懷能給學(xué)生帶來深遠(yuǎn)影響。例如，使用人工智能過程中學(xué)生對(duì)自身角色轉(zhuǎn)換的感知很微妙，教師用數(shù)據(jù)來度量學(xué)習(xí)效果會(huì)造成學(xué)生學(xué)習(xí)主動(dòng)性降低?，F(xiàn)階段教師對(duì)學(xué)生的人文關(guān)懷遠(yuǎn)遠(yuǎn)不足，不能及時(shí)且主動(dòng)地預(yù)估給學(xué)生造成的傷害[18]。此外，教育人工智能協(xié)助教學(xué)的過程中，對(duì)教師職業(yè)的穩(wěn)定性存在潛移默化的影響，盡管研究者認(rèn)為人工智能無法代替人類教師，但在簡(jiǎn)單重復(fù)的工作、智能批改、智能數(shù)據(jù)采集存儲(chǔ)等方面人工智能的優(yōu)勢(shì)十分明顯。隨著時(shí)代的快速發(fā)展，給教師帶來的壓力是無法預(yù)估的，目前各方對(duì)教師職業(yè)的主動(dòng)關(guān)懷更是甚微。

3. 治理工具缺新，智能化不夠

近年來，在解決教育人工智能倫理問題時(shí)，眾多國(guó)家相繼發(fā)布針對(duì)人工智能倫理問題解決的政策報(bào)告，并提出教育領(lǐng)域人工智能的合理性邊界與正確的做法，我國(guó)也同樣予以高度地關(guān)注與重視。然而，有學(xué)者提出，教育人工智能倫理問題治理總體還停留在對(duì)其抽象價(jià)值的提取與共識(shí)構(gòu)建的階段中[19]。傳統(tǒng)治理方式并未采用智能化的治理工具對(duì)其進(jìn)行及時(shí)且精準(zhǔn)治理，缺乏深度與創(chuàng)新度。例如，在教育人工智能使用中，如果沒有及時(shí)記錄并累積每次出現(xiàn)的問題，并提醒后來的使用者警惕這些風(fēng)險(xiǎn)，那么教育人工智能倫理的問題必將形成一個(gè)惡性循環(huán)，而恰巧這方面正需要智能化治理工具的協(xié)助。

4. 問責(zé)機(jī)制欠缺，反應(yīng)力不快

人工智能在教育領(lǐng)域的順利推行，離不開開發(fā)人員、管理人員、教師等互相協(xié)調(diào)，但在追究主體責(zé)任方面，至今欠缺良好的問責(zé)機(jī)制，治理制度的規(guī)制性和規(guī)范性不夠[20]。開發(fā)工程師是否按照可持續(xù)性、透明性等原則構(gòu)建教育人工智能的系統(tǒng)架構(gòu)，并保障人工智能的運(yùn)行程序受到追蹤問責(zé)，確保使用過程中公平公正對(duì)待每個(gè)學(xué)生，是值得存疑的[21]。例如，數(shù)據(jù)的誤差、操作不當(dāng)、算法偏見與歧視，都可能帶來相反結(jié)果。在事故發(fā)生后，受害者的權(quán)益如何得到正當(dāng)?shù)木S護(hù)，追究事故背后原因，以避免下次再發(fā)生類似的情況，是迫切需要解決的問題。

5. 受眾意識(shí)缺失，彌合性不高

想構(gòu)筑教育領(lǐng)域良好的人機(jī)協(xié)同關(guān)系，需具備基礎(chǔ)的人工智能素養(yǎng)知識(shí)。然而，無論是開發(fā)人員還是教師與學(xué)生，對(duì)其受眾意識(shí)具有缺失性。例如，老教師現(xiàn)有的智能教育素養(yǎng)水平不足以充分發(fā)揮人工智能作用，走向高質(zhì)量的數(shù)字化教育轉(zhuǎn)型。將人工智能素養(yǎng)教育推廣至學(xué)校、培訓(xùn)機(jī)構(gòu)也沒有系統(tǒng)地規(guī)范和精準(zhǔn)地投入，彌合性較低。此外，教育人工智能實(shí)際上拉大了各學(xué)校與地區(qū)間的數(shù)字鴻溝，其發(fā)展沒有真實(shí)輔助不發(fā)達(dá)地區(qū)、一些特殊群體的學(xué)習(xí)，群眾普遍沒有意識(shí)其帶來的差異與影響。因此，仍需更加關(guān)注教育人工智能落后的山區(qū)學(xué)生、聾啞學(xué)生等[22]。

三、 敏捷治理：一種全新的治理導(dǎo)向

所謂敏捷，是面對(duì)事件或環(huán)境變化時(shí)能“簡(jiǎn)單、靈活、快速”地作出反應(yīng)。2018年，世界經(jīng)濟(jì)論壇的召開，“敏捷治理”被賦予了新的概念和意義，強(qiáng)調(diào)其是一種以顧客為中心，具有適應(yīng)性和包容性的政策制定過程[23]。清華大學(xué)薛瀾教授認(rèn)為，敏捷治理的核心思想是針對(duì)新興技術(shù)分享提出的一種治理理念和改革目的，兩大顯著特征是參與廣泛度和時(shí)間靈敏度[24-25]。此外，我國(guó)國(guó)家新一代人工智能治理專業(yè)委員會(huì)發(fā)布《新一代人工智能治理原則——發(fā)展負(fù)責(zé)任的人工智能》文件中也提出，“和諧友好、公平公正、包容共享、尊重隱私、安全可控、共擔(dān)責(zé)任、開放協(xié)作和敏捷治理”八項(xiàng)人工智能治理的重要標(biāo)度，這意味著敏捷治理在中國(guó)開始從社會(huì)治理領(lǐng)域拓展到人工智能領(lǐng)域[26]。

基于敏捷治理的演變趨勢(shì)，能發(fā)現(xiàn)敏捷治理與傳統(tǒng)治理并不一致，二者之間存在一定差異，敏捷治理作為一套具有全面性、動(dòng)態(tài)化及精準(zhǔn)性的機(jī)制，創(chuàng)新了傳統(tǒng)治理模式，分別從治理目標(biāo)、治理形式、治理過程、治理特點(diǎn)、治理工具以及治理反應(yīng)六個(gè)維度來闡述，見表1。

第一，治理目標(biāo)，敏捷治理關(guān)注可持續(xù)性、靈活性與競(jìng)爭(zhēng)力，通過靈活多變的方式實(shí)現(xiàn)治理可持續(xù)發(fā)展，從而提升治理效率；而傳統(tǒng)治理自上而下進(jìn)行，以遵守法律法規(guī)為底線，較為穩(wěn)妥[27]。第二，治理形式和治理過程，敏捷治理強(qiáng)調(diào)主動(dòng)與相關(guān)主體間的交流互動(dòng)，征集不同意見，在變化中求變，給予良好反饋；而傳統(tǒng)治理采用管制形式，被動(dòng)接受上級(jí)安排，缺乏協(xié)作性。第三，治理特點(diǎn)，敏捷治理注重精準(zhǔn)性、柔和性、快速性的要求，而傳統(tǒng)治理卻十分模糊，具有強(qiáng)制性和滯后性。第四，治理工具和治理反應(yīng)，敏捷治理采用數(shù)字信息工具精準(zhǔn)識(shí)別問題，節(jié)約成本和資源，由主觀人為經(jīng)驗(yàn)向客觀數(shù)據(jù)驅(qū)動(dòng)轉(zhuǎn)變，屬于多變型反應(yīng)治理方式；而傳統(tǒng)治理通過人工方式和粗糙資源手段進(jìn)行治理，反應(yīng)較慢，屬于程序型反應(yīng)治理方式[28]。

因此，在教育人工智能的倫理問題愈發(fā)加劇、治理方式不靈活的背景下，以探討敏捷治理發(fā)展趨勢(shì)和敏捷治理與傳統(tǒng)治理之間區(qū)別為基礎(chǔ)，為教育人工智能倫理問題治理帶來全新蛻化，健全教育人工智能共建共享的治理體系[29]。

四、 教育人工智能倫理的敏捷治理模型構(gòu)建

在明確教育人工智能倫理風(fēng)險(xiǎn)的基礎(chǔ)上，立足傳統(tǒng)治理方式存在的問題，結(jié)合敏捷治理的演繹趨勢(shì)與內(nèi)涵區(qū)別，研究參照敏捷治理的基本模型，依據(jù)敏捷治理的原則和能力，提出在治理者視角下教育人工智能倫理敏捷治理的五步循環(huán)模型，從而更加全面地和系統(tǒng)地解決教育人工智能倫理問題。

（一）敏捷治理的基本模型

本文采用的敏捷治理基本模型來自2022年1月28日人工智能治理準(zhǔn)則工作組發(fā)布的《實(shí)施人工智能原則的治理指南》，其認(rèn)為每個(gè)管理行為者（包括企業(yè)、政府、非政府組織等各種行為者）都需執(zhí)行五步程序模型，并提出每個(gè)程序的行動(dòng)目標(biāo)[30]，如圖2所示。

1. 條件和風(fēng)險(xiǎn)分析

條件和風(fēng)險(xiǎn)分析指治理者應(yīng)不斷分析外部條件，關(guān)注這些條件會(huì)發(fā)生哪些變化，以及由此導(dǎo)致的風(fēng)險(xiǎn)狀況。包括：（1）了解積極和消極影響；（2）了解社會(huì)接受程度；（3）了解人工智能的熟練程度。

2. 目標(biāo)設(shè)定

目標(biāo)設(shè)定指治理者應(yīng)設(shè)定治理目標(biāo)，并根據(jù)外部條件的變化和技術(shù)影響不斷審查這些目標(biāo)。包括：（1）考慮人工智能治理目標(biāo)；（2）設(shè)定人工智能治理目標(biāo)。

3. 系統(tǒng)設(shè)計(jì)

系統(tǒng)設(shè)計(jì)指治理者根據(jù)設(shè)定的目標(biāo)設(shè)計(jì)治理系統(tǒng)，除了技術(shù)系統(tǒng)外，還包括組織系統(tǒng)及其適用規(guī)則。在此過程中，需遵循透明和問責(zé)制、提供適當(dāng)質(zhì)量和數(shù)量上的選擇、利益相關(guān)者參與、適當(dāng)分配責(zé)任及提供補(bǔ)救措施的基本原則。包括：（1）分析差距和解決差距；（2）提高人工智能管理人員文化水平；（3）通過合作加強(qiáng)人工智能管理公司間關(guān)系；（4）減少用戶事故發(fā)生率。

4. 實(shí)施

實(shí)施指實(shí)施設(shè)計(jì)的治理系統(tǒng)的過程。治理者根據(jù)實(shí)時(shí)數(shù)據(jù)和其他輸入數(shù)據(jù)，持續(xù)監(jiān)測(cè)系統(tǒng)的運(yùn)行狀況。此外，向可能受影響的利益相關(guān)者適當(dāng)披露有關(guān)事項(xiàng)的信息，如系統(tǒng)產(chǎn)生的風(fēng)險(xiǎn)、運(yùn)行設(shè)置以及補(bǔ)救措施等。包括：（1）確保能解釋人工智能治理系統(tǒng)的實(shí)施狀況；（2）確保能解釋各人工智能系統(tǒng)的運(yùn)行情況；（3）考慮將人工智能治理的實(shí)施情況列為非財(cái)務(wù)性信息，主動(dòng)披露。在此過程中，會(huì)受到外部因素的影響，也對(duì)外部因素造成影響。

5. 評(píng)價(jià)

評(píng)價(jià)指治理者評(píng)估最初設(shè)定目標(biāo)是否已完成。如果設(shè)定目標(biāo)沒有實(shí)現(xiàn)，系統(tǒng)就會(huì)重新設(shè)計(jì)。包括：（1）驗(yàn)證人工智能治理系統(tǒng)的設(shè)計(jì)和實(shí)施是否有效；（2）尋求利益相關(guān)者的反饋意見。

6. 對(duì)條件和風(fēng)險(xiǎn)的重新分析

對(duì)條件和風(fēng)險(xiǎn)的重新分析指治理目標(biāo)因外部因素造成的影響而不得不修訂，此時(shí)應(yīng)分析治理系統(tǒng)的運(yùn)行條件或風(fēng)險(xiǎn)狀況是否發(fā)生變化，如果發(fā)生變化，是否需對(duì)目標(biāo)重新修訂，這是回到循環(huán)第一步的過程。

（二）教育人工智能倫理敏捷治理的五步循環(huán)模型

敏捷治理的原則指敏捷治理的過程中應(yīng)遵守的基本原則，包括：靈活性、快速性、主動(dòng)性、多元性與公眾性。敏捷治理的能力指敏捷反應(yīng)所具備的能力素質(zhì)，包括：感知能力、反應(yīng)能力、決策能力、動(dòng)員能力、執(zhí)行能力、協(xié)調(diào)能力?；谏鲜雒艚葜卫砘灸Ｐ停罁?jù)敏捷治理的原則與能力，結(jié)合教育人工智能倫理的風(fēng)險(xiǎn)特點(diǎn)與傳統(tǒng)治理依然存留的問題，本文提出教育人工智能倫理敏捷治理的五步循環(huán)模型，如圖3所示，以期改善教育人工智能倫理問題的治理效果，提高治理效率。

1. 倫理風(fēng)險(xiǎn)分析

倫理風(fēng)險(xiǎn)分析指治理者應(yīng)不斷總結(jié)目前發(fā)生的所有教育人工智能倫理問題，并分析這些問題是由哪些原因造成，會(huì)給教育主體帶來哪些傷害。包括：（1）了解教育人工智能倫理問題并及時(shí)記錄；（2）了解社會(huì)各界人士對(duì)倫理問題的認(rèn)識(shí)程度；（3）了解開發(fā)教育人工智能產(chǎn)品的企業(yè)、研究所等對(duì)問題的認(rèn)識(shí)程度。

2. 倫理治理的目標(biāo)設(shè)定

倫理治理的目標(biāo)設(shè)定指治理者應(yīng)根據(jù)分析情況，設(shè)定治理目標(biāo)，根據(jù)外部條件、影響因素、反饋情況和人工智能技術(shù)的發(fā)展不斷調(diào)整目標(biāo)設(shè)定。包括：（1）分析與衡量教育人工智能倫理問題治理目標(biāo)；（2）設(shè)定教育人工智能倫理問題治理目標(biāo)。

3. 倫理治理系統(tǒng)與規(guī)則設(shè)計(jì)

倫理治理系統(tǒng)與規(guī)則設(shè)計(jì)指治理者根據(jù)設(shè)定的治理目標(biāo)設(shè)計(jì)教育人工智能倫理問題治理系統(tǒng)。在治理系統(tǒng)中，包括每一項(xiàng)人工智能產(chǎn)品或技術(shù)存在的問題與對(duì)應(yīng)治理方案，還包含系統(tǒng)治理的組織架構(gòu)體系與各層組織應(yīng)遵守的規(guī)則。包括：（1）通過數(shù)字化信息工具分析教育人工智能產(chǎn)品或技術(shù)等產(chǎn)生的倫理問題，提出解決方案；（2）提高開發(fā)人員、管理人員、教師等的教育人工智能倫理素養(yǎng)；（3）以政府為抓手，促進(jìn)企業(yè)合作，形成業(yè)界認(rèn)同的治理規(guī)則；（4）降低教育人工智能使用者發(fā)生事故概率。

4. 治理倫理問題的實(shí)施

治理倫理問題的實(shí)施指設(shè)計(jì)治理系統(tǒng)后實(shí)施的過程。系統(tǒng)的管理者需實(shí)時(shí)錄入并監(jiān)測(cè)數(shù)據(jù)，保證系統(tǒng)能正常運(yùn)行，在事故發(fā)生后按照準(zhǔn)備的解決方案及時(shí)處理，形成快速反應(yīng)、系統(tǒng)的循環(huán)流程。在實(shí)施過程中，仍需注意向可能會(huì)受到影響的相關(guān)利益者適當(dāng)披露有關(guān)信息。包括：（1）教育人工智能倫理問題治理系統(tǒng)的流程遵守可解釋性；（2）主動(dòng)向外界透露治理過程中所涉及的非財(cái)務(wù)信息。在此過程中，會(huì)受到外界正向或負(fù)向的影響，也可能對(duì)外界產(chǎn)生正向或負(fù)向的影響。

5. 評(píng)價(jià)治理情況與再分析

評(píng)價(jià)治理情況與再分析分為兩部分：第一是評(píng)價(jià)教育人工智能倫理問題治理系統(tǒng)的實(shí)施情況，評(píng)估與最初設(shè)定目標(biāo)是否吻合、是否具有合理性，征集多方意見，進(jìn)一步改善治理系統(tǒng)；第二是對(duì)倫理風(fēng)險(xiǎn)再分析，在征集評(píng)價(jià)過程中，關(guān)注每種倫理風(fēng)險(xiǎn)是否發(fā)生變化，若有變化則需再次進(jìn)入循環(huán)，重新設(shè)定目標(biāo)并錄入治理系統(tǒng)中，兩部分同時(shí)進(jìn)行，以提高治理效率。

五、 教育人工智能倫理敏捷治理的實(shí)踐路徑

從教育人工智能倫理治理的五個(gè)問題出發(fā)，構(gòu)建教育人工智能倫理敏捷治理的五步模型，以敏捷治理的原則與能力為實(shí)現(xiàn)模型的輔助基礎(chǔ)，打造教育人工智能倫理敏捷治理的五層實(shí)現(xiàn)路徑：分析層、目標(biāo)層、設(shè)計(jì)層、實(shí)施層、評(píng)價(jià)層，并以本文上述歸納的“PBAS”教育人工智能倫理問題為例，詳細(xì)闡述通過敏捷治理解決的實(shí)現(xiàn)路徑，如圖4所示。

在五層實(shí)現(xiàn)體系中，分析層是第一層，是對(duì)倫理問題的預(yù)見性分析與收集，多方主體靈活參與，具備快速感知與動(dòng)員的能力，并將其成因、了解與認(rèn)知程度的數(shù)據(jù)分析提供給下一層。目標(biāo)層通過分析情況設(shè)定符合主旨的治理目標(biāo)，具有決策能力和快速性。設(shè)計(jì)層根據(jù)設(shè)定的目標(biāo)設(shè)計(jì)教育人工智能倫理的治理系統(tǒng)，在系統(tǒng)中以數(shù)字化工具作為輔助分析的基礎(chǔ)，建構(gòu)每類教育人工智能技術(shù)或產(chǎn)品出現(xiàn)倫理問題的解決準(zhǔn)則與方案，注重加強(qiáng)主體間合作和提升整體倫理素養(yǎng)水平，具備多元性、主動(dòng)性和動(dòng)員能力。實(shí)施層按照設(shè)計(jì)完成的治理系統(tǒng)對(duì)出現(xiàn)的倫理問題進(jìn)行處理，處理過程中遵守可解釋性、透明性等原則，具備協(xié)調(diào)能力、執(zhí)行能力和靈活性。評(píng)價(jià)層是采納各層主體意見并與實(shí)施狀況做出對(duì)比與調(diào)整，具有公眾性。一旦發(fā)現(xiàn)對(duì)比情況不理想或與預(yù)想目標(biāo)之間差距較大，則再回到分析層繼續(xù)循環(huán)治理。

（一）隱私問題的敏捷治理

在第一類——隱私問題中，多數(shù)以學(xué)生隱私泄露情況為主。教師可監(jiān)測(cè)學(xué)生使用過程中出現(xiàn)的問題，進(jìn)行樣本采集與存檔，上報(bào)學(xué)校進(jìn)行匯總處理，再交由企業(yè)與政府來分析不同地區(qū)、不同人工智能的產(chǎn)品共性，總結(jié)優(yōu)缺點(diǎn)。例如，采集學(xué)生數(shù)據(jù)帶來的好處是什么，帶來的影響是什么，并積極調(diào)查學(xué)生、教師、學(xué)校管理者對(duì)其認(rèn)知程度，詳細(xì)分析產(chǎn)生此類情況的原因。在分析完成后，得知發(fā)生隱私泄露問題可能是由于學(xué)校監(jiān)管不力，教師對(duì)學(xué)生隱私保護(hù)意識(shí)不強(qiáng)，因此造成傷害。治理目標(biāo)則需加大對(duì)學(xué)校的監(jiān)管力度，加強(qiáng)學(xué)校對(duì)學(xué)生的保護(hù)。根據(jù)治理目標(biāo)，在治理系統(tǒng)中將解決方案定為：政府發(fā)布政策落實(shí)監(jiān)管機(jī)制，學(xué)校建立合適的監(jiān)管與獎(jiǎng)懲機(jī)制督促教師注意保護(hù)和關(guān)心學(xué)生，在教學(xué)過程中注意嚴(yán)密性，并利用信息化采集工具檢測(cè)落實(shí)程度，對(duì)實(shí)施情況進(jìn)行統(tǒng)計(jì)，可通過實(shí)地調(diào)查法、抽樣調(diào)查法等對(duì)學(xué)生是否受到了隱私泄露的威脅進(jìn)行征集，再調(diào)整治理方案。

（二）偏見與歧視問題的敏捷治理

在第二類——偏見與歧視問題中，人工智能背后的算法偏見與歧視是最為突出的情況，這與開發(fā)人員具有較大關(guān)系，以企業(yè)作為分析主體，教師、學(xué)生與政府等作為輔助人員，明晰偏見與歧視的背后邏輯，并調(diào)查大眾對(duì)其的意識(shí)。根據(jù)掌握情況設(shè)定治理目標(biāo)，主要與開發(fā)人員有關(guān)，加大對(duì)教育人工智能的產(chǎn)品測(cè)試，提醒教師仍應(yīng)多關(guān)心學(xué)生身心健康的發(fā)展，尤其注意對(duì)已受到偏見與歧視的學(xué)生提供幫助，如調(diào)整學(xué)習(xí)方式與心理愛護(hù)。根據(jù)治理目標(biāo)，在治理系統(tǒng)中將解決方案定為：企業(yè)要求開發(fā)人員在產(chǎn)品中嵌入算法監(jiān)測(cè)系統(tǒng)，通過數(shù)字化監(jiān)測(cè)工具掌握使用情況，根據(jù)收集數(shù)據(jù)調(diào)整關(guān)于男女性、容貌設(shè)定、巡邏行為等設(shè)定，提高開發(fā)人員的教育人工智能倫理素養(yǎng)。最后，剖析日常教育環(huán)境中真實(shí)發(fā)生的現(xiàn)象，可采用集體訪談法、問卷調(diào)查法等了解學(xué)生是否遭受到或意識(shí)到未知的偏見與歧視，加強(qiáng)偏見檢測(cè)和道德評(píng)估，為后續(xù)的發(fā)展做出改正[31]。

（三）自治問題的敏捷治理

在第三類——自治問題中，教育人工智能產(chǎn)品可能會(huì)剝奪學(xué)生的自主學(xué)習(xí)能力，威脅教師地位，與教師的教學(xué)能力和學(xué)校管理者對(duì)其規(guī)制的要求有關(guān)，有許多學(xué)生并沒有意識(shí)到自主決策能力的降低，需采納各層人士對(duì)其輔助教學(xué)的看法，采納是否給教師帶來職業(yè)焦慮和壓力的意見。根據(jù)了解的情況設(shè)定治理目標(biāo)，即在人工智能課程中有序安排教學(xué)活動(dòng)，堅(jiān)持以學(xué)生為主體，同時(shí)對(duì)人工智能的責(zé)任與義務(wù)進(jìn)行明確劃分。根據(jù)治理目標(biāo)，在治理系統(tǒng)中將解決方案定為：學(xué)校需對(duì)人工智能課程的教學(xué)安排進(jìn)行初步檢驗(yàn)與評(píng)估，從小班教學(xué)拓展至大規(guī)模，借助信息化工具收集教師與學(xué)生使用過程的真實(shí)感受，提升學(xué)校管理人員的人工智能倫理素養(yǎng)，通過企業(yè)合作控制人工智能的地位權(quán)限。最終采取抽樣調(diào)查法、問卷調(diào)查法等探討教育人工智能自治問題是否被有效解決，還學(xué)生真正地自由，降低教師的職業(yè)焦慮。

（四）監(jiān)視問題的敏捷治理

在第四類——監(jiān)視問題中，常見情況是通過數(shù)據(jù)采集型的教育人工智能產(chǎn)品對(duì)學(xué)生的面部表情、語(yǔ)言行為、學(xué)習(xí)方式等進(jìn)行監(jiān)視，使學(xué)生產(chǎn)生懼怕心理，從而拉開師生間距離。這與教師各類行為控制具有密切聯(lián)系，其一言一行始終對(duì)學(xué)生產(chǎn)生較大影響，需通過多方深度調(diào)查才能了解學(xué)生內(nèi)心真實(shí)想法。因此，治理目標(biāo)應(yīng)是預(yù)估教師水平、素養(yǎng)、性格等多方面因素，開展考核機(jī)制對(duì)教師進(jìn)行預(yù)先衡量，并通過考核機(jī)制，大幅提升教師的職業(yè)專業(yè)度。根據(jù)治理目標(biāo)，在治理系統(tǒng)中將解決方案定為：企業(yè)與學(xué)校、學(xué)校與學(xué)校間互相合作傳播教育人工智能的理念與優(yōu)勢(shì)，培訓(xùn)教師使用的注意事項(xiàng)，拓寬解決教育人工智能倫理問題的視野，利用數(shù)字化工具實(shí)施教師的分層指導(dǎo)，提供個(gè)性化倫理素養(yǎng)輔導(dǎo)。最終通過個(gè)別談話、講座、座談會(huì)等形式收集教師反饋意見，在實(shí)踐中吸取每次推進(jìn)的意見，調(diào)整下一次解決方案。

智能化時(shí)代，教育人工智能的發(fā)展沒有終點(diǎn)。因此，教育人工智能的倫理問題絕不僅只有本文中所提到的四類，以后還將有更多現(xiàn)在已經(jīng)出現(xiàn)人類并未意識(shí)到或還未曾出現(xiàn)的倫理問題[32]。隨著新一代人工智能、大數(shù)據(jù)等信息技術(shù)的快速發(fā)展，未來需借鑒敏捷治理的方式才能更加系統(tǒng)化、靈活性地治理教育人工智能倫理問題，按照教育人工智能倫理敏捷治理的五步模型和五層實(shí)踐機(jī)制，推動(dòng)教育人工智能健康化發(fā)展，為未來教育人工智能倫理問題的治理提供理論的支撐和方法的引領(lǐng)，提供教育人工智能可持續(xù)發(fā)展的機(jī)遇，建立人機(jī)和諧共生的教育生態(tài)體系。

[參考文獻(xiàn)]

[1] 中華人民共和國(guó)國(guó)務(wù)院. 國(guó)務(wù)院關(guān)于印發(fā)新一代人工智能發(fā)展規(guī)劃的通知[EB/OL]. （2017-07-20） [2022-12-20]. http：//www.gov.cn/zhengce/content/2017-07/20/content_5211996.htm.

[2] 孫田琳子. 論技術(shù)向善何以可能——人工智能教育倫理的邏輯起點(diǎn)[J].高教探索，2021（5）：34-38，102.

[3] 托雷·霍爾，曹夢(mèng)瑩，明芷安，等. 可解釋人工智能的教育視角：基于倫理和素養(yǎng)的思考[J].中國(guó)教育信息化，2022，28（4）：5-13.

[4] 胡小勇，徐歡云.面向K-12教師的智能教育素養(yǎng)框架構(gòu)建[J].開放教育研究，2021，27（4）：59-70.

[5] 胡小勇，黃婕，林梓柔，等. 教育人工智能倫理：內(nèi)涵框架、認(rèn)知現(xiàn)狀與風(fēng)險(xiǎn)規(guī)避[J].現(xiàn)代遠(yuǎn)程教育研究，2022，34（2）：21-28，36.

[6] 苗逢春. 教育人工智能倫理的解析與治理——《人工智能倫理問題建議書》的教育解讀[J].中國(guó)電化教育，2022（6）：22-36.

[7] 鄧國(guó)民，李梅. 教育人工智能倫理問題與倫理原則探討[J].電化教育研究，2020，41（6）：39-45.

[8] AKGUN S， GREENHOW C. Artificial intelligence in education： addressing ethical challenges in K-12 settings[J]. AI and ethics， 2022：431-440.

[9] 田賢鵬.隱私保護(hù)與開放共享：人工智能時(shí)代的教育數(shù)據(jù)治理變革[J].電化教育研究，2020，41（5）：33-38.

[10] 李世瑾，胡藝齡，顧小清. 如何走出人工智能教育風(fēng)險(xiǎn)的困局：現(xiàn)象、成因及應(yīng)對(duì)[J].電化教育研究，2021，42（7）：19-25.

[11] SMITH H. Algorithmic bias： should students pay the price？[J]. AI & society， 2020， 35（4）： 1077-1078.

[12] 趙磊磊，吳小凡，趙可云.責(zé)任倫理：教育人工智能風(fēng)險(xiǎn)治理的時(shí)代訴求[J].電化教育研究，2022，43（6）：32-38.

[13] 教育部. 聯(lián)合國(guó)教科文組織正式發(fā)布國(guó)際人工智能與教育大會(huì)成果文本《北京共識(shí)——人工智能與教育》[EB/OL]. （2019-08-28） [2022-12-20]. http：//www.moe.gov.cn/jyb_xwfb/gzdt_gzdt/s5987/201908/t20190828_396185.html？from=groupmessage&isappinstalled=0.

[14] 王佑鎂，宛平，趙文竹，柳晨晨. 科技向善：國(guó)際“人工智能+教育”發(fā)展新路向——解讀《教育中的人工智能：可持續(xù)發(fā)展的機(jī)遇和挑戰(zhàn)》[J].開放教育研究，2019，25（5）：23-32.

[15] 杜靜，黃榮懷，李政璇，等. 智能教育時(shí)代下人工智能倫理的內(nèi)涵與建構(gòu)原則[J].電化教育研究，2019，40（7）：21-29.

[16] The University of Buckinham. Interim report： towards a shared vision of ethical AI in education[EB/OL]. （2020-03-04） [2022-12-18]. https：//www.buckingham.ac.uk/wp-content/uploads/2021/03/Interim-Report-The-Institute-for-Ethical-AI-in-Educations-Interim-Report-Towards-a-Shared-Vision-of-Ethical-AI-in-Education-1.pdf.

[17] 新華社.發(fā)展負(fù)責(zé)任的人工智能：我國(guó)新一代人工智能治理原則發(fā)布[EB/OL]. （2021-07-03） [2022-12-18]. http：//www.gov.cn/xinwen/2019-06/17/content_5401006.htm.

[18] 張立國(guó)，劉曉琳，常家碩. 人工智能教育倫理問題及其規(guī)約[J].電化教育研究，2021，42（8）：5-11.

[19] 高山冰，楊丹. 人工智能教育應(yīng)用的倫理風(fēng)險(xiǎn)及其應(yīng)對(duì)研究[J].高教探索，2022（1）：45-50.

[20] 侯浩翔，鐘婉娟.人工智能視閾下教育治理的技術(shù)功用與困境突破[J].電化教育研究，2019，40（4）：37-43，58.

[21] 錢小龍，張奕瀟，宋子昀，等. 教育人工智能系統(tǒng)的倫理原則與困境突破[J].江南大學(xué)學(xué)報(bào)（人文社會(huì)科學(xué)版），2021，20（6）：96-104.

[22] 于聰，劉飛. 人工智能教育應(yīng)用的倫理風(fēng)險(xiǎn)及其對(duì)策研究[J].機(jī)器人產(chǎn)業(yè)，2022（2）：32-37.

[23] World Economic Forum. Agile governance： reimagining policy-making in the fourth industrial revolution[EB/OL]. （2018-04-24） [2022-12-21]. https：//www.weforum.org/whitepapers/agile-governance-reimagining-policymaking-in-the-fourth-industrial-revolution.

[24] 薛瀾. 第四次工業(yè)革命將給我們帶來什么？[J].金融經(jīng)濟(jì)，2018（13）：21-22.

[25] 薛瀾，趙靜. 走向敏捷治理：新興產(chǎn)業(yè)發(fā)展與監(jiān)管模式探究[J].中國(guó)行政管理，2019（8）：28-34.

[26] 發(fā)展負(fù)責(zé)任的人工智能：新一代人工智能治理原則發(fā)布[J].科技與金融，2019（7）：2-3.

[27] 吳磊，冷玉，唐書清. 數(shù)字化時(shí)代敏捷治理的學(xué)術(shù)圖景：研究范式與實(shí)現(xiàn)路徑[J].電子政務(wù)，2022（8）：77-88.

[28] 顏海娜，唐薇，王露寒. 基層重大公共衛(wèi)生風(fēng)險(xiǎn)防控中的敏捷治理機(jī)制——基于H街道的新冠肺炎疫情防控個(gè)案分析[J].華南理工大學(xué)學(xué)報(bào)（社會(huì)科學(xué)版），2021，23（1）：113-124.

[29] 詹紹文，趙雪. 基于敏捷治理的智慧社區(qū)建設(shè)：機(jī)理分析與案例考察[J].改革與開放，2022（13）：30-39.

[30] AI Governance Guidelines WG. Governance guidelines for implementation of AI principles [EB/OL]. （2022-01-28） [2022-12-28]. https：//www.meti.go.jp/shingikai/mono_info_service/ai_shakai_jisso/pdf/20220128_2.pdf.

[31] 沈苑，汪瓊.人工智能教育應(yīng)用的偏見風(fēng)險(xiǎn)分析與治理[J].電化教育研究，2021，42（8）：12-18.

[32] 王佑鎂，王旦，柳晨晨. 從科技向善到人的向善：教育人工智能倫理規(guī)范核心原則[J].開放教育研究，2022，28（5）：68-78.

Agile Governance： A New Model of Ethical Governance for

Educational Artificial Intelligence

WANG Youmei，? WANG Dan，? LIANG Weiyi，? LIU? Chenchen

（Research Center for Big Data and Smart Education， Wenzhou University， Wenzhou Zhejiang 325035）

[Abstract] Since entering the 21st century， human beings have entered the era of artificial intelligence with exponentially increasing data scale， and artificial intelligence in education has become an inevitable trend， but there are also unavoidable risks and challenges， leading to a series of ethical issues. This paper summarizes the ethical risks of educational AI into four categories of "PBAS"， analyzes five existing shortcomings of ethical risk governance， and proposes a new governance model， agile governance， as an innovative response to the ethical governance of educational AI. This study takes the trend of agile governance and its connotation characteristics as the entry point， combines the principles and capabilities of agile governance， constructs a five-step cyclic model of ethical agile governance of educational AI， designs a five-level practice path， and elaborates agile governance solutions using the four categories of "PBAS" as examples. The results provide a new governance paradigm for the ethical issues of educational AI， and provide a reference value for the sustainable governance and healthy development of ethical risks.

[Keywords] Educational Artificial Intelligence; Ethical Issues; Agile Governance; Governance Model