錢小龍，張奕瀟，宋子昀，李 強(qiáng)

(1. 南通大學(xué) 教育科學(xué)學(xué)院，江蘇 南通 226019；2. 南寧師范大學(xué) 教育科學(xué)學(xué)院，廣西 南寧 530001)

一、背景分析

隨著云計(jì)算、大數(shù)據(jù)、虛擬現(xiàn)實(shí)、深度學(xué)習(xí)等技術(shù)逐漸發(fā)展與成熟，人工智能技術(shù)也正以超出人們預(yù)想的速度發(fā)展。人工智能產(chǎn)品逐漸融入社會(huì)各領(lǐng)域，引起人們生產(chǎn)生活方式的深刻變革。從人工智能的發(fā)展態(tài)勢(shì)可以發(fā)現(xiàn)，教育是受人工智能沖擊最大的行業(yè)[1]?！叭斯ぶ悄?教育”也成為世界各國的熱點(diǎn)議題。2017年7月，國務(wù)院印發(fā)《新一代人工智能發(fā)展規(guī)劃》明確指出，要促進(jìn)人工智能與各學(xué)科的交叉融合，利用智能技術(shù)加快推動(dòng)人才培養(yǎng)模式、教學(xué)方法改革，構(gòu)建包含智能學(xué)習(xí)、交互式學(xué)習(xí)的新型教育體系[2]。2018年4月，教育部關(guān)于印發(fā)《高等學(xué)校人工智能創(chuàng)新行動(dòng)計(jì)劃》的通知也提出，要進(jìn)一步提升高校人工智能領(lǐng)域科技創(chuàng)新、人才培養(yǎng)和服務(wù)國家需求的能力[3]。此外，美國于2019年2月發(fā)布《美國人工智能倡議》，歐洲委員會(huì)于2018年4月提交《歐洲人工智能》報(bào)告，英國于2018年出臺(tái)《英國人工智能發(fā)展的計(jì)劃、能力和志向》并啟動(dòng)以人工智能技術(shù)為核心的“現(xiàn)代工業(yè)戰(zhàn)略”等?？梢?，人工智能教育應(yīng)用在全球范圍內(nèi)引起了高度重視，各國紛紛將其提升至國家戰(zhàn)略層面。

人工智能以其智能化、自動(dòng)化、個(gè)性化、多元化和協(xié)同化[4]，促進(jìn)教育變革創(chuàng)新。然而，隨著人工智能與教育的深度融合，人工智能教育的倫理挑戰(zhàn)也逐步凸顯。劉進(jìn)等人認(rèn)為，由于人工智能技術(shù)在教育中的實(shí)現(xiàn)基于海量數(shù)據(jù)，教育數(shù)據(jù)被泄露和濫用的風(fēng)險(xiǎn)急劇增加[5]。此外，對(duì)技術(shù)過度的情感依賴[6]正影響學(xué)生獨(dú)立思考的能力。因此，有必要制定人工智能在教育應(yīng)用中的倫理原則，以防止其造成更嚴(yán)重的負(fù)面影響。人工智能在教育領(lǐng)域的應(yīng)用場(chǎng)景主要包括語言學(xué)習(xí)、教學(xué)輔助和智適應(yīng)平臺(tái)。這些應(yīng)用都通過相應(yīng)的教育人工智能系統(tǒng)來實(shí)現(xiàn)。教育人工智能系統(tǒng)就是基于智能算法和大數(shù)據(jù)技術(shù)，實(shí)現(xiàn)個(gè)性化學(xué)習(xí)、輔助教師工作[7]、優(yōu)化教育管理流程的與用戶直接交互的軟硬件系統(tǒng)[8]。例如智能導(dǎo)師系統(tǒng)(ITS)可以模擬教師思維來指導(dǎo)和幫助學(xué)生學(xué)習(xí)、自適應(yīng)學(xué)習(xí)系統(tǒng)能夠提供個(gè)性化的學(xué)習(xí)方案、智能問答系統(tǒng)能夠?yàn)橛脩籼峁﹤€(gè)性化的信息服務(wù)。然而在系統(tǒng)的使用過程中，諸如知識(shí)產(chǎn)權(quán)與誠信的倫理問題也逐步凸顯。此外，智能系統(tǒng)的使用必然會(huì)觸及用戶的隱私信息、智力、性格取向等信息，難免存在信息泄露的可能。因此，亟需專門針對(duì)教育人工智能系統(tǒng)的倫理原則，進(jìn)一步促進(jìn)人工智能教育的有效發(fā)展。

二、教育人工智能系統(tǒng)的一般倫理原則

教育人工智能系統(tǒng)是教育人工智能在特定教育場(chǎng)景的具體應(yīng)用，作為人工智能在特定領(lǐng)域的存在形式，教育人工智能系統(tǒng)必須從宏觀層面遵循一般性的倫理原則。按照逐層深入的邏輯關(guān)系，可以分為人工智能倫理原則和教育人工智能倫理原則。

(一)人工智能倫理原則

人工智能倫理通常被視為應(yīng)用倫理學(xué)的一個(gè)范例，它關(guān)注的是人工智能的設(shè)計(jì)、開發(fā)、實(shí)施和應(yīng)用所引起的規(guī)范性問題。過去十年左右人工智能的力量和潛力的爆炸性增長(zhǎng)使人們認(rèn)識(shí)到解決人工智能引發(fā)的許多倫理問題的重要性。關(guān)于人工智能可能會(huì)危及人類的工作，被惡意行為人濫用、逃避責(zé)任，或無意中傳播偏見歧視、從而破壞公平等倫理問題的擔(dān)憂一直是世界各國研究的焦點(diǎn)。

若賓等人(Jobin et al，2019)對(duì)全球84份人工智能倫理指南進(jìn)行梳理和歸納，根據(jù)出現(xiàn)頻率統(tǒng)計(jì)出11個(gè)最為重要的人工智能倫理原則，分別為透明、公平和公正、無害、責(zé)任、隱私、福祉、自由和自主、信任、尊嚴(yán)、可持續(xù)性和團(tuán)結(jié)[9]。2021年9月25日，中國發(fā)布了《新一代人工智能倫理規(guī)范》，提出了增進(jìn)人類福祉、促進(jìn)公平公正、保護(hù)隱私安全、確保可控可信、強(qiáng)化責(zé)任擔(dān)當(dāng)和提升倫理素養(yǎng)6項(xiàng)基本的人工智能倫理原則[10]。通過將上述政策文件中的原則加以進(jìn)一步的整合和選擇，將人工智能倫理原則總結(jié)為：透明、公正、無害、問責(zé)、隱私、福祉和自治。1)透明。透明原則指人工智能可公開、可解釋、可理解、可溯源。具體而言，人工智能的決策原理、數(shù)據(jù)來源、運(yùn)作模式和優(yōu)勢(shì)限制等都能予以描述、檢查和再現(xiàn)。2)公正。公正原則指人工智能堅(jiān)持全納、包容、平等、普惠、公平與正義的理念，促進(jìn)人工智能的益處無障礙地惠及全體，不分性別、種族、地區(qū)、健康和文化等差異。例如，人工智能背后的算法不應(yīng)存在有意或無意的歧視性，確保人工智能在提供服務(wù)時(shí)能夠適應(yīng)各類人群的偏好和能力。3)無害。無害原則指在技術(shù)措施和治理策略上，人工智能不能對(duì)用戶、資源、環(huán)境、社會(huì)造成負(fù)面影響。因此，應(yīng)將技術(shù)穩(wěn)健性和安全性[11]作為首要考慮因素，既要保證人工智能正常運(yùn)行，又要采取技術(shù)性措施防止人工智能被惡意利用從而造成損害。4)問責(zé)。問責(zé)原則指明確人工智能在開發(fā)、部署、應(yīng)用時(shí)的責(zé)任，明確責(zé)任主體與責(zé)任分配等問題，其有賴于建立有效的問責(zé)機(jī)制。5)隱私。隱私原則指人工智能必須確保充分尊重用戶隱私、提供數(shù)據(jù)保護(hù)、建立完善的數(shù)據(jù)治理機(jī)制，同時(shí)考慮數(shù)據(jù)的質(zhì)量和完整性，并確保對(duì)數(shù)據(jù)的合法訪問。6)福祉。福祉原則指人工智能應(yīng)堅(jiān)持以人為本，以促進(jìn)發(fā)展、增加益處為導(dǎo)向，保障人類權(quán)益，促進(jìn)社會(huì)可持續(xù)發(fā)展。例如，避免人工智能的不合理使用對(duì)個(gè)體的人際關(guān)系、社會(huì)技能、身心健康帶來的不利影響，以及對(duì)資源和環(huán)境帶來的危害。7)自治。自治原則指人工智能要尊重用戶的人格尊嚴(yán)、保護(hù)用戶的基本權(quán)利，尤其是保障人類擁有充分的自主決策權(quán)，要尋求機(jī)器決策和人類決策之間的平衡，促進(jìn)人工智能可控可信。例如，人工智能應(yīng)支持用戶自主選擇平臺(tái)或技術(shù)、與他人建立和發(fā)展關(guān)系的自由。

(二)教育人工智能倫理原則

當(dāng)人工智能技術(shù)賦能教育之后，如何實(shí)現(xiàn)其可持續(xù)發(fā)展、以及發(fā)展中面臨的挑戰(zhàn)是什么等問題都亟待解決[12]。王正平(2017)研究表明，教育倫理原則主要包括明辨是非善惡、保障教育活動(dòng)相關(guān)者的利益、尊重學(xué)生并且與學(xué)生相互信任、履行教育責(zé)任與義務(wù)、維護(hù)教育公平和教育正義、提高學(xué)術(shù)水平與教育能力、尊重自由民主和平等、維護(hù)師生的基本權(quán)利等[13]。如前所述，人工智能倫理原則主要包括透明、公正、無害、問責(zé)、隱私、福祉和自治。由此可見，人工智能倫理與教育倫理在很多方面有重疊之處，即福祉、無害、問責(zé)、自治、公正[14]。

如果說人工智能倫理原則主要針對(duì)的是數(shù)據(jù)與算法產(chǎn)生的問題，那么教育人工智能的倫理原則更多側(cè)重于教育層面的實(shí)踐，為教育主體或其他利益相關(guān)者制定倫理規(guī)約。1)福祉。福祉原則指教育人工智能需保障與教育相關(guān)的所有主體的利益，為其帶來教育福利，以及促進(jìn)教育的可持續(xù)發(fā)展。例如，能否幫助教育管理者實(shí)施最佳的監(jiān)管；能否使教師將更多的精力投入到學(xué)生能力的提升上；能否使所有學(xué)習(xí)者既發(fā)展個(gè)性又得到全面和諧發(fā)展；能否消除由于經(jīng)濟(jì)水平差異而帶來的數(shù)字鴻溝[15]等。2)無害。無害原則主要指教育人工智能需摒棄惡意，消解潛在風(fēng)險(xiǎn)，從而促進(jìn)教育的向上、向善、向美。例如，需要保護(hù)學(xué)習(xí)者的隱私數(shù)據(jù)不被非法售賣獲利，從而保障學(xué)習(xí)者的人身安全。3)問責(zé)。問責(zé)原則指需要明確教育人工智能的完整供應(yīng)鏈以及教育中各行為主體的責(zé)任擔(dān)當(dāng)[16]，從而增強(qiáng)教育人工智能的可信賴性。因此，需要在人工智能系統(tǒng)透明性和可追溯性的基礎(chǔ)上，建立明確的問責(zé)機(jī)制[14]。4)自治。自治原則要求教育人工智能充分尊重教師和學(xué)生的基本人權(quán)，尤其是保障教師和學(xué)生的自主決策權(quán)。一方面，教育人工智能應(yīng)尊重教師在教育活動(dòng)中的主導(dǎo)地位，即教師有權(quán)決定利用人工智能教育產(chǎn)品進(jìn)行教學(xué)的方式。另一方面，教育人工智能應(yīng)尊重學(xué)生的主體地位，學(xué)生對(duì)人工智能教育產(chǎn)品及服務(wù)有自由選擇的權(quán)利。5)公正。公正原則指教育人工智能需平等地使與教育相關(guān)的所有主體獲益，尤其是減弱乃至消除對(duì)教師和學(xué)生這兩大主要教育主體的邊緣化和歧視化。首先，人工智能算法和數(shù)據(jù)本身是否對(duì)特殊學(xué)習(xí)群體帶有歧視性；其次，如何提高可訪問性使產(chǎn)品提供的內(nèi)容與功能讓包括殘障人士在內(nèi)的所有學(xué)習(xí)者都能無障礙訪問；最后，教師在使用人工智能進(jìn)行教學(xué)活動(dòng)時(shí)，是否會(huì)因教師技能差異導(dǎo)致的“技能鴻溝”[17]而影響教育公平。

三、教育人工智能系統(tǒng)的具體倫理原則

盡管一般性的教育人工智能倫理原則對(duì)于教育人工智能系統(tǒng)不可或缺，是教育人工智能系統(tǒng)存在的基礎(chǔ)性條件。不過，教育人工智能系統(tǒng)偏向于教育人工智能的系統(tǒng)層面，教育人工智能系統(tǒng)的倫理原則應(yīng)針對(duì)系統(tǒng)的開發(fā)與應(yīng)用來制定。由于每個(gè)教育人工智能系統(tǒng)有其各自的特定功能，因此，除了一般性的倫理原則之外，教育人工智能系統(tǒng)還需要在微觀層面根據(jù)自身的特殊性遵循具體的倫理原則，即教育人工智能系統(tǒng)開發(fā)與應(yīng)用的倫理原則，從而更加細(xì)致和深入地規(guī)范人工智能教育實(shí)踐。

(一)教育人工智能系統(tǒng)開發(fā)的倫理原則

就教育領(lǐng)域的人工智能系統(tǒng)而言，供應(yīng)商是開發(fā)人工智能軟件的公司或機(jī)構(gòu)，客戶通常是教育機(jī)構(gòu)，用戶則是學(xué)生。對(duì)于一個(gè)教育人工智能系統(tǒng)，供應(yīng)商有必要理解客戶并遵守對(duì)客戶、用戶的相關(guān)義務(wù)，以減少或避免不良的技術(shù)應(yīng)用對(duì)客戶、用戶造成損害。因此需要系統(tǒng)開發(fā)者遵守一系列的基本原則，保證系統(tǒng)在不同情況下進(jìn)行決策時(shí)，都能做出既科學(xué)合理又符合社會(huì)規(guī)范、倫理的決定[18]。

那么，教育人工智能系統(tǒng)的發(fā)展是否有倫理規(guī)范可循？1950年末，阿西莫夫(Isaac Asimov)在其著作《我，機(jī)器人》(I, Robot)中首次提及機(jī)器人三定律(Three Laws of Robotics)。第一定律：機(jī)器人不能傷害人類個(gè)體，也不能在目睹人類受到傷害時(shí)袖手旁觀；第二定律：機(jī)器人必須服從人類的命令，除非這種命令與第一定律相沖突；第三定律：機(jī)器人必須盡可能保護(hù)自己的生存，只要這種保護(hù)不與第一定律或第二定律相沖突[19]。此后，機(jī)器人三定律被廣泛運(yùn)用于教育人工智能系統(tǒng)的倫理分析并不斷修改和補(bǔ)充。1992年，國際計(jì)算機(jī)學(xué)會(huì)(Association for Computing Machinery)為其成員制定了道德和職業(yè)行為準(zhǔn)則，準(zhǔn)則包括一般倫理準(zhǔn)則和具體倫理準(zhǔn)則。其中具體倫理準(zhǔn)則與教育人工智能系統(tǒng)的開發(fā)人員有關(guān)，內(nèi)容包括努力將專業(yè)工作的過程和產(chǎn)品達(dá)到最高質(zhì)量、最高效率；獲得并保持專業(yè)能力；了解并尊重與專業(yè)工作相關(guān)的現(xiàn)行法律；接受并提供適當(dāng)?shù)膶I(yè)審查；對(duì)計(jì)算機(jī)系統(tǒng)及其影響進(jìn)行全面而徹底的評(píng)估，包括可能的風(fēng)險(xiǎn)分析；遵守合同、協(xié)議和分配的責(zé)任；培養(yǎng)公眾對(duì)計(jì)算相關(guān)技術(shù)及其后果的理解；只有經(jīng)過授權(quán)才能訪問計(jì)算機(jī)和通信資源[20]?？紤]到教育人工智能系統(tǒng)的核心價(jià)值，艾肯(Aiken)提出了兩個(gè)元原則，即教育人工智能系統(tǒng)不應(yīng)削弱學(xué)生在任何人類基本維度上的水平；教育人工智能系統(tǒng)至少應(yīng)該提升學(xué)生在其中任意一個(gè)人類基本維度上的水平[21]?；诖?，可以總結(jié)出以下教育人工智能系統(tǒng)開發(fā)的倫理原則：1)系統(tǒng)應(yīng)對(duì)學(xué)習(xí)者起到鼓勵(lì)作用，而不是使學(xué)習(xí)者感到沮喪；2)系統(tǒng)應(yīng)鼓勵(lì)學(xué)生之間的協(xié)作以及師生之間的互動(dòng)，以此幫助學(xué)生建立健康的人際關(guān)系；3)系統(tǒng)應(yīng)促進(jìn)學(xué)習(xí)者樂于助人、富有創(chuàng)造力等積極性格特征的發(fā)展；4)系統(tǒng)應(yīng)能夠篩選出對(duì)學(xué)習(xí)者重要的信息和知識(shí)，以避免信息過載影響學(xué)生的智力和審美能力；5)系統(tǒng)應(yīng)創(chuàng)造促進(jìn)求知欲的環(huán)境，使學(xué)習(xí)者開發(fā)自己的興趣和才能并能自主探索；6)系統(tǒng)應(yīng)考慮人體工程學(xué)特征，利用技術(shù)手段避免學(xué)生在使用時(shí)造成的眼疲勞、重復(fù)性勞損等傷害；7)系統(tǒng)應(yīng)能夠幫助教師解決課堂管理問題、提升教學(xué)效果；8)系統(tǒng)應(yīng)避免文化差異、語言差異而使學(xué)習(xí)者感受到歧視；9)系統(tǒng)應(yīng)考慮學(xué)習(xí)者學(xué)習(xí)風(fēng)格和技能水平的差異。

(二)教育人工智能系統(tǒng)應(yīng)用的倫理原則

隨著人工智能技術(shù)的廣泛應(yīng)用和人工智能教育的飛速發(fā)展，國內(nèi)外涌現(xiàn)出諸多具有特色功能的教育人工智能系統(tǒng)，如適用于殘疾學(xué)生的智能機(jī)器人、研究型自適應(yīng)學(xué)習(xí)系統(tǒng)、以“拍照搜題、智能測(cè)評(píng)、智能錯(cuò)題本”為主要賣點(diǎn)的智能學(xué)習(xí)系統(tǒng)，以“精準(zhǔn)測(cè)評(píng)、精準(zhǔn)定位、精準(zhǔn)提分”見長(zhǎng)的自適應(yīng)學(xué)習(xí)訓(xùn)練系統(tǒng)等。在應(yīng)用過程中，教育人工智能系統(tǒng)中涉及倫理道德方面的隱患引發(fā)人們的擔(dān)憂，其中包括教育大數(shù)據(jù)收集、處理等環(huán)節(jié)中涉及到的學(xué)習(xí)者隱私和安全問題；學(xué)習(xí)者年齡、性別、文化差異產(chǎn)生的數(shù)字鴻溝；教師教育技術(shù)能力差異產(chǎn)生的“技能鴻溝”；網(wǎng)絡(luò)傳播、網(wǎng)絡(luò)復(fù)制[22]導(dǎo)致的知識(shí)產(chǎn)權(quán)侵權(quán)或其他倫理道德方面的隱患[23]。

不同的教育人工智能系統(tǒng)不僅需要遵循一般性的倫理原則，還需要根據(jù)自身的特殊性和實(shí)際環(huán)境制定更加具體的倫理原則。一方面，以紐約時(shí)報(bào)推廣的人工智能教育系統(tǒng)為例，該系統(tǒng)能夠以紐約時(shí)報(bào)書評(píng)的形式為任意類型的書創(chuàng)建書評(píng)，學(xué)生通過系統(tǒng)自動(dòng)生成讀書報(bào)告并直接上交。在倫理視角下，這與公然竊取信息略有不同，但實(shí)則是侵犯知識(shí)產(chǎn)權(quán)的行為。另一方面，對(duì)于智能監(jiān)課系統(tǒng)，盡管大多數(shù)供應(yīng)商承諾系統(tǒng)只是記錄學(xué)生的表情和動(dòng)作，不會(huì)進(jìn)行全程錄像。但在學(xué)生認(rèn)知中有攝像頭存在時(shí)，難免有一種隱私被侵犯的不適感。并且，基于系統(tǒng)的課堂使教師成為監(jiān)控者和管理者，學(xué)生成為被監(jiān)控者和被管理者，進(jìn)而容易導(dǎo)致師生之間的不信任感與疏遠(yuǎn)感。學(xué)生可能會(huì)為了迎合教師而刻意表演、隱藏真實(shí)的自我，在一定程度上影響課堂氛圍、降低教學(xué)效果。此外，系統(tǒng)的引入容易導(dǎo)致師生交互和生生交互的大幅缺失與迷茫。系統(tǒng)的引入使教師過分關(guān)注系統(tǒng)數(shù)據(jù)的光鮮亮麗，而忽視與學(xué)生的交互，并且將學(xué)生之間在課堂上討論交流的行為視為不規(guī)范行為，進(jìn)而導(dǎo)致學(xué)生積極性被挫、學(xué)生思維發(fā)展受限和促進(jìn)求知欲的教學(xué)環(huán)境缺失等不良后果。同時(shí)，由于系統(tǒng)尚未能夠?qū)崿F(xiàn)情緒情感數(shù)據(jù)的準(zhǔn)確識(shí)別與學(xué)習(xí)干預(yù)，教師易忽視學(xué)生的情感狀態(tài)，造成師生與生生情感交互的缺失，不利于學(xué)生建立情感聯(lián)系，阻礙學(xué)生社會(huì)情感能力的發(fā)展。因此，需要完善的應(yīng)用原則以防止教育人工智能系統(tǒng)帶來更多類似的負(fù)面影響。根據(jù)各教育人工智能系統(tǒng)的特殊功能，在梳理現(xiàn)有人工智能教育倫理指南的基礎(chǔ)上，提出以下教育人工智能系統(tǒng)應(yīng)用的倫理原則：1)在教育人工智能系統(tǒng)投入使用前，建立針對(duì)系統(tǒng)決策的監(jiān)督機(jī)制，保證人類始終參與決策并且能夠推翻系統(tǒng)的不恰當(dāng)決策；2)制定教育數(shù)據(jù)訪問協(xié)議，協(xié)議應(yīng)包括哪些人員可以訪問學(xué)生個(gè)人數(shù)據(jù)，在什么情況下可以訪問學(xué)生數(shù)據(jù)等；3)企業(yè)向?qū)W校提供人工智能教育產(chǎn)品的同時(shí)，應(yīng)該告知用戶該系統(tǒng)的工作原理和機(jī)制，以此保證系統(tǒng)的透明性；4)建立健全的問責(zé)制度。一方面，明確系統(tǒng)開發(fā)、部署、使用前后的責(zé)任主體；另一方面，建立審查機(jī)制，確保能夠補(bǔ)救系統(tǒng)可預(yù)見的不利影響；5)學(xué)校引入產(chǎn)品前，對(duì)產(chǎn)品進(jìn)行包容性測(cè)試，避免系統(tǒng)對(duì)性別、經(jīng)濟(jì)、文化、社會(huì)地位存在差異的學(xué)習(xí)者產(chǎn)生歧視；6)學(xué)校尊重教師的主導(dǎo)作用與學(xué)生的主體地位，明確系統(tǒng)始終只起輔助作用；7)營(yíng)造促進(jìn)學(xué)生求知欲、創(chuàng)造性的教學(xué)環(huán)境，鼓勵(lì)學(xué)生進(jìn)行探索；8)重視教育過程中對(duì)情緒和情感的識(shí)別和干預(yù)，注重情感聯(lián)系的建立與連接。

綜上所述，教育人工智能系統(tǒng)的具體倫理原則折射了教育人工智能系統(tǒng)面臨的倫理問題，主要集中于人工智能技術(shù)自身、利益相關(guān)主體的問責(zé)、教育中情感的缺失以及個(gè)體的權(quán)利和權(quán)益四個(gè)領(lǐng)域。人工智能技術(shù)自身聚焦于支撐技術(shù)的數(shù)據(jù)和算法所面臨的倫理問題，包括數(shù)據(jù)和(或)算法的可訪問性、隱私邊界、透明性和有意或無意的歧視性等。利益相關(guān)主體的問責(zé)指供應(yīng)商、客戶和用戶三大主體間責(zé)任的界定和分配問題，即是否承擔(dān)責(zé)任、承擔(dān)什么責(zé)任以及承擔(dān)多少責(zé)任，其依靠專門化的問責(zé)機(jī)制和審查機(jī)制來保障。教育中情感的缺失指由于數(shù)據(jù)和算法尚未能對(duì)情緒和情感進(jìn)行準(zhǔn)確識(shí)別，從而使教師和學(xué)生未能挖掘情感對(duì)教育的價(jià)值。個(gè)體的權(quán)利和權(quán)益主要指教育人工智能系統(tǒng)不能侵害個(gè)體的知識(shí)產(chǎn)權(quán)、決策權(quán)、隱私權(quán)、發(fā)展權(quán)等，尤其是要尊重和保護(hù)教師和學(xué)生這兩大教育主體的權(quán)利和權(quán)益。例如，系統(tǒng)作為技術(shù)工具應(yīng)堅(jiān)持服務(wù)教育而非決定教育的取向、不能因?yàn)橄到y(tǒng)的“預(yù)測(cè)”功能而忽視教學(xué)交互以及阻礙學(xué)生的求知和主動(dòng)探索等自我發(fā)展的權(quán)利。

四、教育人工智能系統(tǒng)發(fā)展的倫理挑戰(zhàn)

當(dāng)教育人工智能系統(tǒng)在開發(fā)和應(yīng)用的過程中違背倫理原則，便會(huì)引發(fā)相應(yīng)的倫理風(fēng)險(xiǎn)與挑戰(zhàn)。面向未來教育人工智能系統(tǒng)的發(fā)展，其在人工智能技術(shù)自身、利益相關(guān)主體的問責(zé)、教育中情感的缺失以及個(gè)體的權(quán)利和權(quán)益四大倫理問題上分別面臨數(shù)據(jù)與算法的缺陷、系統(tǒng)提供商權(quán)責(zé)不明、教育過程的情感遮蔽和教育主體角色轉(zhuǎn)變四大挑戰(zhàn)。

(一)數(shù)據(jù)應(yīng)用與智能算法存在缺陷

大數(shù)據(jù)算法是人工智能的核心，人工智能教育應(yīng)用與人工智能應(yīng)用一樣，在數(shù)據(jù)應(yīng)用和智能算法上存在缺陷。在數(shù)據(jù)方面，教育人工智能系統(tǒng)收集大量數(shù)據(jù)以記錄學(xué)習(xí)過程、推斷情緒狀態(tài)、提出應(yīng)對(duì)策略，而這些數(shù)據(jù)的擁有者、有權(quán)訪問者、隱私問題邊界等問題都是亟待解決的。在智能算法方面，首先，智能算法存在難以預(yù)知的黑箱風(fēng)險(xiǎn)[24]。由于算法過程的復(fù)雜性與不透明性，除少數(shù)研究人員之外，算法不被大多數(shù)人理解。容易導(dǎo)致算法責(zé)任歸屬與監(jiān)管問題。其次，對(duì)算法的過度依賴影響學(xué)生能力發(fā)展?；谒惴▽?duì)個(gè)體作出的分析固然有一定的依據(jù)與可靠性，能夠?yàn)閷W(xué)生推薦個(gè)性化的資源；但頻繁使用算法得出的決策容易使學(xué)生產(chǎn)生依賴感，從而對(duì)探索新知與創(chuàng)新缺乏主動(dòng)性與積極性，影響其創(chuàng)新思維與獨(dú)立思考的能力。最后，算法本身缺乏精確性。學(xué)生是不斷變化發(fā)展的個(gè)體，智能算法的精準(zhǔn)決策需要大量的學(xué)生數(shù)據(jù)，然而算法無法對(duì)學(xué)生的變化發(fā)展做出詳盡的判斷，此外還可能存在其他隱性的數(shù)據(jù)無法得到計(jì)算，從而加劇教育過程的不公平性。

(二)系統(tǒng)提供商權(quán)責(zé)不明

教育人工智能系統(tǒng)提供商的主要職責(zé)是系統(tǒng)的開發(fā)與完善。在系統(tǒng)開發(fā)和投入使用的整個(gè)過程中，其一，需要保證系統(tǒng)結(jié)果的可追溯性和可理解性。當(dāng)客戶對(duì)結(jié)果產(chǎn)生疑問時(shí)，能夠完整再現(xiàn)數(shù)據(jù)的動(dòng)態(tài)變化并確保用戶易于理解。也要提供系統(tǒng)的限制與缺陷說明，使用戶對(duì)系統(tǒng)可能產(chǎn)生的消極影響有充分的把握。其二，需要保證系統(tǒng)為受教育者帶來福祉。謹(jǐn)防系統(tǒng)因種族、性別、文化差異對(duì)學(xué)生產(chǎn)生歧視或造成其他傷害，尊重學(xué)生的主體地位并激發(fā)學(xué)生的學(xué)習(xí)積極性與主動(dòng)性。也就是說，在學(xué)生使用系統(tǒng)的過程中，既不會(huì)受到任何負(fù)面影響，又能夠提升學(xué)習(xí)效果。其三，需要對(duì)系統(tǒng)測(cè)試與審查。在系統(tǒng)投入使用前，對(duì)系統(tǒng)從安全性、執(zhí)行效率、執(zhí)行質(zhì)量等方面進(jìn)行測(cè)試，保證系統(tǒng)決策科學(xué)合理。在系統(tǒng)投入使用后，定期審查系統(tǒng)決策是否符合規(guī)范，并根據(jù)客戶意見不斷維護(hù)和更新系統(tǒng)。

(三)教育過程的情感遮蔽

情感在教學(xué)過程中具有重要的教育價(jià)值，所有的學(xué)習(xí)都有情感上的關(guān)聯(lián)，教育依賴于情感作為學(xué)習(xí)和個(gè)人發(fā)展的動(dòng)力。人工智能為教育過程搭建數(shù)字化的虛擬環(huán)境，收集大量客觀的教學(xué)過程數(shù)據(jù)并進(jìn)行分析，然而并非所有數(shù)據(jù)都可以得到有效度量。教育者與受教育者的情感狀態(tài)容易受到忽視，從而產(chǎn)生一系列倫理問題。這種情感遮蔽現(xiàn)象可以理解為對(duì)技術(shù)的過于關(guān)注而導(dǎo)致的師生情緒和感受的屏蔽，教育主體既體會(huì)不到自己的情感變化，也無法察覺相互間的情感變化[25]。教師與學(xué)生、學(xué)生與學(xué)生之間的互動(dòng)受到虛擬世界影響，情感交流被數(shù)字符號(hào)所取代。盡管現(xiàn)有的技術(shù)可以通過監(jiān)測(cè)眼球活動(dòng)、表情等對(duì)學(xué)習(xí)者的學(xué)習(xí)狀態(tài)進(jìn)行判斷，但很難進(jìn)行準(zhǔn)確的情感識(shí)別。

(四)教育主體角色轉(zhuǎn)變的認(rèn)識(shí)問題

在現(xiàn)代教育觀念中，教育主體包括教育者與受教育者，摒棄了以往教育者與受教育者主客體相對(duì)立的觀念。由于教育人工智能系統(tǒng)的發(fā)展與成熟，人工智能教育應(yīng)用已經(jīng)能夠扮演教師、學(xué)生、同伴、專家等豐富的角色，智能機(jī)器人的權(quán)利地位[26]影響著教育主體的角色轉(zhuǎn)變，從而產(chǎn)生一定的倫理風(fēng)險(xiǎn)。因此，需要正確認(rèn)識(shí)教育主體角色轉(zhuǎn)變，進(jìn)而及時(shí)處理出現(xiàn)的各種問題，以便于將倫理風(fēng)險(xiǎn)降低到最低程度。其一，學(xué)習(xí)者的角色轉(zhuǎn)變。其中最突出的是“本我”與“非我”的異位問題。人工智能分析提供的虛擬人格與學(xué)習(xí)者自身存在“非我”與“本我”的矛盾，盡管兩者受控于同一精神主體，但自我的現(xiàn)實(shí)性和虛擬性難以達(dá)成主體性的和諧統(tǒng)一[27]。如果難以實(shí)現(xiàn)從“非我”到“本我”的角色轉(zhuǎn)變，將弱化真實(shí)情境的學(xué)習(xí)體驗(yàn)，降低學(xué)習(xí)質(zhì)量。其二，教師的角色轉(zhuǎn)變。各類教育人工智能系統(tǒng)在教育場(chǎng)景中廣泛應(yīng)用，盡管減輕了教師大部分的重復(fù)性工作，但存在弱化教師職能的倫理風(fēng)險(xiǎn)。現(xiàn)有的人工智能教育應(yīng)用已經(jīng)能夠替代診斷、評(píng)價(jià)、反饋等部分教師職能，如果對(duì)其過度依賴，教師的權(quán)威地位將遭到消解。此外，如果教師存在倫理素養(yǎng)的缺失，在學(xué)生數(shù)據(jù)的使用過程中容易產(chǎn)生道德失范行為，對(duì)學(xué)生的隱私安全造成威脅。

五、教育人工智能系統(tǒng)發(fā)展的應(yīng)對(duì)策略

審視教育人工智能系統(tǒng)發(fā)展的時(shí)代挑戰(zhàn)并提出應(yīng)對(duì)策略，對(duì)未來教育人工智能系統(tǒng)的發(fā)展走向起決定性作用，有利于助推人工智能成為未來教育發(fā)展的積極因素。2019年5月16日，國家主席習(xí)近平在國際人工智能與教育大會(huì)上指出，中國要積極推動(dòng)人工智能與教育的深度融合，加快發(fā)展伴隨每個(gè)人一生的教育、平等面向每個(gè)人的教育、適合每個(gè)人的教育、更加開放靈活的教育[28]。由此可見，教育人工智能系統(tǒng)發(fā)展的倫理挑戰(zhàn)需要堅(jiān)持以人為本，并通過道德素養(yǎng)提升、準(zhǔn)則完善、法律規(guī)約、人為監(jiān)管等手段構(gòu)建應(yīng)對(duì)路徑。

(一)培養(yǎng)具備合格人工智能素養(yǎng)的社會(huì)公民

現(xiàn)如今比較典型的以松鼠AI為代表的智能教學(xué)系統(tǒng)、以小猿搜題為代表的拍照搜題系統(tǒng)、以句酷批改網(wǎng)為代表的作業(yè)評(píng)測(cè)系統(tǒng)、以好未來GodEye為代表的課堂輔助系統(tǒng)等教育人工智能系統(tǒng)廣泛應(yīng)用于教育場(chǎng)景中，為教育教學(xué)帶來了極大便利。進(jìn)而，有必要培養(yǎng)具備合格人工智能素養(yǎng)的社會(huì)公民以應(yīng)對(duì)人工智能時(shí)代的機(jī)遇和挑戰(zhàn)。數(shù)據(jù)應(yīng)用引發(fā)的倫理問題歸因于人們道德素養(yǎng)的缺失，而倫理道德修養(yǎng)是人工智能素養(yǎng)的核心因素。也就是說，在進(jìn)行人工智能的學(xué)科教育時(shí)，要注重學(xué)生的道德素養(yǎng)培養(yǎng)與提升，將培養(yǎng)需求落實(shí)到課程與教學(xué)改革中。其一，在中小學(xué)階段，除了教授人工智能的基礎(chǔ)知識(shí)，還應(yīng)向?qū)W生傳輸平等待人、尊重生命等抽象的道德觀念。其二，在高等教育階段，將倫理道德修養(yǎng)貫穿于人工智能教育應(yīng)用的實(shí)踐之中。既要求教師起正確的示范作用，提升職業(yè)道德行為的價(jià)值意識(shí)，對(duì)學(xué)生數(shù)據(jù)的使用遵循規(guī)章制度；又要加強(qiáng)學(xué)生的道德建設(shè)，如在思政教材中增加數(shù)據(jù)安全相關(guān)的法律法規(guī)內(nèi)容。

(二)制定更加切合實(shí)際的教育人工智能系統(tǒng)倫理原則

科學(xué)的倫理原則是教育人工智能系統(tǒng)更好地服務(wù)于教育的制度保障。盡管國外現(xiàn)有的文件《教育中的人工智能：可持續(xù)發(fā)展的機(jī)遇和挑戰(zhàn)》《可信賴的人工智能倫理準(zhǔn)則》等都涉及人工智能教育的倫理框架，但仍需要結(jié)合我國國情和實(shí)際情況進(jìn)一步細(xì)化與完善。從宏觀來看，現(xiàn)有倫理原則并沒有清晰的責(zé)權(quán)細(xì)分，我國倫理規(guī)范的建立需要區(qū)分所有利益相關(guān)者包括教育人工智能系統(tǒng)開發(fā)者、供應(yīng)商、學(xué)校、教師等的責(zé)任與義務(wù)。在微觀角度，可從數(shù)字鴻溝、數(shù)據(jù)隱私、可追溯性、多樣性與非歧視性、人際等諸多方面做出相關(guān)規(guī)定。以數(shù)據(jù)隱私為例，系統(tǒng)開發(fā)者應(yīng)利用技術(shù)對(duì)學(xué)習(xí)者隱私數(shù)據(jù)進(jìn)行加密以防止惡意傳播與使用；供應(yīng)商應(yīng)提供包括系統(tǒng)如何采集、保護(hù)數(shù)據(jù)的措施的安全條例；學(xué)校在引入系統(tǒng)前進(jìn)行嚴(yán)格的倫理審查；避免學(xué)習(xí)者對(duì)智能系統(tǒng)過度依賴而造成的身體與心理等方面的威脅；教師應(yīng)遵守學(xué)校的相關(guān)規(guī)定，不隨意訪問、傳播學(xué)生數(shù)據(jù)或利用數(shù)據(jù)進(jìn)行科研活動(dòng)等。

(三)構(gòu)建教育人工智能系統(tǒng)應(yīng)用過程的監(jiān)管機(jī)制

一方面，關(guān)于數(shù)據(jù)與智能算法的風(fēng)險(xiǎn)防范，需要以技術(shù)研發(fā)做支撐、制度做保障。其一，加強(qiáng)中國人工智能教育應(yīng)用政策的頂層設(shè)計(jì)。通過借鑒美國《教育法案》(The TEACH Act)、《家庭教育權(quán)利和隱私權(quán)法案》(FERPA)，在我國《中華人民共和國計(jì)算機(jī)信息系統(tǒng)安全保護(hù)條例》等現(xiàn)有關(guān)于數(shù)據(jù)安全法案的基礎(chǔ)上進(jìn)一步優(yōu)化。其二，建立健全系統(tǒng)開發(fā)、運(yùn)用過程的監(jiān)管與問責(zé)機(jī)制，供應(yīng)商、機(jī)構(gòu)、用戶等行為主體都應(yīng)明確各自的責(zé)任分?jǐn)?。其三，鼓?lì)各教育機(jī)構(gòu)在教育人工智能系統(tǒng)決策過程中發(fā)揮主觀能動(dòng)性，設(shè)置專門的技術(shù)部門采取積極措施防止數(shù)據(jù)泄露，采用的措施從簡(jiǎn)單的口令技術(shù)(靜態(tài)口令、動(dòng)態(tài)口令、口令卡等)、傳統(tǒng)生物鑒別技術(shù)、到較復(fù)雜的模糊身份鑒別的認(rèn)證技術(shù)，乃至區(qū)塊鏈技術(shù)。另一方面，針對(duì)教育主體角色轉(zhuǎn)換引發(fā)的一系列理論問題，其一，強(qiáng)化教育主體的權(quán)責(zé)意識(shí)。學(xué)校加強(qiáng)對(duì)教師與學(xué)生的培訓(xùn)，使其明確在教育人工智能系統(tǒng)使用過程中的職責(zé)與義務(wù)。其二，規(guī)范化教育主體的權(quán)責(zé)劃分。政府及有關(guān)部門制定相應(yīng)的規(guī)范或制度，明晰教育主體的權(quán)責(zé)劃分與倫理失范邊界，并審查教育主體的失范行為，從而及時(shí)干預(yù)。此外，教育人工智能系統(tǒng)的責(zé)任與義務(wù)、問責(zé)方式都應(yīng)有明確的界定。

(四)重視人文關(guān)懷的情感教育力量

教育環(huán)境中的人文關(guān)懷即關(guān)注學(xué)生的情感狀態(tài)，是學(xué)生成長(zhǎng)與發(fā)展必不可缺的推動(dòng)因素。面對(duì)教育人工智能系統(tǒng)使用過程中人文關(guān)懷缺失的現(xiàn)象，需要對(duì)人文關(guān)懷的情感教育力量加以重視。其一，堅(jiān)持育人的教育價(jià)值觀導(dǎo)向。目前，我國人工智能技術(shù)的教育應(yīng)用實(shí)際上只是淺層次的以認(rèn)知為導(dǎo)向的人工智能教育應(yīng)用[29]，為了更好地推進(jìn)人工智能與教育的深度融合，這就要求人工智能技術(shù)不能孤立地影響教育。智能技術(shù)的使用應(yīng)充分考慮學(xué)生、教師、知識(shí)、教學(xué)方法與環(huán)境的整體作用，回歸到教育活動(dòng)育人的根本目標(biāo)。其二，加強(qiáng)人工智能在情感識(shí)別、腦科學(xué)領(lǐng)域的研究。利用腦機(jī)接口技術(shù)和情感識(shí)別技術(shù)能夠掌握學(xué)習(xí)者的認(rèn)知水平、學(xué)習(xí)狀態(tài)與情緒狀態(tài)。加強(qiáng)情感識(shí)別與腦科學(xué)領(lǐng)域的研究，能夠?qū)⒔虒W(xué)過程有效量化。結(jié)合人臉識(shí)別等技術(shù)，更加全面、科學(xué)地監(jiān)控與評(píng)估教學(xué)過程，提升教育主體的參與度并促進(jìn)互動(dòng)，提升學(xué)生的社會(huì)情感能力，優(yōu)化教師的干預(yù)效率，從而實(shí)現(xiàn)真正意義上的個(gè)性化教學(xué)。

六、結(jié) 語

人工智能為教育改革帶來新的機(jī)遇，有助于促進(jìn)教育個(gè)性化、智能化、終身化。本文從教育人工智能系統(tǒng)的發(fā)展歷史與現(xiàn)狀出發(fā)，梳理教育人工智能系統(tǒng)的一般倫理原則與具體倫理原則，探討了教育人工智能系統(tǒng)發(fā)展的倫理挑戰(zhàn)與應(yīng)對(duì)策略。盡管現(xiàn)有的人工智能倫理文件對(duì)教育人工智能系統(tǒng)的倫理問題進(jìn)行了一定程度的制度規(guī)約，但現(xiàn)有的倫理原則并不足以覆蓋全部的倫理問題且約束力不足。圍繞數(shù)據(jù)與算法、權(quán)責(zé)界定、情感遮蔽以及教育主體角色轉(zhuǎn)變等倫理挑戰(zhàn)，不僅需要完善倫理框架，還需要從道德素養(yǎng)提升、完善監(jiān)管機(jī)制、重視情感教育等方面探尋教育人工智能系統(tǒng)的發(fā)展路徑，以充分挖掘人工智能的巨大潛能，實(shí)現(xiàn)育人的最終目標(biāo)。面向未來的智能時(shí)代，人工智能勢(shì)必推動(dòng)教育生態(tài)的進(jìn)一步重塑。我們應(yīng)始終秉承技術(shù)服務(wù)論和人本論，并以未來之眼審視教育人工智能系統(tǒng)面臨的倫理問題，對(duì)可預(yù)見的倫理風(fēng)險(xiǎn)進(jìn)行防范。此外，關(guān)于教育人工智能是否能夠成為教育主體之一，其權(quán)利與地位問題還有待進(jìn)一步思考。