倪琴　賀樑　王英英　白慶春　吳永和

[摘? ?要] 人工智能應(yīng)用與未成年人之間的和諧共生是當(dāng)前亟待完成的任務(wù)。由于未成年人正處于認(rèn)知、心理塑造發(fā)展的關(guān)鍵時(shí)期，其成長發(fā)展過程中需要更多監(jiān)管和關(guān)注。針對當(dāng)前人工智能應(yīng)用監(jiān)管中存在的風(fēng)險(xiǎn)和挑戰(zhàn)，文章從面向未成年人的人工智能應(yīng)用監(jiān)管框架頂層設(shè)計(jì)出發(fā)，提出面向未成年人的人工智能應(yīng)用監(jiān)管善治路徑。監(jiān)管框架頂層設(shè)計(jì)以尊重人類的自主能力為核心，提升未成年人的能動性，優(yōu)化監(jiān)督機(jī)制，具體包括監(jiān)管內(nèi)涵、技術(shù)原則和組成要素。監(jiān)管善治路徑從以未成年人為中心的人工智能應(yīng)用監(jiān)管技術(shù)體系的構(gòu)建出發(fā)，探索提升場景多樣化評測機(jī)制，完善面向未成年人的人工智能應(yīng)用監(jiān)管制度，參與面向未成年人的人工智能應(yīng)用監(jiān)管國際規(guī)則制定，開展面向未成年人的人工智能應(yīng)用監(jiān)管社會實(shí)驗(yàn)研究。通過研究框架和善治實(shí)施路徑的構(gòu)建，以期為面向未成年人的人工智能技術(shù)規(guī)范提供有益參考。

[關(guān)鍵詞] 人工智能； 應(yīng)用監(jiān)管； 未成年人； 安全倫理

[中圖分類號] G434? ? ? ? ? ? [文獻(xiàn)標(biāo)志碼] A

[作者簡介] 倪琴（1989—），女，安徽合肥人。副教授，博士，主要從事教育數(shù)據(jù)挖掘和智能教育算法倫理研究。E-mail：niqin@shnu.edu.cn。賀樑為通訊作者，E-mail：lhe@cs.ecnu.edu.cn。

一、引? ?言

隨著人工智能應(yīng)用場景的不斷拓展，在多元化海量驗(yàn)證過程中不斷反映出應(yīng)用產(chǎn)品和服務(wù)固有的技術(shù)缺陷，也持續(xù)暴露出政策法律、倫理輿情與市場反饋等方面的社會性風(fēng)險(xiǎn)[1]?！度斯ぶ悄軕?yīng)用準(zhǔn)則》中提到“人的監(jiān)督”，強(qiáng)調(diào)人工智能不應(yīng)該超過人的自主性，人類應(yīng)該監(jiān)督人工智能技術(shù)的發(fā)展以及人工智能技術(shù)的決策，并在必要時(shí)進(jìn)行干預(yù)[2]。由此可見，人類在使用人工智能技術(shù)的過程中應(yīng)具備“自主性”，特別是面向心智尚未成熟、世界觀尚未穩(wěn)定的未成年人，更加需要有相應(yīng)的監(jiān)督和支持，以保證未成年人在與智能系統(tǒng)交互中保留“自主性”，具有以正確教育理念引導(dǎo)的成長體驗(yàn)。英國著名社會學(xué)家大衛(wèi)·科林格里奇曾言：“一旦技術(shù)應(yīng)用的風(fēng)險(xiǎn)后果發(fā)生時(shí)，它已成為經(jīng)濟(jì)和社會結(jié)構(gòu)的一部分，對其管控將十分困難?！盵3]因此，廓清人工智能應(yīng)用的風(fēng)險(xiǎn)邊界，并對其進(jìn)行有效管控是非常必要的。特別是針對作為社會發(fā)展后備力量的未成年人，在新型智能終端迅速普及的當(dāng)下，及時(shí)采取監(jiān)管策略進(jìn)行智能化管控，才能為未成年人提供健康的成長環(huán)境，這也將成為智能時(shí)代發(fā)展的必然趨勢。面對機(jī)遇與挑戰(zhàn)并存的人工智能技術(shù)應(yīng)用，需要切實(shí)把控面向未成年人的應(yīng)用監(jiān)管問題。為此，文章將回歸人工智能應(yīng)用監(jiān)管的服務(wù)本質(zhì)，針對未成年人的人工智能應(yīng)用風(fēng)險(xiǎn)和監(jiān)管挑戰(zhàn)，聚焦于面向未成年人的應(yīng)用監(jiān)管框架、善治路徑，回答人工智能應(yīng)用監(jiān)管“是何”“為何”“如何”的問題，以期為面向未成年人的人工智能技術(shù)規(guī)范提供有益參考。

二、面向未成年人的人工智能應(yīng)用風(fēng)險(xiǎn)與

監(jiān)管挑戰(zhàn)

（一）面向未成年人的人工智能應(yīng)用風(fēng)險(xiǎn)

以人工智能（Artificial Intelligence， AI） 為技術(shù)支撐的應(yīng)用已經(jīng)貫穿于未成年人的生活、社交、出行和學(xué)習(xí)等方面[4]。新冠疫情影響下的“停課不停學(xué)”，借助于遠(yuǎn)程交互的課堂進(jìn)行學(xué)習(xí)和交流，也進(jìn)一步提升了互聯(lián)網(wǎng)應(yīng)用在未成年人中的普及率。未成年人正處于認(rèn)知、心理塑造發(fā)展的過渡時(shí)期，其心智和價(jià)值觀處于正在形成之中，需要更多關(guān)注其身心健康、安全、隱私和情感意愿等方面的健康發(fā)展。未成年人不同于成年人，他們在生理、心理上都具有較突出的特點(diǎn)。在生理方面，未成年人年齡偏低，身體的各種器官發(fā)育尚不完備。在心理方面，第一，未成年人的社會閱歷不豐富，社會經(jīng)驗(yàn)不足，文化知識淺薄，思想觀念尚未定型，因此，未成年人對于人工智能產(chǎn)品中的風(fēng)險(xiǎn)辨別能力較弱；第二，未成年人心理不成熟，自身素質(zhì)不完善，各方面發(fā)展尚未完全成熟，較成人而言，更容易受外界環(huán)境的影響，產(chǎn)品中潛在的倫理風(fēng)險(xiǎn)不利于其身心健康發(fā)展。因此，鑒于未成年人的這些特點(diǎn)，人工智能應(yīng)用存在的潛在風(fēng)險(xiǎn)。將會產(chǎn)生極大的、不可挽回的安全倫理隱患，并可能對未成年人的身心健康造成長期的傷害。

在理想情況下，人工智能應(yīng)用應(yīng)當(dāng)作為體現(xiàn)向善賦能的價(jià)值載體[5]，為未成年人提供動態(tài)的、有吸引力的交流學(xué)習(xí)環(huán)境，能夠根據(jù)未成年人的需求自適應(yīng)地提供相應(yīng)策略[6]。但由于當(dāng)前的人工智能是基于復(fù)雜算法和數(shù)據(jù)驅(qū)動的技術(shù)，其在運(yùn)行的各個(gè)階段會有意識或無意識地引入風(fēng)險(xiǎn)，而很多平臺或軟件缺乏對倫理、道德的考量，肆意侵害未成年學(xué)習(xí)者的權(quán)益[7]。面向未成年人的人工智能應(yīng)用中的潛在風(fēng)險(xiǎn)存在于應(yīng)用中的各個(gè)階段：一是未成年人數(shù)據(jù)倫理風(fēng)險(xiǎn)。由于人工智能算法是在數(shù)據(jù)的基礎(chǔ)上作出決策，故當(dāng)人工智能算法的數(shù)據(jù)建模階段出現(xiàn)訓(xùn)練數(shù)據(jù)不夠完善或者不具備足夠的代表性等問題時(shí)，就會引起數(shù)據(jù)偏見。數(shù)據(jù)偏見會重現(xiàn)，甚至放大社會中的不公平現(xiàn)象，造成對未成年人中的弱勢或邊緣化群體的歧視現(xiàn)象，如學(xué)習(xí)障礙歧視、排外心理等。另外，算法會不斷收集用戶的行為、習(xí)慣、情緒、偏好等大量數(shù)字信息，如果不具備合理的敏感信息過濾機(jī)制，算法將對未成年人的隱私、安全帶來更大的風(fēng)險(xiǎn)。二是算法執(zhí)行過程中對未成年人產(chǎn)生的潛在倫理風(fēng)險(xiǎn)。算法的倫理風(fēng)險(xiǎn)存在于算法開發(fā)完成的各個(gè)階段。在算法開發(fā)運(yùn)行過程中，由于開發(fā)中的無心錯(cuò)誤、模型選擇偏差等因素，將會造成模型在學(xué)習(xí)過程中融入相關(guān)偏差[8]。三是應(yīng)用倫理風(fēng)險(xiǎn)。在應(yīng)用結(jié)果層面，人工智能算法存在“信息繭房”和主體性消解風(fēng)險(xiǎn)。如迎合未成年人的需求，推薦類人工智能應(yīng)用，會筑造未成年人“信息繭房”，長期使用此類產(chǎn)品，會影響未成年人的創(chuàng)造力，使得未成年人的依賴性增加，造成趨向于機(jī)器化的“同質(zhì)化問題”[9]；人工智能算法的應(yīng)用正逐漸使人面臨客體化的危險(xiǎn)。人工智能算法的高度智能化釋放出巨大的生產(chǎn)力，人類對算法的依賴程度也愈來愈高，人們正逐漸從對人的信任轉(zhuǎn)向?qū)χ悄芗夹g(shù)的信任，這一趨勢導(dǎo)致了技術(shù)異化，并給人的主體性地位帶來巨大的沖擊。面向未成年人的人工智能應(yīng)用的不同階段的潛在風(fēng)險(xiǎn)，如圖1所示。

（二）面向未成年人的人工智能應(yīng)用監(jiān)管挑戰(zhàn)

當(dāng)前國內(nèi)外關(guān)于面向未成年人的人工智能應(yīng)用監(jiān)管主要聚焦在“軟”治理與“硬”監(jiān)管上。在“軟”治理上，鼓勵(lì)人工智能應(yīng)用創(chuàng)新和增長；同時(shí)，通過準(zhǔn)則約束和標(biāo)準(zhǔn)制定的“硬”監(jiān)管來加強(qiáng)前瞻性預(yù)見和對未成年人的倫理保護(hù)。各國普遍都較為重視對于倫理安全的監(jiān)管和約束，提出并發(fā)布相關(guān)風(fēng)險(xiǎn)管控政策。歐盟委員會成立人工智能高級小組，制定了涵蓋公平、安全、透明性以及維護(hù)基本權(quán)利等諸多方面的倫理指南[10]。我國也在《新一代人工智能倫理規(guī)范》中提出，將倫理道德融入人工智能全生命周期，促進(jìn)人工智能向公平、公正、和諧、安全的方向發(fā)展，避免偏見、歧視、隱私泄露等問題[11]。并于2020年發(fā)布首個(gè)針對兒童的人工智能發(fā)展原則，即《面向兒童的人工智能北京共識》[12]，涵蓋“以兒童為中心”“保護(hù)兒童權(quán)利”“承擔(dān)責(zé)任”“多方治理”等四大主題，并指出人工智能發(fā)展首先應(yīng)該滿足兒童的尊嚴(yán)，促進(jìn)其自由發(fā)展和多元成長，不應(yīng)有歧視或者潛在傷害，應(yīng)當(dāng)增強(qiáng)兒童的福祉，促進(jìn)兒童的發(fā)展。

在學(xué)術(shù)研究方面，人工智能教育倫理相關(guān)研究近年來也成為熱點(diǎn)主題[13]。由于AI教育領(lǐng)域的應(yīng)用普遍涉及隱私、偏見、歧視、公平等倫理問題，需要前瞻性預(yù)見和倫理保護(hù)機(jī)制研究。國內(nèi)外人工智能倫理問題的研究主要按照應(yīng)用場景，分為關(guān)注教育數(shù)據(jù)隱私、教育技術(shù)風(fēng)險(xiǎn)、教育公平問題、教育人文精神、管理機(jī)制和政策法規(guī)五大類研究主題，見表1。在教育數(shù)據(jù)隱私方面，研究主要關(guān)注教育場景的隱私保護(hù)和開放共享數(shù)據(jù)的界定機(jī)制；在教育技術(shù)風(fēng)險(xiǎn)方面，研究主要關(guān)注因人工智能技術(shù)的引入而帶來的內(nèi)在風(fēng)險(xiǎn)；針對教育公平問題，相關(guān)研究主要關(guān)注如何借助人工智能教育應(yīng)用來賦能教育公平；教育人文精神方面，主要關(guān)注人—機(jī)、人—人之間的責(zé)、權(quán)、利關(guān)系的界定；在管理機(jī)制和政策法規(guī)方面，研究主要關(guān)注規(guī)避倫理風(fēng)險(xiǎn)的現(xiàn)實(shí)路徑和法規(guī)政策。

盡管當(dāng)前各國政府、組織和學(xué)者都高度重視人工智能技術(shù)的應(yīng)用監(jiān)管，出臺了大量的面向特定種類人工智能應(yīng)用程序的監(jiān)管規(guī)定，但對于面向未成年人的人工智能應(yīng)用監(jiān)管研究依舊缺乏，當(dāng)前尚面臨諸多現(xiàn)實(shí)挑戰(zhàn)。

第一，人工智能應(yīng)用中“以人為本”設(shè)置不足，“以未成年人為中心的”評估和監(jiān)管困難。開展人工智能應(yīng)用監(jiān)管的目的，是針對未成年人的特征，為其提供安全可靠的人工智能應(yīng)用輔助工具，創(chuàng)造良好的環(huán)境，讓其在倫理監(jiān)管的框架下得到健康發(fā)展。由于人工智能引發(fā)了諸多倫理方面的挑戰(zhàn)，目前，已有一批相關(guān)專家學(xué)者達(dá)成共識，相關(guān)應(yīng)用監(jiān)管規(guī)范輔助工具也不斷涌現(xiàn)。然而，當(dāng)前的人工智能應(yīng)用中，更多地關(guān)注應(yīng)用的功能性完善，對于以未成年人為中心的設(shè)置能力不強(qiáng)，而面向未成年人的人工智能應(yīng)用監(jiān)管要從保護(hù)、促進(jìn)兒童青少年健康成長和未來教育的角度出發(fā)，規(guī)范發(fā)展人工智能，助力人工智能向善賦能。

第二，技術(shù)透明設(shè)計(jì)有短板，監(jiān)管與過程追溯困難。相較于其他領(lǐng)域的新技術(shù)，人工智能具有的黑箱、數(shù)據(jù)依賴性和通用性等技術(shù)特性，使其更為復(fù)雜、更不可控、更難預(yù)測。人工智能在取代重復(fù)性人力勞動、提高社會管理效率、提升人類生活和服務(wù)質(zhì)量方面發(fā)揮了巨大的正面效益，但是目前的人工智能應(yīng)用遠(yuǎn)沒有達(dá)到透明、可信的要求。開展人工智能應(yīng)用監(jiān)管的目的，是為人工智能的發(fā)展和創(chuàng)新營造良好環(huán)境，讓人工智能在法律和倫理的框架下得到健康發(fā)展。面向未成年人的人工智能應(yīng)用對于技術(shù)要求更高，增加人工智能應(yīng)用中技術(shù)設(shè)計(jì)的透明度，則為倫理和問責(zé)制度的制定提供技術(shù)支撐。因此，需要盡快推進(jìn)現(xiàn)有的技術(shù)結(jié)構(gòu)透明化、可解釋、可追溯，規(guī)范監(jiān)管人工智能應(yīng)用，重塑公平正義的社會結(jié)構(gòu)和技術(shù)結(jié)構(gòu)。

第三，面向未成年人的人工智能技術(shù)評估和監(jiān)管能力不足。聯(lián)合國教科文組織發(fā)布的《人工智能倫理問題建議書》，強(qiáng)調(diào)人工智能應(yīng)用的發(fā)展應(yīng)當(dāng)遵循倫理準(zhǔn)則和價(jià)值觀的約束[28]。對面向未成年人的人工智能應(yīng)用進(jìn)行全過程的監(jiān)督與管理是闡釋未成年人人工智能教育的底層邏輯。中共中央辦公廳、國務(wù)院辦公廳印發(fā)《關(guān)于加強(qiáng)科技倫理治理的意見》表明，當(dāng)前各國在人工智能治理方面剛剛起步，相關(guān)體制機(jī)制還不健全，制度體系尚不完善，特別是針對當(dāng)前未成年人這一特殊群體的全過程評估檢測和監(jiān)管措施尚未完善[29]。人工智能所造成的安全倫理、算法歧視和技術(shù)同化等問題，在未成年人身上表現(xiàn)得較為突出，影響重大深遠(yuǎn)。因此，增強(qiáng)面向未成年人的人工智能評估檢測能力的研究迫在眉睫。

第四，人工智能應(yīng)用影響社會實(shí)驗(yàn)缺乏，適用場景的人工智能應(yīng)用監(jiān)管困難。當(dāng)前面向未成年人的人工智能監(jiān)管主要關(guān)注于宏觀方向研究，通過提倡責(zé)任擔(dān)當(dāng)、提升倫理素養(yǎng)來探討倫理的影響，缺少智能服務(wù)和智能化應(yīng)用場景的探索與社會影響的系統(tǒng)分析。人工智能在未成年人的生活中有著廣闊的發(fā)展空間，過分夸大倫理風(fēng)險(xiǎn)將會阻礙技術(shù)的發(fā)展，因此，需要用社會實(shí)驗(yàn)來探索既可以鼓勵(lì)人工智能領(lǐng)域的應(yīng)用創(chuàng)新，又能規(guī)避不良風(fēng)險(xiǎn)的新方法，研究人工智能技術(shù)應(yīng)用于未成年人的綜合影響，通過精準(zhǔn)識別人工智能應(yīng)用過程中的風(fēng)險(xiǎn)挑戰(zhàn)，不斷完善社會實(shí)驗(yàn)的方法體系和善治路徑，提升向善監(jiān)管的科學(xué)化、智能化水平。

三、面向未成年人的人工智能應(yīng)用監(jiān)管技術(shù)

規(guī)范框架

根據(jù)歐盟人工智能高級專家組（人工智能HLEG）發(fā)布的《可信賴人工智能倫理準(zhǔn)則》報(bào)告，強(qiáng)調(diào)人工智能在應(yīng)用中的核心的基本權(quán)利，堅(jiān)持人類尊嚴(yán)、非歧視等價(jià)值觀，支持?jǐn)?shù)據(jù)保護(hù)和隱私權(quán)等權(quán)益。面向未成年人的人工智能應(yīng)用監(jiān)管更需要堅(jiān)持以未成年人的能力和人性化發(fā)展為目的，建立可信賴的應(yīng)用。因此，人工智能應(yīng)用監(jiān)管本質(zhì)上首先應(yīng)當(dāng)考慮尊重人類的自主性為核心技術(shù)原則，提升未成年人的能動性和監(jiān)督機(jī)制；其次，在建設(shè)面向未成年人的可信賴人工智能應(yīng)用監(jiān)管過程中，應(yīng)當(dāng)遵循可解釋原則，使得數(shù)據(jù)和決策過程透明，確保人工智能應(yīng)用的決策過程是可信賴的；再次，堅(jiān)持預(yù)防傷害原則，保證人工智能應(yīng)用在未成年人的使用過程中是安全可靠的，支持?jǐn)?shù)據(jù)保護(hù)和隱私權(quán)等權(quán)益；最后，能夠堅(jiān)持公平原則，確保人工智能應(yīng)用“有道德、可信賴”。面向未成年人的人工智能應(yīng)用監(jiān)管技術(shù)規(guī)范框架如圖2所示。

（一）面向未成年人的人工智能應(yīng)用監(jiān)管內(nèi)涵

面向未成年人的人工智能應(yīng)用監(jiān)管主要針對未成年人的人工智能應(yīng)用場景進(jìn)行監(jiān)督和管理。其主要目標(biāo)是保護(hù)可能受到傷害的未成年人，確保其在使用人工智能應(yīng)用過程中的安全。主要途徑是針對未成年人的特征，建立可信賴的人工智能應(yīng)用監(jiān)管框架，對應(yīng)用中潛在的風(fēng)險(xiǎn)進(jìn)行識別，完善相應(yīng)的安全倫理準(zhǔn)則和制度，保障未成年人與人工智能技術(shù)的安全發(fā)展。面向未成年人的人工智能應(yīng)用監(jiān)管具有高安全性、多樣性和動態(tài)性特征，可以從以人為本、高安全和可信賴三個(gè)視角來理解其監(jiān)管的內(nèi)涵。其一，由于面向?qū)ο鬄槲闯赡耆?，?jiān)持以人為本的人工智能監(jiān)管的內(nèi)涵，需要人工智能應(yīng)用能夠支持未成年人的能動性與自主性，避免用戶過度依賴而影響其自主性。其二，高安全的監(jiān)管策略是推動可信賴人工智能應(yīng)用監(jiān)管的重要保障，要求人工智能系統(tǒng)在開發(fā)時(shí)采用預(yù)防風(fēng)險(xiǎn)的方法，確保其行為可靠且符合預(yù)期，同時(shí)盡量減少或防止外在傷害的發(fā)生。其三，可信賴人工智能應(yīng)用監(jiān)管的微觀基礎(chǔ)是決策可信賴和影響可信賴，也就是人工智能應(yīng)用既能保障數(shù)據(jù)和過程的透明，又能產(chǎn)生非歧視和公平的結(jié)果，使得人工智能應(yīng)用成為真正“有道德”的應(yīng)用。

（二）面向未成年人的人工智能應(yīng)用監(jiān)管技術(shù)原則

為保障面向未成年人的人工智能應(yīng)用監(jiān)管的成效，在制定監(jiān)管技術(shù)原則時(shí)，可以從以下四個(gè)方面開展：第一，尊重人類自主原則。即需要考慮人工智能應(yīng)用是否限制了未成年人的能動性，是否為迎合未成年人的需求而造成“同質(zhì)化問題”，是否能夠控制人工智能的使用時(shí)間和方式。第二，可解釋原則。是指人工智能以一種可解釋的人機(jī)互動方式進(jìn)行交流溝通，以取得用戶的信任，同時(shí)滿足決策監(jiān)管的要求。通過可解釋技術(shù)，增強(qiáng)人機(jī)交互與溝通，建立和維持用戶對人工智能系統(tǒng)的信任。第三，預(yù)防傷害原則。在算法的應(yīng)用過程中會有不確定性的衡量邊界，在人工智能應(yīng)用的設(shè)計(jì)階段，應(yīng)當(dāng)仔細(xì)檢測和考慮人工智能應(yīng)用可能對未成年的影響，需要根據(jù)未成年人的特點(diǎn)設(shè)計(jì)應(yīng)用的邊界，尊重未成年人的隱私和情感需求，保護(hù)未成年人的身心健康。第四，公平原則。在人工智能應(yīng)用的監(jiān)管過程中，不應(yīng)該依賴于倫理和社會后果的事后審計(jì)，需要在算法的設(shè)計(jì)、應(yīng)用程序開發(fā)過程中融入相關(guān)因素，保障過程和結(jié)果的非歧視性和公平性。

（三）面向未成年人的人工智能應(yīng)用監(jiān)管組成要素

為實(shí)現(xiàn)面向未成年人的可信賴人工智能應(yīng)用監(jiān)管，必須要在整個(gè)人工智能系統(tǒng)生命周期內(nèi)實(shí)現(xiàn)包容性和多樣性。監(jiān)管的組成要素是安全監(jiān)管過程中需要特別研究的對象。當(dāng)前面向未成年人的人工智能應(yīng)用監(jiān)管可以從四個(gè)組成要素來理解和建立可信賴的體系。

第一，未成年人的能動性監(jiān)管。人工智能發(fā)展的目標(biāo)是更好地“為人服務(wù)”，面向未成年人的人工智能應(yīng)用發(fā)展的目的是“育人為本”。然而，在實(shí)際的人工智能應(yīng)用中，人作為技術(shù)的使用者，也是數(shù)據(jù)的生產(chǎn)者，更是技術(shù)的同化對象。教育的“育人為本”與人工智能的“為人服務(wù)”二者關(guān)系是統(tǒng)一的，面向未成年人的人工智能應(yīng)用更應(yīng)該考慮到未成年人的“發(fā)展”過程，防止陷入技術(shù)、算法為中心的服務(wù)中，使得未成年人在長期使用中逐步失去能動性和主動思考能力，趨向于機(jī)器“同化”?；诖?，在面向未成年人的人工智能應(yīng)用監(jiān)管中，一方面，要重視未成年人的特征，堅(jiān)持以未成年人的能動性為中心，遵循人本主義理念，“人類要監(jiān)督人工智能決策機(jī)制設(shè)計(jì)”“人類要參與人工智能決策”“人類要完全掌握命令權(quán)”；另一方面，也需要注重發(fā)展未成年人天然創(chuàng)造力的優(yōu)勢，以保障和維護(hù)未成年人的基本權(quán)利、塑造正確的價(jià)值觀和道德觀、關(guān)注未成年人的身心健康為原則，發(fā)展面向未成年人的人工智能應(yīng)用，同時(shí)提升算法的多樣性、公平性、可解釋性以及安全性等。

第二，面向未成年人應(yīng)用中的數(shù)據(jù)和決策過程監(jiān)管。由于人工智能算法存在“黑匣子”問題，即技術(shù)的決策過程不透明，結(jié)果不具備可解釋性。這種情況下，針對未成年人的應(yīng)用決策過程不可追溯，人對于系統(tǒng)的信任度就會大大降低。在面向未成年人的人工智能應(yīng)用監(jiān)管中，對于模型的可解釋組成要素需要有更高的技術(shù)指標(biāo)，例如，性能監(jiān)測指標(biāo)、數(shù)據(jù)質(zhì)量指標(biāo)、決策結(jié)果指標(biāo)等來避免偏差的存在，避免對未成年人的生活產(chǎn)生不可逆的嚴(yán)重后果。在數(shù)據(jù)和決策過程透明化中，可解釋性、可溝通和可追溯性是實(shí)現(xiàn)透明決策的具體舉措。可解釋性要求人工智能算法在推理中能夠進(jìn)行事前解釋、事后解釋和因果解釋。對于不可解釋的深度算法模型，能夠通過事后解釋來解析決策的機(jī)制和過程。對于決策的結(jié)果能夠分析其真實(shí)的因果關(guān)系，而不僅僅是數(shù)據(jù)之間的關(guān)聯(lián)特征。

第三，智能技術(shù)的穩(wěn)健性、安全性監(jiān)管。對于面向未成年人的人工智能系統(tǒng)而言，不僅需要確保技術(shù)的穩(wěn)健可靠，更應(yīng)當(dāng)確保其安全性。這就要求人工智能系統(tǒng)在開發(fā)時(shí)采用預(yù)防風(fēng)險(xiǎn)的方法，確保其行為可靠且符合預(yù)期，同時(shí)盡量減少并防止意外傷害的發(fā)生，避免對未成年人產(chǎn)生不可逆的影響。通過設(shè)置安全的監(jiān)管方法和措施避免學(xué)生受到潛在傷害。例如，建立持續(xù)不斷的測量和評估體系，制定相應(yīng)的回退策略，保證智能技術(shù)的可靠性和可重現(xiàn)性。

第四，人工智能應(yīng)用的倫理監(jiān)管。由于人工智能應(yīng)用的服務(wù)對象是未成年人，根據(jù)其道德發(fā)展理論，未成年人處在道德發(fā)展的習(xí)俗水平，正從尋求認(rèn)可定向階段向維護(hù)權(quán)威或秩序的道德定向階段轉(zhuǎn)型，是一個(gè)人的道德水平發(fā)展與道德觀形成的關(guān)鍵時(shí)期，在這個(gè)過程中，倘若作為輔助工具的人工智能沒有安全倫理方面的相關(guān)規(guī)范與約束，就很可能無意識地為未成年人帶來風(fēng)險(xiǎn)。因此，需要在監(jiān)管過程中，建立可問責(zé)機(jī)制，增加人工智能應(yīng)用的非歧視性和公平性約束，避免系統(tǒng)存在偏見、歧視或者不良影響，減輕潛在風(fēng)險(xiǎn)的傷害。

四、面向未成年人的人工智能應(yīng)用監(jiān)管

善治路徑

人工智能應(yīng)用監(jiān)管是人工智能技術(shù)規(guī)范中與用戶最緊密相連的環(huán)節(jié)。當(dāng)前，卻并未有明確的人工智能應(yīng)用監(jiān)管善治路徑，人工智能應(yīng)用監(jiān)管仍面臨著不確定性、監(jiān)管基礎(chǔ)薄弱、機(jī)遇與風(fēng)險(xiǎn)并存等監(jiān)管難題，特別是在面向未成年人的人工智能應(yīng)用監(jiān)管方面，仍然面臨著諸如監(jiān)管現(xiàn)狀模糊不清、監(jiān)管內(nèi)容不明確的現(xiàn)實(shí)難題。因此，需從理論和實(shí)踐的視角，系統(tǒng)性地完善人工智能應(yīng)用監(jiān)管路徑，破解人工智能監(jiān)管方面的難題，保證人工智能向善賦能未成年人。文章嘗試構(gòu)建了面向未成年人的人工智能應(yīng)用監(jiān)管與善治路徑，如圖3所示。包括構(gòu)建以未成年人為中心的人工智能應(yīng)用評估和監(jiān)管技術(shù)體系、探索應(yīng)用場景，提升場景并多樣化監(jiān)測能力、完善面向未成年人的人工智能應(yīng)用監(jiān)管制度、參與面向未成年人的人工智能應(yīng)用監(jiān)管國際規(guī)則制定、開展面向未成年人的人工智能應(yīng)用監(jiān)管社會實(shí)驗(yàn)研究五個(gè)方面。

（一）構(gòu)建以未成年人為中心的人工智能應(yīng)用監(jiān)管技術(shù)體系

“以未成年人為中心”是面向未成年人的人工智能應(yīng)用監(jiān)管的核心要求，需從多個(gè)維度對介入未成年人的人工智能技術(shù)進(jìn)行監(jiān)管。可從數(shù)據(jù)集、工具集、評測檢測平臺三方面入手，構(gòu)建面向未成年人的人工智能應(yīng)用監(jiān)管的信息模型。

1. 數(shù)據(jù)集

在教育領(lǐng)域中，智能技術(shù)已經(jīng)涉及了未成年人群體，在帶來便利的同時(shí)，也帶來了諸多風(fēng)險(xiǎn)。而數(shù)據(jù)是人工智能的基礎(chǔ)，人工智能的質(zhì)量取決于對其訓(xùn)練所使用的數(shù)據(jù)，因此，數(shù)據(jù)質(zhì)量監(jiān)管刻不容緩[30]。教育大數(shù)據(jù)中的絕大部分?jǐn)?shù)據(jù)是非結(jié)構(gòu)化數(shù)據(jù)或者半結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)類型多樣，存在采集到殘缺、虛假、過時(shí)數(shù)據(jù)的可能。因此，需要圍繞數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)標(biāo)注等關(guān)鍵環(huán)節(jié)開展面向未成年人的數(shù)據(jù)質(zhì)量監(jiān)管。以可測量指標(biāo)為主，以不可測量等觀察指標(biāo)為輔，從數(shù)據(jù)的完整性、一致性等方面對未成年人數(shù)據(jù)進(jìn)行全面管理和監(jiān)控，做到事前質(zhì)量檢查、事中運(yùn)行監(jiān)控、事后歸納總結(jié)，最終形成相對完整、規(guī)范、準(zhǔn)確、及時(shí)的標(biāo)準(zhǔn)數(shù)據(jù)集。

2. 工具集

開發(fā)具有一定技術(shù)規(guī)范的人工智能應(yīng)用評測工具，有效監(jiān)管人工智能應(yīng)用的規(guī)約性。在針對未成年人人工智能算法評測中，不僅要評測算法本身的有效性，同時(shí)要從多維度出發(fā)對面向未成年人的人工智能應(yīng)用質(zhì)量進(jìn)行監(jiān)管，包括對智能算法的有效度評測、社會性評測和倫理評測等。有效度評測指的是使用傳統(tǒng)的算法評測指標(biāo)對算法的精確度、準(zhǔn)確性等性能指標(biāo)進(jìn)行的評測，是算法評測的基礎(chǔ)環(huán)節(jié)[31]；社會性評測將人的發(fā)展性評價(jià)指標(biāo)引入算法評測中，指算法是否能促進(jìn)未成年人道德、情感、素養(yǎng)等社會屬性的全面健康發(fā)展；倫理評測從隱藏在算法背后的人工智能哲學(xué)問題進(jìn)行評測[32]，包括安全性評測、隱私性評測、公平性評測、可解釋性評測等。從三個(gè)維度出發(fā)，形成人工智能應(yīng)用監(jiān)管工具集，通過全面監(jiān)管，產(chǎn)生合乎規(guī)范設(shè)計(jì)的未成年人人工智能應(yīng)用產(chǎn)品，降低未成年人在使用技術(shù)的過程中產(chǎn)生的風(fēng)險(xiǎn)。

3. 評測監(jiān)測平臺

建設(shè)面向未成年人人工智能應(yīng)用評測監(jiān)測平臺，集質(zhì)量評測平臺與檢測平臺一體化。評測監(jiān)測平臺的主要目的是實(shí)現(xiàn)面向未成年人的人工智能應(yīng)用評測信息化和自動化。以人工智能技術(shù)等新興技術(shù)為底層支撐，在信息安全和隱私保護(hù)合規(guī)性框架下，能夠針對面向未成年人的特定應(yīng)用場景，依托標(biāo)準(zhǔn)規(guī)范完成對各類人工智能應(yīng)用的全面監(jiān)測處理。采用數(shù)據(jù)驅(qū)動的方式監(jiān)管未成年人使用人工智能產(chǎn)品的情況，通過監(jiān)控應(yīng)用數(shù)據(jù)的采集、分析過程以及決策結(jié)果，了解未成年人使用人工智能產(chǎn)品過程中的認(rèn)知、情感情況，確定人工智能技術(shù)是否會對未成年人的日常行為和心理健康產(chǎn)生影響。同時(shí)，基于數(shù)據(jù)分析結(jié)果，反向監(jiān)管人工智能產(chǎn)品的設(shè)計(jì)和開發(fā)過程，確保人工智能產(chǎn)品適合未成年人需求。平臺的搭建也可以同時(shí)考慮當(dāng)前的監(jiān)管需求和融入已有的技術(shù)架構(gòu)[33]。聯(lián)合既有的學(xué)生監(jiān)管平臺和家長守護(hù)平臺，建立“一站式”的未成年人人工智能應(yīng)用評測監(jiān)測平臺，既能對面向未成年人的人工智能應(yīng)用進(jìn)行評測和監(jiān)測，也能監(jiān)管未成年人的使用情況，并便于監(jiān)護(hù)人更深層介入，對未成年人的智能產(chǎn)品使用進(jìn)行個(gè)性化管理。

（二）探索應(yīng)用場景并提升場景多樣化監(jiān)測能力

隨著新一代人工智能技術(shù)的不斷進(jìn)步，傳統(tǒng)的教育手段正逐漸向信息化、智能化方向轉(zhuǎn)型[34]。當(dāng)前應(yīng)該搶抓機(jī)遇，積極發(fā)揮智能技術(shù)在促進(jìn)教育公平、提升教育質(zhì)量中的作用，不斷探索智能技術(shù)的教育應(yīng)用場景，推動其與教育教學(xué)深度融合，為建設(shè)高質(zhì)量的教育體系夯實(shí)基礎(chǔ)。

人工智能在教育中的應(yīng)用為教育形態(tài)帶來了變革[35]。隨著智能技術(shù)在教育領(lǐng)域的應(yīng)用不斷深入，人工智能在教育中的應(yīng)用場景已經(jīng)從單點(diǎn)轉(zhuǎn)換為多元化的應(yīng)用場景。人工智能技術(shù)圍繞教育實(shí)際需求，創(chuàng)新教育數(shù)字化核心場景，打造出一條“教、學(xué)、研、評、管”閉環(huán)鏈條。但是，隨著人工智能教育應(yīng)用場景的不斷拓展，在多元化海量驗(yàn)證過程中不斷反映出應(yīng)用產(chǎn)品和服務(wù)固有的技術(shù)缺陷，也持續(xù)暴露出政策法律、倫理輿情與市場反饋等社會性風(fēng)險(xiǎn)。這些在教育領(lǐng)域中的技術(shù)缺陷和風(fēng)險(xiǎn)將會給不同教育主體帶來不可預(yù)估的影響，特別是面向心智尚未成熟、世界觀尚未穩(wěn)定的未成年人。因此，人工智能在教育場景中的應(yīng)用需要有相應(yīng)的評測、監(jiān)管支持，從評測、管控視角廓清人工智能應(yīng)用的風(fēng)險(xiǎn)邊界，提升場景多樣化評測能力，檢測、定位、排查因智能技術(shù)的引入給教育帶來的風(fēng)險(xiǎn)，為未成年人提供健康的成長環(huán)境。

（三）完善面向未成年人的人工智能應(yīng)用監(jiān)管制度

人工智能應(yīng)用在給教育發(fā)展注入新動能的同時(shí)，技術(shù)不合理應(yīng)用導(dǎo)致的問題也深刻影響著未成年人的教育。未成年人保護(hù)一直是社會關(guān)注的重點(diǎn)。頒布完善且具有針對性的人工智能應(yīng)用監(jiān)管規(guī)章制度，是防范安全風(fēng)險(xiǎn)的需要，也是提升技術(shù)監(jiān)管能力水平、促進(jìn)未成年人健康發(fā)展的需要。

1. 企業(yè)監(jiān)管制度

應(yīng)加強(qiáng)對企業(yè)的監(jiān)督和風(fēng)險(xiǎn)控制，構(gòu)建集中統(tǒng)一、全面覆蓋、權(quán)威高效的企業(yè)審計(jì)監(jiān)督體系。督促企業(yè)按照審計(jì)監(jiān)督制度的要求，認(rèn)真組織做好內(nèi)部審計(jì)工作，在開發(fā)面向未成年人的人工智能應(yīng)用產(chǎn)品時(shí)，能夠做到及時(shí)發(fā)現(xiàn)問題，明確責(zé)任，防范和化解風(fēng)險(xiǎn)，提高產(chǎn)品開發(fā)的質(zhì)量，從源頭啟動人工智能應(yīng)用監(jiān)管。

2. 第三方檢測準(zhǔn)入制度

第三方測評機(jī)構(gòu)在人工智能應(yīng)用評測中扮演著重要角色。確保第三方測評平臺的獨(dú)立、公正、科學(xué)和專業(yè)是非常重要的。如果測評結(jié)果存在利益沖突等問題，會對人工智能應(yīng)用的知情權(quán)和選擇權(quán)造成侵害。因此，需要對第三方測評平臺進(jìn)行嚴(yán)格的監(jiān)管，確保其評測結(jié)果的獨(dú)立性和公正性。同時(shí)，有必要對人工智能應(yīng)用評測進(jìn)行法治化的系統(tǒng)治理，夯實(shí)企業(yè)主體責(zé)任，強(qiáng)化責(zé)任追究，彰顯法律引領(lǐng)威懾和懲戒的重要作用。特別是要針對面向未成年人的智能應(yīng)用，建立專門的第三方倫理、安全評估機(jī)構(gòu)和監(jiān)管機(jī)構(gòu)，實(shí)行標(biāo)準(zhǔn)統(tǒng)一的準(zhǔn)入制度。完善市場準(zhǔn)入效能評估指標(biāo)，穩(wěn)步開展準(zhǔn)入效能評估，確保人工智能應(yīng)用的安全性和合規(guī)性。

3. 未成年人線上監(jiān)管制度

使用互聯(lián)網(wǎng)及其各種服務(wù)是未成年人的基本權(quán)利，也是未成年人成長過程中能夠更好地參與社會生活的必要前提。保護(hù)未成年人，尤其是學(xué)齡前未成年人的網(wǎng)絡(luò)權(quán)益，不是限制，更不是剝奪未成年人使用互聯(lián)網(wǎng)的權(quán)利和自由，而是讓其養(yǎng)成良好的使用互聯(lián)網(wǎng)的習(xí)慣，不斷提升與自己的年齡相適應(yīng)的媒介素養(yǎng)。因此，政府在出臺相關(guān)政策的過程中，一定要注意用規(guī)則限制商業(yè)訴求對未成年人造成的不良影響，一定要通過設(shè)置更加有建設(shè)性的未成年人技術(shù)使用模式等，限制容易使未成年人上癮并有可能形成病態(tài)技術(shù)使用習(xí)慣的應(yīng)用開發(fā)和運(yùn)營。

（四）參與面向未成年人的人工智能應(yīng)用監(jiān)管國際規(guī)則制定

隨著人工智能技術(shù)的快速發(fā)展及其應(yīng)用領(lǐng)域的不斷擴(kuò)大，國際社會越來越關(guān)注人工智能應(yīng)用的影響和潛在風(fēng)險(xiǎn)。為了規(guī)范人工智能技術(shù)的合理應(yīng)用，特別是保護(hù)未成年人的權(quán)益和安全，國際社會需要制定統(tǒng)一的監(jiān)管規(guī)則。當(dāng)前，各國政府和組織已經(jīng)推出一系列人工智能應(yīng)用監(jiān)管條例。例如，歐盟提出的監(jiān)管條款指出，為保障人們的安全和正當(dāng)權(quán)利不受損害，高風(fēng)險(xiǎn)的人工智能應(yīng)用應(yīng)被禁止或受到限制[36]。我國國家互聯(lián)網(wǎng)信息辦公室也聯(lián)合多部門發(fā)布了《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》，明確表示對算法推薦類人工智能技術(shù)進(jìn)行合理監(jiān)管[37]。

在這個(gè)背景下，參與面向未成年人的人工智能應(yīng)用監(jiān)管國際規(guī)則制定，已經(jīng)成為各國政府和組織共同關(guān)注的議題。因此，我國應(yīng)當(dāng)積極參與未成年人的人工智能應(yīng)用監(jiān)管國際規(guī)則的制定，深入研究國際社會對人工智能應(yīng)用監(jiān)管的經(jīng)驗(yàn)和做法，結(jié)合我國未成年人特征，分析各國監(jiān)管模式的優(yōu)缺點(diǎn)和適用情況，為我國制定監(jiān)管規(guī)則提供參考；積極參與國際標(biāo)準(zhǔn)制定，爭取在國際標(biāo)準(zhǔn)制定過程中發(fā)揮積極作用，推動人工智能應(yīng)用監(jiān)管標(biāo)準(zhǔn)的國際化和標(biāo)準(zhǔn)化；應(yīng)加強(qiáng)國際合作和交流，促進(jìn)各國在未成年人的人工智能應(yīng)用監(jiān)管方面的協(xié)調(diào)和配合，共同應(yīng)對人工智能應(yīng)用監(jiān)管面臨的各種挑戰(zhàn)和困難，推動人工智能應(yīng)用監(jiān)管國際化、標(biāo)準(zhǔn)化、協(xié)同化發(fā)展。通過國際監(jiān)管規(guī)則的制定，以期在鼓勵(lì)智能技術(shù)創(chuàng)新應(yīng)用與保護(hù)未成年人的健康發(fā)展之間找到合理的平衡點(diǎn)，達(dá)到共贏的目標(biāo)。

（五）開展面向未成年人的人工智能應(yīng)用監(jiān)管社會實(shí)驗(yàn)研究

面向未成年人的人工智能應(yīng)用監(jiān)管機(jī)制的構(gòu)建和推行也是一個(gè)有待解決的問題。監(jiān)管機(jī)制如何合理有效地推行需要進(jìn)一步探究。因此，需要開展面向未成年人的人工智能應(yīng)用監(jiān)管社會實(shí)驗(yàn)研究，使未成年人的人工智能應(yīng)用監(jiān)管從理論規(guī)劃走向現(xiàn)實(shí)[38]。

首先，要建立教育數(shù)字化轉(zhuǎn)型試驗(yàn)區(qū)，評估面向未成年人的人工智能應(yīng)用反饋。發(fā)現(xiàn)人工智能教育工具對未成年人的潛在威脅，進(jìn)而針對潛在風(fēng)險(xiǎn)設(shè)計(jì)開發(fā)適用場景下的人工智能應(yīng)用監(jiān)管工具，從最大范圍內(nèi)減少人工智能工具對青少年的負(fù)面影響。需要注意的是，針對龐大的未成年人群體和不斷涌現(xiàn)的人工智能技術(shù)及其應(yīng)用模式的更新，單一的監(jiān)管工具難以實(shí)現(xiàn)全面的監(jiān)管，必須加強(qiáng)監(jiān)管手段和方法的創(chuàng)新，以多元化監(jiān)管方式為不同的應(yīng)用場景選取最合適的監(jiān)管工具，最大程度地提升監(jiān)管效能。

其次，聯(lián)合企業(yè)進(jìn)一步開展監(jiān)管工具嵌入后的人工智能應(yīng)用運(yùn)營服務(wù)監(jiān)管工作。通過構(gòu)建人工智能應(yīng)用監(jiān)管社會實(shí)驗(yàn)體系，結(jié)合人工智能技術(shù)影響下的社會實(shí)驗(yàn)新特點(diǎn)，圍繞數(shù)據(jù)、技術(shù)和政策三個(gè)要素，從研究介入和效果產(chǎn)生的“安全性”角度，一方面，營造“無威脅”的智能教育社會實(shí)驗(yàn)場景，另一方面，從人工智能工具評級、使用規(guī)范、科學(xué)引導(dǎo)和優(yōu)化支出等方面形成原創(chuàng)理論體系。同時(shí)聚焦人工智能技術(shù)與監(jiān)管工具的聯(lián)合應(yīng)用場景，設(shè)計(jì)開展一系列面向未成年人的人工智能應(yīng)用監(jiān)管社會實(shí)驗(yàn)，評估迭代反饋。進(jìn)一步研究監(jiān)管工具嵌入后，人工智能應(yīng)用的運(yùn)行模式對未成年人的使用習(xí)慣等產(chǎn)生的影響，是否能規(guī)避或減輕智能教育工具給未成年人帶來的風(fēng)險(xiǎn)等。通過持續(xù)的跟蹤調(diào)查社會實(shí)驗(yàn)，形成面向未成年人的人工智能應(yīng)用監(jiān)管理論體系，制定人工智能工具引入未成年人教育領(lǐng)域的引導(dǎo)性評級，推動相關(guān)法律法規(guī)的形成。

五、結(jié)? ?語

人工智能應(yīng)用深刻影響著未成年人的生活、學(xué)習(xí)等方面，然而，未成年人正處于身心發(fā)展、價(jià)值觀形成的階段，技術(shù)的發(fā)展如果不加以監(jiān)管，將會帶來諸多安全倫理問題。文章首先對未成年人使用人工智能應(yīng)用的風(fēng)險(xiǎn)與監(jiān)管挑戰(zhàn)進(jìn)行分析，明確了為未成年人提供安全可靠的人工智能應(yīng)用輔助工具的重要性和迫切性；其次，對面向未成年人的人工智能應(yīng)用監(jiān)管框架進(jìn)行界定，創(chuàng)造良好的環(huán)境作為保障目標(biāo)；最后，通過探索面向未成年人的人工智能應(yīng)用監(jiān)管善治路徑，提出從以未成年人為中心的人工智能應(yīng)用監(jiān)管技術(shù)體系構(gòu)建框架、探索提升場景多樣化評測機(jī)制、完善面向未成年人的人工智能應(yīng)用監(jiān)管制度、參與面向未成年人的人工智能應(yīng)用監(jiān)管國際規(guī)則制定、開展面向未成年人的人工智能應(yīng)用監(jiān)管社會實(shí)驗(yàn)研究的善治路徑。明確了未成年人人工智能應(yīng)用監(jiān)管的關(guān)鍵要素和指標(biāo)，保障未成年人在倫理監(jiān)管的框架下得到健康發(fā)展。

[參考文獻(xiàn)]

[1] 胡凡剛，孟志遠(yuǎn)，龐茗月，等. 基于歐盟人工智能倫理準(zhǔn)則的教育虛擬社區(qū)倫理：規(guī)范構(gòu)建與作用機(jī)制[J]. 遠(yuǎn)程教育雜志，2019， 37（6）： 41-49.

[2] 曠視.《人工智能應(yīng)用準(zhǔn)則》倡導(dǎo)AI技術(shù)健康可持續(xù)發(fā)展[J]. 黑龍江紡織，2019，153（3）：38.

[3] 陳凡，賈璐萌.技術(shù)控制困境的倫理分析——解決科林格里奇困境的倫理進(jìn)路[J].大連理工大學(xué)學(xué)報(bào)（社會科學(xué)版），2016，37（1）： 77-82.

[4] 顧小清.當(dāng)現(xiàn)實(shí)逼近想象：人工智能時(shí)代預(yù)見未來教育研究[J].開放教育研究，2021，27（1）：4-12.

[5] 祝智庭，韓中美，黃昌勤. 教育人工智能（eAI）：人本人工智能的新范式[J].電化教育研究，2021，42（1）：5-15.

[6] 劉三女牙，孫建文.人工智能時(shí)代的課堂創(chuàng)變：解構(gòu)與重構(gòu)[J]. 國家教育行政學(xué)院學(xué)報(bào)，2021，285（9）： 16-22.

[7] 李曉巖，張家年，王丹. 人工智能教育應(yīng)用倫理研究論綱[J].開放教育研究，2021，27（3）：29-36.

[8] 岳平，苗越. 社會治理：人工智能時(shí)代算法偏見的問題與規(guī)制[J]. 上海大學(xué)學(xué)報(bào)（社會科學(xué)版），2021，38（6）：1-11.

[9] 彭蘭. 算法社會的“囚徒”風(fēng)險(xiǎn)[J]. 全球傳媒學(xué)刊，2021，8（1）： 3-18.

[10] 王錚，曾薩，安金肖，黃菁茹. 歐盟《一般數(shù)據(jù)保護(hù)條例》指導(dǎo)下的數(shù)據(jù)保護(hù)官制度解析與啟示[J].圖書與情報(bào)，2018（5）：119-125.

[11] 國家新一代人工智能治理專業(yè)委員會.《新一代人工智能倫理規(guī)范》發(fā)布[J].機(jī)器人技術(shù)與應(yīng)用，2021，203（5）：1-2.

[12] 北京智源人工智能研究院《面向兒童的人工智能北京共識》發(fā)布[J]. 中小學(xué)信息技術(shù)教育，2020（10）：6.

[13] 陳浩，鄭如月.近十年國內(nèi)人工智能教育倫理可視化分析[J]. 教育信息技術(shù)，2022（3）：64-68.

[14] 田賢鵬. 隱私保護(hù)與開放共享：人工智能時(shí)代的教育數(shù)據(jù)治理變革[J].電化教育研究，2020，41（5）：33-38.

[15] 尹敏.人工智能應(yīng)用中的隱私保護(hù)問題研究[D].山東：山東科技大學(xué)，2020.

[16] 茍學(xué)珍.智能時(shí)代教育數(shù)據(jù)安全的倫理規(guī)約簡論[J]. 電化教育研究，2021， 42（9）： 35-40.

[17] 郭利強(qiáng)，謝山莉. 融入AI的數(shù)字教材編制：倫理審視與風(fēng)險(xiǎn)化解[J].遠(yuǎn)程教育雜志，2021，39（4）：104-112.

[18] 王旦，張熙，侯浩翔. 智能時(shí)代的教育倫理風(fēng)險(xiǎn)及應(yīng)然向度[J].教育研究與實(shí)驗(yàn)，2021（4）：34-39.

[19] 胡小勇，孫碩，楊文杰，丁格瑩.人工智能賦能教育高質(zhì)量發(fā)展：需求、愿景與路徑[J].現(xiàn)代教育技術(shù)，2022，32（1）：5-15.

[20] 顧小清，李世瑾，李睿. 人工智能創(chuàng)新應(yīng)用的國際視野——美國NSF人工智能研究所的前瞻進(jìn)展與未來教育展望[J].中國遠(yuǎn)程教育，2021（12）： 1-9，76.

[21] 李子運(yùn).人工智能賦能教育的倫理思考[J].中國電化教育，2021（11）：39-45.

[22] 張立國，劉曉琳，常家碩.人工智能教育倫理問題及其規(guī)約[J].電化教育研究，2021，42（8）：5-11.

[23] 張娜，候靜怡，賀威，劉家煒.中小學(xué)人工智能應(yīng)用的倫理教育研究[J].中國教育信息化，2021，506（23）：49-52.

[24] 崔志根.人工智能倫理困境及其破解[D].北京：北京郵電大學(xué)，2021.

[25] 鄧國民，李梅.教育人工智能倫理問題與倫理原則探討[J]. 電化教育研究，2020，41（6）：39-45.

[26] 趙磊磊，吳小凡，趙可云.責(zé)任倫理：教育人工智能風(fēng)險(xiǎn)治理的時(shí)代訴求[J].電化教育研究，2022，43（6）： 32-38.

[27] 沈苑，汪瓊.人工智能在教育中應(yīng)用的倫理考量——從教育視角解讀歐盟《可信賴的人工智能倫理準(zhǔn)則》[J]. 北京大學(xué)教育評論，2019，17（4）：18-34，184.

[28] 苗逢春. 教育人工智能倫理的解析與治理——《人工智能倫理問題建議書》的教育解讀[J].中國電化教育，2022（6）：22-36.

[29] 中共中央辦公廳，國務(wù)院辦公廳.關(guān)于加強(qiáng)科技倫理治理的意見[J].中華人民共和國國務(wù)院公報(bào)，2022，1765（10）：5-8.

[30] 崔鐵軍，李莎莎.人工系統(tǒng)中數(shù)據(jù)—因素—算力—算法作用及相互關(guān)系研究[J].智能系統(tǒng)學(xué)報(bào)，2022，17（4）：772-779.

[31] 謝躍. 基于語音的言語置信度評測算法研究[D].南京：東南大學(xué)，2019.

[32] 孟天廣，李珍珍. 治理算法：算法風(fēng)險(xiǎn)的倫理原則及其治理邏輯[J].學(xué)術(shù)論壇，2022，45（1）：9-20.

[33] 曾馨花.基于云平臺的人工智能檢測平臺應(yīng)用研究[J]. 中國測試，2021，47（10）：170.

[34] 馬陸亭.教育要主動助力新一代人工智能發(fā)展[J].師資建設(shè)，2019（7）：16-19.

[35] 祝智庭，胡姣.教育數(shù)字化轉(zhuǎn)型的理論框架[J].中國教育學(xué)刊，2022（4）：41-49.

[36] 吳沈括，胡然.歐盟委員會2021年《人工智能法》提案研究[J].中國審判，2021（9）：4.

[37] 國家互聯(lián)網(wǎng)信息辦公室.互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定[J].中華人民共和國國務(wù)院公報(bào)，2022（9）：71-75.

[38] 呂明杰，王平，魏闕.從“智能社會治理實(shí)驗(yàn)”的視角解讀數(shù)字化改革[J].信息化建設(shè)，2022（1）：20-21.

Artificial Intelligence for Good： An Exploration of the Supervision of Artificial Intelligence Application for Minors

—Research on Technical Specifications of Artificial Intelligence for Minors （3）

NI Qin1，? HE Liang2，? WANG Yingying2，? BAI Qingchun3，? WU Yonghe4

（1.Education Big Data and Education Decision Lab， Shanghai Normal University，Shanghai 200234;

2.Shanghai Institute of Intelligent Education， East China Normal University， Shanghai 200062；

3.Shanghai Engineering and Technology Research Center of Open and Distance Education， Shanghai Open University， Shanghai 200433； 4.Department of Educational Information Technology， East China Normal University， Shanghai 200062）

[Abstract] The harmonious symbiosis between artificial intelligence （AI） application and minors is an urgent task at present. As minors are in the critical period of cognitive and psychological development， they need more supervision and attention during their growth and development. In view of the risks and challenges in the current supervision of AI applications， this paper starts from the top-level design of the supervision framework of AI application for minors， and puts forward a path of good governance for the supervision of AI applications for minors. The top-level design of the supervision framework focuses on respecting human autonomy， improving the initiative of minors and optimizing the supervision mechanism， including the connotation of supervision， technical principles and components. The path of good supervision and governance starts from the construction of "minor-centered" evaluation and supervision technology， explores the improvement of diversified evaluation mechanisms for scenarios， improves the supervision system of AI application for minors， participates in the formulation of international rules for the supervision of AI application for minors， and carries out social experimental research on the supervision of AI application for minors. Through the construction of the research framework and the implementation path of good governance， it is expected to provide useful reference for the technical specifications of artificial intelligence for minors.

[Keywords]? Artificial Intelligence; Application Supervision; Minors; Safety Ethics

基金項(xiàng)目：2021年度國家社科基金重大項(xiàng)目“面向未成年人的人工智能技術(shù)規(guī)范研究”（項(xiàng)目編號：21&ZD328）；2022年度國家自然科學(xué)基金青年基金“基于深度強(qiáng)化學(xué)習(xí)的自適應(yīng)學(xué)習(xí)路徑推薦研究”（項(xiàng)目編號：6210020445）