沈苑 汪瓊

[摘? ?要] 人工智能教育應用的倫理風險可能成為阻滯其發(fā)展的重要影響因素。文章從倫理價值角度出發(fā)，分析了人工智能應用于教育中會出現(xiàn)的典型倫理困境以及教育環(huán)境中處理倫理問題的特殊性，建議采用價值敏感設計作為突破上述困境的方案。在面臨準確與透明、隱私與效用、自主與效率、個性與交流等價值沖突造成的倫理困境時，傳統(tǒng)的倫理解決方案會在教育環(huán)境下面臨多重挑戰(zhàn)，價值敏感設計作為一種將倫理考量嵌入技術設計的高效方法，堅持人與技術動態(tài)交互，要求技術設計彰顯利益相關者的價值，采用三方方法論在技術設計前期規(guī)避潛在的倫理風險，能夠有效推動可信賴的人工智能在教育中的發(fā)展。在對人工智能教育應用開展價值敏感設計的過程中，研究者需持中立、開放、敏感的態(tài)度，在保持對價值敏感的前提下靈活地選擇研究方案，將價值敏感設計擴展到人工智能的全生命周期。

[關鍵詞] 價值敏感設計； 人工智能； 教育應用； 倫理困境； 價值沖突

[中圖分類號] G434? ? ? ? ? ? [文獻標志碼] A

[作者簡介] 沈苑（1996—），女，江蘇蘇州人。博士研究生，主要從事人工智能教學應用倫理的研究。E-mail：shenyuan@pku.edu.cn。汪瓊為通訊作者，E-mail：wangqiong@pku.edu.cn。

基金項目：教育部科技司2022年教育領域智能社會研究“智能教學環(huán)境人機合作平衡點探查”（項目編號：D2022010）；2022年江蘇高等教育學會《江蘇高教》專項課題“人工智能高等教育應用倫理研究”（課題編號：2022JSGJKT001）

一、引? ?言

近年來，人工智能（Artificial Intelligence，簡稱AI）技術以其特有的學習和預測能力受到教育學界的廣泛關注。AI在給教育領域帶來巨大變革的同時，因價值沖突引發(fā)的倫理困境也逐漸浮出水面。比如，通過捕捉學生上課的面部表情和行為來評判課堂教學效果、基于學生以往的學業(yè)表現(xiàn)來預測畢業(yè)率、使用機器人助教輔助同伴學習等做法，都或多或少在信息安全性、判定準確性、決策自主性等方面受到批判[1]。因此，識別、分析和化解AI在教育中面臨的倫理困境，是建設可信賴的人工智能教育（AI in Education， 簡稱AIED）生態(tài)系統(tǒng)的必經(jīng)之路。在信息科學、計算機工程等學科受到廣泛應用的價值敏感設計（Value Sensitive Design，簡稱VSD）為推動AIED倫理治理提供了重要的方法論立場，有助于平衡工具理性與價值理性，實現(xiàn)人與技術的互相成就與發(fā)展。

基于上述背景，本研究以價值沖突作為切入點，分析了AIED應用所面臨的四類倫理困境，討論了傳統(tǒng)的倫理困境解決方案在教育領域面臨的挑戰(zhàn)，進一步闡明了VSD作為突破上述困境的可選方案在理念和方法論上所具備的優(yōu)勢。

在哲學和心理學中，價值或價值觀具有不同的定義。為避免語義混淆，本研究統(tǒng)一采用“價值”來指代“Value”，參照VSD的創(chuàng)始者芭提雅·弗里德曼（Batya Friedman）在其著作《人類價值與計算機技術設計》（Human Values and the Design of Computer Technology）中給出的解釋，定義本研究中的 “價值”是聚焦于倫理范疇下的人覺得重要的事物[2]。

二、人工智能技術應用于教育的倫理困境

一項教育技術從設計到使用涉及大量直接和間接利益相關者，包括投資者、設計者、推廣者、研究者、使用者等。不同的利益相關者在對技術的價值進行認知、取向、定位時常常存在觀念上的差異[2]，技術設計與使用也因此不可避免地陷入多元化的價值取向之中，當價值沖突積攢到一定程度就會形成倫理困境。通過梳理相關研究，可以發(fā)現(xiàn)AI在教育中的應用存在著四類典型的價值沖突。

（一）準確與透明的價值沖突

長期以來，準確和透明之間的沖突是人工智能領域一項備受關注的議題。一方面，在教育領域，AIED判斷和預測的準確性會影響師生的使用意愿。在一個AI助理幫助學生規(guī)劃就業(yè)的項目中發(fā)現(xiàn)，學生普遍反映系統(tǒng)給出的建議不夠準確，比如，給學生推薦與他們專業(yè)無關的課程、不適合新手的實習崗位、離家很遠的公司[3]。另一方面，算法模型的透明度也是影響用戶信任的重要因素。有研究者指出，相較于一個非常準確的AI系統(tǒng)，師生會更喜歡一個可解釋的系統(tǒng)[4]。下述案例解釋了低透明度的算法會帶來的風險：有研究者發(fā)現(xiàn)一所醫(yī)院的服務機器人在其肺炎患者數(shù)據(jù)集中學習到了這樣一條規(guī)則：“有哮喘（x）？圯 低風險（x）”，即哮喘患者死于肺炎的風險較低。機器為什么會學習到這樣一條反常識的規(guī)則呢？事實上，有哮喘的病人如果得了肺炎會被直接送到ICU，接受到比普通人群更加積極有效的治療，降低了他們死于肺炎的風險。正因為如此，機器學習模型“誤以為”是哮喘降低了風險，而實際上哮喘患者如果不住院的話死于肺炎的風險要高得多。在這個案例中，設計者發(fā)現(xiàn)智能系統(tǒng)學習到了此規(guī)則之后對其進行了矯正，避免了可能產(chǎn)生的風險[5]。但如果此機器人采用了透明度更低的算法模型，設計者就可能無法及時發(fā)現(xiàn)這個問題，致使患有肺炎的哮喘病人聽從系統(tǒng)建議而不住院治療，造成生命危機。

根據(jù)目前人工智能技術發(fā)展的情況來說，準確與透明往往難以兼得。一些更加準確的模型（如增強樹、隨機森林、神經(jīng)網(wǎng)絡）大多缺乏可解釋性，而一些比較容易理解的模型（如邏輯回歸、樸素貝葉斯、單決策樹）所做出的預測又不夠準確。雖然有許多技術從業(yè)者正致力于提升算法透明度，但如何兼顧這兩項價值依舊是當前AIED面臨的重要挑戰(zhàn)。

（二）隱私與效用的價值沖突

AIED需要高質(zhì)量的教育數(shù)據(jù)輸入才能可靠地運行起來，如果數(shù)據(jù)量不足、缺少代表性或質(zhì)量不佳，都會影響到技術效用。雖然在數(shù)字時代，采用技術手段收集教育數(shù)據(jù)對于師生來說已經(jīng)不是新鮮事，但AI極大地擴展了個人信息收集的場景、范圍和數(shù)量，打破了傳統(tǒng)的隱私邊界。隨著自然語言處理和圖像識別技術的發(fā)展，師生的日常對話、表情、行動都可能處于“被監(jiān)視”的狀態(tài)之下，使師生處于明顯的弱勢地位。在數(shù)據(jù)收集方式上，某些教育機構(gòu)或企業(yè)會對學習者進行不間斷的監(jiān)控、過度收集和囤積數(shù)據(jù)。在數(shù)據(jù)類型方面，設想如果某AIED收集和分析學生的家庭關系、經(jīng)濟情況、個人性取向等高度敏感數(shù)據(jù)，很可能造成利益相關者的強烈抵觸。在數(shù)據(jù)管理和共享方面，研究者、技術企業(yè)、學生家長都可能想要訪問教育數(shù)據(jù)，會增加數(shù)據(jù)泄漏和濫用的隱患。

來自普林斯頓大學的研究者所編寫的一個虛擬案例，展現(xiàn)出了隱私與效用沖突的形成過程：某校和AI企業(yè)合作收集了大量的學生數(shù)據(jù)，除了學生的作業(yè)情況、考試成績、上課表現(xiàn)、出勤記錄，還有學生進出圖書館、購買零食或午餐、互聯(lián)網(wǎng)使用情況等記錄，以識別出影響學生升學的因素并預測下一屆無法畢業(yè)的學生。根據(jù)校長的經(jīng)驗，家長很可能會反對，他們會擔心數(shù)據(jù)泄漏或者孩子被區(qū)別對待，但考慮到提高升學率的緊迫性，校長決定先不告訴學生和家長。學生和家長在新聞上得知此事后，即刻爆發(fā)了抗議——家長反映將大量學生數(shù)據(jù)交給商業(yè)公司無疑是侵犯了學生的隱私，也有許多學生反映他們不喜歡被視為研究對象[6]。在這個案例中，正是因為學生、家長、校長、企業(yè)等利益相關者對于隱私和效用的價值排序不同，導致了倫理困境的產(chǎn)生。

（三）自主與效率的價值沖突

正如自動駕駛領域中被廣泛討論的人和自動駕駛汽車應該分別承擔什么樣的角色一樣，在教學過程中的人和AI應該分別扮演什么樣的角色才能在自主（Agency）和效率之間取得平衡，是AIED應重點考量的內(nèi)容。教學主體的自主意味著師生能夠自己設定目標、作出反思和負責任地行動。調(diào)查表明，大部K-12教師對于AIED抱有矛盾的態(tài)度：一方面，他們認同AI能夠代替教師完成部分工作，提升工作效率；另一方面，他們擔心教師角色被AI取代，喪失自主性[7]。

自主與效率之間的沖突源自于設計者和師生希望技術在課堂上承擔的角色有所不同。目前，國內(nèi)外各教育階段都開始嘗試使用助教機器人來提升教學效率（如國內(nèi)用于學前教育的Keeko、德國用于高校教學的Yuki、美國用于STEM教育的NAO等）。有研究表明，機器人擬人化是提升用戶信任的重要因素[8]，但對于教育領域來說，師生之間的權(quán)威關系以及學生之間的互惠學習關系使得課堂互動本身就具有特殊的倫理屬性，機器人的介入反而可能損害到師生的自主性[7]。還有研究發(fā)現(xiàn)，當課堂上的AI助教“假裝自己是人”的時候（如揣測學生的情感、擅自幫教師做決定），會引發(fā)師生的不適感和情感負擔[9]。

（四）個性與交流的價值沖突

在教育領域使用人工智能的主要目的是希望借助機器學習技術提供個性化學習服務，緩解教育過程中資源分配不公平。但多項面向師生的調(diào)查發(fā)現(xiàn)，過度集中于個性化目標的人機互動可能會阻礙到課堂上師生或同學之間的真實交流[7，10] 。

比如有研究者觀察了智能導師系統(tǒng)（Intelligent Tutoring System，簡稱ITS）支持下的課堂協(xié)作過程，發(fā)現(xiàn)由于ITS強調(diào)滿足學生的個性化需求，導致學生很難在課堂上去專注達成集體目標。而且ITS基于學生的個人學習軌跡提供個性化指導，導致學生之間對于同一知識點的了解情況有所差異，因此，課堂上的學生協(xié)作活動效果不佳，教師指出“學生實際上在課堂上是孤獨的”[11]。還有教師表示擔憂，借助AI軟件學習外語會減少學生與他人自由對話的機會和欲望，從長期來看不利于提升口語[10]。

三、傳統(tǒng)倫理解決方案在教育中面臨的挑戰(zhàn)

在技術發(fā)展過程中，化解倫理困境的方式多種多樣，如事后修補、改進技術設計、出臺倫理原則等。但是，AI應用于教育領域的過程中，面臨著試錯成本高、利益相關者缺位、倫理原則難落地這三大挑戰(zhàn)，以至于很難單純借助傳統(tǒng)的解決方案來擺脫倫理困境。

（一）AIED在教育領域的試錯成本高

教育實踐復雜且隱晦，教育者、受教育者、技術、實踐效果之間相互作用、相互規(guī)定。與其他AI應用領域不同，在教育領域?qū)嵤┠稠椉夹g干預所帶來的影響無法被快速、直接地觀察到，導致試錯成本高。如果針對倫理困境采用事后修補方法，必然意味著已經(jīng)造成了某些負面影響。

一方面，教育領域中試錯的時間成本高。用戶在電商平臺買到不合適的產(chǎn)品可以立即辨別然后退貨，但一項教育技術的實際效果卻很難從幾節(jié)課上判斷出來，而是需要長期的、科學的教育評估。在這個長期過程中，學生可能會遭受不可逆的負面影響。另一方面，教育領域中試錯的機會成本很高。與醫(yī)療和交通領域中生死一線的問題相比，在教育中出錯的后果似乎顯得不是那么“慘烈”，但當一項不恰當?shù)募夹g被應用于教育中必將意味著學生失去了在此教育階段得到更優(yōu)質(zhì)教育的機會，可能會錯過最佳的教育時機。

也正因為如此，相較于各種互聯(lián)網(wǎng)商業(yè)模式近年來在不斷地試錯中迅猛發(fā)展，盡管計算機輔助教學在20世紀50年代就開始發(fā)展，但至今仍舊面臨著關于隱私、知識產(chǎn)權(quán)、網(wǎng)絡成癮等方面的爭議。如果AIED不加以精心設計就貿(mào)然進入教育領域，從長期來看同樣會受到大量關于倫理的質(zhì)疑。而且具有自我學習能力的AI往往多用于分析、預測這些原本只有人類才能完成的任務，會引發(fā)更多關于自主性、透明度、責任分配的問題。因此，在AIED產(chǎn)品的早期設計階段就需要前攝性地將倫理納入考量，以降低甚至消滅在教育情境下的試錯風險。

（二）教學主體在AIED設計中的缺位

改進技術設計也是規(guī)避技術倫理風險的典型手段，但在當前人工智能教育應用的相關研究中呈現(xiàn)出明顯的教學主體缺位現(xiàn)象，導致技術改進難以觸及真實用戶的痛點。筆者以字符串“artificial intelligence” AND （ethic* OR moral OR responsible* OR trust*） AND （teaching OR education OR learning） NOT “machine learning” NOT “ethics education” 在IEEE Xplore、 Wiley Online、 ERIC、 ACM、 Web of Science五個數(shù)據(jù)庫中進行檢索。在檢索到的1645項研究中，僅有26項研究采用實證方法調(diào)查了師生對于AIED的了解程度或態(tài)度，其中，只有9項研究的主題與倫理高度相關。

可以發(fā)現(xiàn)，盡管目前學界對AIED倫理的關注度較高，但是利益相關者的真實觀點在技術發(fā)展過程沒有受到充分的重視。對于研究者所作出的風險預測（如學習分析可能會侵犯隱私、機器人可能會取代人類教師、人臉識別可能阻礙學生的情緒表達能力發(fā)展），目前，缺少教育場景下的證據(jù)來證明這些預測的準確性。另外，師生的價值傾向也可能與技術設計者預想的不同。AI研發(fā)企業(yè)致力于提升產(chǎn)品的響應速度和預測準確性，但有研究者指出，比起系統(tǒng)的準確性或者個性化程度，教師更看重透明度[4]。有研究者設計的一個聊天機器人原型，為了滿足透明的要求，以“我察覺到你有些孤單……”來開啟聊天，但學生卻反映不喜歡被機器人揣測自己的感受[9]。因此，為了能夠設計出真正能滿足師生需求的AIED產(chǎn)品，需要積極開展實證研究去了解在最終應用環(huán)境中利益相關者的價值取向，才能做出有效的技術改進。

（三）AI倫理原則在教育中“水土不服”

近年來，各國政府、企業(yè)聯(lián)盟和學術機構(gòu)都積極制定AI倫理原則，如歐盟出臺的《可信賴的人工智能倫理準則》、原子塔——歐洲科學媒體和民主研究所的《美好AI社會的倫理框架》、我國發(fā)布的《新一代人工智能治理原則——發(fā)展負責任的人工智能》等，以期指導、規(guī)范AI產(chǎn)品和服務。筆者對五篇AI倫理領域內(nèi)權(quán)威專家的綜述文章中的關鍵主題進行編碼分析，發(fā)現(xiàn)目前AI倫理領域的話語顯著收斂于“透明可解釋”“公平”“自主”“安全”“隱私”“責任”“社會福祉”這七個主題下。但聚焦于教育領域，宏觀的AI倫理原則與實際研發(fā)和應用之間還存在著巨大的鴻溝，僅將AI倫理原則生搬到教育領域可能會出現(xiàn)“水土不服”的情況，具體原因可以從下列四個方面進行分析：

第一，由于提出AI倫理原則的哲學家們大多遵循的是傳統(tǒng)倫理學中自上而下的研究路徑，以一般的倫理原則（如安全、無害）為起點來推測AI應用的潛在風險，但尚不能確定這種“假定”的風險究竟是否會真的出現(xiàn)、利益相關者究竟是否會將其視作風險。任何倫理設計和倫理規(guī)范能否真正發(fā)揮效用、能否真正貫穿于教育教學過程中，與教育參與主體的個體心理狀態(tài)密切相關。如果缺少對于AIED發(fā)展情況、技術原理、教育現(xiàn)實的深入分析，其效果只能是“隔靴搔癢”，很難為師生破解倫理困境提供直接有效的指導。

第二，即便有研究者提出了專門針對AIED的倫理原則，但如何將原則轉(zhuǎn)譯為易于理解、具有可操作性的行動仍舊是一項重大的挑戰(zhàn)。例如，Aiken和Epstein提出，“AIED應該營造促進探究和好奇心的環(huán)境鼓勵學生學習和探索”“AIED不應該試圖取代教師，而應該幫助教師勝任原本難以達到的創(chuàng)造型新角色”[12]，但如何在技術細節(jié)和教育實踐中落實這些要求，還需要更多證據(jù)的支持。

第三，當前AI倫理原則之間缺少優(yōu)先級，多條原則在實際應用中可能產(chǎn)生沖突。比如，高透明度和高準確度在機器學習中難以兼得、在強調(diào)平等的時候弱勢學生群體遭遇邊緣化、在追求個性化的路上犧牲師生隱私……事實上，如前文所述的四類倫理困境并非因為缺少倫理原則才出現(xiàn)，而是因為在某些特定情況下無法同時實現(xiàn)多條倫理原則才致使價值沖突。讓我們設想一個“知情”和“無害”原則的沖突情境：某AIED系統(tǒng)在收集學生大量個人數(shù)據(jù)來預測學情之前要獲得所有學生的知情同意，確保他們知道自己的哪些數(shù)據(jù)會被收集和做什么用途。然而，研發(fā)者耗費了大量的時間來開發(fā)學生可理解的說明文本、與學生進行溝通，但某些升學率不理想的學?？赡苷诩逼鹊氐却@個產(chǎn)品來改進教學，如果無法及時使用此產(chǎn)品，對他們來說也是一種傷害。對于這類情況來說，倫理原則無法起到化解沖突的作用，反而將利益相關者置于進退兩難的境地。

第四，當前AI倫理原則缺乏配套的問責、處罰和糾偏機制，主要依賴行動主體的自我規(guī)制，這可能導致AIED的研發(fā)者和使用者將倫理原則當成不具約束力的附加要求。一項對比實驗發(fā)現(xiàn)，閱讀倫理準則不會對技術研發(fā)人員在倫理困境下的決策產(chǎn)生顯著影響[13]。僅依靠倫理原則來規(guī)范AIED最多只能達到“弱約束”的效果，要建立起可信賴的AIED生態(tài)系統(tǒng)不但需要外在規(guī)約，更需要回歸內(nèi)在的人類價值，使技術真正成為幫助人類實現(xiàn)價值的有效工具。

四、VSD作為突破困境的新方案

（一）VSD的起源與發(fā)展

采用傳統(tǒng)的倫理解決方案難以擺脫AI應用于教育所面臨的倫理困境，應用倫理學領域多年來所倡導的“設計轉(zhuǎn)向”（Design Turn）為突破困境提供了新的進路。設計轉(zhuǎn)向強調(diào)通過現(xiàn)實體制和物質(zhì)條件的設計實現(xiàn)倫理目標，比如，用減速帶幫助用戶遵守交通規(guī)范、用通俗易懂的cookie說明提升用戶的知情程度。在設計轉(zhuǎn)向的風潮下，人們開始采用各種在技術設計中嵌入人類價值的策略，如參與式設計（Participatory Design）、以用戶為中心的設計（User-centered Design）、價值敏感設計（Value Sensitive Design，VSD）等。

相較于前兩種強調(diào)功能性價值的設計方法，VSD更強調(diào)倫理價值（如知情同意、信任、安全）。倫理價值是人們出于福祉、正義、尊嚴的考慮所作出的判斷，并不能與個人偏好、經(jīng)驗事實混為一談。芭提雅·弗里德曼（Batya Friedman）等人在20世紀90年代首次提出VSD，主張系統(tǒng)設計要彰顯并均衡利益相關者的價值，使?jié)撛诘膫惱盹L險在設計階段就得以解決。弗里德曼提出了13項系統(tǒng)設計中的常見價值，包括：人類幸福、所有權(quán)和產(chǎn)權(quán)、隱私、不受偏見、普遍可用、信賴、自主、知情同意、問責、禮貌、身份、平靜和環(huán)境可持續(xù)性[14]。

VSD起初多被用于信息通信技術領域，因其具備充分的包容性與靈活性，后被推廣至制造、建筑、交通、制藥等領域。VSD也廣受國外AI研究者的青睞，如有研究者提出了以關懷價值為中心的護理機器人設計（Care Centred Value Sensitive Design， CCVSD）[15]、造益社會的人工智能設計（AI for Social Good）[16]。相較于日臻成熟的國外研究，我國的VSD研究還處于介紹和引進階段，鮮有本土化的實證案例研究。

（二）VSD的核心主張

VSD的核心主張為識別和分析教育中的AIED倫理困境提供了重要的理論“透鏡”。

1. 堅持人與技術動態(tài)交互的基本立場

技術在人與世界的關系中起著橋梁作用，不但影響著人對外在世界的感知，還影響著人的行為方式。VSD主張人與技術之間存在動態(tài)交互的關系，這種觀點要求我們在識別AIED倫理困境時要持續(xù)關注利益相關者在困境下的角色作用與行動軌跡。

首先，人與技術之間的交互關系意味著人類創(chuàng)造了技術，而技術的設計特征和使用情境又會激發(fā)人類特定的思維、行為和價值模式，反過來塑造人類經(jīng)驗和社會。正如弓箭的發(fā)明為人類提供了在安全距離內(nèi)殺死敵人的可能性，從而改變了社會道德格局一樣，當某件在傳統(tǒng)教育中不可能的事在AI支持下變?yōu)榭赡埽ㄈ缗恼账杨}、預測輟學率、標記“有風險”的學生），就為人的行動開辟出了新的道德可能性。人的價值決策不再僅僅是內(nèi)在的價值選擇，而是在技術規(guī)范下的選擇。所以，需要從設計階段就提前考慮技術在最終應用場景下會賦予人怎樣的行動機會、又會對人造成何種影響。

此外，人類與技術的交互關系呈現(xiàn)出動態(tài)特征。在技術、個人、社會的相互作用過程中，各種正負面的影響會持續(xù)形成與消解。這種動態(tài)性要求技術研發(fā)者與研究人員要在AIED全生命周期中對各類潛在影響保持充分警覺，持續(xù)尋求倫理維度的現(xiàn)實關照，推動技術優(yōu)化多輪迭代。

2. 技術設計應彰顯各方利益相關者的價值

弗里德曼指出，技術并不是中立的，價值體現(xiàn)在技術特征之中[14]。VSD要求技術所彰顯的價值具有科學性和代表性，使利益相關者可以使用技術做他們想做的事，防止不該發(fā)生的事情發(fā)生。這種觀點要求我們在識別和分析AIED倫理困境時考慮到盡可能多的利益相關者們分別持有的價值取向。

AIED涉及大量的利益相關者，包括直接利益相關者（即與技術直接發(fā)生互動的人，如教師和學生）、間接利益相關者（即不直接使用技術但會受到影響的人，如旁觀孩子和機器人對話的家長、校園監(jiān)控系統(tǒng)中作為數(shù)據(jù)點的行人、學生家長）、技術設計者、資助技術開發(fā)和部署的機構(gòu)、媒體、保險公司等。弗里德曼還特別指出了兩類易被忽視的利益相關者。第一類是可能因技術引導而做出利他行動的人（Pro-social Stakeholder），比如，智能穿戴設備應該在設計上考慮到如何在緊急情況下引導路人為運動者提供幫助。第二類是像老人、貧困者、名人、小眾宗教信仰者等特殊人群，比如，在設計某款AIED軟件時應該考慮到陪同兒童共同學習的祖父母的價值。

另外，個體在不同情境下會切換利益相關者角色，比如，當一位教師正在閱讀智能教學系統(tǒng)報告時，他是直接利益相關者，而當他旁邊的同事正在閱讀報告的時候他就變成了旁觀者。我們需要理解個體在角色上的轉(zhuǎn)換，才能更準確識別到價值的變化和原因。

（三）VSD的研究方法

VSD三方方法論（如圖1所示）為突破人工智能教育應用的倫理困境提供了落地化的執(zhí)行方案。分別是概念研究（Conceptual Investigation）、經(jīng)驗研究（Empirical Investigation）和技術研究（Technical Investigation）。

其中，概念研究是指在理論層面對技術應用背景、利益相關者、價值概念以及價值張力進行識別或預測?？紤]到每個AIED應用項目建設的初衷不同，某特定AIED本身、某教育應用場景、教師和學生等利益相關者群體都會影響價值被理解的方式，研究者需要綜合分析上述背景中的要素和變量，在此階段要盡可能中立地給出初步的價值定義。比如，弗里德曼等人將“信賴（Trust）”定義為“當我們在非常脆弱、可能會受到傷害的時候，我們相信別人不會傷害自己”[14]。這顯然與字典定義不同，是通過實際思考總結(jié)出來的情境化定義。

經(jīng)驗研究是指對技術所處的現(xiàn)實人類環(huán)境進行考察，調(diào)查利益相關者在與技術互動過程中可能受到的影響、對價值的理解與權(quán)衡，比較設想的價值與現(xiàn)實中的價值是否存在差異。經(jīng)驗研究能為概念研究中的假設提供實證支持，也能避免技術研發(fā)者忽視掉某些實際上非常重要的價值。比如，觀察、訪談、實驗、實物收集、行為測量、生物測量等社會科學研究中的數(shù)據(jù)收集方法以及啟發(fā)式卡片（Envisioning Cards）①、價值場景敘事（Value Scenario Narrative）②、價值壩與價值流（Value Dams and Flow）{1}等啟發(fā)式方法都可被用來識別和定義真實場景下的價值。

技術研究是指從技術層面開展價值維度的分析和設計，關注價值能否以及如何通過有效的技術設計而獲得支持，判斷哪些功能應當被保留或舍棄、應該增添哪些功能來更好地支持價值。技術研究中一般采用兩種方法。第一是回顧分析既有的解決方案，比如，為了支持“知情同意”價值，瀏覽器cookie的設計者會給用戶提供可理解的說明文本、允許用戶自主控制可被收集的信息類型；為了支持“公平”價值，圖像搜索軟件的設計者會避免使用代表性不足的數(shù)據(jù)集、公開算法的準確率。第二是主動設計出全新的技術方案和配套的外部解決方案（如規(guī)范使用方式、政策法規(guī)支持等）來支持價值的實現(xiàn)。

總體來說，VSD作為一種相當靈活的研究方法，具有充分的潛力來識別、分析、突破AIED的倫理困境。上述三種研究相輔相成，無需嚴格按照順序開展。一項VSD研究可以先用概念研究定位潛在價值，可以先開展經(jīng)驗研究了解應用環(huán)境，也可以先從技術研究切入分析產(chǎn)品特征。而且這三種研究也可以在一個項目中多次使用，比如，在經(jīng)驗研究之后，研究者可以對概念研究中提出的價值定義進行調(diào)整；在技術研究之后，研究者可以補充開展經(jīng)驗研究來考察技術改進后的效果等，通過多輪迭代以達到最大化利益相關者的正向價值和最小化負面影響的設計效果。

五、討論與總結(jié)

本研究討論了人工智能在教育中應用會面臨的倫理困境，分析了傳統(tǒng)倫理解決方案難以奏效的原因，提出了采用VSD作為突破困境的可選方案。在本節(jié)，筆者對于一些誤解和質(zhì)疑進行回應，提出了未來在AIED領域?qū)嶋H開展VSD需要注意的要點。

（一）研究者需保持中立、開放、敏感的態(tài)度

在多年的發(fā)展中，VSD的支持者和批判者開展了一系列爭論，包括：在概念研究中預設價值是否會遺漏掉某些重要價值，將價值定義成“重要的事物”是否過于模糊，VSD是否缺乏核心的價值系統(tǒng)等。這些爭論意味著VSD并非“萬金油”，即便VSD為建設可信賴的AIED提供了可選方案，但對研究者的科研素養(yǎng)也提出了較高的要求。負責開展VSD的研究者本身也是利益相關者，一方面，在概念研究過程中也需要考慮到自身的價值傾向；另一方面，在開展經(jīng)驗研究時需要對于各類利益相關者、各項潛在價值保持中立、開放、敏感的態(tài)度，避免內(nèi)隱偏見影響到研究結(jié)果的可靠性。

（二）在保持價值敏感的前提下靈活選擇研究方案

考慮到許多項目會受到時間、人力等資源限制，無法調(diào)查到全部利益相關者的觀點，也很難將三類研究悉數(shù)完成。因此，研究者應當在保持對價值敏感的前提下根據(jù)實際情況靈活選擇研究方法。有研究者檢索了1996—2016年以來200余篇VSD相關研究，發(fā)現(xiàn)其中僅有17篇論文完整使用了這三種方法[17]。VSD作為一種非常靈活的方法，并不強求一個研究項目要將概念研究、經(jīng)驗研究、技術研究悉數(shù)完成，其中任何一種研究都可以被單獨使用來形成對價值維度的洞見。比如，有研究者通過概念研究分析了增強現(xiàn)實技術會涉及的七項價值[18]，有研究者通過經(jīng)驗研究調(diào)查了青年流浪漢對于“安全”的理解[19]，也有研究者通過技術研究改進了維基百科專題的推薦算法[20]。

（三）將VSD擴展至AIED全生命周期

弗里德曼提出的VSD預設了在設計階段就可以確定價值體系，然后有針對性地進行設計[21]。但由于AIED的特殊性，針對AIED的VSD不能局限于技術設計階段，需要擴展到技術生命的全周期中。一方面，使用機器學習算法的AIED通過對數(shù)據(jù)進行學習來自動生成算法，具備黑箱特點，設計者難以知曉這類AIED在實際應用中會學習到什么樣的數(shù)據(jù)、形成什么樣的算法。另一方面，研究者無法預料師生在實際使用的過程中究竟是否會按照設計者所想的那樣行動。由于人與技術的動態(tài)交互關系使得價值及其內(nèi)涵也處于變化之中。這種本體論上的不確定性意味著即便有事前完整的設計，研究者也很難預見到系統(tǒng)在實際使用過程中會產(chǎn)生哪些新的價值問題。De Reuver等指出，針對AI的VSD應該有第四種研究——反思研究（Reflexivity Investigation），持續(xù)監(jiān)測AI應用過程中可能產(chǎn)生的預料之外的結(jié)果并及時修正調(diào)整[21]。具體來說，研究者要在應用過程中不斷檢查：當前應用狀況是否仍舊支持著在設計階段確定的價值，應用過程中是否出現(xiàn)了設計階段未預料到的違背價值的情況，AIED系統(tǒng)是否從用戶數(shù)據(jù)中學習到了新的價值模式，是否產(chǎn)生了新的價值沖突，原有的價值排序是否被打破等。為解決這些問題，設計者在完成實地部署后需要保持動態(tài)的調(diào)控和監(jiān)督。

[參考文獻]

[1] 鄧國民，李梅.教育人工智能倫理問題與倫理原則探討[J].電化教育研究，2020，41（6）：39-45.

[2] FRIEDMAN B. Human values and the design of computer technology[M]. Cambridge： Cambridge University Press， 1997.

[3] WESTMAN S， KAUTTONEN J， KLEMETTI A， et al. Artificial intelligence for career guidance - current requirements and prospects for the future[J]. IAFOR journal of education： technology in education，2021，9（4）：43-62.

[4] HOLMES W， PORAYSKA-POMSTA K， HOLSTEIN K， et al. Ethics of AI in education： towards a community-wide framework[J]. International journal of artificial intelligence in education， 2022，32：504-526.

[5] CARUANA R， LOU Y， GEHRKE J， et al. Intelligible models for healthcare： predicting pneumonia risk and hospital 30-day readmission[C]//Proceedings of the 21th ACM SIGKDD international conference on knowledge discovery and data mining. New York：ACM， 2015：1721-1730.

[6] Princeton's UCHV& CITP. Princeton dialogues on AI and ethics case studies[EB/OL].[2023-02-27]. https：//aiethics.princeton.edu/case-studies/.

[7] CHOUNTA I A， BARDONE E， RAUDSEP A， et al. Exploring teachers' perceptions of artificial intelligence as a tool to support their practice in Estonian K-12 education[J]. International journal of artificial intelligence in education， 2022，32（3）：725-755.

[8] DUFFY B R. Anthropomorphism and the social robot[J]. Robotics and autonomous systems， 2003， 42（3-4）： 177-190.

[9] WANG Q， JING S， GOEL A K. Co-Designing AI agents to support social connectedness among online learners： functionalities， social characteristics， and ethical challenges[C]//Designing Interactive Systems Conference. New York： Association for Computing Machinery， 2022：541-556.

[10] JONES S， RICHARDS A， CHO Y， et al. The effect of the fourth industrial revolution on general english education[J]. Korean journal of general education，2018， 12（2）：169-197.

[11] UTTERBERG MOD？魪N M， TALLVID M， LUNDIN J， et al. Intelligent tutoring systems： why teachers abandoned a technology aimed at automating teaching processes[C]// Proceedings of the 54th Hawaii International Conference on System Sciences. Hawaii： Scholarspace，2021： 1538-1547.

[12] AIKEN R M， EPSTEIN R G. Ethical guidelines for AI in education： starting a conversation[J]. International journal of artificial intelligence in education， 2000，11（2）：163-176.

[13] MCNAMARA A， SMITH J， MURPHY-HILL E. Does ACM's code of ethics change ethical decision making in software development？[C]//Proceedings of the 2018 26th ACM Joint Meeting on European Software Engineering Conference and Symposium on the Foundations of Software Engineering. New York： Association for Computing Machinery，2018：729-733.

[14] FRIEDMAN B， HENDRY D G. Value sensitive design： shaping technology with moral imagination[M]. Massachusetts： MIT Press， 2019.

[15] VAN WYNSBERGHE A. Designing robots for care： care centered value-sensitive design[J]. Science and engineering ethics， 2013， 19（2）：407-433.

[16] UMBRELLO S， VAN DE POEL I. Mapping value sensitive design onto AI for social good principles[J]. AI and ethics， 2021，1（3）： 283-296.

[17] WINKLER T， SPIEKERMANN S. Twenty years of value sensitive design： a review of methodological practices in VSD projects[J]. Ethics and information technology，2021，23：17-21.

[18] FRIEDMAN B， KAHN P H. New directions： a value-sensitive design approach to augmented reality[C]//Proceedings of DARE 2000 on designing augmented reality environments. New York： Association for Computing Machinery，2000：163-164.

[19] WOELFER J P， IVERSON? A， HENDRY D G， et al. Improving the safety of homeless young people with mobile phones： values， form and function[C]//Proceedings of the SIGCHI conference on human factors in computing systems. 2011： 1707-1716.