薛慶水 李鳳英

（1.上海應(yīng)用技術(shù)大學(xué) 計(jì)算機(jī)科學(xué)與信息工程學(xué)院，上海 201418；2.上海交通大學(xué) 繼續(xù)教育學(xué)院 高等教育研究院，上海 200240）

一、引言

人工智能（Artificial Intelligenc，AI）的浪潮正在席卷全球，2017年7月，國(guó)務(wù)院發(fā)布了《新一代人工智能發(fā)展規(guī)劃》，明確指出要培養(yǎng)復(fù)合型人才，建設(shè)我國(guó)人工智能人才高地[1]。2017年12月，人工智能入選“2017年度中國(guó)媒體十大流行語(yǔ)”[2]。

其實(shí)，人工智能的提出，可追溯到1956年的達(dá)特茅斯（Dartmouth）會(huì)議。之后的半個(gè)多世紀(jì)，人工智能一直被當(dāng)作預(yù)言，未取得重大進(jìn)展和突破。直到2012年，隨著移動(dòng)網(wǎng)絡(luò)、海量數(shù)據(jù)的積累、計(jì)算機(jī)計(jì)算能力的提升和機(jī)器學(xué)習(xí)新算法的出現(xiàn)，人工智能才得以在全球爆發(fā)，進(jìn)入一個(gè)發(fā)展新階段。

人工智能正在深刻影響著今天的社會(huì)、經(jīng)濟(jì)、文化等各個(gè)層面?！段磥?lái)簡(jiǎn)史》作者尤瓦爾·赫拉利（Yuval Noah Harari）認(rèn)為，“人工智能”是我們這個(gè)時(shí)代最著名、最重要的科學(xué)發(fā)現(xiàn)，是整個(gè)21世紀(jì)人類(lèi)歷史上最重要的一個(gè)演變[3]。從1997年IBM的深藍(lán)擊敗國(guó)際象棋冠軍到2017年Google公司Deep Mind團(tuán)隊(duì)研發(fā)的“阿爾法狗”（AlphaGo）戰(zhàn)勝全世界的圍棋高手，讓我們充分領(lǐng)略到了人工智能技術(shù)的巨大威力和發(fā)展?jié)摿Α?/p>

教育，也是人工智能具有很大影響的領(lǐng)域之一。人工智能讓機(jī)器學(xué)會(huì)學(xué)習(xí)的同時(shí)，也改變了人們的思維和學(xué)習(xí)方式。比如，以前強(qiáng)調(diào)“死記硬背”，現(xiàn)在有許多知識(shí)根本不需要記憶，智能搜索引擎會(huì)對(duì)用戶(hù)需求進(jìn)行解讀和預(yù)判，從而給出檢索結(jié)果；檢查學(xué)生減法算術(shù)錯(cuò)誤原因的BUGGY專(zhuān)家系統(tǒng)，也是人工智能在教育中的應(yīng)用之一。再如，智能探頭與視頻追蹤，能夠?qū)崟r(shí)記錄教室等學(xué)校環(huán)境或其他網(wǎng)絡(luò)學(xué)習(xí)空間中學(xué)生的各種學(xué)習(xí)行為、表情、交互等變化過(guò)程，并通過(guò)大數(shù)據(jù)進(jìn)行即時(shí)分析與反饋，從而進(jìn)行學(xué)習(xí)的個(gè)性化診斷，改進(jìn)學(xué)習(xí)支持服務(wù)。

然而，任何事物都有其兩面性，人工智能的教育應(yīng)用也不例外，它在給教育帶來(lái)便利和服務(wù)的同時(shí)，也帶來(lái)了風(fēng)險(xiǎn)和威脅。近年來(lái)，以搜索學(xué)習(xí)者信息尤其是隱私信息為主要目的的惡意程序，正在不斷涌現(xiàn)并快速增長(zhǎng)[4]。比如，最近杭州某中學(xué)在課堂上應(yīng)用智能探頭及視頻技術(shù)，就引起了較大的爭(zhēng)議。我們應(yīng)該思考，在推進(jìn)數(shù)字化校園建設(shè)及教育智能化的過(guò)程中，該如何充分尊重與保證師生的隱私。因?yàn)榧夹g(shù)永遠(yuǎn)在更新?lián)Q代，它所隱藏的風(fēng)險(xiǎn)也會(huì)時(shí)常帶來(lái)一些不利影響甚至是危害，需要我們未雨綢繆。

由于人工智能+教育的相關(guān)研究剛剛興起，一些潛在的安全問(wèn)題或風(fēng)險(xiǎn)尚未充分顯現(xiàn)。國(guó)內(nèi)外的相關(guān)研究文獻(xiàn)也比較欠缺，所以有必要進(jìn)行一番探討。為此，本文通過(guò)對(duì)人工智能教育應(yīng)用所具有的風(fēng)險(xiǎn)進(jìn)行分析，嘗試運(yùn)用智能化的工具與思維方式提出相應(yīng)對(duì)策，以期對(duì)人工智能時(shí)代的教育應(yīng)用以及教育網(wǎng)絡(luò)空間的安全防范等，做一些新的思考與探索。

二、人工智能的理論基礎(chǔ)和教育應(yīng)用

（一）人工智能的理論基礎(chǔ)

人工智能主要是一個(gè)機(jī)器學(xué)習(xí)過(guò)程，是通過(guò)學(xué)習(xí)之后習(xí)得的解決問(wèn)題的能力。其學(xué)習(xí)過(guò)程包括知識(shí)的學(xué)習(xí)和技能的學(xué)習(xí)，知識(shí)的學(xué)習(xí)是指機(jī)器對(duì)各學(xué)科領(lǐng)域的知識(shí)學(xué)習(xí)，技能的學(xué)習(xí)是指機(jī)器學(xué)習(xí)人類(lèi)解決問(wèn)題的辦法。人工智能解決問(wèn)題的能力，是指通過(guò)學(xué)習(xí)用已知的知識(shí)和技能解決問(wèn)題和創(chuàng)造性地解決問(wèn)題，以此建立新的知識(shí)和新技能。目前，OpenAI已經(jīng)研制出能夠自主學(xué)習(xí)新技能的機(jī)器人。

可見(jiàn)，人工智能的理論基礎(chǔ)與傳統(tǒng)的學(xué)習(xí)理論具有關(guān)聯(lián)，包括行為主義、認(rèn)知主義、建構(gòu)主義、聯(lián)結(jié)主義等。由此，衍生出人工智能的五大流派，分別是：符號(hào)主義、聯(lián)結(jié)主義、行為主義、邏輯主義和認(rèn)知主義，上述流派所反映的思想，正是基于傳統(tǒng)的人類(lèi)的教與學(xué)的理論基礎(chǔ)，見(jiàn)表1。

表1 人工智能的理論基礎(chǔ)、應(yīng)用及相關(guān)構(gòu)成

（二）人工智能的教育應(yīng)用

目前，人工智能依賴(lài)于教育大數(shù)據(jù)、云計(jì)算和機(jī)器學(xué)習(xí)，涉及教育學(xué)、心理學(xué)、認(rèn)知科學(xué)、計(jì)算科學(xué)、信息論、控制論、統(tǒng)計(jì)學(xué)等多門(mén)相關(guān)學(xué)科；其研究領(lǐng)域不斷擴(kuò)大，包括專(zhuān)家系統(tǒng)、機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)、感知問(wèn)題、模式識(shí)別、進(jìn)化計(jì)算、模糊邏輯、計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、推薦系統(tǒng)等；其技術(shù)支撐主要為機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別、自然語(yǔ)言處理、專(zhuān)家系統(tǒng)、引擎推薦等；實(shí)際應(yīng)用有機(jī)器視覺(jué)、指紋識(shí)別、人臉識(shí)別、智能搜索、博弈、語(yǔ)義理解等。上述這些在教育領(lǐng)域中具有廣泛的應(yīng)用，比如，考試登錄系統(tǒng)、專(zhuān)家輔導(dǎo)與答疑系統(tǒng)、智能作業(yè)修改、早教機(jī)器人、個(gè)性化學(xué)習(xí)規(guī)劃、智能教育評(píng)價(jià)與決策[5]。

2016年6月，國(guó)務(wù)院發(fā)布的《“十三五”國(guó)家科技創(chuàng)新規(guī)劃》指出，基于大數(shù)據(jù)分析的類(lèi)人智能方向要在教育、辦公、醫(yī)療等關(guān)鍵行業(yè)形成示范應(yīng)用。2017年12月，人臉識(shí)別被應(yīng)用于北京市2018屆中考的聽(tīng)說(shuō)考試登錄系統(tǒng)?？梢?jiàn)，未來(lái)的人工智能技術(shù)，必定會(huì)給教育行業(yè)帶來(lái)廣泛而深刻的影響。

三、人工智能教育應(yīng)用的潛在風(fēng)險(xiǎn)與安全威脅

當(dāng)前，在教育領(lǐng)域應(yīng)用人工智能的過(guò)程中，鮮有人去關(guān)注或研究人工智能教育應(yīng)用的潛在風(fēng)險(xiǎn)和新的安全威脅，例如，在面對(duì)“永恒之藍(lán)”病毒時(shí)，教育科研領(lǐng)域成了重災(zāi)區(qū)，大規(guī)模中招卻無(wú)能為力。一場(chǎng)信息安全風(fēng)暴來(lái)臨之后，災(zāi)難會(huì)讓我們前功盡棄、一切積累的努力化為烏有，造成的嚴(yán)重影響和損失無(wú)法挽回。因此，僅僅亡羊補(bǔ)牢是不夠的，我們應(yīng)及時(shí)應(yīng)對(duì)智能時(shí)代的新威脅、新挑戰(zhàn)。

（一）人工智能教育應(yīng)用潛在風(fēng)險(xiǎn)與安全威脅的原因分析

圖1 教育應(yīng)用中的人工智能構(gòu)成要素和關(guān)系

在教育相關(guān)領(lǐng)域中，人工智能推進(jìn)教育改革，助力智慧校園和智慧學(xué)習(xí)，促進(jìn)創(chuàng)新教育。而人工智能教育應(yīng)用依賴(lài)于教育大數(shù)據(jù)、學(xué)習(xí)模型（算法）和機(jī)器學(xué)習(xí)，它與教育大數(shù)據(jù)、機(jī)器學(xué)習(xí)和網(wǎng)絡(luò)（互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、教育網(wǎng)）存在密切的關(guān)系，如圖1所示。人臉識(shí)別已應(yīng)用于四六級(jí)考試，深度學(xué)習(xí)軟件將語(yǔ)音識(shí)別的錯(cuò)誤率降低到了5.1%。但是，不管是人臉識(shí)別，還是語(yǔ)音識(shí)別，所采用的智能系統(tǒng)都是基于大數(shù)據(jù)的邏輯算法，系統(tǒng)須預(yù)先存儲(chǔ)海量數(shù)據(jù)信息，比如，考生人臉數(shù)據(jù)、各地方言數(shù)據(jù)，基于底層大數(shù)據(jù)和人的需求分析，然后編碼成邏輯程序建模，才能根據(jù)具體情況，執(zhí)行人的想法。總之，它是根據(jù)底層數(shù)據(jù)設(shè)計(jì)好的程序或模型來(lái)執(zhí)行任務(wù)[6]。

在教育大數(shù)據(jù)的獲取、存儲(chǔ)、傳輸過(guò)程中以及用以教育的云計(jì)算過(guò)程中，容易被病毒、黑客以及不法分子截取、攻擊和篡改傳播；互聯(lián)網(wǎng)中的軟硬件及其傳輸信道，都是病毒和黑客攻擊的對(duì)象；而機(jī)器學(xué)習(xí)，亦被黑客用以智能攻擊；另外一個(gè)重要的因素是黑客進(jìn)行攻擊和威脅的成本更低廉、方法更簡(jiǎn)單、攻擊力更厲害、隱蔽性更強(qiáng)，而在人工智能教育應(yīng)用中的安全問(wèn)題卻一直不被重視。

（二）人工智能教育應(yīng)用潛在風(fēng)險(xiǎn)與安全威脅的表現(xiàn)

1.人工智能教育應(yīng)用中的信息泄露

人工智能在教育中的應(yīng)用離不開(kāi)教育大數(shù)據(jù)。人工智能本質(zhì)上是由無(wú)數(shù)松散的數(shù)據(jù)和算法構(gòu)成的智能程序來(lái)模擬人腦的高級(jí)系統(tǒng)，數(shù)據(jù)和算法是人工智能最核心的東西。教育領(lǐng)域中的人工智能需要教育大數(shù)據(jù)，但是教育大數(shù)據(jù)的采集、存儲(chǔ)和處理對(duì)人們的威脅是很大的，尤其是私密信息的泄露。它包括因服務(wù)器管理人員的疏忽造成的泄露、由于個(gè)人對(duì)權(quán)限的不慎重或認(rèn)識(shí)不清導(dǎo)致的泄露、教育產(chǎn)業(yè)服務(wù)數(shù)據(jù)流出引起的泄露，以及不法攻擊、用以研究和商業(yè)數(shù)據(jù)挖掘造成的泄露等。

教育大數(shù)據(jù)采集的一個(gè)重要渠道是移動(dòng)智能終端的數(shù)據(jù)獲取，這些信息和資源包含個(gè)人的手機(jī)號(hào)碼、身份、地理位置、賬號(hào)、郵件、文件等敏感信息，而移動(dòng)平臺(tái)的高度互聯(lián)性會(huì)將用戶(hù)信息暴露；一些以技術(shù)和數(shù)據(jù)起家的人工智能教育應(yīng)用研發(fā)企業(yè)，要想短期盈利，僅靠研發(fā)產(chǎn)品比較困難，于是有些公司為了盡快變現(xiàn)，打起了教育大數(shù)據(jù)的主意，依靠售賣(mài)教育數(shù)據(jù)牟取暴利，從而導(dǎo)致安全威脅。

另外，在教育大數(shù)據(jù)的采集和利用過(guò)程中，也會(huì)發(fā)生人為的、有意或無(wú)意地造成信息泄露的現(xiàn)象。比如，教育報(bào)考信息系統(tǒng)成黑客攻擊目標(biāo)，考生個(gè)人信息被打包出售。2016年4月，四川宜賓一個(gè)網(wǎng)名叫“魔法師”、真名叫杜天宇的17歲少年黑客編寫(xiě)了一個(gè)木馬程序，成功攻擊了山東省2016年的高考網(wǎng)上報(bào)名信息系統(tǒng)，并盜取64萬(wàn)名考生信息，將其出售以牟取暴利。在人工智能涉及的數(shù)據(jù)信息中，有相當(dāng)一部分?jǐn)?shù)據(jù)包含個(gè)人隱私。

2.人工智能教育應(yīng)用中的網(wǎng)絡(luò)攻擊

網(wǎng)絡(luò)是人們學(xué)習(xí)、工作、生活和娛樂(lè)的新空間，也是黑客攻擊的主要目標(biāo)。近年來(lái)，通過(guò)入侵各種教育系統(tǒng)，篡改考生成績(jī)、志愿等事件屢見(jiàn)不鮮。本文所論述的網(wǎng)絡(luò)攻擊是指一切對(duì)教育網(wǎng)絡(luò)環(huán)境中的硬件、軟件以及在教育大數(shù)據(jù)存儲(chǔ)與傳輸過(guò)程中進(jìn)行的不法攻擊、信息獲取和篡改等行為。

（1）智能型攻擊方式出現(xiàn)。近年來(lái)，一些網(wǎng)絡(luò)罪犯利用人工智能發(fā)起更瘋狂的攻擊，比如，服務(wù)拒絕、口令猜測(cè)、信息搜集、偽造和篡改等。相較之前，其攻擊面更廣、攻擊力更大、攻擊效率更高和隱蔽性更強(qiáng)。主要表現(xiàn)在以下幾方面：①病毒程序無(wú)需人類(lèi)指令操縱，能夠自動(dòng)復(fù)制并迅速傳播到整個(gè)教育網(wǎng)絡(luò)中的其他設(shè)備系統(tǒng)；②遠(yuǎn)程分布式控制程序，能夠使教育網(wǎng)中的電腦系統(tǒng)全部癱瘓；③能夠迅速完成教育大數(shù)據(jù)的搜集、海量信息的關(guān)聯(lián)和鑒別，更快、更精準(zhǔn)地瞄準(zhǔn)攻擊目標(biāo)；④當(dāng)攻擊者遇到反擊或發(fā)現(xiàn)原來(lái)的漏洞被修補(bǔ)之后，會(huì)自動(dòng)調(diào)整策略轉(zhuǎn)向其他目標(biāo)或者找到另一漏洞入侵。

據(jù)統(tǒng)計(jì)，99%的網(wǎng)絡(luò)系統(tǒng)被Virus（病毒）、Worm（蠕蟲(chóng)）、Trojans（木馬）等感染過(guò)，造成信息失密、被盜，莫名其妙地死機(jī)、掉線(xiàn)等。2017年5月12日，“永恒之藍(lán)”勒索蠕蟲(chóng)病毒在短短一天多時(shí)間里，攻擊了全球150多個(gè)國(guó)家和地區(qū)的電腦，我國(guó)也有數(shù)十萬(wàn)臺(tái)電腦被感染，被病毒感染的電腦，其數(shù)據(jù)被加密劫持。該病毒影響范圍遍布高校、醫(yī)院、政府、火車(chē)站、銀行自助終端、郵政等多個(gè)領(lǐng)域；影響面最廣的是教育系統(tǒng)，其中有教育科研機(jī)構(gòu)4341家中招，造成了多數(shù)學(xué)生電腦文件被加密和學(xué)校公共網(wǎng)絡(luò)的癱瘓。比如，考試的機(jī)考變成了卷考，電子閱覽室也被關(guān)閉。

（2）智能型攻擊的原因分析。進(jìn)入人工智能時(shí)代，教育用網(wǎng)不安全的因素主要有：自身缺陷性、網(wǎng)絡(luò)的開(kāi)放性和黑客的智能攻擊等。第一，教育大數(shù)據(jù)的獲得越來(lái)越依賴(lài)于互聯(lián)網(wǎng)設(shè)備的采集、捕捉，并通過(guò)云服務(wù)器進(jìn)行數(shù)據(jù)處理和存儲(chǔ)。即使互聯(lián)網(wǎng)中的每個(gè)設(shè)備近在咫尺，它們之間的通訊也是通過(guò)網(wǎng)絡(luò)進(jìn)行的[7]。如，MOOC（大規(guī)模開(kāi)放在線(xiàn)課程）僅一門(mén)課程的學(xué)習(xí)者，有的就多達(dá)十幾萬(wàn)人甚至數(shù)十萬(wàn)人，其中連接的在線(xiàn)學(xué)習(xí)設(shè)備數(shù)量可想而知。據(jù)美國(guó)數(shù)據(jù)分析機(jī)構(gòu)Gartner統(tǒng)計(jì)分析，在2016年，全球有64億網(wǎng)絡(luò)設(shè)備被接入互聯(lián)網(wǎng)[8]。據(jù)估計(jì)，到2020年，網(wǎng)絡(luò)設(shè)備的需求量將會(huì)增至2016年的1000倍，屆時(shí)計(jì)算量會(huì)呈現(xiàn)指數(shù)級(jí)增長(zhǎng)[9]。這樣一來(lái)教育網(wǎng)絡(luò)中的每一臺(tái)硬件設(shè)備及其應(yīng)用軟件出了問(wèn)題都可能威脅到整個(gè)網(wǎng)絡(luò)。如果其中的一臺(tái)設(shè)備遭到攻擊，那么，連接到這臺(tái)服務(wù)器的所有設(shè)備都可能受到影響，而且極容易被遠(yuǎn)程操控，其中的數(shù)據(jù)也易被竊取和濫用。第二，云課堂需要云服務(wù)，而集中式的云服務(wù)具有共享、開(kāi)放與透明的特質(zhì)，與教育大數(shù)據(jù)中心和教育用戶(hù)端相連的元服務(wù)“暴露”在網(wǎng)絡(luò)中，失去了原有的保護(hù)，更易遭受攻擊、竊聽(tīng)和數(shù)據(jù)篡改等。第三，校園網(wǎng)等教育用網(wǎng)在安全方面投入不夠，安全技術(shù)薄弱；師生安全意識(shí)也不高，學(xué)校無(wú)安全強(qiáng)制要求；加之學(xué)校等教育機(jī)構(gòu)多使用內(nèi)網(wǎng)，導(dǎo)致傳播性、感染性更強(qiáng)。因此，一旦遇到蠕蟲(chóng)勒索這類(lèi)事件，就出現(xiàn)了大規(guī)模爆發(fā)。

3.人工智能教育應(yīng)用中的虛假/惡意信息傳播

“錯(cuò)誤信息”、“虛假信息”、“惡意信息”等一直是教育網(wǎng)絡(luò)面臨的嚴(yán)重威脅。Vosoughi等人在Science上發(fā)表的一篇論文中指出，“假信息總是比真信息傳播得更快、更廣”[10]。虛假或者惡意信息會(huì)給整個(gè)社會(huì)的經(jīng)濟(jì)、政治和生活的各個(gè)方面，造成了嚴(yán)重影響，尤其在教育中的影響更大，不僅影響學(xué)習(xí)者知識(shí)的獲得，還影響到學(xué)習(xí)者的價(jià)值觀和意識(shí)形態(tài)。因?yàn)閷?duì)虛假信息的辨別、糾正與清理，需要投入大量的教育資源與成本。

近年來(lái)，新媒體技術(shù)不僅加速了知識(shí)的分享和大規(guī)模的傳播，而且也為虛假信息的傳播提供了便利[11]。2017年，美國(guó)大眾與傳媒研究中心發(fā)布了一篇研究報(bào)告，指出67%的人通過(guò)社交媒體獲取信息[12]。這種虛假/惡意信息跨地域大規(guī)?？焖賯鞑サ默F(xiàn)象，主要出現(xiàn)在擁有海量用戶(hù)的互聯(lián)網(wǎng)應(yīng)用平臺(tái)（比如，MOOC、臉書(shū)、微信等）產(chǎn)生以后[13]。在互聯(lián)網(wǎng)環(huán)境中，每個(gè)用戶(hù)都是信息的發(fā)布者和傳播者，都可以在這些自媒體應(yīng)用平臺(tái)上發(fā)布信息，并在平臺(tái)內(nèi)外快速?gòu)?fù)制和傳播信息。

雖然像MOOC、網(wǎng)易云課堂等教育類(lèi)網(wǎng)站需要帳號(hào)才能登錄，但仍然有黑客會(huì)入侵合法用戶(hù)帳號(hào)，篡改、拷貝真實(shí)信息和傳播虛假信息。一些黑客頻繁攻擊和篡改各大高校網(wǎng)站，修改網(wǎng)頁(yè)信息。比如，2016年8月，黑客攻擊了內(nèi)蒙古財(cái)政廳網(wǎng)站的計(jì)算機(jī)信息系統(tǒng)，將沒(méi)有通過(guò)當(dāng)年會(huì)計(jì)從業(yè)資格考試考生的成績(jī)，從“不合格”篡改為“合格”，進(jìn)行惡意傳播和詐騙。無(wú)獨(dú)有偶，四川某高校大學(xué)生閆某，攻擊入侵成都及西安等地10多所高校的教務(wù)管理信息系統(tǒng)，為多名在校大學(xué)生修改考試成績(jī)，刪除曠課、處分記錄。每年高考結(jié)束后，挑學(xué)校、選專(zhuān)業(yè)成為考生和家長(zhǎng)們的首要任務(wù)，各大高校網(wǎng)站的瀏覽量進(jìn)入高峰期。然而，據(jù)360公司統(tǒng)計(jì)，上海地區(qū)幾乎所有知名高校的網(wǎng)站都被篡改過(guò)。對(duì)于上網(wǎng)檢索高校信息的考生和家長(zhǎng)來(lái)說(shuō)，如果電腦沒(méi)有開(kāi)啟安全軟件防護(hù)，打開(kāi)被“掛馬”的網(wǎng)頁(yè)時(shí)，就會(huì)自動(dòng)下載運(yùn)行木馬，對(duì)電腦資料和志愿填報(bào)造成嚴(yán)重風(fēng)險(xiǎn)[14]。

四、人工智能教育應(yīng)用的風(fēng)險(xiǎn)及防范

（一）機(jī)器學(xué)習(xí)的啟示與應(yīng)用

機(jī)器學(xué)習(xí)（Machine Learning）是人工智能領(lǐng)域中一個(gè)極其重要的術(shù)語(yǔ)，它通過(guò)一套算法，來(lái)訓(xùn)練數(shù)據(jù)集做預(yù)測(cè)或者采取行動(dòng)以使得系統(tǒng)最優(yōu)化，它是人工智能的基礎(chǔ)和實(shí)現(xiàn)人工智能的方法之一。機(jī)器學(xué)習(xí)最基本的做法，是使用算法來(lái)解析數(shù)據(jù)、從中學(xué)習(xí)，然后對(duì)真實(shí)世界中的事件做出決策和預(yù)測(cè)。與傳統(tǒng)的為解決特定任務(wù)、硬編碼的軟件程序不同，機(jī)器學(xué)習(xí)利用大規(guī)模的數(shù)據(jù)來(lái)“訓(xùn)練”，通過(guò)各種算法從數(shù)據(jù)中學(xué)習(xí)如何完成任務(wù)。在算法方面，神經(jīng)網(wǎng)絡(luò)是最重要的算法之一；在模仿方面，人工智能主要集中于圖像識(shí)別、語(yǔ)音識(shí)別和自然語(yǔ)言處理。

目前，機(jī)器學(xué)習(xí)的主要障礙是特征工程，這需要領(lǐng)域?qū)＜以谶M(jìn)入學(xué)習(xí)訓(xùn)練之前就要設(shè)定好特征。特征工程主要是靠專(zhuān)家手動(dòng)完成，而且需要大量的專(zhuān)業(yè)領(lǐng)域知識(shí)。數(shù)據(jù)和場(chǎng)景非常重要，如果沒(méi)有足夠的數(shù)據(jù)和計(jì)算處理能力，那么，就必須創(chuàng)建一個(gè)使用更簡(jiǎn)單和低功耗的模型，這就需要專(zhuān)家花費(fèi)大量的時(shí)間和精力來(lái)創(chuàng)建合適的輸入特征。當(dāng)這些算法自動(dòng)化后，用于實(shí)現(xiàn)專(zhuān)家決策能力或者學(xué)習(xí)指導(dǎo)，就成為專(zhuān)家系統(tǒng)。

基于機(jī)器學(xué)習(xí)強(qiáng)大的分析、處理和決策能力，人們對(duì)其進(jìn)行了越來(lái)越多的思考。黑客也開(kāi)始利用以機(jī)器學(xué)習(xí)為基礎(chǔ)的人工智能進(jìn)行網(wǎng)絡(luò)攻擊，一份由學(xué)術(shù)界、社會(huì)團(tuán)體以及行業(yè)人士撰寫(xiě)的報(bào)告《人工智能的惡意使用》（Malicious Use of Artificial Intelligence）指出，要警惕人工智能被網(wǎng)絡(luò)攻擊者濫用。機(jī)器學(xué)習(xí)被認(rèn)為是人工智能中一個(gè)容易引發(fā)不安全的領(lǐng)域，它可能被應(yīng)用到許多領(lǐng)域而產(chǎn)生新的威脅，比如，經(jīng)常被黑客用來(lái)搜索代碼或其他方面的漏洞攻擊。

當(dāng)然，人們也在將其用以對(duì)抗網(wǎng)絡(luò)安全威脅，如今，人工智能已被大量應(yīng)用于安全領(lǐng)域。如，美國(guó)使用人工智能來(lái)預(yù)防網(wǎng)絡(luò)攻擊的公司Cylance，研發(fā)了反病毒軟件Cylance PROTECT，可在沒(méi)有網(wǎng)絡(luò)連接的情況下，利用機(jī)器學(xué)習(xí)，使用算法建模來(lái)預(yù)測(cè)威脅的發(fā)生，僅需 60 MB內(nèi)存和1%的CPU就能實(shí)時(shí)保護(hù)計(jì)算機(jī)免受攻擊[15]。

（二）用人工智能打造教育安全大防御

伴隨教育信息化水平的提高，人們更關(guān)心的是教育軟硬件及其產(chǎn)生的教育大數(shù)據(jù)的利用效率，鮮有人關(guān)注智能時(shí)代教育系統(tǒng)面臨的安全問(wèn)題?！坝篮阒{(lán)”勒索蠕蟲(chóng)事件的發(fā)生，使人們了解到教育系統(tǒng)抵御新型威脅的重要性和迫切性。因?yàn)榇a是人寫(xiě)的，就會(huì)有漏洞，按照“千行代碼漏洞率”的統(tǒng)計(jì)標(biāo)準(zhǔn)，大部分軟件或系統(tǒng)每1千行代碼里就有1個(gè)漏洞。比如，Windows操作系統(tǒng)有5000萬(wàn)行左右代碼，那么，它應(yīng)該有5萬(wàn)個(gè)左右的漏洞，其他軟件或系統(tǒng)亦然。有漏洞就有可能存在被攻擊，沒(méi)有攻不破的網(wǎng)絡(luò)，也沒(méi)有絕對(duì)安全的網(wǎng)絡(luò)空間。所以，應(yīng)建立漏洞管理機(jī)制，利用人工智能來(lái)打造教育安全大防御。

比如在信息泄露方面，通過(guò)智能來(lái)系統(tǒng)對(duì)教育數(shù)據(jù)的保密性、真實(shí)性和完整性進(jìn)行維護(hù)，這將依賴(lài)于教育數(shù)據(jù)的存取和免受攻擊方案；讓有合法需求的人方便使用，并將黑客和試圖非法獲取的人排除在外；尤其在數(shù)據(jù)挖掘分析和二次或多次利用方面，應(yīng)制定嚴(yán)格的法律保障制度。

當(dāng)前，防止信息泄露的方法主要有兩大類(lèi)：一類(lèi)是對(duì)數(shù)據(jù)本身進(jìn)行防護(hù)；另一類(lèi)是采用訪(fǎng)問(wèn)控制對(duì)數(shù)據(jù)進(jìn)行防護(hù)。通常，這兩種方法可以結(jié)合使用。研究發(fā)現(xiàn)，大多數(shù)教育信息泄露是和黑客攻擊聯(lián)系在一起的。為此，2013年，我們?cè)岢鲆苿?dòng)學(xué)習(xí)私密保護(hù)模型，該模型不僅對(duì)存儲(chǔ)在服務(wù)器中的學(xué)習(xí)資源采取密文存儲(chǔ)，還對(duì)數(shù)據(jù)訪(fǎng)問(wèn)者采用了屬性密碼控制[16]。

在網(wǎng)絡(luò)攻擊方面，基于目前教育網(wǎng)絡(luò)開(kāi)放、源代碼開(kāi)放、數(shù)據(jù)共享和云服務(wù)的集中式管理的現(xiàn)狀，對(duì)教育網(wǎng)絡(luò)攻擊的有效應(yīng)對(duì)，我們必須完成四個(gè)方面的機(jī)能：一是對(duì)數(shù)據(jù)本身的防護(hù)，對(duì)數(shù)據(jù)進(jìn)行數(shù)據(jù)加密和訪(fǎng)問(wèn)控制，可采用密碼技術(shù)和認(rèn)證技術(shù)；二是對(duì)教育網(wǎng)絡(luò)中的軟硬件（網(wǎng)絡(luò)連接和傳輸設(shè)備、數(shù)據(jù)存儲(chǔ)和應(yīng)用服務(wù)器、系統(tǒng)和應(yīng)用軟件等）和信息傳輸渠道的防護(hù)，可采用數(shù)字簽名、區(qū)塊鏈技術(shù)等，能夠進(jìn)行跟蹤、記錄，有效防止類(lèi)似IP欺騙相關(guān)的問(wèn)題；三是“去中心化”管理互聯(lián)網(wǎng)中的服務(wù)器，可采用最新的區(qū)塊鏈技術(shù)去中心化[17]，避免因單點(diǎn)故障或被病毒感染而造成全面崩潰；四是創(chuàng)建智慧防御模型，利用機(jī)器學(xué)習(xí)，創(chuàng)建一個(gè)智能型預(yù)測(cè)模型，能夠主動(dòng)預(yù)測(cè)和應(yīng)對(duì)已知的、未知的病毒和威脅，并且能夠主動(dòng)攻擊、查殺病毒。

在應(yīng)對(duì)虛假信息傳播方面，由于這類(lèi)信息傳播得快而且廣，傳統(tǒng)的技術(shù)和手段難以及時(shí)做出應(yīng)對(duì)，新的方法和技術(shù)應(yīng)運(yùn)而生。比如，用戶(hù)畫(huà)像和自然語(yǔ)言分析。用戶(hù)畫(huà)像通過(guò)計(jì)算機(jī)對(duì)海量數(shù)據(jù)進(jìn)行挖掘分析，給虛假信息源的發(fā)布者進(jìn)行用戶(hù)畫(huà)像，能夠追蹤真正的信息發(fā)布者；自然語(yǔ)言分析，則可以判斷信息的真?zhèn)魏蜕茞骸１热?，去年微信平臺(tái)推出一個(gè)“微信辟謠小助手”的程序，用戶(hù)使用它可以主動(dòng)搜索、查詢(xún)、辨別虛假信息，就連閱讀或分享過(guò)的內(nèi)容都包括在內(nèi)，一旦被鑒定為虛假信息，用戶(hù)都能收到提醒。

五、基于貝葉斯方法的人工智能安全防御模型

在人工智能與機(jī)器學(xué)習(xí)中，數(shù)據(jù)和應(yīng)用場(chǎng)景非常重要，如果能把教育或?qū)W習(xí)場(chǎng)景抽象出一個(gè)模型，利用教育大數(shù)據(jù)，再結(jié)合正確算法，那么智能防護(hù)將大有可為[18]。教育大數(shù)據(jù)是載體，人工智能的教育應(yīng)用是目標(biāo)，教育網(wǎng)絡(luò)安全負(fù)責(zé)護(hù)航，而機(jī)器學(xué)習(xí)是從數(shù)據(jù)通往智能的技術(shù)途徑。面對(duì)教育領(lǐng)域中各種新的智能安全威脅，我們特提出了基于貝葉斯方法的智能型安全防護(hù)模型。

（一）貝葉斯方法

貝葉斯理論源于英國(guó)數(shù)學(xué)家貝葉斯（Reverend Tomas Bayes）于1763年在《皇家學(xué)會(huì)學(xué)報(bào)》上發(fā)表的論文《論有關(guān)機(jī)遇問(wèn)題的求解》，他在論文中提出從二項(xiàng)分布的觀測(cè)值出發(fā)，對(duì)其參數(shù)進(jìn)行概率推斷的方法，被發(fā)展為一種系統(tǒng)的統(tǒng)計(jì)推斷方法，稱(chēng)為貝葉斯方法。貝葉斯方法或者決策理論首先是在不完全信息和數(shù)據(jù)下，對(duì)部分未知的狀態(tài)用主觀概率方法推斷，然后用貝葉斯公式對(duì)發(fā)生概率進(jìn)行修正，最后再利用期望值和修正概率做出最優(yōu)決策。人們?cè)诟鶕?jù)不確定性情報(bào)數(shù)據(jù)作出推理和決策時(shí)，需要對(duì)各種結(jié)果或結(jié)論的概率作出推理和估計(jì)，這類(lèi)推理被稱(chēng)為概率推理。

貝葉斯決策理論類(lèi)似于人腦的工作機(jī)理，被作為機(jī)器學(xué)習(xí)的基礎(chǔ)，其優(yōu)勢(shì)在于：（1）對(duì)于決策問(wèn)題而言，注重先驗(yàn)知識(shí)的使用，與純理論問(wèn)題判斷比較，人們更容易接受這種主觀概率的提法；（2）對(duì)缺失數(shù)據(jù)不太敏感，算法也比較簡(jiǎn)單，能對(duì)調(diào)查結(jié)果的可能性加以數(shù)量化的評(píng)價(jià)；（3）對(duì)先驗(yàn)知識(shí)或主觀概率的相信并非“非黑即白”，貝葉斯決策巧妙地將二者有機(jī)地結(jié)合，能對(duì)信息的價(jià)值或是否需要采集新的信息，做出科學(xué)的判斷；（4）可以在決策過(guò)程中根據(jù)具體情況不斷地修正，使其決策逐步完善和更加科學(xué)。

（二）基于貝葉斯方法的智能型安全防御模型

鑒于教育場(chǎng)景的不確定性和復(fù)雜性，比如，移動(dòng)學(xué)習(xí)者的位置、學(xué)習(xí)場(chǎng)景、學(xué)習(xí)方式和登錄系統(tǒng)的不確定性和碎片化、教育大數(shù)據(jù)的高度互聯(lián)性，基于貝葉斯思維方法，我們創(chuàng)建了圖2所示的智能防御模型。

圖2 基于貝葉斯方法的人工智能安全防御模型

該模型的運(yùn)作流程在于：第一，先進(jìn)行教育大數(shù)據(jù)（信息）采集，接著對(duì)數(shù)據(jù)加密存儲(chǔ)，然后，一方面對(duì)加密的數(shù)據(jù)進(jìn)行獲取和特征提取，另一方面進(jìn)行教育數(shù)據(jù)智能化管理并加以應(yīng)用，上述過(guò)程均面臨諸多安全威脅，比如，教育數(shù)據(jù)泄露、信息完整性破壞、非法訪(fǎng)問(wèn)和信息竊取等。第二，對(duì)獲取的教育數(shù)據(jù)作處理、分析，并進(jìn)行事件復(fù)雜性權(quán)衡判斷，它既可以對(duì)準(zhǔn)確的、確定性信息源作出合理的邏輯判斷，也可以對(duì)可疑的、非確定性信息源作出統(tǒng)計(jì)推斷。若碰到確定性問(wèn)題，自動(dòng)采取基于已有模型和方法的決策樹(shù)方案處理；若碰到不確定性的復(fù)雜問(wèn)題，將采取貝葉斯方案處理，通過(guò)機(jī)器學(xué)習(xí)，根據(jù)問(wèn)題的多方面因果關(guān)系進(jìn)行預(yù)測(cè)，提出新的算法，修改、發(fā)展原有模型或重新建模。第三，通過(guò)決策樹(shù)和貝葉斯方式處理后，建立防御方案，從而達(dá)到智能防御、自動(dòng)修復(fù)和主動(dòng)攻擊的目的。

在具體的實(shí)踐操作中，我們一般需要在以下幾個(gè)環(huán)節(jié)加以防范：

第一，教育大數(shù)據(jù)采集：通過(guò)傳感設(shè)備（比如，攝像頭、麥克風(fēng)、陀螺儀、距離傳感器、加速度傳感器等）或錄入設(shè)備或其他系統(tǒng)將教育信息（比如，各學(xué)段的學(xué)生人數(shù)信息、各學(xué)段學(xué)生成績(jī)信息、各學(xué)段學(xué)生體質(zhì)信息、教職工人事信息、教學(xué)設(shè)施設(shè)備信息等）數(shù)據(jù)，從系統(tǒng)外部采集到教育系統(tǒng)內(nèi)部。傳感器是實(shí)現(xiàn)移動(dòng)終端智能化的重要設(shè)備，但是安卓和iOS系統(tǒng)在設(shè)計(jì)初期對(duì)感知安全考慮得不夠，即使到現(xiàn)在還存在很多漏洞，具有很大的安全隱患。

第二，教育數(shù)據(jù)存儲(chǔ)：為了提高基礎(chǔ)教育數(shù)據(jù)存儲(chǔ)的安全性，目前的全盤(pán)加密技術(shù)能夠有效地抵抗離線(xiàn)攻擊。以隨機(jī)形式存儲(chǔ)的用戶(hù)數(shù)據(jù)經(jīng)加密后，有利于抵抗各種攻擊和威脅。

第三，數(shù)據(jù)應(yīng)用、提取、分析和建模：對(duì)采集到的教育數(shù)據(jù)，不管是教學(xué)應(yīng)用還是管理應(yīng)用或者研究應(yīng)用、數(shù)據(jù)二次或者多重開(kāi)發(fā)和應(yīng)用，即使平時(shí)不用的“死”數(shù)據(jù)，都有可能面臨病毒或黑客的攻擊、信息的泄露和被非法利用。數(shù)據(jù)本身并無(wú)價(jià)值，只有對(duì)數(shù)據(jù)內(nèi)容進(jìn)行挖掘、分析和處理才能產(chǎn)生價(jià)值。因此，首先從數(shù)據(jù)到價(jià)值的實(shí)現(xiàn)，需要給教育數(shù)據(jù)一個(gè)抽象的表示；接著基于這個(gè)抽象表示進(jìn)行建模；最后根據(jù)教育場(chǎng)景輸入模型的參數(shù)，做出優(yōu)化計(jì)算。

第四，決策樹(shù)處理：通過(guò)教育輿情分析系統(tǒng)，對(duì)于簡(jiǎn)單、確定性的安全威脅，可以應(yīng)用已有的模型和方法去解決。

第五，貝葉斯分析：通過(guò)教育輿情分析系統(tǒng)，對(duì)于復(fù)雜、不確定的教育風(fēng)險(xiǎn)與威脅，采用概率派方法，根據(jù)教育應(yīng)用問(wèn)題的需要，提出和發(fā)展模型、方法和算法等，這也是機(jī)器學(xué)習(xí)學(xué)科的核心內(nèi)容。貝葉斯分析其實(shí)就是一個(gè)優(yōu)化問(wèn)題，其計(jì)算通常涉及蒙特卡洛（Monte Carlo）隨機(jī)抽樣統(tǒng)計(jì)模擬方法。

第六，智能防御：在教育風(fēng)險(xiǎn)和威脅來(lái)臨時(shí)，及時(shí)做出各種智能防護(hù)，對(duì)有缺陷的服務(wù)程序做到自動(dòng)加固，并能自我修復(fù)被病毒或黑客損壞的系統(tǒng)，還能夠?qū)Ω鞣N威脅和病毒進(jìn)行預(yù)測(cè)和判斷并主動(dòng)攻擊。

我們認(rèn)為，作為決策參考依據(jù)的病毒防護(hù)數(shù)據(jù)固有的隨機(jī)性和不確定性，意味著確定性方法在解決教育網(wǎng)絡(luò)攻擊的問(wèn)題上不如貝葉斯網(wǎng)絡(luò)之類(lèi)的概率性方法。貝葉斯可以解決多個(gè)因果關(guān)系，并用概率分布對(duì)不確定性進(jìn)行量化，合理配置教育資源，比較科學(xué)地做出教育管理決策。因此，貝葉斯模型是解決人工智能教育應(yīng)用中的安全問(wèn)題的有效選擇之一。

六、結(jié)論

人工智能技術(shù)正在促進(jìn)教育的進(jìn)步和發(fā)展，同時(shí)，也帶來(lái)了一些潛在風(fēng)險(xiǎn)，我們不可因?yàn)槠鋷?lái)的安全和風(fēng)險(xiǎn)而因噎廢食。人工智能與大數(shù)據(jù)應(yīng)用，客觀上給一些智能攻擊帶來(lái)了新的便利。因此，我們應(yīng)當(dāng)大力發(fā)展人工智能防護(hù)、自我修復(fù)和主動(dòng)攻擊技術(shù)，做好從教育數(shù)據(jù)到教育成果的一系列防御措施。

本文基于人工智能機(jī)器原理，提出了基于貝葉斯方法的智能型安全防御模型，該模型在處理人工智能教育應(yīng)用中的不確定性和復(fù)雜性問(wèn)題方面，具有較好的針對(duì)性與使用價(jià)值。然而，僅僅擁有技術(shù)是不夠的。人工智能教育應(yīng)用方面的安全防護(hù)不能依賴(lài)于單方面的技術(shù)，它應(yīng)是一個(gè)系統(tǒng)、整體的機(jī)制，涉及技術(shù)手段、法律法規(guī)、倫理道德等多個(gè)方面，并依賴(lài)于人的整體素質(zhì)的提高與法制環(huán)境的完善。

當(dāng)前的相關(guān)探討仍是初步的，人工智能教育應(yīng)用還面臨著其他方面的潛在風(fēng)險(xiǎn)威脅，比如，若干年后教師職業(yè)是否會(huì)被智能專(zhuān)家或助理機(jī)器人所替代？教育的目的是讓人區(qū)別于機(jī)器，以保持人性[19]，進(jìn)入課堂或?qū)W習(xí)環(huán)境中的、能夠自主學(xué)習(xí)的機(jī)器人，是否會(huì)給人類(lèi)帶來(lái)其他傷害等，此類(lèi)更高層的安全防范問(wèn)題，值得我們?cè)诮窈蟮难芯恐羞M(jìn)一步探討。