孫碧瑩 董洪偉

深度學習（Deep learning）是人工智能的核心研究內(nèi)容。近年來得益于深度學習的發(fā)展，計算機視覺、計算生物學、醫(yī)學、經(jīng)濟學以及遙感等領域均取得了關鍵突破?，F(xiàn)如今，社會各界都感受到了人工智能的高速發(fā)展帶來的便利。機器學習作為人工智能的核心研究內(nèi)容，是推動人工智能發(fā)展最主要的力量。而機器學習與教育有著極深的淵源，兩者有著共同的目標與相似的手段，只是對象有所不同。教育界早已意識到機器學習與教育密不可分，許多學者對機器學習在教育學中的應用做了細致闡述。深度學習是一種特殊的機器學習，相比傳統(tǒng)機器學習，深度學習更加注重對人類思維的模仿，故深度學習與教育學的聯(lián)系更加緊密。目前，基于深度學習的教育學研究比較匱乏。研究深度學習中成功的方法與經(jīng)驗能夠幫助教師重新認識教學中的難題，并能指引問題解決的方向。而將教學中的一些優(yōu)良思想引入深度學習對深度學習的發(fā)展同樣具有積極作用。本文將對比深度學習中的突出問題，引發(fā)對中學教學中相應問題的新思考，并通過分析深度學習中的成功案例，對中學教學的一些問題提出具體的改進方案。

一、深度學習

深度學習的概念由Hinton提出，是機器學習的一個新方向，其與傳統(tǒng)機器學習的最主要區(qū)別在于集成了抽象與分類的過程，從而實現(xiàn)了端到端（end to end）學習。在機器學習中，特征一般通過專家人工進行歸納設計與提取，不僅耗時耗力，而且由于人類腦力水平的限制，一般提取的特征都是低級特征，在實際應用中效果不好。深度學習則可以自動地提取人類無法理解的高級特征，這是深度學習取得巨大成功的關鍵因素。深度學習的實現(xiàn)方式為人工神經(jīng)網(wǎng)絡（Artifical Neural Network），成功的深度學習算法有深度信念網(wǎng)絡、循環(huán)神經(jīng)網(wǎng)絡和卷積神經(jīng)網(wǎng)絡等。人工神經(jīng)網(wǎng)絡的基本組成單位是神經(jīng)元，它的設計靈感來源于人類神經(jīng)系統(tǒng)的神經(jīng)細胞，大量的、分層的神經(jīng)元組成了一個完整的人工神經(jīng)網(wǎng)絡，其設計的目的是模擬人腦以實現(xiàn)分層的數(shù)據(jù)解釋。設計深度學習算法的主要過程可分為模型設計、預訓練和模型訓練。

深度學習有多火？在“2017年度中國媒體十大流行語”中就有人工智能一席之地。普通人對于深度學習的認識莫過于越來越智能的手機軟件以及谷歌DeepMind公司的人工智能算法、阿爾法狗擊敗各路圍棋世界冠軍。自2012年Hinton帶領的團隊在Imagenet大規(guī)模視覺識別挑戰(zhàn)賽（ILSVRC）中首次使用深度學習算法進行人臉識別就取得了有史以來最低的錯誤率（15%左右，超出第二名10個百分點），深度學習一直處于超高速的發(fā)展狀態(tài)。在ILSVRC比賽舉行的7年中，深度學習算法識別圖像的準確率由70%上升至97.3%，已經(jīng)超越了人類的分類水平。在谷歌學術于2018年對學術出版物以及論文影響力的排名中，計算機視覺會議“IEEE Conference on Computer Vision and Pattern Recognition”（CVPR）已經(jīng)排名第二十位，2016年在CVPR會議上提出的算法“ResNet”，其原文僅兩年時間被引次數(shù)已經(jīng)過萬，對于一個真正發(fā)展時間僅有數(shù)年的新興學科來說，取得如此成就是令人震驚的，這也體現(xiàn)了社會各界對深度學習的關注度之高。

雖然深度學習在很多領域取得了史無前例的突破，但它也存在一些問題。最突出的問題是深度學習理論的缺失，目前的深度學習算法大多是啟發(fā)式的，對于一個深度學習模型來說，效果的好壞無法得到理論上的證明。另外，高效的優(yōu)化方法，模型的深度、復雜度研究，計算能力的限制等都是深度學習面臨的問題。

二、深度學習與中學教學的聯(lián)系

教學的目的是讓學生在教師的指導幫助下認識問題、了解問題、思考問題，最終能夠獨立解決問題。教學與深度學習，兩者解決問題的手段雖然不同，但想要實現(xiàn)的目標是一致的，故它們解決問題的方法具有很強的相關性。教育學作為一門歷史悠久的學科，有充足的理論知識基礎，大量的經(jīng)典方法與思想，能夠極大地豐富深度學習的內(nèi)涵，給予深度學習指導;而深度學習作為一門僅有二十幾年歷史的新興學科，發(fā)展速度極快，有許多傳統(tǒng)學科不具備歷史的奇思妙想。新老學科的思維、知識碰撞也能夠為教育學帶來活力。

學生的學習主要發(fā)生在課前、課堂、課后三個場景，優(yōu)化這三個場景的設計是提高學生學習質(zhì)量的直接方法，也是教師最關心的問題。

課前學習能夠幫助學生鎖定學習目標，使學生系統(tǒng)地認識學習內(nèi)容，是高效課堂學習的基礎。然而在實際工作中常常被教師忽略。課堂學習是學生獲取知識最直接、有效的途徑。課堂學習可分為傳授與糾錯，傳授指教師通過設計課堂，使學生理解知識;糾錯指教師通過當堂質(zhì)檢，對學生出現(xiàn)的錯誤給予糾正。目前在工作中存在的一個主要問題是課堂容量大，課堂設置太過復雜，導致學生缺乏獨立思考。課堂內(nèi)容缺少與日常生活的聯(lián)系，導致學生理解困難，也是課堂低效的原因之一。課后學習在教學過程中必不可少，是對學生之前學習成果的鞏固與提升。通過課后作業(yè)的形式對教學質(zhì)量進行評價，使教師掌握學生的學習情況，及時調(diào)整教學方案。當前存在的問題有課后作業(yè)量大，難度高，題目冗余，精簡程度低，容易使學生產(chǎn)生厭學心理，對學習失去興趣。

如果將教學中的學生比作一個未學習的人工神經(jīng)網(wǎng)絡，或者將深度學習中的神經(jīng)網(wǎng)絡比作一名懵懂的小學生，我們可以發(fā)現(xiàn)教學與深度學習本質(zhì)上是同一個過程，他們之間的聯(lián)系如圖1所示。

預訓練是深度學習的一個重要組成部分，對于一個設計完畢的網(wǎng)絡，設計者應該根據(jù)網(wǎng)絡的結構設計相適應的預訓練方法。深度學習中使用預訓練，可避免因數(shù)據(jù)少、網(wǎng)絡深造成的學習困難。預訓練與教學中課前學習的思想不謀而合，對深度學習預訓練的研究能夠使教師更加意識到課前學習的重要性，啟發(fā)教師設計與課堂學習相適應的課前學習方法。

對深度學習而言，一個神經(jīng)網(wǎng)絡的能力由它的結構決定，如何設計網(wǎng)絡結構是深度學習的核心問題。網(wǎng)絡的結構設計對應教學中課堂的設計問題，兩者相似度很高。設計網(wǎng)絡的結構就好像算法設計者在為神經(jīng)網(wǎng)絡設計學習任務，網(wǎng)絡的訓練過程與學生課堂聽課與質(zhì)檢的過程是一致的，學習者通過學習教師設計的課程，能夠獲得課程設計者希望他們擁有的能力。課堂設計的好壞很大程度上決定著學習者學成后的能力。

深度學習與教學在思想上具有很高的相似性，在教學工作正式開始之前，算法設計者和教師要做的工作的指導思想是一致的，即課前與課堂學習的教學設計。但由于面向的對象不同，在實施中也存在一些區(qū)別。在教學過程中，學生出現(xiàn)錯誤時由教師進行糾正，但學生并不會為出現(xiàn)錯誤而付出代價，故很難體會到出現(xiàn)錯誤的嚴重性。而在機器學習的過程中，機器錯誤的代價由代價函數(shù)（Cost function）進行衡量，機器一旦出現(xiàn)錯誤，則會視錯誤的大小給出相應的代價。機器學習的準則是算法整體向著代價最小的方向前進。這是人與機器學習的一大區(qū)別，也是機器學習高效的重要原因。算法科學家設計了合理的代價函數(shù)，對教師而言，如何平衡學生錯誤的代價是需要思考的問題。除此之外，人與機器學習的最主要區(qū)別在于：機器的學習是不間斷的，機器可以不分晝夜地學習，而人的學習是間斷的。如果將機器的學習熱情記為1，那么人的學習熱情一定是小于1的。對教師而言，調(diào)動學生的學習積極性是一個重要課題，而如今，算法科學家也在研究讓機器變得“懶惰”，一些研究者認為，讓機器學會適當?shù)男菹τ谔岣邔W習能力是有幫助的。

三、深度學習與中學教學的對比研究與思考

1.預訓練與課前學習

自深度學習誕生以來，神經(jīng)網(wǎng)絡的初始化問題一直是學者們關注的焦點之一。深度學習利用復雜的非線性模型模擬人類思維，由于早期實踐中數(shù)據(jù)的不足，網(wǎng)絡的訓練很困難。好的初始化方法可以減輕訓練網(wǎng)絡的困難程度，從而一定程度上減少數(shù)據(jù)匱乏對深度學習造成的影響。

隨著獲取數(shù)據(jù)越來越便利，預訓練慢慢淡出了深度學習界的視野。然而對于教學來說，預訓練或者說課前學習是必不可少的。當今的教學大力提倡高效、減負，這映射到深度學習中就意味著參與學習的數(shù)據(jù)不能太多，在數(shù)據(jù)有限的前提下，預訓練對于深度學習是至關重要的。所以在減負增效的教學背景下，當代教師尤其要重視課前學習的設計。我們以兩種深度學習中有效的預訓練方法為基礎，結合當今教學的特點，討論如何優(yōu)化課前教學的設計。

Hinton等學者提出的使用貪心算法逐層訓練，再全局微調(diào)的預訓練方法曾經(jīng)是深度學習界的主流。這種逐層的學習方法對課前學習的設計有啟示作用。在課前學習的設計中，也應該遵循循序漸進的原則，使學生對一個知識點有一定的理解后，再開始下一個知識點的預習，這樣使學生理解更加深刻，基礎更加穩(wěn)固。在課前學習的最后，教師可設計自我檢測環(huán)節(jié)，回顧整個課前學習過程，對學習效果進行提高。

在其他數(shù)據(jù)訓練好的網(wǎng)絡模型的基礎上進行調(diào)試的fine-tuning方法也是主流的預訓練方法之一，此方法利用了數(shù)據(jù)之間具有相似性，一部分底層的特征對于不同問題是可以共用的。對于教學來說也是如此，知識之間存在著千絲萬縷的聯(lián)系，將之前已經(jīng)學習過的知識遷移到教學過程中有利于學生對知識的理解。

高質(zhì)量的課前學習能夠提高學生的課堂學習效率，加深學生對知識的理解，進而提高整體學習質(zhì)量。在課前學習中，學生需要通讀課本內(nèi)容，并對課本中的重點內(nèi)容進行理解性記憶。學生在課前學習過程中，對自己不理解的問題要及時標記，在課堂學習中對其著重理解。對教師而言，一般通過導學案來幫助學生進行課前學習。通過對深度學習中經(jīng)典方法的分析，優(yōu)化的導學案應包括以下內(nèi)容：

要點回顧：設置一些之前已經(jīng)學過并與本節(jié)課有關的內(nèi)容，使學生構建學習的思維導圖，幫助學生將新舊知識聯(lián)系起來。

情境感知：教師要創(chuàng)設情境，設計指導學生閱讀教材，有方法、有目的、有重點、有要求地給學生一定的暗示，指導學生知疑知難，重點研究。

自我檢測：用基礎知識點組題、檢測，了解學生的自學成果，使學生發(fā)現(xiàn)問題、解決問題。

2.過擬合、梯度消失與課堂設計

過擬合現(xiàn)象和梯度消失現(xiàn)象曾經(jīng)嚴重困擾深度學習界。過擬合是指深度學習模型過度地擬合訓練數(shù)據(jù)，導致在非訓練數(shù)據(jù)的其他數(shù)據(jù)上表現(xiàn)不佳。教學過程中，學生無法遷移知識，不能做到舉一反三，同樣類型的題目改一改數(shù)就不會做了，均為教學中的“過擬合”現(xiàn)象。在深度學習中，過擬合現(xiàn)象出現(xiàn)的根本原因是模型的設置太過復雜，模型學習的參數(shù)過多，導致其知識的遷移能力很差，解決問題的根本方法是設計模型時盡可能的精簡參數(shù)，以控制模型的復雜度。此方法對教學來說同樣適用，教師應當實現(xiàn)課堂的高效設計，避免高度復雜、冗余的課堂。

神經(jīng)網(wǎng)絡模型為層級結構，網(wǎng)絡層的數(shù)目很大，則被稱為深度神經(jīng)網(wǎng)絡。對于深度的網(wǎng)絡模型來說，學習時會出現(xiàn)最后幾層網(wǎng)絡學習率很高，而前面的網(wǎng)絡層幾乎沒有得到學習的情況，這就是深度學習中的梯度消失現(xiàn)象。梯度消失不僅會造成計算效率冗余，還抑制網(wǎng)絡的性能。在教學中，學生在一堂課上學習的效率一般是呈下降趨勢的，教師的課堂知識容量太大、教學時間太長就會導致學生對課堂后段的知識接受程度變低，產(chǎn)生類似于深度學習中的梯度消失現(xiàn)象。這也引發(fā)我們對設計高效且低負的課堂的思考。

課堂學習是教學過程的核心環(huán)節(jié)，高效的課堂學習對學生的發(fā)展具有直接推動作用。課堂學習應分為“四個環(huán)節(jié)”：自學討論，質(zhì)疑釋疑，鞏固提升，當堂檢測。優(yōu)秀的教師應力爭“六個做到”：做到激情引趣，引領學生進入學習狀態(tài);做到惜時如金，不占用課堂時間在黑板上抄題;做到嚴謹縝密，提出的問題有思考價值;做到突出主體，提出問題后要給學生充分的思考時間和空間;做到培養(yǎng)能力，小組討論要以先思考、后議論為前提;做到精心設計，配題要有層次，激勵全體學生參與學習。

3.殘差學習與作業(yè)的高效減負

深度學習由于其網(wǎng)絡結構深，擁有強大的特征提取能力，能夠提取超出人類認知范圍的高級、深層特征。但是網(wǎng)絡的深度并非越深越好，極深的網(wǎng)絡結構不僅不一定能提高網(wǎng)絡性能，還會給網(wǎng)絡的訓練帶來極大困難。與之相對的，中學作業(yè)存在機械性、重復性、單一性等問題，量多且低質(zhì)。課本中的練習題、學校的練習冊、各式各樣的輔導材料讓學生不堪重負，作業(yè)成為了負擔，不僅浪費了學生的精力和時間，也影響了課堂的教學質(zhì)量。

通過以上對比可以看出，神經(jīng)網(wǎng)絡的深度與作業(yè)的數(shù)量具有相似的內(nèi)涵：太少不行，太多也不可取。在深度學習界，殘差學習（Residual Learning）在一定程度上解決了此問題，其核心思想是在神經(jīng)網(wǎng)絡相鄰的兩層或多層之間設置捷徑，使得網(wǎng)絡在學習過程中可以跳過一些不必要的學習階段，從而減輕網(wǎng)絡的負擔。值得注意的是：網(wǎng)絡只會走有必要的捷徑，即跳過對學習有害的階段，而對于重要的部分不會跳過。這種設立捷徑的方法值得教師在設計課后作業(yè)時借鑒：例如在設計10道同一類型的題目時可以設置捷徑，如果學生能夠連續(xù)地答對三道題目，即可跳過剩余題目;若無法連續(xù)答對題目，則說明學生并沒有完全掌握此類題型，不可跳過。這種借鑒殘差學習的作業(yè)設計能夠在降低課后作業(yè)負擔的同時保持其有效性，借助網(wǎng)絡學習這一新興的手段，最大化地發(fā)揮它的作用。

深度學習的高速發(fā)展已經(jīng)惠及很多行業(yè)，由于教育學與深度學習天然的相似性，將深度學習與教育學聯(lián)系起來對比思考是很有必要的。本文對比分析了深度學習與教學的聯(lián)系與區(qū)別，將深度學習中存在的問題映射至教學，來重新思考教學中類似的問題并基于深度學習中一些成功方法的思想，提出教學中一些問題的改進方案。深度學習的產(chǎn)生與發(fā)展為教育學帶來了新的機遇，在未來的研究中，我們希望將教育學中的經(jīng)典思想引入深度學習，更加合理地構建深度學習模型，以提高其性能。