唐冬寧　張威

[摘 要] 本文回顧和分析了國內(nèi)外寫作在線反饋系統(tǒng)的發(fā)展。在計(jì)算機(jī)輔助語言學(xué)習(xí)、O2O教學(xué)改革的背景下，寫作教學(xué)領(lǐng)域中寫作輸出的在線反饋系統(tǒng)得到廣泛的應(yīng)用。未來的研究可以從三個(gè)方面進(jìn)行：寫作在線反饋系統(tǒng)的評(píng)價(jià)和修正兩個(gè)維度的開發(fā)，寫作在線反饋系統(tǒng)的信度和效度的優(yōu)化，以及寫作在線反饋系統(tǒng)與其他反饋方式的互補(bǔ)模式。

[關(guān)鍵詞] 寫作教學(xué)；在線反饋；信度；效度

[中圖分類號(hào)]G642 [文獻(xiàn)標(biāo)志碼] A [文章編號(hào)] 1008-2549（2017） 04-0013-03

一 研究背景

寫作是一個(gè)復(fù)雜的認(rèn)知過程，學(xué)生始終是這一學(xué)習(xí)過程的主體，提高其英語寫作方面的自我認(rèn)知水平并進(jìn)行有效修改的一個(gè)關(guān)鍵保障就是“一種源自回應(yīng)的自我認(rèn)知修正”（Freedman，1985），即對(duì)其所寫英語作文的反饋。反饋原本是控制論中的一個(gè)基礎(chǔ)概念，是指在控制系統(tǒng)中將輸出端的信息返回到輸入端，并對(duì)該信息的再次輸出產(chǎn)生影響的過程。從語言學(xué)注意假設(shè)理論的角度來解釋，反饋是“促使注意的一個(gè)推動(dòng)力，反饋能修正不正確的假設(shè)，將學(xué)習(xí)者引導(dǎo)到目的語的軌跡上”（SwainandLapkin，1995），他指出反饋能“促使學(xué)習(xí)者注意到中介語和目的語間的差異，并讓學(xué)習(xí)者重新構(gòu)建對(duì)目的語所形成的假設(shè)，對(duì)語言結(jié)構(gòu)進(jìn)行重組”。

從20世紀(jì)70年代起，計(jì)算機(jī)輔助教學(xué)（Computer-assistedInstruction，簡(jiǎn)稱CAI）開始出現(xiàn)在教育領(lǐng)域，其中計(jì)算機(jī)輔助語言學(xué)習(xí)在外語教學(xué)中的作用越來越受到人們的關(guān)注。國家教育部在2003年啟動(dòng)的“高等學(xué)校教學(xué)質(zhì)量和教學(xué)改革工程”中明確提出要利用現(xiàn)代化信息技術(shù)，進(jìn)行大學(xué)英語教學(xué)的改革工作。2012年，教育部在《教育部關(guān)于全面提高高等教育質(zhì)量的若干意見》中特別提到信息技術(shù)應(yīng)當(dāng)在學(xué)校的教學(xué)層面上得到更為廣泛的應(yīng)用。這一改變已經(jīng)延伸到了寫作教學(xué)領(lǐng)域，尤其是在寫作輸出的反饋中。

二 國內(nèi)外寫作在線反饋系統(tǒng)（AutomatedEssayScoring，AES）

近幾十年來，隨著計(jì)算機(jī)硬件和軟件性能的提高，自然語言處理技術(shù)獲得長足的發(fā)展，國外一批作文自動(dòng)評(píng)分系統(tǒng)相繼問世。其中最具代表性的三種作文自動(dòng)評(píng)分系統(tǒng)是：PEG（ProjectEssayGrade）、IEA（IntelligentEssayAssessor）和E-rater。PEG偏重語言形式，IEA偏重語言內(nèi)容，而E-rater則既重形式又重內(nèi)容。

1966年，PEG由美國杜克大學(xué)的EllisPage等人開發(fā)（Daigon，1966；Page，1966）。他們?cè)谄渚W(wǎng)站上公開申明：“PEG不能理解作文的內(nèi)容”。PEG利用當(dāng)時(shí)并不發(fā)達(dá)的自然語言處理技術(shù)，基于文本特征項(xiàng)（textfeatures）與人工評(píng)分之間進(jìn)行相關(guān)性分析。PEG依靠分析文章的淺層語言學(xué)特征對(duì)作文進(jìn)行評(píng)分，如：長度、介詞、關(guān)系代詞及其他詞性的詞匯數(shù)量、詞長的變化等，沒有涉及內(nèi)容、組織、體裁等方面。

到了20世紀(jì)90年代，自然語言處理與信息提取技術(shù)取得了長足的進(jìn)步。依托這些技術(shù)，數(shù)種有代表性的AES系統(tǒng)得以開發(fā)。IEA（IntelligentEssayAssessor）是一種基于潛在語義分析（LatentSemanticAnalysis）的作文自動(dòng)評(píng)分系統(tǒng)，由美國科羅拉多大學(xué)的ThomasLandauer等學(xué)者開發(fā)。與PEG顯著不同的是，IEA的設(shè)計(jì)者們?cè)谄渚W(wǎng)站上申明：“IEA是唯一能夠測(cè)量語義和作文內(nèi)容的程序”。據(jù)IEA的設(shè)計(jì)者們報(bào)告，潛在語義分析主要分析文本的內(nèi)容和學(xué)生作文中所傳達(dá)的知識(shí)，而不是作文的風(fēng)格或語言（Foltzetal，1998）。根據(jù)Landauer和Dumais（1997）的描述，文本中隱藏著一個(gè)潛在的語義結(jié)構(gòu)（SemanticStructure），這一潛在的語義結(jié)構(gòu)正是所有詞匯（潛伏語義分析稱之為“詞匯項(xiàng)”，即terms）的語義之和。將潛在語義分析用于學(xué)生作文自動(dòng)評(píng)分時(shí)，待評(píng)分的作文與預(yù)先選定的范文（訓(xùn)練集）進(jìn)行比較之后，可以得到每一篇待評(píng)分作文與范文在內(nèi)容上的相似度得分（SimilarityScore）。

E-rater是由美國教育考試處（Educational Testing Service，ETS）于20世紀(jì)90年代開發(fā)，其目的是評(píng)估GMAT考試中的作文質(zhì)量。E-rater的開發(fā)者們聲稱，他們的作文評(píng)分系統(tǒng)利用了多種技術(shù)，其中包括統(tǒng)計(jì)技術(shù)、矢量空間模型技術(shù)和自然語言處理技術(shù)（Valentietal.2003）。憑借這些技術(shù)，E-rater不光能夠像PEG那樣評(píng)判作文的語言質(zhì)量，還能夠像IEA那樣評(píng)判作文的內(nèi)容質(zhì)量，此外，E-rater還對(duì)作文的篇章結(jié)構(gòu)進(jìn)行分析。E-rater圍繞這三個(gè)主要方面對(duì)作文的質(zhì)量進(jìn)行分析和評(píng)判，Burstein等人把這三個(gè)方面稱作模塊，第一個(gè)模塊為話語（Discourse）結(jié)構(gòu)（即篇章結(jié)構(gòu)）分析模塊，主要靠在文本中搜索“insummary”、“inconclusion”等提示詞（CueWords）的方法得以實(shí)現(xiàn)（Bursteinetal，1998b）；第二個(gè)模塊為句法多樣性（SyntacticVariety）分析模塊，根據(jù)作文中句子結(jié)構(gòu)的多樣性來評(píng)判作文的質(zhì)量，顯然，該模塊的目的是分析作文的語言質(zhì)量；第三個(gè)模塊為內(nèi)容（Content）分析模塊，在這一模塊中，E-rater通過矢量空間模型，觀察作文中是否包含了足夠的與作文題目高度相關(guān)的主題詞。

國內(nèi)利用計(jì)算機(jī)進(jìn)行英語作文評(píng)分和反饋的研究包括三種類型，一種是以計(jì)算機(jī)和網(wǎng)絡(luò)為平臺(tái)的人工作文評(píng)分，另一種是計(jì)算機(jī)輔助作文評(píng)估和反饋，最后一種是自動(dòng)作文評(píng)分。第一種以王躍武教授為代表，他的研究致力于建立一種依托計(jì)算機(jī)及網(wǎng)絡(luò)的高信度的大學(xué)英語四、六級(jí)考試作文網(wǎng)上閱卷管理系統(tǒng)。該系統(tǒng)能夠向閱卷人隨機(jī)分發(fā)試卷，對(duì)閱卷行為進(jìn)行實(shí)時(shí)監(jiān)控，并對(duì)閱卷員的閱卷質(zhì)量進(jìn)行控制。其后續(xù)研究表明，利用該系統(tǒng)所給的作文評(píng)分信度高于傳統(tǒng)閱卷方式評(píng)出的作文分?jǐn)?shù)。在這種研究中，計(jì)算機(jī)只是作文評(píng)分的一個(gè)工具或者平臺(tái)，作文評(píng)分是由教師完成。

國內(nèi)較早的作文自動(dòng)評(píng)分系統(tǒng)是梁茂成（2005）研制的適合國內(nèi)英語學(xué)習(xí)者的作文自動(dòng)評(píng)分系統(tǒng)，該系統(tǒng)從語言、內(nèi)容和結(jié)構(gòu)三個(gè)層面評(píng)估作文并給出分?jǐn)?shù)。而目前實(shí)現(xiàn)商業(yè)化，在較多院校投入教學(xué)改革應(yīng)用的在線寫作自動(dòng)評(píng)改系統(tǒng)，則是以句酷批改網(wǎng)為代表。句酷批改網(wǎng)借助語料庫和數(shù)據(jù)庫的強(qiáng)大功能，能夠在短時(shí)間內(nèi)對(duì)學(xué)生提交的作文做逐詞逐句的批改，并給出基于語料庫的改進(jìn)建議，因此學(xué)生能夠從詞句的層面上顯著受益。

2005年，梁茂成教授主持開發(fā)“大規(guī)?？荚囉⒄Z作文自動(dòng)評(píng)分系統(tǒng)”，該項(xiàng)研究成果可實(shí)現(xiàn)對(duì)中國學(xué)生英語作文的大規(guī)模機(jī)器評(píng)分，具有極大的實(shí)用價(jià)值。該系統(tǒng)的工作原理是提取淺層文本特征，對(duì)內(nèi)容的潛在語義進(jìn)行分析，再運(yùn)用線性回歸，進(jìn)而得出評(píng)分，實(shí)驗(yàn)結(jié)果與人工評(píng)分相比較達(dá)到了較高的相關(guān)度。

“句酷批改網(wǎng)”是基于云計(jì)算與語料庫技術(shù)的英語作文自動(dòng)批改系統(tǒng)，是一個(gè)以SAAS（Software-as-a-Service，軟件即服務(wù)）的方式提供作文在線自動(dòng)評(píng)閱服務(wù)的云平臺(tái)，其核心算法是在一定規(guī)模的訓(xùn)練集和測(cè)試集的基礎(chǔ)上，通過計(jì)算學(xué)生作文與對(duì)比語料庫之間的差距，例如拼寫錯(cuò)誤、語法錯(cuò)誤、中式英語等，計(jì)算作文在詞匯、語句、篇章和內(nèi)容等四方面的得分，再通過映射（打分公式）將該差異轉(zhuǎn)化成作文分?jǐn)?shù)及評(píng)語，學(xué)生可以根據(jù)反饋進(jìn)行自助作文修改，在不斷修改的過程中提高自己的寫作能力。

三 寫作在線反饋系統(tǒng)的研究方向

首先，寫作在線反饋包含兩個(gè)維度，評(píng)價(jià)（Evaluation）和修正（Correction）。評(píng)價(jià)是指讀者對(duì)于作者文章的整體性、概括性的評(píng)論或評(píng)分；修正則是讀者向作者提供的詳細(xì)的解釋、說明、指導(dǎo)，意在幫助作者找出不足之處，并且改正不足之處（張雪梅，戴煒棟，2001）。

AES系統(tǒng)有兩個(gè)應(yīng)用目標(biāo)：一方面是用于大規(guī)?？荚嚨淖詣?dòng)評(píng)分；另一方面用于寫作教學(xué)，作為一個(gè)提供反饋的工具。前面討論到的幾個(gè)系統(tǒng)，基本都是以第一個(gè)目標(biāo)為主，也有在此基礎(chǔ)上兼顧第二個(gè)目標(biāo)的，比如E-Rater。Page把作文評(píng)分分為內(nèi)容評(píng)分與文體評(píng)分，前者指文章講了什么，后者指句法、寫作機(jī)制、用詞以及文章如何表達(dá)等其他方面。有的系統(tǒng)偏重于分析文體（如PEG），有的系統(tǒng)偏重于分析內(nèi)容（如IEA），有的二者兼收并蓄（如E-Rater）。

對(duì)于中國的EFL作文，只分析內(nèi)容顯然不切合實(shí)際，最終目的還是為了促進(jìn)英語學(xué)習(xí)。所以我國AES研究應(yīng)著重于第二個(gè)目標(biāo)，即為學(xué)生提供一個(gè)基于網(wǎng)絡(luò)的寫作環(huán)境，能夠?yàn)閷W(xué)生的作文給出即時(shí)的評(píng)分與反饋，指導(dǎo)學(xué)生寫作。在這個(gè)應(yīng)用上，準(zhǔn)確而詳盡的反饋至關(guān)重要，而要提供反饋，只有淺層的文本特征提取與分析是不夠的，必須結(jié)合中國學(xué)生英語作文的實(shí)際情況，采用各種NLP（NaturalLanguageProcessing）工具，對(duì)文章作出細(xì)致的深層次分析。當(dāng)前的詞匯、語法的分析技術(shù)已經(jīng)比較成熟，只要加以適當(dāng)?shù)母倪M(jìn)，便可用于中國EFL作文評(píng)分，并給出這兩方面的詳細(xì)反饋，可參考IEA的方法，給出內(nèi)容方面的提示；在篇章結(jié)構(gòu)方面，可參考E-Rater的方法。更重要的是，根據(jù)英語寫作教學(xué)理論，在反饋中要給出正面的表揚(yáng)、鼓勵(lì)性提示（王初明2004）。

再者，寫作在線反饋系統(tǒng)存在信度和效度問題。作文自動(dòng)評(píng)分的目的是利用多學(xué)科技術(shù)有效地模擬人工評(píng)分，以達(dá)到快速評(píng)定作文質(zhì)量的目的。因此，在對(duì)計(jì)算機(jī)評(píng)分模型進(jìn)行訓(xùn)練時(shí)，訓(xùn)練集作文人工評(píng)分的信度至關(guān)重要。只有有效地模擬具有較高信度的人工評(píng)分，計(jì)算機(jī)評(píng)分才有意義。評(píng)價(jià)對(duì)學(xué)生作文的評(píng)分是否合理，所需考察的另一個(gè)方面是評(píng)分的效度，如上文所述，對(duì)作文進(jìn)行評(píng)分一般至少需要從作文的語言質(zhì)量、內(nèi)容質(zhì)量和篇章結(jié)構(gòu)質(zhì)量三個(gè)主要方面對(duì)作文的整體質(zhì)量加以衡量。

PEG雖然對(duì)作文的語言質(zhì)量有著較強(qiáng)的分析能力，但忽略了作文的內(nèi)容質(zhì)量和篇章結(jié)構(gòu)質(zhì)量，因而其評(píng)分結(jié)果存在較大的效度問題。與此相類似，IEA突出了評(píng)分過程中作文內(nèi)容的重要性，但忽略了作文的語言質(zhì)量和篇章結(jié)構(gòu)質(zhì)量，顯然也存在較大的效度問題。與這兩種系統(tǒng)相比，E-rater以其模塊結(jié)構(gòu)兼顧了作文質(zhì)量的三個(gè)主要方面。國內(nèi)的寫作在線反饋起步較晚，多以淺層特征的統(tǒng)計(jì)分析為主，也有樣本數(shù)量、范圍的局限性，其評(píng)分模型與實(shí)用系統(tǒng)尚有一定的距離。

此外，在實(shí)際的寫作教學(xué)中，為滿足學(xué)生個(gè)性化的學(xué)習(xí)要求，在線反饋系統(tǒng)也需與其他反饋方式進(jìn)行有效互補(bǔ)。寫作教學(xué)中，根據(jù)反饋的來源，可將反饋分為教師反饋、同伴反饋和計(jì)算機(jī)網(wǎng)絡(luò)反饋。研究表明，教師反饋能明顯增強(qiáng)學(xué)生的寫作篇章布局意識(shí)；同伴反饋過程中學(xué)生通過協(xié)商和討論，以一種雙向、主動(dòng)的反饋方式提高寫作水平和思維能力，同時(shí)，學(xué)生的自主學(xué)習(xí)能力和合作精神也相應(yīng)增強(qiáng)；計(jì)算機(jī)網(wǎng)絡(luò)在線反饋則是借助現(xiàn)代化教育技術(shù)，在網(wǎng)絡(luò)環(huán)境中的師生互動(dòng)以及在寫作反饋過程中加入自動(dòng)評(píng)改系統(tǒng)，可以明顯激發(fā)學(xué)生的自主寫作興趣、豐富寫作內(nèi)容和提高語言質(zhì)量，可提高教師的工作效率，協(xié)助教師為學(xué)習(xí)者提供具有針對(duì)性的修改建議，同時(shí)也可以更好的保證評(píng)分的一致性，作文評(píng)分本質(zhì)上存在主觀性，人工評(píng)分的一致性會(huì)因此受到一定的影響，而寫作在線反饋受這方面的影響較小。

綜上所述，在線上線下混合式教學(xué)改革的背景下，在線反饋系統(tǒng)在寫作教學(xué)中越來越重要，未來的研究可以從以上三個(gè)方面進(jìn)行，寫作在線反饋系統(tǒng)的兩個(gè)維度（評(píng)分和修正）的開發(fā)；寫作在線反饋系統(tǒng)的信度和效度的優(yōu)化；寫作在線反饋系統(tǒng)與其他反饋方式的互補(bǔ)模式。

參考文獻(xiàn)

[1]Freedman，S.W.（Ed.）The Acquisition of Written

Language：Response and Revision[M].Norwood，NJ：

Ablex，1985.

[2]Page，E.Project essay grade：PEG[A].In M .Shermis&J.

Burstein（eds.）.AutomatedEssayScoring：ACross-disciplinary

Perspective[C].Mahwah，N.J.：Lawrence Erlhaum.2003：

43-54.

[3]Swain，M.Three functionso fo utput in second language

learning.In G.Cook & B.Seidlhofer（Eds.），Principles and

practice in applied linguistics：Studies in honor of H.G.

Widdowson[C].Oxford：Oxford University Press，1995：

125-144.

[4]Attali，Y.Exploring the feedback and revision features of

criterion[R].Paper presented at the Annual Meeting of the

National Council on Measurement in Education，San

Diego，CA.，America，April 2004.

[5]Chen，E. & E.Cheng.2008.Beyond the design of automated

writing evaluation：Pedagogical practices and perceived

learning effectiveness in EFL writing classes[J].Language

Leaning & Technology 2008（12）：94-112.

[6]Elliot，S. & C.Mikulas.2004.The impact of MY Acess use

on student wrting performance：A technology overview and

fours tudies[R].Paper presented at the Annual Meeting of

American Educational Research Association，San Diego，

CA.，America，2004（4）.

[7]蔡基剛.中國大學(xué)生英語寫作在線同伴反饋和教師

反饋對(duì)比研究[J].外語界，2011（2）：65-72.

[8]陳曉湘，李會(huì)娜.教師書面性修正反饋對(duì)學(xué)生寫作的

影響[J].外語教學(xué)與研究，2009（5）.

[9]梁茂成.中國學(xué)生英語作文自動(dòng)評(píng)分模型的構(gòu)建[M].

北京：外語教學(xué)與研究出版社，2010.

[10]梁茂成.大規(guī)?？荚囉⒄Z作文自動(dòng)評(píng)分系統(tǒng)的研制

[M].北京：高等教育出版社，2011.

[11]周一書.大學(xué)英語寫作反饋方式的對(duì)比研究[J].外語

界，2013（3）：87-95.

[12]葛詩利，陳蕭蕭.中國EFL學(xué)習(xí)者自動(dòng)作文評(píng)分探索

[J].外語界，2007（5）：43-50.

[13]梁茂成、文秋芳.國外作文自動(dòng)評(píng)分系統(tǒng)評(píng)述及啟示

[J].外語電化教學(xué)，2007（5）：18-24.

[14]李金輝.使用潛伏語義分析理論研究計(jì)算機(jī)改中國

學(xué)生英語作文[D].廣東外語外貿(mào)大學(xué)，2009.