郭春珍

[摘要]隨著冰果作文智能評(píng)閱系統(tǒng)的廣泛應(yīng)用，自動(dòng)評(píng)分系統(tǒng)的利弊逐漸顯露出來(lái)了。筆者從冰果英語(yǔ)作文智能評(píng)閱的評(píng)價(jià)入手，判斷其評(píng)分的主要依據(jù)，同時(shí)結(jié)合人工評(píng)閱，對(duì)該智能評(píng)閱系統(tǒng)的可信度進(jìn)行分析。冰果英語(yǔ)作文智能評(píng)閱利弊并存，教師以及學(xué)生應(yīng)該客觀地看待其評(píng)價(jià)結(jié)果。

[關(guān)鍵詞]大學(xué)英語(yǔ)作文；冰果英語(yǔ)作文智能評(píng)閱；利弊

[中圖分類(lèi)號(hào)] G642[文獻(xiàn)標(biāo)識(shí)碼] A

[文章編號(hào)] 1671-5918（2017）07-0148-02

doi：10.3969/j.issn.1671-5918.2017.07.069

[本刊網(wǎng)址] http：//www.hbxb.net

一、大學(xué)英語(yǔ)作文智能評(píng)閱的發(fā)展和應(yīng)用

隨著現(xiàn)代教育技術(shù)的發(fā)展，自動(dòng)作文評(píng)分系統(tǒng)在大學(xué)英語(yǔ)寫(xiě)作教學(xué)中的應(yīng)用越來(lái)越廣。自動(dòng)作文評(píng)分（Automated Essay Scoring，簡(jiǎn)稱(chēng)為AES）是利用計(jì)算機(jī)技術(shù)對(duì)作文進(jìn)行評(píng)估與記分。國(guó)外智能評(píng)閱的研究至今已有四十多年。1999年自動(dòng)評(píng)分進(jìn)入實(shí)際應(yīng)用階段。作文自動(dòng)評(píng)分利用統(tǒng)計(jì)技術(shù)、自然語(yǔ)言處理技術(shù)、信息檢索技術(shù)等，從作文文本中找出能夠直接反映文章質(zhì)量的一系列文本特征項(xiàng)作為變量，以有效地預(yù)測(cè)作文質(zhì)量。1997年出現(xiàn)的E-rater利用自然語(yǔ)言處理與統(tǒng)計(jì)技術(shù)，基于作文思想組織、句子結(jié)構(gòu)和文章內(nèi)容給出整體評(píng)分。它于1999年開(kāi)始用于GMAT考試作文評(píng)分，2005年開(kāi)始用于托?？荚囎魑脑u(píng)分。試卷的最終得分由E-rater和一名閱卷員決定，如果E-rater跟閱卷員的評(píng)分結(jié)果相差超過(guò)1分，就要由第二名評(píng)卷員來(lái)處理。國(guó)內(nèi)自動(dòng)作文評(píng)分研究較晚。中國(guó)大學(xué)生的英語(yǔ)寫(xiě)作在語(yǔ)法與措辭上與母語(yǔ)為英語(yǔ)的學(xué)生有著很大的差異。所以國(guó)外的AES系統(tǒng)并不完全適用于中國(guó)大學(xué)生。2005年，梁茂成以提取淺層文本特征為主，結(jié)合針對(duì)內(nèi)容的潛在語(yǔ)義分析，得到了與人工評(píng)分較高的相關(guān)度。他于2009年初步完成了大規(guī)?？荚囉⒄Z(yǔ)作文自動(dòng)評(píng)分系統(tǒng)的研制。到2014年，以梁茂成為總設(shè)計(jì)師，外語(yǔ)教學(xué)與研究出版社開(kāi)發(fā)了i-Write寫(xiě)作平臺(tái)。這是一套大學(xué)英語(yǔ)寫(xiě)作教學(xué)系統(tǒng)，從語(yǔ)言、內(nèi)容、篇章結(jié)構(gòu)和技術(shù)規(guī)范對(duì)學(xué)生作文進(jìn)行自動(dòng)評(píng)閱。2011年，浙江大學(xué)外國(guó)語(yǔ)言文化與國(guó)際交流學(xué)院自主研發(fā)的冰果英語(yǔ)針對(duì)高等院校及高中生英語(yǔ)寫(xiě)作教學(xué)推出了冰果英語(yǔ)智能作文評(píng)閱系統(tǒng)，從詞匯、語(yǔ)法、文風(fēng)和內(nèi)容等方面對(duì)學(xué)生作文給出意見(jiàn)反饋，同時(shí)給出評(píng)價(jià)，得出一個(gè)參考分?jǐn)?shù)。經(jīng)過(guò)推廣，冰果英語(yǔ)作文智能評(píng)閱系統(tǒng)已在全國(guó)幾百所院校中使用。本文中，作者所在的福建中醫(yī)藥大學(xué)正是從2011年9月開(kāi)始試用冰果英語(yǔ)智能作文閱卷系統(tǒng)，至今已有5年的實(shí)踐積累。

二、冰果作文智能評(píng)閱的特點(diǎn)

筆者每年基本都擔(dān)任三個(gè)大班（120人）的大學(xué)英語(yǔ)教學(xué)。每學(xué)期，所有的學(xué)生都按要求完成冰果英語(yǔ)作文智能評(píng)閱系統(tǒng)里的五篇不同體裁的作文。作文題目借鑒了大學(xué)英語(yǔ)四級(jí)考試的內(nèi)容，適合修大學(xué)英語(yǔ)課程的非英語(yǔ)專(zhuān)業(yè)的一年級(jí)學(xué)生。積累了學(xué)生五年多的在線寫(xiě)作實(shí)踐，筆者總結(jié)出冰果英語(yǔ)作文智能評(píng)閱的評(píng)價(jià)包含了如下兩大特點(diǎn)：

（一）注重對(duì)特征模型的評(píng)價(jià)

冰果英語(yǔ)作文智能評(píng)閱系統(tǒng)中，學(xué)生提交完作文，經(jīng)系統(tǒng)批改后，學(xué)生可以在系統(tǒng)界面的右側(cè)看到自己文章被分成一句一句的形式，每一句下面都有系統(tǒng)對(duì)該句的評(píng)價(jià)，包括拼寫(xiě)錯(cuò)誤、詞語(yǔ)解析、詞匯辨析、搭配提示、語(yǔ)法提示、句型提示和可能錯(cuò)誤等。拼寫(xiě)錯(cuò)誤直接指出正確拼寫(xiě)。這是計(jì)算機(jī)最直接的一個(gè)功能應(yīng)用。詞語(yǔ)解釋是對(duì)文中所使用的詞匯的用法進(jìn)行分析。詞匯辨析則列舉了幾個(gè)與文中使用過(guò)的某一詞匯相近的詞進(jìn)行分析辨別。這兩種評(píng)價(jià)更多的是為學(xué)生提供學(xué)習(xí)資料，它體現(xiàn)的是該系統(tǒng)中存儲(chǔ)的語(yǔ)言信息，是跟學(xué)生的寫(xiě)作內(nèi)容及其是否存在錯(cuò)誤并無(wú)太大關(guān)聯(lián)。搭配提示則是把文中學(xué)生應(yīng)用過(guò)的搭配選出來(lái)，給計(jì)算機(jī)系統(tǒng)一個(gè)關(guān)于學(xué)生如何措辭的指示。同理，句型提示也是比對(duì)學(xué)生所使用的句型跟計(jì)算機(jī)存儲(chǔ)的句型是否有重復(fù)。語(yǔ)法提示則只羅列文中某一完整句子，指出其可能存在語(yǔ)法錯(cuò)誤，并無(wú)確切指正?？赡苠e(cuò)誤大多數(shù)情況則是指示學(xué)生輸入格式有錯(cuò)，比如標(biāo)點(diǎn)符號(hào)后面沒(méi)有留空格。計(jì)算機(jī)依據(jù)上述這一系列的特征模型形成一系列的特征成績(jī)，系統(tǒng)最后依據(jù)這些特征成績(jī)，得出最后的評(píng)分。

（二）評(píng)語(yǔ)模式固定

冰果英語(yǔ)作文智能評(píng)閱給出的綜合評(píng)語(yǔ)由四個(gè)方面組成：第一，總體評(píng)價(jià)，比如A good/solid piece of work或者Good job/Well done之類(lèi)的概括。第二部分是對(duì)文章的語(yǔ)言進(jìn)行評(píng)價(jià)，經(jīng)常陳述為“文章中有一些小錯(cuò)誤”。第三部分對(duì)文章中是否有使用英語(yǔ)句型或者詞匯豐富與否進(jìn)行表達(dá)。最后一點(diǎn)圍繞文章主題是否深入來(lái)總結(jié)。最后，系統(tǒng)呈現(xiàn)一個(gè)分?jǐn)?shù)給學(xué)生?；旧蟻?lái)說(shuō)，綜合評(píng)語(yǔ)的評(píng)價(jià)內(nèi)容的好壞跟系統(tǒng)給出的成績(jī)有一定的聯(lián)系。百分制的作文，全班平均分設(shè)定為65分，學(xué)生得分如果高于75分，系統(tǒng)的評(píng)語(yǔ)會(huì)包含good/excellent這樣的評(píng)價(jià)詞匯。但是總體而言，評(píng)語(yǔ)的內(nèi)容沒(méi)有體現(xiàn)出學(xué)生之間的顯著差異，60分或者70分的作文有的時(shí)候得到的總體評(píng)價(jià)并沒(méi)有區(qū)別，給讀者一個(gè)過(guò)于籠統(tǒng)的感覺(jué)。尤其在指出文章中有錯(cuò)誤的時(shí)候，計(jì)算機(jī)并沒(méi)有針對(duì)性地從錯(cuò)誤的類(lèi)型進(jìn)行闡述。此外，冰果作文智能評(píng)閱評(píng)分的一個(gè)顯著特點(diǎn)是，教師可以給全班設(shè)定一個(gè)平均分期望值，最后全班的平均分就是該期望值。

三、冰果英語(yǔ)作文智能評(píng)閱的利與弊

在大學(xué)英語(yǔ)大班教學(xué)的大背景下，智能閱卷給大學(xué)英語(yǔ)教師提供了一個(gè)平臺(tái)，可以讓學(xué)生適量地甚至大量地進(jìn)行寫(xiě)作練習(xí)。該系統(tǒng)也能運(yùn)用于大規(guī)?？荚嚕缬⒄Z(yǔ)寫(xiě)作比賽，為教師提供一個(gè)參考依據(jù)。這是人工批閱無(wú)法比擬的，計(jì)算機(jī)所特有的顯著優(yōu)勢(shì)。一位大學(xué)英語(yǔ)教師要帶至少兩個(gè)或者多個(gè)學(xué)生數(shù)超過(guò)60人的班級(jí)，如果每學(xué)期布置五篇左右的作文，并且都手改的話，那教師的工作量就超負(fù)荷了。冰果英語(yǔ)作文智能評(píng)閱系統(tǒng)解決了作業(yè)數(shù)量大，教師人工無(wú)法及時(shí)批改這個(gè)問(wèn)題。同時(shí)，提交截止日期之前，學(xué)生的作文可以隨時(shí)在線修改，系統(tǒng)也會(huì)實(shí)時(shí)給出一個(gè)參考成績(jī)。教師也可以實(shí)時(shí)查閱學(xué)生作業(yè)提交情況。此外，計(jì)算機(jī)還能反饋出作業(yè)當(dāng)中的雷同卷。網(wǎng)絡(luò)所提供的及時(shí)反饋?zhàn)寧熒p方都能最快地掌握反饋信息。從機(jī)器閱卷的可信度來(lái)看，筆者做了如下比較。筆者抽取了一個(gè)60人的班級(jí)三次不同體裁的作文進(jìn)行人工閱卷。比對(duì)完三次人工閱卷與計(jì)算機(jī)閱卷的結(jié)果，筆者得到的相關(guān)系數(shù)分別為90%，92%和89%。因此，從整體上來(lái)看，計(jì)算機(jī)自動(dòng)評(píng)閱的結(jié)果還是可靠的。

然而，機(jī)改與人工批改還是有一定的差距的，尤其通過(guò)計(jì)算機(jī)給出的評(píng)價(jià)可以看出機(jī)改與人工批改的主要區(qū)別。冰果英語(yǔ)作文評(píng)閱給出的評(píng)分和評(píng)語(yǔ)都是基于一系列的特征模型的數(shù)量而得出的，而人工批閱采取的是全局性的評(píng)價(jià)。人工批閱時(shí)，教師一般在短時(shí)間內(nèi)通讀完學(xué)生的作文，再結(jié)合學(xué)生所使用的句型，語(yǔ)法和措辭等給出一個(gè)分?jǐn)?shù)。更重要的是，教師常常會(huì)指出學(xué)生寫(xiě)作中的具體錯(cuò)誤，并幫助其修改，給出正確示范。教師會(huì)劃出學(xué)生作文中的好的句子或詞匯，也會(huì)在錯(cuò)誤的原句上進(jìn)行修正。同時(shí)，教師在評(píng)分后還會(huì)給出具體的評(píng)語(yǔ)，指出學(xué)生可提高的空間，比如段落結(jié)構(gòu)該如何劃分，什么句型適合表達(dá)什么內(nèi)容，什么詞匯適合什么語(yǔ)體。也就是說(shuō)，人工批閱給學(xué)生的反饋是人性化的，也是有針對(duì)性的。從學(xué)生的主觀感受來(lái)說(shuō)，他們會(huì)更認(rèn)同教師人工批閱所帶來(lái)的親切感。筆者對(duì)同一屆三個(gè)班的學(xué)生進(jìn)行過(guò)問(wèn)卷調(diào)查，研究學(xué)生對(duì)智能閱卷和人工閱卷所持的態(tài)度。76%的學(xué)生認(rèn)為機(jī)器閱卷不能代替人工閱卷，人工閱卷給他們更多動(dòng)力去主動(dòng)修改或者重寫(xiě)作文。至于智能評(píng)閱評(píng)分的平均值由教師主觀設(shè)置這一點(diǎn)，由于學(xué)生每一次寫(xiě)作的表現(xiàn)并不是穩(wěn)定的，所以人為設(shè)置平均分也缺乏客觀性。

四、總結(jié)

在大學(xué)英語(yǔ)無(wú)法實(shí)現(xiàn)小班（30人）教學(xué)之前，冰果英語(yǔ)作文智能評(píng)閱系統(tǒng)是大學(xué)英語(yǔ)教師不可或缺的一個(gè)網(wǎng)絡(luò)教學(xué)助手。教師在利用該系統(tǒng)在線輔助教學(xué)的過(guò)程中還應(yīng)兼顧課堂指導(dǎo)的作用。由于學(xué)生的寫(xiě)作策略貧乏，教師如果沒(méi)有在學(xué)生在線寫(xiě)作之前對(duì)其進(jìn)行先導(dǎo)策略的教學(xué)，他們往往寫(xiě)出來(lái)的作文篇章結(jié)構(gòu)不清，思路混亂。寫(xiě)作策略包括語(yǔ)言輸入策略、宏觀結(jié)構(gòu)策略、模仿策略、糾錯(cuò)策略和寫(xiě)作實(shí)踐策略。教師應(yīng)該在布置在線寫(xiě)作之前先進(jìn)行寫(xiě)作策略的指導(dǎo)。寫(xiě)作結(jié)束之后，教師可從在線提交的作文中抽取系統(tǒng)評(píng)閱出來(lái)的各個(gè)分?jǐn)?shù)段的范文，發(fā)放給全班同學(xué)，供大家討論和學(xué)習(xí)。然后教師在課堂上再對(duì)這些范文的系統(tǒng)評(píng)價(jià)進(jìn)行再評(píng)價(jià)，指出系統(tǒng)評(píng)閱沒(méi)有涉及的諸如文章的篇章結(jié)構(gòu)、內(nèi)容邏輯性和連貫性等方面存在的問(wèn)題，從而更加全面地進(jìn)行寫(xiě)作教學(xué)。同時(shí)，教師也應(yīng)該指導(dǎo)學(xué)生客觀地看待智能作文評(píng)閱系統(tǒng)，幫助學(xué)生認(rèn)識(shí)到，在線寫(xiě)作更重要的目的是增加學(xué)生寫(xiě)作的量，并給予學(xué)生通過(guò)系統(tǒng)句子點(diǎn)評(píng)和提示不斷修改自身存在的語(yǔ)言錯(cuò)誤的機(jī)會(huì)，從而提高學(xué)生寫(xiě)作水平。所以學(xué)生不必糾結(jié)于系統(tǒng)有時(shí)不夠公正的評(píng)價(jià)結(jié)果，而應(yīng)該積極地去利用在線系統(tǒng)所提供的資源進(jìn)行寫(xiě)作的學(xué)習(xí)

當(dāng)然，筆者對(duì)冰果在線寫(xiě)作的實(shí)證研究對(duì)象為自然班級(jí)，并沒(méi)有區(qū)分試驗(yàn)組和對(duì)照組。本文的結(jié)論是基于筆者一學(xué)期的教學(xué)實(shí)踐而得出的。冰果英語(yǔ)作文智能評(píng)閱對(duì)學(xué)生寫(xiě)作的提高較之傳統(tǒng)課堂寫(xiě)作教學(xué)的作用有何不同，不在此研究之列。如果有合適的班級(jí)，教師們不妨嘗試對(duì)比研究，用更顯著的結(jié)論來(lái)客觀論證在線寫(xiě)作的利弊。

參考文獻(xiàn)：

[1]TK Landauer，D Laham，PW Foltz. Automated Essay Scoring and Annotation of Essays with the Intelligent Essay Assessor[A].M.d.shermis & J burstein，2003：87-112.

[2]顧成華，王麗.基于句酷批改網(wǎng)的大學(xué)英語(yǔ)寫(xiě)作教學(xué)實(shí)證研究[J].揚(yáng)州大學(xué)學(xué)學(xué)報(bào)，2012（4）：92-96.

[3]石曉玲.在線寫(xiě)作自動(dòng)評(píng)改系統(tǒng)在大學(xué)英語(yǔ)寫(xiě)作教學(xué)中的應(yīng)用研究[J].現(xiàn)代教育技術(shù)，2012，22（10）：67-71.

[4]梁茂成，文秋芳.國(guó)外作文自動(dòng)評(píng)分系統(tǒng)評(píng)述及啟示[J].外語(yǔ)電化學(xué)，2007（5）：18-24.

[5]梁茂成.中國(guó)學(xué)生英語(yǔ)作文自動(dòng)評(píng)分模型的構(gòu)建[M].北京：外語(yǔ)教學(xué)與研究出社，2011.

[6]梁茂成.大規(guī)?？荚囉⒄Z(yǔ)作文自動(dòng)評(píng)分系統(tǒng)的研制[M].北京：高等教育出版社，2012.

[7]王初明，牛瑞英，鄭小湘.以寫(xiě)促學(xué)——一項(xiàng)英語(yǔ)寫(xiě)作教學(xué)改革的試驗(yàn)[J].外語(yǔ)教學(xué)與研究（外國(guó)語(yǔ)文雙月刊），2000（3）：208.

[8]葛詩(shī)利.大學(xué)英語(yǔ)作文自動(dòng)評(píng)分方法比較研究[J].廣東外語(yǔ)外貿(mào)大學(xué)學(xué)報(bào)，2010（5）：87.

[9]陳蕓.基于自動(dòng)作文評(píng)分系統(tǒng)的英語(yǔ)寫(xiě)作調(diào)查分析[J].語(yǔ)文學(xué)刊，2011（11）：72.

[10]彭黎.大學(xué)英語(yǔ)寫(xiě)作自主學(xué)習(xí)策略的實(shí)證研究[J].咸寧學(xué)院學(xué)報(bào)，2010（3）：57.

The Application of Bingo English Writing System and the Analysis of its Advantages and Disadvantages

GUO Chun-zhen

（Fujian University of Traditional Chinese Medicine， Fuzhou Fujian 350122， China）

Abstract： With the increasing application of Bingo English writing system， the advantages and disadvantages of the automated essay scoring system have become obvious. The author analyzed the credibility of Bingo English writing system by judging the bases of its scoring and contrasting the differences between online scoring and human scoring. It is recommended by the author that both teachers and students should regard the automated scoring system as a tool to help students improve their writing rather than depend too much on it.

Key words： college English writing； Bingo English writing system； advantages and disadvantages

（責(zé)任編輯：章樊）