余小梅

摘 要：自動(dòng)評(píng)分系統(tǒng)在我國高校語言評(píng)價(jià)測(cè)試領(lǐng)域逐漸被推廣使用。本文通過在線訪談、論壇和問卷調(diào)查3種方式對(duì)我國高校廣泛使用的冰果智能評(píng)閱系統(tǒng)進(jìn)行了全面考察。梳理來自作文智能評(píng)閱系統(tǒng)設(shè)計(jì)者、系統(tǒng)使用者雙方的觀點(diǎn)，整理寫作直接參與者的直觀體驗(yàn)，重點(diǎn)分析智能評(píng)閱存在的不足，提出人工欣賞型評(píng)閱與智能預(yù)選型評(píng)分結(jié)合的人機(jī)協(xié)同寫作批改模式，高分示范，低分重新手寫，以激發(fā)學(xué)生英語寫作的興趣，最終提高學(xué)生英語寫作水平。

關(guān)鍵詞：大學(xué)英語寫作;智能評(píng)閱;人機(jī)協(xié)同評(píng)價(jià)模式

英語寫作能力一直是衡量大學(xué)生外語能力的一個(gè)重要尺度，其重要性從歷年各級(jí)各類考試分值占比可見一斑。誠然，寫作水平的發(fā)展與相鄰學(xué)科的學(xué)習(xí)密切相關(guān)，但與之有著直接垂直關(guān)聯(lián)的兩方面分別是教和寫、評(píng)和改。由于計(jì)算機(jī)統(tǒng)計(jì)技術(shù)、自然語言處理技術(shù)和信息檢索技術(shù)甚至人工智能技術(shù)等的進(jìn)步以及電腦設(shè)備硬件的普及，越來越多的高校采用智能評(píng)閱系統(tǒng)。毫無疑問，這減輕了教師在人工批改的過程中體能的消耗、情緒喜好等因素的干擾以及對(duì)相應(yīng)的評(píng)分公正與否的心理擔(dān)憂。但這是否意味著英語教師就此解放，借助機(jī)器評(píng)閱可以實(shí)現(xiàn)一勞永逸？語言學(xué)習(xí)者寫作能力是否在這樣一個(gè)-技術(shù)控制的客觀的評(píng)閱反饋下得到了提升？下文將以我國高校使用最為廣泛的寫作評(píng)分系統(tǒng)——冰果智能評(píng)分系統(tǒng)就此問題展開探討。

一、研究過程和反饋

為了呈現(xiàn)一個(gè)有關(guān)智能評(píng)閱系統(tǒng)的客觀圖景，在該主題的調(diào)查過程中，筆者結(jié)合了多種方法，收集了多方觀點(diǎn)。

（一）在線訪談

筆者帶著“智能作文評(píng)閱系統(tǒng)如何能評(píng)閱千差百異的作文”這一疑問對(duì)該評(píng)閱系統(tǒng)的技術(shù)人員進(jìn)行了一個(gè)簡(jiǎn)短的訪談，反饋的信息如下：

該技術(shù)人員稱，英語智能作文評(píng)閱系統(tǒng)基于核心機(jī)器學(xué)習(xí)技術(shù)和對(duì)我國英語教學(xué)現(xiàn)狀的深入理解，并利用現(xiàn)代互聯(lián)網(wǎng)技術(shù)，自主研發(fā)一套對(duì)批量英語作文進(jìn)行機(jī)器評(píng)閱的網(wǎng)絡(luò)平臺(tái)產(chǎn)品，旨在突破性地實(shí)現(xiàn)對(duì)大批量英語作文進(jìn)行精準(zhǔn)快速的機(jī)器評(píng)閱，解決當(dāng)前國內(nèi)英語教學(xué)界大學(xué)中學(xué)英語寫作教學(xué)的實(shí)際問題，并且應(yīng)用在大型英語水平考試的評(píng)閱體系中，大大節(jié)省人工投入，使工作效率提高了50%以上。

這一段反饋主要是講述該系統(tǒng)研發(fā)的目的，即節(jié)省人工勞動(dòng)量，提高批閱的效率，這一優(yōu)勢(shì)毋庸置疑。

針對(duì)系統(tǒng)批改原理，該技術(shù)人員指出，打分機(jī)制及案例基于語言學(xué)專家開發(fā)的大型詞法、句法和語義規(guī)則庫，對(duì)學(xué)生作文進(jìn)行語言方面的多維度評(píng)估。這種多維度批改具體內(nèi)容涵蓋以下幾個(gè)方面：①內(nèi)容及主題思想;②篇章結(jié)構(gòu)——連貫性;③句子結(jié)構(gòu)準(zhǔn)確度——語法;④語言流利程度——文風(fēng);⑤詞語運(yùn)用——拼寫和詞語運(yùn)用。系統(tǒng)批改原理的依據(jù)是后臺(tái)開發(fā)的語料庫，而不是一篇一篇作文集合而成的作文語料庫。

對(duì)于“既然你們的語料庫是基于詞法、句法和語義規(guī)則，那么怎么能評(píng)判主題和風(fēng)格呢？”這一問題，該技術(shù)員沒有給出回答。顯然，技術(shù)員在如何評(píng)判“風(fēng)格”“主題”問題上的沉默代表著智能評(píng)閱系統(tǒng)的難度。

（二）教師論壇意見

教師A：“這是我一個(gè)學(xué)生100分的作文，n多明顯的錯(cuò)誤;我還不止一個(gè)學(xué)生得100;同樣的題目，學(xué)生找了篇和主題無關(guān)的范文的得分?！?/p>

教師B：“據(jù)我的考察，機(jī)器的低分判定很多情況下都比較符合事實(shí)，而機(jī)器的高分判定結(jié)果很多情況下與作文的真實(shí)價(jià)值好像有所出入。系統(tǒng)有主題偏離分析。”

教師C：“機(jī)器肯定是問題多多，更何況面對(duì)的是作文這種不可量化的東西?！?/p>

以上表述顯然具有代表性，一部分教師并不愿意或者不信賴智能評(píng)分系統(tǒng)，事實(shí)上的確出現(xiàn)讓教師不信任的理據(jù)，尤其在高分評(píng)定上。

將作文與評(píng)語相對(duì)照，系統(tǒng)打分明顯是基于語言語法最基礎(chǔ)的方面，而對(duì)于風(fēng)格、文采等方面的處理印證了上述教師的觀察。

（三）問卷調(diào)查

筆者在任教的大學(xué)一年級(jí)平行班級(jí)推行使用國內(nèi)高校普遍采用的冰果作文智能評(píng)分系統(tǒng)，在一個(gè)學(xué)年內(nèi)，布置了一定數(shù)量的寫作任務(wù)，在學(xué)生提交之后，同期做了一個(gè)問卷調(diào)查，所有問卷都收回，真實(shí)有效，收回反饋卷兩個(gè)班各38份。問卷設(shè)計(jì)的問題和統(tǒng)計(jì)結(jié)果反饋分別如表1和表2所示。

從表1、表2中可以看出，學(xué)生使用者顯然對(duì)智能評(píng)閱系統(tǒng)也存在不滿，評(píng)價(jià)系統(tǒng)仍有很大的提升空間。各方觀點(diǎn)在一定程度上反映出智能評(píng)分系統(tǒng)的信度，如評(píng)判得準(zhǔn)確與否、滿分和高分的評(píng)定、智能評(píng)閱對(duì)學(xué)生寫作習(xí)慣和水平的影響以及學(xué)生是否改正錯(cuò)誤。不難看出學(xué)生方有3個(gè)突出趨向：（1）針對(duì)一個(gè)寫作任務(wù)，學(xué)生需要一篇甚至若干篇范文作為修改參考;（2）需要評(píng)閱者對(duì)全文的宏觀構(gòu)思、主旨和微觀語言詞句表達(dá)都能作出準(zhǔn)確的、針對(duì)性強(qiáng)的而非過于籠統(tǒng)的點(diǎn)評(píng)，糾錯(cuò)的同時(shí)指出作文的優(yōu)點(diǎn);（3）雖然智能評(píng)分系統(tǒng)能減輕教師的評(píng)閱負(fù)擔(dān)，但82%和84%的學(xué)生選擇人工評(píng)閱。

二、對(duì)策

“計(jì)算機(jī)自動(dòng)作文評(píng)分屬于典型的智能計(jì)算?！保ǜ鹪娎悶t瀟，2009）當(dāng)前使用的各種智能評(píng)分系統(tǒng)如PEG、IEA、E-rater等都很大程度地依托淺層文本特征統(tǒng)計(jì)，即詞匯的統(tǒng)計(jì)。“自動(dòng)作文評(píng)分中對(duì)內(nèi)容的評(píng)分只能是對(duì)人工文章內(nèi)容評(píng)分的一種近似的模仿?！保ㄍ希?duì)作文語言使用的評(píng)價(jià)通常包括詞匯、句型、語法和操作細(xì)節(jié)幾個(gè)方面。文秋芳（2007：67）指出，“詞匯指作文所用單詞的詞頻高低、單詞的搭配以及恰當(dāng)性;句型指作文所用句型的復(fù)雜度和多樣性;語法指作文所用語言是否符合語法規(guī)則;操作細(xì)節(jié)指拼寫、大小寫、標(biāo)點(diǎn)等使用情況。”有鑒于此，筆者針對(duì)以上調(diào)查和梳理出的問題，建議采取以下評(píng)閱模式。

（1）針對(duì)每一次寫作任務(wù)，提供一篇甚至若干篇同一課題的論文作為評(píng)閱參照，確保學(xué)生有范文可自行學(xué)習(xí)，從而延伸課堂教學(xué)，使評(píng)閱更為合理。因此，很有必要建設(shè)智能評(píng)閱系統(tǒng)主題作文語料庫。

（2）技術(shù)層面，系統(tǒng)在設(shè)置評(píng)閱變量時(shí)，效仿TOEFL考試中應(yīng)用的E-rater，從語言形式和闡述內(nèi)容兩方面對(duì)作文進(jìn)行針對(duì)性強(qiáng)的評(píng)價(jià)。鑒于智能評(píng)閱系統(tǒng)在低分作文評(píng)定方面有較高的信度以及無論從局部還是全局“手寫作文的錯(cuò)誤的改正率大于在線作文的錯(cuò)誤的改正率”的現(xiàn)狀，可以讓機(jī)器對(duì)作文先作一個(gè)預(yù)批閱，篩查出低分作文。對(duì)于這些低分作文，教師要求學(xué)生重新手寫，以促反思改進(jìn)。對(duì)于高分作文，在機(jī)器評(píng)閱的基礎(chǔ)上讓教師進(jìn)行人工審閱，在課堂進(jìn)行公開示范點(diǎn)評(píng)，并對(duì)其優(yōu)點(diǎn)、主旨、篇章結(jié)構(gòu)、內(nèi)容邏輯性和連貫性等方面突出分析。80%以上的學(xué)生選擇人工評(píng)閱，這揭示出互動(dòng)和情感因素在學(xué)習(xí)過程中發(fā)揮的重要作用。這需要教師人工的積極干預(yù)、對(duì)優(yōu)點(diǎn)的褒獎(jiǎng)和對(duì)不足的中肯貼切的建議。因此，自動(dòng)評(píng)分要以人工評(píng)分為準(zhǔn)，尤其是高分作文。

三、結(jié)語

面對(duì)多次數(shù)大規(guī)模的寫作評(píng)閱，回歸全面人工在很大程度上是倒退，那么只有一方面不斷完善智能評(píng)分系統(tǒng)提高其評(píng)閱的信度即可靠性，另一方面加強(qiáng)教師對(duì)寫作評(píng)閱的積極干預(yù)，將注重語言特征的機(jī)器和注重高層次寫作技巧的人工結(jié)合起來，采取人機(jī)協(xié)同評(píng)閱模式，評(píng)分之外更注重學(xué)習(xí)者自主學(xué)習(xí)和反思，才能真正激發(fā)學(xué)生的英語寫作興趣并提升學(xué)生的寫作水平。

參考文獻(xiàn)：

[1]陳亦挺.在線英語寫作有效性研究——基于冰果英語智能作文評(píng)閱系統(tǒng)[D].杭州：浙江大學(xué)，2012.

[2]陳蕓.基于自動(dòng)作文評(píng)分系統(tǒng)的英語寫作調(diào)查分析[J].語文學(xué)刊，2011（11）：72.

[3]郭春珍.冰果英語作文智能評(píng)閱的應(yīng)用與利弊[J].湖北函授大學(xué)學(xué)報(bào)，2017（7）：148-149.

[4]梁茂成.大規(guī)?？荚囉⒄Z作文自動(dòng)評(píng)分系統(tǒng)的研制[M].北京：高等教育出版社，2012.