摘 要：線上教學(xué)對大學(xué)英語作文訓(xùn)練提出了重大挑戰(zhàn)，作文自動評分系統(tǒng)重要性日益突顯。本研究聚焦阿里釘釘學(xué)習(xí)圈中的“英語作業(yè)”功能，邀請5名大學(xué)英語學(xué)生開展小范圍的實證研究，嘗試回答：1）“英語作業(yè)”功能的賦分是否可信;2）如何理解點評內(nèi)容兩個問題。研究結(jié)果顯示，和人工得分相比，釘釘?shù)梅譄o顯著差異。釘釘評語詳盡，層次分明，學(xué)生可以先關(guān)注錯誤、再關(guān)注警示性點評、“學(xué)習(xí)提示”和“推薦表達(dá)”，最后關(guān)注“近義詞表達(dá)學(xué)習(xí)”和“拓展辨析”，有步驟地提升自己。

關(guān)鍵詞：釘釘;“英語作業(yè)”;作文自動評分

1 引言

近年來，大學(xué)英語線上教學(xué)蓬勃發(fā)展，也遭遇了諸多挑戰(zhàn)。大學(xué)英語教學(xué)無法回避寫作訓(xùn)練，詳盡的反饋是學(xué)生提高寫作能力的根本保證，但教師人工反饋的成本極高，網(wǎng)絡(luò)授課更加劇了這種情況。作文自動評分（Automated Essay Scoring，AES）系統(tǒng)除自動評分外，還具備了錯誤分析、維度分析、個性化反饋、寫作輔助等功能，十分適合信息化時代大學(xué)英語的教學(xué)要求。因此，找到可靠的AES系統(tǒng)就成了化解這個突出矛盾的關(guān)鍵。釘釘?shù)摹坝⒄Z作業(yè)”功能就具備自動評閱功能，極大方便了師生，但它的可靠性有待檢驗。

2 “英語作業(yè)”簡介

釘釘使用了“分類建群”的思想，不同類型的群配備不同的群應(yīng)用?！坝⒄Z學(xué)習(xí)”程序內(nèi)置于釘釘培訓(xùn)群中，需手工添加，提供“老師布置作業(yè)，學(xué)員提交作業(yè)，老師點評等功能”。它允許老師設(shè)置批改方式、學(xué)生修改次數(shù)，還能設(shè)置批改公式，適應(yīng)不同考試培訓(xùn)需求，它的主要功能是批閱文字中的詞匯和語法，十分適合大學(xué)外語教學(xué)的需要。教師點擊任務(wù)，就可以設(shè)置作文的標(biāo)題、字?jǐn)?shù)、具體要求、提交時間等內(nèi)容并發(fā)布到學(xué)生群。面對新技術(shù)，雖然師生主觀上覺得它是好工具，但對評分的信任度以及如何運(yùn)用它來輔助教學(xué)仍不清楚。本文設(shè)計了小規(guī)模實驗，探討以下兩個研究問題：1）“英語作業(yè)”功能的賦分是否可信？2）如何理解點評內(nèi)容？

3 實驗設(shè)計

研究隨機(jī)選取了5名大學(xué)英語學(xué)生作為被試，外語成績不做要求但必須自愿。被試均未通過四級考試或渴望刷分，十分愿意接受測試，因此可以排除被試消極應(yīng)付實驗的可能。

研究利用四級訓(xùn)練課完成，教師在“英語學(xué)習(xí)”程序中發(fā)布一個模擬測試題，被試在教室當(dāng)堂線下寫作，限時30分鐘，寫作期間不得使用手機(jī)，以排除被試求助線上資源的可能。寫作完成后，被試需在釘釘里提交電子版，并上交紙質(zhì)版，教師核驗兩個版本完全一致后，實驗方可結(jié)束。釘釘會自動批閱，顯示分?jǐn)?shù)和評語。

實驗邀請2名教師獨(dú)自人工判分，按照0-15分給分，允許保留小數(shù)點后一位。由于釘釘主要反饋的是學(xué)生的語言表述，因此教師人工判分的內(nèi)容主要也是語言表述。當(dāng)分差≥2分時，需第三位教師干預(yù)。所有評分人的算術(shù)平均分記為該被試的人工得分。使用獨(dú)立樣本T檢驗檢查釘釘?shù)梅趾腿斯さ梅质欠翊嬖陲@著性差異，同時分類統(tǒng)計評語，探究其內(nèi)在邏輯，分析評語的內(nèi)在價值。

4 討論

4.1 獨(dú)立樣本T檢驗

被試的人工評閱得分分別為12.25，12.5，11.25，12.75和13，均值12.35，方差0.456。釘釘?shù)梅譃?2.2，12.4，11.6，13.1和13.5，均值12.56，方差0.536。

使用Excel進(jìn)行F檢驗-雙樣本方差，驗證方差齊性。當(dāng)α=0.05時，P（F≤f）=0.422，因此認(rèn)為兩組數(shù)據(jù)的方差沒有明顯差異，可以進(jìn)行T檢驗。T檢驗結(jié)果顯示，當(dāng)α=0.05時，P（T≤t）=0.327，因此認(rèn)為兩組數(shù)據(jù)也沒有明顯差異。

T檢驗的結(jié)果不支持兩種評分具有顯著差異的假設(shè)，因此認(rèn)為釘釘判分是可靠的。當(dāng)然，任何AES系統(tǒng)都是基于人類評分員訓(xùn)練出來的，因此該結(jié)果也在情理之中。

4.2 點評內(nèi)容

“英語作業(yè)”提供逐句點評功能，點評看似復(fù)雜，卻均由三部分組成：

[序號] [類型] [評語]

5篇作文共123條點評，以紅、黃、綠三色呈現(xiàn)。整理后發(fā)現(xiàn)紅色代表錯誤，綠色代表表揚(yáng)，黃色可以歸納為警告或提示。這種分類剛好和交通規(guī)則相匹配，大大提高了評語的辨識度。

每種顏色的評語又細(xì)分出許多子類型。紅色評語共23處，7個子類型，都是明確的語法錯誤，如“動詞錯誤”、“名詞錯誤”等，顯然學(xué)習(xí)者應(yīng)優(yōu)先關(guān)注錯誤的內(nèi)容。綠色評語共6處，分為“精彩句型”和“閃光短語”，它們類似語文學(xué)習(xí)中的好詞好句，釘釘發(fā)現(xiàn)后提出表揚(yáng)而已。因此對于學(xué)生提高語言技能的幫助不是很大，倒不必過多關(guān)注。

黃色評語最多且看起來都比較雷同，容易導(dǎo)致學(xué)生不想看。其中警示性內(nèi)容最多，這類評語的描述和紅色的錯誤幾乎一樣，但多了“疑似”、“是否”等表述，這體現(xiàn)了釘釘評語的嚴(yán)謹(jǐn)性，可以當(dāng)作是疑似錯誤，學(xué)習(xí)者可以向教師請教是否存在錯誤并改正。其余點評都是擴(kuò)展性內(nèi)容，意在引導(dǎo)學(xué)生開拓視野。“學(xué)習(xí)提示”側(cè)重漢語和英語表述一對多的情況，提示學(xué)生加以辨析，因此可以理解為易錯詞。比如漢語的學(xué)院/大學(xué)，對應(yīng)英語中多個單詞，很容易用錯。“推薦表達(dá)”則提醒學(xué)生使用高級表達(dá)，暗示原文表述不夠好。而“近義詞表達(dá)學(xué)習(xí)”則是希望學(xué)習(xí)者頻繁更換表述，增加語言美感?！巴卣贡嫖觥本劢箖蓚€詞之間的差異，也會頻繁提示語料庫中的頻次，不過這個功能對于學(xué)生提高語言能力，幫助不大，可以忽略。

5 結(jié)語

本次小規(guī)模實驗的結(jié)果顯示，釘釘判分大致可靠，而且點評及時，評語詳盡，能有效化解人工反饋的巨大成本矛盾。釘釘評語類型劃分合理，邏輯清晰，在提高學(xué)生英語語言表述方面具有重要的參考意義。學(xué)生可以按照重要性逐一消化，首先關(guān)注錯誤、其次關(guān)注警示性點評、“學(xué)習(xí)提示”和“推薦表達(dá)”，最后可以關(guān)注“近義詞表達(dá)學(xué)習(xí)”和“拓展辨析”。

參考文獻(xiàn)

[1]翰寧.幾個英語作文自動評分系統(tǒng)的原理與評述[J].中國考試，1994：38-44.

[2]宋毅寧.自動作文評分系統(tǒng)對大學(xué)生英語寫作能力的影響實證研究[J].大學(xué)教育，2019：132-134.

[3]唐錦蘭，吳一安.寫作自動評價系統(tǒng)在大學(xué)英語教學(xué)中的應(yīng)用研究[J].外語與外語教學(xué)，2012（4）：53-59.

[4]王勃然，金檀，趙雯.自動寫作評價研究與實踐五十年—從單一、合作到交互[J].外語研究，2015（5）：50-56.

[5]葛詩利，陳瀟瀟.大學(xué)英語作文自動評分研究中的問題及對策[J].山東外語教學(xué)，2009：21-26.

作者簡介

李晨輝（1991-），男，漢族，浙江嘉興人，碩士，助教，研究方向：大學(xué)英語教學(xué)。