英語寫作AES系統(tǒng)評分效度的實證研究

王海軍

(浙江工業(yè)大學 之江學院,浙江 杭州 310024)

?

英語寫作AES系統(tǒng)評分效度的實證研究

王海軍

(浙江工業(yè)大學 之江學院,浙江 杭州 310024)

摘要：英語寫作自動評分系統(tǒng)(AES)在國外的英語寫作測試和教學領(lǐng)域應用越來越廣泛,但國內(nèi)對其信、效度的實證研究還十分欠缺。以句酷網(wǎng)為例,從人分散度、相關(guān)性和等級一致性等方面研究了AES系統(tǒng)的評分效度。結(jié)果表明,盡管機器評分區(qū)分度不如人工評分,但其總的評分效度尚可,其結(jié)果的穩(wěn)定性可以滿足國內(nèi)英語寫作課堂教學的需要。

關(guān)鍵詞：英語寫作自動評分系統(tǒng)；評分效度；句酷

作文自動評分技術(shù)(AES,Automated Essay Scoring)是計算機給作文評價和評分的技術(shù)[1],自二十世紀六十年代問世以來,已經(jīng)取得了長足的進步。現(xiàn)階段,國外的寫作自動評分技術(shù)不僅應用于英語寫作的自動評分,還在英語寫作的課堂教學實踐中發(fā)揮了越來越重要的作用。

機器自動評分具有節(jié)時省力效率高的特點,能使教師在很大程度上從繁重的寫作作業(yè)批閱中解放出來。國外的AES技術(shù)經(jīng)過多年的專家論證和實踐應用已經(jīng)相當成熟,其評分效度甚至高于人與人之間的評分效度。而國內(nèi)的AES系統(tǒng)由于起步較晚,其評分效度的實證研究目前還不多見。因此,本文以句酷網(wǎng)為例,分別從人分散度、相關(guān)性和等級一致性等指標來檢驗該系統(tǒng)的評分效度。

一、國內(nèi)外AES系統(tǒng)評分效度研究綜述

(一)評分效度研究的進展

迄今為止,國外研發(fā)成功并投入使用的自動評分系統(tǒng)有十余種[2],其中最具代表性的有PEG、IEA、E-rater、IntelliMetric和Writing RoadmapTM。它們各具特色,PEG重語言形式,IEA 重作文內(nèi)容,其余幾種則既重形式又重內(nèi)容[3]。相關(guān)研究表明,國外主流的自動評分系統(tǒng)的評分效度指標如相關(guān)度、一致度或回歸系數(shù)等數(shù)據(jù)都非常理想,可以達到0.9以上。IEA的自動評分與人工評分之間的相關(guān)性為r=0.85[3]。而IntelliMetric的相關(guān)性也類似,達到了0.85～0.87,評分等級一致性(agreement)從1996年的50%左右上升到2002年的60%,相鄰一致性(分數(shù)相差一個等級)從95%左右上升到98%[1]。而E-rater的表現(xiàn)更好,其自動評分與人工評分之間的等級一致性一直高于97%[3],相關(guān)系數(shù)已經(jīng)高達r=0.87～0.97[4]。相對而言,PEG的表現(xiàn)稍微遜色一些,機器評分與人工評分之間的相關(guān)性為0.71,但同一研究中的人工評分之間的相關(guān)性僅為0.62[5],遜色于機器評分。此外,有研究表明,PEG的多元回歸系數(shù)可以高達R=0.877[3]。

AES系統(tǒng)在中國起步較晚,從2005年梁茂成教授主持開發(fā)的“大規(guī)?？荚囉⒄Z作文自動評分系統(tǒng)”算起,僅僅十年左右。除此之外,國內(nèi)現(xiàn)有以下幾種AES：write on,冰果,IntelliMetric, iWrite和2011年投入使用的“句酷批改網(wǎng)”(pigai.org)。

目前國內(nèi)有關(guān)AES的研究主要集中于冰果、句酷等AES系統(tǒng)的課堂應用效果和對比人工批改與在線批改工具的差異等方面。而在評分效度方面,國內(nèi)主要有以下幾項研究：王鶯鶯通過對比200份作文的機器評分與人工評分研究了write on的評分效度[6]。結(jié)果表明,write on的機器評分與四名人工評分員的平均評分之間的平均相關(guān)性達到了0.62,評分效度尚可。何旭良對句酷網(wǎng)的評分效度研究結(jié)果表明：句酷批改網(wǎng)的自動評分效度稍高一些(r=0.69),但評分顯著地高于人工評分,尚不能反映學生英語作文的真實水平[7]。同樣是研究句酷網(wǎng),汪珍珠的研究結(jié)論有些不同：句酷網(wǎng)的機器評分與人工評分的擬合度(R2)很低,只有0.45,評分效度遠低于國外的主流AES[8]。這幾項研究的結(jié)果表明：與國外相比,國內(nèi)的AES系統(tǒng)評分效度盡管可以接受,但還不夠理想,僅處于國外AES系統(tǒng)初級階段的水平。

(二)評分效度研究的問題

信度和效度對于任何語言測試來說都是非常重要的指標。信度是效度的基礎(chǔ),其通用定義是指測試結(jié)果是否可靠可信[9]。當代效度觀認為信度只是效度的一種證據(jù)。Messick認為[10],在進行效度驗證時需要盡可能多地收集各種數(shù)據(jù),這其中就包括信度,信度也因此成了其效度框架的一部分。而Weir在針對考試效度所提出的社會認知框架中將信度上升到了效度的高度,即評分效度(scoring validity)[11]。

就AES系統(tǒng)而言,由于自動評分系統(tǒng)最終報告的是作文分數(shù),傳統(tǒng)的評分效度評估方法在某些情況下就不適用于AES系統(tǒng)或不能為使用者提供足夠的信息量了[1]。因此,AES系統(tǒng)的評分效度主要指在評分標準相同的情況下,機器自動評分與人工評分的相關(guān)性(consistency)或等級一致性(agreement)是否能達到人工評分的水平。而在實際操作中,我們不僅要考慮分數(shù)能否正確地評定學生的寫作等級(classification accuracy)[1],還要考慮分數(shù)的區(qū)分度(discrimination)或離散度,也就是李筱菊所說的人分散度(person separability)[9],即分數(shù)能否區(qū)分出受試者寫作水平的高低。除此之外,在考查評分效度時我們還需要考慮試題的難度(facility)等指標[9]。

因此,在本研究中,AES系統(tǒng)的評分效度主要體現(xiàn)在相關(guān)性、等級一致性和人分散度上。

與國外相比,國內(nèi)的AES評分效度實證研究方面主要存在以下幾個問題：第一,研究數(shù)量偏少,研究范圍偏窄。通過cnki搜索關(guān)鍵詞,截至2015年6月,僅搜到了三項有關(guān)國內(nèi)AES系統(tǒng)評分效度的實證研究：王鶯鶯(2012)[6]、何旭良(2013)[7]、汪珍珠、葉宬 (2014)[8]。根據(jù)上文的報告,有兩項研究的對象是句酷批改網(wǎng),一項是write on。目前還沒有針對冰果、IntelliMetric等AES系統(tǒng)的研究。第二,研究結(jié)論不一。王鶯鶯[6]與何旭良[7]的研究分別認為write on和句酷的評分效度尚可(均高于0.6),其中句酷批改網(wǎng)的信度稍高一些。汪珍珠、葉宬的研究結(jié)論是句酷批改網(wǎng)的評分效度很低,擬合度R2僅為0.45[8]。此外,何旭良(2013)還發(fā)現(xiàn)句酷批改網(wǎng)的評分顯著地高于人工評分,尚不能反映學生英語作文的真實水平[7]。第三,結(jié)論無可比性。王鶯鶯[6]與何旭良[7]的研究使用了Pearson相關(guān)系數(shù),汪珍珠的研究所使用的方法為回歸分析,因此,前二者與后者的研究結(jié)論無可比性,只能通過他們的分析來判斷AES評分效度的高低。

(三)評分效度研究的趨勢

鑒于國內(nèi)AES評分效度研究中存在的上述問題,本人認為今后在實證研究中還應在以下幾個方面取得突破：第一,建立系統(tǒng)科學的AES系統(tǒng)評分效度研究方法?？梢越梃b國外的研究,統(tǒng)一AES系統(tǒng)評分研究所需數(shù)據(jù)的種類和研究方法,盡快建立AES系統(tǒng)評分效度研究的科學方法,解決不同研究的可比性問題。第二,增加橫向和縱向的比較。如上所述,國內(nèi)AES系統(tǒng)評分效度的實證研究數(shù)量很少,僅涉及到句酷網(wǎng)和write on。迄今為止,還沒有研究涉及到橫向?qū)Ρ葒鴥?nèi)不同AES系統(tǒng)的評分效度。另外,有些AES系統(tǒng)(如句酷網(wǎng))的語料庫是不斷更新的,相應地,其評分效度也會隨之發(fā)生變化,因此,我們需要大量的實證研究尤其是歷時研究對這種變化進行跟蹤調(diào)查。第三,拓寬研究范圍。大學的英語教學及很多大型語言測試均要求學生掌握不同文體的寫作。到目前為止,國內(nèi)在文體對AES系統(tǒng)評分的影響方面的研究還處于空白。盡管國外的研究得出的結(jié)論是文體對AES系統(tǒng)評分的信、效度影響有限,只占10%～20%[1],但國內(nèi)的AES系統(tǒng)是否對不同文體存在偏頗性還有待于通過實證研究加以證明。

綜上所述,以句酷為代表的英語寫作網(wǎng)絡在線自動評分系統(tǒng)在中國的英語寫作教學中發(fā)揮了越來越大的作用,但國內(nèi)對句酷網(wǎng)的研究主要集中在介紹其基本功能、特點、教學效果等方面,而其信、效度的實證研究還不多見。評分效度是任何語言測試的基礎(chǔ),沒有評分效度,其他效度就無從談起。因此,本文主要以實證研究的方式探討句酷網(wǎng)的評分效度。

天氣晴朗、水質(zhì)良好，小龍蝦活動吃食旺盛宜多投餌，鮮活餌料的日投餌量按體重的8%，高溫、陰雨天氣、發(fā)病季節(jié)、活動不正常少投餌，提高飼料利用率。

二、AES系統(tǒng)評分效度的實證研究

(一)研究樣本

本研究的試驗對象為某大學2012級英語專業(yè)三年級的本科生。經(jīng)過分層抽樣,共有50名學生成為本研究的對象。試驗時間為2014年10月,學生在教師布置英語寫作任務之后,通過句酷網(wǎng)提交一篇說明文,與英語專業(yè)八級(TEM8)寫作難度相當。

為了使人工評分和機器評分具有可比性,筆者將句酷網(wǎng)的作文打分標準設(shè)置成TEM8寫作打分格式,滿分為20分。同時,由于句酷網(wǎng)的語料庫經(jīng)常更新,其評分的參數(shù)也會隨之改變,這勢必會影響不同時間提交的作文得分。因此,在所有作文均提交之后,2015年3月筆者又重新提交了這些作文,所得的分數(shù)作為本研究的數(shù)據(jù)。

參與本研究評分的人工評分員共有三人,他們均有多年英語專業(yè)高年級寫作教學經(jīng)驗,并多次參加過英語寫作的閱卷工作。在人工評分之前,筆者按照TEM8寫作分項式評分法對這三位評分員進行了嚴格的培訓。評分員在經(jīng)過兩輪共計20篇樣文的評分培訓之后,對TEM8作文評分標準的理解基本達到了一致水平。

(二)研究方法

本研究主要采用語言測試專家李筱菊[9]、Cizek & Page[1]有關(guān)語言測試評分效度的理論,從人分散度、相關(guān)性和等級一致性等指標來探討句酷網(wǎng)的評分效度。主要的研究問題包括：機器評分的難度、區(qū)分度、標準差等指標是否能達到人工評分的水平,同理,機器評分的相關(guān)性和等級一致性是否能達到人工評分的水平。

Cizek & Page(2003)認為,考后復考等傳統(tǒng)的評分效度評估方法是不適用于AES的[1]。同一批作文,只要參數(shù)設(shè)置相同,不同的計算機使用同一AES所給出的評分結(jié)果肯定是一樣的。因此,正如上文所述,對于AES系統(tǒng)而言,我們需要考查的是,在同一評分標準下,機器評分與人工評分之間的一致性(agreement)或相關(guān)性(correlation)是否能達到人與人之間的一致或相關(guān)水平。在本研究中,相關(guān)性指人工評分與機器評分的Pearson相關(guān)系數(shù),而分數(shù)相差3分以內(nèi)(包括3分)即視為評分等級一致。此外,李筱菊(2001)認為,考試結(jié)果的分數(shù)要具有人分散度(person separability),即分數(shù)分布要散開[9],其主要指標包括區(qū)分度(discrimination)、標準差和難度。前人在AES評分效度的研究中對這些指標鮮有報告,但相關(guān)性很高的兩組數(shù)據(jù)整體差異也有可能非常大,因此,筆者認為在實證研究中有必要對這些數(shù)據(jù)進行報告和對比。

(三)研究結(jié)果

第一,人分散度。如上所述,人分散度主要體現(xiàn)在難度、標準差和區(qū)分度等指標上。表1報告了機器評分和人工評分的平均難度、標準差和區(qū)分度。從表1的結(jié)果來看,人工評分的平均難度值(0.70)稍低于機器評分(0.72),但相差不大。在標準差方面,人工評分(平均2.15)明顯好于機器評分(1.97),人工評分更加分散一些。但人工評分的標準差變化非常大(1.90～2.50),最低值甚至低于機器評分(R2=1.90),這說明不同的人工評分員在評分時寬嚴度掌握不一致。機器評分的平均區(qū)分度(0.18)十分不理想,低于人工評分(平均0.24),評分員1的評分在區(qū)分學生的寫作能力方面稍好一些(0.29),但與標準差類似,人工評分的區(qū)分度起伏也很大(0.20～0.29)。

表1　機器評分與人工評分人分散度對照表(n=50)

注：A=機器評分；R=人工評分。

第二,相關(guān)性與等級一致性。表2報告了人工評分員之間、人工評分與機器評分之間的等級一致性和Pearson相關(guān)系數(shù)。從表2看,人工評分的等級一致性(0.90)與機器評分相當(0.89),但人工評分的等級一致性(0.82～0.96)不如機器評分(0.86～0.92)穩(wěn)定。相對而言,人工評分的Pearson相關(guān)系數(shù)(0.65)要好于機器評分(0.59),但從穩(wěn)定性上來說,人工評分(0.61～0.73)和機器評分(0.53～0.63)都差強人意。

表2　機器評分與人工評分相關(guān)性和

三、AES系統(tǒng)評分效度的討論

上述數(shù)據(jù)的分析結(jié)果表明：句酷批改網(wǎng)自動評分系統(tǒng)的評分區(qū)分度有待于提高,但總的來說,其評分效度尚可接受。

(一)評分效度的分析

在人分散度這個指標上(表1),機器評分與人工評分的難度判斷幾乎是一致的,并未出現(xiàn)某些研究中報告的機器評分偏高問題[7]。如前文所述,句酷網(wǎng)的語料庫一直處于不斷更新之中,其評分有越來越低的趨勢,與人工評分越來越接近。但就標準差和區(qū)分度而言,機器評分明顯遜色于人工評分,這說明機器評分在寫作能力的區(qū)分上不如人工評分。事實上,盡管人工評分的區(qū)分度好于機器評分,但二者均不理想。一般認為,試題的區(qū)分度在0.3以上是比較理想的,而0.25左右僅僅是可以接受的水平。因此,如果說人工評分的區(qū)分度(0.24)勉強過關(guān),則機器評分的區(qū)分度(0.18)還亟需提高。

就相關(guān)性而言,句酷網(wǎng)的自動評分尚可接受。盡管機器評分與人工評分的相關(guān)性總的來說只有0.59,但我們同時還發(fā)現(xiàn),就TEM8寫作評分來說,人工評分之間的相關(guān)性平均值也并不高,只有0.65(表2)。根據(jù)Stemler(2004)等人的研究,評分員之間的相關(guān)系數(shù)達到0.70左右才是可以接受的[12]。按照這個標準,不僅句酷批改網(wǎng)的評分效度不理想,人工評分也不例外。然而,國外的AES系統(tǒng)早期階段的相關(guān)性也沒有達到0.70這個理想的數(shù)值。在PEG最早的一次實驗中,人工評分員之間的平均相關(guān)性僅為0.55；在1994年的實驗中,這一數(shù)值更低,僅0.49；即便是在信度最高的1995年的實驗中,人工評分員之間的平均相關(guān)性也只有0.65[3]。可見,人工評分員之間想實現(xiàn)較理想的評分效度是很難的,更何況人工評分員與機器之間的相關(guān)性了。因此,與國外相比,本研究中的人工評分員之間的相關(guān)性是可以接受的,但機器評分的評分效度就稍稍偏低了,與前文所報告的處于高級階段的PEG的0.71[5]、IEA的0.85[3]還有差距,需要不斷完善。然而,國外的自動評分系統(tǒng)多采用等級制,即5～6個等級,而句酷網(wǎng)的TEM8寫作是從20分中為一篇作文選擇一個分數(shù),甚至整數(shù)分數(shù)后面還會出現(xiàn)半分,其評分難度無疑要大得多,因此,句酷網(wǎng)當前的相關(guān)性尚可接受。

此外,在本研究中,機器評分(0.89)與人工評分(0.90)的等級一致性基本是一致的,同時,機器評分的穩(wěn)定性明顯好于人工評分(表2)。這說明,句酷批改網(wǎng)在執(zhí)行評分標準方面比人腦有優(yōu)勢,其中一個主要原因在于機器在評分時不會受到時間、地點、疲勞狀態(tài)、精神狀態(tài)等眾多因素的影響。

綜上所述,句酷批改網(wǎng)的評分效度可以滿足風險較小的英語寫作的自動評分,如寫作課的英語寫作作業(yè)等,但還不能滿足風險較大的大型考試的需要。因此,其評分效度特別是區(qū)分度等指標仍有較大的提升空間。

(二)評分效度改進的方法

國外主流的AES系統(tǒng)在自動評分之前基本上都需要針對某次考試收集樣本,對系統(tǒng)進行培訓。一般而言,這種自動評分方法對于該次考試的作文評分效度較高,但不能用于其他考試的自動評分。事實也證明,國外的英語自動評分系統(tǒng)的評分效度早已高于人工評分[1]。與國外不同,句酷批改網(wǎng)是基于語料庫的作文在線自動評分系統(tǒng),不需要對系統(tǒng)進行培訓,可以為任何題目的作文評分,其核心算法是計算學生提交的作文與語料庫之間的距離,再通過映射將距離轉(zhuǎn)化成作文分數(shù)和評語。這種評分方法是把雙刃劍,優(yōu)缺點均很明顯。優(yōu)點是該自動評分系統(tǒng)可以為任何作文評分,很適合于英語寫作的課堂教學。缺點是,不對系統(tǒng)進行有針對性的培訓,句酷網(wǎng)在自動評分時對內(nèi)容的判斷就沒有了充分的依據(jù)。因此,目前句酷批改網(wǎng)對于“跑題”等嚴重的內(nèi)容問題還判斷不出來。即使作文跑題了,學生仍然可以利用較高級的詞匯和較長的句子輕而易舉地“騙過”計算機。國內(nèi)研究者謝賢春就曾指出,為了取得高分,有些學生有意“欺詐”或“取悅”電腦,通過“寫長”或簡單地“重復”某些段落“騙得”高分[13]?？朔@一缺陷需要計算機在人工智能方面取得突破,如簡單知識的識別等。在目前階段,國內(nèi)機器自動評分系統(tǒng)在評閱風險較大的作文時還需要人工輔助,特別是在內(nèi)容識別方面。

除此之外,為了提高評分效度,國內(nèi)的自動評分系統(tǒng)在語料的選擇上應有別于國外。二語寫作與母語寫作盡管總體模式相似,但二語作文使用的詞匯量更少,文本結(jié)構(gòu)更簡單,形式連接方式往往多于內(nèi)容連接方式,在準確性、流利性和有效性方面均遜色于母語作文,處于中介語階段[14]。這些特點決定了二語作文的評分標準應不同于母語作文,語言與內(nèi)容應同等重要。因此,筆者建議在選取語料時應借鑒并改進國外比較成熟的自動評分系統(tǒng)的技術(shù)：利用作文訓練集對自動評分系統(tǒng)進行培訓,建立中介語語料庫。以TEM8寫作為例,應不分題目和體裁地廣泛搜集代表各分數(shù)段的作文,提取各個分數(shù)段與內(nèi)容無關(guān)的淺層文本特征,用于培訓自動評分系統(tǒng)。這個訓練集在每個分數(shù)上都應該有足夠的樣本,隨著樣本數(shù)量不斷累積,每個分數(shù)的樣本都能構(gòu)成一個獨立的語料庫,這樣對代表每個分數(shù)的淺層文本特征的提取將會越來越精確,自動評分在語言上的評分也會越來越接近人工評分。

從本研究來看,句酷網(wǎng)的整體評分效度是可以接受的,盡管不能滿足對評分效度和社會使用效度等要求較高的大型測試,但目前的水平可以滿足英語寫作教學的課后或課堂作業(yè)的自動評分,這既能使英語寫作教師從繁重的作業(yè)批改任務中解放出來,也有助于在英語寫作課上實施形成性評估這一先進的評價手段。

參考文獻：

[1] SHERMIS M D, BURSTEIN J. Automated essay scoring: A cross-disciplinary perspective[M]. Mahwah, NJ: Lawrence Erlbaum Associates, 2003:vii, xiii, 25-27,76,95,125-146,128,142-143．

[2] 石曉玲.在線寫作自動評改系統(tǒng)在大學英語寫作教學中的應用研究——以句酷批改網(wǎng)為例[J].現(xiàn)代教育技術(shù),2012(10):67-71．

[3] 梁茂成, 文秋芳. 國外作文自動評分系統(tǒng)評述及啟示[J]. 外語電化教學, 2007 (5): 18-24．

[4] CHOI I C. A validation of EFL essay assessment based on corpus indices and error analysis[J]. Multimedia-assisted language learning, 2012 (4): 39-60．

[5] SHERMIS M D, MZUMAIA H R, OLSON J, et al. On-line grading of students essays：PEG goes on the world wide web[J]. Assessment & education in higher education, 2001(3):247-259．

[6] 王鶯鶯.《新視野大學英語》作文自動評分系統(tǒng)的效度研究[J].當代教育理論與實踐, 2012 (12): 139-142．

[7] 何旭良. 句酷批改網(wǎng)英語作文評分的信度和效度研究[J]. 現(xiàn)代教育技術(shù), 2013 (5): 64-67．

[8] 汪珍珠,葉宬. 英語作文在線批改模式的實證研究[J]. 長沙鐵道學院學報,2014 (1): 161-163．

[9] 李筱菊. 語言測試科學與藝術(shù)[M]. 第2版. 長沙: 湖南教育出版社, 2001：34-36．

[10] MESSICK S. Validity[C]//Linn R L. Educational measurement (3rdEd.). NewYork: Ma cmillan, 1989：13．

[11] WEIR C J. Language testing and validation: an evidence-based approach [M]. Basin gstoke, Hampshire: Palg rave Ma cmillan, 2005：11-39．

[12] STEMLER S E. A comparison of consensus, consistency, and measurement approaches to estimating interrater reliability[EB/OL].[2015-05-03].http://pareonline.net/getvn.asp?v=9&n=4.

[13] 謝賢春. 英語作文自動評分及其效度、信度與可操作性探討[J].江西師范大學學報(哲學社會科學版), 2010(2):136-140．

[14] SILVA T.Toward an understanding of the distinct nature of L2 writing: The ESL research and its implications[J]. TESOL Quarterly, 1993(4):657-677．

(責任編輯：薛蓉)

An empirical research into scoring validity of AES

WANG Haijun

(Zhijiang College, Zhejiang University of Technology, Hangzhou 310024, China)

Abstract:Although AES is playing a more and more important part in English writing tests and teaching abroad, little empirical research has been carried out into its reliability and validity in China. The research, a case study of Juku AES, investigated its scoring validity from the perspectives of person separability, consistency and classification agreement. It is concluded that the scoring validity of Juku is so adequate as to satisfy the needs of English classroom writing tasks in spite of its relatively poorer discrimination.

Keywords：AES; scoring validity; Juku

中圖分類號：H319

文獻標志碼：A

文章編號：1006-4303(2016)01-0089-05

作者簡介：王海軍(1975—),男,黑龍江蘭西人,講師,碩士,從事語言教學與測試研究。

基金項目：浙江省社科規(guī)劃課題(16NDJC213YB)；浙江省高等教育課堂教學改革研究項目(kg2013525)；紹興市高等教育課堂教學改革項目(紹市教高[2014]135號)；浙江工業(yè)大學人文社科研究基金(GZ152105012800)

收稿日期：2015-09-03