何欣憶 黎曜瑋[通訊作者] 李良炎 鄒曉玲 張小洪

?

高分組英語寫作文本的句法特征探究——基于句酷批改網(wǎng)英語寫作文本的數(shù)據(jù)挖掘

何欣憶1黎曜瑋1[通訊作者]李良炎1鄒曉玲1張小洪2

（1．重慶大學(xué) 外國語學(xué)院，重慶 400044；2．重慶大學(xué) 大數(shù)據(jù)與軟件學(xué)院，重慶 400044）

文章從句酷批改網(wǎng)抽取了非英語專業(yè)大學(xué)生英語議論文寫作文本2300篇，采用二語句法復(fù)雜度分析器分析，進(jìn)一步使用隨機(jī)森林和邏輯回歸機(jī)器學(xué)習(xí)算法探究高分組學(xué)生在句法層面的重要寫作特征。研究發(fā)現(xiàn)：基于二語句法復(fù)雜度，使用隨機(jī)森林和邏輯回歸對(duì)高分組學(xué)生作文機(jī)評(píng)分?jǐn)?shù)預(yù)測(cè)的準(zhǔn)確率較高，高分組學(xué)生的寫作文本在單位長度、句子復(fù)雜度和特定短語結(jié)構(gòu)三大類句法復(fù)雜度上具有突出表現(xiàn)，其中最顯著的五項(xiàng)句法特征是平均句長、平均每句所含子句量、平均子句長度、每個(gè)主從句中的動(dòng)詞短語量和每個(gè)子句中的復(fù)雜名詞性短語量。文章的研究結(jié)果可以為提高英語寫作教學(xué)水平和改進(jìn)寫作機(jī)評(píng)系統(tǒng)提供參考。

高分組英語寫作；二語句法復(fù)雜度；句法特征

引言

近年來，隨著人工智能的普及，現(xiàn)代教育技術(shù)逐漸成為驅(qū)動(dòng)教育信息化創(chuàng)新的強(qiáng)勁力量。寫作機(jī)評(píng)系統(tǒng)（Automated Essay Scoring，AES）利用計(jì)算機(jī)技術(shù)對(duì)學(xué)生作文進(jìn)行自動(dòng)評(píng)分與反饋，實(shí)現(xiàn)了高效寫作教學(xué)和精準(zhǔn)個(gè)性化學(xué)習(xí)。目前國內(nèi)高校廣泛使用的句酷批改網(wǎng)是一個(gè)在線英語作文評(píng)價(jià)網(wǎng)站，能快速掃描學(xué)生作文并提供及時(shí)反饋[1]。然而，該網(wǎng)對(duì)學(xué)生作文評(píng)價(jià)主要集中在詞匯和常見語法錯(cuò)誤的分析上（如單詞拼寫、詞匯搭配等），缺少在句法層面的具體反饋[2]。句法復(fù)雜度是衡量二語寫作水平的重要指標(biāo)，陸小飛[3]研發(fā)的二語句法復(fù)雜度分析器（Second Language Syntactic Complexity Analyzer，L2SCA）可以對(duì)學(xué)生的英語寫作文本句法特征進(jìn)行量化，分析結(jié)果為14個(gè)句法復(fù)雜度指標(biāo)。本研究通過句酷批改網(wǎng)對(duì)學(xué)生作文的評(píng)分和寫作文本句法特征的分析，使用機(jī)器學(xué)習(xí)的分類算法對(duì)高分組學(xué)生的文本句法特征進(jìn)行數(shù)據(jù)挖掘，探究高分組學(xué)生在句法層面的寫作特征，以期為提高英語寫作教學(xué)水平和改進(jìn)寫作機(jī)評(píng)系統(tǒng)提供參考。

一 句法復(fù)雜度的研究與工具

1 句法復(fù)雜度研究概述

句法復(fù)雜度指語言產(chǎn)出中不同形式的范圍及形式復(fù)雜化程度[4]，在二語習(xí)得研究中，它主要用于評(píng)估語言水平、描述語言能力和衡量語言發(fā)展，是評(píng)估學(xué)習(xí)者語言發(fā)展的重要指標(biāo)[5]。目前，國內(nèi)外句法復(fù)雜度研究主要聚焦在：①橫向研究，即通過比較代表不同學(xué)習(xí)水平或?qū)懽髻|(zhì)量的二語寫作語料，探究可有效區(qū)別不同學(xué)習(xí)水平或?qū)懽髻|(zhì)量的句法復(fù)雜度測(cè)量指標(biāo)[6]；②縱向研究，即通過分析同一組學(xué)習(xí)者在不同時(shí)間點(diǎn)的多次寫作語料，探尋句法復(fù)雜度的發(fā)展模式[7][8]。但是，研究者較少關(guān)注二語學(xué)習(xí)者寫作文本句法復(fù)雜度測(cè)量值與寫作分?jǐn)?shù)的相關(guān)程度。近年來，有學(xué)者探究句法復(fù)雜度測(cè)量值與主觀人工評(píng)分的關(guān)系[9]，但鮮有研究從機(jī)器評(píng)分視角，分析句法復(fù)雜度測(cè)量值與客觀機(jī)器評(píng)分的關(guān)系，探究機(jī)器評(píng)分下高分組作文的句法特征。

2 句法復(fù)雜度自動(dòng)分析工具

二語句法復(fù)雜度分析器的設(shè)計(jì)動(dòng)機(jī)是為了解決二語寫作句法復(fù)雜度研究中的數(shù)據(jù)分析瓶頸，以幫助研究者對(duì)句法復(fù)雜度展開更有效的研究[10]。該工具使用14種不同測(cè)量指標(biāo)來分析書面英語文本的句法復(fù)雜度，包括單位長度、句子復(fù)雜度、從屬句子使用量、并列結(jié)構(gòu)使用量、特定短語結(jié)構(gòu)五大類別，如表1所示。用戶可在類UNIX系統(tǒng)上運(yùn)行該工具，或直接登錄網(wǎng)頁版①。待分析的英語寫作文本為TXT純文本文件，分析器內(nèi)嵌斯坦福句法剖析器（Stanford Parser），剖析器具有對(duì)文本實(shí)現(xiàn)自動(dòng)斷句、分詞和詞性賦碼的功能，因此待分析的文件無需其它預(yù)處理。

表1 L2SCA句法復(fù)雜度測(cè)量指標(biāo)

二 研究設(shè)計(jì)

1 研究目的與問題

本研究對(duì)從句酷批改網(wǎng)上抽取的2300篇英語議論文進(jìn)行了句法復(fù)雜度挖掘與分析，探究高分組學(xué)生在句法層面上的寫作特征與風(fēng)格，擬回答三個(gè)研究問題：①句法復(fù)雜度測(cè)量指標(biāo)對(duì)學(xué)生作文（高、低分組）的分類準(zhǔn)確率如何？②對(duì)數(shù)據(jù)建立的算法模型擬合度如何？③高分組學(xué)生的寫作文本在句法層面上有什么共性特征？

2 研究步驟

①本研究從句酷批改網(wǎng)下載非英語專業(yè)大學(xué)生英語課程寫作文本2300篇，原始數(shù)據(jù)格式為Excel表格，使用Visual Basic編寫后臺(tái)代碼，程序自動(dòng)批量提取數(shù)據(jù)表格中作文標(biāo)題和正文，生成2300篇獨(dú)立TXT純文本。②將純文本批量導(dǎo)入網(wǎng)頁版二語句法復(fù)雜度分析器中進(jìn)行分析，下載系統(tǒng)分析完成后自動(dòng)生成的CSV表格數(shù)據(jù)，打開CSV表格并在數(shù)據(jù)末尾項(xiàng)導(dǎo)入相應(yīng)的機(jī)評(píng)分?jǐn)?shù)。③使用SPSS 24.0對(duì)二語句法復(fù)雜度數(shù)據(jù)進(jìn)行描述性統(tǒng)計(jì)分析。④使用R Studio對(duì)數(shù)據(jù)建立隨機(jī)森林和邏輯回歸分類算法模型。⑤對(duì)建立的算法模型進(jìn)行準(zhǔn)確率和擬合度的評(píng)估，并根據(jù)模型對(duì)各項(xiàng)句法特征的評(píng)估指標(biāo)選取高分組英語寫作文本重要的句法特征。

三 數(shù)據(jù)分析與結(jié)果

1 描述性統(tǒng)計(jì)結(jié)果

句法復(fù)雜度描述性統(tǒng)計(jì)結(jié)果如表2所示，可以看到學(xué)生英語議論文寫作文本的句法復(fù)雜度總體情況。在單位長度中，MLS為學(xué)生寫作的平均句長，MLT為平均主從句的長度，MLC為平均子句長度；在句子復(fù)雜度中，C/S為平均每句所含的子句數(shù)量；在從屬句子使用量中，C/T為每個(gè)主從句中的子句數(shù)量，CT/T為每個(gè)復(fù)雜主從句中的主從句數(shù)量，DC/C為每個(gè)子句中的從句數(shù)量，DC/T為每個(gè)主從句中的從句數(shù)量；在并列結(jié)構(gòu)使用量中，CP/C為每個(gè)子句中的并列短語數(shù)量，CP/T為每個(gè)主從句中的并列短語數(shù)量，T/S為每個(gè)句子中的主從句數(shù)量；在特定短語結(jié)構(gòu)中，CN/C為每個(gè)子句中的復(fù)雜名詞性短語數(shù)量，CN/T為每個(gè)主從句中的復(fù)雜名詞性短語數(shù)量，VP/T為每個(gè)主從句中的動(dòng)詞短語數(shù)量。

表2 句法復(fù)雜度描述性統(tǒng)計(jì)結(jié)果

2 模型預(yù)測(cè)率與擬合度評(píng)估

本研究通過句酷批改網(wǎng)的評(píng)分對(duì)學(xué)生寫作文本進(jìn)行分組：①低分組為80分以下，共760篇；②高分組為80分及以上，共1540篇。在隨機(jī)森林中，部分樣本作為訓(xùn)練集（Training Set），算法通過訓(xùn)練集數(shù)據(jù)建立監(jiān)督式學(xué)習(xí)模型，剩余樣本作為測(cè)試集（Test Set）來評(píng)估監(jiān)督式學(xué)習(xí)模型的精確性，測(cè)試集的1070篇高分組作文有908篇被正確地分在高分組，162篇被錯(cuò)誤地分在低分組，高分組預(yù)測(cè)的準(zhǔn)確率為84.9%；而測(cè)試集的540篇低分組作文有254篇被正確地分在低分組，286篇被錯(cuò)誤地分在低分組，低分組預(yù)測(cè)的準(zhǔn)確率為47.0%。在邏輯回歸中，1540篇高分組作文有1439篇被正確地分在高分組，101篇被錯(cuò)誤地分在低分組，高分組預(yù)測(cè)的準(zhǔn)確率為93.4%；760篇低分組作文有194篇被正確地分在低分組，566篇被錯(cuò)誤地分在低分組，低分組預(yù)測(cè)的準(zhǔn)確率為25.5%。由此可見，使用隨機(jī)森林和邏輯回歸算法對(duì)于高分組進(jìn)行分類預(yù)測(cè)水平較高，說明高分組學(xué)生句法復(fù)雜度對(duì)機(jī)評(píng)分?jǐn)?shù)有較好的預(yù)測(cè)性；而兩種算法對(duì)低分組的預(yù)測(cè)錯(cuò)誤率較高、預(yù)測(cè)性較差，說明低分組學(xué)生在寫作過程中可能不具有穩(wěn)定的句法特征。

圖1、圖2為ROC曲線對(duì)本研究分類模型的評(píng)估情況。ROC曲線在機(jī)器學(xué)習(xí)中常用于評(píng)估分類器分類效果，AUC值為ROC曲線所覆蓋的區(qū)域面積，而AUC值越大，說明分類器分類效果越好。圖1、圖2顯示，隨機(jī)森林模型與邏輯回歸模型的AUC值均在0.7以上，說明數(shù)據(jù)模型有較好的擬合度，因此可以利用隨機(jī)森林與邏輯回歸算法對(duì)高分組學(xué)生突出的寫作文本句法特征進(jìn)行選取。

圖1 隨機(jī)森林模型ROC曲線

圖2 邏輯回歸模型ROC曲線

表3 句法特征選取結(jié)果

注：R與L分別為隨機(jī)森林和邏輯回歸對(duì)特征的評(píng)估指標(biāo)。

3 寫作文本句法特征選取

句法特征選取結(jié)果如表3所示。句法特征基于隨機(jī)森林模型指標(biāo)，按重要性由高到低進(jìn)行排序，含R指標(biāo)為隨機(jī)森林模型對(duì)各項(xiàng)特征的評(píng)估值，含L的指標(biāo)為邏輯回歸模型對(duì)相應(yīng)特征的評(píng)估值。其中，平均句長（MLS）、平均每句所含子句量（C/S）、平均子句長度（MLC）、每個(gè)主從句中的動(dòng)詞短語量（VP/T）、每個(gè)子句中的復(fù)雜名詞性短語量（CN/C）、每個(gè)子句中的從句量（DC/C）、每個(gè)主從句中的復(fù)雜名詞性短語量（CN/T）、每個(gè)子句中的并列短語量（CP/C）、每個(gè)主從句中的并列短語量（CP/T）等九項(xiàng)句法特征對(duì)高分組均有顯著的預(yù)測(cè)性。結(jié)合各項(xiàng)特征值在隨機(jī)森林模型中的排序與邏輯回歸模型中的顯著性，本研究選出前五項(xiàng)高分組學(xué)生在寫作過程中表現(xiàn)突出的句法特征為平均句長（MLS）、平均每句所含子句量（C/S）、平均子句長度（MLC）、每個(gè)主從句中的動(dòng)詞短語量（VP/T）和每個(gè)子句中的復(fù)雜名詞性短語量（CN/C）?？傮w而言，高分組學(xué)生在寫作中更傾向于增加單位長度、句子復(fù)雜度和特定短語結(jié)構(gòu)等三大類句法特征的運(yùn)用。

四 結(jié)論

本研究主要有以下發(fā)現(xiàn)：①基于句法復(fù)雜度測(cè)量指標(biāo)，使用隨機(jī)森林與邏輯回歸對(duì)高分組學(xué)生作文進(jìn)行分類的預(yù)測(cè)性較高，準(zhǔn)確率分別達(dá)到84.9%、93.4%。②隨機(jī)森林與邏輯回歸對(duì)數(shù)據(jù)建立的算法模型擬合度理想，其ROC曲線的AUC值分別達(dá)到0.77、0.75。③結(jié)合句法特征在隨機(jī)森林模型中的排序與邏輯回歸模型中的顯著性，高分組學(xué)生的寫作文本在單位長度、句子復(fù)雜度和特定短語結(jié)構(gòu)三大類句法復(fù)雜度上有突出表現(xiàn)，其中最顯著的五項(xiàng)句法特征是平均句長（MLS）、平均每句所含子句量（C/S）、平均子句長度（MLC）、每個(gè)主從句中的動(dòng)詞短語量（VP/T）和每個(gè)子句中的復(fù)雜名詞性短語量（CN/C）。

本研究的上述發(fā)現(xiàn)在寫作教學(xué)和寫作機(jī)評(píng)系統(tǒng)改進(jìn)方面有一定的啟示意義：教師可根據(jù)高分組學(xué)生的具體寫作句法特征，對(duì)低分組學(xué)生進(jìn)行有針對(duì)性的教學(xué)指導(dǎo)；低分組學(xué)生可通過了解高分組學(xué)生在句法層面的特征，模仿和采取定向句法練習(xí)來提高自身寫作。此外，寫作機(jī)評(píng)系統(tǒng)研發(fā)人員可以探索不同分?jǐn)?shù)段或不同水平等級(jí)作文句法復(fù)雜度的差異，進(jìn)而在句法層面上對(duì)系統(tǒng)的個(gè)性化反饋機(jī)制進(jìn)行改進(jìn)，從而提高寫作機(jī)評(píng)系統(tǒng)的效度，更大程度地幫助學(xué)生進(jìn)行高效的自主學(xué)習(xí)。但是，本研究也存在一些局限，主要在于采用的語料多來自于學(xué)生課程作業(yè)，主題范圍受到課程內(nèi)容的限制，寫作文章體裁主要為議論文，故后續(xù)研究可以考慮擴(kuò)大寫作主題范圍和增加文章體裁的多樣性。

[1]黃靜,何華清.人機(jī)反饋對(duì)學(xué)生寫作行為的影響研究[J].外語電化教學(xué),2018,(1):19-24.

[2]何旭良.句酷批改網(wǎng)英語作文評(píng)分的信度和效度研究[J].現(xiàn)代教育技術(shù),2013,(5):64-67.

[3]Lu X. Automatic analysis of syntactic complexity in second language writing[J]. International Journal of Corpus Linguistics, 2010,(4):474-496.

[4]鮑貴.英語學(xué)習(xí)者作文句法復(fù)雜性變化研究[J].外語教學(xué)與研究,2009,(4):291-297、321.

[5]Lu X A. Corpus-based evaluation of syntactic complexity measures as indices of college-level ESL writers’ language development[J]. TESOL Quarterly, 2011,(1):36-62.

[6]雷蕾.中國英語學(xué)習(xí)者學(xué)術(shù)寫作句法復(fù)雜度研究[J].解放軍外國語學(xué)院學(xué)報(bào),2017,(5):1-10、159.

[7]鄭詠滟,馮予力.學(xué)習(xí)者句法與詞匯復(fù)雜性發(fā)展的動(dòng)態(tài)系統(tǒng)研究[J].現(xiàn)代外語,2017,(1):57-68、146.

[8]許春燕,張軍.跨洋互動(dòng)在線寫作教學(xué)對(duì)中國學(xué)生英語書面語的影響[J].現(xiàn)代外語,2018,(2):246-256.

[9]Crossley S A, Mcnamara D S. Does writing development equal writing quality? A computational investigation of syntactic complexity in l2 learners[J]. Journal of Second Language Writing, 2014,(26):66-79.

[10]陸小飛,許琪.二語句法復(fù)雜度分析器及其在二語寫作研究中的應(yīng)用[J].外語教學(xué)與研究,2016,(3):409-420.

① 二語句法復(fù)雜度分析器網(wǎng)頁版地址：http://aihaiyang.com/software/l2sca/。

Exploring Syntactic Characteristics of Advanced English Writing Texts——Based on Data Mining the Essays from

HE Xin-yi1LI Yao-wei1[Corresponding Author]LI Liang-yan1ZOU Xiao-ling1ZHANG Xiao-hong2

The study extracts 2,300 English writing texts from non-English major college students based on www.pigai.org, and uses Second Language Syntactic Complexity analyzer (L2SCA) to further explore the significant syntactic characteristics of advanced writing texts via Random Forest and Logistic Regression machine learning algorithms. The study found that the accuracy of using random forest and logistic regression to predict the syntactic characteristics of advanced writing texts can reach 84.9% and 93.4%, respectively. The advanced writing texts are syntactically characterized by unit length, sentence complexity and specific phrase structure. Finally, the research hopes to shed light on English writing teaching, learning and improvement of automated writing evaluation system.

advanced English writing; second language syntactic complexity; syntactic characteristics

G40-057

A

1009—8097（2018）12—0074—06

10.3969/j.issn.1009-8097.2018.12.011

基金項(xiàng)目：本文為重慶大學(xué)教學(xué)改革研究項(xiàng)目“基于翻轉(zhuǎn)課堂的大學(xué)英語翻譯教學(xué)模式創(chuàng)新研究”（項(xiàng)目編號(hào)：2016Y06）的階段性研究成果之一。

何欣憶，講師，碩士，研究方向?yàn)橥庹Z教學(xué)與教育技術(shù)，郵箱為emailhxy@qq.com。

2018年6月13日

編輯：小西