學(xué)習(xí)者語(yǔ)料庫(kù)分級(jí)方法研究：反思與啟迪

王　麗　張立英

(1.西安外國(guó)語(yǔ)大學(xué) 經(jīng)濟(jì)金融學(xué)院，陜西 西安 710128； 2.上海交通大學(xué) 外國(guó)語(yǔ)學(xué)院，上海 200240；3.解放軍外國(guó)語(yǔ)學(xué)院 英語(yǔ)系，河南 洛陽(yáng) 471003)

?

學(xué)習(xí)者語(yǔ)料庫(kù)分級(jí)方法研究：反思與啟迪

王麗1,2張立英3

(1.西安外國(guó)語(yǔ)大學(xué) 經(jīng)濟(jì)金融學(xué)院，陜西 西安 710128； 2.上海交通大學(xué) 外國(guó)語(yǔ)學(xué)院，上海 200240；3.解放軍外國(guó)語(yǔ)學(xué)院 英語(yǔ)系，河南 洛陽(yáng) 471003)

本研究調(diào)查了國(guó)內(nèi)外學(xué)習(xí)者語(yǔ)料庫(kù)語(yǔ)言水平分級(jí)方法，結(jié)果表明，國(guó)內(nèi)外重要的學(xué)習(xí)者語(yǔ)料庫(kù)主要依靠“學(xué)習(xí)者背景”、“教師判斷”、“測(cè)試成績(jī)”以及“語(yǔ)言能力量表等級(jí)”這四種方法來(lái)區(qū)分語(yǔ)料庫(kù)級(jí)別。本文通過(guò)對(duì)比分析不同分級(jí)方法的優(yōu)勢(shì)與不足，進(jìn)一步探索了語(yǔ)言能力量表對(duì)教師自建語(yǔ)料庫(kù)的啟示，對(duì)于我國(guó)學(xué)習(xí)者語(yǔ)料庫(kù)研究和二語(yǔ)教學(xué)都有一定的理論價(jià)值和現(xiàn)實(shí)意義。

學(xué)習(xí)者語(yǔ)料庫(kù)；語(yǔ)言水平等級(jí)；語(yǔ)言能力量表

學(xué)習(xí)者語(yǔ)料庫(kù)是按照一定的原則和設(shè)計(jì)標(biāo)準(zhǔn)，收集語(yǔ)言學(xué)習(xí)者各種書(shū)面語(yǔ)和口語(yǔ)的自然語(yǔ)料而建立起來(lái)的一種電子文本庫(kù)。[1]自20世紀(jì)90年代以來(lái)，隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展，學(xué)習(xí)者語(yǔ)料庫(kù)建設(shè)呈現(xiàn)蓬勃發(fā)展的趨勢(shì)，出現(xiàn)了諸如ICLC，JPU，PELCRA，CLC等大型語(yǔ)料庫(kù)。學(xué)習(xí)者語(yǔ)料庫(kù)如實(shí)地記錄了學(xué)習(xí)者語(yǔ)言輸出的實(shí)際情況，在描述學(xué)習(xí)者中介語(yǔ)特征，揭示其發(fā)展規(guī)律等方面提供了客觀、大量的數(shù)據(jù)，不僅極大地拓寬二語(yǔ)習(xí)得的研究視野，也為外語(yǔ)教學(xué)理論和實(shí)踐提供重要的反饋和支撐。[2]

作為一種重要的數(shù)據(jù)資源，學(xué)習(xí)者語(yǔ)料庫(kù)元數(shù)據(jù)信息的準(zhǔn)確性直接影響相關(guān)研究的信度、效度以及研究結(jié)論的可推廣性。其中，語(yǔ)料庫(kù)建設(shè)者對(duì)學(xué)習(xí)者語(yǔ)言水平(language proficiency)的界定尤為關(guān)鍵，這是因?yàn)榇蠖鄶?shù)應(yīng)用語(yǔ)言學(xué)研究都是圍繞學(xué)習(xí)者的語(yǔ)言水平而開(kāi)展的，或者把它設(shè)為自變量，即研究對(duì)象分組的重要依據(jù)，或者設(shè)為因變量，用于衡量教學(xué)或?qū)嶒?yàn)效果。[3]遺憾的是，在學(xué)習(xí)者語(yǔ)料庫(kù)被廣泛用于二語(yǔ)習(xí)得研究、語(yǔ)言測(cè)試開(kāi)發(fā)及教材編撰的大背景下，目前關(guān)于學(xué)習(xí)者語(yǔ)料庫(kù)建設(shè)者如何區(qū)分學(xué)習(xí)者語(yǔ)言水平這一問(wèn)題還尚未引起足夠的關(guān)注。鑒于此，本文將主要探討以下兩個(gè)問(wèn)題：國(guó)內(nèi)外現(xiàn)有學(xué)習(xí)者語(yǔ)料庫(kù)采用的分級(jí)方法有哪些？這些分級(jí)方法的優(yōu)勢(shì)與不足對(duì)于我國(guó)學(xué)習(xí)者語(yǔ)料庫(kù)的開(kāi)發(fā)和建設(shè)有何啟發(fā)？在此基礎(chǔ)上，筆者探討了基于語(yǔ)言能力量表等級(jí)的語(yǔ)料庫(kù)建庫(kù)方法。

在學(xué)習(xí)者語(yǔ)料庫(kù)研究方面，比利時(shí)Louvain大學(xué)英語(yǔ)語(yǔ)料庫(kù)語(yǔ)言學(xué)研究中心(Centre for English Corpus Linguistics)一直走在該領(lǐng)域的前列，該中心收集并在其官網(wǎng)公布了世界各地頗具影響力的139個(gè)學(xué)習(xí)者語(yǔ)料庫(kù)的基本信息，其中包括91個(gè)學(xué)習(xí)者書(shū)面語(yǔ)語(yǔ)料庫(kù)，33個(gè)學(xué)習(xí)者口語(yǔ)語(yǔ)料庫(kù)，12個(gè)口筆語(yǔ)語(yǔ)料庫(kù)以及3個(gè)視頻語(yǔ)料庫(kù)(詳情請(qǐng)見(jiàn)https://www.uclouvain.be/en-cecl-lcworld.html)。本文以L(fǎng)ouvain大學(xué)官網(wǎng)列出的學(xué)習(xí)者語(yǔ)料庫(kù)為主要研究對(duì)象，結(jié)合文獻(xiàn)回顧、郵件采訪(fǎng)語(yǔ)料庫(kù)開(kāi)發(fā)者的方法，調(diào)查了它們的語(yǔ)料等級(jí)劃分方式。根據(jù)收集到的語(yǔ)料庫(kù)信息，筆者將按照語(yǔ)料等級(jí)劃分方式進(jìn)行分類(lèi)統(tǒng)計(jì)，分析描述各分類(lèi)方法的特征，并在此基礎(chǔ)上討論對(duì)構(gòu)建中國(guó)學(xué)習(xí)者語(yǔ)料庫(kù)的啟示。

一、學(xué)習(xí)者語(yǔ)料庫(kù)語(yǔ)言水平分級(jí)方法

目前學(xué)習(xí)者語(yǔ)料庫(kù)的分級(jí)方法可以分為四類(lèi)：“學(xué)習(xí)者背景”、“教師判斷”、“測(cè)試成績(jī)”以及“量表等級(jí)”。根據(jù)其語(yǔ)料分級(jí)信息來(lái)源的不同，這四類(lèi)方法又可以細(xì)分為十種具體的手段(見(jiàn)圖1)。后文將對(duì)這些分級(jí)方法和手段進(jìn)行簡(jiǎn)要的介紹。

圖1　學(xué)習(xí)者語(yǔ)料庫(kù)分級(jí)方法與手段

(一)基于學(xué)習(xí)者背景(learner background)的分級(jí)方法

本次調(diào)查顯示，絕大多數(shù)學(xué)習(xí)者語(yǔ)料庫(kù)都提供有關(guān)語(yǔ)料提供者(即學(xué)習(xí)者)的背景信息，并以此為基礎(chǔ)來(lái)劃分語(yǔ)料庫(kù)的水平等級(jí)。學(xué)習(xí)者背景信息主要包括學(xué)習(xí)者在目標(biāo)語(yǔ)國(guó)家經(jīng)歷(學(xué)習(xí)或工作)和受教育程度。這種方法的優(yōu)勢(shì)在于獲取信息的便利性，但是也存在明顯的局限性。例如，學(xué)習(xí)者在目標(biāo)語(yǔ)國(guó)家的學(xué)習(xí)或工作經(jīng)歷并不足以代表其接觸目標(biāo)語(yǔ)的時(shí)間和強(qiáng)度，更遑論學(xué)習(xí)者的語(yǔ)言水平了。同樣，以學(xué)習(xí)者受教育程度為語(yǔ)言水平劃分標(biāo)準(zhǔn)也存在明顯問(wèn)題，不同的教育機(jī)構(gòu)在區(qū)分學(xué)生水平或者評(píng)估學(xué)生能力的時(shí)候往往采用不同的標(biāo)準(zhǔn)。這一問(wèn)題在語(yǔ)料庫(kù)數(shù)據(jù)涉及不同國(guó)籍背景學(xué)習(xí)者時(shí)尤為突出。例如，對(duì)某些學(xué)校而言，必須要達(dá)到具體的水平才能晉升一個(gè)能力等級(jí)，而對(duì)另外一些學(xué)校而言，年級(jí)的變動(dòng)完全是自然而然的事情。因此，基于學(xué)習(xí)者個(gè)人外部信息來(lái)判斷語(yǔ)料所反映的語(yǔ)言水平很可能是不可靠的。

事實(shí)上，一些學(xué)者已經(jīng)開(kāi)始關(guān)注此類(lèi)語(yǔ)料庫(kù)分級(jí)方法的局限性。Tono指出，“基于學(xué)習(xí)者年齡或所在年級(jí)等信息無(wú)法確保語(yǔ)料提供者處于同等的語(yǔ)言水平”。[4]針對(duì)ICLE 語(yǔ)料庫(kù)(International Corpus of Learner English)的實(shí)證研究也發(fā)現(xiàn)，日本學(xué)生的語(yǔ)言水平遠(yuǎn)遠(yuǎn)低于具有同樣教育背景(即高校大三、大四的學(xué)生)的歐洲國(guó)家英語(yǔ)學(xué)習(xí)者，[1]進(jìn)一步證明不同母語(yǔ)背景的同級(jí)別學(xué)習(xí)者在語(yǔ)言水平方面確實(shí)存在顯著的差異。目前，ICLE建設(shè)者已將該語(yǔ)料庫(kù)配套使用手冊(cè)中對(duì)語(yǔ)料庫(kù)級(jí)別的描述從高水平學(xué)習(xí)者調(diào)整為中級(jí)到高級(jí)的學(xué)習(xí)者。

(二)基于教師判斷(teacher judgment)的分級(jí)方法

個(gè)別語(yǔ)料庫(kù)(如French Interlanguage Database)采用了教師判斷的方法來(lái)劃分語(yǔ)料庫(kù)等級(jí)。教師判斷的手段包括對(duì)學(xué)生水平和學(xué)生語(yǔ)料(如課堂作業(yè))等級(jí)水平的判斷。前者的主要問(wèn)題在于信息的不透明。例如，人們無(wú)法了解“該生處于中等水平”這樣的論斷代表何種水平，而且教師對(duì)學(xué)生語(yǔ)言水平的判斷往往受到教師與學(xué)生的熟悉程度等因素的影響，很難做到客觀準(zhǔn)確。相比之下，教師判斷學(xué)生文本的方法顯然更加直觀，但是由于不同年級(jí)的授課教師往往在嚴(yán)厲程度、評(píng)分標(biāo)準(zhǔn)制定等方面存在巨大差異，因此很可能將實(shí)際上處于同一等級(jí)的文本劃分到不同等級(jí)之下，或者將不同等級(jí)的文本劃歸為同一等級(jí)，這些因素難免會(huì)降低后續(xù)研究的信度和效度。

(三)基于測(cè)試成績(jī)(test score)的分級(jí)方法

第三種語(yǔ)料庫(kù)分級(jí)方法涉及對(duì)測(cè)試成績(jī)的使用。根據(jù)測(cè)試種類(lèi)和成績(jī)報(bào)道項(xiàng)的不同，這種方法又可以被細(xì)分為四種手段。其中，測(cè)試種類(lèi)包括校本考試和專(zhuān)業(yè)語(yǔ)言測(cè)試機(jī)構(gòu)開(kāi)發(fā)的標(biāo)準(zhǔn)化考試；成績(jī)報(bào)道項(xiàng)可以是總分(通常為考生聽(tīng)、說(shuō)、讀、寫(xiě)成績(jī)的平均值)，也可以是學(xué)生寫(xiě)作或口語(yǔ)部分的分項(xiàng)分。從測(cè)試種類(lèi)的角度來(lái)看，與校本考試相比，標(biāo)準(zhǔn)化考試從試題開(kāi)發(fā)過(guò)程的專(zhuān)業(yè)性、成績(jī)的可推廣性以及測(cè)試內(nèi)容、評(píng)分標(biāo)準(zhǔn)的透明度等方面都更加規(guī)范。從成績(jī)報(bào)道的層面來(lái)看，考生的綜合分由于受閱讀、聽(tīng)力等技能水平的影響，很可能無(wú)法正確反映語(yǔ)料庫(kù)中書(shū)面語(yǔ)語(yǔ)料或口語(yǔ)語(yǔ)料所處的水平等級(jí)。例如，相較于寫(xiě)作、口語(yǔ)這兩種輸出型技能，英語(yǔ)為外語(yǔ)的學(xué)習(xí)者往往在閱讀、聽(tīng)力這兩種輸入型技能上得到更多的訓(xùn)練，因此，寫(xiě)作水平只處于初級(jí)階段的學(xué)習(xí)者很可能會(huì)被歸為中級(jí)甚至高級(jí)學(xué)習(xí)者。由此看來(lái)，使用標(biāo)準(zhǔn)化考試并報(bào)道考生語(yǔ)料來(lái)源項(xiàng)的單項(xiàng)成績(jī)是該類(lèi)方法中最為可靠的分級(jí)手段。

(四)基于語(yǔ)言能力量表等級(jí)(proficiency scale levels)的分級(jí)方法

語(yǔ)言能力量表，又稱(chēng)語(yǔ)言能力標(biāo)準(zhǔn)，是對(duì)外語(yǔ)學(xué)習(xí)者和使用者的外語(yǔ)能力從低到高的一系列描述。[5](P26-30)語(yǔ)言能力量表貫穿于外語(yǔ)教學(xué)諸環(huán)節(jié)之中，是外語(yǔ)教學(xué)目標(biāo)或評(píng)價(jià)目標(biāo)的參照或依據(jù)。通過(guò)與語(yǔ)言能力量表建立等級(jí)對(duì)應(yīng)關(guān)系，不同測(cè)試之間可以實(shí)現(xiàn)相互對(duì)接，這樣既方便了考試用戶(hù)對(duì)測(cè)試結(jié)果的理解和使用，又有利于資格證書(shū)之間的相互認(rèn)證。語(yǔ)言能力量表研究已經(jīng)有60多年的歷史，主要集中在北美、澳大利亞、歐洲等國(guó)家和地區(qū)，開(kāi)發(fā)了諸如ILR (Interagency Language Roundtable)、CLB (Canadian Language Benchmarks)、ISLPR (International Second Language Proficiency Ratings)、ALTE (Association of Language Testers in Europe和CEFR(Common European Framework of Reference for Languages)等知名量表。其中，CEFR尤其在歐洲各國(guó)乃至世界范圍內(nèi)的語(yǔ)言教育和測(cè)試領(lǐng)域發(fā)揮著巨大的影響作用。該量表將語(yǔ)言學(xué)習(xí)者的外語(yǔ)應(yīng)用能力分成六個(gè)等級(jí)(入門(mén)級(jí)、初級(jí)、中級(jí)、中高級(jí)、高級(jí)、精通級(jí))，以“能做什么”(Can do)的能力水平描述，從所具有的語(yǔ)言交際能力、所掌握的語(yǔ)言知識(shí)和技能、所面對(duì)的語(yǔ)言交際場(chǎng)景和領(lǐng)域等方面，詳細(xì)地描述了處于各個(gè)等級(jí)學(xué)習(xí)者的一系列典型語(yǔ)言行為表現(xiàn)。[6](P1-4)近年來(lái)，越來(lái)越多的考試機(jī)構(gòu)(如劍橋大學(xué)考試中心、美國(guó)教育考試服務(wù)中心等)，包括雅思、托福等國(guó)際知名的大規(guī)模、高風(fēng)險(xiǎn)考試，紛紛開(kāi)始尋求與CEFR建立對(duì)應(yīng)關(guān)系，以期擴(kuò)大它們的國(guó)際認(rèn)可度。[7]

借鑒量表等級(jí)標(biāo)準(zhǔn)是近年來(lái)新興的學(xué)習(xí)者語(yǔ)料庫(kù)分級(jí)方法，也是語(yǔ)言測(cè)試與語(yǔ)料庫(kù)研究領(lǐng)域緊密結(jié)合的產(chǎn)物。根據(jù)語(yǔ)料與量表等級(jí)描述語(yǔ)的對(duì)接方式，可以分為量表等級(jí)直接對(duì)接法和間接對(duì)接法。采用量表等級(jí)直接對(duì)接法時(shí)，語(yǔ)料庫(kù)建設(shè)者需要邀請(qǐng)多位熟悉該量表等級(jí)描述語(yǔ)的專(zhuān)家，并在保證信度(如提供培訓(xùn))的前提下，請(qǐng)專(zhuān)家評(píng)估語(yǔ)料庫(kù)中的語(yǔ)料等級(jí)。Carlsen以ASK語(yǔ)料庫(kù)和CEFR量表為例，詳細(xì)地描述了這一方法的步驟和過(guò)程。[8]采用間接對(duì)接法的語(yǔ)料庫(kù)的語(yǔ)料全部取自與量表對(duì)接的標(biāo)準(zhǔn)化測(cè)試，由于這些測(cè)試的分?jǐn)?shù)段已經(jīng)與量表中的各個(gè)級(jí)別建立了等級(jí)對(duì)應(yīng)關(guān)系，因此可以間接地反映語(yǔ)料所處的量表等級(jí)。CLC語(yǔ)料庫(kù)(the Cambridge Learner Corpus)中的語(yǔ)料全部來(lái)自劍橋大學(xué)考試中心開(kāi)發(fā)的測(cè)試項(xiàng)目，是使用量表等級(jí)間接對(duì)接法的典型代表。

二、語(yǔ)言能力量表對(duì)我國(guó)語(yǔ)料庫(kù)建設(shè)的啟示

(一)現(xiàn)有語(yǔ)料庫(kù)分級(jí)方法的優(yōu)勢(shì)與不足

Atkin et al.指出，語(yǔ)料庫(kù)文本的采樣可以分為內(nèi)部標(biāo)準(zhǔn)(internal criteria)和外部標(biāo)準(zhǔn)(external criteria)兩大類(lèi)。[9]內(nèi)部標(biāo)準(zhǔn)是根據(jù)文本內(nèi)部的語(yǔ)言特征(如詞匯、句法)、風(fēng)格等因素界定的標(biāo)準(zhǔn)；外部標(biāo)準(zhǔn)則主要涉及非語(yǔ)言因素，包括學(xué)習(xí)者特征等。如上文所述，采用“學(xué)習(xí)者背景”等外部標(biāo)準(zhǔn)的語(yǔ)料庫(kù)分級(jí)方法雖然方便易行，但是脫離了文本本身，因此無(wú)法確保其真實(shí)地反映語(yǔ)料本身所體現(xiàn)的學(xué)習(xí)者水平。相比之下，以文本或內(nèi)部標(biāo)準(zhǔn)為導(dǎo)向的分級(jí)方法(如測(cè)試單項(xiàng)分)直接作用于語(yǔ)料，能夠提供更加準(zhǔn)確有效的信息。在此類(lèi)分級(jí)方法中，以教師判斷和校本測(cè)試成績(jī)?yōu)榛A(chǔ)的手段普遍存在評(píng)分標(biāo)準(zhǔn)不一致的問(wèn)題?；跇?biāo)準(zhǔn)化測(cè)試單項(xiàng)成績(jī)(寫(xiě)作或口語(yǔ))以及語(yǔ)言能力量表等級(jí)的語(yǔ)料庫(kù)無(wú)論從工具本身的效度還是分級(jí)標(biāo)準(zhǔn)等方面都更加專(zhuān)業(yè)、規(guī)范。以CEFR為例，基于量表等級(jí)的分級(jí)方法尤其具有以下三個(gè)核心優(yōu)勢(shì)。

第一，相較于將學(xué)習(xí)者語(yǔ)言水平區(qū)分為初級(jí)、中級(jí)、高級(jí)這三個(gè)等級(jí)的常規(guī)做法，CEFR將語(yǔ)言水平劃分為六級(jí)，為開(kāi)展更細(xì)致、更深入的研究提供了平臺(tái)。第二，CEFR是一個(gè)跨語(yǔ)言量表(language neutral)，可以作為統(tǒng)一的能力標(biāo)尺用于不同語(yǔ)言學(xué)習(xí)者語(yǔ)料庫(kù)，為開(kāi)展跨語(yǔ)言中介語(yǔ)研究等創(chuàng)造了有利條件。第三，CEFR直接對(duì)接法的操作時(shí)間不受時(shí)間和空間的限制，即便是已經(jīng)開(kāi)發(fā)完成的語(yǔ)料庫(kù)，語(yǔ)料庫(kù)建設(shè)者或研究人員仍然可以采用這種方法獲取語(yǔ)料庫(kù)等級(jí)信息；而間接對(duì)接法更加方便快捷，并提供諸如語(yǔ)體類(lèi)型、話(huà)題范圍、學(xué)習(xí)者的個(gè)體特征等重要信息。

需要指出的是，雖然以CEFR為評(píng)級(jí)標(biāo)準(zhǔn)的學(xué)習(xí)者語(yǔ)料庫(kù)具有許多優(yōu)勢(shì)，但是語(yǔ)料庫(kù)建設(shè)者在采用CEFR標(biāo)準(zhǔn)時(shí)應(yīng)特別注意以下三點(diǎn)。首先，直接對(duì)接法非常耗時(shí)、費(fèi)力，且語(yǔ)料庫(kù)數(shù)據(jù)越大，其可操作性就越差。其次，目前一些語(yǔ)言測(cè)試雖然聲稱(chēng)與CEFR對(duì)接成功，但卻并未提供任何相關(guān)的研究信息，因此無(wú)法判斷其是否遵循了科學(xué)的對(duì)接原則。因此，語(yǔ)料庫(kù)建設(shè)者在采用間接對(duì)接法時(shí)，需要仔細(xì)評(píng)估語(yǔ)料來(lái)源測(cè)試的專(zhuān)業(yè)性。[10]最后，CEFR是通用外語(yǔ)領(lǐng)域的產(chǎn)物，并不能準(zhǔn)確地描述專(zhuān)門(mén)用途外語(yǔ)的等級(jí)特點(diǎn)，因此不建議將其用于專(zhuān)門(mén)用途學(xué)習(xí)者語(yǔ)料庫(kù)。

(二)對(duì)我國(guó)語(yǔ)料庫(kù)建設(shè)的啟示

1、我國(guó)主要學(xué)習(xí)者語(yǔ)料庫(kù)分級(jí)方式

我國(guó)是一個(gè)外語(yǔ)學(xué)習(xí)大國(guó)，外語(yǔ)教學(xué)有其自身的特點(diǎn)，要了解和研究我國(guó)外語(yǔ)教學(xué)就需要建立自己的語(yǔ)料庫(kù)，為外語(yǔ)教學(xué)和研究提供第一手真實(shí)、全面的語(yǔ)料。我國(guó)語(yǔ)料庫(kù)研究從20世紀(jì)70年代末80年代初興起，在吸收國(guó)外建庫(kù)經(jīng)驗(yàn)的基礎(chǔ)上結(jié)合我國(guó)國(guó)情及外語(yǔ)教學(xué)實(shí)際對(duì)學(xué)習(xí)者語(yǔ)料庫(kù)建設(shè)展開(kāi)了卓有成效的探索，建成了一些較大型的外語(yǔ)學(xué)習(xí)者語(yǔ)料庫(kù)，其中大多屬于英語(yǔ)學(xué)習(xí)者語(yǔ)料庫(kù)。[11]表1列出了目前我國(guó)主要的英語(yǔ)學(xué)習(xí)者語(yǔ)料庫(kù)及其基本信息。

如表1所示，我國(guó)先后建成的學(xué)習(xí)者語(yǔ)料庫(kù)主要依賴(lài)高風(fēng)險(xiǎn)標(biāo)準(zhǔn)化測(cè)試成績(jī)來(lái)區(qū)分語(yǔ)料庫(kù)等級(jí)。如CLEC的語(yǔ)料主要采集于全國(guó)大學(xué)英語(yǔ)四級(jí)考試的作文部分，[12] (P1-3)SWECCL中的部分語(yǔ)料采集于全國(guó)大學(xué)專(zhuān)業(yè)四級(jí)英語(yǔ)口語(yǔ)考試錄音。[13]這種做法有兩個(gè)好處：首先，相關(guān)測(cè)試的題型內(nèi)容、評(píng)分標(biāo)準(zhǔn)等能夠保持一致性和透明性，并配有專(zhuān)業(yè)人士監(jiān)控測(cè)試的信度和效度，從而盡量保證測(cè)試成績(jī)與學(xué)習(xí)者實(shí)際語(yǔ)言能力之間的正相關(guān)關(guān)系。另外，考試機(jī)構(gòu)可以很方便地獲取考試數(shù)據(jù)、考生背景以及考生成績(jī)等信息，同時(shí)還可以依據(jù)分?jǐn)?shù)信息采集處于不同成績(jī)段的英語(yǔ)學(xué)習(xí)者語(yǔ)料擴(kuò)大語(yǔ)料代表性。然而，需要指出的是，雖然測(cè)試文本對(duì)于描述學(xué)習(xí)者的語(yǔ)言習(xí)得特征具有一定參考價(jià)值，但是由于受考試語(yǔ)境限制，這些語(yǔ)料不能完全代表學(xué)習(xí)者的自然習(xí)得狀態(tài)。我國(guó)外語(yǔ)學(xué)習(xí)者語(yǔ)料庫(kù)需要第一手資料來(lái)保證語(yǔ)料的真實(shí)自然，從而更準(zhǔn)確描述學(xué)習(xí)者的語(yǔ)言特征。這就需要一線(xiàn)外語(yǔ)教師參與到語(yǔ)料庫(kù)的建設(shè)工作中來(lái)，而語(yǔ)言能力量表為科學(xué)開(kāi)發(fā)與合并教師自建學(xué)習(xí)者語(yǔ)料庫(kù)搭建了一個(gè)平臺(tái)。

2、語(yǔ)言能力量表與教師小型語(yǔ)料庫(kù)建設(shè)

從語(yǔ)料庫(kù)分級(jí)方式來(lái)看，教師判斷和量表等級(jí)是目前尚未引起我國(guó)學(xué)習(xí)者語(yǔ)料庫(kù)建設(shè)者的關(guān)注。這兩種方法的缺失反映了我國(guó)教師自建語(yǔ)料庫(kù)發(fā)展較為緩慢且影響力低以及語(yǔ)言能力量表的重要性尚未引起廣泛關(guān)注的現(xiàn)實(shí)。近年來(lái)，越來(lái)越多的學(xué)者開(kāi)始呼吁一線(xiàn)外語(yǔ)教師參與到語(yǔ)料庫(kù)建設(shè)中來(lái)，[14] [15]但是探討的內(nèi)容還集中在單個(gè)小型語(yǔ)料庫(kù)的建設(shè)，關(guān)于如何整合這些語(yǔ)料資源這一話(huà)題還鮮有學(xué)者關(guān)注?；诖耍P者提出一個(gè)新的設(shè)想：結(jié)合教師判斷與語(yǔ)言能力量表的分級(jí)方法，采用自下而上的方式建設(shè)學(xué)習(xí)者語(yǔ)料庫(kù)。其基本理念是鼓勵(lì)一線(xiàn)外語(yǔ)教師建立個(gè)人小型學(xué)習(xí)者語(yǔ)料庫(kù)，將學(xué)生語(yǔ)料按照語(yǔ)言能力量表所提供的語(yǔ)言能力標(biāo)準(zhǔn)進(jìn)行等級(jí)劃分，同時(shí)使用統(tǒng)一的語(yǔ)料標(biāo)注和賦碼系統(tǒng)。這樣既可以解決教師判斷語(yǔ)料庫(kù)等級(jí)主觀性過(guò)強(qiáng)，評(píng)判標(biāo)準(zhǔn)千差萬(wàn)別等問(wèn)題，還可為將來(lái)各庫(kù)的有效合并創(chuàng)造必要條件。我國(guó)有人數(shù)最多的外語(yǔ)學(xué)習(xí)者(絕大多數(shù)為英語(yǔ))，也擁有大量的外語(yǔ)教師。充分發(fā)揮廣大基層外語(yǔ)教師的力量，將極大地提升我國(guó)學(xué)習(xí)者語(yǔ)料庫(kù)的庫(kù)容以及語(yǔ)料本身的真實(shí)性、代表性和多樣性，更加充分地反映出學(xué)習(xí)者二語(yǔ)發(fā)展的特征和全貌。合并后的大型語(yǔ)料庫(kù)不但能夠進(jìn)一步推動(dòng)我國(guó)學(xué)習(xí)者語(yǔ)料庫(kù)和語(yǔ)言教學(xué)研究，還將為自主開(kāi)發(fā)適合我國(guó)外語(yǔ)學(xué)習(xí)實(shí)際情況的語(yǔ)言能力量表提供直接的數(shù)據(jù)支持，這無(wú)疑對(duì)我國(guó)外語(yǔ)教學(xué)一條龍建設(shè)具有重要的戰(zhàn)略意義。

3、基于語(yǔ)言能力量表等級(jí)的小型語(yǔ)料庫(kù)建設(shè)方法初探——以CEFR為例

如上文所述，目前世界范圍內(nèi)已經(jīng)開(kāi)發(fā)出多個(gè)語(yǔ)言能力量表，盡管他們的研制背景各不相同，但是都具有相似的結(jié)構(gòu)，[16]如都以一定的語(yǔ)言學(xué)理論為基礎(chǔ)構(gòu)建描述框架，以短句的形式對(duì)語(yǔ)言能力進(jìn)行定性描述等。以CEFR為例，該量表由56個(gè)分量表構(gòu)成，包含聽(tīng)、說(shuō)、讀、寫(xiě)、譯五個(gè)基本技能，并從詞匯、語(yǔ)法、拼寫(xiě)等不同方面對(duì)學(xué)習(xí)者語(yǔ)言使用能力以“能做”描述語(yǔ)的形式進(jìn)行了詳細(xì)的描述。在以CEFR能力等級(jí)描述為基礎(chǔ)建設(shè)教師自建小型語(yǔ)料庫(kù)時(shí)，可以采取以下幾個(gè)步驟：標(biāo)準(zhǔn)設(shè)定—標(biāo)準(zhǔn)培訓(xùn)—標(biāo)準(zhǔn)實(shí)施。

首先，由于語(yǔ)言能力量表往往包含不同的語(yǔ)言技能和描述維度，應(yīng)組織專(zhuān)家學(xué)者選擇最相關(guān)的能力分量表作為語(yǔ)言能力等級(jí)的評(píng)價(jià)標(biāo)準(zhǔn)。所選擇的分量表必須與語(yǔ)料庫(kù)語(yǔ)料類(lèi)型和基本內(nèi)容直接相關(guān)。例如，在建設(shè)書(shū)面語(yǔ)料庫(kù)時(shí)可以參考CEFR中的下述幾個(gè)分量表(頁(yè)碼以CEFR英文版為準(zhǔn)[6])：

——總體筆頭表達(dá)能力量表(第61頁(yè))

——報(bào)告和短文撰寫(xiě)能力量表(第62頁(yè))

——?jiǎng)?chuàng)作寫(xiě)作能力量表(第62頁(yè))

——詞匯能力量表(第112頁(yè))

——詞匯掌握程度量表(第112頁(yè))

——語(yǔ)法能力量表(第114頁(yè))

——拼寫(xiě)能力量表(第118頁(yè))

——連貫和銜接能力量表(第125頁(yè))

表2列出了“語(yǔ)法能力”分量表的具體內(nèi)容，供讀者參考。需要指出的是，由于CEFR是針對(duì)歐洲的外語(yǔ)學(xué)習(xí)者開(kāi)發(fā)的，且在語(yǔ)言質(zhì)量描述方面?zhèn)戎乜谡Z(yǔ)技能，[17](P108-120)因此在選定分量表以后，還需確定諸如采用英文描述語(yǔ)還是中文描述語(yǔ)、是否需要適當(dāng)修改描述語(yǔ)措辭、是否需要細(xì)分或調(diào)整等級(jí)排序等問(wèn)題，力求使最終選擇地等級(jí)標(biāo)準(zhǔn)適用于中國(guó)英語(yǔ)教學(xué)和測(cè)試環(huán)境，并且容易被廣大基層教師理解和掌握。

表2　語(yǔ)法能力分量表

其次，在確定最終的等級(jí)描述語(yǔ)之后，需要對(duì)廣大一線(xiàn)教師進(jìn)行相關(guān)培訓(xùn)。培訓(xùn)內(nèi)容應(yīng)包括語(yǔ)料庫(kù)建設(shè)方法和CEFR等級(jí)描述這兩部分。培訓(xùn)應(yīng)在語(yǔ)言教學(xué)單位和語(yǔ)言教育管理或權(quán)威部門(mén)的統(tǒng)一指導(dǎo)和部署下進(jìn)行，需要語(yǔ)料庫(kù)、語(yǔ)言測(cè)試、二語(yǔ)習(xí)得等領(lǐng)域?qū)＜覍W(xué)者的通力合作，是一項(xiàng)綜合性很強(qiáng)的工作。在這個(gè)過(guò)程中，可以充分利用網(wǎng)絡(luò)資源，采用在線(xiàn)培訓(xùn)等方式，從而節(jié)省高昂的人力資本。同時(shí)應(yīng)適當(dāng)加入評(píng)估方法，如邀請(qǐng)教師以CEFR標(biāo)準(zhǔn)評(píng)判一些范文的等級(jí)水平，來(lái)確定培訓(xùn)是否成功。為保證等級(jí)評(píng)價(jià)的效度和信度，可以采用同一篇語(yǔ)料由兩名教師評(píng)判，有異議的語(yǔ)料交由第三方確認(rèn)。教師評(píng)判語(yǔ)料的同時(shí)，也是對(duì)語(yǔ)料進(jìn)行標(biāo)注的過(guò)程，語(yǔ)料標(biāo)注可以分為兩部分，一部分涉及CEFR相關(guān)的變量，包括量表等級(jí)標(biāo)注，一部分是語(yǔ)言特征變量標(biāo)注，包括詞頻信息、超出CEFR相應(yīng)等級(jí)詞匯所占百分比、平均句長(zhǎng)、詞匯密度、難易度指標(biāo)、詞性賦碼、拼寫(xiě)錯(cuò)誤、語(yǔ)法錯(cuò)誤等。

按照CEFR等級(jí)描述確定相關(guān)語(yǔ)料的等級(jí)是自上而下的方法，可以輔之以自下而上的方法，即將教師評(píng)定等級(jí)的語(yǔ)料收集起來(lái)，用語(yǔ)料庫(kù)技術(shù)分析語(yǔ)料的語(yǔ)言特征，然后檢驗(yàn)這些特征是否匹配CEFR描述語(yǔ)。自下而上的方法既可驗(yàn)證所評(píng)定的語(yǔ)料等級(jí)，又可提取相應(yīng)等級(jí)的語(yǔ)言特征。這兩種方法相輔相成，自上而下的方法依賴(lài)因教師對(duì)CEFR描述語(yǔ)的解讀和語(yǔ)料評(píng)判，帶有一定主觀性，自下而上方法，注重大量數(shù)據(jù)的收集，可以通過(guò)統(tǒng)計(jì)手段克服教師評(píng)判帶有的主觀性，使之具有一定的客觀性和概括性。

最后，在標(biāo)準(zhǔn)實(shí)施階段，需要設(shè)立實(shí)時(shí)的幫助和反饋機(jī)制來(lái)處理教師在實(shí)際操作中所遇到的困難和問(wèn)題。尤其需要關(guān)注的是無(wú)法納入CEFR等級(jí)的語(yǔ)料，這些語(yǔ)料極有可能反映我國(guó)學(xué)生獨(dú)特的中介語(yǔ)特征，是語(yǔ)言研究的寶貴資料，也是在我國(guó)自主開(kāi)發(fā)外語(yǔ)語(yǔ)言能力等級(jí)量表的重要參考依據(jù)。

三、結(jié)語(yǔ)

學(xué)習(xí)者語(yǔ)料庫(kù)已經(jīng)成為當(dāng)代語(yǔ)言學(xué)理論研究和應(yīng)用研究不可或缺的基礎(chǔ)資源，在最近二三十年間的發(fā)展尤為迅猛，世界各國(guó)紛紛建立起各種各樣的學(xué)習(xí)者語(yǔ)料庫(kù)，通過(guò)借鑒國(guó)外經(jīng)驗(yàn)以及結(jié)合我國(guó)國(guó)情，國(guó)內(nèi)學(xué)者也在學(xué)習(xí)者語(yǔ)料庫(kù)建設(shè)方面開(kāi)展了廣泛的研究，并取得了豐碩成果。然而，在學(xué)習(xí)者語(yǔ)料庫(kù)被廣泛用于二語(yǔ)習(xí)得研究、語(yǔ)言測(cè)試開(kāi)發(fā)及教材編撰的大背景下，目前關(guān)于學(xué)習(xí)者語(yǔ)料庫(kù)建設(shè)者如何區(qū)分學(xué)習(xí)者語(yǔ)言水平這一問(wèn)題還尚未引起足夠的關(guān)注，這無(wú)疑將在很大程度上影響相關(guān)研究結(jié)論的信度、效度及可推廣性。鑒于此，本文調(diào)查了國(guó)內(nèi)外重要學(xué)習(xí)者語(yǔ)料庫(kù)語(yǔ)言水平分級(jí)方法，結(jié)果表明，國(guó)內(nèi)外重要的學(xué)習(xí)者語(yǔ)料庫(kù)主要依靠“學(xué)習(xí)者背景”、“教師判斷”、“測(cè)試成績(jī)”以及“語(yǔ)言能力量表等級(jí)”這四種方法來(lái)區(qū)分語(yǔ)料庫(kù)級(jí)別。其中，采用“學(xué)習(xí)者背景”等外部標(biāo)準(zhǔn)的分級(jí)方法雖然方便易行，但是卻脫離了文本本身，無(wú)法有效反映語(yǔ)料水平。相比之下，語(yǔ)言能力量表作為一種新興的語(yǔ)言水平分級(jí)方法，具有很強(qiáng)的專(zhuān)業(yè)性和規(guī)范性，能夠?yàn)檎Z(yǔ)料本身提供細(xì)化、科學(xué)的分級(jí)，因此值得進(jìn)一步推廣普及。

基于此，本文探討了結(jié)合教師判斷與語(yǔ)言能力量表的分級(jí)方法，采用自下而上的方式建設(shè)學(xué)習(xí)者語(yǔ)料庫(kù)的可行性。其基本理念是鼓勵(lì)一線(xiàn)外語(yǔ)教師以語(yǔ)言能力量表為基礎(chǔ)建立個(gè)人小型學(xué)習(xí)者語(yǔ)料庫(kù)的可行性。這樣既可以解決教師判斷主觀性過(guò)強(qiáng)，評(píng)判標(biāo)準(zhǔn)千差萬(wàn)別等問(wèn)題，還可為將來(lái)各庫(kù)的有效合并創(chuàng)造必要條件。與此同時(shí)，充分發(fā)揮廣大基層外語(yǔ)教師的力量將極大地提升我國(guó)學(xué)習(xí)者語(yǔ)料庫(kù)的庫(kù)容以及語(yǔ)料本身的真實(shí)性、代表性和多樣性，從而為更全面地描述學(xué)習(xí)者的二語(yǔ)發(fā)展特征和全貌提供可能。合并后的大型語(yǔ)料庫(kù)不但能夠進(jìn)一步推動(dòng)語(yǔ)料庫(kù)研究和語(yǔ)言教學(xué)的發(fā)展，還將為自主開(kāi)發(fā)適合我國(guó)外語(yǔ)學(xué)習(xí)實(shí)際情況的語(yǔ)言能力量表提供直接的數(shù)據(jù)支持，這對(duì)我國(guó)外語(yǔ)教學(xué)研究一條龍建設(shè)也具有重要的戰(zhàn)略意義。本文以CEFR為例，嘗試性地探討了在以語(yǔ)言能力量表等級(jí)描述為基礎(chǔ)建設(shè)教師自建小型語(yǔ)料庫(kù)的方法和步驟。需要指出的是，從標(biāo)準(zhǔn)設(shè)定到標(biāo)準(zhǔn)的培訓(xùn)與實(shí)施，需要眾多語(yǔ)言教學(xué)單位、測(cè)試機(jī)構(gòu)和語(yǔ)言教育管理部門(mén)的通力合作。因此，如何保證教師語(yǔ)料庫(kù)建設(shè)既符合科學(xué)的原則，又滿(mǎn)足實(shí)用的需求，這是綜合性很強(qiáng)且十分艱巨的工作，任重而道遠(yuǎn)。

[1] Granger, S. Learner corpora in foreign language education[A]. In N. V. Deusen-Scholl & N. H. Hornberger (eds.). Encyclopedia of language and education second and foreign language education, 2ndEdition, Volume 4: Second and foreign language education. New York: Springer, 337-351, 2008.

[2] 孔文,鄒申.語(yǔ)料庫(kù)在語(yǔ)言測(cè)試中的應(yīng)用[J].外語(yǔ)電化教學(xué),2007,(3):47-51.

[3] 武和平,韓百敬.應(yīng)用語(yǔ)言學(xué)與二語(yǔ)習(xí)得研究中“語(yǔ)言水平”的測(cè)量與界定—一項(xiàng)基于文獻(xiàn)計(jì)量學(xué)的研究[J].山東外語(yǔ)教學(xué),2010,(2):20-25.

[4] Tono, Y. Learner corpora: design, development and applications[A]. In P. Rayson, A. Wilson, T. McEnery, A. Hardie, & S. Khoja (ed.). Proceedings of the corpus linguistics 2001 conference, UCREL technical paper Number 13. Lancaster: Lancaster University, 800-809, 2003.

[5] Bachman, L. F. Fundamental considerations in language testing[M]. Oxford: Oxford University Press, 1990.

[6] Council of Europe. Common European framework of reference for language learning, teaching and assessment[M]. Cambridge: Cambridge University Press, 2001.

[7] Papageorgiou, S. Investigating the decision-making process of standard setting participants[J]. Language Testing, 2010, 27: 261-282.

[8] Carlsen, C. Proficiency level-a fuzzy variable in computer learner corpora[J]. Applied Linguistics, 2012, 33: 161-183.

[9] Atkin, S., J. Clear & N. Ostler. Corpus design criteria[J]. Literacy and linguistic computing, 1992, 7: 1-16.

[10] Figueras, N., B. North, S. Takala, N.Verhelst & P. V.Avermaet. Relating examinations to the Common European Framework: A manual[J]. Language Testing, 2005, 22: 261-279.

[11] 王立非,孫曉坤.國(guó)內(nèi)外英語(yǔ)學(xué)習(xí)者語(yǔ)料庫(kù)的發(fā)展:現(xiàn)狀與方法[J].外語(yǔ)電化教學(xué),2005,(10):19-24.

[12] 桂詩(shī)春,楊惠中.中國(guó)學(xué)習(xí)者英語(yǔ)語(yǔ)料庫(kù)[M].上海:上海外語(yǔ)教育出版社,2003.

[13] 王立非,文秋芳.“中國(guó)學(xué)生英語(yǔ)口筆語(yǔ)語(yǔ)料庫(kù)”的建設(shè)與研究評(píng)述[J].外語(yǔ)界,2007,(1),2005：22-28.

[14] 謝家成.個(gè)人英語(yǔ)教學(xué)語(yǔ)料庫(kù)的運(yùn)用[J].外語(yǔ)電化教學(xué),2004,(4):34-36.

[15] 梁茂成.利用WordPilot在外語(yǔ)教學(xué)中自建小型語(yǔ)料庫(kù)[J].外語(yǔ)電化教學(xué),2003:42-45.

[16] 韓寶成,常海潮.中外外語(yǔ)能力標(biāo)準(zhǔn)對(duì)比研究[J].中國(guó)外語(yǔ),2011,(4):39-54.

[17] North, B. The development of a common framework scale of language proficiency[M]. New York: Peter Lang, 2000.

責(zé)任編輯：周延云

Proficiency Assessment Approaches in L2 Learner Corpora: A Critical Evaluation

Wang Li1,2Zhang Liying3

(1. School of Finance and Economics, Xi'an International Studies University, Xi'an 710128, China; 2. College of Foreign Languages, Shanghai Jiao Tong University, Shanghai 200240, China; 3. English Department, PLA University of Foreign Languages, Luoyang 471003, China)

This paper presents a survey of the approaches adopted by current L2 learner corpora developers to determine language proficiency levels. Four major conventions for the assignment of proficiency levels emerged from the analysis, which were learner background, teacher judgment, test score and language proficiency scale. A critical evaluation of the strengths and weaknesses associated with each approach is presented. The paper goes on to consider the feasibility of using language proficiency scale as a common reference tool for proficiency level assignment in the compilation of school-based L2 learner corpora, which has broader theoretical and practical implications for corpus design as well as language teaching.

L2 learner corpora; language proficiency levels; language proficiency scale

2015-10-07

2015年教育部人文社會(huì)科學(xué)研究青年基金項(xiàng)目“中國(guó)大學(xué)生商務(wù)英語(yǔ)寫(xiě)作能力等級(jí)量表評(píng)價(jià)體系構(gòu)建研究”(15YJC740084)

王麗(1980-)，女，重慶人，西安外國(guó)語(yǔ)大學(xué)經(jīng)濟(jì)金融學(xué)院講師，上海交通大學(xué)外國(guó)語(yǔ)學(xué)院博士研究生，主要從事專(zhuān)門(mén)用途英語(yǔ)和語(yǔ)言測(cè)試研究。

H315

A

1672-335X(2016)02-0107-07