王之豪
摘要:大學英語六級考試(CET6)與英語專業(yè)四級考試(TEM4)中的寫作測試題型一直被認為是最能體現(xiàn)受試者英語應用能力的一個重要項目。因此,本文將從信度、效度以及反撥效應三個層面對比分析CET6和TEM4中的寫作測試,以便更好地為國內的英語教學及考試服務。
關鍵詞:?;CET6;TEM4;寫作測試;反撥效應
一、引言大學英語六級考試及專業(yè)英語四級考試均為著名的標準化國家英語考試,考試的目的都是為了全面檢測考生各個方面的語言能力,包括聽力、閱讀、翻譯以及寫作。與面向全國大學生的大學英語六級考試(以下簡稱“CET6”)有所不同,專業(yè)英語四級考試(以下簡稱“TEM4”)只面向英語專業(yè)及輔修專業(yè)的學生群體,考試的側重點也有所差異。不過,在這兩種考試中,寫作題都是考核的重點所在,占據(jù)了很大比重的分值。因此我們認為,對兩類考試中的寫作試題進行對比分析會是一項十分有益的嘗試。為了保證對比的客觀性及合理性,本文擬從語言測試的信度(reliability)、效度(validity)及反撥效應(backwash?;effect)三個層面展開分析。
一般而言,“作文對考生書面綜合運用語言的能力測量最準確、效度最高”。因此CET6及TEM4從一開始就都把寫作測試作為最主要的測試項目,分值占到了總分的15%到20%。然而,盡管寫作測試的效度較高、測量準確,但效度過高也會在一定程度上減弱測試的信度和評分的可操作性。由于英語六級考試的參與者數(shù)量極其巨大,為保證測試的整體可信度,顯然應該對考試加一些限制。例如,目前的六級寫作試題普遍限制字數(shù),并且在題目下首先給出中文大綱甚至指定文章的起始句,要求考生按照框架構思作文,不得隨意發(fā)揮。這些舉措事實上也在一定程度上犧牲了測試的有效性。與此同時,寫作試題的反撥效應也是對教學具有指導意義的重要參數(shù),但在目前卻往往會遭到忽視。要合理地解決上述困境,途徑之一便是通過比照分析從另一考試的相同題型中汲取經(jīng)驗及優(yōu)點,使寫作測試的信度、效度及反撥效應等指標更加平衡,充分完成考試的目的。本文將從上述幾方面分別簡析CET6及TEM4的寫作試題并得出兩者的初步特點,以便為未來的寫作教學提供一些改進的建議。
二、兩種寫作測試的初步分析回顧過去幾年的CET6寫作試題,我們可以發(fā)現(xiàn)題目要求的體裁主要是議論文,而題目的內容涵蓋范圍較大,涉及社會及校園生活的方方面面。我們先將其列表如下(見表1)。
上面所列舉的這些標題均與當時的社會熱點有著一定的聯(lián)系,同時在一定程度上也頗富啟發(fā)性。不過,無論哪年的試題都對字數(shù)都有著嚴格的要求(120~150字),而且題目下還附有三段式的寫作大綱要求。
以下也相應地列出最近十年內TEM4的寫作測試題目(見表2)。
我們也需注意到,在TEM4的寫作試題下也有類似的指導要求:考生需要按規(guī)定寫一篇三段式的文章。首先陳述觀點,然后予以佐證,最后進行總結。整篇文章的字數(shù)需控制在200字左右。表1
時間題目2005年6月Say?;no?;to?;pirated?;product2005年12月A?;letter?;declining?;job?;offer2006年6月Travelling?;abroad?;(with?;a?;table)2006年12月Celebrating?;western?;festival2007年6月The?;importance?;of?;reading?;classics2007年12月Should?;one?;expect?;a?;reward?;when?;doing?;a?;good?;deed?2008年6月Digital?;age2008年12月Will?;E-books?;replace?;traditional?;books?2009年6月How?;to?;improve?;students?;mental?;health?2009年12月On?;the?;importance?;of?;a?;name不過總體看來,TEM4的寫作測試主觀性更大,更能反映考生的實際語言水平。為了更好地開展對比,我們下面就先來審視一下語言測試的這幾個主要指標及其理念。
1評判測試的主要標準
作為對比分析的參照標準,我們選取了信度、效度以及反撥效應三個較為宏觀,同時也是語言測試評判中較為常用的指標。首先,語言測試的信度是指測試的結果能夠在多大的程度上得到采信,也包括測試所得分數(shù)本身的質量、測量手段的準確性以及分數(shù)的整體穩(wěn)定表2
時間題目?;(議論文?;&;?;便條)2001Travel?;broadens?;the?;mindApology?;and?;suggestion?;(便條)2002The?;best?;way?;to?;stay?;healthOffer?;(便條)2003The?;importance?;of?;keeping?;a?;good?;moodExplanation?;(便條)2004Will?;phones?;kill?;letter?;writingSympath?;(便條)2005My?;idea?;of?;a?;university?;arts?;festival?;Invitation?;(便條)2006Saving?;money?;is?;a?;good?;habitIntention?;(便條)2007Is?;it?;wise?;to?;make?;friends?;online?Declining?;(便條)2008The?;benefits?;of?;volunteeringRecommendation?;(便條)2009Will?;tourism?;bring?;harm?;to?;the?;environment?Job?;recommendation?;(便條)2010Should?;college?;students?;hire?;cleaners?Suggestion/recommendation?;(便條)性。測試的信度往往會受到諸多因素的影響,例如,樣卷的內容及容量、監(jiān)考狀況、測試的總體指導原則、不同評閱人間的個體差異,以及評閱試卷的環(huán)境等。而評估特定測試信度的途徑則主要包括以相同試卷對受試者進行再測試,采用平行組或替換組進行測試。顯而易見,要合理地評估寫作測試的信度,用以上方法是十分困難的。不過我們也可以采用一些特殊的工具,如整體評分(global?;marking),二次閱讀(double?;reading)以及另一種最為常見的方法——“測距儀”(range?;finder)來確保寫作測試結果的可信度。
測試的效度通常是指在檢驗該測試的設計檢驗對象或目標時,該項測試能在何種的程度上達成測試設計的初衷?;蛘哒f,效度代表著試題的內容是否與該測試本身的既定目標保持一致。效度又可以細分為內容效度、卷面效度、數(shù)據(jù)效度以及構建效度等多個子類。從理論上來說,測試的效度可以被認為是語言測試最為重要的尺標,試題的效度幾乎直接決定著考試的整體質量。CET6及TEM4中的寫作測試相對于其他各類試題而言,一直以來都被認為享有著最高的有效性。然而,Hawkey則認為測試的信度始終對效度有所影響,若要保證測試的信度,就不得不對效度有所減損。盡管如此,由于在考量語言交流能力的測試中,構建效度(construct?;validity)始終是必須得到保證的首要標準,因此信度問題在此可被認為是一種從屬標準。
反撥效應是衡量測試對社會及教學產(chǎn)生影響的重要參照,因此是設計試題時必須納入考量的關鍵因素。實際上,所有的測試都會對受試者、測試結果的使用者、研究機構乃至整個社會帶來或正面或負面的反撥效應。由于負面的反撥效應會極大地影響學生對語言學習的態(tài)度,因此為提高測試的信度和效度而弱化反撥效應價值的做法是不可取的。
2對CET6寫作測試的分析
在信度層面上,我們將主要通過分析寫作測試的題目及其引言部分討論其內容效度。Heaton認為,寫作的主要技能可以分為五類:①機械技能(如拼寫);②語言應用(如語法);③組織技能(如文章的架構);④文體技能(如修辭);⑤評判技能(如判斷所寫文章的目的、讀者群等)。因此,如果一項寫作題能夠有效地檢驗學生在上述五個方面的寫作技能,我們就能認為此測試具有相對較高的效度。一方面,通過分析近幾年CET6的寫作試題及其評分標準,我們發(fā)現(xiàn)CET6仍然將更多的重點放在學生的基礎寫作技能上,如上述的①、②和③。測試的評分標準也十分重視文章的拼寫和語法錯誤,而引言部分更是對文章的整體結構提出了嚴格的要求。另一方面,無論是引言部分還是評閱意見方面,都不甚提及修辭手法的綜合運用及措辭的優(yōu)化,對于學生文體意識的培養(yǎng)和實際社會情景下的交互也非常薄弱。我們認為CET6的寫作試題在基本語言運用層面享有較高的內容效度,而在文體層面及應用層面上的效度則不夠令人滿意。
CET6寫作部分的內容效度之所以總體不高,主要可以歸咎于其充分提升測試信度的意圖。由于參加大學英語六級的考生群體數(shù)量很大,CET6測試的效率必須得以保證。此外,由于CET6是國家級的重大考試,同時也是檢驗大多數(shù)學生語言技能的最高級考試,早已獲得了廣泛的社會認可。如果將這些因素全部考慮在內,則容易理解為何CET6測試要犧牲部分效度來確保整體信度,以便鞏固其大學生英語水平最權威考試的地位。我們也能夠很清楚地明白其對寫作部分的調整:限定作文字數(shù)并附上規(guī)定嚴格的引言都是為了降低測試中的受試者主體性,簡化評閱過程,從而充分提高整個測試的信度。再加上較為完備全面的評分標準以及題目上的種種限制,CET6的寫作測試可以稱得上是一種高信度、廣泛認可的測試。
在評估一項測試的社會及教學價值時,有必要重視反撥效應,而對CET6這樣的全國性大規(guī)??荚嚩杂葹槿绱?。不幸的是,目前CET6測試的整體反撥效應呈現(xiàn)出消極的傾向。具體到寫作測試中,目前較多的抄襲及作弊行為已經(jīng)嚴重損害了該項目的社會及教學反撥效應。不僅如此,寫作測試本身也未能如預期中一般為英語教學帶來更多的積極成果。由于CET6的寫作測試限制過多,規(guī)定過嚴,大學英語教師在教授寫作部分時常常會遇到很多的困惑與阻礙,受到過多的拘束以致無法給予學生充分的空間實踐語言能力,或按照他們的意愿開展自由寫作。當然,我們仍然發(fā)現(xiàn)CET6的作文試題在最近幾年里也開始觸及當下的社會熱點,并開始對學生在社會環(huán)境下運用語言的能力提出了一定要求。這一現(xiàn)象也為大學英語課堂帶來了一些積極的反撥效應,讓學生能夠更重視培養(yǎng)實際生活中的外語運用能力以及在特定社會環(huán)境下與他人交流互動的能力。
3對TEM4寫作測試的分析
如前所述,TEM4的寫作測試與CET6有所不同,除議論文寫作外還附加了一項便條寫作(note-writing)的考核,而這兩項測試的要求相較CET6更為靈活自由。不僅如此,寫作測試的分數(shù)更是占到了考試的25%,比CET6(15%)明顯增多,并且規(guī)定的寫作時間也比大學英語考試更為寬裕,說明在TEM4中寫作測試更受重視。另一方面,由于TEM4的受試者相對較少,評閱周期更長,試題對字數(shù)、文章結構也作出了一定的限制,因此我們認為TEM4的寫作測試信度較高。
鑒于TEM4旨在全面檢測英語專業(yè)學生的語言熟練度,測試的效度應予以特別強調。以Heaton提出的五維標準作為參照,我們發(fā)現(xiàn)TEM4的寫作測試在各個方面都有良好的表現(xiàn)。整個寫作試題是與培養(yǎng)學生語體技能的教學要求相適應的。TEM4寫作試題的一個不足之處可能是其題目缺乏新穎性,不常見到十分與時俱進的試題出現(xiàn)。除了對表達有效性的要求,TEM4的寫作試題還附加了一道獨具特色的便條寫作題,旨在測試學生將語言應用于日常生活的能力。通過觀察上表,我們可以清楚地發(fā)現(xiàn)便條寫作的主題涵蓋甚廣,從建議書到推薦信,還包括了意向書和解釋申明等。這一寫作形式因此增強了檢驗學生評判技能的測試效度??偟膩碚f,盡管TEM4的寫作測試創(chuàng)新性不夠,但考試整體的效度確實是相當高的。
最后我們再來探討一下它的反撥效應,重點觀察該項測試是否對英語專業(yè)的教學乃至全社會的英語學習產(chǎn)生了積極的影響。事實上,由于TEM4考試的參與者基本上都是英語專業(yè)的二年級學生,寫作部分的試題必須設計完善,能夠檢驗學生對語言技能的基本掌握,并重點考核學生寫作的連貫性以及結構完整性。事實上,最近十年TEM4的作文命題基本上都能夠鼓勵學生積極思考,其寫作要求也較為寬松,容易讓考生,充分展現(xiàn)自己的語言和寫作技能。另外,由于輔修英語專業(yè)的高分學生也能夠參加專業(yè)英語考試,因此TEM4整體而言產(chǎn)生了鼓勵更多大學生學習英語、掌握英語的良好環(huán)境,可以說更多地帶來了積極的反撥效應。
三、兩種寫作測試的對比(1)CET6與TEM4的寫作測試都享有較為令人滿意的成績可信度,這一點從其嚴格標準化的打分規(guī)則、評分表以及系統(tǒng)的評閱流程即可了解。寫作形式的設計也以方便審閱為原則,評分的時間也較為充裕,能夠開展高效率的評分工作。不過我們也必須指出,CET6相較TEM4確實在國內外享有更廣泛的認可程度。目前也仍然有較多的用人單位并不知曉TEM4而唯獨認準CET6的證書,這也導致很多英語專業(yè)學生不得不在通過TEM4測試后再度參加CET6測試以求得更有效的資格認證。同時,雖然TEM4的受試者明顯少于CET6,但其閱卷周期以及公布成績的時間較CET6有很大的延遲。
(2)我們容易推知TEM4寫作部分的內容效度較CET6略高一些,這主要是因為TEM4的作文題能夠覆蓋更多不同的寫作技能以及文體。而CET6的寫作試題則出于效率考慮,有意規(guī)定提綱,簡化寫作形式,因而削弱了其內容效度,以此提升測試的整體信度,充分應對CET6受試者數(shù)量眾多的特點。TEM4由于沒有這方面的困擾,可以加大寫作部分的分值,將其作為檢驗學生語言能力的重點和主體,通過要求考生使用各類寫作技巧,充分檢驗了學生的英語水平,文體能力以及不同情境下寫作目的的辨別能力。TEM4的作文命題更為綜合和全面,相較CET6的寫作題更貼近教學大綱的要求,因此其命題設計在內容效度層面頗具優(yōu)勢,可供CET6參考。
(3)CET6的寫作測試較為僵化,因此往往導致課堂上出現(xiàn)單純應試的作文教法,甚至考場上的種種作弊行為,使其社會反撥效應呈現(xiàn)較強的負面性。而TEM4的寫作測試則對外語教學產(chǎn)生了更佳的反撥效應,而且積極推動了大學英語學習,在此方面值得CET6借鑒。當然,由于CET6的參加者人數(shù)龐大,很難將其寫作測試本身的特點與所有的教學及社會預期兩相調和,我們仍希望寫作試題的改進能夠為大學英語課堂帶來更多的積極反撥效應,并在當前的教學大綱中扮演更為重要的角色。而盡管TEM4的作文試題在課堂教學方面帶來了相對積極的反撥效應,但如果不對增強創(chuàng)新性加以持續(xù)的關注,很快也將陷入一個尷尬的境地:由于命題與社會熱點脫節(jié),很難對社會英語學習造成應有的影響,其原有的正面反撥效應也將很快枯竭。
四、結論及建議由于寫作測試的高度主觀性,要取得測試中信度、效度及反撥效應之間的平衡是十分不易的。CET6及TEM4在這些指標下表現(xiàn)各有千秋:CET6的寫作測試的可信度受到了廣泛的認可,而TEM4則效度較高,還取得了較為積極的教學反撥效應。對這兩大外語考試而言,仍然有較大的空間改善其寫作測試項?,F(xiàn)將我們的一些建議總結如下:
(1)在目前CET6寫作測試的基礎上,可以在命題時適當增設更多真實的交流語境,將寫作目的、目標讀者群以及寫作背景等因素融入題目,借此來提升學生對語體風格以及寫作目的的敏感性,引導學生將寫作技能運用于實際。
(2)此外,在提升測試本身質量的同時,CET6的寫作部分也應注重向社會傳播更多的積極反撥效應,合理利用其廣泛社會效應及重大的教學指導作用。盡力營造一個創(chuàng)新性強、真實性高、社會互動真實的英語教學環(huán)境。
(3)而TEM4的寫作測試則可以更多地效仿CET6較為與時俱進的命題方式,在題目中融入時下熱點元素,體現(xiàn)時代性,與社會的發(fā)展保持同步。
(4)TEM4的寫作測試不僅應繼續(xù)提高測試效度以適應教學要求的發(fā)展,也需進一步降低對于寫作本身的各類限制條件,也必須提高測試的效率及成績的信度,擴大公眾影響力。
簡而言之,兩種測試的寫作項目在提高信度、效度及反撥效應等方面都有可供對方學習借鑒的優(yōu)勢。如果兩者可以取長補短,汲取雙方的實踐經(jīng)驗,就能進一步促進我國的大學英語教學水平,并幫助廣大學生提高英語寫作能力。
參考文獻:
〖=1〗吳云娣英語專業(yè)四級——助考點津〖=M〗上海:上海交通大學出版社,2005.
〖=2〗楊惠中大學英語四、六級考試十五年回顧〖=J〗外國語(上海外國語大學學報),2003(03):21—29.
〖=3〗辜向東,楊志強CET二十年寫作試題分析與研究〖=J〗外語與外語教學,2009(06):21—26.
〖=4〗唐雄英語言測試的后效研究〖=J〗.?;外語與外語教學,2005(07):55—59