基于粗糙分析的大學(xué)英語考試質(zhì)量提升路徑

柳媛慧,陳林書,趙肄江,彭理,梁偉

(湖南科技大學(xué) 1.外國語學(xué)院;2.計(jì)算機(jī)科學(xué)與工程學(xué)院,湖南 湘潭 411201)

在世界經(jīng)濟(jì)、文化趨于一體化的形勢下,英語教育對大學(xué)生的重要性不言而喻,而檢驗(yàn)大學(xué)英語教育教學(xué)質(zhì)量和效果的最有效手段就是組織英語考試。大學(xué)英語考試是考查學(xué)生知識(shí)掌握情況、衡量教學(xué)效果、保證教學(xué)質(zhì)量的重要手段,也是調(diào)整和改進(jìn)教師教學(xué)工作,控制和激發(fā)學(xué)生學(xué)習(xí)行為的重要依據(jù)[1-2]。大學(xué)英語考試試題質(zhì)量的高低直接影響考試的可靠度和準(zhǔn)確度,進(jìn)而直接或間接地影響學(xué)生的學(xué)習(xí)態(tài)度和學(xué)習(xí)行為。因此,提升大學(xué)英語考試試題質(zhì)量是至關(guān)重要的一個(gè)研究課題。

傳統(tǒng)的大學(xué)英語考試試題質(zhì)量提升路徑有數(shù)理統(tǒng)計(jì)法,即對試卷的平均分、標(biāo)準(zhǔn)差、可信度、覆蓋率、有效性、區(qū)分度以及優(yōu)秀率、及格率和不及格率等指標(biāo)進(jìn)行統(tǒng)計(jì)和分析[3-5],進(jìn)而對考試試題進(jìn)行增刪調(diào)整和質(zhì)量提升。其中:可信度衡量試題的可靠性與穩(wěn)定性,覆蓋度表顯示知識(shí)覆蓋面的大小和程度,有效性表示考試實(shí)際結(jié)果與預(yù)期目標(biāo)的差距,標(biāo)準(zhǔn)差反映分?jǐn)?shù)的離散分布情況,區(qū)分度體現(xiàn)不同水平學(xué)生對同一類考試題的區(qū)分和鑒別能力。

然而,長期的大量實(shí)踐數(shù)據(jù)表明,上述傳統(tǒng)的數(shù)理統(tǒng)計(jì)方法僅能夠指導(dǎo)調(diào)整大學(xué)英語考試試題的難易程度、知識(shí)覆蓋面、有效性等,即只就卷面上的顯著問題進(jìn)行簡單的統(tǒng)計(jì)、分析、評價(jià)和質(zhì)量提升,不能深度挖掘試卷結(jié)構(gòu)是否合理、試題內(nèi)容與教學(xué)大綱是否一致,特別是不能智能判斷試題的冗余性(是否重復(fù))、重要性程度(是否是教學(xué)重點(diǎn))等信息[6]。

粗糙集理論[7]由波蘭數(shù)學(xué)家Pawlak提出,具有成熟的數(shù)學(xué)基礎(chǔ),不需要先驗(yàn)知識(shí),避免了知識(shí)主觀評價(jià)帶來的誤差,其主要思想是在保持信息系統(tǒng)分類能力不變的前提下,通過知識(shí)約簡導(dǎo)出問題的分類或決策規(guī)則[8]。粗糙集理論是一種處理不精確、不一致、不完備信息的有效工具,直接對數(shù)據(jù)本身進(jìn)行分析和推理,從中發(fā)現(xiàn)隱含的知識(shí),揭示潛在的規(guī)律,它是一種天然的數(shù)據(jù)挖掘或者知識(shí)發(fā)現(xiàn)方法。粗糙集理論已廣泛應(yīng)用于預(yù)測與控制、圖像處理、故障診斷、模式識(shí)別與分類、機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘等領(lǐng)域。

數(shù)理統(tǒng)計(jì)方法一般需要根據(jù)專家知識(shí)庫提供的主觀經(jīng)驗(yàn)值,如標(biāo)準(zhǔn)差、可信度和覆蓋率等統(tǒng)計(jì)指標(biāo),容易出現(xiàn)主觀評價(jià)帶來的誤差[9-10]。粗糙集理論正好能夠彌補(bǔ)數(shù)理統(tǒng)計(jì)方法的這一缺陷,它具有成熟的數(shù)學(xué)基礎(chǔ),不需要任何主觀性的先驗(yàn)知識(shí),完全根據(jù)已有知識(shí)庫進(jìn)行分析,挖掘潛在的隱含知識(shí)和規(guī)則,具有客觀性和價(jià)值性[11-13]。

本文借助粗糙集理論這一經(jīng)典數(shù)學(xué)分析工具,研究大學(xué)英語考試質(zhì)量提升路徑。下面借助粗糙集的決策表、相對正域、冗余屬性和屬性重要度基本概念,提出試題冗余性的定性判別方法和試題重要度的定量度量方法,建立基于粗糙分析的大學(xué)英語考試質(zhì)量提升模型。大量實(shí)驗(yàn)分析驗(yàn)證了新方法的有效性,即新型方法發(fā)現(xiàn)并修正了部分冗余的和重要度較低的試題,有效提高了試卷命題質(zhì)量,對指導(dǎo)大學(xué)英語教學(xué)工作、提高教學(xué)質(zhì)量具有重要指導(dǎo)意義。

1 方法建模

本節(jié)先給出粗糙集中決策表和相對正域的形式化定義及其簡要描述,再根據(jù)粗糙集中相對正域和屬性重要性概念定義大學(xué)英語考試試題冗余性判別方法和試題重要度度量方法。

定義1(決策表)稱四元組K=(U,S,V,f)是一個(gè)信息系統(tǒng)或知識(shí)庫,簡單記為K=(U,S)。其中:論域U是對象的有限集合,屬性S是非空有限集合,屬性值域V=∪a∈AVa,Va表示屬性a∈A的值域,信息函數(shù)f:U×A→V是一個(gè)映射。進(jìn)一步地,稱K為一個(gè)決策表,若滿足S中屬性,可劃分為兩個(gè)不相交的子集——條件屬性C和決策屬性D,其中,S=C∪D且C∩D≠φ,記為K=(U,C∪D)。特別地,稱K為一個(gè)單決策表,若滿足D=j5i0abt0b,記為K=(U,C∪j5i0abt0b)。

決策表是粗糙集理論中的一類特殊且非常重要的信息系統(tǒng),多數(shù)決策問題在具體應(yīng)用中都可以用決策表來解決。在實(shí)際應(yīng)用中,通常用一張二維表表示信息系統(tǒng)。其中:行表示研究對象,列表示對象屬性,屬性值表示對象信息,一個(gè)或多個(gè)列屬性對應(yīng)一個(gè)等價(jià)關(guān)系,一個(gè)二維表對應(yīng)一族等價(jià)關(guān)系。

定義2(相對正域)給定決策表K=(U,C∪D),r?C,X?U則稱posC(D)為C相對于D的正域,其中,posC(D)如下:

(1)

相對正域posC(D)表示U中所有可以根據(jù)分類U/C的信息準(zhǔn)確劃分到關(guān)系D的等價(jià)關(guān)系中去的對象集合。相對正域是粗糙集理論中一個(gè)非常重要的概念,它是屬性集C相對決策D的分類能力的強(qiáng)度描述。

1.1 試題冗余性判別方法

在大學(xué)英語考試中,可以將一個(gè)試題看作一個(gè)條件屬性r,將所有討論的目標(biāo)試題看作條件屬性集C,并將所有目標(biāo)試題的總分看作決策屬性D,那么,由目標(biāo)試題和總分構(gòu)成的成績表就是一個(gè)決策表,且是一個(gè)單決策表。于是,可以用如下方法定義試題冗余性。

定義3(試題冗余性)在給定決策表K=(U,C∪D)和試題r?C,若相對正域posC-{r}(D)=posC(D),則稱r為C相對D的不必要屬性,簡稱r為冗余屬性,否則稱r為C相對D的必要屬性。

上述定義中,給定大學(xué)英語考試試卷成績對應(yīng)的決策表K=(U,C∪D)中,試題r?C,相對正域posC(D)表示試題集C相對總分D的分類能力描述。于是,我們可以用如下方法分析試題r是否冗余:若從試題集C中去掉試題r之后,剩余試題集C-{r}對決策D的分類能力沒有變化,則說明試題r是冗余的,是不必要的,是可以刪除的。

1.2 試題重要度度量方法

在大學(xué)英語考試試卷題型的成績表構(gòu)成的決策表K=(U,C∪D)中,根據(jù)定義3試題冗余性的判別方法:若試題r是冗余屬性,則r的重要度為0,可以直接刪除,沒有繼續(xù)討論其試題重要度的意義了;否則,試題r是必要的。那么,接下來的問題是:試題r有多重要?如何對其進(jìn)行定量、定義和度量呢?

于是,根據(jù)粗糙集理論中屬性重要度的概念,可以用如下方法定量度量試題r的重要度:試題r?C,根據(jù)定義1中相對正域posC(D)的概念,可以用兩個(gè)相對正域中元素個(gè)數(shù)之差來定量描述試題r的重要性程度,即利用定義4關(guān)于屬性重要度的計(jì)算公式來定量度量試題重要性。

定義4(試題重要度)給定大學(xué)英語考試試卷成績對應(yīng)的決策表K=(U,C∪D),試題r∈C,則稱sig(r,C,D)為試題r相對于試題集C相對總分D的重要性程度,簡稱“r的試題重要度”。其中,|U|為學(xué)生集合U的基數(shù),sig(r,C,D)如下:

(2)

上述定義中,若r是非必要的,則它的重要度顯然為0。但若屬性r是必要的,則可以用試題重要度來定量試題r的重要性。顯然,有sig(r,C,D)≥0,且:其值越大,r的重要度就越大;其值越小,r的重要度就越小。

2 實(shí)驗(yàn)分析

首先,詳細(xì)交代實(shí)驗(yàn)驅(qū)動(dòng)、實(shí)驗(yàn)?zāi)繕?biāo)、實(shí)驗(yàn)數(shù)據(jù)離散化方法、實(shí)驗(yàn)數(shù)據(jù)類型和實(shí)驗(yàn)數(shù)據(jù)來源等內(nèi)容;接著,以粗糙集的冗余屬性和屬性重要度為依據(jù),提出大學(xué)生英語考試試題冗余性的定性判別方法;然后,給出大學(xué)生英語考試試題重要度的定量度量方法;最后,通過計(jì)算194名大學(xué)生的大學(xué)英語考試試題的冗余性和重要度,發(fā)現(xiàn)并修正了部分冗余的和重要度低的試題,有效提高了大學(xué)英語考試命題質(zhì)量。

2.1 數(shù)據(jù)準(zhǔn)備

大學(xué)英語考試試卷中,試題是基本元素,試卷的質(zhì)量由所有試題的質(zhì)量共同決定。整套試卷中,每一小題是否科學(xué)合理,是否滿足大綱要求,是否客觀反映學(xué)生的實(shí)際水平,對整套試卷的質(zhì)量起著決定性作用。

在試卷中,有時(shí)會(huì)存在以下情況:兩道題目所考的內(nèi)容相同或者相似,學(xué)生會(huì)做其中一道題,就會(huì)做另一道題,我們稱另一道題目是不必要的,冗余的,可以刪除的。有時(shí)還會(huì)存在另一種情況,且這種情況較常出現(xiàn):某一題目比較容易,絕大多數(shù)學(xué)生都能夠回答正確,僅有極少數(shù)學(xué)生不能拿到分?jǐn)?shù),這說明這一試題重要度低,測試意義不大,應(yīng)該對其進(jìn)行替換或者難度調(diào)整。

但是,在考試之前,試題的冗余性和重要度很難由命題老師主觀給出,因?yàn)閷W(xué)生的基礎(chǔ)水平和學(xué)習(xí)情況參差不齊,命題老師既擔(dān)心考試題目太難導(dǎo)致學(xué)生考試不及格,又擔(dān)心考試太容易測試不出學(xué)生的真實(shí)水平。

本實(shí)驗(yàn)不需要期望值和覆蓋標(biāo)準(zhǔn)等任何參考值。教師不在考試之前主觀評價(jià)或提升試卷質(zhì)量,而是在考試之后通過學(xué)生考試成績反過來分析試題的冗余性和重要度,對冗余的或者重要度低的試題進(jìn)行刪減和質(zhì)量提升,從而提高試卷的整體質(zhì)量。

在下面的實(shí)驗(yàn)中,需要對大學(xué)英語考試的原始成績進(jìn)行離散化處理。按照學(xué)校的一般性處理方法,將學(xué)生考試的百分制成績離散化為A(優(yōu)秀,90～100分)、B(良好,80～89分)、C(中等,70～79分)、D(及格,60～69分)和E(不及格,60分以下)五個(gè)成績等級(jí),如表1所示。

表1 百分制分?jǐn)?shù)與離散后成績等級(jí)的對應(yīng)關(guān)系

為便于分析題目的冗余性和重要度,需要進(jìn)一步將每一道題目的得分離散化。例如:題目c1滿分為12分,某學(xué)生實(shí)際得分為8分,換算百分制為8÷12×100≈66.7分,則此學(xué)生題目c1的得分等級(jí)為D。按此方法,某學(xué)生的部分考試題目得分及離散化的成績等級(jí)如表1所示。其中:題目編號(hào)后括號(hào)內(nèi)的數(shù)值表示該題目的總分?jǐn)?shù),如c1(8)表示題目c1的滿分為8分;“/”前后分別表示得分和對應(yīng)的得分等級(jí),如“8/A”表示題目c1得了8分,離散化的成績等級(jí)為A。

本次實(shí)驗(yàn)的試卷樣本為湖南科技大學(xué)2021-22-2學(xué)期非英語專業(yè)大二英語期末考試試卷,考試題型有聽力題、閱讀理解題、翻譯題和寫作題(共55個(gè)題目計(jì)100分):Listening部分共23題計(jì)30分,其中題目1～16每題1分,題目17～23每題2分;Reading部分共30題計(jì)40分,其中題目24～33每題2分,題目34～53每題1分;Translation(Chinese to English)部分共1題計(jì)15分;Writing部分共1題計(jì)15分。題型構(gòu)成如表2所示。

表2 大學(xué)英語考試試卷的題型構(gòu)成

本次實(shí)驗(yàn)的成績樣本為湖南科技大學(xué)2021級(jí)電子信息工程1～3班、能源化學(xué)工程2班、測控技術(shù)與儀器1班、車輛工程1班、機(jī)械電子工程1～2班、土木工程1～3班、工程管理2班共194名學(xué)生的考試原始成績,其中男生126人,女生68人。

2.2 實(shí)驗(yàn)過程

下面根據(jù)定義3中試題冗余性判別方法分析樣本試題的冗余性。

為了讓討論簡單方便且不失一般性,隨機(jī)從試卷中抽取10名學(xué)生6道題目的考試分?jǐn)?shù)作為樣本,試題原始成績?nèi)绫?所示。再按表1中的方法離散化,得到對應(yīng)分?jǐn)?shù)等級(jí)的決策表,如表4所示。

表3 學(xué)生部分試題原始成績 (單位:分)

表4 學(xué)生部分試題原始成績離散化后的決策

將表4中的試題集{c1,c2,c3,c4,c5,c6}看作條件屬性C,總分看作決策屬性D,則表4是一個(gè)典型的決策表。利用定義3中冗余屬性的判別方法,可以分別判別試題{c1,c2,c3,c4,c5,c6}是否為不必要屬性,即是否是冗余的,可以刪除的。

根據(jù)表4容易求得決策屬性D、條件屬性集C和條件屬性集C-{c4}的等價(jià)類分別是:

再根據(jù)定義2,可分別求得條件屬性C和條件屬性C-{c4}相對決策屬性D的正域:posC(D)={2,4,5,6,7,8,9,10},posC-{c4}(D)={2,4,5,6,7,8,9,10}。

顯然,有posC-{c4}(D)=posC(D),則由定義3關(guān)于冗余屬性的判別方法可知,題目c4對總分D的分類能力不產(chǎn)生影響,是一個(gè)不必要屬性,是冗余的,可以刪除的。

同理,c6也是一個(gè)不必要屬性,是冗余的,可以刪除的。

但是,同理可求得,題目c1、c2、c3和c5是必要屬性,不可以刪除。

由上文可知,題目c4和c6是不必要屬性,說明對樣本學(xué)生1～10和樣本題目c1～c6來說,c4和c6對總分D的信息量劃分并沒有減少,即c4和c6是不必要的,是冗余的,可以刪除的,不太科學(xué)合理的。

下面根據(jù)定義4中試題重要度的判別方法分析樣本試題重要度。

為了讓討論簡單方便且不失一般性,隨機(jī)從樣本中抽取8名學(xué)生的Listening、Reading、Translation和Writing等4個(gè)題型的考試分?jǐn)?shù)作為樣本,原始成績?nèi)绫?所示。再按表1中的方法離散化,得到對應(yīng)分?jǐn)?shù)等級(jí)的決策表,如表6所示。

表5 學(xué)生各題型的原始成績 (單位:分)

表6 學(xué)生各題型原始成績離散化后的決策

根據(jù)表6容易求得決策屬性D(總分)、條件屬性集C和C-{Listening}的等價(jià)類分別是:

根據(jù)定義2,可分別求得條件屬性C和C-{Listening}的相對正域:

posC(D)={1,2,3,6,7,8},posC-{Listening}(D)={2,3,6,7,8}。

同理,可分別求得條件屬性Reading、Translation和Writing的屬性重要度:

從上述條件重要性的求解結(jié)果可知,顯然有sig(Reading,C,D)>sig(Writing,C,D)

>sig(Listening,C,D)=sig(Translation,C,D)。這說明,在大學(xué)英語考試中,Reading部分最重要,對總成績的影響最大,其重要度遠(yuǎn)遠(yuǎn)高于其他部分;其次是Writing部分;相比之下,聽力與翻譯的重要度最低。

2.3 結(jié)果分析

本次實(shí)驗(yàn)的數(shù)據(jù)總量和計(jì)算工作量相當(dāng)大。因此,實(shí)驗(yàn)采用經(jīng)典粗糙集數(shù)據(jù)分析工具集Rosetta 2.0,它具有數(shù)據(jù)導(dǎo)入、導(dǎo)出、補(bǔ)全、離散化、知識(shí)約簡、過濾、分類規(guī)則生成、等價(jià)類和上下近似集獲取等功能。實(shí)驗(yàn)通過Rosetta 2.0軟件對194名大學(xué)生的成績進(jìn)行了離散、等價(jià)類獲取、相對正域和屬性重要度求解等預(yù)處理和計(jì)算。

實(shí)驗(yàn)需要將考生的試題離散化為A、B、C、D和E五個(gè)等級(jí)。但是,本次英語考試試卷的題目中1～33都是單項(xiàng)選擇題(即客觀題),要么是滿分(A級(jí)),要么是零分(E級(jí)),這意味著客觀題都是布爾類型數(shù)據(jù),顯然不能將試題得分離散化為A、B、C、D和E五個(gè)等級(jí)。因此,需要在實(shí)驗(yàn)中將多個(gè)單項(xiàng)選擇題組合成一個(gè)題目,如將選擇題1、2和3組合成題目c1。

在判別試題冗余性的實(shí)驗(yàn)中,通過對194名大學(xué)生的42個(gè)組合題目進(jìn)行統(tǒng)計(jì)分析,我們發(fā)現(xiàn)其中的兩組組合題目——題目3、11、30和題目19、27是冗余的,說明這些題目是不太科學(xué)合理的,需要對其進(jìn)行修改和質(zhì)量提升。

在定量度量試題重要度的實(shí)驗(yàn)中,先對194名大學(xué)生的Listening、Reading、Translation和Writing共4個(gè)組合題目(題型)的試題重要度進(jìn)行分析,得出的結(jié)論與2.2節(jié)的實(shí)驗(yàn)結(jié)果基本一致,也與各題型的分值比例基本保持一致,其中,Reading、Listening、Writing和Translation部分的重要度占比分別為64.5%、24.8%、14.6%和14.1%,如圖1所示。這說明在大學(xué)英語考試命題中,應(yīng)該將重點(diǎn)放在Reading部分,其次是Listening部分。相比較而言,Writing和Translation部分的重要性最低,且重要度基本相同,這與大學(xué)英語的教學(xué)目標(biāo)和考試大綱是基本一致的。

圖1 試卷中各題型的重要性比例

接下來,繼續(xù)對194名大學(xué)生54個(gè)組合題目的試題重要度進(jìn)行分析,我們發(fā)現(xiàn),試卷所有題目的試題重要度基本呈正態(tài)分布,如圖2所示。共有28個(gè)題目的試題重要度在0.4～0.6之間,占全部54個(gè)題目的大多數(shù);重要度在次高區(qū)間0.6～0.8和次低區(qū)間0.2～0.4的試題數(shù)量分別為8個(gè)和11個(gè);重要度在最低區(qū)間0～0.2的試題只有6個(gè);重要度在最高區(qū)間0.8～1.0的試題僅1個(gè)。我們可以對這些重要度比較低的題目進(jìn)行修改和質(zhì)量提升。從圖2可以看出,總的來話,英語試卷的試題重要度分布情況與命題預(yù)期目標(biāo)基本一致,說明這份試卷內(nèi)容主次分明,質(zhì)量較高,基本符合教學(xué)大綱和考試大綱要求。

圖2 重要度區(qū)間的題目數(shù)量分布

3 結(jié)語

在已有研究[14-18]的基礎(chǔ)上,將粗糙集理論應(yīng)用于大學(xué)英語考試命題,利用粗糙集相對正域、冗余屬性和屬性重要度等重要概念,提出試題冗余性定性判別方法,并提出試題重要度的定量度量方法,從而建立了基于粗糙分析的大學(xué)英語考試質(zhì)量提升模型。實(shí)驗(yàn)數(shù)據(jù)來源于參與湖南科技大學(xué)2021-22-2學(xué)期期末英語考試的大二非英語專業(yè)學(xué)生。實(shí)驗(yàn)先對194名大學(xué)生42個(gè)組合題目的冗余性進(jìn)行分析,發(fā)現(xiàn)2組組合題目是冗余的,說明這2組題目是不太科學(xué)合理的;再對194名大學(xué)生的4個(gè)題型和54個(gè)組合題目的重要度進(jìn)行計(jì)算,發(fā)現(xiàn)所有試題的重要度基本呈正態(tài)分布,只有少數(shù)幾個(gè)題目的重要度較低。本研究結(jié)果能指導(dǎo)我們對少數(shù)冗余的或者重要度較低的考試題目進(jìn)行修改和質(zhì)量提升,有效提高了試卷的命題質(zhì)量,對指導(dǎo)大學(xué)英語教學(xué)工作、提高大學(xué)英語教學(xué)質(zhì)量具有重要指導(dǎo)意義。