郭辰玥

摘 ?要： 通過實(shí)證分析驗(yàn)證了采用認(rèn)知診斷評(píng)價(jià)方法對(duì)專門用途英語職業(yè)技能等級(jí)測(cè)試結(jié)果進(jìn)行深度解讀的可行性，刻畫了高職院校商務(wù)英語學(xué)習(xí)者閱讀理解加工技能的掌握情況，總體上學(xué)生對(duì)細(xì)節(jié)提取等局部信息加工技能掌握較好，推測(cè)與判斷技能次之，歸納與比較技能掌握較弱，此外為每位學(xué)生提供了多維度、精細(xì)化的個(gè)性化反饋報(bào)告。研究結(jié)果顯示，與傳統(tǒng)的技能鑒定標(biāo)準(zhǔn)唯“合格”論相對(duì)，診斷評(píng)價(jià)能準(zhǔn)確反映學(xué)生在知識(shí)技能結(jié)構(gòu)上潛在的個(gè)體差異，為高職院校商務(wù)英語人才能力發(fā)展研究與新時(shí)代職業(yè)能力評(píng)價(jià)改革實(shí)踐提供新思路。

關(guān)鍵詞： 認(rèn)知診斷； 高職院校； 專門用途英語； 個(gè)性化學(xué)習(xí)

中圖分類號(hào)： G710 ? ? ? ? ?文獻(xiàn)標(biāo)志碼： Ａ ? ? ? ? ?文章編號(hào)： １６７１－２１５３（２０23）０3-0058-08

測(cè)試效度理論指出，科學(xué)的知識(shí)和能力評(píng)價(jià)方式應(yīng)能根據(jù)學(xué)習(xí)者在測(cè)試項(xiàng)目上的作答表現(xiàn)，準(zhǔn)確診斷他們當(dāng)前的知識(shí)狀態(tài)和技能結(jié)構(gòu)，并提供全面、細(xì)粒度的反饋信息，以便利益相關(guān)者及時(shí)進(jìn)行干預(yù)和教育決策，真正形成以評(píng)促學(xué)、以評(píng)促教的良性循環(huán)[1]。在專門用途英語（ESP）教育領(lǐng)域，學(xué)生英語職業(yè)技能水平認(rèn)定的一個(gè)重要途徑是參加各行業(yè)和組織舉辦的職業(yè)技能等級(jí)考試，獲取相應(yīng)的技能等級(jí)鑒定證書。但鑒定結(jié)果大都停留在“合格”與否的終結(jié)性評(píng)價(jià)，無法有效揭示學(xué)生的個(gè)體差異，不能反映發(fā)展?jié)摿?，阻礙個(gè)性化干預(yù)與學(xué)習(xí)。鑒于此，本研究聚焦商務(wù)英語技能型人才的語言能力模型構(gòu)建，以實(shí)用英語交際職業(yè)技能等級(jí)測(cè)試為素材，探究了構(gòu)建認(rèn)知診斷評(píng)價(jià)模型生成個(gè)性化反饋報(bào)告和學(xué)習(xí)建議的可行性，以期為職業(yè)教育智慧化教學(xué)改革和人才能力評(píng)價(jià)方式優(yōu)化提供參考。

一、認(rèn)知診斷評(píng)價(jià)簡(jiǎn)介及發(fā)展現(xiàn)狀

（一）認(rèn)知診斷評(píng)價(jià)的內(nèi)涵及優(yōu)勢(shì)

認(rèn)知診斷評(píng)價(jià)是當(dāng)下心理測(cè)量領(lǐng)域的研究熱點(diǎn)之一，屬于交叉學(xué)科的范疇。其實(shí)施以現(xiàn)代教育測(cè)量理論為基礎(chǔ)，依靠各類認(rèn)知診斷模型（又名“診斷分類模型”）等統(tǒng)計(jì)工具的輔助分析和技術(shù)驗(yàn)證，已在國(guó)內(nèi)外許多學(xué)科和專業(yè)得到廣泛應(yīng)用。在二語測(cè)試領(lǐng)域，一些大型標(biāo)準(zhǔn)化語言測(cè)試如托?？荚嚒⑼袠I(yè)考試、我國(guó)的英語能力等級(jí)考試（NETS）、西語專業(yè)四級(jí)考試等，已實(shí)現(xiàn)了運(yùn)用診斷模型了解考生二語認(rèn)知加工過程和技能掌握情況的成功探索[2-4]。

利用大數(shù)據(jù)分析助力精準(zhǔn)教學(xué)和自主學(xué)習(xí)是診斷評(píng)價(jià)的主要優(yōu)勢(shì)之一。認(rèn)知診斷評(píng)價(jià)通過為學(xué)習(xí)者測(cè)試時(shí)的知識(shí)狀態(tài)建模，來預(yù)測(cè)學(xué)生技能的強(qiáng)弱項(xiàng)，歸納認(rèn)知規(guī)律，刻畫不同學(xué)生之間的具體能力差別[5]。該評(píng)價(jià)方式有助于教師因材施教，按需設(shè)計(jì)課堂教學(xué)活動(dòng)，給予真實(shí)有效的反饋；也有利于學(xué)生依據(jù)個(gè)性化反饋?zhàn)晕艺{(diào)整，準(zhǔn)確定位和掃除學(xué)習(xí)障礙[6]；用人單位和學(xué)校則可根據(jù)評(píng)價(jià)結(jié)果選拔人才、研制培養(yǎng)計(jì)劃，提升技能人才的競(jìng)爭(zhēng)力。

（二）認(rèn)知診斷評(píng)價(jià)的發(fā)展現(xiàn)狀

認(rèn)知診斷評(píng)價(jià)方法可通過模型構(gòu)建，從被試已知的作答表現(xiàn)推知個(gè)人及群體層面潛在的知識(shí)狀態(tài)及認(rèn)知屬性掌握情況，為利益相關(guān)者提供細(xì)粒度的診斷性反饋。認(rèn)知屬性，一般簡(jiǎn)稱屬性或微技能，是認(rèn)知診斷評(píng)價(jià)方法的一個(gè)重要概念，泛指完成測(cè)試任務(wù)所需的任何知識(shí)、技巧、能力等[7]。屬性定義是診斷評(píng)價(jià)的第一步，巴赫曼和帕默（Bachman & Palmer）等學(xué)者建議結(jié)合具體測(cè)試的場(chǎng)景和用途來定義適用的微技能[1]。診斷評(píng)價(jià)的第二步是構(gòu)建Q矩陣，以標(biāo)明屬性和題目之間的對(duì)應(yīng)關(guān)系[8]，一道試題可測(cè)量多個(gè)屬性，模擬真實(shí)作答過程中多個(gè)微技能的交互作用，Q矩陣通常需要經(jīng)量化和質(zhì)性方法反復(fù)檢驗(yàn)。第三步為選擇合適的認(rèn)知診斷模型并進(jìn)行模型—數(shù)據(jù)擬合檢驗(yàn)。在擬合良好的前提下，最終提取模型診斷信息，反饋學(xué)習(xí)成效并進(jìn)行個(gè)性化干預(yù)。認(rèn)知診斷評(píng)價(jià)方法的常見流程如圖1所示。

認(rèn)知診斷評(píng)價(jià)技術(shù)目前在教育界已逐漸推廣，但梳理現(xiàn)有成果發(fā)現(xiàn)，在二語測(cè)試領(lǐng)域其實(shí)際應(yīng)用尚存在以下問題：一是診斷評(píng)價(jià)應(yīng)用研究的多樣性不足[10]。主要表現(xiàn)在研究對(duì)象和測(cè)試內(nèi)容及用途的同質(zhì)性較高[11]。研究對(duì)象多為普通教育階段的二語學(xué)習(xí)者，對(duì)其他群體代表如職業(yè)院校學(xué)生的外語學(xué)習(xí)效果了解相對(duì)有限；測(cè)試內(nèi)容一般以英語為主要語種且多為學(xué)術(shù)用途，而較少關(guān)注職場(chǎng)英語如商務(wù)英語等；大多圍繞高利害語言測(cè)驗(yàn)，服務(wù)于人才選拔，而很少采用本地化測(cè)驗(yàn)，服務(wù)于課堂學(xué)習(xí)成效的評(píng)價(jià)。

二是對(duì)診斷評(píng)價(jià)結(jié)果的準(zhǔn)確性以及個(gè)性化反饋的有效性探討還不夠充分。部分實(shí)證研究的重心仍集中在前期的數(shù)據(jù)分析階段，而豐富的量化診斷信息無法直接提供給考生和其他利益相關(guān)者，需要通過加工處理進(jìn)一步轉(zhuǎn)化為準(zhǔn)確、清晰、全面的個(gè)性化反饋報(bào)告。閔尚超、何蓮珍等學(xué)者指出可以結(jié)合認(rèn)知診斷和標(biāo)準(zhǔn)設(shè)定方法驗(yàn)證診斷分類結(jié)果的準(zhǔn)確性，并成功生成了基于中國(guó)英語能力等級(jí)量表的標(biāo)準(zhǔn)參照個(gè)性化反饋，有效增強(qiáng)了診斷反饋的可讀性和對(duì)教學(xué)的指導(dǎo)作用[11-12]。但除此以外，其他關(guān)于診斷報(bào)告設(shè)計(jì)及反饋質(zhì)量評(píng)估的研究相對(duì)缺乏，對(duì)如何優(yōu)化診斷評(píng)價(jià)結(jié)果和個(gè)性化反饋之間的轉(zhuǎn)化路徑尚不明確。

三是關(guān)于診斷反饋和補(bǔ)救性干預(yù)對(duì)二語教學(xué)反撥效應(yīng)的長(zhǎng)期研究較少[13]。因?yàn)檎J(rèn)知診斷是一種橫向研究，應(yīng)用診斷分類模型對(duì)數(shù)據(jù)進(jìn)行橫向分析，因此時(shí)效性較強(qiáng)。而縱向的認(rèn)知診斷評(píng)價(jià)研究由于時(shí)間跨度較長(zhǎng)，可追蹤研究對(duì)象在接受診斷反饋及教學(xué)干預(yù)后的一段時(shí)期內(nèi)的語言學(xué)習(xí)效果，因此在評(píng)估反饋結(jié)果的有效性和促進(jìn)自主學(xué)習(xí)方面更具價(jià)值。然而，目前縱向認(rèn)知診斷研究大都停留在模型開發(fā)階段，實(shí)證研究缺乏。同時(shí)，收集長(zhǎng)期數(shù)據(jù)難度大、保障測(cè)試工具及衡量標(biāo)準(zhǔn)的一致性、開發(fā)何種學(xué)習(xí)資源或語言支持活動(dòng)等問題仍待解決。

綜上所述可得：（1）在二語測(cè)試領(lǐng)域的應(yīng)用主要集中于學(xué)術(shù)英語考試，對(duì)學(xué)習(xí)者在職場(chǎng)英語水平測(cè)試中所運(yùn)用的信息加工技能尚不明確；（2）總體呈現(xiàn)重前期診斷，輕后期反饋的趨勢(shì)，對(duì)促進(jìn)個(gè)性化學(xué)習(xí)發(fā)揮的作用較為有限；（3）縱向研究較少，關(guān)于診斷報(bào)告反撥效應(yīng)的追蹤研究不足?；谘芯糠秶南拗疲疚闹饕槍?duì)前兩個(gè)問題，運(yùn)用認(rèn)知診斷評(píng)價(jià)方法分析高職院校學(xué)生的特殊用途英語技能掌握情況，探討進(jìn)一步優(yōu)化職業(yè)技能等級(jí)測(cè)試分?jǐn)?shù)報(bào)告的有效手段，實(shí)現(xiàn)診斷反饋與職業(yè)情境下的語言能力標(biāo)準(zhǔn)對(duì)接，科學(xué)評(píng)價(jià)高職院校商務(wù)英語技能型人才的能力水平。擬解決的問題有：（1）高職院校商務(wù)英語學(xué)習(xí)者的閱讀理解加工技能如何劃分？（2）高職院校商務(wù)英語學(xué)習(xí)者的閱讀理解加工技能掌握情況如何？（3）商務(wù)英語測(cè)試的診斷結(jié)果如何轉(zhuǎn)化為個(gè)性化的反饋報(bào)告？

二、認(rèn)知診斷模型在商務(wù)英語技能型人才評(píng)價(jià)中的實(shí)施應(yīng)用

（一）數(shù)據(jù)來源和研究工具

本研究的數(shù)據(jù)來自某高職院校260名應(yīng)用英語專業(yè)學(xué)生在商務(wù)英語課堂閱讀測(cè)試中的作答反應(yīng)，在2022年9月到10月完成測(cè)試，共收回有效答卷252份。其中，男生32人，女生220人，比例約為1∶6.9，年齡跨度在20—25歲之間，樣本主體為大一大二學(xué)生，生源包含普高生和三校生。測(cè)試的形式為機(jī)考，素材來自參與“1+X”證書制度試點(diǎn)的實(shí)用英語交際職業(yè)技能等級(jí)證書（VETS）中級(jí)和高級(jí)考試題庫中的閱讀試題，包含4篇文章，20道二元計(jì)分的單選題，語言能力要求對(duì)應(yīng)中國(guó)英語能力等級(jí)量表（CSE）四級(jí)和五級(jí)水平。VETS考試大綱顯示，目前的成績(jī)報(bào)告方式為百分制，滿分100分，60分及以上為合格。英語閱讀文本選自商務(wù)工作領(lǐng)域的真實(shí)場(chǎng)景，內(nèi)容涉及外貿(mào)函電、市場(chǎng)調(diào)研報(bào)告、合同糾紛普法宣傳等，模擬職場(chǎng)情境下交易磋商、業(yè)務(wù)推廣、交易善后等典型工作任務(wù)，考查高職英語專業(yè)學(xué)生的跨文化交際能力和分析解決實(shí)際問題的綜合能力，相比于標(biāo)準(zhǔn)化語言測(cè)試更能反映用人單位對(duì)不同崗位英語交際職業(yè)技能的實(shí)際需求。

在研究中借助R語言編程運(yùn)行CDM和GDINA程序包對(duì)閱讀測(cè)試數(shù)據(jù)進(jìn)行認(rèn)知診斷分析，包括Q矩陣驗(yàn)證，題目層面的模型選擇，模型與數(shù)據(jù)的擬合優(yōu)度評(píng)估，項(xiàng)目參數(shù)估計(jì)，學(xué)生個(gè)體和整體的屬性掌握模式估計(jì)等。

（二）技能屬性劃分和定義

文獻(xiàn)梳理發(fā)現(xiàn)，目前學(xué)界和標(biāo)準(zhǔn)化語言考試大綱對(duì)閱讀理解能力的進(jìn)一步細(xì)分主要有以下五種：（1）識(shí)別詞義；（2）理解細(xì)節(jié)信息；（3）分析推斷；（4）理解句法結(jié)構(gòu)；（5）整合銜接[14-15]。本研究邀請(qǐng)3位有豐富商務(wù)英語一線教學(xué)經(jīng)驗(yàn)的教師結(jié)合VETS技能等級(jí)標(biāo)準(zhǔn)對(duì)閱讀能力的要求，對(duì)本次課堂閱讀理解測(cè)試的4個(gè)語篇進(jìn)行了初步的任務(wù)分析，確定所考查的三種微技能、適用職業(yè)場(chǎng)景及能力描述，見表1。

（三）Q矩陣構(gòu)建和驗(yàn)證

為確保認(rèn)知診斷結(jié)果的信度和效度，基于Q矩陣的診斷模型經(jīng)過了反復(fù)優(yōu)化。首先，構(gòu)建初始Q矩陣：由專家們根據(jù)屬性界定標(biāo)準(zhǔn)，獨(dú)立標(biāo)定每個(gè)閱讀項(xiàng)目所考查的關(guān)鍵微技能，在Q矩陣上對(duì)應(yīng)編碼為1，不需要?jiǎng)t為0。接著比較標(biāo)定結(jié)果，對(duì)分歧之處組織進(jìn)一步討論，當(dāng)超過半數(shù)專家達(dá)成一致，則對(duì)該項(xiàng)目與屬性的關(guān)系進(jìn)行相應(yīng)修改。此外，為反映學(xué)生真實(shí)的信息加工方式，經(jīng)學(xué)生同意隨機(jī)抽取8人，通過有聲思維法報(bào)告實(shí)際作答過程并錄音，用于為專家標(biāo)定結(jié)果提供參照。學(xué)生的英語水平是影響Q矩陣構(gòu)建的重要因素之一。以試題17為例：

...... Party A is sure that Party B has breached an essential term of the contract and wants to end their cooperation. What should party A do next？

本題考查學(xué)生聯(lián)系上下文理解段落含義的能力，劃線部分對(duì)應(yīng)文中不同位置的信息，需通過比較確定關(guān)鍵信息“end their cooperation”和選項(xiàng)中“terminate the contract”的同義替換關(guān)系。而有3名考生在口頭報(bào)告中提到不認(rèn)識(shí)“terminate”一詞，使用了推測(cè)詞義的答題技巧，因此，專家討論后認(rèn)為應(yīng)將“推測(cè)與判斷”補(bǔ)充定義為本題考查的微技能（項(xiàng)目17：A1 0，A2 1，A3 1）。

其次，進(jìn)行認(rèn)知診斷前導(dǎo)試驗(yàn)（pilot study）：應(yīng)用GDINA模型對(duì)所得初始Q矩陣和測(cè)試數(shù)據(jù)進(jìn)行診斷分析。魯普（Rupp）等研究者指出，試題區(qū)分度、題目水平上的模型數(shù)據(jù)擬合優(yōu)度等參數(shù)可作為判定題目質(zhì)量及Q矩陣適切性的量化依據(jù)[16-17]。結(jié)果顯示，除項(xiàng)目4外，試題整體的區(qū)分度良好（DItest=0.337，DI4=0.005）；題目水平上的擬合度較高（S-χ2test，p>0.05），證明Q矩陣能較好地代表試題和屬性之間的關(guān)系，僅有4題（項(xiàng)目6、8、9、16）與模型的擬合欠佳。經(jīng)專家評(píng)估后認(rèn)為以上5題或因語言難度、句長(zhǎng)、題型等不具典型性，影響了診斷效果，同意加以移除。對(duì)題目重新編號(hào)后確定的Q矩陣見表2。每個(gè)技能屬性對(duì)應(yīng)的試題數(shù)量分別為7、4、10題，每題平均考查1.4個(gè)（21/15）微技能。

最后，為完善初始Q矩陣，進(jìn)一步通過量化手段對(duì)其進(jìn)行檢驗(yàn)。納胡拉（Nájera）等比較了不同的Q矩陣驗(yàn)證算法，推薦Hull算法和在屬性、樣本量或項(xiàng)目數(shù)較少的情況下使用Wald檢驗(yàn)[18]。通過R程序包c(diǎn)dmTools和GDINA對(duì)該Q矩陣進(jìn)行實(shí)證檢驗(yàn)?？紤]到樣本量較小，在編程時(shí)設(shè)置單調(diào)約束條件，即學(xué)生掌握的屬性數(shù)量和答對(duì)題目的概率正相關(guān)，并分別通過Wald檢驗(yàn)和Hull算法驗(yàn)證，修改建議見表3。

觀察左右兩個(gè)Q矩陣可發(fā)現(xiàn)，除個(gè)別項(xiàng)目外，兩種算法對(duì)初始Q矩陣提出了不同的修改意見。對(duì)于純量化分析得出的結(jié)論，通常建議由專家根據(jù)試題具體情況再次把關(guān)[14]。因此，在重新逐題審視后，專家小組探討確定了用于進(jìn)一步分析的最終Q矩陣，部分采納了量化分析建議。以項(xiàng)目15為例（圖2）：左圖顯示，原屬性組合[101]（A1+A3）可釋方差得分（PVAF<0.95）優(yōu)于算法建議的[001]（A3）；右圖也證明該題掌握兩個(gè)技能的考生正確率顯著提高，因此未采納該建議。

接著進(jìn)行模型選擇，陳慧麟等學(xué)者建議，閱讀理解加工技能之間交互的可能性較高，宜選擇飽和的診斷分類模型[19]，如G-DINA模型，允許題目對(duì)應(yīng)不同的補(bǔ)償性關(guān)系（即答題時(shí)掌握一種或幾種技能可補(bǔ)償其他未掌握的技能），并匹配適用的診斷模型[20]。GDINA模型通常要求大樣本量（N>1000），但馬文超等研究者提出設(shè)置先驗(yàn)分布和單調(diào)約束（指技能屬性掌握數(shù)量和答對(duì)概率正相關(guān)）等模型參數(shù)條件可有效提升小樣本（N≤200）的分類準(zhǔn)確率[21]。

項(xiàng)目水平上的模型選擇結(jié)果表明，不同測(cè)試題目可匹配不同的診斷模型，如補(bǔ)償性的DINO模型、非補(bǔ)償性的DINA模型，說明屬性間潛在的不同交互關(guān)系。修改后的最終Q矩陣見表4，用于生成后續(xù)的診斷反饋信息。

三、數(shù)據(jù)分析與解釋

（一）模型數(shù)據(jù)擬合評(píng)價(jià)

模型與數(shù)據(jù)的擬合檢驗(yàn)是判斷測(cè)試及其所產(chǎn)生的診斷反饋信息是否有效的前提條件。擬合度可以從兩方面進(jìn)行評(píng)估：（1）模型與數(shù)據(jù)的絕對(duì)擬合優(yōu)度檢驗(yàn)；（2）不同模型與數(shù)據(jù)的相對(duì)擬合優(yōu)度比較。后者用于選擇恰當(dāng)?shù)恼J(rèn)知診斷模型。

表5結(jié)果顯示，飽和的GDINA模型和補(bǔ)償性的ACDM模型的均方根殘差（SRMSR）均低于0.08，表明后兩個(gè)模型與數(shù)據(jù)的絕對(duì)擬合較為準(zhǔn)確；而比較不同模型的相對(duì)擬合優(yōu)度可發(fā)現(xiàn)，GDINA模型依然是最佳的，具有最小的-2似然比（-2 log-likelihood）和AIC（赤池信息量），其次是ACDM，DINA和DINO模型。但DINA模型具有最小的BIC（貝葉斯信息量），陳勁松等學(xué)者指出，這可能是因?yàn)锽IC更偏好簡(jiǎn)化模型[22]。此外，模型間的似然比檢驗(yàn)顯示，飽和的GDINA模型和各嵌套模型的擬合度存在顯著差異（p<0.01），GDINA模型的擬合優(yōu)度顯著高于其他模型。

（二）具體技能掌握情況及信度分析

表6呈現(xiàn)了252名考生對(duì)于3個(gè)商務(wù)英語閱讀測(cè)試微技能的掌握情況及屬性水平上的分類信度（classification accuracy）。整體技能掌握的概率在0.47—0.75之間，具體而言，約有47%的學(xué)生掌握了“歸納與比較”閱讀技能，說明該技能的難度要求是三者中最高的；其次，掌握了“推測(cè)與判斷”能力的學(xué)生約占64%；最容易的是“提取細(xì)節(jié)信息”，超過七成的學(xué)生已具備該技能。三種微技能的分類準(zhǔn)確率都較高，超過0.8，表明當(dāng)前模型能準(zhǔn)確地評(píng)估考生技能層面的掌握和未掌握情況。

（三）技能認(rèn)知模式分布情況及信度分析

考生群體的技能認(rèn)知模式分布情況也可通過模型分析獲得，這充分體現(xiàn)了認(rèn)知診斷評(píng)價(jià)反饋內(nèi)容多維度的優(yōu)勢(shì)，可從宏觀和微觀等不同層面進(jìn)行報(bào)告，對(duì)學(xué)生學(xué)業(yè)整體情況的分析報(bào)告也可為課堂教學(xué)改革提供借鑒和參考。

本次商務(wù)英語閱讀測(cè)試共有8種潛在的技能認(rèn)知模式（23），按認(rèn)知模式普遍程度由高到低排列，學(xué)生分布最廣泛的技能掌握類型是[110]，約占27.1%，表明近三成的學(xué)生已掌握細(xì)節(jié)信息提取和推理判斷能力，但尚不能熟練運(yùn)用整合歸納能力完成商務(wù)情境下的閱讀任務(wù)，對(duì)該技能的訓(xùn)練有待于進(jìn)一步強(qiáng)化。這一方面與技能難度有一定關(guān)聯(lián)，歸納與整合能力通常被認(rèn)為是高階閱讀技能，學(xué)生熟練程度因而相對(duì)較低；另一方面，提取細(xì)節(jié)信息和推理判斷能力常組合出現(xiàn)，說明這兩個(gè)技能之間的聯(lián)系可能較為密切，在今后的教學(xué)中可以適當(dāng)融合加以培訓(xùn)，以提升課堂教學(xué)的效率。教師還可以據(jù)此認(rèn)知規(guī)律，結(jié)合課程內(nèi)容規(guī)劃教學(xué)路徑，由淺入深地強(qiáng)化對(duì)學(xué)生商務(wù)英語閱讀技能的培養(yǎng)。從分類信度而言，群體層面的認(rèn)知模式分類準(zhǔn)確率較高，除人數(shù)較少的[010]和[001]類型外，其余均在0.54—0.92不等，而測(cè)試整體的分類準(zhǔn)確率達(dá)0.77，即隨機(jī)抽取一名考生，有77%的概率正確診斷出他實(shí)際的閱讀技能掌握情況。

（四）商務(wù)英語閱讀測(cè)試個(gè)性化學(xué)習(xí)診斷報(bào)告及反饋

在學(xué)生個(gè)體層面，診斷報(bào)告的主要關(guān)注點(diǎn)集中在技能掌握模式的精細(xì)化反饋和建議上。表8列舉了樣本前5位學(xué)生在3個(gè)閱讀分項(xiàng)技能上的掌握概率。魯普等學(xué)者建議以概率大于等于0.5作為判定一項(xiàng)技能已掌握的標(biāo)準(zhǔn)[16]，由此可確定每位學(xué)生的認(rèn)知模式分類結(jié)果，例如，考生1的診斷結(jié)果為：A1掌握；A2掌握；A3未掌握。在呈現(xiàn)報(bào)告時(shí)，李令青等學(xué)者認(rèn)為匯報(bào)掌握概率更能體現(xiàn)認(rèn)知診斷評(píng)價(jià)的價(jià)值，借助概率可進(jìn)一步比較不同屬性掌握程度的高低[23]。仍以考生1為例，A1識(shí)別細(xì)節(jié)信息掌握得最好，A2推理與判斷次之，A3整合與歸納掌握較差。為使這一細(xì)化的分類結(jié)果更為直觀，以雷達(dá)圖的形式（見圖3）呈現(xiàn)該考生的技能掌握概率，同時(shí)融入常模參照的反饋形式，將單個(gè)考生的屬性掌握概率與受試群體的平均水平進(jìn)行對(duì)照，更有利于為各利益相關(guān)者的教育決策提供參考。

為使診斷結(jié)果更為清晰易讀，報(bào)告中還補(bǔ)充了文字闡述，以完成特定職場(chǎng)情境下典型工作任務(wù)的方式，對(duì)學(xué)生的語言應(yīng)用能力進(jìn)行刻畫，以下舉例加以說明，屬于[110]技能認(rèn)知模式的考生將得到如下反饋信息：

在本次課堂英語閱讀測(cè)試中，你能讀懂語言難度適中、話題豐富的商務(wù)材料，如調(diào)研報(bào)告、信函等。

· 在完成“市場(chǎng)調(diào)研”任務(wù)時(shí)，你能較為準(zhǔn)確地理解報(bào)告內(nèi)容和圖表數(shù)據(jù)，讀取關(guān)鍵信息。

· 在完成“交易磋商”任務(wù)時(shí)，你能根據(jù)交易方的條件，較好地評(píng)判和推測(cè)交易雙方的觀點(diǎn)和態(tài)度。

為進(jìn)一步提升你的商務(wù)英語閱讀技能：

· 你需要多加練習(xí)“交易善后”任務(wù)，訓(xùn)練歸納整合文本內(nèi)容，提升妥善處理違約問題的能力。相關(guān)習(xí)題等學(xué)習(xí)資源可在課程線上平臺(tái)獲取。

四、總結(jié)與展望

本項(xiàng)目作為高職商務(wù)英語課堂教學(xué)評(píng)價(jià)改革的初步成果，旨在探索運(yùn)用心理測(cè)量領(lǐng)域的認(rèn)知診斷模型解讀職場(chǎng)英語水平測(cè)試數(shù)據(jù)的可行性，了解高職院校英語專業(yè)學(xué)生閱讀理解加工技能掌握的特性，并評(píng)估借助診斷性反饋開展個(gè)性化學(xué)習(xí)實(shí)踐的有效性。通過對(duì)學(xué)習(xí)者個(gè)體閱讀能力強(qiáng)項(xiàng)和弱項(xiàng)的診斷，以及考生整體能力掌握情況的分析，本項(xiàng)目為課程學(xué)習(xí)者提供了職場(chǎng)情境下使用英語完成商務(wù)交際活動(dòng)熟練程度的反饋報(bào)告，以及個(gè)性化的學(xué)習(xí)資源和建議。診斷結(jié)果將實(shí)用商務(wù)英語閱讀技能劃分為定位識(shí)別、推測(cè)判斷、整合歸納三個(gè)層次，對(duì)應(yīng)市場(chǎng)調(diào)研、交易磋商、交易善后三個(gè)工作任務(wù)，采用文字描述和雷達(dá)圖等不同形式立體化呈現(xiàn)診斷信息。該個(gè)性化技能成長(zhǎng)檔案的構(gòu)建，有助于學(xué)習(xí)者根據(jù)自身情況精確設(shè)定學(xué)習(xí)目標(biāo)，也為教師、企業(yè)、學(xué)校等不同育人主體動(dòng)態(tài)調(diào)整和規(guī)劃人才培養(yǎng)方案提供參考和借鑒。

未來，依托大數(shù)據(jù)分析的診斷性評(píng)價(jià)手段將進(jìn)一步深化“互聯(lián)網(wǎng)+職業(yè)教育”的混合式教學(xué)模式，打造個(gè)性化的智慧外語學(xué)習(xí)環(huán)境，優(yōu)化教學(xué)水平，培養(yǎng)學(xué)生的自主學(xué)習(xí)能力，提升復(fù)合型商務(wù)英語專業(yè)人才培養(yǎng)的質(zhì)量，為其贏得更廣闊的發(fā)展前景。

參考文獻(xiàn)：

[1] BACHMAN L，PALMER A. Language Assessment in Practice [M]. Oxford：Oxford University Press，2010.

[2] LEE Y-W， SAWAKI Y. Application of three cognitive diagnosis models to ESL reading and listening assessments[J]. Language Assessment Quarterly，2009（3）：239-263.

[3] MIN S， HE L. Developing individualized feedback for listening assessment：Combing standard setting and cognitive diagnostic assessment approaches[J]. Language Testing，2022（1）：90-116.

[4] 王萌萌. 信息技術(shù)支持下的外語能力精準(zhǔn)診斷與教學(xué)[J]. 中國(guó)遠(yuǎn)程教育，2021（9）：69-75.

[5] 段惠瓊，黃洪燕. 基于認(rèn)知診斷的英語閱讀研究述評(píng)[J]. 外語教學(xué)理論與實(shí)踐，2022（1）：63-70.

[6] 何蓮珍，熊笠地. 二語聽力理解認(rèn)知加工模式發(fā)展新探：結(jié)合認(rèn)知診斷與標(biāo)準(zhǔn)設(shè)定的方法[J]. 外語界，2021（4）：35-43.

[7] BUCK G， TATSUOKA K. Application of the rule-space procedure to language testing：Examining attributes of a free response listening test[J]. Language Testing，1998（2）：119-157.

[8] TATSUOKA K. A probabilistic model for diagnosing misconceptions by the pattern classification approach [J]. Journal of Educational and Behavioral Statistics，1985（1）：55-73.

[9] SHI Q， MA W， ROBITZSCH A， et al. Cognitively Diagnostic Analysis Using the G-DINA Model in R [J]. Psych，2021（3）：812-835.

[10] BRUNFAUT T. Future challenges and opportunities in language testing and assessment：Basic questions and principles at the forefront[J]. Language Testing，2023（1）：15-23.

[11] HE L， XIONG L， MIN S. Diagnosing listening and reading skills in the Chinese EFL context：Performance stability and variability across modalities and performance levels[J]. System，2022（106）：102787.

[12] MIN S， ZHANG J， LI Y， et al. Bridging local needs and national standards：Use of standards-based individualized feedback of an in-house EFL listening test in China[J]. Language Testing，2022（3）：425-452.

[13] ZHAN P. Longitudinal learning diagnosis：Minireview and future research directions[J]. Frontiers in Psychology，2020（11）：1185.

[14] JAVIDANMEHR Z， SARAB M. Retrofitting non-diagnostic reading comprehension assessment：Application of the G-DINA model to a high stakes reading comprehension test[J]. Language Assessment Quarterly，2019（3）：294-311.

[15] RAVAND H. Application of a cognitive diagnostic model to a high-stakes reading comprehension test[J]. Journal of Psychoeducational Assessment，2016（8）：782-799.

[16] RUPP A， TEMPLIN J， HENSON R. Diagnostic assessment：Theory，methods，and applications[M]. New York，NY：Guilford.

[17] SAWAKI Y， KIM H-J， GENTILE C. Q-matrix construction：Defining the link between constructs and test items in large-scale reading and listening comprehension assessments[J]. Language Assessment Quarterly，2010（3）：190-209.

[18] N？魣JERA P， SORREL M， DE LA TORRE J， et al. Balancing fit and parsimony to improve Q-matrix validation[J]. British Journal of Mathematical and Statistical Psychology，2021（74）：110-130.

[19] 陳慧麟. 英語專業(yè)大學(xué)生閱讀技能的認(rèn)知診斷及其教學(xué)啟示[J]. 教學(xué)研究，2022（2）：73-79.

[20] DE LA TORRE J. The generalized DINA model framework[J]. Psychometrika，2011（2）：179-199.

[21] MA W， JIANG Z. Estimating cognitive diagnosis models in small samples：Bayes model estimation and monotonic constraints[J]. Applied Psychological Measurement，2021（2）：95-111.

[22] CHEN J， DE LA TORRE J， ZHANG Z. Relative and absolute fit Evaluation in cognitive diagnostic modeling[J]. Journal of Educational Measurement，2013（2）：123-140.

[23] 李令青，韓笑，辛濤，等. 認(rèn)知診斷評(píng)價(jià)在個(gè)性化學(xué)習(xí)中的功能與價(jià)值[J]. 中國(guó)考試，2019（1）：40-44.

Research on Construction and Application of Cognitive Diagnostic Evaluation Model for Business English Skilled Talents in Higher Vocational Colleges

GUO Chenyue

（Zhejiang Institute of Economics and Trade， Hangzhou 310018， China）

Ａｂｓｔｒａｃｔ： This empirical study analyzes the feasibility of employing cognitive diagnostic methods to interpret students performance results of an ESP career qualification test， creating profiles for Business English learners from a higher vocational college based on their mastery levels of reading cognitive processing skills. In general， students have a better grasp of partial information processing skills such as detail extraction， followed by speculation and judgment， and weaker mastery of induction and comparison. In addition， each student is provided with a multi-dimensional， refined and personalized feedback report. Results indicate that contrary to traditional career qualification criteria which focus solely on a “pass” standard， cognitive diagnosis can accurately reflect potential individual differences in students knowledge and skill structure， thus offering insights into research on how to improve skill cultivation of Business English talents from higher vocational colleges and how to reform evaluation system of vocational skills in the new era.

Ｋｅｙｗｏｒｄｓ： cognitive diagnosis； higher vocational college； ESP； individualized learning

（責(zé)任編輯：程勇）