□,
( 1.山西師范大學(xué) 教育科學(xué)研究院,山西 臨汾 041000,2.南京航空航天大學(xué) 繼續(xù)教育學(xué)院,江蘇 南京 210016)
隨著教育改革的不斷發(fā)展,對教育質(zhì)量評價要求越來越高,傳統(tǒng)測驗主要從宏觀層面以被試的考試結(jié)果作為評價學(xué)生的方式,這種傳統(tǒng)的考試結(jié)果只能判斷學(xué)生成績的高低和學(xué)習(xí)的優(yōu)劣,但是這種傳統(tǒng)的測量手段已經(jīng)不能滿足發(fā)展中的教育需求,它忽視了從微觀方面對學(xué)生的認知加工過程以及對知識內(nèi)部認知結(jié)構(gòu)進行評價。當今,在要求因材施教的教學(xué)方式的背景下,對學(xué)生具體學(xué)業(yè)認知的掌握情況需求的增加,促使了認知診斷理論的產(chǎn)生,它彌補了傳統(tǒng)測量的不足。認知診斷對教育教學(xué)評價起到了一定的積極作用。
認知診斷理論是教育發(fā)展至一定階段的產(chǎn)物,關(guān)于認知診斷的含義國內(nèi)外研究者沒有給出具體的定義,Leighton和Gierl認為認知診斷就是用于測量個體知識結(jié)構(gòu)和加工技能。他們提出的認知診斷主要測量的是知識結(jié)構(gòu)和加工技能兩個方面。然而,測量學(xué)以及Yang和Embretson將認知過程加入到認知診斷測量的內(nèi)容中,因此,測量學(xué)將認知診斷定義為人們通常把對個體認知過程、技工技能或知識結(jié)構(gòu)的診斷評估稱為認知診斷。Yang和Enbretson認為心理或教育中的認知診斷至少應(yīng)該測量三方面的認知特性:一是特定的認知領(lǐng)域較重要的技能或知識;二是知識結(jié)構(gòu);三是認知過程。
隨著認知診斷理論在實踐中的不斷豐富和相關(guān)研究的逐步深化,人們開始了解這個新的理論,其概念內(nèi)涵也在不段發(fā)展豐富。雖然目前認知診斷尚無統(tǒng)一定義,但是研究者們對認知診斷的含義充分考慮了測量在研究中的目的,他們選擇了站在自己的立場視角來認識認知診斷的含義,通過他們定義的紛繁復(fù)雜,發(fā)現(xiàn)了他們之間的共同基礎(chǔ),那就是都把認知診斷看作是一種對學(xué)生內(nèi)部認知結(jié)構(gòu)進行測量的方法,由于每個研究者的目的不同,因此定義的具體角度方式也不同。
對于認知診斷的定義也在不斷地完善和拓展,雖然每個研究者的表述不盡相同,但是認知診斷核心內(nèi)容主要是通過測驗對被試的認知技能、認知結(jié)構(gòu)以及認知過程進行測量。
認知屬性在認知診斷測驗中起著關(guān)鍵的作用,Leighton,Gierl和Hunka對于認知屬性的界定相對比較全面,認知屬性理論上是指主體頭腦中所儲存的知識、隱性的認知過程以及潛在的認知技能和策略。[1]認知屬性在實踐中表現(xiàn)為學(xué)生在完成學(xué)科測驗呈現(xiàn)出來的認知狀態(tài)、知識結(jié)構(gòu)和技能策略。
在認知診斷過程中,認知屬性起著重要的基礎(chǔ)作用,因此對于學(xué)科知識的認知屬性的確定是認知診斷研究的基礎(chǔ)。通過閱讀文獻發(fā)現(xiàn)研究者確定認知屬性的方式有以下幾種:1.專家商定法,在文獻中很多研究者普遍會使用與一線教師或?qū)W科專家商討的方法來確定認知屬性。這種方法主要依據(jù)于專家教師的經(jīng)驗,這種方法相對于其他方法來說是比較快捷的,但是這種經(jīng)驗確定的認知屬性往往帶有個人主觀意志,同時這種經(jīng)驗標定的認知屬性的科學(xué)性和完備性缺乏保證。[2]2.從理論技術(shù)角度,喻曉峰、羅照盛[3]等人提出采用認知診斷理論和技術(shù),通過數(shù)據(jù)推導(dǎo)得到認知屬性和屬性先后邏輯關(guān)系,經(jīng)過推導(dǎo)得到的結(jié)果與專家界定之間有一定的差異,并且提出了這個差異會影響到對被試的屬性掌握模式分類;通過得到的項目屬性和屬性層級關(guān)系的方法對于測驗的分析與編制可以提供很好的參考作用,并且可以與專家商定的方法相互補充。3.從具體實踐研究的角度,專家商定的方法是從專家角度出發(fā),但是最終的實踐對象是學(xué)生。但是專家和學(xué)生對知識認知和應(yīng)用是不同的,因此,從學(xué)生角度考慮確定認知屬性也是很重要的。Tatsuoka提出從學(xué)生的角度提出了口語報告法。該方法能夠彌補專家與學(xué)生在認知上的差異,可以更科學(xué)地確定認知屬性。但是,口語報告法在實踐中會出現(xiàn)費時費力還得不到確定的效果。4.在心理學(xué)理論基礎(chǔ)上,高磊,衷克定基于文獻法對認知屬性進行理論分析探索認知屬性標定的理論依據(jù),確定以信息加工理論以及布魯姆目標分類學(xué)為理論技術(shù),從學(xué)生問題出發(fā)標定了認知屬性的框架,在對認知屬性內(nèi)容進行探討的基礎(chǔ)上,提出認知屬性標定的結(jié)構(gòu)性框架。通過小學(xué)數(shù)學(xué)測試題對認知屬性標定進行實證研究。經(jīng)過實證檢驗其框架是可行的,但是其標定認知屬性的方法沒有推廣到廣泛的實踐研究中。5.任務(wù)分析法,也有學(xué)者提出了利用任務(wù)分析法確定認知屬性,但是對于利用任務(wù)分析法對認知屬性進行分析的研究者還比較少。但是將任務(wù)分析法運用在教學(xué)中的研究也取得了很大的成果。范士青就是采用任務(wù)分析的方法歸納出加減法運算的屬性及其層級結(jié)構(gòu)并以此編制測驗,研究發(fā)現(xiàn)建立的認知屬性是切實可行的。這種方法主要是建立在教材的基礎(chǔ)上,分析教學(xué)的目標,確定學(xué)生的學(xué)習(xí)結(jié)果。[4]在確定認知屬性的過程中采用專家確定方法的比較多,因為這個方法是最便捷省時省力的方法,也啟發(fā)研究者可以采用其他的方法來確定認知屬性。它把復(fù)雜的問題分為簡單的步驟,簡化復(fù)雜的問題,按照深入、漸進的層次,也方便接受學(xué)生的學(xué)習(xí)能力,可以提高學(xué)生的學(xué)習(xí)水平。大多數(shù)專家在確定認知屬性方法中,更多的利用它,是因為它最省時快捷,可幫助研究者使用其他方法來確定認知屬性。
認知診斷理論是將認知心理學(xué)與統(tǒng)計測量學(xué)結(jié)合起來的產(chǎn)物,其主要是將實踐依托于認知診斷模型,對個體認知的具體信息的優(yōu)劣進行診斷評估,以促進個體認知能力得到更好的發(fā)展。認知診斷評估是新一代測量理論的佼佼者,并成為當前國際上心理測量發(fā)展的前沿領(lǐng)域。認知診斷能夠提供更為深入、豐富的診斷信息而深受國內(nèi)外研究者的認可和關(guān)注。
認知診斷評估的實現(xiàn)離不開特定的計量模型——認知診斷模型。認知診斷模型充分地融入了認知變量的認知診斷統(tǒng)計模型,它是認知診斷評估的核心技術(shù)環(huán)節(jié),認知診斷模型的好壞直接決定認知診斷模型的識別精度和認知診斷評估的有效性。國內(nèi)外學(xué)者對這一領(lǐng)域的研究取得了豐富的成果,隨著教育的不斷發(fā)展,研究者對于認知診斷模型的研究也不斷深入,不斷地改良模型,創(chuàng)建新的模型,開發(fā)了60 多種認知診斷模型。[5]也為實踐研究者提供了更加完備的理論基礎(chǔ),研究者主要從認知診斷理論模型自身進行細化研究。
涂冬波,蔡妍,戴海崎和涂書青(2008)探討了LLTM模型、規(guī)則空間模型、統(tǒng)一模型、融合模型四種認知診斷模型的特征[6];范士青梳理了常見的六種認知診斷模型,他提出了在教育測量的實踐中可以將幾個模型結(jié)合運用,從多維度、多方面分析學(xué)生題目反應(yīng)和測驗結(jié)構(gòu)可能是更為合理的抉擇。對于認知診斷模型的參數(shù)估計比較繁雜,需要專門的軟件來實現(xiàn)也是制約認知診斷評估推廣的重要因素之一[7]。涂冬波以屬性層級關(guān)系為切入點,研究了當前國際上常用的五種認知診斷模型的性能,它主要通過考查屬性的層級關(guān)系與認知模型之間的依賴關(guān)系,以及認知屬性界定的錯誤會對研究產(chǎn)生什么樣的影響[8]。這些研究者對模型的研究進一步的細化和深入,對于以后的研究提供了理論基礎(chǔ)。
高旭亮(2017)對不同模型的計量學(xué)特征、模型假設(shè)以及模型在一定條件下可以實現(xiàn)數(shù)學(xué)公式轉(zhuǎn)換進行綜述性的討論,為研究者提供了更加完備的理論基礎(chǔ)[9]。這對于之后研究者對于模型的選擇以及模型數(shù)據(jù)的處理奠定了基礎(chǔ)。但在進行認知診斷的過程中,對于數(shù)據(jù)處理部分是比較難的,也是這部分的一個難點,研究者錢錦昕、余嘉元提出了利用模糊模式的方法對被試分類,經(jīng)過實證研究表明該方法原理清楚、計算簡便,無需進行復(fù)雜的參數(shù)估計,在較小的樣本條件下可以使用。[10]這對于教師教學(xué)提供了一種更簡潔快速的方法。而且該研究還有一定的局限性,只是對于某種屬性的結(jié)構(gòu)的研究,研究沒有普遍性。蔡艷基于群體水平評估的角度開發(fā)了一個新的認知診斷模型,經(jīng)過檢驗開發(fā)的模型有更好的解釋并對被試的認知水平進行了分析,提供的信息更具有參考意義,對于如何利用群體診斷信息促進班集體的教學(xué)將是今后研究的主要內(nèi)容。這個新的群體水平給認知診斷理論還需要進一步的完善和發(fā)展[11]。
模型與測驗項目的擬合數(shù)據(jù)很少有人研究,因此在此基礎(chǔ)上,宋麗紅(2016)認為認知診斷模型能否擬合測驗數(shù)據(jù)直接決定診斷結(jié)果的準確性。從認知測驗下模型——資料擬合檢驗角度出發(fā),將模擬擬合指標與項目擬合指標應(yīng)用與認知診斷模型——資料擬合檢驗。他還提出了認知診斷模型的選擇還需要結(jié)合模型的復(fù)雜性與解釋性以及診斷目的能否充分實現(xiàn)等因素。但是該文章只是考慮了整體擬合指標,對于被試的擬合指標以及基于原始分數(shù)的項目指標有待進一步探討和比較,以及在實踐中將是如何應(yīng)用也有質(zhì)疑。[12]余娜和辛濤認為診斷理論的研究不僅需要圍繞診斷模型的提出、模型診斷性能的評估、模型診斷結(jié)果的報告三個方面,還需要對模型的外在效度、模型的群體診斷結(jié)果、模型的選擇與比較、多分項目的診斷模型等方面也需要探索。[13]
雖然這些理論應(yīng)用在實踐中具有一定的成效,但是還需要更多的研究對理論進行驗證。研究者對于認知診斷模型的研究不斷的深入,對于認知診斷模型也不斷的細致化,豐富化,為實踐研究者提供了更為具體的理論基礎(chǔ)。在數(shù)據(jù)處理上一些非參數(shù)性的模型有比較復(fù)雜的數(shù)理公式,計算過程過于復(fù)雜,實施比較困難。因此研究者就在此基礎(chǔ)上發(fā)展了一些相對簡單的模型,如DINA模型。但是,如何將其在實踐中不斷的推廣以及簡化認知診斷模型在實踐中的數(shù)據(jù)處理方式還需要進一步研究。對于認知診斷模型與測驗數(shù)據(jù)的擬合性以及在未來的研究可不可以進一步考慮同一測驗采用多個認知診斷模型進行數(shù)據(jù)分析也需要進行深入思考分析,使分析的數(shù)據(jù)更為具體,詳細,信效度更高。
在這些研究的基礎(chǔ)上,讓研究者對認知診斷模型有了概括的認知,為研究者的實踐提供了充分的理論基礎(chǔ)。但是這些關(guān)于認知診斷模型能夠很好地運用到實踐中還需要考慮更多全面分析,如數(shù)據(jù)處理方式簡化并可推廣、適用的群體的廣泛性。
認知診斷理論作為新一代的測驗理論,在發(fā)展的過程中既是一種改變也是一種挑戰(zhàn),在實踐過程中會遇到困惑,也只有在困惑疑惑的基礎(chǔ)上才能為研究者的研究做出貢獻,為教育質(zhì)量的提高提供方法和依據(jù)。但是隨著新一代測量理論在實踐中的應(yīng)用也出現(xiàn)了以下的一些問題:
認知診斷理論是一種測驗理論,為教育研究者的實踐提供基礎(chǔ)。在利用認知診斷的理論對實踐進行測驗,會面臨測量數(shù)據(jù)的處理、測驗的前期所需要的準備以及所需要的人力物力都是比較復(fù)雜龐大的。這個理論對研究者的專業(yè)素養(yǎng)要求比較高,現(xiàn)在還有很多模型的計算都還沒有開發(fā)出來,這對于研究者是一種極大的挑戰(zhàn),一種測驗理論能夠普遍地應(yīng)用于實踐,還需要理論得到進一步地推廣和發(fā)展。
雖然這種新型的理論已經(jīng)發(fā)展了十多年,但是大多數(shù)研究者對于這種理論的研究還不了解并且不認同。很多研究者認為這個理論很難,不愿意去探究學(xué)習(xí),此外這種理論推廣沒有讓更多的研究應(yīng)用于實踐,所以造成了懂得該測驗理論的研究者研究越來越深,其他研究者還止步不前,這對于認知診斷理論的發(fā)展和推廣帶來了阻礙,因此研究者在開發(fā)模型和處理數(shù)據(jù)的過程中可以簡化數(shù)據(jù)處理的難度,有利于理論廣泛地用于其他科學(xué)領(lǐng)域的研究和發(fā)展。
在認知診斷理論發(fā)展過程中,研究者將計算機技術(shù)應(yīng)用于認知診斷的理論中,研究者們開始利用認知診斷的技術(shù)對計算機選題的編制等問題不斷地改進,使認知診斷理論不斷地完善和發(fā)展。但是如何將計算機理論和認知診斷理論完美地結(jié)合對于研究者還是有挑戰(zhàn)的?,F(xiàn)在很多研究者開始將計算機技術(shù)應(yīng)用到了認知診斷的相關(guān)研究中,由此看出,隨著認知診斷以及科學(xué)的飛躍發(fā)展,將計算機技術(shù)應(yīng)用在認知診斷理論,或者利用認知診斷的技術(shù)對計算機選題的編制等問題不斷地改進,使理論不斷地完善和發(fā)展。
參考文獻:
[1] Leighton J P,Gierl M J. Cognitive Diagnostic Assessment for Education:Theory and Applications [M] . New York:Cambridge University Press , 2007:89
[2]喻曉鋒,丁樹良,秦春影,等.貝葉斯網(wǎng)在認知診斷屬性層級結(jié)構(gòu)確定中的應(yīng)用[J].心理學(xué)報,2011(3):338-346.
[3]喻曉鋒,羅照盛,高椿雷,彭亞風,李喻駿.認知診斷框架下的語言認知測驗的實證分析與研究[J].貴州師范大學(xué)學(xué)報(自然科學(xué)版),2014(6):39-44.
[4]范士青.小學(xué)生加減法計算錯誤的分類與認知分析[D].武漢:華中師范大學(xué),2008.
[5]Fu,J,&Li,Y. An integrated review of cognitively diagnostic; psychometric; models [C]. Paper presented at the annual meeting of the National Council of Measurement in Education ,ChicagoIL.2007.
[6] 涂冬波,蔡艷,戴海崎,漆書青.現(xiàn)代測量理論下四大認知診斷模型述評[J]. 心理學(xué)探新,2008(2):64-68.
[7]范士青,劉華山.常見的認知診斷模型及其比較[J].教育測量與評價(理論版),2015(7):4-9.
[8]涂冬波,蔡艷,戴海琦.幾種常用非補償型認知診斷模型的比較與選用:基于屬性層級關(guān)系的考量[J].心理學(xué)報,2013(2):243-252.
[9]高旭亮,涂冬波.參數(shù)化認知診斷模型:心理計量特征、比較及其轉(zhuǎn)換[J].江西師范大學(xué)學(xué)報(哲學(xué)社會科學(xué)版),2017(1):88-104.
[10]錢錦昕,余嘉元.基于模糊模式識別的認知診斷[J].南京師大學(xué)報(社會科學(xué)版),2013(6):98-102.
[11]蔡艷,涂冬波,丁樹良.基于群體水平評估的認知診斷模型開發(fā)與應(yīng)用[J].心理科學(xué),2014(2):468-472.
[12]宋麗紅,汪文義,戴海琦,丁樹良.認知診斷模型下整體和項目擬合指標[J].心理學(xué)探新,2016(1):79-83.
[13]余娜,辛濤.認知診斷理論的新進展[J].考試研究,2009(3):22-34.