• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看

      ?

      提高大規(guī)模教育測評效果的途徑之一:簡化測評工具

      2014-08-08 17:52謝敏劉娟
      心理技術(shù)與應(yīng)用 2014年2期
      關(guān)鍵詞:敏感度

      謝敏++++劉娟

      摘要:在大規(guī)模教育測評中,經(jīng)常會遇到測評內(nèi)容的全面性與測評時間過長影響學(xué)生測評結(jié)果之間的矛盾,本文嘗試從簡化工具入手,選擇有代表性的、敏感度高的題目來達到測評目標。

      關(guān)鍵詞:大規(guī)模教育測評;工具簡化;敏感度

      一、問題提出

      在大規(guī)模的教育測評中,經(jīng)常會遇到以下問題,導(dǎo)致測評效果受到嚴重影響。

      1.為全面考察學(xué)生、教師和學(xué)校發(fā)展狀況,在大規(guī)模教育測評中,往往要求同時測評較多的內(nèi)容,以全方位對區(qū)域整體教育質(zhì)量狀況進行評估。例如,對學(xué)生的評估中經(jīng)常少不了對學(xué)業(yè)成就的測評、對社會性發(fā)展(含情緒情感、行為、自我、價值觀等)的考察、對家庭環(huán)境的了解等,這些內(nèi)容都需要由學(xué)生來進行作答,這樣每個學(xué)生的測評內(nèi)容就會很多。

      2.測評內(nèi)容多也就意味著一個學(xué)生要完成測評的時間長。尤其是在社會性發(fā)展方面,涉及到情緒情感、親社會行為、不良行為、自我、價值觀等方方面面的內(nèi)容,且多是量表類的題目,考察學(xué)生在各方面的表現(xiàn)和感受。雖然對某個方面來說題量并不多,但將方方面面的內(nèi)容放在一起的時候,題量就大了。為滿足區(qū)域測評需求,基本上社會性發(fā)展問卷的測試時間都在60~80分鐘,包括幾百道題,而且各個題目之間沒有太多的起伏,均要求學(xué)生根據(jù)真實情況作答,這對于學(xué)生來說是個不小的負擔。不少的學(xué)生堅持不下來,大部分學(xué)生在二十分鐘之后就會感到疲勞和不耐煩,開始隨意答、繞花答、不看題目統(tǒng)一選一個選項,甚至干脆不作答。例如,我們在兩個區(qū)進行測評都發(fā)現(xiàn),測評二十分鐘后,已有近20%的學(xué)生開始亂答。導(dǎo)致大家辛苦收集上來的數(shù)據(jù)實際上是不真實、不可靠的,提供不了準確的信息。

      3.測評內(nèi)容多卻不意味著每一個結(jié)果都能充分展開分析,造成資源浪費。最終報告使用數(shù)據(jù)時,是有側(cè)重的,并不是每一個變量都展開來進行深入分析,有的變量只作為關(guān)聯(lián)變量使用,但測評的時候卻有幾十道題,這樣不僅花費了大量時間作答,造成學(xué)生疲勞,影響作答效果,還浪費了很多成本,如題本印刷、運輸、數(shù)據(jù)錄入和清理等,消耗了大量人力、金錢和時間。

      鑒于上述問題,為了在保證測評內(nèi)容的全面性,達到測評目標的同時,提高測評效果,節(jié)約成本,我們在努力思考有什么辦法可以很好地解決這個問題。

      二、解決辦法

      上述情況若是從成本各環(huán)節(jié)再節(jié)約,從作答環(huán)節(jié)再激發(fā)學(xué)生作答熱情,效果都會是有限的。工具作為整個測評過程中的核心內(nèi)容,應(yīng)從其本身入手解決這個問題。我們有如下思考:一方面,在確定測評目標和測評內(nèi)容時,應(yīng)考慮細致,明確哪些因素是要重點分析的,哪些因素是要做關(guān)聯(lián)分析的,做到每個因素都有“用武之地”,而不一味地貪多求全。另一方面,對于經(jīng)常作為關(guān)聯(lián)變量使用的和可作為關(guān)聯(lián)變量使用的工具進行簡化,可分為兩種情況:

      一是挑選敏感度高的題目,作為在某方面的典型表現(xiàn)進行分析。這一分析至少包含下面幾項內(nèi)容:題總相關(guān)、因子載荷、選項分析、專家判斷或典型被試判斷題目對主題內(nèi)涵的代表性。

      1.首先要保證題目所代表的行為表現(xiàn)或感受能較好地、直觀地反映該方面的內(nèi)涵。常用的方法是專家判斷(專家團隊最好能包含領(lǐng)域?qū)<摇⒔逃龑W(xué)專家、測量學(xué)專家等)或是典型被試口頭報告作答思考過程,可以用評分或評定等級的方式,把需要簡化的各題目對主題內(nèi)涵的代表性進行排序。

      2.選項分布應(yīng)較為合適。計算各題各選項的人數(shù)百分比,看是否有人數(shù)分布很偏的情況,選項分布可以說明這道題所代表的行為表現(xiàn)或感受在學(xué)生中是否常見。若人數(shù)分布集中在某1~2個選項上,則說明在這道題上獲得的信息是很少的,對于評價來說就失去意義了。

      3.區(qū)分度應(yīng)較高。對于分布偏正態(tài)的內(nèi)容可使用鑒別力指數(shù)D值來計算區(qū)分度,選擇D值至少在0.3以上的題目,對于分布偏態(tài)的內(nèi)容可使用題總相關(guān)來作為區(qū)分度指標,選擇r值至少在0.6以上的題目。

      4.因子載荷應(yīng)較高。通過Mplus等軟件進行驗證性因素分析,根據(jù)擬合指數(shù)等各項指標的結(jié)果,選擇因子載荷至少在0.5以上的題目。因子載荷值從測量學(xué)的角度說明了該題對整個維度(主題內(nèi)涵)的反映程度。

      二是制訂簡版工具(Smith等,2000;Taylor等,2002)。制訂簡版工具的要求非常嚴格,在上述分析的基礎(chǔ)之上,還需要至少包含以下內(nèi)容:簡版與完整版之間的相關(guān)程度及簡版與剩余題目之間的相關(guān)程度(如相關(guān)不高需重新挑題)、簡版量表的內(nèi)部一致性、簡版量表的題總相關(guān)、挑選效標資料分析簡版量表的區(qū)分效度和同時效度(在條件允許的情況下可分析重測信度)。只有當上述指標達到統(tǒng)計學(xué)要求時方能建立簡版工具,簡版工具與完整版工具的理論假設(shè)、維度結(jié)構(gòu)等需保持一致,僅在題量上進行了縮減。

      制訂簡版工具需要有更專業(yè)、更復(fù)雜的工作,這一工作尚未完成。作為嘗試,本文要重點講述的是第一種簡化測評工具的方法和結(jié)果。

      三、分析過程

      1.修訂內(nèi)容

      考慮到“中國6~15歲兒童青少年心理發(fā)育特征調(diào)查”項目中有全國代表性的樣本且項目成果要進行推廣,以及近幾年來一線測評工作需求,本次進行簡化的內(nèi)容選擇“中國6~15歲兒童青少年心理發(fā)育特征調(diào)查”項目的社會性題本,涵蓋五個方面,分別是情緒、行為、自我、價值觀和社會信念,各方面主要包含的內(nèi)容如下:

      模塊

      測評內(nèi)容

      情緒

      生活滿意度、孤獨感、焦慮

      行為

      親社會行為、攻擊行為、校園被欺負行為、網(wǎng)絡(luò)成癮傾向

      自我

      自我認識、自尊、自信、自制力

      價值觀

      金錢觀、環(huán)境保護、國家認同、權(quán)力觀、學(xué)習(xí)觀、集體主義

      社會信念

      公正世界信念、積極社會信念

      2.數(shù)據(jù)來源

      數(shù)據(jù)主要來源于兩方面:一是“中國6~15歲兒童青少年心理發(fā)育特征調(diào)查”項目的4~9年級學(xué)生的全國代表性數(shù)據(jù)庫,二是北京師范大學(xué)腦與認知科學(xué)研究院心理與學(xué)習(xí)評價中心近兩年來的幾個區(qū)域測評數(shù)據(jù)??紤]到數(shù)據(jù)的全國代表性、區(qū)域數(shù)據(jù)不完全包括上述五方面的內(nèi)容且不包括所有4~9年級,兩方面的數(shù)據(jù)以“中國6~15歲兒童青少年心理發(fā)育特征調(diào)查”項目為主,心理與學(xué)習(xí)評價中心的數(shù)據(jù)結(jié)果作為輔助和驗證。

      3.分析方法

      首先,通過查閱五個方面最近幾年的最新研究成果,明確“中國6~15歲兒童青少年心理發(fā)育特征調(diào)查”項目社會性題本在這七個方面的內(nèi)容仍較為前沿。

      其次,重點進行了數(shù)據(jù)分析。分成三個階段進行:

      第一階段是進行年級差異的分析,考慮到樣本量較大,確定差異是否顯著是以效應(yīng)值>0.2為標準的,有差異的年級分開計算,沒有差異的年級合并計算。

      第二階段是對上述五個方面的內(nèi)容進行選項分析、區(qū)分度分析、題總相關(guān)分析、一致性分析和驗證性因素分析,根據(jù)各題的內(nèi)容和統(tǒng)計結(jié)果挑選內(nèi)容合適、敏感度高的

      題目。

      第三階段是對挑選出來的題目進行統(tǒng)計計算,包括一致性分析、對原工具的解釋率、與原工具的年級發(fā)展趨勢的一致程度等。

      4.挑選結(jié)果

      以焦慮量表和孤獨感量表為例。

      焦慮量表有28道題,包含生理焦慮、對人不安/恐懼、擔憂/過度敏感三個維度,經(jīng)過第二階段統(tǒng)計計算后,發(fā)現(xiàn)在生理焦慮和對人不安/恐懼兩個維度上區(qū)分度較高且因子載荷較高的題目是:“我總是感到不舒服?!薄熬退闩c別人在一起,我仍感到孤獨。”“別的孩子比我幸福?!薄拔液茈y把心思放在功課上?!蔽覀冋J為,這四道題目所代表的行為表現(xiàn)和感受不能很好地說明是否焦慮,因為還存在其他可能引發(fā)這四種表現(xiàn)的因素,而且,縱觀這兩個維度上的所有題,均有這方面的情況。因此,我們把挑題的重點放在擔憂/過度敏感維度上,在這個維度上,挑選出來較為合適的有五道題:“我很多時候都在擔心。”“我感到緊張?!薄拔液ε潞芏嗍虑?。”“我時常擔心糟糕的事情會落到我頭上。”“我擔心將來會發(fā)生什么。”區(qū)域數(shù)據(jù)也支持這一選擇。這五道題的一致性系數(shù)為0.693,對原量表的解釋率為67%。在四個區(qū)域的初二年級學(xué)生數(shù)據(jù)中,這五道題的一致性系數(shù)在0.76~0.84之間,對原量表的解釋率在71.2%~79.9%之間。這五道題的年級發(fā)展趨勢與原量表的對比如下,挑選后的五道題計算得到的年級發(fā)展趨勢更具合理性。

      孤獨感量表有16道題,為單維度。經(jīng)過統(tǒng)計計算和內(nèi)容選擇,挑選出了六道題:“沒有人跟我玩?!薄皼]有人跟我一塊說話。”“我很難交朋友。”“在我需要幫助時,我找不到人來幫我?!薄拔腋械郊拍!薄拔矣X得孤單?!眳^(qū)域數(shù)據(jù)也支持這一選擇。這六道題的一致性系數(shù)為0.839,對原量表的解釋率為83.6%。三個區(qū)域的初二年級學(xué)生數(shù)據(jù)中,這六道題的一致性系數(shù)在0.84~0.93之間,對原量表的解釋率在82.5%~83.9%之間。這六道題的年級發(fā)展趨勢與原量表的對比如下:

      在所有5個方面19項內(nèi)容中,挑題后的一致性系數(shù)在0.54~0.84之間,對原工具的解釋率在53%~94%之間,總體較好。挑題前這五個方面的總題量為215道,挑題后是70~75道,這些題對各項內(nèi)容的內(nèi)涵有較好的反映,且區(qū)分度、因子載荷均較高。若同時進行測試,測試時間將大大節(jié)省。

      在這19項內(nèi)容中,校園欺負行為、自制力、公正世界信念在小學(xué)和初中有不同的表現(xiàn),分為小學(xué)和初中兩個版本;自尊、自信、國家認同和環(huán)境保護在4~5年級、6~9年級的表現(xiàn)有所不同,分為4~5年級、6~9年級兩個版本。

      四、結(jié)論與討論

      可見,經(jīng)過挑選之后的題目對原工具仍有較好的代表性,可以滿足測評所需,對提高大規(guī)模教育測評的效果有較好的促進作用。第一,節(jié)省了測評時間,減少了被試疲勞和不耐煩情緒,提高了獲得真實、客觀數(shù)據(jù)的可能性;第二,節(jié)約了成本,題本印刷、數(shù)據(jù)錄入等成本都會因題量的減少而降低;第三,提高了結(jié)果報告的時效性,因各題的測量目標明確且敏感度高,數(shù)據(jù)清理、數(shù)據(jù)分析等過程的時長減少且正確率提高,節(jié)省了中間過程的時間,也就為出具結(jié)果報告節(jié)省了時間,測評結(jié)果能更快地得到反饋,這就提高了結(jié)果報告的時效性,這對教育一線開展工作來說是非常重要的。

      后續(xù)我們擬根據(jù)本次挑題的結(jié)果再次分析各項工具制訂簡版工具的可能性,并通過一系列的統(tǒng)計計算和專家論證工作,制訂可能的簡版工具。

      不同的工具形式、工具內(nèi)容可以有不同的處理方法,本文是其中的一種嘗試。挑題之后并不代表原工具就可以不用了,使用哪個版本的工具需要根據(jù)測評目的來定,當我們要重點分析該方面的表現(xiàn)時,我們需要使用完整工具,當我們只是將該方面作為關(guān)聯(lián)變量或簡單的現(xiàn)狀調(diào)查時,可使用簡化的工具。

      注:本文得到“中國6~15歲兒童青少年心理發(fā)育特征調(diào)查”項目辦公室支持。本文得到成都市錦江區(qū)“建立教育質(zhì)量評價監(jiān)測體系,促進區(qū)域教育質(zhì)量全面提升”項目、“沈陽市教育質(zhì)量監(jiān)測與評估”項目和杭州市上城區(qū)“基于學(xué)生發(fā)展的區(qū)域教育質(zhì)量提升”項目的數(shù)據(jù)支持。

      [1]Joanne Taylor, Frank P Deane. Development of a short form of the test anxiety inventory[J]. The Journal of General Psychology, 2002, 129(2),127-136.

      [2]Jeffery M Stanton, Evan F Sinar, William K Balzer, Patricia C Smith. Issues and strategies for reducing the length of self-report scales[J]. Personnel Psychology, 2002,55,167-194.

      欄目編輯 / 任玉丹.終校 / 黃才玲

      猜你喜歡
      敏感度
      一種基于屬性的兩級敏感度計算模型
      全體外預(yù)應(yīng)力節(jié)段梁動力特性對于接縫的敏感度研究
      液壓伺服作動系統(tǒng)力紛爭敏感度及機理研究
      電視臺記者新聞敏感度培養(yǎng)策略
      在京韓國留學(xué)生跨文化敏感度實證研究
      新時代下提高電視記者新聞敏感度的策略途徑分析
      下尿路感染患者菌群分布及對磷霉素氨丁三醇散敏感度分析
      Diodes高性能汽車霍爾效應(yīng)閉鎖提供多種敏感度選擇
      水輪發(fā)電機承重機架下沉量的結(jié)構(gòu)參數(shù)敏感度分析
      基于人眼失真敏感度的圖像質(zhì)量評價算法研究
      隆化县| 土默特右旗| 保康县| 南部县| 高碑店市| 溧阳市| 南丹县| 彭山县| 军事| 靖边县| 信宜市| 太白县| 哈密市| 嵩明县| 峨山| 丘北县| 衡东县| 郎溪县| 景洪市| 阿荣旗| 玛曲县| 江山市| 万全县| 鲁甸县| 长丰县| 武夷山市| 鲜城| 苍南县| 富源县| 手游| 德格县| 贵德县| 花垣县| 武胜县| 宁阳县| 电白县| 紫云| 黎城县| 岐山县| 芜湖市| 通江县|