王 璞 苗玉偉

隨著信息技術(shù)與教育的不斷融合與創(chuàng)新，以及全球范圍內(nèi)高等教育機(jī)構(gòu)對(duì)生源的競(jìng)爭(zhēng)日益激烈，提供優(yōu)質(zhì)的在線教育成為滿足學(xué)生需求、促進(jìn)高校高質(zhì)量發(fā)展的重要途徑。為了保證在線教育的科學(xué)化、規(guī)范化發(fā)展，質(zhì)量標(biāo)準(zhǔn)的制定不可或缺。[1]美國(guó)作為在線教育發(fā)展規(guī)模最大的國(guó)家之一，需要高校提供高品質(zhì)的在線課程予以支撐，這既離不開(kāi)宏觀層面質(zhì)量標(biāo)準(zhǔn)的構(gòu)建，也需要微觀層面的高校循證實(shí)踐以不斷提高在線教育的質(zhì)量。本文擬對(duì)美國(guó)在線高等教育的質(zhì)量標(biāo)準(zhǔn)進(jìn)行溯源，探究不同時(shí)期質(zhì)量標(biāo)準(zhǔn)的發(fā)展?fàn)顩r，并選取約翰·霍普金斯大學(xué)（Johns Hopkins University）教育學(xué)院的綜合評(píng)估系統(tǒng)（Comprehensive Assessment System，簡(jiǎn)稱CAS）為案例，對(duì)現(xiàn)階段美國(guó)在線高等教育標(biāo)準(zhǔn)下高校的具體評(píng)估實(shí)踐進(jìn)行研究。

一、追溯質(zhì)量標(biāo)準(zhǔn)：美國(guó)在線高等教育質(zhì)量標(biāo)準(zhǔn)的歷史發(fā)展

（一）早期階段（20世紀(jì)50年代至90年代）：“信任”即“標(biāo)準(zhǔn)”

美國(guó)在線高等教育的早期階段始于20世紀(jì)50年代魏德邁（Charles A.Wedemeyer）的開(kāi)創(chuàng)性工作，他曾擔(dān)任威斯康星大學(xué)麥迪遜分校函授學(xué)習(xí)項(xiàng)目主任，提出了許多關(guān)于開(kāi)放教育和遠(yuǎn)程教育領(lǐng)域的基本觀點(diǎn)。[2]其中他提出的“整合教學(xué)媒體項(xiàng)目”（Articulated Instructional Media Project，簡(jiǎn)稱AIM）不僅是美國(guó)在線高等教育成功范例，還深刻影響了當(dāng)今著名的遠(yuǎn)程教育機(jī)構(gòu)英國(guó)開(kāi)放大學(xué)（The Open University）[3]。此外，魏德邁提出了非傳統(tǒng)的全新的教育領(lǐng)域，“這一新領(lǐng)域?qū)⒊扇?、遠(yuǎn)程、開(kāi)放和獨(dú)立學(xué)習(xí)與教學(xué)系統(tǒng)設(shè)計(jì)、教學(xué)技術(shù)應(yīng)用、組織發(fā)展和評(píng)估相結(jié)合”[4]，為美國(guó)遠(yuǎn)程教育的發(fā)展奠定基礎(chǔ)。

直到20世紀(jì)90年代初，經(jīng)濟(jì)全球化背景下，為學(xué)生提供信息時(shí)代所需的各項(xiàng)技能成為美國(guó)高等教育改革的重要目標(biāo)[5]，促進(jìn)了高校中教育技術(shù)發(fā)展融合的“信息和通信技術(shù)模式”（information and communication technology model，簡(jiǎn)稱ICT）的形成。在全世界的教育政策中，ICT的整合已經(jīng)成為優(yōu)先發(fā)展方向。同時(shí)，關(guān)于遠(yuǎn)程教育的同等學(xué)力標(biāo)準(zhǔn)問(wèn)題開(kāi)始被關(guān)注，但具體的質(zhì)量標(biāo)準(zhǔn)尚未在美國(guó)或其他地方的高等教育實(shí)踐與政策研究中得到重視，這也為所謂的“文憑工廠”創(chuàng)造了大量機(jī)會(huì)，學(xué)位成了可以用金錢衡量和買賣的商品。當(dāng)瓊斯國(guó)際大學(xué)（Jones International University）在此階段作為一所完全在線的大學(xué)進(jìn)入美國(guó)高等教育機(jī)構(gòu)的行列時(shí)，美國(guó)學(xué)界就在線機(jī)構(gòu)的認(rèn)證標(biāo)準(zhǔn)展開(kāi)了一場(chǎng)辯論，爭(zhēng)論的焦點(diǎn)集中在在線大學(xué)和學(xué)院是否應(yīng)該像傳統(tǒng)的基于校園的機(jī)構(gòu)一樣被認(rèn)可[6]。在此階段，學(xué)界討論的多是以在線教學(xué)手段為主的遠(yuǎn)程教育機(jī)構(gòu)的地位以及合法性，對(duì)于在線遠(yuǎn)程教育質(zhì)量標(biāo)準(zhǔn)的問(wèn)題關(guān)注較少。

因此，在此階段，相關(guān)研究尚未確定傳統(tǒng)教育與在線教育兩種學(xué)習(xí)環(huán)境在教學(xué)模式、教學(xué)策略和教師有效教學(xué)所需的技能方面的關(guān)鍵差異，也沒(méi)有研究學(xué)生在遠(yuǎn)程環(huán)境中成功學(xué)習(xí)所需的條件，師生互動(dòng)和學(xué)生間互動(dòng)的差異也仍不清楚。該時(shí)期高等教育的主要服務(wù)對(duì)象和最終服務(wù)對(duì)象，即學(xué)生和雇主，需要對(duì)教學(xué)的提供者抱有相當(dāng)程度的信任。遠(yuǎn)程教育的雇主要求“資格證書準(zhǔn)確地證明雇員過(guò)去的成就和目前的能力”，以及“高等教育學(xué)歷所代表的標(biāo)準(zhǔn)需要被明確，并且在日益全球化的就業(yè)市場(chǎng)中，學(xué)歷必須具有通用性?！盵7]由此可見(jiàn)，早期階段雇主受到篩選假設(shè)理論的影響，對(duì)最終的學(xué)歷予以信任以鑒定學(xué)生的學(xué)習(xí)效果，認(rèn)為取得文憑即為得到了高質(zhì)量的在線教育，因而導(dǎo)致實(shí)際教育過(guò)程中的質(zhì)量標(biāo)準(zhǔn)問(wèn)題沒(méi)有得到教育界持續(xù)的關(guān)注與跟進(jìn)，

（二）中期階段（20世紀(jì)90年代至21世紀(jì)初）：“標(biāo)準(zhǔn)”各行其是

從20世紀(jì)90年代初到21世紀(jì)初，美國(guó)高等教育遠(yuǎn)程教育項(xiàng)目的數(shù)量普遍增加。國(guó)家教育統(tǒng)計(jì)中心（National Center for Education Statistics，簡(jiǎn)稱NCES）發(fā)布的學(xué)年遠(yuǎn)程教育數(shù)據(jù)顯示，于1994-1995年相比，1997-1998年間美國(guó)高等教育機(jī)構(gòu)提供的遠(yuǎn)程教育課程、注冊(cè)人數(shù)以及學(xué)位和證書課程的數(shù)量幾乎翻了一番。該報(bào)告還得出結(jié)論，雖然遠(yuǎn)程教育在美國(guó)中學(xué)后教育機(jī)構(gòu)中已變得很普遍，但仍存在許多未解決的問(wèn)題，其中就包括遠(yuǎn)程教育項(xiàng)目的質(zhì)量認(rèn)證和保證。[8]這是因?yàn)橘|(zhì)量標(biāo)準(zhǔn)的發(fā)展從一開(kāi)始就讓位于技術(shù)的發(fā)展，認(rèn)證機(jī)構(gòu)在解決高等教育在線項(xiàng)目的質(zhì)量保證問(wèn)題上行動(dòng)遲緩，雖然相關(guān)研究在不斷積累，但還未達(dá)到令人信服的地步。針對(duì)此現(xiàn)狀，美國(guó)教師聯(lián)合會(huì)最先呼吁高校采用能夠確保遠(yuǎn)程教育課程質(zhì)量的標(biāo)準(zhǔn)。作為全國(guó)同類組織中最大的組織之一，聯(lián)合會(huì)認(rèn)識(shí)到標(biāo)準(zhǔn)的必要性，并承認(rèn)大多數(shù)高等教育機(jī)構(gòu)沒(méi)有達(dá)到聯(lián)合會(huì)提出的標(biāo)準(zhǔn)。該聯(lián)合會(huì)的標(biāo)準(zhǔn)涉及內(nèi)容、對(duì)教師和學(xué)生的技術(shù)支持、培訓(xùn)教育者有效地教授在線課程以及教師與學(xué)生的互動(dòng)。[9]此時(shí)期由于沒(méi)有國(guó)家質(zhì)量標(biāo)準(zhǔn)，機(jī)構(gòu)和教師仍需自行建立質(zhì)量標(biāo)準(zhǔn)。

直到2002年，許多機(jī)構(gòu)和組織才開(kāi)始逐步推進(jìn)在線遠(yuǎn)程高等教育標(biāo)準(zhǔn)的確立，其中包括美國(guó)教育委員會(huì)（the American Council on Education）、美國(guó)教師聯(lián)合會(huì)高等教育計(jì)劃和政策委員會(huì)（the Higher Education Program and Policy Council of the American Federation of Teachers）以及高等教育政策研究所（the Institute for Higher Education Policy）。[10]在此時(shí)期，如果個(gè)別機(jī)構(gòu)、學(xué)科和計(jì)劃決定自行建立和實(shí)施標(biāo)準(zhǔn)，就繼續(xù)維持自行建立和實(shí)施標(biāo)準(zhǔn)，例如美國(guó)工程與技術(shù)認(rèn)證委員會(huì)（the Accreditation Board for Engineering and Technology）自行制定了針對(duì)美國(guó)工程學(xué)位在線課程評(píng)估的指導(dǎo)方針[11]，但是統(tǒng)一在線教育認(rèn)證標(biāo)準(zhǔn)的問(wèn)題仍然沒(méi)有在全國(guó)范圍內(nèi)得到解決。

從20世紀(jì)90年代初到21世紀(jì)初，全球各地的高等教育機(jī)構(gòu)和學(xué)科已經(jīng)開(kāi)始努力建立統(tǒng)一標(biāo)準(zhǔn)[12]，而美國(guó)的高等教育機(jī)構(gòu)并沒(méi)有普遍統(tǒng)一的質(zhì)量標(biāo)準(zhǔn)，選擇自行建立指導(dǎo)方針和標(biāo)準(zhǔn)，且質(zhì)量標(biāo)準(zhǔn)的開(kāi)發(fā)是存在學(xué)科間隔閡的，并未形成可以用來(lái)衡量所有項(xiàng)目和學(xué)科的統(tǒng)一標(biāo)準(zhǔn)。這種質(zhì)量標(biāo)準(zhǔn)的各行其是造成了許多問(wèn)題，如學(xué)分是否可以跨機(jī)構(gòu)被認(rèn)可，學(xué)術(shù)嚴(yán)謹(jǐn)性在高等教育機(jī)構(gòu)之間的差異等等。

（三）當(dāng)前階段（21世紀(jì)初至今）：形成“標(biāo)準(zhǔn)”框架，逐步走向體系化

美國(guó)在線高等教育的發(fā)展規(guī)模不斷擴(kuò)大，自2002年以來(lái)注冊(cè)在線課程的學(xué)生數(shù)逐年上升，特別是在疫情的影響下2020年秋季，約有75%（1180萬(wàn)）的本科生至少參加了一門遠(yuǎn)程教育課程，比2019年600萬(wàn)的人數(shù)增長(zhǎng)了97%。[13]由此社會(huì)各界對(duì)于在線高等教育質(zhì)量問(wèn)題也逐漸愈發(fā)關(guān)注，許多相關(guān)機(jī)構(gòu)發(fā)布在線教育質(zhì)量評(píng)價(jià)文件層出不窮，反映了質(zhì)量標(biāo)準(zhǔn)的新要求。

2019年，美國(guó)虛擬學(xué)習(xí)領(lǐng)導(dǎo)者聯(lián)盟（Virtual Learning Leadership Alliance）與在線教育質(zhì)量保障組織（Quality Matters，簡(jiǎn)稱QM）兩大非營(yíng)利機(jī)構(gòu)通過(guò)收集各州高等教育機(jī)構(gòu)以及教育工作者、研究者、行政管理人員等各方意見(jiàn)，整理出臺(tái)了美國(guó)“優(yōu)質(zhì)在線課程標(biāo)準(zhǔn)”（National standards for quality online course）。[14]同 年，兩所機(jī)構(gòu)又聯(lián)合發(fā)布第三版在線教學(xué)質(zhì)量標(biāo)準(zhǔn)。同時(shí)斯隆聯(lián)盟也開(kāi)發(fā)了學(xué)生對(duì)于在線學(xué)習(xí)效果和滿意度的評(píng)價(jià)標(biāo)準(zhǔn)。由此可見(jiàn)該階段既包括課程、教學(xué)的質(zhì)量標(biāo)準(zhǔn)，又兼有以秉持學(xué)生為主體的在線學(xué)習(xí)的質(zhì)量標(biāo)準(zhǔn)，美國(guó)在線高等教育質(zhì)量標(biāo)準(zhǔn)制定的主體以及評(píng)價(jià)對(duì)象都呈現(xiàn)出多元化的特征。

除了制定多元化的在線高等教育質(zhì)量標(biāo)準(zhǔn)外，美國(guó)的各種機(jī)構(gòu)還注重對(duì)在線教育的具體實(shí)踐進(jìn)行評(píng)估，將結(jié)果轉(zhuǎn)化為在線教育標(biāo)準(zhǔn)的基本依據(jù)，對(duì)在線高等教育的質(zhì)量標(biāo)準(zhǔn)不斷進(jìn)行豐富和完善。2022年8月，美國(guó)在線質(zhì)量保證組織和教育風(fēng)險(xiǎn)研究組織（EduVenture Research）聯(lián)合發(fā)布了《美國(guó)在線教育發(fā)展全景報(bào)告》（The Changing Landscape of Online Education，簡(jiǎn)稱CHLOE），包括學(xué)生需求及機(jī)構(gòu)聯(lián)合、在線學(xué)習(xí)服務(wù)、在線配置人員水平、學(xué)生及教師支持、質(zhì)量評(píng)估等主題。[15]以及在線教育聯(lián)盟發(fā)布系列報(bào)告，通過(guò)網(wǎng)絡(luò)發(fā)放問(wèn)卷對(duì)美國(guó)可授予學(xué)位的高等教育機(jī)構(gòu)的教學(xué)主管進(jìn)行調(diào)查，從高校戰(zhàn)略規(guī)劃、在線教育質(zhì)量以及教師支持等方面進(jìn)行評(píng)測(cè)。[16]該兩份報(bào)告調(diào)查結(jié)果的呈現(xiàn)，進(jìn)一步規(guī)范了在線高等教育質(zhì)量標(biāo)準(zhǔn)，并且對(duì)于評(píng)測(cè)的結(jié)果進(jìn)行分析與展現(xiàn)，以期對(duì)下次教育質(zhì)量的改進(jìn)予以指導(dǎo)，

總體而言，當(dāng)前階段美國(guó)在線高等教育的質(zhì)量標(biāo)準(zhǔn)擺脫前期“各行其是”的現(xiàn)象，雖然仍舊沒(méi)有形成全國(guó)統(tǒng)一的標(biāo)準(zhǔn)，但是逐步發(fā)展成為具有多元化的評(píng)估對(duì)象與監(jiān)測(cè)主體、持續(xù)不斷的評(píng)估循環(huán)特征的體系化框架。聚焦到高校層面，美國(guó)約翰·霍普金斯大學(xué)教育學(xué)院CAS是高校內(nèi)部質(zhì)量保障體系的典型案例。

二、踐行質(zhì)量標(biāo)準(zhǔn)：約翰·霍普金斯大學(xué)教育學(xué)院CAS的評(píng)估實(shí)踐

約翰·霍普金斯大學(xué)教育學(xué)院的CAS在2012年由美國(guó)課程委員會(huì)學(xué)術(shù)委員會(huì)（Curriculum Committee Academic Council）通過(guò)，經(jīng)過(guò)多次修訂，在2017年春季完成最后一次整體修訂，由評(píng)估顧問(wèn)委員會(huì)（Assessment Advisory Board）、學(xué)科領(lǐng)頭人和學(xué)術(shù)委員會(huì)審議通過(guò)；在2018年2月22日將“使命和愿景”部分修正為更新后的批準(zhǔn)措辭。[17]該文件界定的質(zhì)量標(biāo)準(zhǔn)要求的對(duì)象包含了傳統(tǒng)線下學(xué)位項(xiàng)目和在線學(xué)位項(xiàng)目，能夠體現(xiàn)出當(dāng)前在線高等教育標(biāo)準(zhǔn)在質(zhì)量評(píng)估環(huán)節(jié)的具體高校的實(shí)踐細(xì)節(jié)與價(jià)值反映。

（一）設(shè)計(jì)框架：多元的評(píng)估對(duì)象與監(jiān)測(cè)主體

在理解約翰·霍普金斯大學(xué)教育學(xué)院CAS如何運(yùn)作之前，勢(shì)必要對(duì)其總體的聚焦于多元評(píng)估對(duì)象與監(jiān)測(cè)主體的設(shè)計(jì)框架有所了解。

1.評(píng)估系統(tǒng)的頂層設(shè)計(jì)聚焦于多樣化的評(píng)估對(duì)象

CAS的頂層設(shè)計(jì)理念與約翰·霍普金斯大學(xué)教育學(xué)院的愿景、使命和概念框架相一致，首先在闡明在線高等教育評(píng)估的意義上指出，評(píng)估的服務(wù)對(duì)象包括學(xué)習(xí)者、課程、項(xiàng)目三維主體，并將其融入整個(gè)教育學(xué)院的價(jià)值觀念當(dāng)中。CAS指出每個(gè)學(xué)習(xí)者的表現(xiàn)都是通過(guò)有針對(duì)性的評(píng)估來(lái)衡量的，并以源自教育學(xué)院使命、愿景、核心價(jià)值觀、專業(yè)標(biāo)準(zhǔn)、州標(biāo)準(zhǔn)和項(xiàng)目標(biāo)準(zhǔn)的學(xué)習(xí)目標(biāo)為基準(zhǔn)，監(jiān)測(cè)學(xué)生的學(xué)習(xí)成績(jī)并提供指導(dǎo)，幫助學(xué)生達(dá)成學(xué)習(xí)目標(biāo)。在這種設(shè)計(jì)意義的價(jià)值觀念指導(dǎo)下設(shè)計(jì)的評(píng)估流程，體現(xiàn)出在評(píng)估實(shí)施步驟中對(duì)于多元主體的聚焦。CAS界定的評(píng)估包括以下內(nèi)涵：確定候選人需要學(xué)習(xí)的知識(shí)、技能和性格；衡量知識(shí)、技能和性格的獲得；確定其應(yīng)用的有效性。CAS的評(píng)估步驟分為四步，與美國(guó)質(zhì)量管理專家沃特·休哈特（Walter A.Shewhart）提出的全面質(zhì)量管理應(yīng)遵循的PDCA循環(huán)（PDCA Cycle）步驟基本一致（詳見(jiàn)表1）[18]，體現(xiàn)出該系統(tǒng)對(duì)在線教育質(zhì)量進(jìn)行評(píng)估時(shí)的程序科學(xué)化、流程規(guī)范化、步驟合理化。

表1 PDCA循環(huán)和CAS評(píng)估步驟的對(duì)應(yīng)

從評(píng)估步驟可以看出，CAS的目標(biāo)涉及四個(gè)主體：學(xué)習(xí)者、課程、項(xiàng)目、部門。評(píng)估旨在確保課程、項(xiàng)目和部門層面的持續(xù)改進(jìn)，以滿足所有學(xué)習(xí)者的需求。具體來(lái)說(shuō)，需要分別實(shí)現(xiàn)以上四個(gè)主體不同的目標(biāo)：（1）從學(xué)習(xí)者層面來(lái)看，評(píng)估需要確保個(gè)別學(xué)習(xí)者達(dá)到項(xiàng)目的學(xué)習(xí)目標(biāo)，讓學(xué)習(xí)者理解其評(píng)估的標(biāo)準(zhǔn)和基準(zhǔn)，并向每個(gè)學(xué)生個(gè)體提供有效的反饋；（2）從課程層面來(lái)看，評(píng)估需要確保課程滿足學(xué)習(xí)者成功實(shí)現(xiàn)既定學(xué)習(xí)目標(biāo)的需求、在整個(gè)課程中存在各樣的學(xué)習(xí)和評(píng)估機(jī)會(huì)、在學(xué)習(xí)者和課程之間匯總作業(yè)和評(píng)估以及確保關(guān)注學(xué)習(xí)者和內(nèi)容；（3）從項(xiàng)目層面來(lái)看，評(píng)估要確保學(xué)習(xí)者實(shí)現(xiàn)項(xiàng)目水平的目標(biāo)、在項(xiàng)目的關(guān)鍵點(diǎn)使用多種方法從關(guān)鍵評(píng)估中獲取數(shù)據(jù)、確保評(píng)估包括但不限于總結(jié)性和形成性作業(yè)、實(shí)習(xí)、作品集和綜合考試；（4）從部門層面來(lái)看，評(píng)估確保學(xué)習(xí)者達(dá)到部門層面的期望，如愿景、使命和核心價(jià)值觀，在項(xiàng)目的關(guān)鍵過(guò)渡點(diǎn)使用多種方法從關(guān)鍵評(píng)估中獲取數(shù)據(jù)，確保評(píng)估包含對(duì)一致性的評(píng)估，如入學(xué)考試和畢業(yè)后調(diào)查。以上所述的CAS頂層設(shè)計(jì)反映了質(zhì)量評(píng)估系統(tǒng)的多元化服務(wù)對(duì)象，也成為CAS系統(tǒng)的周期性運(yùn)行機(jī)制的設(shè)計(jì)基礎(chǔ)。

2.教育學(xué)院內(nèi)外部多元化的監(jiān)測(cè)主體

在對(duì)CAS進(jìn)行設(shè)計(jì)時(shí)，明確“對(duì)誰(shuí)進(jìn)行評(píng)估”之外，還要確定“誰(shuí)來(lái)進(jìn)行監(jiān)測(cè)”這一相對(duì)應(yīng)的先決條件。CAS整體監(jiān)測(cè)是穿插在評(píng)估活動(dòng)中的，監(jiān)測(cè)主體涉及外部的評(píng)估咨詢委員會(huì)以及教育學(xué)院內(nèi)部。在評(píng)估咨詢委員會(huì)成立前，項(xiàng)目的評(píng)估由教學(xué)委員會(huì)（Teaching and Learning Committee）和項(xiàng)目顧問(wèn)委員會(huì)（program advisory boards）負(fù)責(zé)，評(píng)估分散，沒(méi)有進(jìn)行統(tǒng)一的整合，也沒(méi)有就評(píng)估結(jié)果對(duì)部門行動(dòng)進(jìn)行改進(jìn)。教學(xué)委員會(huì)每年召開(kāi)兩次會(huì)議，負(fù)責(zé)討論所有教師培訓(xùn)項(xiàng)目的項(xiàng)目改進(jìn)和創(chuàng)新教學(xué)實(shí)踐的實(shí)施；項(xiàng)目顧問(wèn)委員會(huì)定期開(kāi)會(huì)通報(bào)課程的改進(jìn)情況。到了2016年秋季，教育學(xué)院外部成立了評(píng)估咨詢委員會(huì)，由學(xué)院領(lǐng)導(dǎo)、項(xiàng)目主管、關(guān)鍵員工、國(guó)家咨詢委員會(huì)成員、社區(qū)成員和認(rèn)證機(jī)構(gòu)組成，整合了內(nèi)外部利益主體對(duì)CAS進(jìn)行監(jiān)督，確保評(píng)估系統(tǒng)改進(jìn)的迭代過(guò)程，以及監(jiān)督項(xiàng)目和部門級(jí)別評(píng)估過(guò)程的完整性和質(zhì)量。

除了外部的評(píng)估咨詢委員會(huì)進(jìn)行監(jiān)督外，在學(xué)院內(nèi)部學(xué)術(shù)活動(dòng)的評(píng)估小組由副院長(zhǎng)統(tǒng)領(lǐng)，負(fù)責(zé)認(rèn)證、評(píng)估和相關(guān)技術(shù)的副院長(zhǎng)向院長(zhǎng)報(bào)告和指導(dǎo)評(píng)估過(guò)程，并每年向教務(wù)長(zhǎng)辦公室提出倡議和改進(jìn)。此外，評(píng)估小組還參加教育副教務(wù)長(zhǎng)辦公室的討論和會(huì)議，以便及時(shí)了解評(píng)估認(rèn)證政策和程序的實(shí)施、遵守和監(jiān)督情況。評(píng)估團(tuán)隊(duì)定期監(jiān)控?cái)?shù)據(jù)流，及時(shí)支持教師實(shí)施改進(jìn)，與教師合作進(jìn)行數(shù)據(jù)分析，以更好地推動(dòng)項(xiàng)目的改進(jìn)。對(duì)于實(shí)地?cái)?shù)據(jù)收集的監(jiān)測(cè)，學(xué)院設(shè)置聯(lián)絡(luò)員觀察學(xué)生和教師在實(shí)際教學(xué)中的情況。同時(shí)學(xué)院內(nèi)還負(fù)責(zé)挑選和培訓(xùn)教師督導(dǎo)員和兼職教員，確保他們了解最新政策和實(shí)踐。

總體而言，CAS由教職員工和主要利益相關(guān)者合作開(kāi)發(fā)，涉及多方面的評(píng)估對(duì)象，通過(guò)“基于績(jī)效”（performance-based）的評(píng)估措施來(lái)開(kāi)展自我審查，促進(jìn)反思性實(shí)踐、批判性思維和探究性學(xué)習(xí)。這些措施有利于推動(dòng)項(xiàng)目和部門水平的改進(jìn)，提高學(xué)生的學(xué)習(xí)成果、滿意度和對(duì)社區(qū)的影響，形成的設(shè)計(jì)理念指導(dǎo)CAS機(jī)制的有序運(yùn)行。

（二）運(yùn)行機(jī)制：持續(xù)質(zhì)量改進(jìn)的評(píng)估循環(huán)

CAS囊括的評(píng)估對(duì)象——學(xué)生、課程、項(xiàng)目等主體在該評(píng)估系統(tǒng)運(yùn)行中按照流程不斷進(jìn)行監(jiān)測(cè)與質(zhì)量改進(jìn)，以指導(dǎo)最終教育質(zhì)量的提升，構(gòu)成在線教育從申請(qǐng)和錄取到學(xué)期結(jié)束整個(gè)階段的評(píng)估循環(huán)運(yùn)行機(jī)制。這是CAS最為重要的核心內(nèi)容，也是對(duì)當(dāng)前美國(guó)在線高等教育質(zhì)量評(píng)估特征的最為典型的展現(xiàn)。

1.CAS的構(gòu)成部分

CAS建立在頂層設(shè)計(jì)的基礎(chǔ)上，旨在履行教育學(xué)院使命的基礎(chǔ)上為政策和實(shí)踐提供具體信息，以應(yīng)對(duì)個(gè)人、學(xué)校和社區(qū)面臨的重要挑戰(zhàn)，由此形成了包括用于項(xiàng)目、部門持續(xù)改進(jìn)的評(píng)估循環(huán)。CAS的評(píng)估流程的設(shè)計(jì)收集了有關(guān)學(xué)習(xí)者表現(xiàn)、項(xiàng)目質(zhì)量以及學(xué)院運(yùn)營(yíng)的相關(guān)信息，并為學(xué)習(xí)者、課程、項(xiàng)目和部門的改進(jìn)提供參考（詳見(jiàn)圖1）。[19]由此可以看到教育學(xué)院對(duì)于過(guò)程性評(píng)價(jià)的細(xì)化和重視，項(xiàng)目結(jié)束后，評(píng)估還持續(xù)進(jìn)行，會(huì)進(jìn)一步調(diào)查畢業(yè)者畢業(yè)后一年內(nèi)和三年內(nèi)在該領(lǐng)域的影響。同時(shí)評(píng)估循環(huán)將評(píng)估作為實(shí)現(xiàn)學(xué)院戰(zhàn)略計(jì)劃中所述的愿景和使命的關(guān)鍵驅(qū)動(dòng)力，從測(cè)量、工具選擇、數(shù)據(jù)收集和分析到制定改進(jìn)計(jì)劃、決策并實(shí)施改進(jìn)行動(dòng)，每一個(gè)步驟都緊緊圍繞學(xué)院的使命、愿景、價(jià)值觀（詳見(jiàn)圖2）。[20]

圖1 CAS的評(píng)估流程（課程→項(xiàng)目→部門）

圖2 CAS圍繞教育學(xué)院戰(zhàn)略的評(píng)估循環(huán)

在循環(huán)式的課程評(píng)估中，有兩個(gè)核心的評(píng)估要點(diǎn)需要關(guān)注——“基于課程評(píng)估”（Course-Based Assessment）與“關(guān)鍵轉(zhuǎn)折點(diǎn)評(píng)估”（Transition Point Assessments）?！盎谡n程的評(píng)估”指的是從整個(gè)評(píng)估系統(tǒng)運(yùn)行的宏觀視角來(lái)收集基層數(shù)據(jù)，具體到對(duì)項(xiàng)目?jī)?nèi)課程中的知識(shí)、技能和行為的評(píng)估。每個(gè)項(xiàng)目都需讓其學(xué)習(xí)目標(biāo)與國(guó)家標(biāo)準(zhǔn)、州標(biāo)準(zhǔn)以及專業(yè)標(biāo)準(zhǔn)等保持一致。每學(xué)期會(huì)進(jìn)行數(shù)據(jù)的收集并分發(fā)給教師和項(xiàng)目主管進(jìn)行分析，以確保數(shù)據(jù)分析和改進(jìn)實(shí)施的一致性和準(zhǔn)確性。同時(shí)還開(kāi)展“項(xiàng)目行動(dòng)改進(jìn)計(jì)劃”（Program Improvement Action Plan，簡(jiǎn)稱PIAP），用于課程和項(xiàng)目層面的改進(jìn)并使用數(shù)據(jù)來(lái)識(shí)別課程和項(xiàng)目的變化以進(jìn)行改進(jìn)和調(diào)整。行動(dòng)改進(jìn)計(jì)劃包括要完成的工作、涉及的參與對(duì)象以及具體的完成時(shí)間表，有助于協(xié)助教師評(píng)估課程與項(xiàng)目改進(jìn)的有效性和準(zhǔn)確性。

“關(guān)鍵轉(zhuǎn)折點(diǎn)評(píng)估”是聚焦學(xué)生表現(xiàn)評(píng)估的視角，旨在強(qiáng)調(diào)要分階段地評(píng)估學(xué)習(xí)者的知識(shí)、技能和傾向。學(xué)院設(shè)置了5個(gè)需要重點(diǎn)收集表現(xiàn)情況的關(guān)鍵轉(zhuǎn)折點(diǎn)：入學(xué)錄取、中期/實(shí)習(xí)前、實(shí)習(xí)后、項(xiàng)目完成、畢業(yè)后。[21]在入學(xué)錄取階段，篩選學(xué)生的標(biāo)準(zhǔn)可能是全校通用的，也可能是項(xiàng)目特有的，具體選擇根據(jù)指學(xué)生自身所期望學(xué)習(xí)到知識(shí)或技能來(lái)決定。在中期/實(shí)習(xí)前階段，學(xué)生需在項(xiàng)目中期或進(jìn)入實(shí)習(xí)前接受評(píng)估，以確定他們的表現(xiàn)水平，并衡量他們?cè)趯?shí)習(xí)和項(xiàng)目中取得成功的能力。在實(shí)習(xí)后階段，需通過(guò)評(píng)估確定學(xué)生獲得由實(shí)習(xí)經(jīng)驗(yàn)決定的技能和知識(shí)，以及衡量他們的傾向。在項(xiàng)目完成階段，需確定他們?cè)陧?xiàng)目學(xué)習(xí)目標(biāo)和專業(yè)知識(shí)、技能和性格方面的表現(xiàn)水平。在畢業(yè)后階段，畢業(yè)生需要完成系列追蹤調(diào)查以表明他們?cè)陧?xiàng)目中收獲的能力準(zhǔn)備對(duì)他們?cè)诼殬I(yè)中表現(xiàn)所產(chǎn)生的影響，雇主和利益相關(guān)者也提供關(guān)于畢業(yè)生表現(xiàn)的信息。在這5個(gè)階段中，所需要收集的數(shù)據(jù)樣本包括但不限于：績(jī)點(diǎn)、作品內(nèi)容分析、實(shí)習(xí)評(píng)估、性格調(diào)查、畢業(yè)生和雇主調(diào)查等，不同人才類型的評(píng)估涉及不同的數(shù)據(jù)樣本的收集。

2.年度評(píng)估活動(dòng)周期

基于上述CAS的運(yùn)行機(jī)制的重要組成要素，學(xué)院設(shè)計(jì)了從申請(qǐng)和錄取到學(xué)期結(jié)束整個(gè)階段具體詳盡的“年度評(píng)估活動(dòng)周期”（Annual Assessment Activity Cycle）。[22]在申請(qǐng)和錄取階段，需要告知學(xué)生評(píng)估過(guò)程并確保他們對(duì)該過(guò)程的承諾，通過(guò)申請(qǐng)和錄取過(guò)程收集關(guān)鍵評(píng)估，使用錄取標(biāo)準(zhǔn)和評(píng)估來(lái)選擇候選人進(jìn)入課程。在錄取時(shí)，候選人必須知道評(píng)估系統(tǒng)的存在，以及了解他們需要參與評(píng)估過(guò)程的基本情況。在學(xué)期前，評(píng)估小組需要向新教師傳達(dá)評(píng)估系統(tǒng)的詳細(xì)信息；為教師提供評(píng)估和Tk20數(shù)據(jù)收集系統(tǒng)方面的培訓(xùn)；指導(dǎo)教師領(lǐng)導(dǎo)批準(zhǔn)和更新教學(xué)大綱、項(xiàng)目目標(biāo)，并分發(fā)給所有教師。在學(xué)期開(kāi)始初期，評(píng)估小組需要聯(lián)絡(luò)其課程包含基于課程的評(píng)估、現(xiàn)場(chǎng)經(jīng)驗(yàn)評(píng)估的教師，聯(lián)系項(xiàng)目協(xié)調(diào)員以協(xié)助數(shù)據(jù)收集后續(xù)行動(dòng)，以通信形式共享數(shù)據(jù)收集的時(shí)間節(jié)點(diǎn)和方向。在秋季學(xué)期中期，評(píng)估小組需要收集雇主調(diào)查或焦點(diǎn)小組數(shù)據(jù)；在春季學(xué)期中期，需要收集校友調(diào)查數(shù)據(jù)（畢業(yè)后1-3年），根據(jù)需要開(kāi)展校友焦點(diǎn)小組和雇主焦點(diǎn)小組。在學(xué)期末，需要為關(guān)鍵轉(zhuǎn)折點(diǎn)評(píng)估收集基于課程的評(píng)估和實(shí)習(xí)經(jīng)驗(yàn)的數(shù)據(jù)。在學(xué)期結(jié)束后，評(píng)估小組需要生成數(shù)據(jù)報(bào)告并將其分發(fā)給項(xiàng)目負(fù)責(zé)人和利益相關(guān)者，項(xiàng)目負(fù)責(zé)人分析評(píng)估結(jié)果并聯(lián)系未能達(dá)到預(yù)期水平的學(xué)生。在教師會(huì)議上，項(xiàng)目負(fù)責(zé)人將共享和分析數(shù)據(jù)，準(zhǔn)備“項(xiàng)目改進(jìn)行動(dòng)計(jì)劃”反映學(xué)生表現(xiàn)和項(xiàng)目?jī)?yōu)勢(shì)、需求和建議，實(shí)施在上一個(gè)周期中確定的更改。

同時(shí)在該評(píng)估活動(dòng)周期內(nèi)，每半年還會(huì)舉辦評(píng)估務(wù)虛會(huì)，會(huì)上教師和管理人員分析“項(xiàng)目行動(dòng)改進(jìn)計(jì)劃”，匯總數(shù)據(jù)并共享其他證據(jù)來(lái)源；教師和管理人員審查項(xiàng)目進(jìn)度，確定趨勢(shì)和模式，并編寫關(guān)于該部門的整體優(yōu)勢(shì)、需求和建議的總結(jié)性報(bào)告；在分發(fā)給院長(zhǎng)、副院長(zhǎng)和適當(dāng)?shù)睦嫦嚓P(guān)者之前，評(píng)估咨詢委員會(huì)會(huì)審查務(wù)虛會(huì)產(chǎn)生的報(bào)告。通過(guò)審查后，教師和管理人員立即實(shí)施已批準(zhǔn)的改進(jìn)建議，并由評(píng)估小組將向院長(zhǎng)和副院長(zhǎng)傳達(dá)采取的建議。從而該評(píng)估活動(dòng)周期結(jié)束，伴隨著改進(jìn)行動(dòng)的實(shí)施、收集有關(guān)改進(jìn)的數(shù)據(jù)、分析數(shù)據(jù)并與教職員工和管理人員共享，并確定最終的結(jié)果是否符合預(yù)期或是否需要進(jìn)行其他更改，然后開(kāi)啟下一個(gè)周期。

三、反饋質(zhì)量標(biāo)準(zhǔn)：CAS評(píng)估實(shí)踐的科學(xué)化數(shù)據(jù)收集與結(jié)果分析

在線高等教育的實(shí)施質(zhì)量進(jìn)行評(píng)估的過(guò)程中，對(duì)收集到的數(shù)據(jù)進(jìn)行科學(xué)化的分析是必不可少的一環(huán)，以期得出的結(jié)果能夠更好地指導(dǎo)教育質(zhì)量的改進(jìn)，為是否達(dá)到在線高等教育質(zhì)量標(biāo)準(zhǔn)提供反饋。在約翰·霍普金斯大學(xué)教育學(xué)院的實(shí)踐中，表現(xiàn)為CAS具有收集手段多樣化、評(píng)估數(shù)據(jù)豐富，以及科學(xué)合理有效的分析方法。

（一）多途徑的數(shù)據(jù)收集方式

在CAS的“年度評(píng)估活動(dòng)周期”中所需要收集的數(shù)據(jù)包括衡量學(xué)生學(xué)習(xí)成果的數(shù)據(jù)和衡量項(xiàng)目運(yùn)營(yíng)成果的數(shù)據(jù)，具體的評(píng)估手段采取直接與間接相結(jié)合的方式來(lái)收集相關(guān)數(shù)據(jù)。直接說(shuō)明學(xué)生學(xué)習(xí)成果的數(shù)據(jù)包括測(cè)驗(yàn)、考試、標(biāo)準(zhǔn)化考試、國(guó)家和州考試成績(jī)、外部和內(nèi)部考官審查、口試和綜合考試、論文、作品集、表現(xiàn)觀察記錄（Behavioral observations）等。[23]此外，學(xué)院還會(huì)開(kāi)展學(xué)生、校友、雇主的焦點(diǎn)小組訪談和跟蹤調(diào)查，以間接的方式收集可以說(shuō)明學(xué)生表現(xiàn)的數(shù)據(jù)。在相關(guān)項(xiàng)目的評(píng)估中，收集的直接說(shuō)明項(xiàng)目運(yùn)營(yíng)成果的數(shù)據(jù)包括學(xué)生留存率、畢業(yè)率、學(xué)位獲得情況、材料和設(shè)備等。同樣地，學(xué)院也會(huì)通過(guò)開(kāi)展焦點(diǎn)小組訪談等方式側(cè)面收集學(xué)生、管理人員、員工、教職員工、雇主對(duì)項(xiàng)目運(yùn)營(yíng)的看法。可以看到，教育學(xué)院對(duì)于學(xué)生成果評(píng)估和項(xiàng)目評(píng)估的標(biāo)準(zhǔn)不僅局限于直接的數(shù)據(jù)，還及時(shí)跟進(jìn)開(kāi)展焦點(diǎn)小組訪談收集言語(yǔ)、態(tài)度上的主觀信息，這對(duì)于提升學(xué)生學(xué)習(xí)成果和實(shí)施課程、項(xiàng)目、部門改進(jìn)行動(dòng)具有積極意義。

除此之外，CAS運(yùn)用數(shù)字化的平臺(tái)——TK20來(lái)收集和存儲(chǔ)評(píng)估數(shù)據(jù)。這是一種基于云計(jì)算的數(shù)據(jù)分析平臺(tái)，為高等教育機(jī)構(gòu)、教師和學(xué)生提供教育評(píng)估和管理支持。它允許用戶收集、管理和分析各種類型的數(shù)據(jù)，包括學(xué)生表現(xiàn)、課程評(píng)估、學(xué)院績(jī)效、招生、財(cái)務(wù)和教學(xué)支持服務(wù)，目標(biāo)是收集數(shù)據(jù)并使評(píng)估與在TK20中設(shè)置的項(xiàng)目學(xué)習(xí)目標(biāo)保持一致。TK20的好處在于為教育學(xué)院提供了一個(gè)跨部門、項(xiàng)目和學(xué)生層次來(lái)匯總數(shù)據(jù)的平臺(tái)。同時(shí)，TK20評(píng)估的進(jìn)行離不開(kāi)學(xué)校的IT團(tuán)隊(duì)、教師培訓(xùn)團(tuán)隊(duì)、TK20技術(shù)支持團(tuán)隊(duì)的支持和輔助。學(xué)院還向?qū)W校的IT部門尋求幫助來(lái)支持與維護(hù)包括TK20在內(nèi)的所有相關(guān)評(píng)估系統(tǒng)，并且教學(xué)設(shè)計(jì)團(tuán)隊(duì)雇傭了五名全職和三名兼職教學(xué)設(shè)計(jì)師來(lái)支持課程設(shè)計(jì)以及TK20和其他系統(tǒng)之間的作業(yè)、評(píng)估、調(diào)查和報(bào)告的整合。由此可以見(jiàn)得，數(shù)據(jù)收集和分析作為評(píng)估系統(tǒng)運(yùn)行的基礎(chǔ)，離不開(kāi)組織內(nèi)外部的技術(shù)支持和輔助。

（二）科學(xué)化的數(shù)據(jù)分析手段

在采取多樣化手段進(jìn)行收集評(píng)估數(shù)據(jù)后，對(duì)其進(jìn)行結(jié)果的分析也是至關(guān)重要的一步，直接影響下次評(píng)估循環(huán)的目標(biāo)制定與改進(jìn)。CAS運(yùn)用定量與定性分析相結(jié)合的方法進(jìn)行數(shù)據(jù)處理，定量的數(shù)據(jù)分析是主要采取使用“五分制評(píng)分標(biāo)準(zhǔn)”（five-point rubric scale）來(lái)進(jìn)行，這是一種為評(píng)估任務(wù)、作業(yè)或者項(xiàng)目而設(shè)定的準(zhǔn)則，通常包括五個(gè)不同的等級(jí)，用于衡量學(xué)生在任務(wù)完成方面的成功程度。每個(gè)等級(jí)具有一組規(guī)范性描述，用于幫助評(píng)估者確定得分，從而根據(jù)學(xué)習(xí)的結(jié)果得出被評(píng)估主體的成績(jī)，并根據(jù)實(shí)際的需要指導(dǎo)變化與改進(jìn)。定性的分析則是將相關(guān)數(shù)據(jù)編碼成為新的主題或者是向預(yù)定的主題中進(jìn)行編碼，最后得出的主題將用于改善學(xué)生體驗(yàn)、學(xué)習(xí)成果和方案。

在得出的結(jié)果運(yùn)用于迭代的質(zhì)量評(píng)估之前，CAS還需要對(duì)數(shù)據(jù)進(jìn)行信效度的檢驗(yàn)，從而構(gòu)建起科學(xué)完善的數(shù)據(jù)分析流程。對(duì)效度進(jìn)行評(píng)估時(shí)，CAS的特色在于使用“認(rèn)知訪談”（Cognitive Interviews）的定性分析方式，這是一種用于調(diào)查或評(píng)估個(gè)體對(duì)某一事件或信息的認(rèn)知過(guò)程的方法。該方法主要是通過(guò)讓被試回憶和描述自己經(jīng)歷過(guò)的事件或信息，以了解其對(duì)該事件或信息的理解、記憶和處理方式，以確定受訪者對(duì)項(xiàng)目的理解符合預(yù)期。認(rèn)知訪談的價(jià)值在于基于評(píng)估導(dǎo)師和被評(píng)估者的多樣性的情況下，能夠減少因文化差異與反映偏見(jiàn)導(dǎo)致評(píng)估結(jié)果差異情況的發(fā)生。[24]在對(duì)信度進(jìn)行檢驗(yàn)時(shí)，為確保一致的、高質(zhì)量的數(shù)據(jù)收集和持續(xù)的改進(jìn)周期，主要通過(guò)個(gè)人測(cè)試或知識(shí)評(píng)估、自我處置評(píng)估和基于評(píng)分者的評(píng)估的方式進(jìn)行多方法的驗(yàn)證，以推廣到示范性的領(lǐng)域。這其中，CAS重點(diǎn)關(guān)注的是“基于評(píng)分者評(píng)估”的可靠性。學(xué)院將從內(nèi)部審查員那里收集數(shù)據(jù)，以課程講師或教師顧問(wèn)以及招聘外部評(píng)價(jià)者的形式來(lái)對(duì)相關(guān)項(xiàng)目的隨機(jī)樣本進(jìn)行評(píng)分，這些評(píng)分者間的信度分析將采用定性方式檢查評(píng)分或評(píng)分標(biāo)準(zhǔn)的差異，并利用Cohen’s Kappa系數(shù)檢驗(yàn)評(píng)分者對(duì)多個(gè)項(xiàng)目的評(píng)分[25]，盡量排除個(gè)體主觀因素的干擾，以建立大學(xué)中各種評(píng)價(jià)主體對(duì)被評(píng)估對(duì)象實(shí)際評(píng)價(jià)的一致性，從而使所得出的結(jié)論更加科學(xué)合理。

四、結(jié)語(yǔ)

美國(guó)在線高等教育質(zhì)量標(biāo)準(zhǔn)從20世紀(jì)50年代起發(fā)展至今，已經(jīng)逐步形成評(píng)估對(duì)象與監(jiān)測(cè)主體多元化，以及質(zhì)量持續(xù)改進(jìn)的循環(huán)評(píng)估特征的標(biāo)準(zhǔn)框架?，F(xiàn)有研究大多是對(duì)在線高等教育質(zhì)量評(píng)估所發(fā)布的相關(guān)政策進(jìn)行宏觀層面的解讀與分析，而對(duì)約翰·霍普金斯大學(xué)教育學(xué)院的CAS這一案例的研究，既能體現(xiàn)高校層面在線高等教育質(zhì)量標(biāo)準(zhǔn)對(duì)具體實(shí)踐的指導(dǎo)，也能通過(guò)評(píng)估數(shù)據(jù)的收集與分析，檢驗(yàn)實(shí)際開(kāi)展在線教育時(shí)各主體對(duì)于質(zhì)量標(biāo)準(zhǔn)的遵循程度。

但CAS并沒(méi)有將傳統(tǒng)學(xué)位項(xiàng)目和在線學(xué)位項(xiàng)目區(qū)分開(kāi)來(lái)，而是將所有學(xué)位項(xiàng)目都統(tǒng)合在一起進(jìn)行評(píng)估和管理，這忽略了傳統(tǒng)項(xiàng)目和在線項(xiàng)目在教學(xué)、實(shí)踐等方面的差別，勢(shì)必會(huì)造成評(píng)估紕漏。2022年發(fā)布的《美國(guó)在線教育發(fā)展全景報(bào)告》的調(diào)查顯示，有96%的提供在線高等教育的機(jī)構(gòu)已為在線課程和項(xiàng)目采用了質(zhì)量保證標(biāo)準(zhǔn)，但在標(biāo)準(zhǔn)的采用和落實(shí)之間仍然存在差距。[26]這也從側(cè)面反映了雖然美國(guó)在線高等教育質(zhì)量標(biāo)準(zhǔn)已逐漸走向體系化，但高校在評(píng)估時(shí)如何能更有效更合理地貫徹落實(shí)質(zhì)量標(biāo)準(zhǔn)，在未來(lái)仍需持續(xù)的改進(jìn)與完善。