基于數(shù)據(jù)挖掘的高校教改項(xiàng)目評(píng)審機(jī)制研究

王佳樂(lè)，方剛

（重慶三峽學(xué)院，重慶404100）

0 引言

高質(zhì)量的高等教育教學(xué)改革項(xiàng)目研究將直接影響著學(xué)校教育教學(xué)管理的成效，決定著高?？沙掷m(xù)建設(shè)與發(fā)展的命運(yùn)[1]。為了建立科學(xué)的、合理的、符合實(shí)際的項(xiàng)目評(píng)審機(jī)制，項(xiàng)目組織部門(mén)開(kāi)展了項(xiàng)目評(píng)審[2]、項(xiàng)目監(jiān)管[3]和項(xiàng)目管理[4]的機(jī)制研究；高等院校更熱衷于項(xiàng)目評(píng)審管理機(jī)制研究，如文獻(xiàn)[5]探討了基于帕累托定律模型的高?？蒲许?xiàng)目評(píng)審機(jī)制；文獻(xiàn)[6]對(duì)高職院校教改項(xiàng)目評(píng)審機(jī)制進(jìn)行了優(yōu)化研究。隨著大數(shù)據(jù)技術(shù)的廣泛應(yīng)用，基于智能信息化的項(xiàng)目評(píng)審研究掀起了高潮，如文獻(xiàn)[7]提出一種面向工作分解結(jié)構(gòu)的評(píng)審人員指派方法；文獻(xiàn)[8]通過(guò)對(duì)抗性設(shè)計(jì)方法解決項(xiàng)目評(píng)審中的社會(huì)倫理問(wèn)題，為專家、申請(qǐng)者、大眾提供爭(zhēng)論和表達(dá)異議的民主環(huán)境；文獻(xiàn)[9]針對(duì)評(píng)審過(guò)程的不透明帶來(lái)了評(píng)估不公正、結(jié)果不準(zhǔn)確的隱患，探討了大數(shù)據(jù)信息化項(xiàng)目在第三方服務(wù)模式下的評(píng)審。如何立項(xiàng)建設(shè)高質(zhì)量的教育教學(xué)改革項(xiàng)目？這向教育教學(xué)改革項(xiàng)目評(píng)審工作提出了嚴(yán)峻的挑戰(zhàn)，可見(jiàn)，研究其評(píng)審機(jī)制具有重要的現(xiàn)實(shí)意義和應(yīng)用價(jià)值。

1 項(xiàng)目評(píng)審過(guò)程中存在的問(wèn)題

（1）評(píng)審專家來(lái)源單一獨(dú)特

項(xiàng)目組織管理部門(mén)在評(píng)審時(shí)選擇評(píng)審專家的方式不一樣，有的選擇具有單一性，在學(xué)科布局上不夠合理，不能夠做到本校學(xué)科全覆蓋；如選擇優(yōu)勢(shì)學(xué)科帶頭人作為專家，而其它學(xué)科的項(xiàng)目可能因不深入評(píng)審而被落選。有的選擇具有獨(dú)特性，專家組成結(jié)構(gòu)缺乏多樣化，要么是清一色的校內(nèi)各級(jí)領(lǐng)導(dǎo)，要么是清一色的教授博士，缺少一線應(yīng)用專家。

（2）評(píng)審專家?guī)旄骂l率不快

有的學(xué)校雖然建立了評(píng)審專家?guī)?，但基本是靜態(tài)的，沒(méi)有動(dòng)態(tài)淘汰專家的機(jī)制，新鮮血液補(bǔ)充不及時(shí)，專家觀念老化現(xiàn)象比較嚴(yán)重。有的學(xué)校評(píng)審項(xiàng)目聘請(qǐng)專家是臨時(shí)的，聘請(qǐng)者的主觀性很大。

（3）運(yùn)用人工智能方法計(jì)算評(píng)審結(jié)果不多

項(xiàng)目管理部門(mén)在匯總專家評(píng)審結(jié)果時(shí)，計(jì)算項(xiàng)目總成績(jī)的方式相對(duì)單一，有的運(yùn)用專家劃分的等級(jí)，分組確定立項(xiàng)名單；有的運(yùn)用專家評(píng)審的分?jǐn)?shù)，通過(guò)平均成績(jī)或加權(quán)平均成績(jī)排名來(lái)確定立項(xiàng)名單；有的運(yùn)用專家確定的名次，按比率劃分名額來(lái)確定立項(xiàng)名單。雖然這些方法在一定程度上反映了申請(qǐng)項(xiàng)目本身的質(zhì)量，但評(píng)審成績(jī)會(huì)受到來(lái)自專家職業(yè)道德、責(zé)任心和學(xué)科領(lǐng)域的影響，特別是直接按分?jǐn)?shù)來(lái)確定是有很大偏差的。目前，能夠運(yùn)用數(shù)學(xué)模型，通過(guò)人工智能的方法來(lái)評(píng)價(jià)項(xiàng)目質(zhì)量的方式很少。

2 項(xiàng)目評(píng)審機(jī)制框架及構(gòu)建

（1）項(xiàng)目評(píng)審機(jī)制架構(gòu)

大數(shù)據(jù)時(shí)代下，建立基于數(shù)據(jù)挖掘的教育教學(xué)改革項(xiàng)目評(píng)審機(jī)制，主要包括建立專家動(dòng)態(tài)調(diào)整機(jī)制、學(xué)科領(lǐng)域關(guān)聯(lián)機(jī)制、評(píng)閱成績(jī)審定機(jī)制和評(píng)審專家信譽(yù)度機(jī)制四個(gè)部分；項(xiàng)目評(píng)審機(jī)制的框架結(jié)構(gòu)如圖1所示。

圖1 項(xiàng)目評(píng)審機(jī)制框架結(jié)構(gòu)

（2）評(píng)審機(jī)制構(gòu)建思路

①建立評(píng)審專家動(dòng)態(tài)調(diào)整機(jī)制

動(dòng)態(tài)調(diào)整機(jī)制包括評(píng)審專家準(zhǔn)入機(jī)制和評(píng)審淘汰機(jī)制兩部分：評(píng)審專家準(zhǔn)入機(jī)制通過(guò)數(shù)據(jù)挖掘分類方法把專家候選人自動(dòng)添加到評(píng)審專家?guī)熘?；評(píng)審專家淘汰機(jī)制主要是用數(shù)據(jù)挖掘聚類方法把信譽(yù)度較差的專家從評(píng)審專家?guī)熘刑蕴?/p>

②建立學(xué)科領(lǐng)域關(guān)聯(lián)機(jī)制

關(guān)聯(lián)機(jī)制是將待審項(xiàng)目與評(píng)審專家進(jìn)行智能關(guān)聯(lián)，主要解決的問(wèn)題是怎樣把待審項(xiàng)目提交給最佳評(píng)審專家組，即用數(shù)據(jù)挖掘關(guān)聯(lián)分析方法提取頻繁模式，進(jìn)而生成評(píng)審專家組。

③建立評(píng)閱成績(jī)審定機(jī)制

成績(jī)審定機(jī)制是把所有評(píng)審專家的評(píng)閱成績(jī)進(jìn)行聚類分析排序，確定出立項(xiàng)建設(shè)的教改項(xiàng)目。

④建立評(píng)審專家信譽(yù)度機(jī)制

評(píng)審專家信譽(yù)度機(jī)制首先建立信譽(yù)度計(jì)算方法，每次評(píng)審結(jié)束后更新評(píng)審專家?guī)斓膶＜倚抛u(yù)度，為評(píng)審專家淘汰機(jī)制提供數(shù)據(jù)支撐。

3 建立項(xiàng)目評(píng)審機(jī)制

3.1 建立評(píng)審專家動(dòng)態(tài)調(diào)整機(jī)制，為形成優(yōu)質(zhì)評(píng)審專家?guī)斓於ɑA(chǔ)

專家?guī)熘忻總€(gè)學(xué)科領(lǐng)域的專家數(shù)對(duì)評(píng)審專家動(dòng)態(tài)調(diào)整機(jī)制影響不大，但數(shù)量要求至少兩名；評(píng)審專家準(zhǔn)入機(jī)制和淘汰機(jī)制構(gòu)建過(guò)程如下。

（1）評(píng)審專家準(zhǔn)入機(jī)制

評(píng)審專家準(zhǔn)入機(jī)制主要是把評(píng)審專家候選庫(kù)中的專家通過(guò)數(shù)據(jù)挖掘的分類方法（如決策樹(shù)方法ID3等）自動(dòng)加入到評(píng)審專家?guī)熘小?/p>

首先，確定入選專家的規(guī)則，具體描述如下：

第一規(guī)則：校內(nèi)學(xué)科領(lǐng)域全覆蓋規(guī)則；即加入候選專家可以填補(bǔ)評(píng)審專家?guī)熘袑W(xué)科領(lǐng)域空白，如果候選專家數(shù)多于填補(bǔ)名額，則選擇第二規(guī)則。

第二規(guī)則：教育教學(xué)業(yè)績(jī)分多優(yōu)先規(guī)則；即教育教學(xué)業(yè)績(jī)分?jǐn)?shù)多的先進(jìn)入評(píng)審專家?guī)?，如果教育教學(xué)業(yè)績(jī)分?jǐn)?shù)相同，則選擇第三規(guī)則。

第三規(guī)則：專業(yè)技術(shù)職稱高者優(yōu)先規(guī)則；如果職稱相同，則選擇第四規(guī)則。

第四規(guī)則：教育教學(xué)經(jīng)歷長(zhǎng)者優(yōu)先規(guī)則；如果教育教學(xué)經(jīng)歷時(shí)間相同，則選擇第五規(guī)則。

第五規(guī)則：成為專家候選人早者優(yōu)先規(guī)則；此選擇具有唯一性。

其次，轉(zhuǎn)換候選專家數(shù)據(jù)庫(kù)信息，以專家候選人為實(shí)體，確定特征（屬性）：

①是否填補(bǔ)學(xué)科領(lǐng)域，取值為：是，否。

②教育教學(xué)業(yè)績(jī)分?jǐn)?shù)，取值為：高，中，低。

③專業(yè)技術(shù)職稱，取值為：高，中。

④教育教學(xué)經(jīng)歷，取值：長(zhǎng)，中。

⑤申請(qǐng)候選時(shí)間，取值：早，遲。

最后，用分類算法（如決策樹(shù)方法ID3等）生成入選專家類和落選專家類，并將入選專家添加到評(píng)審專家?guī)熘小?/p>

（2）評(píng)審專家淘汰機(jī)制

評(píng)審專家淘汰機(jī)制主要是用數(shù)據(jù)挖掘的均值聚類算法把信譽(yù)度較差的專家從評(píng)審專家?guī)熘刑蕴?/p>

首先，把所有評(píng)審專家的信譽(yù)度構(gòu)成一個(gè)數(shù)據(jù)集合；

然后，用數(shù)據(jù)挖掘的均值聚類算法（），將評(píng)審專家根據(jù)信譽(yù)度分成兩類：信譽(yù)度較好和信譽(yù)度較差。

最后，淘汰信譽(yù)度低集合中的評(píng)審專家。

3.2 建立待審項(xiàng)目與評(píng)審專家的學(xué)科領(lǐng)域關(guān)聯(lián)機(jī)制，保障評(píng)審質(zhì)量

在評(píng)審過(guò)程中，如果領(lǐng)域?qū)＜覍?duì)待審項(xiàng)目研究的內(nèi)容不熟悉或把握不全面，可能造成誤評(píng)，影響評(píng)審成績(jī)。學(xué)科領(lǐng)域關(guān)聯(lián)機(jī)制主要是用數(shù)據(jù)挖掘的關(guān)聯(lián)分析算法把待審項(xiàng)目提交給最佳評(píng)審專家組。

首先，建立項(xiàng)目涉及領(lǐng)域和評(píng)審專家熟悉或精通領(lǐng)域的數(shù)據(jù)庫(kù)；

其次，用數(shù)據(jù)挖掘的關(guān)聯(lián)分析算法（如Apriori算法）提取頻繁模式；

最后，把支持度較高的且包含項(xiàng)目涉及領(lǐng)域的頻繁模式形成一組評(píng)審專家及其對(duì)應(yīng)的待評(píng)審項(xiàng)目。

3.3 建立評(píng)閱成績(jī)審定機(jī)制，保障評(píng)出優(yōu)質(zhì)教改項(xiàng)目

評(píng)閱成績(jī)審定機(jī)制主要是把不同評(píng)審專家評(píng)閱相同項(xiàng)目時(shí)給出的評(píng)閱成績(jī)進(jìn)行聚類分析匯總排序，確定出立項(xiàng)建設(shè)的教改項(xiàng)目。

假設(shè)有M個(gè)評(píng)審專家，從N個(gè)待審項(xiàng)目中，評(píng)選出K個(gè)建設(shè)項(xiàng)目，這里M，N，K均為整數(shù)。

首先，針對(duì)第p個(gè)專家評(píng)閱的項(xiàng)目成績(jī)進(jìn)行K均值聚類分析，聚類得到K個(gè)集合，這里令評(píng)閱成績(jī)最高所在的集合為第1個(gè)集合，最低所在的集合為第K個(gè)集合，其余依次類推，則每個(gè)項(xiàng)目的審定成績(jī)?yōu)镚p：

i表示集合排序，即第i個(gè)集合；

j表示第i個(gè)集合中的項(xiàng)目按評(píng)閱成績(jī)的排序；

ki表示第個(gè)集合中的項(xiàng)目總數(shù)，則有

其次，針對(duì)第q個(gè)項(xiàng)目，匯總來(lái)自所有評(píng)審專家的審定成績(jī)Gp，根據(jù)專家信譽(yù)度Hl計(jì)算出加權(quán)平均成績(jī)，即為項(xiàng)目的最終審定成績(jī)Gq：這里Hl為第l個(gè)評(píng)審專家的信譽(yù)度。

最后，匯總N個(gè)評(píng)審項(xiàng)目的最終審定成績(jī)Gq，選擇出前K個(gè)項(xiàng)目作為立項(xiàng)建設(shè)的教改項(xiàng)目。

3.4 建立評(píng)審專家信譽(yù)度機(jī)制，支撐評(píng)審專家動(dòng)態(tài)調(diào)整機(jī)制

專家進(jìn)入評(píng)審專家?guī)鞎r(shí)，信譽(yù)度c（0≤c≤1）定為100%，專家每參加一次評(píng)審，其信譽(yù)度就更新一次，信譽(yù)度的更新機(jī)制如下：

（1）參加一次評(píng)審的信譽(yù)度計(jì)算方式為：

本次信譽(yù)度＝專家本次評(píng)審?fù)扑]項(xiàng)目命中數(shù)/本次立項(xiàng)建設(shè)總數(shù)

（2）當(dāng)前信譽(yù)度的更新計(jì)算方式為：

當(dāng)前信譽(yù)度＝歷史信譽(yù)度×本次信譽(yù)度，或者

當(dāng)前信譽(yù)度＝（歷史信譽(yù)度+本次信譽(yù)度）/2，或者

當(dāng)前信譽(yù)度＝（歷史信譽(yù)度×+本次信譽(yù)度）/（n+1），n為參與評(píng)審次數(shù)。

4 結(jié)語(yǔ)

基于數(shù)據(jù)挖掘的教育教學(xué)改革項(xiàng)目評(píng)審機(jī)制能動(dòng)態(tài)地、公平地添加專家到數(shù)據(jù)庫(kù)，努力建立廣覆蓋面和高素質(zhì)的評(píng)審專家?guī)欤⒑侠淼貙⒃u(píng)審項(xiàng)目分配給關(guān)聯(lián)性較強(qiáng)的專家組，科學(xué)地計(jì)算評(píng)審成績(jī)得到高質(zhì)量的立項(xiàng)建設(shè)項(xiàng)目，達(dá)到項(xiàng)目評(píng)審的最終目的。