劉毓 趙云閣

關(guān)鍵詞： 教學(xué)評價; 詞典; word2vec; 支持向量機(jī); 核函數(shù); 情感分析

中圖分類號： TN911?34; TP391 ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識碼： A ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2019）06?0030?04

Abstract： A sentiment analysis method of Chinese short text based on teaching evaluation is proposed to improve the teaching quality of higher education in all aspects and the effectiveness of teaching evaluation from the perspective of supervising experts. In allusion to the strong professionality and feature sparseness for the teaching evaluation data of Chinese short text， a professional dictionary based on teaching evaluation is established. The word2vec language model is combined to train word vectors， so as to conduct dimension reduction for attribute features of teaching estimation data. The support vector machine （SVM） algorithm based on three kernels of the linear kernel， polynomial kernel and radial basis kernel is adopted to conduct sentiment classification for Chinese short text data of teaching evaluation， so as to judge the sentiment tendency of the evaluation. The experimental results show that the SVM based on the radial basis kernel function has the best sentiment classification performance， and can contribute to the improvement of teaching quality.

Keywords： teaching evaluation; dictionary; word2vec; support vector machine; kernel function; sentiment analysis

0 ?引 ?言

教學(xué)評價是依據(jù)教學(xué)目標(biāo)對教學(xué)過程及結(jié)果進(jìn)行價值判斷，并對教學(xué)方案提供決策服務(wù)的活動，是對教學(xué)活動現(xiàn)實(shí)的或者潛在的價值做出判斷的過程[1]。教學(xué)評價是各個學(xué)校中最復(fù)雜的工作之一，它需要將各方面因素和各種標(biāo)準(zhǔn)結(jié)合起來，以便為專業(yè)人士提供最終的評估結(jié)果?，F(xiàn)有的教學(xué)評價方法主要是基于客觀評價的打分機(jī)制[2]，而主觀評價中的文本信息作為教學(xué)評價的重要內(nèi)容，卻沒有得到有效利用。評價文本信息是教學(xué)評價中十分重要的一部分，這些文本信息是以半結(jié)構(gòu)化甚至非結(jié)構(gòu)化的形式呈現(xiàn)的，而現(xiàn)有的決策方法大多仍停留在人工統(tǒng)計和分析上，這無疑增加了分析的難度，無法高效地得到全面的教學(xué)分析結(jié)果。目前，解決此類問題較為理想的處理方法是文本挖掘中的情感分析[3?4]技術(shù)，其能夠有效地歸納總結(jié)教學(xué)評價文本信息，使教育工作者可以準(zhǔn)確獲得對教學(xué)各個評價指標(biāo)特征的評價意見，以輔助教學(xué)決策，全面提高高等教育教學(xué)質(zhì)量。情感分析（Sentiment Analysis）是文本挖掘和計算語言學(xué)的應(yīng)用，從文本中識別信息，對帶有情感色彩的主觀性文本進(jìn)行分析、處理、歸納和推理的過程[5]。目前，已有一些研究工作將情感分析方法用于教學(xué)評價文本信息。文獻(xiàn)[6]對來自在線課程的學(xué)生反饋英文文本意見進(jìn)行情感分析，確定情感與輟學(xué)率之間存在聯(lián)系。文獻(xiàn)[7]基于從Moodle上收集的學(xué)生英文評教信息，提出一種可以檢測學(xué)生在某些話題上的情感傾向的方法，為教師改進(jìn)教學(xué)方法提供支持。文獻(xiàn)[8]從大約1 000個西班牙語評論中，應(yīng)用基于詞典的方法、機(jī)器學(xué)習(xí)方法和混合方法，開發(fā)了一個稱為SentBuk的應(yīng)用程序，以檢索情感極性和情感變化。這些研究方法都是從學(xué)生的角度考慮，并且以英文文本分析為主，沒有從督導(dǎo)專家的角度對中文短文本教學(xué)評價信息進(jìn)行情感分析。督導(dǎo)專家的意見是評估教師教學(xué)水平和教學(xué)能力的主要因素，具有更強(qiáng)的專業(yè)性、準(zhǔn)確性和權(quán)威性，對其挖掘分析，以提高教學(xué)評價的有效性，從而提高高等教育教學(xué)質(zhì)量。本文提出中文短文本教學(xué)評價情感分析方法，從督導(dǎo)專家的角度考慮分析對教師的文本評價，建立教學(xué)評價專業(yè)詞典，并使用word2vec語言模型[9]，結(jié)合支持向量機(jī)[10]算法對中文教學(xué)評價短文本信息進(jìn)行情感分類，以提高情感分類性能，并為教學(xué)管理提供決策支持。

1 ?基于中文短文本教學(xué)評價的情感分析方法

為了實(shí)現(xiàn)中文短文本教學(xué)評價信息的有效挖掘和表達(dá)，本文提出基于中文短文本教學(xué)評價的情感分析方法。該方法首先建立教學(xué)評價專業(yè)詞典，對評價數(shù)據(jù)進(jìn)行預(yù)處理，隨后使用SVM對評價數(shù)據(jù)進(jìn)行情感極性分析。

1.1 ?建立教學(xué)評價專業(yè)詞典

詞典是文本情感分析的重要工具和基礎(chǔ)任務(wù)，詞典質(zhì)量的好壞直接影響情感分析的結(jié)果[11]。迄今為止，在中文文本情感分析中，尚未有完整的詞典能夠涵蓋所有詞匯[12]。在中文教學(xué)評價中，常會出現(xiàn)評價者使用的很多教學(xué)評價專業(yè)詞匯并不能被檢索到的現(xiàn)象，造成教學(xué)評估不全;同時，也常出現(xiàn)不同評價者使用不同的詞語來描述同一屬性特征的現(xiàn)象，造成語義混淆。這兩種現(xiàn)象既增加了專業(yè)人士的分析難度，又增加了教師得出相反性教學(xué)決策的風(fēng)險。由于中文教學(xué)評價的專業(yè)特殊性，不能直接應(yīng)用廣泛中文情感分析的詞典。所以，本文使用HowNet詞典和哈爾濱工業(yè)大學(xué)信息檢索研究中心同義詞詞林?jǐn)U展版作為基礎(chǔ)詞典，應(yīng)用Bi?Gram，Tri?Gram語言模型以及人工標(biāo)注方法建立教學(xué)評價專業(yè)詞典，以提高詞匯檢索準(zhǔn)確率和全面性。

本文建立的教學(xué)評價專業(yè)詞典包含兩部分：第一部分針對在基礎(chǔ)詞典中檢索不到的教學(xué)評價專業(yè)詞匯，建立了教學(xué)評價特征詞詞典，特征詞包括教態(tài)、前排率、抬頭率、課堂設(shè)計、案例式教學(xué);第二部分針對同義詞，建立了教學(xué)評價同義詞詞典，示例見表1。

1.2 ?提取屬性特征

本文分析督導(dǎo)專家對教師的中文文本評價數(shù)據(jù)，字?jǐn)?shù)大多在10～150字之間，內(nèi)容稀疏、特征維度高。因此，結(jié)合word2vec語言模型，提取評價數(shù)據(jù)屬性特征，并進(jìn)行特征降維處理。

實(shí)驗步驟如下：

1） 輸入教學(xué)評價文本數(shù)據(jù)。提取督導(dǎo)專家對教師的中文短文本評價數(shù)據(jù)，對文本進(jìn)行篩選，剔除無關(guān)文本（比如“今天調(diào)課”等），以產(chǎn)生評論語料庫。

2） 預(yù)處理。用結(jié)巴分詞對短文本進(jìn)行分詞，詞典方面選用HowNet詞典和哈爾濱工業(yè)大學(xué)信息檢索研究中心同義詞詞林?jǐn)U展版以及本文建立的教學(xué)評價專業(yè)詞典，去除停用詞，進(jìn)行詞性標(biāo)注（個別特殊詞語詞性進(jìn)行人工標(biāo)注）。

3） 屬性特征提取。使用第2.2節(jié)方法提取屬性特征詞，并定義特征權(quán)重。

4） 文本向量空間模型表示。將教學(xué)評價數(shù)據(jù)表示成高維空間中的向量，一個向量對應(yīng)一篇評價，向量的每一維對應(yīng)評價的一個屬性特征。

5） 分類器分類。分別應(yīng)用線性核、多項式核和徑向基核的SVM算法訓(xùn)練情感分類器，并對測試數(shù)據(jù)進(jìn)行分類。

6） 性能評估。輸出分類結(jié)果并進(jìn)行分析。

2.4 ?結(jié)果與分析

核函數(shù)分別應(yīng)用線性核、多項式核和徑向基核的SVM作為分類器，應(yīng)用K折交叉驗證法選取最優(yōu)參數(shù)，對測試數(shù)據(jù)進(jìn)行情感分類，以比較它們的分類性能。得到的實(shí)驗結(jié)果如表3所示。

由表3可以看出，在選取SVM分類器最優(yōu)參數(shù)的情況下，多項式核和徑向基核的宏平均分類準(zhǔn)確率相對持平，線性核的宏平均分類準(zhǔn)確率較差;線性核和徑向基核的宏平均識別召回率較高，多項式核宏平均識別召回率較差;而徑向基核在宏平均準(zhǔn)確率和宏平均召回率都相對較高的情況下，宏平均綜合分類率最高，性能達(dá)到最佳。在這三種核函數(shù)中，徑向基核對中文短文本教學(xué)評價數(shù)據(jù)的分類表現(xiàn)效果最好，而且相對穩(wěn)定。因此，在運(yùn)用SVM對非結(jié)構(gòu)化文本數(shù)據(jù)進(jìn)行分類時，核函數(shù)可優(yōu)先考慮徑向基核。

3 ?結(jié) ?語

教學(xué)評價文本數(shù)據(jù)是教學(xué)評價中的重要內(nèi)容，本文提出基于中文短文本教學(xué)評價的情感分析方法，建立了教學(xué)評價專業(yè)詞典，為情感分析提供分類依據(jù);評估了督導(dǎo)專家所提供的非結(jié)構(gòu)化文本評價數(shù)據(jù)，和在線性核、多項式核和徑向基核下的支持向量機(jī)的情感分類性能，有效解決了教學(xué)評價中存在的非線性文本分類問題。本文通過挖掘分析對屬性特征進(jìn)行降維，以提取與教師評價最相關(guān)的特征，進(jìn)行情感分析，可以使教師準(zhǔn)確獲得評價的反饋信息，從而能及時調(diào)整自己的教學(xué)工作，以輔助教學(xué)決策，提高教學(xué)質(zhì)量。由于教學(xué)評價中短文本數(shù)據(jù)的特征稀疏性以及評價數(shù)據(jù)的質(zhì)量將直接影響情感分類的性能，因此，如何更好地提取出教學(xué)評價短文本數(shù)據(jù)中的隱含特征、降低分類性能對評價數(shù)據(jù)的依賴性，優(yōu)化分類算法，更好地提高教學(xué)質(zhì)量等是今后研究工作的重點(diǎn)。

參考文獻(xiàn)

[1] 劉佳.第四代評價理論視閾下高校教學(xué)評價制度的反思與重建[J].教育發(fā)展研究，2015，35（17）：56?61.

LIU Jia. On higher education assessment system in the perspective of the fourth assessment theory [J]. Research in educational development， 2015， 35（17）： 56?61.

[2] 龐國楹，劉俊，魏杰.高校教師教學(xué)評價系統(tǒng)指標(biāo)及其權(quán)重取值[J].軍事交通學(xué)院學(xué)報，2015，17（5）：83?86.

PANG Guoying， LIU Jun， WEI Jie. Index of teaching evaluation system and its weights in college [J]. Journal of Academy of Military Transportation， 2015， 17（5）： 83?86.

[3] CAMBRIA E， SCHULLER B， XIA Y， et al. New avenues in opinion mining and sentiment analysis [J]. IEEE intelligent systems， 2013， 28（2）： 15?21.

[4] LIU B. Sentiment analysis and opinion mining [M]. San Francisco： Morgan & Claypool， 2012.

[5] 楊立公，朱儉，湯世平.文本情感分析綜述[J].計算機(jī)應(yīng)用，2013，33（6）：1574?1578.

YANG Ligong， ZHU Jian， TANG Shiping. Survey of text sentiment analysis [J]. Journal of computer applications， 2013， 33（6）： 1574?1578.

[6] WEN M， YANG D， ROS? C P. Sentiment analysis in MOOC discussion forums： what does it tell us？ [C]// Proceedings of 7th International Conference on Educational Data Mining. [S.l.： s.n.]， 2014： 130?137.

[7] COLACE F， SANTO M D， GRECO L. SAFE： a sentiment analysis framework for e?learning [J]. International journal of emerging technologies in learning， 2014， 9（6）： 37?41.

[8] ORTIGOSA A， MARTIN J M， CARRO R M. Sentiment analysis in Facebook and its application to e?learning [M]. Computers in human behavior， 2014， 31： 527?541.

[9] SU Z， XU H， ZHANG D， et al. Chinese sentiment classification using a neural network tool： word2vec [C]// Proceedings of International Conference on Multi?sensor Fusion and Information Integration for Intelligent Systems. Beijing： IEEE， 2014： 1?6.

[10] PENG S， HU Q， CHEN Y， et al. Improved support vector machine algorithm for heterogeneous data [J]. Pattern recognition， 2015， 48（6）： 2072?2083.

[11] 王科，夏睿.情感詞典自動構(gòu)建方法綜述[J].自動化學(xué)報，2016，42（4）：495?511.

WANG Ke， XIA Rui. A survey on automatical construction methods of sentiment lexicons [J]. Acta Automatica Sinica， 2016， 42（4）： 495?511.

[12] 牛耘，張黎，王世泓，等.基于多層次語言特征的弱監(jiān)督評論傾向性分析[J].中文信息學(xué)報，2015，29（4）：80?88.

NIU Yun， ZHANG Li， WANG Shihong， et al. Weakly supervised sentiment analysis based on multi?level linguistic features [J]. Journal of Chinese information processing， 2015， 29（4）： 80?88.

[13] 魏晶晶，吳曉吟.電子商務(wù)產(chǎn)品評論多級情感分析的研究與實(shí)現(xiàn)[J].軟件，2013，34（9）：65?67.

WEI Jingjing， WU Xiaoyin. Research on multi?level sentiment analysis system of e?commerce product review and implementation [J]. Computer engineering & software， 2013， 34（9）： 65?67.

[14] TIAN Y J， SHI Y， LIU X H. Recent advances on support vector machines research [J]. Technological & economic development of economy， 2012， 18（1）： 5?33.

[15] LEE L H， WAN C H， RAJKUMAR R， et al. An enhanced support vector machine classification framework by using Euclidean distance function for text document categorization [J]. Applied intelligence， 2012， 37（1）： 80?99.

[16] CORANI G， BENAVOLI A. A Bayesian approach for comparing cross?validated algorithms on multiple data sets [J]. Machine learning， 2015， 100（2）： 285?304.