王金水 郭偉文 唐鄭熠

摘 要：現(xiàn)有主觀題自動(dòng)評(píng)分方法大多無(wú)法識(shí)別電力系統(tǒng)領(lǐng)域的專業(yè)術(shù)語(yǔ)，且在評(píng)分過(guò)程中易遺漏文本間的語(yǔ)義關(guān)系，進(jìn)而導(dǎo)致其評(píng)分結(jié)果與人工評(píng)分結(jié)果偏差較大，無(wú)法滿足實(shí)際考試的要求。針對(duì)這些問(wèn)題，本文提出一種基于領(lǐng)域本體和依存句法分析的主觀題自動(dòng)評(píng)分方法。該方法綜合了節(jié)點(diǎn)距離相似度、節(jié)點(diǎn)信息相似度、通用詞語(yǔ)相似度和依存句法搭配詞對(duì)相似度等因素，并將電力系統(tǒng)領(lǐng)域本體引入到評(píng)分過(guò)程中，進(jìn)而提高評(píng)分結(jié)果的有效性。實(shí)驗(yàn)結(jié)果表明：與現(xiàn)有方法相比，本文評(píng)分方法在主觀題自動(dòng)評(píng)分中更貼近人工評(píng)分結(jié)果，在MAE、RMSE和SMAPE指標(biāo)上優(yōu)于其他方法。

關(guān)鍵詞：自動(dòng)評(píng)分;主觀題評(píng)分;領(lǐng)域本體;依存句法分析;語(yǔ)義關(guān)系

中圖分類號(hào)：TP314

文獻(xiàn)標(biāo)識(shí)碼： A

隨著大數(shù)據(jù)、物聯(lián)網(wǎng)和人工智能的新興技術(shù)不斷向教育領(lǐng)域、工業(yè)領(lǐng)域等滲透，在教育領(lǐng)域中人工智能技術(shù)愈發(fā)普及使得其發(fā)揮著不可或缺的作用。在教學(xué)過(guò)程中，將人工智能應(yīng)用到教學(xué)輔助學(xué)習(xí)中，可以有效地提高工作效率并提高教學(xué)質(zhì)量。通過(guò)自動(dòng)評(píng)分系統(tǒng)的應(yīng)用，教師不僅可以減少閱卷的工作量，而且可以使閱卷結(jié)果更加公平公正。主觀題自動(dòng)評(píng)分系統(tǒng)的實(shí)現(xiàn)也是目前廣大學(xué)者研究的重點(diǎn)和難點(diǎn)[1-2]?，F(xiàn)有的自動(dòng)評(píng)分系統(tǒng)已經(jīng)解決了客觀題的評(píng)分問(wèn)題，但對(duì)于主觀題評(píng)分的實(shí)現(xiàn)，困難更多且要求更高。一方面，主觀題自動(dòng)評(píng)分系統(tǒng)的建立需要較為成熟的自然語(yǔ)言處理技術(shù)以及人工智能技術(shù)等;另一方面，答案文本的多樣性和靈活性造成計(jì)算機(jī)對(duì)于文本的理解和人類對(duì)于文本的理解出現(xiàn)偏差。因此，構(gòu)建具有普適性的主觀題自動(dòng)評(píng)分系統(tǒng)的難度系數(shù)非常大。研究者通過(guò)分析現(xiàn)有的主觀題自動(dòng)評(píng)分系統(tǒng)中的運(yùn)用技術(shù)和評(píng)分模型，可以更深入地理解自動(dòng)評(píng)分系統(tǒng)。而且自然語(yǔ)言處理以及本體和知識(shí)圖譜的快速發(fā)展也為研究者提供了新的研究思路和研究方式。

主觀題自動(dòng)評(píng)分方法基于學(xué)生答案文本與參考答案文本的相似度進(jìn)行評(píng)分。兩者的相似程度越高，則學(xué)生答案的得分就越高[3]?，F(xiàn)階段，詞語(yǔ)相似度和句子相似度是主觀題自動(dòng)評(píng)分系統(tǒng)評(píng)分的主要依據(jù)。

詞語(yǔ)相似度計(jì)算大體分為基于語(yǔ)義詞典的方法[4]和基于大規(guī)模語(yǔ)料庫(kù)統(tǒng)計(jì)的方法[5]。其中，基于語(yǔ)義詞典的方法在自動(dòng)評(píng)分系統(tǒng)中的應(yīng)用最為廣泛。特別地，

漢語(yǔ)主觀題自動(dòng)評(píng)分方法多數(shù)使用知網(wǎng)語(yǔ)料庫(kù)和同義詞詞林作為詞語(yǔ)相似度計(jì)算的語(yǔ)義知識(shí)源。對(duì)于句子相似度，很多學(xué)者從不同角度提出各種計(jì)算方法，主要有基于相同詞匯的方法[6]、基于編輯距離的方法[7]、基于向量空間的方法[8]、基于詞語(yǔ)語(yǔ)義的方法[9]和基于句子結(jié)構(gòu)分析的方法[10]等。

目前，自動(dòng)評(píng)分系統(tǒng)大多無(wú)法識(shí)別用于電力系統(tǒng)分析領(lǐng)域的專業(yè)術(shù)語(yǔ)，且在評(píng)分過(guò)程中易遺漏文本間的語(yǔ)義關(guān)系，從而導(dǎo)致其評(píng)分結(jié)果與人工評(píng)分結(jié)果的偏差較大。針對(duì)這一問(wèn)題，本文將電力系統(tǒng)分析領(lǐng)域本體和同義詞詞林作為詞語(yǔ)相似度計(jì)算的語(yǔ)義知識(shí)源，增強(qiáng)評(píng)分系統(tǒng)對(duì)專業(yè)術(shù)語(yǔ)與語(yǔ)義關(guān)系的辨識(shí)能力。此外，現(xiàn)有的主觀題評(píng)分方法僅考慮文本的少量特征信息，不能較為全面地衡量學(xué)生答案與參考答案在不同角度的相似度。

本文綜合考慮詞語(yǔ)的表層信息和結(jié)構(gòu)信息、詞語(yǔ)之間的語(yǔ)義關(guān)系以及依存句法的結(jié)構(gòu)信息，進(jìn)而更加準(zhǔn)確地進(jìn)行句子相似度計(jì)算。針對(duì)主觀題自動(dòng)評(píng)分方法存在的不足，本文根據(jù)詞語(yǔ)相似度計(jì)算方法和句子相似度計(jì)算方法，提出基于領(lǐng)域本體和依存句法分析的主觀題自動(dòng)評(píng)分方法，將專業(yè)術(shù)語(yǔ)相似度計(jì)算和多個(gè)重要特征信息考慮在內(nèi)，有效地提高了主觀題自動(dòng)評(píng)分結(jié)果的準(zhǔn)確性。

1 相關(guān)工作

近年來(lái)，自然語(yǔ)言處理的應(yīng)用領(lǐng)域愈發(fā)廣泛，并成為眾多領(lǐng)域的研究熱點(diǎn)[11]。國(guó)內(nèi)外學(xué)者在主觀題自動(dòng)評(píng)分過(guò)程中引入自然語(yǔ)言處理技術(shù)，以提高答案文本間相似度計(jì)算的準(zhǔn)確度。

高思丹等[12]利用動(dòng)態(tài)編程模式的方法設(shè)計(jì)了句子相似度計(jì)算方法，對(duì)句子進(jìn)行淺層的句法結(jié)構(gòu)分析，但該方法存在評(píng)分準(zhǔn)確度不高的問(wèn)題。蘇方方[13]運(yùn)用句框架技術(shù)并引入本體庫(kù)，在此基礎(chǔ)上提出了一種基于句框架的自動(dòng)評(píng)分方法，從而提高了評(píng)分結(jié)果準(zhǔn)確度的精度。

張均勝等[14]結(jié)合人工制定文本相似標(biāo)準(zhǔn)、詞語(yǔ)集合及詞語(yǔ)次序和同義詞的短文本相似度計(jì)算方法，設(shè)計(jì)并實(shí)現(xiàn)相應(yīng)文本主觀題閱卷系統(tǒng)，使得自動(dòng)閱卷結(jié)果接近人工閱卷結(jié)果。田久樂(lè)等[15-16]提出了基于同義詞詞林和知網(wǎng)語(yǔ)料庫(kù)的詞語(yǔ)相似度計(jì)算方法，通過(guò)擴(kuò)充可計(jì)算詞語(yǔ)的范圍，提高了詞語(yǔ)相似度計(jì)算的準(zhǔn)確率。曹建奇[17] 引入相似詞計(jì)算模型，并提出了成分關(guān)系相似度計(jì)算方法，從而改進(jìn)了句子相似度計(jì)算方法的準(zhǔn)確率。陳賢武等[18]從關(guān)鍵詞、句法、語(yǔ)義三方面的文本特征建立以語(yǔ)義為核心的多特征相似度計(jì)算模型，提出了基于語(yǔ)句相似度的主觀題自動(dòng)閱卷評(píng)分方法。王逸凡等[19]基于語(yǔ)義相似度以及命名實(shí)體識(shí)別目標(biāo)關(guān)鍵詞兩方面，提出了一種主觀題自動(dòng)評(píng)分方法，該方法解決了過(guò)長(zhǎng)文本詞語(yǔ)相似度計(jì)算匹配效率低的問(wèn)題。郭炳元[20]引入具有權(quán)重的語(yǔ)義依存樹，提出了基于語(yǔ)義樹的短文本相似度計(jì)算方法的自動(dòng)評(píng)分系統(tǒng)。

雖然現(xiàn)有的評(píng)分方法能夠?qū)崿F(xiàn)對(duì)主觀題的自動(dòng)評(píng)分，但是對(duì)于一些專業(yè)性較強(qiáng)的領(lǐng)域，不論是采用基于改進(jìn)的同義詞詞林的方法還是基于知網(wǎng)語(yǔ)料庫(kù)的方法，都難于準(zhǔn)確地計(jì)算專業(yè)術(shù)語(yǔ)之間的相似度。由于領(lǐng)域本體與通用詞庫(kù)之間存在極強(qiáng)的互補(bǔ)性，因此可以在評(píng)分過(guò)程中將兩者進(jìn)行結(jié)合，不僅能夠準(zhǔn)確地識(shí)別答案文本中的專業(yè)術(shù)語(yǔ)，還能有效地利用文本間的語(yǔ)義關(guān)系計(jì)算學(xué)生答案與參考答案的相似度。

2 基于領(lǐng)域本體和依存句法分析的評(píng)分方法

2.1 主觀題自動(dòng)評(píng)分模型

基于詞形相似度和搭配詞對(duì)相似度，本文提出了一種可用于電力系統(tǒng)領(lǐng)域的主觀題自動(dòng)評(píng)分方法。自動(dòng)評(píng)分模型如圖1所示。首先，將電力系統(tǒng)分析領(lǐng)域的專業(yè)詞匯導(dǎo)入漢語(yǔ)處理包（Han language processing， HanLP）的詞典中，以提高系統(tǒng)對(duì)專業(yè)術(shù)語(yǔ)的分詞能力，并利用HanLP對(duì)文本數(shù)據(jù)進(jìn)行中文分詞、詞性標(biāo)注、句法分析等預(yù)處理操作。其次，可將答案文本所包含的詞語(yǔ)分為專業(yè)術(shù)語(yǔ)和通用詞語(yǔ)，并利用電力系統(tǒng)分析領(lǐng)域本體和同義詞詞林分別計(jì)算專業(yè)術(shù)語(yǔ)之間以及通用詞語(yǔ)之間的詞語(yǔ)相似度。再次，通過(guò)結(jié)合詞形相似度和搭配詞對(duì)相似度的計(jì)算結(jié)果，得到學(xué)生答案文本與參考答案文本的句子相似度。最后，從學(xué)生答案文本與所有參考答案文本的相似度計(jì)算結(jié)果中取出最大值，將其作為學(xué)生答案的最終得分。

2.2 詞語(yǔ)相似度計(jì)算方法

2.2.1 專業(yè)術(shù)語(yǔ)相似度計(jì)算

專業(yè)術(shù)語(yǔ)相似度是通過(guò)引入電力系統(tǒng)分析領(lǐng)域本體進(jìn)行計(jì)算。領(lǐng)域本體可以看成有向圖G（V，E），表示專業(yè)術(shù)語(yǔ)間的關(guān)系，其中：V表示在有向圖上所有節(jié)點(diǎn)集合，每個(gè)節(jié)點(diǎn)代表領(lǐng)域本體的概念;E表示有向圖中邊的集合，每條邊表示概念間的某種語(yǔ)義關(guān)系。專業(yè)術(shù)語(yǔ)相似度計(jì)算綜合了節(jié)點(diǎn)距離和節(jié)點(diǎn)信息兩個(gè)因素。

在有向圖中，計(jì)算節(jié)點(diǎn)距離相似度需確定有向邊的權(quán)重和節(jié)點(diǎn)間的最短路徑。其中，影響節(jié)點(diǎn)有向邊的因素有節(jié)點(diǎn)間的關(guān)系、節(jié)點(diǎn)深度和節(jié)點(diǎn)密度。綜上所述，節(jié)點(diǎn)h和節(jié)點(diǎn)k之間的有向邊權(quán)重可表示為式（1）：

式中：Wr表示節(jié)點(diǎn)關(guān)系權(quán)重，Wp表示節(jié)點(diǎn)密度權(quán)重，Wd表示節(jié)點(diǎn)深度權(quán)重; φ1、φ2、φ3為調(diào)節(jié)因子，取值范圍為（0，1），且φ1+φ2+φ3=1。綜合考慮節(jié)點(diǎn)間的關(guān)系、節(jié)點(diǎn)密度和節(jié)點(diǎn)深度在電力系統(tǒng)分析領(lǐng)域本體和節(jié)點(diǎn)距離相似度計(jì)算中的地位和作用[21]， 調(diào)節(jié)因子φ1、φ2、φ3可分別設(shè)置為0.6、0.2、0.2。

確定有向邊的權(quán)重后，節(jié)點(diǎn)與節(jié)點(diǎn)之間的語(yǔ)義距離就是路徑中有向邊權(quán)重的總和。定義父節(jié)點(diǎn)Ph和節(jié)點(diǎn)h的語(yǔ)義距離公式如式（2）：

2.2.2 通用詞語(yǔ)相似度計(jì)算

對(duì)于通用詞語(yǔ)相似度計(jì)算，本文使用改進(jìn)的同義詞詞林相似度計(jì)算方法。同義詞詞林通過(guò)五層樹形結(jié)構(gòu)來(lái)構(gòu)建詞林，根據(jù)從底層到高層（D1→D2→D3→D4→D5）的順序，對(duì)連接上下兩層的有向邊語(yǔ)義距離給予不同權(quán)重。參考朱新華等[16]的實(shí)驗(yàn)設(shè)計(jì)，將有向邊的權(quán)重分別設(shè)置為 W1=2.5，W2=1，W3=2.5，W4=0.5。詞語(yǔ)y1和詞語(yǔ)y2的語(yǔ)義距離計(jì)算如式（7）：

在改進(jìn)的同義詞詞林方法中，詞語(yǔ)的連接路徑是影響詞語(yǔ)相似度的主要因素，而最低公共父節(jié)點(diǎn)的節(jié)點(diǎn)密度N和間隔距離K屬于次要因素。因此，可將節(jié)點(diǎn)密度N和間隔距離K作為調(diào)節(jié)因子加入到詞語(yǔ)相似度計(jì)算中，那么通用詞語(yǔ)y1和詞語(yǔ)y2的基于同義詞詞林的相似度計(jì)算如式（8）：

2.3 句子相似度計(jì)算

2.3.1 搭配詞對(duì)提取改進(jìn)算法

通過(guò)依存句法分析等預(yù)處理后，能提取文本中詞語(yǔ)間的關(guān)系，將詞語(yǔ)間的關(guān)系定義為搭配詞對(duì)。搭配詞對(duì)是由中心詞、依存詞和詞語(yǔ)的關(guān)系構(gòu)成，表示形式為（中心詞，關(guān)系類型，依存詞）。

改進(jìn)的搭配詞對(duì)提取算法流程如圖2所示。通過(guò)該提取方法，可以降低語(yǔ)義冗余，提高評(píng)分算法的準(zhǔn)確性。答案文本經(jīng)過(guò)預(yù)處理后，可表示為：

2.3.2 詞形相似度計(jì)算

詞形的相似度反映句子的詞語(yǔ)信息，是用學(xué)生答案和參考答案兩組文本的相似詞匯的個(gè)數(shù)來(lái)衡量，反映句子的表層詞語(yǔ)信息。參考答案文本S1和學(xué)生答案文本S2的詞形相似度計(jì)算如式（9）：

2.3.3 搭配詞對(duì)相似度計(jì)算

影響搭配詞對(duì)相似度計(jì)算的因素有兩點(diǎn)：一是兩組搭配詞對(duì)關(guān)系類型的匹配程度;二是搭配詞對(duì)的中心詞和依存詞的語(yǔ)義權(quán)重。在同一關(guān)系類型中，中心詞在句子中是作為邏輯關(guān)系的樞紐，而依存詞更多地體現(xiàn)搭配詞對(duì)中結(jié)構(gòu)信息和語(yǔ)義信息的特征。因此在搭配詞對(duì)相似度計(jì)算時(shí)，賦予中心詞的權(quán)重和依存詞的權(quán)重是不一致的，并且中心詞的權(quán)重要小于依存詞。

2.3.4 句子相似度計(jì)算

考慮到答案文本的多樣性，為了避免造成較大的文本相似度誤差以及語(yǔ)義組合帶來(lái)的差異，本文綜合考慮專業(yè)術(shù)語(yǔ)、通用詞語(yǔ)、詞形相似度以及搭配詞對(duì)相似度等關(guān)鍵因素，得到參考答案文本S1和學(xué)生答案文本S2的相似度計(jì)算如式（14）：

2.4 學(xué)生答案得分計(jì)算

由于在主觀題考試中，往往存在同一問(wèn)題擁有多個(gè)參考答案的情況?？紤]到預(yù)先給定的參考答案無(wú)法包含學(xué)生所有的答案文本，因此通過(guò)構(gòu)建參考答案集，將學(xué)生答案文本與不同的參考答案文本進(jìn)行相似度計(jì)算，最后取其中的最大值作為學(xué)生的最終得分。學(xué)生答案得分計(jì)算公式如式（15）：

式中，ST1，ST2，STn分別表示學(xué)生答案文本與第1個(gè)參考答案文本、第2個(gè)參考答案文本以及第n個(gè)參考答案文本的相似度計(jì)算得分。

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

為了驗(yàn)證本文所提出的主觀題自動(dòng)評(píng)分方法的有效性，本節(jié)通過(guò)實(shí)驗(yàn)將該方法與基于漢語(yǔ)依存句法分析的評(píng)分方法（評(píng)分方法1）[22]、基于短文本相似度計(jì)算的評(píng)分方法（評(píng)分方法2）[14]、基于語(yǔ)義相似度及命名實(shí)體識(shí)別的評(píng)分方法（評(píng)分方法3）[19]進(jìn)行比較。實(shí)驗(yàn)數(shù)據(jù)來(lái)自一場(chǎng)《電力系統(tǒng)分析》課程的主觀題期末考試，考試包含10道簡(jiǎn)答題。該考試于2020年1月進(jìn)行，有76名福建工程學(xué)院電氣工程及其自動(dòng)化專業(yè)的本科生參與此次實(shí)驗(yàn)。最終，我們隨機(jī)抽取10份學(xué)生提交的答卷，并使用教師人工閱卷的評(píng)分結(jié)果作為基準(zhǔn)數(shù)據(jù)，以此作為本次實(shí)驗(yàn)分析的數(shù)據(jù)集。

3.2 評(píng)價(jià)指標(biāo)

主觀題自動(dòng)評(píng)分方法的計(jì)算結(jié)果可以通過(guò)各種相關(guān)性和一致性的測(cè)量方法與教師評(píng)分結(jié)果進(jìn)行對(duì)比，通過(guò)相關(guān)性和一致性結(jié)果評(píng)判不同評(píng)分方法的優(yōu)劣。常見(jiàn)的測(cè)量方法包括平均絕對(duì)誤差（mean absolute error， MAE）、均方根誤差（root mean square error， RMSE）、對(duì)稱平均絕對(duì)百分比誤差（symmetric mean absolute percentage error， SMAPE）。這些測(cè)量方法的計(jì)算公式如下：

其中：A和P分別代表實(shí)際值和預(yù)測(cè)值，n代表樣本大小。MAE和RMSE的取值在（0，1）。另外，3個(gè)指標(biāo)是負(fù)向得分，數(shù)值越低性能越好。

3.3 結(jié)果與分析

本文所提出的主動(dòng)評(píng)分方法和其它評(píng)分方法的評(píng)分結(jié)果如表1所示。相對(duì)于其它評(píng)分方法，本文所提出的評(píng)分方法計(jì)算得到的分?jǐn)?shù)與教師評(píng)分的分?jǐn)?shù)擬合度最高。具體地，對(duì)于題號(hào)為5、7、9和10的題目，由于這些題目中涉及的電力系統(tǒng)分析領(lǐng)域的專業(yè)詞匯較少，本文方法所引入的電力系統(tǒng)分析領(lǐng)域本體沒(méi)有產(chǎn)生較大的影響，因此最終的評(píng)分結(jié)果與其他評(píng)分方法評(píng)分結(jié)果差異并不明顯。然而，對(duì)于其它答案文本包含較多專業(yè)術(shù)語(yǔ)的題目，本文方法構(gòu)建的領(lǐng)域本體以及改進(jìn)的搭配詞對(duì)的計(jì)算算法，能夠準(zhǔn)確地進(jìn)行專業(yè)詞匯相似度計(jì)算及句法分析，有效地提高語(yǔ)句相似度計(jì)算的準(zhǔn)確性。相對(duì)地，由于其他評(píng)分方法無(wú)法準(zhǔn)確地識(shí)別專業(yè)術(shù)語(yǔ)并遺漏文本間的語(yǔ)義關(guān)系，最終導(dǎo)致其評(píng)分結(jié)果與教師評(píng)分的結(jié)果偏差較大。

4 結(jié)束語(yǔ)

針對(duì)現(xiàn)有主觀題自動(dòng)評(píng)分方法無(wú)法有效識(shí)別領(lǐng)域?qū)I(yè)術(shù)語(yǔ)，以及在評(píng)分過(guò)程中易遺漏文本間的語(yǔ)義關(guān)系的問(wèn)題，本文引入電力系統(tǒng)分析領(lǐng)域本體，并綜合節(jié)點(diǎn)距離相似度、節(jié)點(diǎn)信息相似度、詞形相似度和搭配詞對(duì)相似度等特征信息，提出了一種基于領(lǐng)域本體和依存句法分析的主觀題自動(dòng)評(píng)分方法。實(shí)驗(yàn)結(jié)果顯示，相對(duì)于其他3種自動(dòng)評(píng)分方法，本文所提出的自動(dòng)評(píng)分方法與教師的評(píng)分結(jié)果更為接近，并且在MAE、RMSE和SMAPE指標(biāo)上都優(yōu)于其它方法。但由于構(gòu)建評(píng)分?jǐn)?shù)據(jù)集需耗費(fèi)巨大的人力資源，導(dǎo)致實(shí)驗(yàn)所使用的數(shù)據(jù)集規(guī)模較小且涉及的題目類型也較為單一，從而無(wú)法全面地評(píng)估自動(dòng)化評(píng)分方法的有效性和普適性。因此，如何通過(guò)自動(dòng)標(biāo)注等方法構(gòu)建一個(gè)可用于深度研究和對(duì)比各類自動(dòng)評(píng)分策略的評(píng)分?jǐn)?shù)據(jù)集，將是我們后續(xù)的一個(gè)研究工作。

參考文獻(xiàn)：

[1]曹玉嬋， 左映龍. 淺析在線考試主觀題智能閱卷算法的設(shè)計(jì)與實(shí)現(xiàn)[J]. 價(jià)值工程， 2014， 33（17）： 231-233.

[2]翟雷， 邢國(guó)春. 大數(shù)據(jù)環(huán)境下人工智能技術(shù)在教育領(lǐng)域的應(yīng)用研究[J]. 情報(bào)科學(xué)， 2019， 37： 127-132.

[3]劉逸雪， 盧雨軒， 丁亮， 等. 基于 Bi-LSTM 的數(shù)學(xué)主觀題自動(dòng)閱卷方法[J]. 管理觀察， 2018（2）： 109-113.

[4]裘江南， 羅志成， 王延章. 基于中文語(yǔ)義詞典的語(yǔ)義相關(guān)度方法比較研究[J]. 情報(bào)理論與實(shí)踐， 2008（5）： 77-81.

[5]石靜， 吳云芳， 邱立坤， 等. 基于大規(guī)模語(yǔ)料庫(kù)的漢語(yǔ)詞義相似度計(jì)算方法[J]. 中文信息學(xué)報(bào)， 2013， 27（1）： 1-7.

[6]李偉. 中文語(yǔ)句相似度計(jì)算的方法初探[J]. 蘭州工業(yè)學(xué)院學(xué)報(bào)， 2009， 16（4）： 1-3.

[7]劉寶艷， 林鴻飛， 趙晶. 基于改進(jìn)編輯距離和依存文法的漢語(yǔ)句子相似度計(jì)算[J]. 計(jì)算機(jī)應(yīng)用與軟件， 2008（7）： 39-40.

[8]蘇小虎. 基于改進(jìn)VSM的句子相似度研究[J]. 計(jì)算機(jī)技術(shù)與發(fā)展， 2009， 19（8）： 113-116.

[9]張艷杰， 邵雄凱， 劉建舟. 一種基于語(yǔ)義與結(jié)構(gòu)的句子相似度計(jì)算方法[J]. 湖北工業(yè)大學(xué)學(xué)報(bào)， 2015， 30（5）： 82-85.

[10]劉寶艷， 林鴻飛， 趙晶. 基于改進(jìn)編輯距離和依存文法的漢語(yǔ)句子相似度計(jì)算[J]. 計(jì)算機(jī)應(yīng)用與軟件， 2008（7）： 39-40.

[11]GUO W W， HUANG L L， PAN J S. A review of the development and application of natural language processing[C]//Genetic and Evolutionary Computing： Proceedings of the Thirteenth International Conference on Genetic and Evolutionary Computing， November 1-3， 2019， Qingdao， China. Springer Nature， 2020， 1107： 437.

[12]高思丹， 袁春風(fēng). 語(yǔ)句相似度計(jì)算在主觀題自動(dòng)批改技術(shù)中的初步應(yīng)用[J]. 計(jì)算機(jī)工程與應(yīng)用， 2004， 40（14）： 132-135.

[13]蘇方方. 基于領(lǐng)域本體和句框架的主觀題自動(dòng)閱卷算法研究[D]. 桂林： 廣西師范大學(xué)， 2012.

[14]張均勝， 石崇德， 徐紅姣， 等. 一種基于短文本相似度計(jì)算的主觀題自動(dòng)閱卷方法[J]. 圖書情報(bào)工作， 2014， 58（19）： 31-38.

[15]田久樂(lè)， 趙蔚. 基于同義詞詞林的詞語(yǔ)相似度計(jì)算方法[J]. 吉林大學(xué)學(xué)報(bào)（信息科學(xué)版）， 2010（6）： 602-608.

[16]朱新華， 馬潤(rùn)聰， 孫柳， 等. 基于知網(wǎng)與詞林的詞語(yǔ)語(yǔ)義相似度計(jì)算[J]. 中文信息學(xué)報(bào)， 2016， 30（4）： 29-36.

[17]曹建奇. 基于自然語(yǔ)言處理的主觀題自動(dòng)評(píng)分系統(tǒng)的研究與實(shí)現(xiàn)[D]. 北京： 北京工業(yè)大學(xué)， 2015.

[18]陳賢武， 劉道波. 基于語(yǔ)句相似度的主觀試題自動(dòng)閱卷模型研究[J]. 武漢大學(xué)學(xué)報(bào) （工學(xué)版）， 2018（7）： 14.

[19]王逸凡， 李國(guó)平. 基于語(yǔ)義相似度及命名實(shí)體識(shí)別的主觀題自動(dòng)評(píng)分方法[J]. 電子測(cè)量技術(shù)， 2019（2）： 17.

[20]郭炳元. 基于語(yǔ)義樹的短文本相似度算法研究與應(yīng)用[D]. 湘潭： 湘潭大學(xué)， 2019.

[21]劉宏哲， 須德. 基于本體的語(yǔ)義相似度和相關(guān)度計(jì)算研究綜述[J]. 計(jì)算機(jī)科學(xué)， 2012， 39（2）： 8-13.

[22]趙白玉. 基于漢語(yǔ)依存句法分析的主觀題自動(dòng)評(píng)分研究[D]. 長(zhǎng)沙： 湖南大學(xué)， 2012.

（責(zé)任編輯：曾 晶）