冉丈杰

（西南交通大學(xué)制造業(yè)產(chǎn)業(yè)鏈協(xié)同與信息化支撐技術(shù)四川省重點(diǎn)實(shí)驗(yàn)室，成都 611756）

0 引言

城市群發(fā)展是世界經(jīng)濟(jì)科技重心轉(zhuǎn)移的結(jié)果，近年來，城市群綜合科技服務(wù)平臺(tái)的快速成長與發(fā)展，使得線上服務(wù)交易的需求量急劇增加，同時(shí)伴隨著云計(jì)算、大數(shù)據(jù)等新興技術(shù)的迅猛發(fā)展，線上服務(wù)交易模式也迅速發(fā)展，成為綜合科技服務(wù)平臺(tái)的重要組成部分。但在服務(wù)交易中普遍存在技術(shù)需求描述模糊、技術(shù)供需文本非結(jié)構(gòu)化等現(xiàn)象，這些情況使得服務(wù)供需匹配出現(xiàn)匹配困難、匹配成功率低等問題。截至2021年4月底，國內(nèi)首創(chuàng)的技術(shù)轉(zhuǎn)移全流程服務(wù)平臺(tái)——科易網(wǎng)（www.1633.com）已發(fā)布科技成果共449565 項(xiàng)，而已簽約項(xiàng)目僅10784項(xiàng)，占比僅為2.4%。在此種背景下，針對(duì)非結(jié)構(gòu)化的技術(shù)供需文本數(shù)據(jù)，研究面向科技資源服務(wù)交易的供需匹配技術(shù)，對(duì)促進(jìn)科技服務(wù)交易的實(shí)現(xiàn)、提高科技服務(wù)交易的成功率具有重要意義。

1 國內(nèi)外研究現(xiàn)狀

當(dāng)前針對(duì)服務(wù)供需匹配技術(shù)的研究，主要包括語義匹配、特征匹配等方面，而在進(jìn)行供需匹配的過程中，又主要包括關(guān)鍵詞提取與語義相似度匹配2個(gè)部分，相關(guān)技術(shù)的研究為面向科技資源服務(wù)交易的供需匹配提供了技術(shù)支撐。

1.1 關(guān)鍵詞提取研究現(xiàn)狀

關(guān)鍵詞提取是進(jìn)行服務(wù)供需匹配的前提，目的是從非結(jié)構(gòu)化的需求文本中識(shí)別出有效的需求關(guān)鍵點(diǎn)。現(xiàn)有的研究成果主要包括以下2個(gè)方面。

（1）基于詞頻統(tǒng)計(jì)的關(guān)鍵詞提取。紀(jì)蔚蔚運(yùn)用詞頻統(tǒng)計(jì)的方法，對(duì)科學(xué)學(xué)相關(guān)文本的內(nèi)容進(jìn)行分析，研究其發(fā)展動(dòng)向和研究熱點(diǎn)。熊則見等對(duì)關(guān)鍵詞詞頻進(jìn)行統(tǒng)計(jì)，并對(duì)相關(guān)文獻(xiàn)進(jìn)行了計(jì)量分析。He 等基于傳統(tǒng)的統(tǒng)計(jì)特征（如頻率、位置等）從網(wǎng)頁中提取關(guān)鍵詞。Kuncoro等提出TF-IDF方法，對(duì)社交媒體應(yīng)用中用戶搜索的關(guān)鍵詞進(jìn)行排序。

（2）基于詞圖網(wǎng)絡(luò)的關(guān)鍵詞提取。已有的分析方法主要利用TextRank模型，根據(jù)詞語間的鄰接關(guān)系構(gòu)建詞圖網(wǎng)絡(luò)。Rahman 等提出并評(píng)估了一種新的基于TextRank 的技術(shù)，通過分析軟件變更任務(wù)的描述來自動(dòng)識(shí)別和建議搜索項(xiàng)。謝瑋等基于TextRank 算法提取論文關(guān)鍵詞，并以實(shí)現(xiàn)論文審稿分配過程的自動(dòng)化為目標(biāo)，設(shè)計(jì)了一個(gè)論文推薦系統(tǒng)。

1.2 語義相似度匹配研究現(xiàn)狀

2013年Google 公司開發(fā)了一款用于訓(xùn)練詞向量的軟件工具word2vec，其可根據(jù)給定的語料庫將一個(gè)詞語表達(dá)成向量形式。Xue 等基于語義方向點(diǎn)式相似距離模型，提出了一種使用word2vec 工具的情感詞典構(gòu)建模型。此外，寧建飛等將word2vec 與TextRank 模型進(jìn)行有效融合，夏天將百科知識(shí)以詞向量的形式融入TextRank 模型，改進(jìn)單文檔關(guān)鍵詞抽取效果。但word2vec 在處理大規(guī)模語料時(shí)速度較慢，鑒于這個(gè)問題，Pennington 等綜合了LSA（latent semantic analysis）和word2vec 中CBOW 模型的優(yōu)點(diǎn)，于2014年開發(fā)了GloVe 模型，充分考慮詞間共現(xiàn)，訓(xùn)練速度有所提高。2016年Facebook開發(fā)了一款開源的快速文本分類器fastText，其文本訓(xùn)練速度更快，且適合更處理大規(guī)模語料。2018年Google AI 研究院提出一種全新的預(yù)訓(xùn)練模型BERT，在大量測(cè)試中該模型的性能均超越以往的模型，成為自然語言處理發(fā)展史上的一塊里程碑。李俊等在TextRank 的基礎(chǔ)上，利用BERT詞向量加權(quán)的方式，提出一種優(yōu)化的關(guān)鍵詞抽取方法。

1.3 服務(wù)供需匹配研究現(xiàn)狀

目前服務(wù)供需匹配的研究主要集中在供需匹配過程中的需求識(shí)別、需求聚類以及供需雙邊匹配問題上。劉慧敏等提出一種基于本體語義的云制造服務(wù)供需智能匹配方法。張嫻等針對(duì)技術(shù)研發(fā)端與產(chǎn)業(yè)需求端的信息對(duì)接問題，建立一套利用本體技術(shù)實(shí)現(xiàn)專利技術(shù)知識(shí)表示和供需信息知識(shí)匹配的知識(shí)組織模式。何喜軍等先后提出基于語義相似聚類的技術(shù)需求識(shí)別模型以及基于本體和SAO 結(jié)構(gòu)的技術(shù)供需多維語義結(jié)構(gòu)匹配模型。張建華等提出基于領(lǐng)域本體與CBR的知識(shí)供需匹配方法。

2 服務(wù)供需匹配模型

服務(wù)供需匹配模型的構(gòu)建主要包括4個(gè)步驟：①采集技術(shù)需求文本并提取其關(guān)鍵詞。②采集技術(shù)供給文本建立技術(shù)供給基礎(chǔ)庫，并在此基礎(chǔ)上根據(jù)技術(shù)需求關(guān)鍵詞檢索出高相關(guān)項(xiàng)目，構(gòu)建技術(shù)供給核心庫。③對(duì)技術(shù)需求的名稱文本與技術(shù)供給核心庫中項(xiàng)目的名稱文本進(jìn)行分詞與去停用詞，并計(jì)算出各個(gè)分詞詞語之間的語義相似度。④利用各個(gè)分詞詞語之間的語義相似度、權(quán)重以及技術(shù)需求關(guān)鍵詞與對(duì)應(yīng)技術(shù)供給之間的相關(guān)度，計(jì)算出服務(wù)供需匹配值，進(jìn)行服務(wù)供需雙邊匹配。整個(gè)模型如圖1所示。

圖1 服務(wù)供需匹配模型

2.1 基于TextRank提取技術(shù)需求關(guān)鍵詞

在利用TextRank 進(jìn)行關(guān)鍵詞提取之前，首先采集需要用到的技術(shù)需求文本。之后，利用TextRank提取技術(shù)需求關(guān)鍵詞的主要步驟為：

（1）對(duì)于所用采集到的技術(shù)需求文本，根據(jù)標(biāo)點(diǎn)符號(hào)（如“?！薄?！”）將分割成個(gè)句子，結(jié)果表示為={,,…,S}。

（2）對(duì)?S∈(= 1,2,…,)做分詞與去停用詞處理，標(biāo)記并保留指定詞性（如名詞、動(dòng)詞、 形容詞）的詞語， 結(jié)果表示為S={t,t,…,t}，t(= 1,2,…,,= 1,2,…,)即為候選的關(guān)鍵詞。

（3）根據(jù)每個(gè)候選關(guān)鍵詞t(= 1,2,…,,= 1,2,…,)之間的鄰接關(guān)系構(gòu)建一個(gè)無向有權(quán)圖=(,)，其中是由所有候選關(guān)鍵詞t(= 1,2,…,,= 1,2,…,)構(gòu)成的點(diǎn)集，是由詞語間鄰接關(guān)系構(gòu)成的邊集，且是×的子集，若兩個(gè)詞語V,V∈在長度為的窗口中共現(xiàn)，則認(rèn)為它們之間存在鄰接關(guān)系，即V與V之間存在邊。

（4）令w為任意兩點(diǎn)V,V∈之間的權(quán)重，對(duì)于給定的點(diǎn)V，(V)表示指向V的點(diǎn)集，(V)表示V指向的點(diǎn)集，則點(diǎn)V的權(quán)重得分為

式中，阻尼系數(shù)∈[0,1]，表示圖中某一給定頂點(diǎn)跳轉(zhuǎn)到圖中另一隨機(jī)頂點(diǎn)的概率，通常取= 0.85。

（5）利用式（1）循環(huán)迭代計(jì)算出每個(gè)頂點(diǎn)V的權(quán)重得分(V)直至收斂，并選取(V)較高的多個(gè)詞語作為提取的關(guān)鍵詞。

2.2 基于BM25構(gòu)建技術(shù)供給核心庫

在進(jìn)行服務(wù)供需匹配的過程中，為了能夠更加精準(zhǔn)地匹配技術(shù)供需的文本，除了要針對(duì)口語化、非結(jié)構(gòu)化的技術(shù)需求文本提取關(guān)鍵詞外，還需要針對(duì)技術(shù)供給文本進(jìn)行一定程度的篩選。為實(shí)現(xiàn)這一目標(biāo)，可以利用采集到的技術(shù)供給文本建立技術(shù)供給基礎(chǔ)庫，隨后將技術(shù)需求文本的關(guān)鍵詞與每一條技術(shù)供給文本進(jìn)行相關(guān)度搜索，檢索出相關(guān)度較高的技術(shù)供給文本，并利用這些技術(shù)供給文本構(gòu)建出技術(shù)供給核心庫，為更加精準(zhǔn)匹配技術(shù)需求提供可能。

上述相關(guān)度搜索的過程可采用BM25相關(guān)度搜索算法來實(shí)現(xiàn)，該算法通常用于計(jì)算查詢語句與文本集合中每個(gè)元素之間的相關(guān)性。在面向科技資源服務(wù)交易的服務(wù)供需匹配過程中，將技術(shù)需求的關(guān)鍵詞作為查詢語句，將技術(shù)供給基礎(chǔ)庫作為文本集合，計(jì)算出與每一條技術(shù)供給文本∈的BM25得分，將BM25得分較高的技術(shù)供給文本作為技術(shù)需求關(guān)鍵詞對(duì)應(yīng)的技術(shù)供給核心庫，之后將技術(shù)需求名稱文本中各個(gè)分詞的技術(shù)供給核心庫合并，作為此條技術(shù)需求的技術(shù)供給核心庫。BM25 得分的具體計(jì)算過程為：

（1）對(duì)查詢語句進(jìn)行語素解析（一般是分詞）， 表 示 為={,,…,q}， q∈(=1,2,…,)即為解析所產(chǎn)生的每個(gè)語素。

（2）對(duì)于技術(shù)供給基礎(chǔ)庫中的某一條技術(shù)供給文本∈，計(jì)算出每個(gè)語素q(= 1,2,…,)與的相關(guān)性得分(q,)。

（3）將每一個(gè)q(= 1,2,…,)與的相關(guān)性得分(q,)進(jìn)行加權(quán)求和，即得查詢語句與技術(shù)供給文本的BM25得分( )

,。

BM25得分的計(jì)算公式為

式中，W表示每一對(duì)q與相關(guān)性得分的權(quán)重，通常定義為IDF，計(jì)算公式為

式中，表示文本集合中文本的總個(gè)數(shù)，(q)表示中包含q的文本數(shù)，0.5 主要用做平滑處理?？梢钥闯?，(q)越大，q的重要性就越低，其權(quán)重也就越小。

(q,)的計(jì)算公式為

式中，f為語素q出現(xiàn)在文本中的詞頻，qf為語素q出現(xiàn)在查詢語句中的詞頻，,,均為調(diào)節(jié)因子，通常取= 2,= 1,= 0.75，為文本的長度，為所有∈的平均長度。

通常語素q在查詢語句中只出現(xiàn)一次，故取qf= 1，則式（4）可改寫為

從而BM25得分的計(jì)算公式可改寫為

2.3 語義相似度計(jì)算

隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展，人們以此為基礎(chǔ)，針對(duì)自然語言處理領(lǐng)域開展了廣泛的研究。為了使自然語言能夠被計(jì)算機(jī)處理，則需要將自然語言轉(zhuǎn)換為計(jì)算機(jī)能夠處理的數(shù)字信號(hào)，文本向量化就是其中一種重要的手段。當(dāng)前，文本向量化主要是通過詞語向量化實(shí)現(xiàn)的，即將單個(gè)詞語轉(zhuǎn)換為一個(gè)向量表示的形式，這就是詞向量。詞向量一般通過對(duì)自然語言進(jìn)行建模，將語料庫中的詞語映射成為一個(gè)實(shí)向量。詞向量能夠良好地反映出詞語自身的語義特性，其每一維都可以被解釋成一種語義或語法上的特征，這樣一來相似的詞其詞向量在高維空間上將更為接近，詞語間的相關(guān)性、依賴關(guān)系也更為突出。

常見的靜態(tài)詞向量訓(xùn)練模型有word2vec、fastText 等。word2vec 模型是一種雙層神經(jīng)網(wǎng)絡(luò)模型，包括CBOW 模型和Skip-gram 模型兩種類型，CBOW 模型使用詞語的上下文作為輸入來預(yù)測(cè)這個(gè)詞語本身，Skip-gram 模型使用一個(gè)詞語作為輸入來預(yù)測(cè)它的上下文。fastText 模型與word2vec 中的CBOW 模型在架構(gòu)上相似，區(qū)別在于二者所執(zhí)行的任務(wù)不同：fastText 模型預(yù)測(cè)標(biāo)簽，而CBOW 模型預(yù)測(cè)中間詞。BERT 是一種動(dòng)態(tài)詞向量訓(xùn)練模型，且可通過直接調(diào)用遠(yuǎn)程服務(wù)器獲取詞向量，本文將直接利用本地訓(xùn)練模型或遠(yuǎn)程服務(wù)器獲取需要的詞向量。

假設(shè)技術(shù)需求文本中一個(gè)分詞詞語的向量為=(,,…,x)，技術(shù)供給文本中一個(gè)分詞詞語的向量為=(,,…,y)，則二者的余弦相似度為

若技術(shù)需求文本被分詞為{,,…,X}，技術(shù)供給文本被分詞為{,,…,Y}，將兩個(gè)分詞之間的語義相似度記為Sim(X,Y)，則文本間的語義相似度矩陣為

2.4 服務(wù)供需匹配值計(jì)算

由上所述，技術(shù)需求文本被分詞為{,,…,X}， 技 術(shù) 供 給 文 本 被 分 詞 為{,,…,Y}，并利用TextRank 提取這些分詞詞語的權(quán)重，分別記為{w,w,…,w}以及{w,w,…,w}，并對(duì)它們進(jìn)行歸一化處理，公式分別為

若將技術(shù)需求關(guān)鍵詞X(= 1,2,…,)與技術(shù)供給文本之間的BM25 得分記為s，則技術(shù)供需文本之間的服務(wù)供需匹配值的公式定義為

的大小即表示了技術(shù)供需文本之間匹配程度的大小，越大，說明技術(shù)需求越可能與技術(shù)供給對(duì)接成功，同時(shí)通過設(shè)置服務(wù)供需匹配值的閾值，還可進(jìn)一步篩選出可能與技術(shù)需求對(duì)接成功的技術(shù)供給。

3 服務(wù)供需匹配模型的實(shí)驗(yàn)驗(yàn)證

3.1 技術(shù)需求關(guān)鍵詞提取

技E網(wǎng)（www.ctex.cn）是由中國技術(shù)交易所建設(shè)并運(yùn)營的國家技術(shù)交易全程服務(wù)支撐平臺(tái)，其中一共提供了11 種類型的技術(shù)需求，本文僅利用Python 采集技E 網(wǎng)中發(fā)布的電子信息技術(shù)類相關(guān)需求文本共1274 條，采集的文本內(nèi)容包括技術(shù)需求名稱及需求簡介。利用Python 中提供的textrank4zh 開源庫，設(shè)置TextRank 算法中的窗口大小為2，并取關(guān)鍵詞的最小長度為3，得到僅對(duì)需求名稱文本提取關(guān)鍵詞的結(jié)果如表1所示，得到對(duì)需求名稱和需求簡介文本提取關(guān)鍵詞的結(jié)果如表2所示，兩表均取關(guān)鍵詞權(quán)重最大的前10個(gè)結(jié)果。

表1 需求名稱文本關(guān)鍵詞提取結(jié)果（部分）

表2 需求名稱文本+需求簡介文本關(guān)鍵詞提取結(jié)果（部分）

從表1、2可以看到，僅對(duì)需求名稱文本提取關(guān)鍵詞得到了技術(shù)指向性更明確的結(jié)果，而對(duì)需求名稱文本+需求簡介文本提取關(guān)鍵詞的結(jié)果包含一些無用信息，也正是由于需求簡介文本表述模糊這一痛點(diǎn)導(dǎo)致其中可能包含與實(shí)際技術(shù)需求無關(guān)的詞匯。后續(xù)的實(shí)驗(yàn)利用自技術(shù)需求名稱文本提取到的關(guān)鍵詞繼續(xù)開展。

3.2 技術(shù)供給核心庫構(gòu)建

同樣利用Python 采集技E 網(wǎng)中發(fā)布的電子信息技術(shù)類相關(guān)技術(shù)供給文本，采集的文本內(nèi)容包括技術(shù)項(xiàng)目名稱及項(xiàng)目簡介，共10517 條。利用BM25 相關(guān)度搜索算法，將3.1 節(jié)中提取到的技術(shù)需求關(guān)鍵詞與技術(shù)供給基礎(chǔ)庫中的所有文本進(jìn)行匹配，將BM25 得分大于0 的技術(shù)供給項(xiàng)目作為集合，構(gòu)建出該關(guān)鍵詞的技術(shù)供給核心庫。以技術(shù)需求關(guān)鍵詞“管理系統(tǒng)”為例，表3 給出了其技術(shù)供給核心庫中部分項(xiàng)目的名稱，僅展示BM25得分最大的前10個(gè)結(jié)果。

表3 “管理系統(tǒng)”技術(shù)供給核心庫（部分）

將技術(shù)需求名稱文本中各個(gè)關(guān)鍵詞的技術(shù)供給核心庫合并，即得到該條技術(shù)需求對(duì)應(yīng)的技術(shù)供給核心庫。

3.3 語義相似度計(jì)算

合并3.1 及3.2 中提取到的技術(shù)需求與技術(shù)供給文本共11791條，僅使用其名稱的文本作為語料庫，因BERT可直接調(diào)用遠(yuǎn)程服務(wù)器獲取詞向量，故僅使用word2vec 以及fastText 進(jìn)行詞向量訓(xùn)練，在本文的文本環(huán)境中，兩種方法所用訓(xùn)練時(shí)間隨詞向量維度變化的關(guān)系曲線如圖2所示。

圖2 詞向量維度-訓(xùn)練時(shí)間關(guān)系曲線

從圖中可以看出，word2vec 的訓(xùn)練時(shí)間受詞向量維度的影響不明顯，而fastText 的訓(xùn)練時(shí)間隨詞向量維度的增加而明顯增加，這是由兩者內(nèi)在原理的差異引起的，fastText 通過輸入語句的類別標(biāo)簽作為目標(biāo)訓(xùn)練詞向量，同時(shí)引入N-gram 優(yōu)化準(zhǔn)確性，而word2vec 中的Skip-gram通過預(yù)測(cè)上下文獲得詞向量。此外，fastText 還可勝任分類任務(wù)，而word2vec 僅在于獲得詞向量。盡管訓(xùn)練fastText 模型需要更長的時(shí)間，但其性能更優(yōu)于word2vec，更適合大語料庫的訓(xùn)練，在一些場(chǎng)景下，其擁有更佳的準(zhǔn)確性，因此本文后續(xù)的實(shí)驗(yàn)以fastText和BERT 模型訓(xùn)練的結(jié)果開展。

利用fastText 訓(xùn)練本文的語料庫，并設(shè)置詞向量的維度為100，以技術(shù)需求“企業(yè)資產(chǎn)管理系統(tǒng)”為例，利用式（8）、（9）計(jì)算其于技術(shù)供給“基于ERP 的流程企業(yè)集成化管理系統(tǒng)及支持軟件”各個(gè)分詞的語義相似度矩陣，結(jié)果如表4 所示，基于BERT 的技術(shù)供需語義相似度矩陣如表5所示。

表5 基于BERT的技術(shù)供需語義相似度矩陣

從表4、5可以看出，基于BERT 的訓(xùn)練結(jié)果對(duì)于詞向量的區(qū)分效果更好，這也反映了BERT模型擁有更佳的準(zhǔn)確性。

表4 基于fastText的技術(shù)供需語義相似度矩陣

3.4 服務(wù)供需匹配值計(jì)算

同樣以技術(shù)需求“企業(yè)資產(chǎn)管理系統(tǒng)”為例，利用式（10）～（12）計(jì)算出其與“管理系統(tǒng)”的技術(shù)供給核心庫中各個(gè)項(xiàng)目的服務(wù)供需匹配值，基于fastText 訓(xùn)練結(jié)果得到的服務(wù)供需匹配值如表6 所示，基于BERT 訓(xùn)練結(jié)果得到的服務(wù)供需匹配值如表7所示，僅展示部分技術(shù)供需匹配的結(jié)果。

表6 基于fastText的服務(wù)供需匹配值（部分）

表7 基于BERT的服務(wù)供需匹配值（部分）

從表6、7可以看出，不管是基于fastText 還是BERT訓(xùn)練的結(jié)果，語義最為接近的技術(shù)供給項(xiàng)目均被篩選出，說明本文所提模型在一定程度上具有普適性。在實(shí)際情況中，往往需要篩選出多個(gè)可能的技術(shù)供給項(xiàng)目，再交由人工進(jìn)行下一步篩選及匹配，因此可以通過設(shè)置服務(wù)供需匹配值的閾值，進(jìn)一步篩選出小規(guī)模的技術(shù)供給項(xiàng)目，為服務(wù)供需匹配的最終對(duì)接提供支撐。

4 結(jié)語

在基于資源池的科技服務(wù)交易中，為實(shí)現(xiàn)服務(wù)供需之間的匹配與對(duì)接，本文在供需匹配視角下，基于體現(xiàn)語義特征的詞向量，提出一種面向科技資源服務(wù)交易的供需匹配模型。結(jié)果表明：①基于TextRank 提取技術(shù)需求的關(guān)鍵詞，在一定程度上體現(xiàn)了技術(shù)需求文本的語義特征。②利用BM25相關(guān)度搜索算法成功對(duì)相關(guān)度較大的技術(shù)供給進(jìn)行了初步篩選。③基于不同的詞向量訓(xùn)練模型，通過計(jì)算服務(wù)供需匹配值，明確了具體供需文本之間的相似性，進(jìn)一步縮小了有效技術(shù)供給的篩選范圍，提高了后續(xù)供需對(duì)接成功的可能性。

文本為實(shí)現(xiàn)科技資源服務(wù)交易中的供需匹配提供了一種思路，但仍存在不足與缺陷：①僅對(duì)技術(shù)需求文本的語義特征進(jìn)行提取，未綜合考慮其他方面的因素。②在進(jìn)行詞向量模型訓(xùn)練時(shí)，僅采用技術(shù)供需的名稱文本作為訓(xùn)練的語料庫，無法全面反映技術(shù)供需的具體語義情況。③對(duì)于技術(shù)供需能否成功對(duì)接，尚缺少一個(gè)評(píng)價(jià)指標(biāo)，且最終要實(shí)現(xiàn)供需對(duì)接還需人工審核。