基于知識(shí)圖譜的廣西文化旅游問(wèn)答系統(tǒng)研究與實(shí)現(xiàn)*

何國(guó)對(duì)，黃容鑫，黃偉剛，李 航，覃 曉**，元昌安，施 宇，廖兆琪

(1.南寧師范大學(xué)計(jì)算機(jī)與信息工程學(xué)院，八桂學(xué)者創(chuàng)新團(tuán)隊(duì)實(shí)驗(yàn)室，廣西南寧 530000；2.廣西科學(xué)院，廣西南寧 530007)

0 引言

問(wèn)答系統(tǒng)(Question Answering System，QA)是人工智能和自然語(yǔ)言處理領(lǐng)域中一個(gè)倍受關(guān)注并具有廣泛發(fā)展前景的研究方向[1]，它能用準(zhǔn)確、簡(jiǎn)潔的自然語(yǔ)言回答用戶(hù)用自然語(yǔ)言提出的問(wèn)題。旅游是問(wèn)答系統(tǒng)的一個(gè)重要應(yīng)用場(chǎng)景。一個(gè)完善的旅游知識(shí)問(wèn)答系統(tǒng)，能夠幫助人們?cè)诼糜吻啊⒙糜沃?，通過(guò)詢(xún)問(wèn)快速獲得旅游資訊、了解旅游目的地的文化和特色旅游資源，對(duì)游客、管理部門(mén)和商家而言，都具有重要的應(yīng)用價(jià)值。然而，當(dāng)前針對(duì)旅游行業(yè)的知識(shí)咨詢(xún)現(xiàn)狀卻難以令人滿(mǎn)意：一方面游客對(duì)旅游地的文化知識(shí)和旅游資訊的咨詢(xún)需求不斷增大[2]；另一方面，由于各個(gè)地方在旅游知識(shí)自動(dòng)問(wèn)答系統(tǒng)的建設(shè)方面投入不足，當(dāng)前的咨詢(xún)服務(wù)還停留在依靠用戶(hù)獨(dú)自在網(wǎng)上搜索碎片化信息階段，遠(yuǎn)遠(yuǎn)不能滿(mǎn)足用戶(hù)的需求。

知識(shí)圖譜技術(shù)[3]能夠把大量不同種類(lèi)的信息鏈接在一起，使其形成一個(gè)關(guān)系網(wǎng)絡(luò)，為人們提供從“關(guān)系”角度分析問(wèn)題的能力。當(dāng)前，基于知識(shí)圖譜的問(wèn)答系統(tǒng)已經(jīng)在油茶產(chǎn)業(yè)[4]、蘋(píng)果種植銷(xiāo)售產(chǎn)業(yè)[5]、水利信息管理[6]等方面得到充分研究和應(yīng)用，而知識(shí)圖譜所具備的推理功能，更是讓其在新冠肺炎智能輔助問(wèn)診系統(tǒng)[7]、軍事裝備知識(shí)問(wèn)答系統(tǒng)[8]、中醫(yī)藥知識(shí)問(wèn)答與輔助開(kāi)藥系統(tǒng)[9]中表現(xiàn)出令人驚喜的效果。

大部分領(lǐng)域構(gòu)建知識(shí)圖譜和問(wèn)答系統(tǒng)是希望通過(guò)構(gòu)建知識(shí)庫(kù)來(lái)提高領(lǐng)域知識(shí)的檢索效率，同時(shí)輔助推理、決策等行為，這也是各個(gè)領(lǐng)域智能化的基本需求。知識(shí)圖譜技術(shù)是領(lǐng)域智能化的一條路徑，旅游領(lǐng)域的智能化無(wú)疑也需要借助知識(shí)圖譜來(lái)實(shí)現(xiàn)。旅游領(lǐng)域的知識(shí)圖譜可以用來(lái)輔助各種復(fù)雜的旅游應(yīng)用分析，同時(shí)也可以對(duì)用戶(hù)進(jìn)行個(gè)性化的路線(xiàn)推薦[10，11]。廣西是一個(gè)多民族聚居的地區(qū)，壯、漢、苗、瑤、侗等多個(gè)民族都在此地居住[12]，各個(gè)民族都有著悠久的歷史和燦爛的文化，在語(yǔ)言、社交、婚姻、服裝、飲食、建筑等文化上各具特色，又相互交融。利用廣西民族文化知識(shí)圖譜，構(gòu)建一個(gè)知識(shí)問(wèn)答系統(tǒng)，對(duì)人工智能助力廣西旅游業(yè)的發(fā)展而言，無(wú)疑是一項(xiàng)具有重要意義的工作。

1 廣西民族文化知識(shí)圖譜

本研究構(gòu)建的廣西文化旅游問(wèn)答系統(tǒng)，基于南寧師范大學(xué)“全域數(shù)字文化旅游智能服務(wù)技術(shù)研發(fā)及應(yīng)用”項(xiàng)目團(tuán)隊(duì)所構(gòu)建的廣西民族文化知識(shí)圖譜，知識(shí)圖譜的部分內(nèi)容如圖1所示。該知識(shí)圖譜的實(shí)體包含具有廣西民族文化色彩的旅游景點(diǎn)、民族、民族文化、民族節(jié)假婚慶、民族服飾等概念，每一類(lèi)概念下存儲(chǔ)多個(gè)實(shí)體及實(shí)體關(guān)系。以民族服飾為例，其中包含廣西各民族的服裝、頭飾、鞋子、帽子等實(shí)體，實(shí)體關(guān)系包含民族、支系、歷史、服裝部件、服裝特點(diǎn)、穿著人群、相關(guān)人物、相關(guān)傳說(shuō)等。

廣西民族文化知識(shí)圖譜實(shí)體與實(shí)體關(guān)系以三元組(ei,rs,ej)的形式存儲(chǔ)于neo4j數(shù)據(jù)庫(kù)中，其中，ei，ej分別表示實(shí)體i和實(shí)體j，rs表示實(shí)體i和實(shí)體j之間的關(guān)系。例如：三元組(香粽，食材，糯米)中，香粽和糯米為兩個(gè)實(shí)體，食材為關(guān)系，表示糯米為香粽的食材。知識(shí)圖譜中實(shí)體、實(shí)體關(guān)系均以單詞方式存儲(chǔ)，其中表示關(guān)系的單詞稱(chēng)為關(guān)系詞。

廣西民族文化知識(shí)圖譜建立了廣西旅游景點(diǎn)、民族和民族文化的關(guān)聯(lián)性，將三者之間的關(guān)聯(lián)關(guān)系可視化，實(shí)現(xiàn)知識(shí)的關(guān)聯(lián)與挖掘，使得這些民族旅游文化不再是數(shù)據(jù)孤島，為基于廣西民族文化知識(shí)圖譜的問(wèn)答系統(tǒng)的構(gòu)建奠定了數(shù)據(jù)和技術(shù)基礎(chǔ)。

圖1 廣西民族文化知識(shí)部分?jǐn)?shù)據(jù)可視化結(jié)果

2 文化旅游問(wèn)答系統(tǒng)

基于廣西民族文化知識(shí)圖譜的問(wèn)答系統(tǒng)，主要有3個(gè)核心模塊：(1)基于BERT的命名實(shí)體識(shí)別模塊(BERT based Entity_identification Model，BEiM)，(2)基于模版的關(guān)系抽取模塊(Template based Relationship_extraction Module，TReM)，(3)基于知識(shí)圖譜的匹配推理模塊(Knowledge Graph based Matching Module，KGMM)。BEiM模塊主要功能：對(duì)給定對(duì)詢(xún)問(wèn)語(yǔ)句，識(shí)別出其中對(duì)實(shí)體詞，幫助問(wèn)答系統(tǒng)理解詢(xún)問(wèn)主體(即確定詢(xún)問(wèn)的范圍)。TReM模塊通過(guò)對(duì)詢(xún)問(wèn)句的關(guān)系抽取，完成對(duì)詢(xún)問(wèn)句的語(yǔ)義解析，幫助問(wèn)答系統(tǒng)理解詢(xún)問(wèn)的語(yǔ)義(即確定詢(xún)問(wèn)的內(nèi)容)。KGMM模塊則是在廣西民族文化知識(shí)圖譜之上，構(gòu)建查詢(xún)匹配語(yǔ)句，完成針對(duì)詢(xún)問(wèn)句的匹配推理解答。

以在文化旅游問(wèn)答系統(tǒng)詢(xún)問(wèn)“你知道丹洲書(shū)院在哪里嗎？”為例。對(duì)于問(wèn)句“你知道丹洲書(shū)院在哪里嗎？”，問(wèn)答系統(tǒng)首先通過(guò)命名實(shí)體識(shí)別模塊BEiM確定問(wèn)句中所提及的實(shí)體“丹洲書(shū)院”，然后通過(guò)關(guān)系抽取模塊TReM確定問(wèn)句所問(wèn)的意圖，既確定問(wèn)句所涉及的關(guān)系“具體位置”，最后通過(guò)匹配推理模塊KGMM將“丹洲書(shū)院”與“具體位置”映射為知識(shí)圖譜的結(jié)構(gòu)化查詢(xún)，并在知識(shí)圖譜中最終確定問(wèn)句的目標(biāo)實(shí)體為“丹洲古鎮(zhèn)”(圖2)。

以下詳細(xì)介紹3個(gè)主要功能模塊。

圖2 基于知識(shí)圖譜的問(wèn)答系統(tǒng)執(zhí)行流程

2.1 基于BERT的命名實(shí)體識(shí)別模塊(BERT based Entity_identification Model,BEiM)

BERT[13]是一種預(yù)訓(xùn)練語(yǔ)言表示的語(yǔ)言表征模型，它是谷歌公司在大量文本語(yǔ)料上訓(xùn)練出來(lái)的通用的“語(yǔ)言理解”模型。BERT模型的核心功能是對(duì)輸入的自然語(yǔ)言語(yǔ)料進(jìn)行分析。在分析基礎(chǔ)上將文本中各個(gè)字或詞的一維詞向量作為輸入，經(jīng)過(guò)一系列復(fù)雜的轉(zhuǎn)換后，最終輸出每個(gè)詞的一維詞向量表示，即BERT會(huì)對(duì)句子中的每個(gè)詞作處理，并得到每個(gè)詞最終的語(yǔ)義表示。對(duì)BERT的輸出層進(jìn)行微調(diào)，可以使其適應(yīng)不同的文本分析需求，因此能夠靈活應(yīng)用于問(wèn)答任務(wù)和語(yǔ)言推理，無(wú)需針對(duì)具體任務(wù)做大幅度架構(gòu)修改。

基于BERT的強(qiáng)大功能，本研究設(shè)計(jì)并實(shí)現(xiàn)了基于BERT命名實(shí)體識(shí)別模型BEiM。對(duì)于詢(xún)問(wèn)句S，假設(shè)經(jīng)過(guò)BERT模型處理后，得到S的字符集合為(S1,S2,…,Sm)，字符集合中的任意一個(gè)Si代表輸入的字符i的詞向量。詞的類(lèi)別按命名實(shí)體識(shí)別約定，分為B-PER、I-ORG、E-PER、O 4類(lèi)，其中B-PER表示字符處在實(shí)體字符邊界的開(kāi)始，I-ORG表示字符處在實(shí)體的中間，E-ORG表示字符處在實(shí)體的結(jié)束位置，字符O表示不屬于實(shí)體的無(wú)關(guān)字符，BEiM模型可描述如下：

BEiM(S)=MLP(BERT(S))=

MLP(S1,S2,…,Sm)={p(S1),p(S2),…,

p(Sm)}，

其中，MLP為對(duì)BERT模型的輸出作簡(jiǎn)單全連接的操作，p(Si)為對(duì)字符Si類(lèi)別的預(yù)測(cè)。

p(Si)=cj,且cj∈{B-PER，I-ORG，E-PER，O}，j=1,2,3,4。

從模型描述可知，BEiM分兩個(gè)階段對(duì)輸入的詢(xún)問(wèn)句S進(jìn)行處理。第一階段，使用BERT對(duì)輸入的詢(xún)問(wèn)句S的每個(gè)字符進(jìn)行embedding，得到每個(gè)字符的向量表示，并將每個(gè)字符的embedding輸入到Transformer block(Trm)中，Trm會(huì)計(jì)算句子中所有詞對(duì)當(dāng)前輸入詞的貢獻(xiàn)，再根據(jù)得到的信息對(duì)當(dāng)前輸入詞進(jìn)行編碼，獲得詢(xún)問(wèn)句詞向量(S1,S2,…,Sm)。第二階段，采用MLP對(duì)詞向量的類(lèi)別進(jìn)行預(yù)測(cè)，對(duì)獲得的詞向量(S1,S2,…,Sm)作全連接操作并進(jìn)行多層感知機(jī)權(quán)重的調(diào)整。圖3給出BEiM的架構(gòu)，并說(shuō)明詢(xún)問(wèn)句“丹洲島上有什么”的處理過(guò)程。

圖3 BEiM架構(gòu)圖

2.2 基于模版的關(guān)系抽取模塊(Template based Relationship_extraction Module,TReM)

關(guān)系抽取是問(wèn)答系統(tǒng)中幫助系統(tǒng)理解詢(xún)問(wèn)句語(yǔ)義的環(huán)節(jié)，只有理解并獲取了詢(xún)問(wèn)句中的語(yǔ)義關(guān)系，才能把該關(guān)系映射到知識(shí)圖譜中，最終獲取答案。

為方便說(shuō)明TReM構(gòu)建方法，下面先對(duì)相關(guān)概念進(jìn)行定義和描述。

設(shè)在領(lǐng)域知識(shí)圖譜中，共定義了n個(gè)關(guān)系，則可將關(guān)系集記為R={r1,r2,…,rn}。其中fr(wri)=rj表示從關(guān)系詞wri到關(guān)系rj的映射。假設(shè)知識(shí)圖譜中存儲(chǔ)的關(guān)系詞數(shù)目為m，則m個(gè)關(guān)系詞構(gòu)成集合WR。

定義1(關(guān)系詞集合) 由廣西民族文化知識(shí)圖譜中所有關(guān)系詞構(gòu)成的集合，記為WR：

WR={wri|fr(wri)=rj,i∈[1,m],j∈[1,n],m>n}。

由知識(shí)圖譜的特性可知，在知識(shí)圖譜中，關(guān)系詞的數(shù)目m往往大于關(guān)系數(shù)目n(m>n)，因此多個(gè)關(guān)系詞將會(huì)被映射到同一個(gè)關(guān)系。本文將fr函數(shù)定義為關(guān)系模板，它能將具有同一種語(yǔ)義關(guān)系的關(guān)系詞映射為同一個(gè)關(guān)系。由n個(gè)關(guān)系模版構(gòu)成的集合定義為關(guān)系模版集。

定義2(關(guān)系模版和關(guān)系模版集) 關(guān)系模版是指被映射為同一個(gè)關(guān)系的關(guān)系詞向量，關(guān)系模版集是由所有關(guān)系模版構(gòu)成的集合，記為WRS：

WRS={WRSj|j∈[1,n]}。

則第j個(gè)關(guān)系模版記為WRSj：

即WRS是由n個(gè)不定長(zhǎng)的關(guān)系模版構(gòu)成的集合。對(duì)于一個(gè)關(guān)系模版而言，該模版中的所有關(guān)系詞，均映射到同一個(gè)關(guān)系中。

TReM的具體實(shí)現(xiàn)方法：首先構(gòu)建廣西民族文化知識(shí)圖譜關(guān)系詞組集WRS；然后調(diào)用分詞函數(shù)split()，獲取詢(xún)問(wèn)句分詞向量W；最后，在關(guān)系詞組集中對(duì)問(wèn)句分詞向量進(jìn)行匹配檢索，如果檢索成功，則問(wèn)句關(guān)系即可判定為匹配關(guān)系。TReM算法描述如下：

Template based Relationship_extraction algorithm

input：query senten S,WRS

output:relation of words in S，記為Sr

begin

(1)W:(w1,w2,…,wm)←split(S) //

(2)for i=1 to m do

(3) for j=1 to n do

(4) ifwiinWRSj：

(5)Sr←rj

(6) end for

(7)end for

(8)end

2.3 基于知識(shí)圖譜的匹配推理模塊(Knowledge Graph based Matching Module,KGMM)

KGMM的主要功能是基于廣西民族文化知識(shí)圖譜，根據(jù)BEiM 和 TReM的輸出結(jié)果，構(gòu)造Cypher查詢(xún)模板進(jìn)行答案的查詢(xún)。對(duì)于問(wèn)答系統(tǒng)，只要確定查詢(xún)實(shí)體的E，然后再確定查詢(xún)實(shí)體關(guān)聯(lián)關(guān)系r，便可構(gòu)造。構(gòu)造的查詢(xún)語(yǔ)句為 “MATCH (n:E)-[re:r]->(s) return s”，該語(yǔ)句通過(guò)確定問(wèn)句的實(shí)體E，并通過(guò)關(guān)系鏈路r確定答案s，其中查詢(xún)語(yǔ)句中n:E 表示將實(shí)體名稱(chēng)E賦值給實(shí)體n，re:r表示將關(guān)系名稱(chēng)r賦值給關(guān)系鏈路re。該查詢(xún)語(yǔ)句會(huì)查詢(xún)與實(shí)體E具有關(guān)系r的實(shí)體并返回。例如：對(duì)于問(wèn)句“你知道丹洲書(shū)院在哪里嗎？”，確定詢(xún)問(wèn)實(shí)體“丹洲書(shū)院”與實(shí)體關(guān)系“具體位置”，便可將查詢(xún)語(yǔ)句構(gòu)造為“MATCH (n:丹洲書(shū)院)-[re:具體位置]->(s) return s”，該語(yǔ)句會(huì)匹配與“丹洲書(shū)院”具有“具體位置”關(guān)系的實(shí)體并返回。

至此，本研究介紹了基于知識(shí)圖譜的廣西民族文化問(wèn)答系統(tǒng)的關(guān)鍵技術(shù)。系統(tǒng)的具體實(shí)現(xiàn)方法如下：首先構(gòu)建廣西民族文化知識(shí)圖譜KG關(guān)系詞組集WRS；然后將問(wèn)句S輸入到BEiM模型，得到問(wèn)句的詢(xún)問(wèn)實(shí)體E，再將問(wèn)句S輸入到關(guān)系抽取模塊TReM，得到關(guān)系r，進(jìn)而將實(shí)體E和關(guān)系r輸入到匹配推理模塊KGMM，得到查詢(xún)語(yǔ)句Q，最后基于語(yǔ)句Q在廣西民族文化知識(shí)圖譜上查詢(xún)答案t并返回。廣西民族文化問(wèn)答系統(tǒng)模型算法(Knowledge question answering algorithm)描述如下：

Knowledge question answering algorithm

input：query senten S,WRS,KG

output:answer t of KG

(1)E=BEiM(S)

(2)R=TReM(S,WRS)

(3)Q←KGMM(E,R)= ‘MATCH (n:E)-[re:R]->(t) return t’

(4)match t based on Q from KG

(5)return t

3 測(cè)試實(shí)驗(yàn)

對(duì)問(wèn)答系統(tǒng)而言，能否正確識(shí)別問(wèn)句中所詢(xún)問(wèn)的實(shí)體是問(wèn)答系統(tǒng)的關(guān)鍵，只有先確定了實(shí)體，才能通過(guò)關(guān)系鏈路把正確答案找出來(lái)，因此命名實(shí)體識(shí)別模型通常需要達(dá)到較高的精度才能投入到問(wèn)答系統(tǒng)中使用。為此，先對(duì)基于BERT的命名實(shí)體識(shí)別模型(BEiM)進(jìn)行訓(xùn)練測(cè)試，其中訓(xùn)練數(shù)據(jù)集以及驗(yàn)證集使用的是含有人名、地名、機(jī)構(gòu)名、時(shí)間、景點(diǎn)、飲食等實(shí)體的標(biāo)注序列數(shù)據(jù),其數(shù)據(jù)為通用的中文命名實(shí)體識(shí)別數(shù)據(jù)集Uniuersal data;同時(shí),對(duì)廣西民族文化知識(shí)圖譜中的部分實(shí)體數(shù)據(jù)集進(jìn)行測(cè)試。

3.1 命名實(shí)體識(shí)別測(cè)試

本研究使用準(zhǔn)確率作為命名實(shí)體識(shí)別的評(píng)價(jià)指標(biāo)。本研究使用BEiM預(yù)訓(xùn)練模型來(lái)訓(xùn)練中文命名實(shí)體識(shí)別數(shù)據(jù)集。BEim對(duì)輸入字特征進(jìn)行微調(diào)，通過(guò)微調(diào)可以更好地學(xué)習(xí)與命名實(shí)體相關(guān)的特征。從BEiM模型對(duì)部分廣西民族文化知識(shí)圖譜實(shí)體進(jìn)行命名實(shí)體識(shí)別的實(shí)驗(yàn)結(jié)果可知，BEiM在Universal data驗(yàn)證集上的準(zhǔn)確率達(dá)到了99.30%，BEiM模型對(duì)部分廣西文化知識(shí)圖譜上的命名實(shí)體識(shí)別精度達(dá)到94.45%，完全能夠勝任廣西文化旅游問(wèn)答系統(tǒng)的命名實(shí)體識(shí)別任務(wù)。

3.2 系統(tǒng)應(yīng)用測(cè)試

如表1所示，用戶(hù)分別詢(xún)問(wèn)了景點(diǎn)的票價(jià)、旅游地點(diǎn)的美食、景區(qū)內(nèi)的主要景點(diǎn)、當(dāng)?shù)孛朗车闹饕巢牡葐?wèn)題，問(wèn)答系統(tǒng)都能很好地對(duì)用戶(hù)的問(wèn)句進(jìn)行解析，并通過(guò)廣西民族旅游文化知識(shí)圖譜進(jìn)行檢索，得到了準(zhǔn)確的答案，并用精簡(jiǎn)的方式返回給用戶(hù)，增強(qiáng)用戶(hù)的體驗(yàn)感。

表1 問(wèn)答系統(tǒng)詢(xún)問(wèn)測(cè)試

4 結(jié)束語(yǔ)

本文設(shè)計(jì)并實(shí)現(xiàn)了基于廣西民族旅游文化知識(shí)圖譜的智能問(wèn)答系統(tǒng)，重點(diǎn)介紹了問(wèn)答系統(tǒng)中命名實(shí)體識(shí)別和詢(xún)問(wèn)句關(guān)系抽取關(guān)鍵技術(shù)。在實(shí)現(xiàn)的智能問(wèn)答系統(tǒng)上進(jìn)行詢(xún)問(wèn)測(cè)試，其結(jié)果表明系統(tǒng)能夠準(zhǔn)確解析詢(xún)問(wèn)句子，從知識(shí)圖譜中檢索到準(zhǔn)確答案，并以簡(jiǎn)潔的實(shí)體樹(shù)形式展示。該智能問(wèn)答系統(tǒng)不足之處在于：基于模版的命名實(shí)體識(shí)別方法需要構(gòu)建大量的關(guān)系詞組模版，才能保證將用戶(hù)的問(wèn)句映射為知識(shí)圖譜中的關(guān)系，而手工構(gòu)建關(guān)系詞組模版將導(dǎo)致高額的系統(tǒng)構(gòu)建代價(jià)。因此在下一步工作中，可以設(shè)計(jì)一套完整的映射模型，將用戶(hù)問(wèn)句自動(dòng)映射到知識(shí)圖譜中的關(guān)系列表中，從而提升系統(tǒng)的智能程度，降低系統(tǒng)構(gòu)建代價(jià)。