唐曉波 劉亞嵐

摘?要：[目的/意義]咨詢問題提示列表能引導(dǎo)咨詢者在智能問答和智能咨詢系統(tǒng)進(jìn)行咨詢并為動(dòng)態(tài)咨詢引導(dǎo)提供基礎(chǔ)。目前，關(guān)于問題提示列表構(gòu)建的研究大多采用專家咨詢法、訪談法，這些方法無法滿足智能咨詢服務(wù)要求，本文以有問必答網(wǎng)中糖尿病問答為例，提出了基于Sentence-BERT語義表示的咨詢問題提示列表自動(dòng)構(gòu)建模型。[方法/過程]本文首先在糖尿病相關(guān)文獻(xiàn)調(diào)查和分析的基礎(chǔ)上確定糖尿病類目體系，并人工標(biāo)注咨詢問題類別;其次使用LDA模型對每類問題集進(jìn)行主題聚類;然后各主題下通過Sentence-BERT預(yù)訓(xùn)練模型進(jìn)行問題語義表示，textRank算法計(jì)算問題重要性并排序;最終冗余處理后構(gòu)建出咨詢問題提示列表。[結(jié)果/結(jié)論]實(shí)驗(yàn)結(jié)果表明，本文提出的模型能有效構(gòu)建出信息質(zhì)量較高的、內(nèi)容豐富的咨詢問題提示列表，對咨詢引導(dǎo)有促進(jìn)作用。

關(guān)鍵詞：問題提示列表;智能問答;智能咨詢;問答社區(qū);糖尿病咨詢;LDA;Sentence-BERT

DOI：10.3969/j.issn.1008-0821.2021.08.001

〔中圖分類號(hào)〕G2526?〔文獻(xiàn)標(biāo)識(shí)碼〕A?〔文章編號(hào)〕1008-0821（2021）08-0003-13

Research?on?Automatic?Construction?Method?of?Consultation?Question

Prompt?List?Based?on?Sentence-BERT?Semantic?Representation

——Taking?Diabetes?Counseling?as?an?Example

Tang?Xiaobo1，2?Liu?Yalan2

（1.The?Center?for?Information?System?Research，Wuhan?University，Wuhan?430072，China;

2.School?of?Information?Management，Wuhan?University，Wuhan?430072，China）

Abstract：[Purpose/Significance]The?consultation?question?prompt?list?can?guide?the?consultants?to?consult?in?the?intelligent?question?answering?system?and?intelligent?consulting?system?and?provide?the?basis?for?dynamic?consulting?guidance.At?present，most?of?the?research?on?the?construction?of?the?question?prompt?list?adopt?the?expert?consultation?method?and?the?interview?method.Those?methods?cant?meet?the?requirements?of?intelligent?consulting?services.[Method/Process]This?paper?took?the?diabetes?question?and?answer?texts?in?120ask?Q&A?community?as?an?example?and?proposed?consultation?question?prompt?list?automatic?construction?model?based?on?Sentence-BERT?semantic?representation.This?paper?first?determined?the?diabetes?category?system?based?on?the?investigation?and?analysis?of?diabetes-related?literature，and?manually?labeled?the?questions;secondly，the?LDA?model?was?used?to?cluster?each?type?of?question?set;then?for?each?topic?the?Sentence-BERT?model?was?used?to?represent?the?semantics?of?the?questions?and?the?textRank?algorithm?calculated?the?importance?of?the?questions?and?ranked?them;after?the?final?redundant?processing，consultation?question?prompt?list?was?constructed.[Result/Conclusion]The?experimental?results?showed?that?the?model?proposed?in?this?paper?could?effectively?construct?a?high-quality?and?rich-content?consultation?question?prompt?list，which?promoted?consulting?guidance.

Key?words：question?prompt?list;intelligent?question?and?answering;intelligent?consulting;Q&A?community;consult?on?diabetes;LDA;Sentence-BERT

十八大以來，面對新一輪的科技革命和產(chǎn)業(yè)變革，黨中央確立了人工智能發(fā)展國家戰(zhàn)略，積極推動(dòng)人工智能與各產(chǎn)業(yè)融合，實(shí)現(xiàn)智能化服務(wù)。隨著社會(huì)經(jīng)濟(jì)和信息技術(shù)的快速發(fā)展，咨詢活動(dòng)已融入社會(huì)經(jīng)濟(jì)的各個(gè)方面，如何利用信息技術(shù)優(yōu)化咨詢過程，實(shí)現(xiàn)智能咨詢已成為重要研究內(nèi)容。智能咨詢通過智能咨詢系統(tǒng)實(shí)現(xiàn)，以解決咨詢者的實(shí)際問題為目標(biāo)，需要咨詢者的充分參與，然而由于專業(yè)知識(shí)的限制，咨詢者在進(jìn)行專業(yè)咨詢時(shí)，可能面臨不知如何提出問題或者不能充分描述咨詢意愿的狀況[1-2]，咨詢效率很大程度上取決于其是否能在咨詢時(shí)得到有效幫助，智能咨詢系統(tǒng)應(yīng)對咨詢者進(jìn)行咨詢引導(dǎo)，分主題提供咨詢問題模板，輔助咨詢者進(jìn)行信息咨詢[3]。

問題提示列表（Question?Prompt?List，QPL）是用于咨詢者在訪談過程中進(jìn)行問題咨詢以獲取特定信息的結(jié)構(gòu)化表格，表格中列出咨詢者最常見的需要咨詢的系列問題，可以用于引導(dǎo)咨詢者進(jìn)行咨詢[4]。在醫(yī)學(xué)領(lǐng)域，使用問題提示列表有利于鼓勵(lì)和促進(jìn)醫(yī)患之間信息交流，增加醫(yī)療決策參與度。咨詢問題提示列表是智能問答和智能咨詢系統(tǒng)中的問題提示列表?；谝延凶稍冃畔⒆詣?dòng)構(gòu)建的咨詢問題提示列表有3方面的作用：首先，可以較為全面地反映咨詢者的咨詢需求，增強(qiáng)對咨詢者咨詢需求的了解;其次，可以一定程度上解決咨詢者由于領(lǐng)域知識(shí)缺乏引起的無法充分描述咨詢需求的問題，從咨詢內(nèi)容、詞匯用語、語言邏輯等細(xì)粒度方面給予咨詢者相關(guān)提示，相當(dāng)于問題模板，實(shí)現(xiàn)咨詢引導(dǎo);最后，由于咨詢問題提示列表中的問題具有語義相似度低、總體語義覆蓋全面的特點(diǎn)，可以將其中每個(gè)問題作為語義標(biāo)簽標(biāo)引咨詢問題，作為動(dòng)態(tài)咨詢引導(dǎo)的基礎(chǔ)。

目前，問題提示列表大多基于訪談方式構(gòu)建[5-6]，在構(gòu)建問題提示列表時(shí)同時(shí)考慮問題的重要性、全面性和新穎性，但是這種構(gòu)建方式存在調(diào)查樣本少、調(diào)查不全面、構(gòu)建過程繁瑣的問題[6]，且通過訪談等方式獲取的文本數(shù)據(jù)也并非實(shí)際客觀咨詢數(shù)據(jù)。隨著信息技術(shù)的快速發(fā)展，社會(huì)化問答社區(qū)中存在大量咨詢文本，可為問題提示列表構(gòu)建提供數(shù)據(jù)支撐，同時(shí)文本挖掘和自然語言處理技術(shù)也可為問題提示列表構(gòu)建提供技術(shù)支撐，基于社會(huì)化問答社區(qū)自動(dòng)構(gòu)建咨詢問題提示列表具有可行性。

根據(jù)問題提示列表的特點(diǎn)，本文參考自動(dòng)文本摘要等研究，提出了基于Sentence-BERT語義表示的咨詢問題提示列表自動(dòng)構(gòu)建模型，同時(shí)最新研究表明糖尿病是我國重要的公共衛(wèi)生問題，糖尿病患病率為128%，患病人數(shù)約為13億，但是很多成年人對該疾病并沒有正確的認(rèn)知[7]，提高糖尿病咨詢效率對于該疾病的防治具有重要作用，故本文以糖尿病為例進(jìn)行實(shí)證研究。Sentence-BERT（簡稱SBERT）是由普適知識(shí)處理實(shí)驗(yàn)室在BERT模型基礎(chǔ)上提出的預(yù)訓(xùn)練模型，相較于Word2vec和BERT模型，更適用于文本相似度度量、語義搜索和語義聚類等任務(wù)[8]。本文在人工標(biāo)注糖尿病問題類別后，先使用LDA模型對每類問題集進(jìn)行主題聚類，再抽取每個(gè)主題下的重要問題，該方法的優(yōu)點(diǎn)在于能夠更細(xì)粒度地挖掘問題主題，避免次要主題問題被遺漏，保證了咨詢問題提示列表的全面性;使用Sentence-BERT預(yù)訓(xùn)練模型進(jìn)行問題語義表示，該方法能夠充分挖掘出問題語義信息，在問題相似度度量上的表現(xiàn)更優(yōu)。本文提出的模型能夠自動(dòng)構(gòu)建出有效的咨詢問題提示列表，提高了咨詢效率。

1?相關(guān)研究

11?問題提示列表

問題提示列表按主題列出了某一特定領(lǐng)域的一系列咨詢問題，結(jié)構(gòu)清晰、內(nèi)容全面、表達(dá)簡潔，能夠引導(dǎo)咨詢者進(jìn)行問題咨詢，提高咨詢效果，目前已在多種醫(yī)療環(huán)境中使用，包括癌癥、糖尿病、冠狀動(dòng)脈疾病、老年醫(yī)學(xué)、普通實(shí)踐、婦科和皮膚病學(xué)、外科等[9]。

目前，有關(guān)問題提示列表的研究分為理論研究和方法研究兩種。問題提示列表理論研究主要是有關(guān)問題提示列表對于優(yōu)化咨詢結(jié)果、增強(qiáng)醫(yī)患雙方溝通、提高咨詢滿意度的有效性。如Lim?L等將患者隨機(jī)分為QPL組和對照組進(jìn)行實(shí)驗(yàn)，結(jié)果顯示QPL患者在初次就診與手術(shù)前一日之間的焦慮明顯減輕，術(shù)后更大程度地減少焦慮，問題提示列表能夠提高咨詢的滿意度并減少患者焦慮[10]。Mancini?J等制定了有針對性的骨髓增生異常綜合癥QPL，通過對患者和家庭護(hù)理人員進(jìn)行QPL有用性調(diào)查發(fā)現(xiàn)，多數(shù)都認(rèn)為QPL是“絕對”有用的，通過QPL進(jìn)行干預(yù)的提議受到普遍歡迎，并且可以特別滿足患者在預(yù)后信息方面的特定需求[11]。Brown?R?F等讓正在進(jìn)行治療性臨床試驗(yàn)的乳腺癌、肺癌和泌尿生殖系統(tǒng)癌癥患者進(jìn)行咨詢前和咨詢后的簡短問卷調(diào)查，實(shí)驗(yàn)表明，問題提示表有潛力作為一種簡單、廉價(jià)的干預(yù)手段來幫助進(jìn)行此類交流[12]。Sansoni?J?E等基于谷歌文獻(xiàn)和雪球搜索得到42篇QLP相關(guān)文獻(xiàn)，對QPL作為交流輔助手段的用途和有效性進(jìn)行分析，發(fā)現(xiàn)QPL可以增加用戶提出的問題[13]。

問題提示列表方法研究主要是關(guān)于基于具體領(lǐng)域如何構(gòu)建問題提示列表，如廖瑤姬等通過文獻(xiàn)回顧和深度訪談確定了哮喘病兒童父母信息需求主題，并通過兩輪專家咨詢法確定哮喘病問題提示列表[4]。Renovanz?M等為鼓勵(lì)患者在知情同意咨詢期間獲取信息，通過文獻(xiàn)綜述、患者訪談和兩次專家訪問的方法構(gòu)建脊柱神經(jīng)外科手術(shù)問題提示列表并進(jìn)行驗(yàn)證[5]。劉冠男通過文獻(xiàn)回顧、半結(jié)構(gòu)化訪談，結(jié)合德爾菲專家咨詢法研制了早期宮頸癌病人術(shù)前信息需求問題提示表，促進(jìn)宮頸癌患者與醫(yī)生之間的溝通[6]。Lederer?S等為使慢性腎臟病患者參與醫(yī)療保健對話，通過涉及半結(jié)構(gòu)化電話采訪的兩階段、混合方法，構(gòu)建出包括7個(gè)子主題的慢性腎臟病問題提示表，實(shí)驗(yàn)表明，大多數(shù)患者非常愿意使用QPL[14]。郜心怡等對晚期癌癥患者QPL進(jìn)行漢化，使用德爾菲法和患者認(rèn)知性訪談進(jìn)行文化調(diào)適，結(jié)果表明，修訂后的中文版QPL具有良好的可行性[15]。問題提示列表能夠促進(jìn)溝通咨詢，但是目前問題提示列表的構(gòu)建大多基于傳統(tǒng)的專家咨詢法、訪談法等，存在調(diào)查樣本有限、構(gòu)建過程繁瑣的問題，無法滿足智能咨詢服務(wù)需求，在目前的大數(shù)據(jù)環(huán)境下，可以使用文本挖掘和自然語言處理技術(shù)自動(dòng)構(gòu)建問題提示列表。

12?自動(dòng)文本摘要

針對特定疾病，問答社區(qū)中存在大量咨詢文本，其中許多咨詢問題內(nèi)容相似，文本摘要技術(shù)能夠解決這類文本信息過載問題，在保持原有信息的情況下，對原有咨詢文本進(jìn)行凝練表達(dá)，形成問題摘要，減少咨詢者的參考負(fù)擔(dān)，目前該技術(shù)已經(jīng)在新聞?wù)W(xué)術(shù)文獻(xiàn)摘要、社交媒體摘要、電子商務(wù)評論摘要以及答案摘要等多個(gè)領(lǐng)域得到很好的應(yīng)用。如林莉媛等在充分考慮評論情感與主題兩者的情況下，提出了一種基于情感的PageRank算法框架，從評論語料中抽取文本情感摘要[16]。在學(xué)術(shù)問答社區(qū)，陶興等針對當(dāng)前用戶生成內(nèi)容，利用Word2vec詞向量生成模型，借助最大邊界相關(guān)思想進(jìn)行問答文本自動(dòng)摘要[17]。黃波等將外部語料庫信息用詞向量的形式融入TextRank算法中，通過TextRank與Word2vec的結(jié)合，同時(shí)考慮句子間相似度、關(guān)鍵詞覆蓋率等，計(jì)算句子重要性，最終獲取摘要文本[18]。肖元君等基于Word2vec和TextRank算法生成無向圖網(wǎng)絡(luò)找到關(guān)鍵句，根據(jù)文章結(jié)構(gòu)和LDA模型所提取的關(guān)鍵詞賦予句子不同權(quán)重，最終生成新聞文本摘要[19]。根據(jù)問答社區(qū)咨詢文本特點(diǎn)，考慮咨詢主題，文本摘要技術(shù)能夠應(yīng)用于關(guān)鍵問題抽取，最終構(gòu)建出咨詢問題提示列表。

2?基于Sentence-BERT語義表示的咨詢問題提示列表自動(dòng)構(gòu)建模型

根據(jù)問答社區(qū)和問題提示列表的特點(diǎn)，本文提出了基于Sentence-BERT語義表示的咨詢問題提示列表自動(dòng)構(gòu)建模型，該模型主要包含4個(gè)模塊，分別是數(shù)據(jù)預(yù)處理與人工類別標(biāo)注模塊、基于LDA的咨詢問題主題發(fā)現(xiàn)模塊、咨詢問題重要性排序模塊以及咨詢問題提示列表生成模塊，該模型如圖1所示。

21?數(shù)據(jù)預(yù)處理與人工類別標(biāo)注

211?數(shù)據(jù)預(yù)處理

由于問答社區(qū)用戶提問的自由性，問答社區(qū)問

句存在表述不規(guī)范、語意模糊等問題，本文的數(shù)據(jù)預(yù)處理操作是將從此處獲得的文本數(shù)據(jù)轉(zhuǎn)化為規(guī)范化文本，以便下一步的操作。數(shù)據(jù)預(yù)處理主要包括：

數(shù)據(jù)獲?。河肞ython編寫網(wǎng)絡(luò)爬蟲，從問答社區(qū)中獲取問題標(biāo)題、詳細(xì)問題描述、回復(fù)個(gè)數(shù)等字段信息。由于本文的目標(biāo)是構(gòu)建咨詢問題提示列表，問題標(biāo)題相對于詳細(xì)問題描述具有噪音少、描述清晰簡潔的特點(diǎn)，故將問題標(biāo)題作為研究對象。

數(shù)據(jù)清洗：咨詢問題無回復(fù)，則認(rèn)為咨詢問題質(zhì)量不高，故刪除無回復(fù)的記錄，同時(shí)刪除重復(fù)記錄;由于問答社區(qū)用戶提問的自由性，人工去除無意義的噪音數(shù)據(jù)，同時(shí)對標(biāo)點(diǎn)符號(hào)不用、亂用等問題進(jìn)行修正;若問題標(biāo)題因疑問詞缺失等原因而語義不明、不完整，從詳細(xì)問題描述中人工抽取癥狀描述句和問句作為標(biāo)題;對于少數(shù)表達(dá)不準(zhǔn)確和不規(guī)范的問題進(jìn)行少量的調(diào)整;構(gòu)建糖尿病醫(yī)學(xué)同義詞表，規(guī)范專業(yè)術(shù)語，如將“1型糖尿病”替換為“一型糖尿病”。

212?人工類別標(biāo)注

問題提示列表的一級指標(biāo)是問題所屬類別，大多通過文獻(xiàn)調(diào)查和專家訪談法確定類目體系，結(jié)構(gòu)清晰、領(lǐng)域特色突出。本文首先根據(jù)美國糖尿病協(xié)會(huì)和相關(guān)文獻(xiàn)[20-21]對糖尿病健康信息的分類，結(jié)合問答社區(qū)中糖尿病問題實(shí)際情況，將糖尿病咨詢問題劃分為7個(gè)大類，如表1所示，然后根據(jù)該分類體系對糖尿病咨詢問題進(jìn)行人工類別標(biāo)注。人工類別標(biāo)注共有3名研究生同學(xué)參加，這3名同學(xué)均對糖尿病知識(shí)有充分的了解，在開始標(biāo)注之前，大家進(jìn)行探討并初步達(dá)成標(biāo)注共識(shí)，之后由1個(gè)同學(xué)進(jìn)行類別標(biāo)注，當(dāng)不確定問題所屬類別時(shí)，由3名同學(xué)投票決定問題類別。

22?基于LDA的咨詢問題主題發(fā)現(xiàn)模塊

潛在狄利克雷分布（Latent?Dirichlet?Allocation，LDA）是一種貝葉斯概率模型，采用概率推斷算法處理文本，識(shí)別出文本隱含的主題信息，由于該方法處理效率較高，在文本分類、信息檢索等任務(wù)中被廣泛應(yīng)用。該模型包含詞—主題—文檔3層結(jié)

構(gòu)[22]，具體如圖2所示。LDA主題模型的主要思想是一篇文檔以一定的概率選擇了某個(gè)主題，并且這個(gè)主題又以一定的概率選擇了某個(gè)詞，結(jié)合這一事實(shí)，LDA主題模型最終目標(biāo)是基于已有文檔—詞分布，訓(xùn)練出文檔—主題分布和主題—詞分布。

圖2中，D表示原始數(shù)據(jù)中的文檔，Z為數(shù)據(jù)集合中的主題，是反映潛在主題強(qiáng)弱的先驗(yàn)概率，為描述所有潛在主題詞概率分布的先驗(yàn)概率，θd代表文檔—主題分布，φz是主題—詞分布，Wd，i為文檔的詞向量，根據(jù)LDA模型的結(jié)構(gòu)，可以得到以下聯(lián)合概率公式：

p（w，z;α，β）=p（w|z;α，β）p（z;α，β）=p（w|z;β）p（z;α）（1）

其中p（z;α）為主題序列的概率，p（w|z;β）為給定主題條件下詞序列的概率。

通過LDA模型的訓(xùn)練，最終可以得到每個(gè)咨詢問題的主題概率分布以及主題的詞概率分布，將每個(gè)咨詢問題的最大概率主題作為該問題的最終主題，完成咨詢問題主題發(fā)現(xiàn)。

2.3?咨詢問題重要性排序模塊

2.3.1?Sentence-BERT模型

Sentence-BERT（簡稱SBERT）預(yù)訓(xùn)練模型由普適知識(shí)處理實(shí)驗(yàn)室的Nils?Reimers和Iryna?Gurevych于2019年提出，該模型適用于文本相似度度量、語義搜索和語義聚類等任務(wù)[8]。SBERT預(yù)訓(xùn)練模型將BERT模型和孿生網(wǎng)絡(luò)兩部分結(jié)合在一起，是在BERT（BERT-base-uncased）模型上做出的微調(diào)，使得訓(xùn)練得到的句子嵌入更好地用于相似度度量等任務(wù)，SBERT模型代表性結(jié)構(gòu)如圖3所示。

圖3?SBERT模型

BERT是一種預(yù)訓(xùn)練模型[23]，其結(jié)構(gòu)圖如圖4所示。BERT采用Transformer語言模型，模型本質(zhì)是編碼器—解碼器結(jié)構(gòu)，根據(jù)該結(jié)構(gòu)來進(jìn)行特征抽取，融合上下文語義[24]。其主要包括兩個(gè)部分：遮蔽語言模型和下一句預(yù)測。遮蔽語言模型，即隨機(jī)遮蔽15%的詞語，通過模型訓(xùn)練預(yù)測這些詞，這樣可學(xué)習(xí)到能夠融合不同方向文本的表征。下一句子預(yù)測是預(yù)測輸入BERT的兩個(gè)句子是否連續(xù)，通過構(gòu)建一個(gè)二分類模型進(jìn)行預(yù)測，這部分模型能夠捕捉兩個(gè)句子的聯(lián)系，使模型具備理解長序列上下文聯(lián)系的能力。

圖4?BERT結(jié)構(gòu)圖

孿生網(wǎng)絡(luò)又稱為連體網(wǎng)絡(luò)，網(wǎng)絡(luò)中的連體是通過共享權(quán)值來實(shí)現(xiàn)，它是一種有監(jiān)督學(xué)習(xí)算法[25]，適用于相似度度量，孿生網(wǎng)絡(luò)結(jié)構(gòu)圖如圖5所示。孿生神經(jīng)網(wǎng)絡(luò)有兩個(gè)輸入X1和X2，將其作為參數(shù)為W的同一神經(jīng)網(wǎng)絡(luò)模型的輸入，進(jìn)行編碼映射，形成輸入在新的空間中的表示，通過計(jì)算損失函數(shù)，來評價(jià)兩個(gè)輸入的相似度，孿生神經(jīng)網(wǎng)絡(luò)的訓(xùn)練目標(biāo)是讓兩個(gè)相似的輸入距離盡可能的小，兩個(gè)不同類別的輸入距離盡可能的大。

圖5?孿生網(wǎng)絡(luò)結(jié)構(gòu)圖

Sentence-BERT模型是BERT模型在語義表達(dá)上的優(yōu)勢和孿生網(wǎng)絡(luò)在相似度度量任務(wù)上的優(yōu)勢的完美結(jié)合。當(dāng)給定兩個(gè)句子，首先SBERT模型的BERT部分采用Transformer語言模型和遮蔽語言模型，使用注意力機(jī)制，能夠結(jié)合句子的上下文文本信息，生成兩個(gè)固定維度的初始句子嵌入向量。然后采用Pooling層（Average-pooling和Mean-pooling）對BERT嵌入結(jié)果進(jìn)行特征提取，轉(zhuǎn)化為向量u、v，最后整合向量u、v，有3種模型訓(xùn)練方式，它能對BERT嵌入結(jié)果進(jìn)行微調(diào)，使得最終嵌入結(jié)果更適用于文本相似度度量等任務(wù)。這3種模型訓(xùn)練方式如下：

1）針對分類任務(wù)，對u、v進(jìn)行拼接，使用Softmax函數(shù)進(jìn)行分類輸出，交叉熵作為損失函數(shù)，如圖1所示，輸出結(jié)果如式（2）所示：

o=softmax[Wt（u，v，u-v）]（2）

2）直接計(jì)算u、v兩者間的余弦相似度，將其作為輸出結(jié)果，均方根誤差作為損失函數(shù)。

3）若給定3個(gè)文本，分別是文本a、與a相似的文本p、與a不相似的文本n，則將式（3）作為損失函數(shù)：

max=（Sa-Sp-Sa-Sn+ε，0）（3）

普適知識(shí)處理實(shí)驗(yàn)室通過訓(xùn)練大規(guī)模數(shù)據(jù)集得到了針對英文、中文、德語、西班牙語等100多種語言的多個(gè)預(yù)訓(xùn)練模型，一些模型是通用模型，而其他一些則為特定用例生成嵌入，使用時(shí)只需傳遞模型名稱即可加載預(yù)訓(xùn)練的模型，本文使用的模型名稱是Distiluse-base-multilingual-cased，SBERT預(yù)訓(xùn)練模型的完整文件均已在普適知識(shí)處理實(shí)驗(yàn)室的GitHub上發(fā)布（網(wǎng)址：https：//github.com/UKPLab/sentence-transformers）。

2.3.2?咨詢問題重要性排序

TextRank算法被廣泛應(yīng)用于句子重要性度量任務(wù)。為充分挖掘句子語義信息，很多研究將TextRank算法與Word2vec模型結(jié)合使用，通過語料訓(xùn)練Word2vec模型，獲取詞向量，對詞向量進(jìn)行平均或TF-IDF加權(quán)平均操作得到句子向量表示，從而度量句子間相似度，獲取句子重要性。Word2vec模型不適用于一詞多義情況且不能很好地挖掘語法、語義等更深層次的復(fù)雜特征，目前大多針對中文的Word2vec模型，需要自行獲取語料訓(xùn)練模型，模型訓(xùn)練質(zhì)量極大程度上取決于語料庫的大小。本文使用SBERT預(yù)訓(xùn)練模型進(jìn)行句子語義表示，能夠解決Word2vec模型存在的以上問題。

SBERT預(yù)訓(xùn)練模型將咨詢問題作為輸入，輸入問題經(jīng)過編碼轉(zhuǎn)換后，輸出是一個(gè)512維的高維空間向量，問題間語義相似度可以用對應(yīng)高維向量的余弦相似度表示，取值在[0，1]之間，越接近0，則表示兩問題的語義越不相近，越接近1，則表示兩問題的語義越相似。使用SBERT預(yù)訓(xùn)練模型對主題下的咨詢問題進(jìn)行語義表示，構(gòu)建問題相似度矩陣。

將問題相似度矩陣作為TextRank算法輸入，構(gòu)建問題圖模型，其中圖模型中節(jié)點(diǎn)表示問題，邊的權(quán)值表示問題間的相似度，待模型迭代至穩(wěn)定狀況后，得到每個(gè)咨詢問題的重要性，然后根據(jù)重要性進(jìn)行問題排序，TextRank算法的重要性計(jì)算公式如式（4）[26]：

WS（Vi）=（1-d）+d×∑Vj∈In（Vi）wji×WS（Vj）∑Vk∈Out（Vj）wjk（4）

式（4）中，WS（Vi）表示咨詢問題i的重要性程度，In（Vi）為入鏈集合，Out（Vj）為出鏈集合，wji表示咨詢問題i與咨詢問題j的相似度，d表示阻尼系數(shù)。

2.4?咨詢問題提示列表生成模塊

2.4.1?問題抽取數(shù)目確定

將每類問題作為獨(dú)立的問題抽取單位，根據(jù)問題抽取率來確定問題抽取數(shù)目，如式（5）：

n=N*ρ（5）

其中每類問題數(shù)目為N，問題抽取率為ρ，每類問題抽取數(shù)目為n。

根據(jù)每類問題下各主題的數(shù)量權(quán)重確定該主題問題抽取權(quán)重，一般來說，主題包含的問題數(shù)目越多，應(yīng)當(dāng)抽取的問題越多，相反，主題包含的問題數(shù)目越少，該主題應(yīng)當(dāng)抽取的問題數(shù)目越少：

SNi=Ni∑i=Ti=1Ni（6）

其中SNi表示主題i問題抽取率，Ni表示主題i中包含的問題個(gè)數(shù)，T表示主題個(gè)數(shù)。

根據(jù)主題問題抽取率，確定每個(gè)主題問題抽取數(shù)量，如式（7）：

ni=n*SNi（7）

其中n表示每類問題抽取數(shù)目，ni表示該類別下主題i應(yīng)抽取的問題數(shù)量。

2.4.2?冗余處理

獲得咨詢問題重要性之后，按重要性由高到低對咨詢問題進(jìn)行排序，語義越相近的兩問題排序可能越接近，直接取排名靠前的若干問題組成咨詢問題提示列表可能存在語義冗余，為避免這種情況，需要對其進(jìn)行冗余處理，咨詢問題提示列表的具體生成過程如下：

1）設(shè)置問題抽取率ρ，確定每類問題抽取總數(shù)。

2）根據(jù)每類問題集的主題分布情況，確定每一主題問題抽取比例及抽取數(shù)目。

3）每一主題下，基于TextRank算法的問題重要性計(jì)算結(jié)果，按重要性由高到低對問題進(jìn)行排序。

4）計(jì)算相鄰問題相似度，設(shè)定相似度閾值λ，若問題與相鄰上一條問題的相似度小于λ，則滿足抽取條件，否則不滿足，按重要性順序保留滿足抽取條件的不超過指定抽取數(shù)目的問題，其中重要性排序第一的問題一定保留，記該主題下保留的最后一個(gè)問題為P。

5）若該主題下保留的問題實(shí)際數(shù)目小于指定抽取數(shù)目，則根據(jù)3）中排序結(jié)果依次取P之后的若干問題保留，直到保留問題數(shù)等于指定抽取數(shù)目。

6）生成咨詢問題提示列表。

3?實(shí)驗(yàn)與結(jié)果分析

3.1?數(shù)據(jù)采集與人工類別標(biāo)注

目前國內(nèi)存在大量醫(yī)藥類問答社區(qū)，如有問必答網(wǎng)、尋醫(yī)問藥網(wǎng)、39健康網(wǎng)等，本文以有問必答網(wǎng)為例進(jìn)行實(shí)驗(yàn)。有問必答網(wǎng)是國內(nèi)比較有名、信息質(zhì)量較高的醫(yī)藥問答平臺(tái)[27]，該平臺(tái)作為連接患者和醫(yī)生的紐帶，不僅給患者提供醫(yī)療看診服務(wù)，也讓醫(yī)生有了更大的施展空間。筆者通過Python編寫網(wǎng)絡(luò)爬蟲從有問必答問答社區(qū)獲取糖尿病相關(guān)問答數(shù)據(jù)作為實(shí)驗(yàn)數(shù)據(jù)，問答數(shù)據(jù)的時(shí)間跨度為2020年3月25日—10月12日，共8?000條，問答數(shù)據(jù)包含有問題標(biāo)題、問題詳細(xì)描述、回復(fù)個(gè)數(shù)等字段，經(jīng)過數(shù)據(jù)預(yù)處理后剩余4?728條，隨機(jī)抽取300條咨詢問題，由兩名研究生同學(xué)根據(jù)分類說明進(jìn)行咨詢問題分類，兩人標(biāo)注結(jié)果的Kappa值[28]為0.836，說明標(biāo)注結(jié)果的一致性程度較高，所有咨詢問題人工類別標(biāo)注結(jié)果如表2所示。

3.2?評價(jià)標(biāo)準(zhǔn)

咨詢問題提示列表基于問答社區(qū)的問答內(nèi)容產(chǎn)生，本身并不具有統(tǒng)一的、標(biāo)準(zhǔn)的參考內(nèi)容，不能使用準(zhǔn)確率、召回率等指標(biāo)作為質(zhì)量檢測指標(biāo)，為驗(yàn)證咨詢問題提示列表抽取質(zhì)量，本文在參考相關(guān)文獻(xiàn)的基礎(chǔ)上[17]，引入平均信息熵、平均相似度、平均信息質(zhì)量這3個(gè)指標(biāo)，對生成的咨詢問題提示

列表進(jìn)行質(zhì)量監(jiān)控。通過對比具有不同規(guī)模句子集的咨詢問題提示列表和完整問題集在這3個(gè)指標(biāo)上的表現(xiàn)，初步驗(yàn)證本文提出的咨詢問題提示列表自動(dòng)構(gòu)建模型的有效性。

信息熵[29]通常用來量化一個(gè)系統(tǒng)的信息含量，可以衡量一個(gè)句子的知識(shí)豐富程度，本文引入平均信息熵這一指標(biāo)，使得不同規(guī)模的句子集具有可比性，其計(jì)算公式如下：

其中H（）是句子集平均信息熵，m為句子數(shù)，H（S）為一個(gè)句子的信息熵，xk為句中關(guān)鍵詞，n為關(guān)鍵詞總數(shù)，p（xk）表示關(guān)鍵詞出現(xiàn)概率。

平均相似度可以衡量句子集的平均冗余程度，其計(jì)算公式如下：

L（）=∑mi=1∑mj=1，j≠isim（veci，vecj）m·（m-1）（10）

sim（veci，vecj）=veci·vecjveci·vecj（11）

其中L（）表示句子集平均相似度，sim（veci，vecj）表示兩句子的余弦相似度，veci、vecj是兩個(gè)句子的向量化表示。

平均信息質(zhì)量是平均信息熵與平均相似度的差值，平均信息質(zhì)量越大，表示句子集的信息質(zhì)量越高，其計(jì)算公式化如下：

AIQ（）=H（）-L（）（12）

3.3?實(shí)驗(yàn)過程和結(jié)果

本次實(shí)驗(yàn)采用Python3.6.7作為編程語言，Pycharm為集成開發(fā)環(huán)境，編程過程中使用的第三方開源工具有Pytorch[30]、Gensim[31]、Sentence-transformers[32]、Numpy[33]等，設(shè)吉布斯抽樣迭代次數(shù)為2?000，隨機(jī)數(shù)種子為1，問題抽取率ρ為4%，相似度閾值λ為0.4。LDA模型進(jìn)行主題聚類，根據(jù)困惑度隨主題數(shù)變化趨勢，結(jié)合實(shí)際主題聚類情況確定每類糖尿病問題的主題數(shù)，根據(jù)式（5）確定每類糖尿病問題的抽取總數(shù)，根據(jù)式（6）計(jì)算出每類問題下每個(gè)主題的問題抽取權(quán)重，結(jié)果如表3所示，最終構(gòu)建出的糖尿病咨詢問題提示列表如表4所示。

為充分驗(yàn)證本模型的有效性，將基于Word2vec語義表示的咨詢問題提示列表構(gòu)建實(shí)驗(yàn)作為對比實(shí)驗(yàn)，咨詢問題提示列表和完整問題集在平均信息熵、平均相似度、平均信息質(zhì)量上的表現(xiàn)如表5、表6所示，可以看出在多個(gè)糖尿病問題類別上，基于SBERT和基于Word2vec語義表示構(gòu)建的咨詢問題提示列表相對于完整問題集在平均信息質(zhì)量上均有了提升，使用自動(dòng)摘要方式構(gòu)建咨詢問題提示列表是有效的，同時(shí)可以觀察到對于絕大多數(shù)咨詢問題類別，基于SBERT語義表示的方法相對于基于Word2vec的方法在信息質(zhì)量提升度上的表現(xiàn)更好。

為進(jìn)一步說明SBERT模型相對于Word2vec在本實(shí)驗(yàn)中的優(yōu)勢，本文比較在兩種語義表示方法下問題相似度的分布情況，表7是關(guān)于各類別問題相似度方差情況，圖6是關(guān)于各類別問題相似度總體分布情況。由表7和圖6可知，基于SBERT語義表示的問題相似度分布趨向于正態(tài)分布且離散程度高，而基于Word2vec模型的問題語義相似度總體較高且分布較為集中，離散程度較低，這是因?yàn)橄鄬τ赪ord2vec模型，SBERT模型不僅能夠考慮詞匯之間的語義差異，而且能考慮詞匯的上下文信息、句法信息等，在兩問題已經(jīng)歸屬于某一類別的情況下，其更能夠捕獲句子間的細(xì)微差異，更好地區(qū)分兩句子的相似程度，且基于有監(jiān)督訓(xùn)練得到的SBERT模型在句子相似度度量上的結(jié)果更符合人的主觀判斷，因此，針對本文的研究問題，基于SBERT進(jìn)行問題語義表示有一定的優(yōu)勢。

通過對糖尿病咨詢問題提示列表的內(nèi)容進(jìn)行分析可知，咨詢者在進(jìn)行糖尿病診斷咨詢時(shí)，主要從血糖情況、口干口渴消瘦等相關(guān)癥狀、遺傳、檢查報(bào)告這4個(gè)角度詢問是否患有糖尿病或者妊娠性糖尿病;在藥物治療方面，咨詢者主要咨詢降糖藥如何選擇、藥物劑量及減量與停用、聯(lián)合用藥、藥物副作用、孕期用藥、胰島素使用及快舒爾無針注射器的特點(diǎn)與使用等多個(gè)方面的內(nèi)容;在治療方案方面，咨詢者主要咨詢血糖居高不下、藥效不明顯、糖尿病患者手術(shù)、中醫(yī)治療以及孕期血糖高等方面的治療問題;在控制方面，咨詢者主要詢問血糖控制情況、血糖監(jiān)測方法、血糖儀使用等相關(guān)問題以及關(guān)于餐后2小時(shí)血糖高于餐后1小時(shí)等血糖方面的困惑;在飲食和健康方面，咨詢者主要咨詢糖尿病患者飲食注意事項(xiàng)，包括水果、牛奶、蜂膠等，以及不同身體狀況下如何飲食等;在并發(fā)癥方面，咨詢者主要咨詢糖尿病足、視網(wǎng)膜病變、糖尿病腎、糖尿病神經(jīng)病變等方面的內(nèi)容，主要癥狀有眼睛模糊、腳部浮腫、腳爛等。

由此可見，咨詢問題提示列表不僅相對于完整問題集在平均信息質(zhì)量上有了提升，且能較為全面地涵蓋多個(gè)主題的咨詢問題，從咨詢內(nèi)容、詞匯用語、語言邏輯等多個(gè)方面給咨詢者提供咨詢參考，本文提出的基于Sentence-BERT語義表示的咨詢問題提示列表自動(dòng)構(gòu)建模型能夠充分考慮問題的全面性、重要性和新穎性，取得了較好的實(shí)驗(yàn)效果。

4?結(jié)論與展望

針對現(xiàn)階段問題提示列表構(gòu)建大多采用專家咨詢法、訪談法等，本文提出了一種基于Sentence-BERT語義表示的咨詢問題提示列表自動(dòng)構(gòu)建模型。首先，該模型對每類糖尿病問題集使用LDA模型進(jìn)行主題發(fā)現(xiàn)，其次通過Sentence-BERT預(yù)訓(xùn)練模型對問題進(jìn)行語義表示，使用余弦距離度量不同問題之間的相似度，并基于TextRank算法對問題進(jìn)行重要性排序，最后冗余處理后，構(gòu)建出咨詢問題提示列表，研究結(jié)果表明該模型具有較好的實(shí)驗(yàn)效果。

本文的創(chuàng)新點(diǎn)在于：①提出了基于問答社區(qū)的咨詢問題提示列表自動(dòng)構(gòu)建模型。區(qū)別于傳統(tǒng)問題提示列表構(gòu)建方法，本文的研究對象是問答社區(qū)中真實(shí)、客觀存在的咨詢文本，通過對咨詢者實(shí)際咨詢文本的語義挖掘，實(shí)現(xiàn)了咨詢問題提示列表的自動(dòng)構(gòu)建，滿足了智能咨詢服務(wù)要求;②在每類問題集下使用LDA進(jìn)行主題聚類，能夠更深層次地挖掘咨詢問題主題，保證咨詢問題提示列表內(nèi)容的全面性;③使用Sentence-BERT模型進(jìn)行咨詢問題語義表示。相較于BERT模型和Word2vec模型，基于Sentence-BERT預(yù)訓(xùn)練模型的語義表示結(jié)果在文本相似度度量任務(wù)上表現(xiàn)更優(yōu)。

本文存在一些不足和局限性：①本文僅根據(jù)語義相似度度量咨詢問題的重要程度，但是問答社區(qū)中問題的瀏覽數(shù)、提問時(shí)間等一定程度上也能夠反映問題的重要程度，本文對此沒有考慮;②傳統(tǒng)問題提示列表構(gòu)建過程中需要領(lǐng)域?qū)＜覍栴}進(jìn)行評價(jià)，由于問答社區(qū)沒有此類數(shù)據(jù)，當(dāng)前僅考慮咨詢者的咨詢需求，由此建議問答社區(qū)增加問題質(zhì)量評價(jià)功能，領(lǐng)域?qū)＜铱梢詫栴}的重要性、準(zhǔn)確性等進(jìn)行評價(jià)，據(jù)此融合專家和咨詢者意見構(gòu)建咨詢問題提示列表。咨詢問題提示列表是一項(xiàng)有意義的基礎(chǔ)性工作，在今后的研究中將繼續(xù)優(yōu)化咨詢問題提示列表構(gòu)建模型并將其應(yīng)用在更多的領(lǐng)域，同時(shí)在動(dòng)態(tài)咨詢引導(dǎo)方面做相關(guān)探索。

參考文獻(xiàn)

[1]Molinero?R?I，García-Madruga?J?A.Knowledge?and?Question?Asking[J].Psicothema，2011，23（1）：26-30.

[2]Miyake?N，Norman?D?A.To?Ask?a?Question，One?Must?Know?Enough?to?Know?What?is?Not?Known[J].Journal?of?Verbal?Learning?and?Verbal?Behavior，1979，18（3）：357-364.

[3]張玉峰.智能信息系統(tǒng)[M].武漢：武漢大學(xué)出版社，2008：499-522.

[4]廖瑤姬，高國貞，彭雅琴.基于信息需求的哮喘問題提示列表的構(gòu)建[J].護(hù)理研究，2020，34（3）：384-387.

[5]Renovanz?M，Haaf?J，Nesbigall?R，et?al.Information?Needs?of?Patients?in?Spine?Surgery：Development?of?a?Question?Prompt?List?to?Guide?Informed?Consent?Consultations[J].Spine?Journal，2019，19（3）：523-531.

[6]劉冠男.早期宮頸癌病人術(shù)前信息需求問題提示表的構(gòu)建[D].沈陽：中國醫(yī)科大學(xué)，2018.

[7]Li?Y?Z，Teng?D，Shi?X?G，et?al.Prevalence?of?Diabetes?Recorded?in?Mainland?China?Using?2018?Diagnostic?Criteria?from?the?American?Diabetes?Association：National?Cross?Sectional?Study[J].BMJ，2020，369.

[8]Reimers?N，Gurevych?I.Sentence-BERT：Sentence?Embeddings?Using?Siamese?BERT-Networks[J].arXiv?Preprint?arXiv：1908.10084，2019.

[9]Dimoska?A，Tattersall?M?H?N，Butow?P?N，et?al.Can?a“Prompt?List”Empower?Cancer?Patients?to?Ask?Relevant?Questions？[J].Cancer，2008，113（2）：225-237.

[10]Lim?L，Chow?P，Wong?C?Y，et?al.Doctor-patient?Communication，Knowledge，and?Question?Prompt?Lists?in?Reducing?Preoperative?Anxiety-A?Randomized?Control?Study[J].Asian?Journal?of?Surgery，2011，34（4）：175-180.

[11]Mancini?J，Butow?P?N，Julian-Reynier?C，et?al.Question?Prompt?List?Responds?to?Information?Needs?of?Myelodysplastic?Syndromes?Patients?and?Caregivers[J].Leukemia?Research，2015，39（6）：599-605.

[12]Brown?R?F，Bylund?C?L，Li?Y，et?al.Testing?the?Utility?of?a?Cancer?Clinical?Trial?Specific?Question?Prompt?List（QPL-CT）During?Oncology?Consultations[J].Patient?Education?and?Counseling，2012，88（2）：311-317.

[13]Sansoni?J?E，Grootemaat?P，Duncan?C.Question?Prompt?Lists?in?Health?Consultations：A?Review[J].Patient?Education?and?Counseling，2015，98（12）：1454-1464.

[14]Lederer?S，F(xiàn)ischer?M?J，Gordon?H?S，et?al.A?Question?Prompt?Sheet?for?Adult?Patients?with?Chronic?Kidney?Disease[J].Bmc?Nephrology，2016，17（1）：1-10.

[15]郜心怡，孫墨然，陳長英.晚期癌癥患者問題提示列表的引入與修訂[J].護(hù)理學(xué)雜志，2020，35（18）：40-43.

[16]林莉媛，王中卿，李壽山，等.基于PageRank的中文多文檔文本情感摘要[J].中文信息學(xué)報(bào)，2014，28（2）：85-90.

[17]陶興，張向先，郭順利，等.學(xué)術(shù)問答社區(qū)用戶生成內(nèi)容的W2V-MMR自動(dòng)摘要方法研究[J].數(shù)據(jù)分析與知識(shí)發(fā)現(xiàn)，2020，4（4）：109-118.

[18]黃波，劉傳才.基于加權(quán)TextRank的中文自動(dòng)文本摘要[J].計(jì)算機(jī)應(yīng)用研究，2020，37（2）：407-410.

[19]肖元君，吳國文.基于Gensim的摘要自動(dòng)生成算法研究與實(shí)現(xiàn)[J].計(jì)算機(jī)應(yīng)用與軟件，2019，36（12）：131-136.

[20]Zhang?J，Zhao?Y.A?User?Term?Visualization?Analysis?Based?on?a?Social?Question?and?Answer?Log[J].Information?Processing?&?Management，2013，49（5）：1019-1048.

[21]金碧漪，許鑫.社會(huì)化問答社區(qū)中糖尿病健康信息的需求分析[J].中華醫(yī)學(xué)圖書情報(bào)雜志，2014，23（12）：37-42.

[22]朱光，劉蕾，李鳳景.基于LDA和LSTM模型的研究主題關(guān)聯(lián)與預(yù)測研究——以隱私研究為例[J].現(xiàn)代情報(bào)，2020，40（8）：38-50.

[23]Devlin?J，Chang?M?W，Lee?K，et?al.Bert：Pre-training?of?Deep?Bidirectional?Transformers?for?Language?Understanding[J].arXiv?Preprint?arXiv：181004805，2018.

[24]Vaswani?A，Shazeer?N，Parmar?N，et?al.Attention?is?All?You?Need[J].arXiv?Preprint?arXiv：1706.03762，2017.

[25]Chopra?S，Hadsell?R，LeCun?Y.Learning?a?Similarity?Metric?Discriminatively，with?Application?to?Face?Verification[C]//2005?IEEE?Computer?Society?Conference?on?Computer?Vision?and?Pattern?Recognition，IEEE，2005：1：539-546.

[26]Mihalcea?R，Tarau?P.Textrank：Bringing?Order?Into?Text[C]//Proceedings?of?the?2004?Conference?on?Empirical?Methods?in?Natural?Language?Processing，2004：404-411.

[27]成全，王火秀，駢文景.基于證據(jù)推理的醫(yī)療健康網(wǎng)站信息質(zhì)量綜合評價(jià)研究[J].數(shù)字圖書館論壇，2020，（4）：53-59.

[28]Warrens?M?J.Chance-Corrected?Measures?for?2×2?Tables?That?Coincide?with?Weighted?Kappa[J].The?British?Journal?of?Mathematical?and?Statistical?Psychology，2011，64（2）：355-365.

[29]Shannon?C?E.A?Mathematical?Theory?of?Communication[J].The?Bell?System?Technical?Journal，1948，27（3）：379-423.

[30]PyTorch[EB/OL].https：//pytorch.org/docs/master/generated/torch，2021-03-24.

[31]Gensim[EB/OL].http：//radimrehurek.com/gensim/，2021-03-24.

[32]Sentence-transformers[EB/OL].https：//github.com/UKPLab/sentence-transformers，2021-03-24.

[33]NumPy[EB/OL].http：//www.numpy.org/，2021-03-24.

（責(zé)任編輯：孫國雷）