龐澤雄, 張 奇

(復(fù)旦大學(xué) 計(jì)算機(jī)科學(xué)技術(shù)學(xué)院，上海 200443)

0 引言

問(wèn)題生成任務(wù)(Question Generation，QG)旨在對(duì)給定的一段文本生成一個(gè)合理的問(wèn)題，這在自然語(yǔ)言理解領(lǐng)域中是非常具有挑戰(zhàn)性的一個(gè)課題。問(wèn)題生成有很多潛在的應(yīng)用場(chǎng)景，例如，在問(wèn)答系統(tǒng)中利用QG模型提供標(biāo)注數(shù)據(jù)[1]，應(yīng)用QG輔助教育領(lǐng)域中的測(cè)試和評(píng)估[2]，在智能聊天機(jī)器人中實(shí)現(xiàn)持續(xù)對(duì)話(huà)[3]。

之前大多數(shù)問(wèn)題生成相關(guān)研究關(guān)注于只需要初步推理的簡(jiǎn)單問(wèn)題生成，例如，Du等[4]在SQuAD[5]數(shù)據(jù)集上使用一個(gè)含有答案的句子作為模型的輸入就可以生成相對(duì)自然的問(wèn)句。在現(xiàn)實(shí)應(yīng)用中，多跳問(wèn)題生成這一任務(wù)無(wú)疑更具挑戰(zhàn)性，模型需要在理解多段文本的語(yǔ)義的情況下，根據(jù)多個(gè)不同的信息點(diǎn)進(jìn)行多步推理才能生成足夠復(fù)雜的高質(zhì)量問(wèn)題。

最近的一些研究已經(jīng)在嘗試去解決多跳問(wèn)題生成所面臨的一些挑戰(zhàn)。Pan等[6]構(gòu)建了一個(gè)語(yǔ)義級(jí)別的圖網(wǎng)絡(luò)去建模文檔的表示，然后把圖表示向量融入到多步的推理過(guò)程中；Xie等[7]直接利用QG的評(píng)價(jià)指標(biāo)，通過(guò)強(qiáng)化學(xué)習(xí)方法去提升模型效果。然而文檔中信息的重要性是不同的，只有小部分句子中包含有關(guān)鍵的信息點(diǎn)。以圖1的樣本為例，文檔1和文檔2中只有前兩個(gè)句子之間含有與答案相關(guān)的關(guān)鍵信息(Apple Remote，F(xiàn)ront Row)。在給定答案“keyboard function keys”時(shí)，模型需要準(zhǔn)確地捕捉到“The device was originally designed to interact with the Front Row”這一信息點(diǎn)。因此，選擇語(yǔ)義層次優(yōu)先的句子，忽略無(wú)效的信息點(diǎn)，可以幫助構(gòu)造一個(gè)更魯棒的問(wèn)題生成系統(tǒng)，本文把這一類(lèi)提供支持事實(shí)信息的句子統(tǒng)稱(chēng)為佐證句(Evidence)。這種思想也十分類(lèi)似于人類(lèi)提問(wèn)的過(guò)程，先提取出需要的知識(shí)點(diǎn)(what to ask)，根據(jù)知識(shí)點(diǎn)構(gòu)造自然問(wèn)句(how to ask)。

本文提出了一個(gè)新的方法，基于佐證句選擇的圖神經(jīng)網(wǎng)絡(luò)(Graph-based Evidence Selection network，GES)，它將多跳問(wèn)題生成劃分為兩個(gè)子任務(wù): 佐證句選擇和問(wèn)題生成，并把兩個(gè)子任務(wù)統(tǒng)一到序列到序列(Seq2seq)的框架中來(lái)。我們首先使用基于自注意力機(jī)制的編碼器得到不同文檔的詞嵌入表示，進(jìn)一步得到各個(gè)句子的向量表示。然后我們引入圖注意力網(wǎng)絡(luò)(Graph Attention Network,GAT)，融合不同句子間的信息，通過(guò)圖神經(jīng)網(wǎng)絡(luò)的多步迭代來(lái)顯式建模語(yǔ)義理解中的多步推理過(guò)程，基于句子層級(jí)的模型結(jié)構(gòu)也體現(xiàn)了文檔中的層次結(jié)構(gòu)信息。判斷句子是否為佐證句的二值信號(hào)會(huì)作為偏置信息輸入到解碼器中輔助問(wèn)題的生成。因?yàn)樽糇C句預(yù)測(cè)是一個(gè)離散的任務(wù)，會(huì)阻礙梯度的回傳，所以本文使用了直通估計(jì)量(straight-through estimator, STE)來(lái)處理反向傳播，使得Seq2seq模型可以端到端地訓(xùn)練。

本文在HotpotQA數(shù)據(jù)集[8]上進(jìn)行了充分的實(shí)驗(yàn)，在BLEU等文本生成通用的自動(dòng)指標(biāo)上取得了顯著提升。佐證句預(yù)測(cè)的定量分析也表明GES模型可以準(zhǔn)確地選出語(yǔ)義信息相對(duì)重要的句子，進(jìn)而提升生成問(wèn)題的質(zhì)量。同時(shí)這也增強(qiáng)了多跳問(wèn)題生成模型的可解釋性，為后續(xù)該領(lǐng)域的進(jìn)一步研究提供了相應(yīng)的理論基礎(chǔ)。

1 相關(guān)工作

隨著深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)模型的發(fā)展，問(wèn)題生成技術(shù)從基于規(guī)則的方法逐步過(guò)渡到基于序列到序列的神經(jīng)網(wǎng)絡(luò)方法，之后的大多數(shù)工作都是在此基礎(chǔ)上的延伸。Zhou等[9]在編碼中加入了命名實(shí)體，詞性等語(yǔ)言學(xué)特征；Song等[10]在解碼器中引入拷貝機(jī)制(copy mechanism)來(lái)解決稀有詞問(wèn)題(Out of vocabulary, OOV)。Tuan等[11]提出了多階段注意力機(jī)制來(lái)建模文檔中句子級(jí)別的信息交互。

近年來(lái)圖神經(jīng)網(wǎng)絡(luò)也被應(yīng)用于各種自然語(yǔ)言處理任務(wù)中，取得了很好的效果。Chen等[12]在編碼—解碼結(jié)構(gòu)中引入了基于強(qiáng)化學(xué)習(xí)的圖網(wǎng)絡(luò); Li等[13]在多文檔摘要生成中引入了多種圖表示學(xué)習(xí)來(lái)提升生成摘要的質(zhì)量；Wang等[14]在抽取式摘要生成中引入了異質(zhì)圖神經(jīng)網(wǎng)絡(luò)來(lái)建模不同粒度的文本表示；Qiu等[15]在多跳問(wèn)答中引入了一個(gè)動(dòng)態(tài)融合圖神經(jīng)網(wǎng)絡(luò)來(lái)提升模型效果。

與本文工作類(lèi)似，Pan等[6]、Su等[16]也通過(guò)引入圖神經(jīng)網(wǎng)絡(luò)的方法來(lái)輔助多跳問(wèn)題生成。之前的工作大多是構(gòu)建基于實(shí)體關(guān)系或者不同語(yǔ)義粒度的圖模型來(lái)顯式學(xué)習(xí)多段文本間的關(guān)系。而本文提出的方法是在此基礎(chǔ)上利用圖神經(jīng)網(wǎng)絡(luò)來(lái)輔助佐證句的選擇，從而提升多跳問(wèn)題生成的效果。

2 主要方法

2.1 問(wèn)題定義

本節(jié)會(huì)對(duì)多跳問(wèn)題生成給出一個(gè)準(zhǔn)確的定義。給定不同文檔組成的原文C=(c11,c12,…,cmn),其中，cmn代表文本中第m個(gè)句子的第n個(gè)單詞，問(wèn)題對(duì)應(yīng)的答案A=(a1,a2,…,ak)，問(wèn)題生成任務(wù)的目標(biāo)是生成一個(gè)連貫且符合邏輯的問(wèn)句Q=(q1,q2,…,qt)。圖2顯示的是本文方法的結(jié)構(gòu)圖。

2.2 序列編碼器

之前的問(wèn)題生成模型大都使用了循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)作為Seq2seq框架的基礎(chǔ)模型，而近年來(lái)基于自注意力機(jī)制的Transformer[17]已經(jīng)在機(jī)器翻譯或摘要生成等領(lǐng)域中廣泛應(yīng)用，并且取得了比RNN模型更好的效果。此外，在與問(wèn)題生成互補(bǔ)的機(jī)器問(wèn)答領(lǐng)域，基于Transformer的預(yù)訓(xùn)練語(yǔ)言模型展現(xiàn)出了與人類(lèi)媲美的自然語(yǔ)言理解能力。因此本文引入BERT[18]作為Seq2seq框架的編碼器。

在多跳問(wèn)題生成中，模型需要處理多個(gè)句子的輸入，為了標(biāo)識(shí)每個(gè)對(duì)立的句子，在每個(gè)句子的開(kāi)頭我們加入了[SENT]標(biāo)簽，編碼器最終輸出的[SENT]向量就是對(duì)應(yīng)句子的特征表示。受UniLM[19]的啟發(fā)，我們將答案和原文拼接到一起輸入到編碼器中，通過(guò)分隔符[SEP]來(lái)區(qū)分不同的文本。序列編碼器的隱層向量可以表示如式(1)所示。

E,H=Transformer(C,A)

(1)

其中，E=(e1,e2,…em,ea)代表各個(gè)句子和答案的隱向量表示，ei是Transformer最頂層第i個(gè)[SENT]標(biāo)簽的輸出結(jié)果。

2.3 佐證句選擇網(wǎng)絡(luò)

佐證句任務(wù)旨在判斷這個(gè)句子是否可以為問(wèn)題生成提供支持事實(shí)，然后賦予對(duì)應(yīng)的0或1二值符號(hào)。我們認(rèn)為候選的佐證句含有與答案和原文最相關(guān)且最重要的信息。為了從冗長(zhǎng)的文本中對(duì)信息點(diǎn)進(jìn)行查找和推理，本文構(gòu)建了一個(gè)句子級(jí)別的全連接圖神經(jīng)網(wǎng)絡(luò)。

2.3.1 佐證圖神經(jīng)網(wǎng)絡(luò)

一般地，給定編碼器輸出的句子隱向量表示作為圖網(wǎng)絡(luò)表示的初始值u0,佐證圖神經(jīng)網(wǎng)絡(luò)由K層圖注意力神經(jīng)網(wǎng)絡(luò)[20]組成，uk表示第k層圖網(wǎng)絡(luò)的隱層表示。首先我們通過(guò)一個(gè)多層感知機(jī)的結(jié)構(gòu)來(lái)計(jì)算每個(gè)節(jié)點(diǎn)與相鄰節(jié)點(diǎn)間的注意力權(quán)重，如式(2)所示。

(2)

其中，Wa，Wq，Wk都是可以學(xué)習(xí)的參數(shù)，“||”表示連接操作，與注意力機(jī)制相同，最后使用softmax函數(shù)來(lái)歸一化權(quán)重，如式(3)所示。

(3)

然后我們通過(guò)注意力權(quán)重和相鄰節(jié)點(diǎn)表示的線(xiàn)性運(yùn)算得到對(duì)應(yīng)節(jié)點(diǎn)在第k層的特征表示，如式(4)所示。

(4)

為了避免多步迭代后出現(xiàn)梯度消失的情況，在每一層圖網(wǎng)絡(luò)后我們加入了一個(gè)殘差單元，因此第k層圖網(wǎng)絡(luò)的最終輸出可以表示如式(5)所示。

(5)

2.3.2 佐證句預(yù)測(cè)

在堆疊多層圖網(wǎng)絡(luò)后，我們通過(guò)圖模型的最終輸出來(lái)判斷這個(gè)句子是否為問(wèn)題生成提供了支持事實(shí)，如式(6)、式(7)所示。

MLP是一個(gè)多層感知機(jī)，σ表示sigmoid非線(xiàn)性激活函數(shù)，gi是第i個(gè)句子被選為佐證句的概率，zi是一個(gè)二值控制門(mén)，決定句子是否被選為佐證句。

連同序列編碼器輸出的詞表示，我們將佐證句的位置信息反饋給模型，用于輔助問(wèn)題生成。因?yàn)閦i是一個(gè)二元標(biāo)量，我們使用一個(gè)詞嵌入矩陣D∈R2×d得到一個(gè)和隱狀態(tài)H同維度的詞嵌入表示si。最后我們將si和對(duì)應(yīng)句子的詞表示相加得到最后的隱狀態(tài)表示，如式(8)所示。

fij=LayerNorm(hij+si)

(8)

其中，hij代表第i個(gè)句子中第j個(gè)單詞的隱狀態(tài)，整個(gè)隱狀態(tài)表示矩陣定義為F。

2.4 訓(xùn)練策略

模型通過(guò)最小化參數(shù)的負(fù)對(duì)數(shù)似然來(lái)訓(xùn)練，如式(9)所示。

LMLE=-∑logP(qt|q

(9)

2.4.1 參數(shù)共享

Seq2seq框架中的編碼器是預(yù)訓(xùn)練語(yǔ)言模型，解碼器是淺層Transformer，因此為了緩解訓(xùn)練不同步的問(wèn)題，我們使用了參數(shù)共享的方法來(lái)初始化模型的詞嵌入層。解碼器中的詞嵌入層和位置嵌入層都會(huì)與訓(xùn)練模型中保持一致。而解碼器輸入端標(biāo)識(shí)佐證句位置信息的二元詞嵌入矩陣也通過(guò)拷貝BERT中的segment embedding的參數(shù)來(lái)初始化。

2.4.2 直通估計(jì)量

在佐證句預(yù)測(cè)中，模型會(huì)得到一個(gè)二值信號(hào)，這是一個(gè)不連續(xù)的過(guò)程，導(dǎo)致訓(xùn)練時(shí)的梯度回傳受阻。一種常見(jiàn)的解決方法是強(qiáng)化學(xué)習(xí)，通過(guò)從語(yǔ)言模型中采樣一個(gè)動(dòng)作，系統(tǒng)會(huì)利用獎(jiǎng)勵(lì)函數(shù)計(jì)算出一個(gè)得分，以此來(lái)指導(dǎo)模型訓(xùn)練。但是策略梯度方法會(huì)導(dǎo)致訓(xùn)練過(guò)程中的高方差問(wèn)題[21]，導(dǎo)致模型訓(xùn)練非常困難。參考之前訓(xùn)練不連續(xù)神經(jīng)網(wǎng)絡(luò)的工作[22]，本文使用直通估計(jì)量去估計(jì)二值預(yù)測(cè)的梯度，對(duì)于編碼器一個(gè)特定的參數(shù)θ,估計(jì)梯度計(jì)算如式(10)所示。

(10)

如圖3所示，在正向傳播時(shí)，模型通過(guò)離散化計(jì)算得到一個(gè)不連續(xù)的獨(dú)熱向量z。而在反向傳導(dǎo)時(shí)，則通過(guò)一個(gè)連續(xù)而平穩(wěn)的函數(shù)來(lái)估計(jì)z的梯度，所以梯度仍然可以正?；貍?。盡管這是一個(gè)有偏的估計(jì)，但直通估計(jì)量依然是一個(gè)高效的計(jì)算方法。

圖3 直通估計(jì)量傳播和回傳過(guò)程

2.4.3 佐證句預(yù)測(cè)的監(jiān)督學(xué)習(xí)

本文提出的方法以多篇文檔和答案文本作為輸入，預(yù)測(cè)佐證句并生成自然問(wèn)句。在多跳問(wèn)題生成任務(wù)中，數(shù)據(jù)集中有標(biāo)注好的佐證句標(biāo)簽，我們通過(guò)這個(gè)監(jiān)督信號(hào)來(lái)加速模型的訓(xùn)練。具體來(lái)說(shuō)，對(duì)于輸入中的每一個(gè)句子，標(biāo)簽fi∈{0,1}表示第i個(gè)句子是否為樣例中的問(wèn)答對(duì)提供了支持事實(shí)。我們通過(guò)BCE loss(Binary Cross-Entropy loss)引入這一信息，如式(11)所示。

LBCE=-∑ifiloggi+(1-fi)log(1-gi)

(11)

因此，最后的損失函數(shù)可以表示如式(12)所示。

L=LMLE+λLBCE

(12)

3 實(shí)驗(yàn)設(shè)置

3.1 數(shù)據(jù)集

為了驗(yàn)證本文提出的方法在多跳問(wèn)題生成任務(wù)中的表現(xiàn)，我們?cè)贖otpotQA數(shù)據(jù)集上開(kāi)展了實(shí)驗(yàn)。HotpotQA是一個(gè)問(wèn)答數(shù)據(jù)集，涵蓋有超過(guò)113k基于維基百科的問(wèn)答對(duì)。每一個(gè)數(shù)據(jù)樣例由一個(gè)具體問(wèn)題和兩篇包含有支持事實(shí)的文檔組成。數(shù)據(jù)集主要有兩種類(lèi)型: comparison和bridge。本文遵循原數(shù)據(jù)集的數(shù)據(jù)劃分、90 447個(gè)樣本組成的訓(xùn)練集和7 405個(gè)樣本組成的測(cè)試集，同時(shí)我們從訓(xùn)練集隨機(jī)選取了800個(gè)樣本作為驗(yàn)證集。

在多跳問(wèn)題生成中，數(shù)據(jù)處理一般有兩種范式，句級(jí)和文檔級(jí)。Pan等[6]預(yù)先從數(shù)據(jù)中提取出推理必須的佐證事實(shí)作為模型的輸入，這是相對(duì)簡(jiǎn)化的處理，需要大量人力成本進(jìn)行數(shù)據(jù)標(biāo)注。本文提出的模型主要基于文檔級(jí)的范式，更貼近現(xiàn)實(shí)需求。

3.2 實(shí)驗(yàn)細(xì)節(jié)

本文所有的模型和實(shí)驗(yàn)都是基于PyTorch神經(jīng)網(wǎng)絡(luò)框架開(kāi)展的。我們使用BERT自帶的Wordpiece分詞器來(lái)預(yù)處理文本，原文、答案以及問(wèn)句的最大截?cái)嚅L(zhǎng)度分別取512，10和40。其他參數(shù)的設(shè)置與BERT-based相同，12層網(wǎng)絡(luò)，注意力頭數(shù)為8，隱狀態(tài)維度為768，所有的全連接層維度為2 048。模型使用AdamW優(yōu)化器進(jìn)行訓(xùn)練，初始學(xué)習(xí)率和權(quán)重衰退率分別設(shè)置為2e-5和0.001。

而在文本生成的推斷中，模型使用beam search來(lái)緩解錯(cuò)誤累積的問(wèn)題，beam size為5。

同時(shí)為了驗(yàn)證本文方法的通用性，我們還在通用的Transformer上進(jìn)行了實(shí)驗(yàn)，模型的參數(shù)設(shè)置與Vasvani等[17]相同，6層網(wǎng)絡(luò)，注意力頭數(shù)為8，隱狀態(tài)維度為512。

3.3 基線(xiàn)模型和評(píng)價(jià)指標(biāo)

參照之前的一些工作，本文采用三個(gè)自動(dòng)評(píng)價(jià)指標(biāo)來(lái)評(píng)測(cè)問(wèn)題生成方法的效果，BLEU，METEOR和ROUGE-L。

本文采用的基線(xiàn)模型主要有:

(1)NQG++[9]: 該模型在編碼器中引入了豐富的語(yǔ)言學(xué)特征，包含實(shí)體信息、答案位置和詞性標(biāo)注等；

(2)ASs2s[23]: 該模型用不同的編碼器分開(kāi)處理原文和答案文本，并基于key word-net結(jié)構(gòu)進(jìn)行特征的交互和匹配；

(3)MP-GSA[24]: 該模型提出了門(mén)控注意力機(jī)制和最大值指針來(lái)提升文檔級(jí)別的問(wèn)題生成；

(4)CGC-QG[25]: 該模型在Seq2seq模型前，引入了一個(gè)GCN來(lái)選擇可能出現(xiàn)在問(wèn)句中的關(guān)鍵詞；

(5)SG-DQG[6]: 該模型構(gòu)建了一個(gè)語(yǔ)義圖神經(jīng)網(wǎng)絡(luò)來(lái)提升多跳問(wèn)題生成；

(6)QG-Reward[7]: 該模型通過(guò)強(qiáng)化學(xué)習(xí)直接優(yōu)化問(wèn)題生成相對(duì)應(yīng)的指標(biāo)來(lái)提升模型效果；

(7)MulQG[15]: 該模型在Seq2seq模型中引入了一個(gè)基于GCN的實(shí)體圖神經(jīng)網(wǎng)絡(luò)。

4 實(shí)驗(yàn)結(jié)果和分析

4.1 方法對(duì)比

表1展現(xiàn)了在HotpotQA數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果。表格第一部分是基于句級(jí)輸入的基線(xiàn)模型結(jié)果，第二部分是文檔級(jí)的結(jié)果，最后是本文提出方法的實(shí)驗(yàn)結(jié)果。句級(jí)范式通過(guò)移除冗余句子降低了多跳問(wèn)題生成任務(wù)的難度，并且同時(shí)需要大量人力成本的投入。而GES只需要在模型訓(xùn)練階段使用監(jiān)督信號(hào)用于輔助訓(xùn)練，在實(shí)際的推斷應(yīng)用中，不需要標(biāo)注的句級(jí)標(biāo)簽，模型就會(huì)自動(dòng)預(yù)測(cè)潛在的佐證句并據(jù)此提升后續(xù)生成問(wèn)句的質(zhì)量。同時(shí)基于文檔級(jí)輸入的設(shè)定更符合現(xiàn)實(shí)情境的需求，也更具挑戰(zhàn)性。

表1 HotpotQA數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果

從表1的結(jié)果來(lái)看，本文提出的GES方法相比于之前的基線(xiàn)模型在多個(gè)指標(biāo)上有了非常顯著的提升。簡(jiǎn)化的TEGES方法都明顯優(yōu)于之前的方法，在BLEU-4有1.6個(gè)點(diǎn)的提升。幾個(gè)評(píng)價(jià)指標(biāo)的顯著提升證明了我們的方法可有效提取出不同文檔間的關(guān)鍵信息點(diǎn)，過(guò)濾掉不相關(guān)的信息，進(jìn)而提升生成問(wèn)題的質(zhì)量。

4.2 消融實(shí)驗(yàn)

4.2.1 佐證句預(yù)測(cè)的影響

為了驗(yàn)證佐證句選擇對(duì)多跳問(wèn)題生成的作用，本文只保留了基礎(chǔ)的Seq2seq框架并進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表2所示。GES和TEGES的性能都有明顯的下降，其中，BLEU-4分別從22.76下降到21.46，從17.03下降到14.36。

表2 消融實(shí)驗(yàn)結(jié)果

同時(shí)為了測(cè)試本文方法的理論上界，我們?cè)诮獯a器輸入側(cè)加入標(biāo)注的佐證句位置信息而不是GES預(yù)測(cè)出的結(jié)果。模型在BLEU-4達(dá)到了23.44，一方面驗(yàn)證了本文方法思路的正確性，冗余信息的過(guò)濾確實(shí)可以有效提升問(wèn)題生成系統(tǒng)的性能；另一方面，在一定程度上體現(xiàn)了GES良好的去噪能力，在預(yù)測(cè)結(jié)果帶有一定噪聲的情況下仍然能輔助提升多跳問(wèn)題生成。

4.2.2 圖神經(jīng)網(wǎng)絡(luò)的影響

從表2可以看出，當(dāng)移除圖神經(jīng)網(wǎng)絡(luò)后，模型性能有小幅下降，相對(duì)于GES，TEGES下降幅度更大。我們認(rèn)為單純從BERT學(xué)到的句級(jí)表示不足以準(zhǔn)確預(yù)測(cè)出佐證句的位置信息，加入圖神經(jīng)網(wǎng)絡(luò)，模型可以捕捉到分離信息點(diǎn)之間的聯(lián)系，從而提升佐證句的預(yù)測(cè)精度。

4.2.3 預(yù)訓(xùn)練語(yǔ)言模型的影響

無(wú)論編碼器是BERT還是基礎(chǔ)的Transformer，GES在多個(gè)指標(biāo)上都有顯著的性能提升，這充分說(shuō)明了本文提出方法的通用性和魯棒性。GES的可移植性可以歸因于以下幾點(diǎn): ①佐證句選擇模塊是獨(dú)立于Seq2seq框架外的，即插即用; ②直通估計(jì)量和多任務(wù)學(xué)習(xí)的訓(xùn)練策略可以指導(dǎo)模型更好地學(xué)習(xí); ③佐證句選擇可以提升多跳問(wèn)題生成這一客觀(guān)規(guī)律的存在。

4.3 佐證句選擇的定量實(shí)驗(yàn)分析

為了更好地分析本文模型在長(zhǎng)文本下預(yù)測(cè)佐證句的效果，本文根據(jù)每個(gè)樣例的句子數(shù)量劃分了5個(gè)區(qū)間，在圖4左圖中，我們計(jì)算了GES預(yù)測(cè)佐證句的F1值。隨著句子數(shù)量的增加，模型預(yù)測(cè)的精度略有下降，但是GES依然可以保持超過(guò)70%的F1值。同時(shí)圖神經(jīng)網(wǎng)絡(luò)給予模型預(yù)測(cè)精度的提升幅度隨著句子數(shù)量增加而提升，這也說(shuō)明了圖神經(jīng)網(wǎng)絡(luò)在佐證句預(yù)測(cè)中的重要性。

圖4 不同句子數(shù)量對(duì)模型性能的影響左圖顯示的是有無(wú)圖神經(jīng)網(wǎng)絡(luò)對(duì)佐證句預(yù)測(cè)精度的影響，右圖是有無(wú)佐證句預(yù)測(cè)對(duì)問(wèn)題生成性能的影響。

右圖展現(xiàn)的是在不同文本長(zhǎng)度下，GES給多跳問(wèn)題生成帶來(lái)的提升。顯而易見(jiàn)，句子數(shù)量越多，BLEU-4提升的幅度越大。通過(guò)這個(gè)實(shí)驗(yàn)證明，佐證句選擇可以篩選出重要的句子，從而提升多跳問(wèn)題生成模型的表現(xiàn)。

4.4 人工評(píng)測(cè)

為了更準(zhǔn)確地評(píng)測(cè)問(wèn)題生成模型的性能，我們從測(cè)試集隨機(jī)抽取了100個(gè)樣例，進(jìn)行了人工評(píng)測(cè)，評(píng)測(cè)標(biāo)準(zhǔn)有以下幾點(diǎn):

(1)流暢度:生成的問(wèn)句是否在語(yǔ)法語(yǔ)義方面自然流暢，得分從1到5。

(2)復(fù)雜度:生成的問(wèn)句是否需要兩個(gè)或以上的信息點(diǎn)才可以推理回答，得分從1到5。

(3)可回答性:生成的問(wèn)句是否可以從文檔中得到回答，與給定的答案是否相符，分?jǐn)?shù)為0或1。

實(shí)驗(yàn)結(jié)果表3所示。

表3 人工評(píng)測(cè)結(jié)果

基于Transformer結(jié)構(gòu)的模型在流暢度上的得分明顯優(yōu)于其他模型。TEGES在三個(gè)評(píng)測(cè)指標(biāo)上都明顯優(yōu)于baseline，進(jìn)一步說(shuō)明了佐證句預(yù)測(cè)對(duì)多跳問(wèn)題生成性能的提升。此外，歸功于Wordpiece分詞器的作用，即使GES，TEGES沒(méi)有使用拷貝機(jī)制，生成的問(wèn)句也少有出現(xiàn)稀有詞問(wèn)題(OOV)。

4.5 用例分析

本節(jié)進(jìn)行用例分析，圖5展現(xiàn)了一個(gè)具體例子以及本文提出方法和各種基線(xiàn)模型的對(duì)比。GES從兩個(gè)文檔中選出兩個(gè)與答案“French and English”相關(guān)的佐證句，涵蓋了所有用于問(wèn)題生成的重要信息。通過(guò)佐證句選擇來(lái)過(guò)濾噪聲，本文模型可以生成需要復(fù)雜推理且可回答的合理問(wèn)句。對(duì)比沒(méi)有佐證句選擇模塊的方法可以發(fā)現(xiàn)，該模型會(huì)受到不相關(guān)噪聲的干擾，例如，在圖5中，生成的短語(yǔ)“in Clackamas County,Oregon”與該用例的問(wèn)答無(wú)關(guān)，生成的問(wèn)句與答案不符。顯然，GES生成的樣例也明顯優(yōu)于其他baseline模型，再次說(shuō)明佐證句預(yù)測(cè)對(duì)多跳問(wèn)題生成任務(wù)的輔助作用。

圖5 生成問(wèn)題樣例

5 總結(jié)

本文針對(duì)多跳問(wèn)題生成任務(wù)提出了一種基于佐證句預(yù)測(cè)的神經(jīng)網(wǎng)絡(luò)方法。模型引入了圖注意力神經(jīng)網(wǎng)絡(luò)來(lái)建模句子級(jí)別的語(yǔ)義關(guān)系，并根據(jù)圖隱狀態(tài)表示來(lái)預(yù)測(cè)出對(duì)問(wèn)題生成最重要的句子，進(jìn)而提升模型的性能。同時(shí)，我們使用直通估計(jì)量來(lái)端到端地訓(xùn)練模型。在HotpotQA數(shù)據(jù)上的實(shí)驗(yàn)結(jié)果表明，GES可以準(zhǔn)確地捕獲長(zhǎng)文本中的佐證事實(shí)，有效輔助復(fù)雜自然問(wèn)句的生成。