基于T-HDGN 模型的對話摘要生成方法

高瑋軍，劉健，毛文靜

（蘭州理工大學 計算機與通信學院，蘭州 730050）

0 概述

對話摘要旨在將會話濃縮成一段包含重要信息的簡短文本，使人們不用回顧歷史對話就可以快速捕捉到半結構化和多參與者對話的重點。近年來，隨著移動電話、電子郵件和社交軟件的普及，人們越來越多地使用對話形式分享信息，特別是新冠肺炎疫情在全球大范圍的傳播，在線多人聊天或會議已成為人們日常工作的重要部分。因此，利用文本摘要技術快速準確地將大量的對話類數據組織成簡短、自然和信息豐富的文本成為研究熱點。

目前，對話摘要的研究方法通常分為抽取式摘要和生成式摘要。抽取式摘要方法是從給定的源對話中抽取若干重要的話語，并將它們重新組合排序形成摘要［1-2］。這種方法形成的摘要只是重要語句的機械拼接，語義不連貫，不符合人類的摘要習慣。而生成式摘要方法是對原文內容進行語義理解和重構，并用新的語句表達原文信息，從而使生成的結果更像是人類編寫的摘要［3］。隨著深度學習的發(fā)展，生成式摘要方法已經成為目前研究的主流。

現有的文本摘要研究大多都集中在單一參與者的文檔上，如新聞以及科學論文摘要等，這些文檔通常以第三人稱的角度闡述內容，通過段落或章節(jié)使得信息流更清晰。與這些結構化文本不同，對話是一種動態(tài)的信息流交換過程，通常是非正式的、冗長的和重復的，并伴隨著錯誤的開始、主題漂移和參與者打斷［4］。為了總結非結構化和復雜的對話，文獻［5］直接將文檔摘要方法應用于對話總結中。盡管指針生成網絡、強化學習、預訓練語言模型等在結構化文檔上取得了重大的進展，但是文檔和對話類數據存在固有差異，直接應用文檔摘要模型來總結對話面臨諸多挑戰(zhàn)。

為解決上述問題，研究人員采用圖結構對會話進行建模，以打破對話的順序位置，直接將相關的遠距離話語相連接，解決遠距離依賴問題，并且建模額外的知識。為此，本文提出一種基于T-HDGN（Topic-word guided Heterogeneous Dialogue Graph Network）模型的對話摘要生成方法，基于圖到序列的框架通過圖神經網絡挖掘話語內和話語間的語義關系，在解碼階段融入主題詞引導摘要生成。本文利用從會話中顯式提取的行動三元組（Who，Doing，What）構建對話圖以融入說話人與其動作之間正確的對應關系。將行動三元組和話語作為異質數據進行建模，從而得到異質對話圖。異質圖網絡可以更有效地融合信息并捕獲句間豐富的語義關系，從而更好地對會話進行編碼［6］。此外，在異質對話圖網絡中使用信息融合模塊和節(jié)點位置嵌入2 個特殊模塊。信息融合模塊旨在幫助話語節(jié)點更好地聚合說話人和行動三元組的信息，而位置嵌入模塊使話語節(jié)點能感知其位置信息。

1 相關工作

1.1 文檔摘要

與抽取式摘要方法相比，生成式摘要方法被認為更具挑戰(zhàn)性。為此，研究人員設計各種方法生成文檔摘要。文獻［7］提出將序列到序列模型用于生成式文本摘要。文獻［8］提出指針生成器網絡，允許從源文本復制單詞，在解決 OOV（Out Of Vocabulary）問題的同時又可以避免生成重復內容。文獻［9］利用強化學習選擇摘要所需的正確內容，該方法被證明可以有效提升生成效果。文獻［10］使用大規(guī)模預訓練語言模型BERT 作為文本上下文編碼器以獲取更多的語義信息，進一步提高摘要的生成質量。隨著圖變得越來越普遍，信息更豐富，圖神經網絡受到越來越多的關注，特別是它非常適用于在自然語言處理，如序列標注［11］、文本分類［12］、文本生成［13］等任務中表示圖結構。對于摘要任務，最近也有研究基于圖模型的方法探索文檔摘要，如抽取實體類型［14］，利用知識圖［15］以及額外的事實［16］校正模塊。此外，文獻［17］通過Transformer 編碼器創(chuàng)建1個完全連接圖，學習成對句子之間的關系。然而，如何構建有效的圖結構以獲取豐富的語義表示來生成摘要仍然面臨挑戰(zhàn)。

1.2 對話摘要

對話摘要研究主要集中在會議、閑聊、客戶服務、醫(yī)療對話等領域。然而，由于缺乏公開可用的資源，因此在各領域只是進行了一些初步工作。早期的研究人員基于模板或使用多句壓縮的方法來抽取對話摘要［18］，但這些方法很難生成簡潔自然的摘要，尤其是面對會話這種特殊的文本結構。而生成式對話摘要方法能夠有效解決這些問題。文獻［19］根據會議數據集AMI 構建1 個新的對話摘要數據集，并通過句子門控機制來聯合建模交互行為和摘要之間的顯式關系。文獻［5］提出1 個新的生成式對話摘要數據集，并且基于序列的模型驗證其性能。由于參與者的多重性和頻繁出現的共指現象，因此模型生成的對話摘要存在事實不一致的問題。為此，文獻［20］通過說話人感知的自注意力機制來處理參與者和他們的相關人稱代詞之間的復雜關系。一些研究還利用對話分析生成對話摘要，如利用主題段［21］、會話階段［22］或關鍵點序列［23］。

綜上所述，現有的對話摘要模型主要基于循環(huán)神經網絡（Recurrent Neural Network，RNN）的序列到序列模型進行優(yōu)化改進。盡管相關的研究已經取得了一定成果，但是對話具有多參與者以及突出信息分散在整個會話中的特點，使得摘要模型難以集中在許多信息性的話語上。此外，當前模型對識別不同說話者的行為以及他們如何相互作用或相互引用的關注較少，難以將說話者及其對應的動作聯系起來，從而產生錯誤的推理。為了緩解這些問題，受基于圖方法的啟發(fā)，本文基于圖模型的方法進一步探索對話摘要。

2 異質對話圖構建

2.1 圖符號定義

對于給定的會話C={u0，u1，…，un}，將異質對話圖定義為1 個有向圖G=(V，E，A，R)，其中，V是節(jié)點集合，包含3 種節(jié)點V=Vu∪Va∪Vs，E是邊集合。不同類型的節(jié)點和邊分別有各自的類型映射函數，節(jié)點類型的映射函數為τ(v)：V→A，邊類型的映射函數為φ(e)：E→R。

2.2 話語-行動圖構建

完全依賴神經模型很難從對話中獲得具體的事實特征，為了幫助模型更好地理解會話中說話人與其行為之間正確的聯系，本文從會話中提取行動三元組（Who，Doing，What），將其作為先驗知識構建對話圖。

首先，基于以下規(guī)則將第一人稱的話語轉換為第三人稱觀點的形式：1）用當前說話人或周圍說話人的名字替換第一或第二人稱代詞；2）根據斯坦福CoreNLP 檢索會話中的共指簇以替換第三人稱代詞，例如，Amanda 對Jerry 說：“I'll bring it to you tomorrow”被轉換為“Amanda'll bring cakes to Jerry tomorrow”。

然后，使用開源信息抽取系統OpenIE 對轉換后的對話提取行動三元組（Who，Doing，What），即主謂賓信息。行動三元組如圖1 所示。

圖1 行動三元組Fig.1 Action triplets

話語-行動圖如圖2 所示，通過將話語和各行動三元組視為不同類型的節(jié)點以構建話語-行動圖。本文考慮到出現具體事實特征的話語以及其周圍話語往往是重要話語，將抽取出的各行動三元組作為行動節(jié)點，并且將它與出現該具體動作的話語以及下一位說話人的話語相連接，使得模型關注重要話語并理解說話人與其對應動作的正確聯系。此外，本文將話語和行動節(jié)點之間的邊定義為action邊。

圖2 話語-行動圖Fig.2 Utterance-action graph

2.3 話語-對話者圖構建

由于會話包含多個對話者以及各自對應的話語，因此將對話者和話語視為不同類型的節(jié)點。將說話人與其對應的話語通過talk 邊進行連接。話語-對話者圖如圖3 所示。

圖3 話語-對話者圖Fig.3 Utterance-speaker graph

本文綜合上述話語-行動圖以及話語-對話者圖，構建最終的異質對話圖。此外，為了促進信息流在整個圖上的傳播，本文添加2 種反向邊rev-action 和rev-talk。異質對話圖具有對話者、話語和行動節(jié)點3種，以及action、talk、rev-action 和rev-talk 4 種類型的邊。異質對話圖如圖4 所示。

圖4 異質對話圖Fig.4 Heterogeneous dialogue graph

3 T-HDGN 模型

主題詞引導的異質對話圖網絡（T-HDGN）結構如圖5 所示。T-HDGN 主要由節(jié)點編碼器、圖編碼器以及主題詞引導的解碼器3 部分組成。節(jié)點編碼器旨在初始化每個圖節(jié)點；圖編碼器用來捕獲會話結構信息并得到更高級的節(jié)點表示；主題詞引導的解碼器在指針機制和覆蓋機制中融入主題詞特征以輔助摘要的生成。

圖5 T-HDGN 模型結構Fig.5 Structure of T-HDGN model

3.1 節(jié)點編碼器

3.2 圖編碼器

在得到各節(jié)點的初始表示后將它們輸入到1 個圖編碼器中，利用圖編碼器捕獲會話結構信息并得到更高級的節(jié)點表示。本文使用文獻［24］提出的Heterogeneous Graph Transformer 作為圖編碼器，針對異質性問題，采用與類型相關的參數進行建模。異質圖Transformer 層結構如圖6 所示。

圖6 異質圖Transformer層Fig.6 Transformer layer of heterogeneous graph

Heterogeneous Graph Transformer 主要包括3 個模塊：1）異質相互注意力用來計算源節(jié)點和目標節(jié)點的注意力得分Attention(s，e，t)；2）異質消息傳遞為每個源節(jié)點生成消息向量MMsg(s，e，t)，并傳播特定類型的信息；3）特定目標的信息聚合使用注意力分數作為權重來聚合從源節(jié)點到目標節(jié)點的信息。本文通過1 個消息融合過程和節(jié)點位置編碼使異質圖上的學習過程更有效。

3.2.1 異質相互注意力

3.2.2 異質消息傳遞

3.2.3 特定目標的聚合

基于目標節(jié)點的類型，該過程分為2 種情況：1）當目標節(jié)點不是話語節(jié)點時，首先使用注意力得分加權求和消息向量2）當目標節(jié)點是話語節(jié)點時，本文通過消息融合過程將信息更有效地聚合到話語節(jié)點中。在消息融合過程中，由于注意力是1 個歸一化的分布，因此當目標為話語類型的節(jié)點聚合來自行動和對話者類型的源節(jié)點信息時，話語節(jié)點可能會更傾向于對話者節(jié)點而忽視行動節(jié)點。為此，本文使用行動節(jié)點的注意力權重加權對應的消息向量并添加對話者信息。其計算式如下：

最終，在得到聚合后的消息向量后，根據目標節(jié)點類型，本文通過1 個線性映射把它映射回目標節(jié)點類型，并采用殘差連接得到更新后的節(jié)點表示

3.2.4 位置編碼

由于對話本質上是連續(xù)序列，因此部分上下文信息也將沿著這個順序流動，而原始異質圖不能直接建模話語之間的時間順序。為了節(jié)點能夠感知其位置信息，本文添加節(jié)點位置信息。對于對話者和行動節(jié)點其位置都置為0。對于話語節(jié)點vi，將其位置pvi與源對話中的話語順序相關聯。最終本文為每個節(jié)點添加位置信息表示1個可學習的位置參數矩陣。

在得到添加位置信息的節(jié)點表示之后，將其與對應的初始詞語表示拼接，并進一步映射得到最終的詞語表示

3.3 主題詞引導的解碼器

主題關鍵詞是主題信息常見的表示形式，體現了文檔的關鍵內容。因此，本文在解碼過程中使用主題關鍵詞引導摘要的生成。

傳統的編碼器-解碼器模型只使用源文本作為輸入，導致生成的摘要中缺乏主題詞信息。為此，本文在指針機制和覆蓋機制中注入主題詞以增強摘要中的主題關鍵詞信息。

本文將1 次會話中所有行動三元組的Who、Doing 和What 作為主題關鍵詞K={k1，k2，…，km}，并且將所有主題關鍵詞表示ki的均值作為主題信息表示。此外，本文用圖中所有節(jié)點詞語表示hvi，n的均值作為解碼器的初始狀態(tài)s0。具體計算式如下：

3.3.1 覆蓋機制

由于注意力機制會反復關注輸入序列中的某些單詞，因此會出現摘要自我重復的現象，尤其是對話者的名字和重要動作。因此，本文引入覆蓋機制來解決這個問題，通過歷史注意力來影響當前注意力計算，首先將注意力分布at之和作為覆蓋向量ct，ct表示單詞從注意力機制受到的覆蓋程度。傳統的覆蓋機制只涉及解碼器狀態(tài)st和編碼器隱藏狀態(tài)hvi，n，難以關注到主題詞信息。因此，本文修改了注意力的構成部分，將主題詞添加到覆蓋機制中，計算式如式（9）和式（10）所示：

其中：v、Wh、Ws、Wc、Wk和bAttention是可學習參數。通過注意力得分加權編碼器隱藏狀態(tài)，得到上下文向量

在解碼步驟t時刻，解碼器狀態(tài)st、上下文向量和主題向量通過2 個線性層產生詞匯分布Pvocab，計算式如式（12）所示：

其中：V′、V、b和b′是可學習參數。

3.3.2 指針機制

受固定詞匯表的限制，在生成摘要時可能會丟失一些主題詞信息。因此需要引入指針機制來擴展目標詞匯表使其包含主題詞，通過指針網絡決定從固定詞匯表生成1 個單詞還是根據注意力分布at直接從輸入序列復制1 個單詞。為此，本文將主題詞添加到開關的計算中，使解碼器根據狀態(tài)st、主題向量、上下文向量和解碼器輸入xt共同計算指針開關pgen。具體計算式如式（13）所示：

其中：σ為Sigmoid 激活函數；均為可學習參數；bptr為偏置項。最終，在擴展詞匯上的概率分布如式（14）所示：

4 實驗

4.1 數據集

為驗證所提模型的可行性和有效性，本文在SAMSum 數據集上進行相關實驗。SAMSum 數據集是1 個關于現實生活中各種場景下的英文對話數據集，包括閑聊、安排會議、討論事件以及與同學討論大學作業(yè)等話題。

數據集中源對話的平均對話長度為126.7（Token 數），平均話語數為11.1。每句話語均包含對話者的名字，大多數對話只有2 個對話人（約占所有對話的75%），其余是3 個或更多人之間的對話。表1 所示為SAMSum 數據集的相關信息，包括每次會話中對話者數、話語數以及行動三元組這三者的平均數，“#”表示對應的統計總數，長度是指Token數。

表1 SAMSum 數據集相關信息Table 1 Related information of SAMSum dataset 單位：個

4.2 實驗環(huán)境與參數設置

本文實驗平臺使用開源的深度學習框架PyTorch，編譯語言為Python3.6 版本。由于深度學習模型對計算資源的要求相對較高，因此采用GPU 進行訓練來提高效率。

在訓練階段，使用Adam 優(yōu)化器對模型進行優(yōu)化，并使用最大梯度范數為2 的梯度裁剪。節(jié)點編碼器和指針解碼器的維度都設為300。在測試過程中，使用集束搜索（Beam Search）方法生成最終的結果。集束搜索衡量了搜索空間和得到最優(yōu)解概率的雙重因素，每步會根據集束寬度K保留概率最大的K個結果并繼續(xù)按照詞表搜索，直到生成過程結束。在模型測試階段，本文設置Beam Search 的束寬為5。具體實驗參數如表2 所示。

表2 實驗參數設置Table 2 Experimental parameter settings

4.3 評價標準

本文實驗采用自動文本摘要領域常用的評價工具ROUGE 中的ROUGE-1、ROUGE-2 以及ROUGE-L這3 類評價指標的F1 值來評估摘要質量。其中，ROUGE-1 代表了自動文本摘要的信息量，ROUGE-2側重于評估對話摘要的流暢性，而ROUGE-L 則基于最長公共子序列，可以認為是摘要對原文信息的覆蓋量。ROUGE 值度量了生成的摘要與目標摘要的接近程度。

4.4 結果分析

4.4.1 基準實驗對比分析

為驗證所提方法在生成式對話摘要任務中的效果，本文選取了7 種基線模型進行對比實驗。

1）Longest-3 是一種提取式摘要方法，選取最長的三句話語按長度排序作為摘要。

2）Seq2Seq+Attention 是由RUSH等［7］提出，使用基于Attention 機制的編碼器來學習輸入文本的潛在軟對齊，以提供摘要信息。

3）PGN［8］是指針生成網絡，使用指針機制和覆蓋機制解決了生成式文本摘要中的OOV 和摘要重復問題。

4）Transformer是由VASWANI等［25］提出，是一種利用Self-Attention 機制實現快速并行的序列到序列模型。

5）Fast Abs RL［9］是一種基于兩階段式的摘要模型，首先由抽取器選擇重要句子，然后生成器對抽取出的句子重寫得到最終摘要。

6）Fast Abs RL Enhanced 是Fast Abs RL 的變形，由于原模型可能會選擇1 個人的話語而沒有關于其他對話者的信息，因此它將所有其他對話者的名字添加到話語的結尾。

7）T-GAT 是本文模型的變形，將異質圖層替換為同質圖層的圖注意力網絡（Graph Attention Network，GAT）［26］。

考慮到計算資源有限，本文沒有使用預訓練語言模型（如BERT）。因此，為了公平起見，本文只和未使用預訓練語言模型的方法進行比較。不同模型的實驗結果對比如表3 所示，Separator 是人為添加的1 個標記來分隔話語。

表3 不同模型的實驗結果對比Table 3 Experiment results comparison among different models %

從表3 可以看出，與原模型相比，使用了分隔符（Separator）使得對應模型的性能有所增加，這是因為通過人工添加特殊標記改善了語篇結構。與傳統的抽取式方法Longest-3 相比，T-HDGN 在ROUGE評價指標上獲得了較大的提高，說明生成式方法具有明顯的優(yōu)勢。與表現較優(yōu)的Fast Abs RL Enhanced模型相比，在不需要使用強化學習策略和簡化訓練過程的情況下，T-HDGN 模型在ROUGE 得分上依然具有優(yōu)勢。與同質網絡T-GAT 相比，基于異質圖網絡的T-HDGN 模型在ROUGE-1、ROUGE-2、ROUGE-L上分別提升了0.70、0.98 和0.61 個百分點，表明異質性建模具有一定的有效性。此外，T-HDGN 模型的性能均優(yōu)于其他生成式方法Seq2Seq+Attention、PGN 和Transformer，說明通過圖結構對會話進行建模時，異質圖網絡可以有效地融合信息并捕獲語句間豐富的語義關系，解決了對會話上下文理解不充分的問題。此外，使用行動三元組有助于模型理解說話人與其對應動作之間的正確關系，提高摘要的生成質量。

4.4.2 消融實驗

為驗證該模型中主要模塊對生成對話摘要的有效性，本文進行消融實驗，驗證對話圖中行動節(jié)點和對話者節(jié)點這2 種不同類型節(jié)點的有效性。消融實驗結果如表4 所示，T-HDGN w/o action 表示移除對話圖中的行動三元組節(jié)點，T-HDGN w/o speaker 表示移除對話圖中的對話者節(jié)點。

表4 消融實驗結果Table 4 Ablation experimental results %

缺失行動三元組節(jié)點和對話者節(jié)點均降低了模型生成摘要的效果。其中，移除行動三元組節(jié)點使得ROUGE-1、ROUGE-2、ROUGE-L 評分分別降低了0.48、0.67 和0.71 個百分點，這表明加入行動三元組（Who，Doing，What）有助于模型更充分地對會話上下文建模。此外，如果直接移除圖中的對話者節(jié)點，將造成話語沒有對應的說話人。因此，本文首先在話語前面加上說話人，然后移除對話者節(jié)點。實驗結果表明，移除對話者節(jié)點也導致了模型性能下降，說明異質性建模對話者節(jié)點能夠更充分地學習到會話的上下文表示，有利于最終摘要的生成。

此外，為了驗證在指針機制和覆蓋機制中融入主題詞對生成摘要的有效性，同樣進行消融實驗，結果如表5所示。T-HDGN w/o TP表示移除主題詞的指針機制，T-HDGN w/o TC 表示移除主題詞的覆蓋機制。

表5 消融實驗對比結果Table 5 Comparison results of ablation experiments %

從表5 可以看出，在移除了覆蓋機制和指針機制中的主題詞后，模型性能都不如完整的T-HDGN 模型，說明對于關鍵信息分散在不同話語中的會話，主題關鍵詞有利于模型生成信息豐富且真實的對話摘要。

4.4.3 對話者數和轉換數對模型的影響

為了探究會話中對話人數和轉換數對ROUGH指標的影響，本文在表現最佳的T-HDGN 模型上進行實驗分析，其可視化結果如圖7 所示。實驗結果表明，隨著對話人數和轉換數的增加，ROUGH 指標呈逐漸下降趨勢，表明在生成式對話摘要任務中隨著會話參與人數和話語數的增加，總結對話的難度就越大。

圖7 參與者數和轉換數對模型性能之間的影響Fig.7 The impact of the number of participants and conversions on model performance

4.4.4 泛化性實驗

為驗證模型是否具有較優(yōu)的泛化能力，本文直接在由人類編寫的辯論對話摘要數據集ADSC 上進行泛化性實驗測試，結果如表6 所示。

表6 在ADSC 數據集上不同模型的ROUGE 結果Table 6 ROUGE results among different models on the ADSC dataset %

從表6 可以看出，T-HDGN 模型在ADSC 數據集上的表現均優(yōu)于其他基線模型，說明本文模型可以更充分理解新領域中的對話，在生成式對話摘要任務中具有較優(yōu)的應用價值。其原因為在生成摘要時，一方面通過顯式建?！癢ho，Doing，What”信息以幫助模型更好地理解說話者和話語內行動之間的關系；另一方面，通過1 個異質圖網絡來建模不同類型的數據，合理地編碼會話結構。同時，基于T-HDGN 模型的對話摘要生成模型也可以應用于其他領域，如在線醫(yī)療問診的總結以及人機對話的下游任務。

4.4.5 摘要實例對比分析

不同模型針對如下對話生成的摘要示例對比如表7 所示。

表7 不同模型生成的摘要示例Table 7 An example of summary generated by different models

Lilly：sorry，I'm gonna be late.

Lilly：don't wait for me and order the food.

Gabriel：no problem，shall we also order something for you？

Gabriel：so that you get it as soon as you get to us？

Lilly：good idea！

Lilly：pasta with salmon and basil is always very tasty there.

從表7 可以看出，傳統的抽取式摘要模型Longest-3 與生成式摘要模型的效果差距明顯，這主要是因為與新聞等文本不同，對話類數據的信息比較分散，前幾句很少涉及關鍵信息，導致抽取的摘要效果不佳。對于Fast Abs RL Enhanced 模型，由于事先在每句話語之后添加了其他對話者的名字，因此模型在生成摘要時能正確包含說話人的名字。然而，Fast Abs RL Enhanced 模型在決定動作由誰做出時出現錯誤，這可能與該模型的兩階段式生成過程有關，再加上對話的特殊文本結構，導致對話的上下文范圍縮小，從而生成不正確的內容。與其他的序列到序列模型相比，T-HDGN 模型能正確決定動作由誰做出。這是因為本文明確建?！癢ho，Doing，What”信息有助于模型更好地理解說話者和話語內行動之間的關系。此外，在譯碼階段還使用主題詞來引導解碼器生成摘要，使得摘要中包含更多的關鍵信息。

5 結束語

本文建立一種主題詞引導的異質對話圖網絡（T-HDGN）模型，以圖到序列的框架自動生成對話摘要。利用從話語中抽取的“Who，Doing，What”信息構建對話圖，將圖中的話語、對話者和行動節(jié)點作為異質節(jié)點，通過1 個異質圖網絡對會話圖進行編碼。此外，在生成階段融入主題信息以輔助摘要生成。實驗結果表明，與傳統的文檔摘要模型相比，T-HDGN 模型可以正確地將對話者與其對應動作相關聯，并且生成的摘要中包含更多的關鍵信息，更接近目標摘要。后續(xù)將使用預訓練語言模型更好地編碼會話表示，還將針對具體的應用領域改進對話總結模型以適用于各個領域，如醫(yī)療對話、客服對話、辯論以及可能涉及更長話語和更多非同步參與者的對話。