深度學習下的機器中文閱讀理解分析

劉建偉

摘要：在人類智能各項能力中，閱讀理解能力就是其中較為重要的一項能力，機器閱讀理解能力是自然語言處理領域中不可或缺的一項能力。在我國整體對深度學習方法不斷深入研究的背景下，機器中文閱讀理解技術水平發(fā)生了顯著變化，但是其詞向量模塊、模型推理能力、模型外部推理知識、答案生成技術等仍然存在不足，為了能夠進一步機器中文閱讀理解技術，本文對深度學習下的機器中文閱讀理解進行全面分析。

關鍵詞：深度學習;機器中文閱讀理解;研究方法

引言

機器中文閱讀理解是自然語言處理領域的一種核心技術，在對深度學習技術的輔助下，其實際發(fā)展速度顯著提升。機器中文閱讀理解，實際上就是讓機學會中文閱讀和文章理解，對于已經給定的問題，要從閱讀中尋找相對應的答案。機器中文閱讀理解涉及到語言理、知識推理、摘要生成多多項具有復雜性的技術，無形中也使機器中文閱讀理解技術的提升面臨著嚴峻挑戰(zhàn)。本文從機器中文閱讀理解面臨的主要問題入手，展開闡述，針對深度學習下的機器中文閱讀理解進行深入探討。

一、機器中文閱讀理解面臨的主要問題

（一）詞向量模塊缺乏完善性

現(xiàn)階段，通過運用預訓練的語言模型，取代預訓練的詞向量對機器中文閱讀理解模型帶來的性能提升，但是以語言模型為基礎的詞向量仍然存在一定局限性。比方說在機器中文閱讀理解任務中，為了能夠精準的回答與人物軌跡相關的各項問題，模型自身就要具備指代消解能力，但是語言模型在此方面卻存在一定缺陷。此外，通過運用語言模型只能捕捉到其能見到的信息，對于一些具有常識性的信息而言，仍然需要其他技術輔助。

（二）模型自身缺乏推理能力和外部知識

目前的閱讀理解模型缺乏具有深度性的閱讀理解能力，而是注意某些線索以執(zhí)行粗淺的模式進行匹配。但是不論是對于語言模型而言，還是對于注意力模型而言，都缺乏相應的推理能力。如語言模型更傾向于語法和語義模型的構建;注意力模式與之不同，主要就是以虔誠予以的相似度進行計算，但是推理能力則是要求模型能夠以高層抽象的語義為基礎構建模型。不僅如此，模型自身還缺乏外部知識[1]?，F(xiàn)階段的中文閱讀理解模型實際運用的信息，都來自于文章，在實際進行中文閱讀理解期間，需要緊緊結合外部知識對文章進行深度理解，但是因為其在此方面存在一定缺陷，導致模型的外部知識體系需要進行完善。

（三）答案生成技術研究缺乏全面性

現(xiàn)階段的機器中文閱讀理解技術，充分運用邊界模型對答案進行預測。即便邊界模型在SQuAD數(shù)據(jù)集上獲取了一定的成果，但是對于一些貼近真實應用場景的數(shù)據(jù)集而言并不適用。答案生成技術目前已經產生立初步的研究成果，但是為了能夠進一步的生產高質量的答案，仍然需要提升其研究全面性。

二、深度學習下的機器中文閱讀理解

（一）完善詞匯量模塊

在大部分的NLP任務中，第一步程序就是運用向量來表示中文單詞，詞的向量表示始終都是NLP領域中重點研究的問題。在機器中文閱讀理解任務中，能否精準的表示詞向量至關重要，通過運用高質量的詞向量，能夠全面提升機器中文閱讀理解任務模型的各項性能?，F(xiàn)階段對詞向量進行研究，主要就是依據(jù)詞的相似性分布理論，也就是能夠通過上文和下文的描述將其含義表現(xiàn)出來。從生成詞向量方式的角度進行分析，詞向量的具體研究方法被分為矩陣分解法、參數(shù)學習法、上下文學習法。

（二）矩陣分解法

將相似性分布理論作為核心依據(jù)進行研究，根據(jù)實際需要，中文閱讀理解中的上文和下文不僅可以是整篇文檔，也可以是任意長度的窗口。為了能夠更加精準的表示詞向量，就要準確落實矩陣奇異值分解工作，并且在實際表示詞向量期間要運用合成低緯度矩陣。此種低維度、高密度的詞向量表示發(fā)揮作用，能夠有效解決維數(shù)災難和稀疏性問題，因此其被充分利用。但是通過運用矩陣分法進行表示，仍然存在一些不足，如在對大規(guī)模語料而言，在實際對共現(xiàn)矩陣進行分解的過程中，具有較大的消耗量。此外，在對語料進行增量式更新的過程中，就要對共現(xiàn)矩陣的奇異值分解進行再一次計算。

（三）參數(shù)學習法

為了能夠彌補矩陣分解法在計算量方面的各項不足，就要要求研究人員運用參數(shù)學習法對詞向量進行表示。以神經網絡的概率語言模型為基礎構建的Bengio，其將詞向量作為語言模型的參數(shù)進行學習。主要就是每個單詞表示為低緯度的特征向量，之后再對詞的特征向量構造語言模型的聯(lián)合概率密度，并要對聯(lián)合概率密度函數(shù)進行優(yōu)化，進而深入的學習詞的特征向量。但是通過運用參數(shù)學習法，也并沒有完全解決維數(shù)災難和計算量方面的問題，如依然存在著一詞多義的現(xiàn)象，這就要對上文和下文信息進行有效利用。

（四）上下文學習法

為了能夠有效解決一詞多義的問題，就要對上下文的語境進行充分利用，其屬于動態(tài)詞詞向量表示方法的范疇，進而就會使詞向量不再處于靜態(tài)模型參數(shù)的范疇，而能夠進行動態(tài)模型輸出[2]。像Melamud就會通過用BiLSTM取代了word2vec模型中詞向量矩陣，并通過對BiLSTM進行正確應用，對中文閱讀理解的上下文進行編碼，通過在這樣的方式獲取詞向量的標識。

三、完善注意力機制

（一）單路注意力模型

為了能夠對人做中文閱讀理解過程中各項事項進行模擬，就要以運用單路注意力模型的方式為主，如首先明確中文閱讀理解中提出的各項問題，其次再到中文閱讀理解中尋找答案。將具體問題與文章段落的各項信息進行結合，形成關于文章段落各個部分的注意力權重，之后再對文本信息進行加權，此種注意力機制就能夠精準的捕捉到文章各個段落中與問題先關的信息。

（二）雙路注意力模型

雙路注意力模型不僅能夠在文章中使用注意力機制，同時也能在問題上使用注意力機制。通過按行計算注意力的方式，來獲取文章序列和問題中每個單詞具之間的相似度;按列的方式對注意力進行計算，來獲取問題單詞和文章中每一個單詞的相似度。雙路注意力機制，主要就是從二維相似度矩陣的角度，來獲取中文閱讀的整體表達。通過對文章和問題之間的相似度的掌握，及進一步完成細粒度建模，在不斷完善各處細節(jié)信息的同時，能夠有效提升機器中文閱讀理解水平。

（三）完善答案預測機制

1 答案抽取

答案抽取機制具體是指從已經給定的中文閱讀理解中，挑選出較為關鍵的片段，之后在生成相應的答案。如在數(shù)據(jù)SQuAD中，每一個問題的答案都是原文中的一個單獨片段[3]。但是隨著輸入文章的長度不斷變化，有越來越多的中文閱讀理解模型以運用指針網絡方式為主，進行答案抽取;將指針網絡作為核心依據(jù)進行研究，將答案抽取模型分為序列模型和邊界模型兩種類型。將這兩種模型進行比較，不難發(fā)現(xiàn)，序列模型的靈活性比較強，但是其答案是由多個詞匯組合而成的，所以導致其在語法規(guī)范和語義表達方面，就會比邊界模型更弱一些。

2 答案生成

與SQuAD數(shù)據(jù)集有所不同，像微軟亞洲研究院實際發(fā)布的數(shù)據(jù)集MS MARCO都是在人工閱讀的方式后，進行總結，之后再生成答案。這樣其答案就不會再受到文章片段的限制，但是其對模型自身生成答案的能力具有較高要求。

結束語：

總之，在深度學習技術水平不斷提升的背景下，以深度神經網絡機制為依據(jù)的機器中文閱讀理解技術能力有所提升。本文主要就是對機器中文閱讀理解存在的各相不足問題進行分析，結合實際要求制定科學有效的完善方案，為今后實際問題提供重要保障。

參考文獻：

[1]段利國， 高建穎， 李愛萍. 機器閱讀理解中觀點型問題的求解策略研究[J]. 中文信息學報， 2019， 33（10）.

[2]王璞， 徐蔚然. 基于機器閱讀理解的嵌套命名實體識別[J].? 2020.

[3]邱超凡. 基于深度學習神經網絡的機器閱讀理解的研究[D].? 2019.