基于遞歸神經(jīng)網(wǎng)絡(luò)的詩詞生成

曹芳 王海龍 涂術(shù)娟 康建庚 韓錦濤

（北京吉利學(xué)院汽車工程學(xué)院，北京 102202）

詩歌是一種特殊而重要的文化遺產(chǎn)，具有更多的意義。在人類歷史上已有數(shù)千年的歷史他們的受歡迎程度在日常生活的許多方面表現(xiàn)出來，例如表達個人情感，政治觀點或在節(jié)日場合傳達信息。相對于自由語言，詩歌具有獨特的優(yōu)雅，例如唯美主義和簡潔等。創(chuàng)作古典詩歌被認為是作為一項具有挑戰(zhàn)性的任務(wù)，它具有一系列結(jié)構(gòu)上，語音上，和語義要求，因此只有很少的優(yōu)秀學(xué)者能夠掌握操縱或組織術(shù)語的技能。

隨著人工智能的快速發(fā)展，我們意識到計算機可能在以下方面發(fā)揮重要作用幫助人類創(chuàng)作詩歌：它很方便計算機從大型語料庫，以及計算機程序可以發(fā)揮很大的優(yōu)勢認識，學(xué)習(xí)甚至記住模式或給出語料的規(guī)則。以上觀察激發(fā)自動使用計算智能生成詩歌。為了讓人們更好地繼承這種古典藝術(shù)，我們介紹自動詩歌創(chuàng)作的一項有意義的任務(wù)是賦予計算機模仿的人工智能人類詩歌的產(chǎn)生過程一種幫助人們掌握詩歌創(chuàng)作水平的工具。

在本文中，我們關(guān)注自動生成詩歌。盡管計算機不能代替詩意的創(chuàng)造力，他們可以分析非常大的在線文本存儲庫詩。計算機可以提取統(tǒng)計模式，進行維護它們存儲在內(nèi)存中，并使用它們生成許多可能的變體。此外，對于機器而言，它相對簡單檢查候選詩是否與那些詩相符要求。超越建立自主性的長期目標能夠創(chuàng)造有意義的智能系統(tǒng)詩歌最終將有潛在的短期應(yīng)用對于AI 增強人類的專業(yè)知識/經(jīng)驗，可能使每個人都可以因娛樂或教育而成為詩人目的。我們提出基于遞歸神經(jīng)網(wǎng)絡(luò)的詩詞生成系統(tǒng)鑒于有大量收藏詩歌，我們學(xué)習(xí)單個人物的表現(xiàn)，及其組合成一個或多個行，以及如何他們相互加強和相互制約。鑒于用戶指定的寫作意圖，系統(tǒng)可以生成一個通過順序語言建模創(chuàng)作詩歌。不同于傳統(tǒng)以前的神經(jīng)網(wǎng)絡(luò)中的單遍生成，我們的擬議的系統(tǒng)將能夠為一個或多個迭代，以完善措辭，并做到更多詩意的，這很像一個真實的人類寫作過程。

一、相關(guān)工作

詩歌是最重要的文學(xué)遺產(chǎn)之一在世界各地的各種文化中，有一些正式的研究計算機輔助詩歌生成領(lǐng)域。來自不同國家的科學(xué)家研究了自動通過不同語言以自己的語言創(chuàng)作詩歌方式：1.遺傳算法。2.統(tǒng)計機器翻譯（SMT）。提出了一種跨語言一代的翻譯模型詩歌，從意大利語到英語；3.基于規(guī)則的模板?；谡Z義和語法模板的生成平臺。如果用戶的輸入查詢太短而無法提取足夠的關(guān)鍵字，則我們需要擴展一些新關(guān)鍵字直到滿足關(guān)鍵字編號的要求。我們對關(guān)鍵字使用兩種不同的方法擴張。基于RNNLM 的方法。我們使用遞歸神經(jīng)網(wǎng)絡(luò)語言模型（RNNLM）根據(jù)前面的關(guān)鍵字序列預(yù)測后續(xù)關(guān)鍵字RNNLM 的訓(xùn)練需要一個訓(xùn)練集，該訓(xùn)練集包括從詩歌中提取的關(guān)鍵字序列，其中一個關(guān)鍵字代表一行的子主題。我們自動生成訓(xùn)練語料庫從收集的詩歌中具體來說，給定一首包含N 行的詩歌，我們首先對單詞進行排名根據(jù)詩歌語料庫上計算出的分數(shù)在每行中進行排列。然后用選擇最高的分數(shù)作為該行的關(guān)鍵字。這樣，我們可以提取一個關(guān)鍵字排列每首詩，并為基于RNNLM 的關(guān)鍵字預(yù)測生成訓(xùn)練語料庫模型。在本文中，我們著重于中國絕句的產(chǎn)生，它有4 行，每行有相同長度的5 或7 個字符。我們從互聯(lián)網(wǎng)上收集了7 萬部絕句，并隨機選擇用于驗證的2,000 首詩，用于測試的2,000 首詩以及其余用于培訓(xùn)的詩。從詩歌訓(xùn)練語料庫中，我們提取了70000 個關(guān)鍵字序列，即用于訓(xùn)練RNN 語言模型以進行關(guān)鍵字擴展。

二、方法

詩人創(chuàng)作詩歌的一個可行程序是首先概述可以表達的主要寫作意圖通過一組關(guān)鍵字。自作者以來，這是一個反復(fù)的過程可以隨時更改條款的一部分以完善想法，直到整首詩都寫完了。試圖模仿這樣的過程。問題表述。我們將問題定義如下輸入。給定關(guān)鍵字={k1，k2，...kn}來自作者作為寫作意圖（即主題，主題，場景，或生成詩歌的主題），其中ki 是關(guān)鍵字學(xué)期。每個關(guān)鍵字由一個或多個字符組成，即ki={c1，c2，...}。我們從關(guān)鍵詞中產(chǎn)生一首詩。輸出。我們生成一首詩P={c1,1，...，c1，n;...;cm，1，...，cm，n}，ci，j 2 V，其中V 是詞匯量。n 是一行詩中的字符數(shù)； m 是行數(shù)。對于中國古典詩歌，即絕句和受限制的經(jīng)文，n（5 或7）和m（4 或8）是固定數(shù)字。系統(tǒng)框架。我們的系統(tǒng)以編碼解碼方式工作時尚，代表用戶的意圖單個向量，然后將向量解碼為整首詩。意圖表示。系統(tǒng)接受一組用戶指定關(guān)鍵字作為輸入。我們使用神經(jīng)網(wǎng)絡(luò)（CNN）或遞歸神經(jīng)網(wǎng)絡(luò)（RNN）上的字符以捕獲特定含義關(guān)鍵字詞；然后整合不同術(shù)語的信息通過池化層。這樣我們得到一個向量用戶意圖的表示。

順序生成。以向量表示為條件根據(jù)用戶的意圖，我們使用RNN 編寫一首詩逐個字符生成一個字符。注意那首詩包含多行，并且每行進一步包含多行人物，我們對詩歌使用分層架構(gòu)一代。具體來說，我們有一個RNN 代表全球每行的信息：全局信息向量的影響在該行中的所有角色世代上?；谌騌NN，我們還有另一個代表本地的RNN 信息，指導(dǎo)單個字符的生成在行內(nèi)。

LSTM。LSTM 代表長期短期記憶，它是循環(huán)層的構(gòu)建單元神經(jīng)網(wǎng)絡(luò)。LSTM 單元由一個單元，一個輸入，一個輸出和一個忘記門組成。這些負責(zé)記憶一定時間范圍內(nèi)的門保留了多少數(shù)據(jù)。有兩種主要的訓(xùn)練LSTM 詩歌模型的方法。首先字符，這意味著模型將字符序列作為輸入。基于第一個該模型試圖預(yù)測以下特征，然后根據(jù)前兩個預(yù)測預(yù)測第三個字符，依此類推。第二種方法是逐個子詞基本上與每個字符相同-模型試圖預(yù)測下一個子詞基于以前的。此外，使用了兩種方法來分割數(shù)據(jù)，很明顯的一種是逐詩另一種將基于特定的序列長度。逐詩逐句詩歌必須等長，因此模型可以使用批量更新。但是，這將增加訓(xùn)練時間，因為還有更多數(shù)據(jù)需要處理通過和詩的長度變化很大。另一方面，有限的序列長度可能會失去這首詩的上下文，因為網(wǎng)絡(luò)不會將這首詩視為整個。盡管如此，這兩種方法都已實現(xiàn)并嘗試過。最后但并非最不重要的一點是，使用LSTM 模型生成詩歌。該模型從一個開始隨機或輸入的字符，并據(jù)此預(yù)測，直到結(jié)束符號或長度限制為到達。綜上所述，系統(tǒng)對寫作意圖進行編碼，并生成按照這樣的意圖通過一首詩解碼過程。

三、實驗與評估

自動生成與人類詩人我們進行了一次有趣的評估，直接比較了我們的自動詩歌生成系統(tǒng)與人類詩人相似，類似于圖靈測驗。我們隨機選擇了二十測試集的詩歌，由中國古代詩人撰寫。我們用這些詩的標題作為通過我們的自動生成系統(tǒng)輸入并生成了20 首詩。因此，機器生成詩與人類詩是同一個主題。然后我們問了一些人類評估者區(qū)分人類創(chuàng)作的詩歌和機器生成的詩歌。在盲測中，我們向評估者展示了兩首詩及其標題。時間，并要求評估者從以下三個選項中進行選擇：1.詩歌A 是人類寫的；2.詩B 是人類寫的；3.無法區(qū)分人類寫的是哪一個。評估結(jié)果我們可以看到48.9%的機器生成的詩歌被錯誤地識別為人類詩歌或無法被普通評估者區(qū)分。但對于專家評估人員，這一數(shù)字下降到15.3%。我們可以從結(jié)果中得出兩個結(jié)論：1.在普通用戶的標準下，我們的機器生成的詩歌的質(zhì)量非常接近人類詩人；2.但從專業(yè)專家的角度來看，機器生成的詩歌仍然有與人類詩歌相比，有一些明顯的不足。

四、結(jié)論與未來工作

在自然領(lǐng)域，詩歌創(chuàng)作是一項艱巨的任務(wù)語言生成。我們提出了一種新穎的建模方法這個問題基于遞歸神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。給定用戶的寫作意圖，我們對信息進行編碼并通過順序生成將其解碼為一首詩。我們的人類評估研究顯示機器產(chǎn)生的詩歌落后于人類產(chǎn)生的詩歌那些。值得牢記的是詩歌創(chuàng)作對人類來說是一項艱巨的任務(wù)，更不用說機器了。未來工作的途徑很多。我們想產(chǎn)生不同的詩語言和流派。