杜艮魁

摘 要：手機動畫自動生成系統(tǒng)將中文短信作為輸入，經過信息抽取、情節(jié)規(guī)劃、定量計算和實時渲染之后，生成一段可以表現(xiàn)短信內容的動畫。其中情節(jié)規(guī)劃決定了動畫對短信內容的表現(xiàn)方式，是動畫系統(tǒng)的重要組成部分。當前動畫系統(tǒng)情節(jié)規(guī)劃模塊僅僅基于動畫課題組建立的動畫本體庫，實體及實體關系較少，能夠進行的情節(jié)規(guī)劃十分有限。為豐富情節(jié)規(guī)劃可使用的語義信息，構建了DBpedia數(shù)據(jù)集與動畫本體庫之間的實體鏈接，并在情節(jié)規(guī)劃過程中以DBpedia數(shù)據(jù)集作為背景知識，實現(xiàn)基于DBpedia的動畫情節(jié)規(guī)劃。實驗表明，平均每條短信獲取備選場景的數(shù)量提升了33%，獲取短信相關模型的數(shù)量提升了37%，基于DBpedia的情節(jié)規(guī)劃能夠顯著提高情節(jié)規(guī)劃的多樣性。

關鍵詞：動畫自動生成;情節(jié)規(guī)劃;實體鏈接;DBpedia;背景知識

0 引言

20世紀90年代，中科院數(shù)學所陸汝鈐院士[1]首次提出了全過程計算機輔助動畫自動生成技術。該技術以受限語言作為輸入，將人工智能技術、圖形學和電影藝術相結合，全自動進行動畫生成。整個過程不需要人工干預，由計算機自動完成，因此可提高動畫成片效率。中科院張松懋研究員[2]提出將動畫自動生成技術應用在手機短信上，并完成了手機動畫自動生成系統(tǒng)的初始版本。該系統(tǒng)通過對發(fā)送方的短信進行信息抽取、情節(jié)規(guī)劃、定量計算和實時渲染處理后，最終生成表現(xiàn)短信內容的動畫并發(fā)送給短信接收方。

動畫系統(tǒng)的情節(jié)規(guī)劃模塊銜接了信息抽取和定量計算，實現(xiàn)對短信內容的設計，包括場景模型規(guī)劃、音樂規(guī)劃、動作規(guī)劃、特效規(guī)劃、色彩燈光規(guī)劃、空間布局規(guī)劃、攝像機規(guī)劃等。情節(jié)規(guī)劃以動畫本體庫為知識基礎[3]，本體庫中實體和關系的數(shù)量將對情節(jié)規(guī)劃效果產生直接影響。

Linked Open Data（LOD）是一個開放、互聯(lián)的數(shù)據(jù)集集合，包含音樂、電影、醫(yī)學和跨領域等各種類型的數(shù)據(jù)集[4]，部分數(shù)據(jù)集如圖1所示。其中DBpedia是最大且應用最廣泛的跨領域數(shù)據(jù)集之一[5]，內容為Wikipedia中抽取的結構化數(shù)據(jù)，包含豐富的語義信息，因此在很多應用中被用作背景知識來源[6]。

本文旨在通過構建動畫本體庫與DBpedia之間的實體鏈接，在情節(jié)規(guī)劃過程中使用DBpedia作為背景知識提高情節(jié)規(guī)劃效果。

1 相關研究

Tim Berners-Lee[7-8]將語義網定義為“被機器理解的數(shù)據(jù)網絡”，該技術可增強計算機對數(shù)據(jù)的處理能力。自2012年谷歌發(fā)布知識圖譜（Knowledge Graph）以來[9]，推動了語義網技術在搜索和推薦等領域的研究和商業(yè)化應用[10-12]。

動畫系統(tǒng)情節(jié)規(guī)劃基于語義網技術[13]，并使用本體編輯器protégé構建了動畫本體庫。目前，動畫本體庫包括場景庫、模型庫、音樂庫、動作庫、空間布局庫和攝像機庫等，主要為描述動畫生成手段的類、實體、屬性和關系三元組，數(shù)據(jù)統(tǒng)計如表1所示。由于動畫本體庫實體和關系較少，因此能夠進行的情節(jié)規(guī)劃十分有限。

DBpedia是從 Wikipedia中抽取的結構化數(shù)據(jù)，可通過SPARQL終端查詢或直接下載。Wikipedia文章之間的相互引用為DBpedia抽取海量關系提供了數(shù)據(jù)基礎。目前DBpedia包含760個類、62 025個屬性、400多萬個實體和9.5億多個關系三元組，其主要類型的實體數(shù)量統(tǒng)計如表2所示。

DBpedia包含了大量的語義信息，因此各種應用常使用DBpedia對業(yè)務數(shù)據(jù)進行實體鏈接以獲取該數(shù)據(jù)的語義信息。DBpedia lookup提供了基于關鍵字的實體搜索服務，該服務使用類型作為搜索限制，并基于相關度對結果進行排序。DBpedia Spotlight是一種將非結構化信息鏈接到 DBpedia實體上的解決方案[14]，該工具可自動使用DBpedia URI對文本中實體進行注釋。通過分析數(shù)據(jù)特點，構造SPARQL語句查詢對應的實體，是一種常用的針對DBpedia數(shù)據(jù)集實體鏈接方案[15]。此外，DBpedia本身也和很多開源數(shù)據(jù)集之間存在著豐富的鏈接，例如與yago[16]之間的關系三元組有18 100 000多個，這些數(shù)據(jù)可作為被鏈接實體的語義信息來源。

在進行實體鏈接之前常常需要對數(shù)據(jù)進行預處理，以減小不同數(shù)據(jù)集的格式、命名規(guī)范和同義詞等因素對實體鏈接造成的影響[17]。Natural Language Toolkit（NLTK）是一個開源的自然語言處理框架[18]，可以對文本數(shù)據(jù)進行分詞、詞干提取、詞性標記等處理。

本文使用開源框架Apache Jean對本體庫進行操作。Apache Jena是用來構建語義網應用的常用解決方案，可以對RDF（Resource Description Framework）數(shù)據(jù)進行存儲、查詢和修改等操作，主要功能組件如下：

（1）Ontology API：可使用模型對象對RDF數(shù)據(jù)進行查詢或修改，例如添加額外的語義信息到RDF數(shù)據(jù)。

（2）ARQ：可使用基于SPARQL1.1協(xié)議的查詢語言對本地本體庫或網絡上的SPARQL 終端進行查詢。

（3）TDB：高性能的RDF數(shù)據(jù)存儲組件，可對數(shù)據(jù)進行持久化。

（4）RDF API：讀取和修改RDF數(shù)據(jù)，將RDF數(shù)據(jù)轉換成XML、JSON等格式。

2 DBpedia與動畫知識庫的實體鏈接構建

構建動畫本體庫和DBpedia的實體鏈接后，可借助這些鏈接進一步對動畫知識庫增強，使得在情節(jié)規(guī)劃過程中將DBpedia作為背景知識，充分利用其語義信息進行情節(jié)規(guī)劃。構建實體鏈接主要步驟如下：

（1）數(shù)據(jù)預處理：將用于輔助實體鏈接的實體名稱格式進行歸一化處理和同義擴充。

（2）建立關系：將動畫本體庫中的實體鏈接到DBpedia實體，構造兩個本體庫之間的關系，并使用這些關系對動畫本體庫進行增強。

2.1 數(shù)據(jù)預處理

為避免兩個數(shù)據(jù)集不同命名規(guī)范和詞形對后續(xù)建立關系時造成影響，有必要先對數(shù)據(jù)進行預處理，數(shù)據(jù)預處理流程如圖2所示。

在經過分詞和詞干提取處理后，實體名稱已經轉換為相對統(tǒng)一的形式，對于實體名稱為單個詞語的數(shù)據(jù)項，不同的數(shù)據(jù)集可能采用同義詞命名，因此本文使用WordNet[19]和thesaurus獲取名稱的同義詞集作為對實體的等價描述，以此消除同義詞帶來的影響。實體名稱在進行預處理后轉換為統(tǒng)一的形式。例如“Human”在經過預處理后可得到同義詞集的詞干“human，person”，“histor build”為“HistoricBuilding”經過預處理之后所包含單詞的詞干。

2.2 DBpedia與動畫知識庫實體鏈接建立

此階段構造DBpedia和動畫本體庫之間的關系三元組，步驟如下：①構造兩個數(shù)據(jù)集之間的具有等價關系的實體鏈接;②借助實體鏈接的等價關系，獲取DBpedia和動畫本體庫實體之間的其它關聯(lián)關系，如子類關系、屬性定義域和值域等，并使用這些關系增強動畫本體庫。

動畫本體庫中資源的URI后綴是被描述的資源英文名稱，例如“人類”對應URI的后綴是 “Human”。DBpedia實體的rdfs：label屬性提供了人類易于理解的資源名稱，如“人類”在DBpedia中對應類的rdfs：label屬性值是“person”。因此動畫本體庫資源的URI后綴和DBpedia資源的rdfs：label屬性可以作為構建兩個數(shù)據(jù)集之間具有等價關系的實體鏈接輔助信息。通過以下兩種策略進行匹配：①標簽匹配：查找DBpedia的rdfs：label屬性與動畫實體名稱相匹配的實體，匹配借助正則表達式;②前綴匹配：構建自定義的URI鏈接。例如將動畫本體庫中類名稱拼接到“http：//dbpedia.org/ontology/”后，查看DBpedia中是否存在與其等價的類。

DBpedia包含400多萬實體，rdfs：label關聯(lián)的關系三元組有22 430 850個。考慮到數(shù)據(jù)規(guī)模，本文使用開源框架Apache Jena 的TDB組件對數(shù)據(jù)進行存儲。

使用Human實體名稱和DBpedia實體的 rdfs：labe屬性值經過預處理后的同義詞集作為正則匹配參數(shù)，并將 ‘cou作為相關性權值，選取權值最大的DBpedia實體作為結果進行鏈接。

實體鏈接之后，每對鏈接關聯(lián)的實體具有等價關系，以這些等價關系為基礎，使用Apache Jena框架補全兩個本體庫之間其它的關系，結果如表3所示。

鏈接完成后，動畫本體庫中仍有部分數(shù)據(jù)未能鏈接到DBpedia上，分析原因為：動畫本體庫中很多描述動畫生成手段的專業(yè)知識在 DBpedia中沒有實體與其準確匹配，比如可用空間、交互動作、攝像機等，對于這部分數(shù)據(jù)不再進行匹配。

動畫本體庫和DBpedia使用了不同的模式層，因此兩者對于相同的知識可能使用不同形式的描述。例如DBpedia中存在定義域為dbo：Person的屬性foaf：gender描述人物性別，動畫本體庫中區(qū)分實體年齡的屬性為人物模型類型。對于此類情況，將DBpedia中的屬性及屬性值補充到動畫本體庫中以增強動畫本體庫。由于不同類下的實體需要進行整合的屬性和屬性值不同，因此這部分工作無法采用全自動方式處理，而是需要不斷總結規(guī)律，采用半自動化方式進行。

通過構建DBpedia與動畫知識庫之間的實體鏈接，豐富了情節(jié)規(guī)劃可使用的知識，為更加多樣性的情節(jié)規(guī)劃提供了知識基礎。

3 基于DBpedia的情節(jié)規(guī)劃

情節(jié)規(guī)劃是指對動畫的內容進行設計，主要基于選定的場景和模型。本版情節(jié)規(guī)劃使用信息抽取模塊結果作為輸入，結合動畫本體庫，使用DBpedia作為背景知識進行情節(jié)規(guī)劃。

如圖3所示，基于DBpedia的情節(jié)規(guī)劃主要步驟為：①實體查找：查找短信內容對應的DBpedia實體;②相關實體搜索：獲取短信內容對應的DBpedia實體之后，搜索與其相關的動畫本體庫實體;③實體選擇：對搜索到的動畫實體和短信對應的實體進行相似度計算，選取最能表現(xiàn)短信內容的動畫實體。

本文以“海明威鐘意墨西哥卷餅”為例，詳細介紹DBpedia為背景知識的情節(jié)規(guī)劃。

3.1 實體查找

DBpedia包含豐富的語義信息，比如定義域為dbo：Person的屬性有5 754個，通過識別出短信內容中對應的人物實體，可以獲取關于該短信內容豐富的語義信息，比如性別、年齡、職業(yè)等。

圖4為短信在信息抽取模塊進行詞性分析、命名實體識別和否定詞分析[20-21]等處理后的結果，主要包括短信主題、模板原子和帶有詞性標注分詞3類信息。其中主題為“購物”，模板為“墨西哥”，短信分詞結果為“海明威#np 鐘意#vb 墨西哥#ng 卷餅#nn”。以短信信息抽取結果為輸入，采用以下兩種策略查找與短信相關的DBpedia實體。

（1）標簽匹配：查找DBpedia的rdfs：label屬性與短信分詞相匹配的實體，如果分詞已經被識別為模板，則將模板中的類別信息作為查詢的限制條件。例如查詢“墨西哥”對應的實體時，在類型為“地點”的實體范圍內，查找是否存在實體的rd-fs：label屬性與“墨西哥”或“Mexico”相匹配的實體。

（2）前綴匹配：構造特定模式的DBpedia URI。例如“http：//dbpedia.org/resource/墨西哥”或“http：//dbpedia.org/resource/Mexico”存在則表示對應的DBpedia實體存在。

DBpedia數(shù)據(jù)以英文為主，因此在進行匹配時，將輸入的中文分詞翻譯成英文，將結果作為以中文為輸入實體查找失敗時的備選輸入，例如若使用“墨西哥”查不到對應實體，則使用“Mexico”再次進行查找。根據(jù)以上兩個策略可以搜索到短信內容相關的DBpedia實體URI：http：//dbpedia.org/resource/Ernest_Hemingway、http：//dbpedia.org/resource/Burrito、http：//dbpedia.org/resource/Mexico。

3.2 相關實體搜索

情節(jié)規(guī)劃的后續(xù)步驟以動畫本體庫中描述動畫表現(xiàn)手段的數(shù)據(jù)為基礎，因此需要找到與DBpedia實體對應的動畫本體庫實體。通過DBpedia和動畫本體庫之間的關系三元組，搜索獲取的DBpedia實體關聯(lián)的動畫實體。相關實體搜索以SPARQL查詢技術為基礎，以短信對應的DBpedia實體S為起始節(jié)點，動畫本體庫中的動畫實體E為結束節(jié)點，構建如下模式的路徑搜索：

（1）搜索與DBpedia實體等價的動畫實體。

（2）搜索與DBpedia實體類型接近的動畫實體，類型包括等價類、父子類和兄弟類等情況。

（3）此種搜索模式由前兩種模式組合而成，表示通過各種關系與DBpedia實體關聯(lián)的動畫本體庫實體，關系不局限于等價。這種搜索模式可以選取多個與此DBpedia實體間接對應的動畫實體。

例如“卷餅”對應的DBpedia實體Burrito其類型為dbo：Food，由于dbo：Food和動畫本體庫的? Food類具有等價關系，因此可選出動畫本體庫Food類下的模型M_carrot.ma、M_icecream.ma、M_grape.ma M_hamburger.ma 、M_fullwatermelon.ma等作為表現(xiàn)短信內容“卷餅”的備選模型。通過與之關聯(lián)的實體Qdoba餐飲類型產業(yè)，可以找到動畫庫中與“卷餅”間接關聯(lián)的EatingScene類下的場景，如Kitchen.ma、restaurantTable.ma等。同理可搜索到與“海明威”關聯(lián)的Human類模型和Book類模型，其搜索路徑如圖5所示，出發(fā)節(jié)點為Ernest_Hemingway。

通過搜索可以找到與短信內容相關的Human類模型、Book類模型、Food類模型和EatingScene類場景。在經過實體查找和相關實體搜索之后，就能盡可能多地識別出短信中的實體及其相關的動畫實體，從而在情節(jié)規(guī)劃的后續(xù)步驟中進行更加多樣性的規(guī)劃。

3.3 實體相似度計算

圖6所示規(guī)則表示動畫以“restaurantTable.ma”為場景，并添加了模型“M_casualman.ma”、“M_openbook.ma”和“M_hamburger.ma”。以上場景和模型的選擇都是通過該系統(tǒng)獲取，更多可選擇的場景和模型提升了情節(jié)規(guī)劃的多樣性。最終效果如圖7所示。

4 基于DBpedia的情節(jié)規(guī)劃實驗

情節(jié)規(guī)劃是動畫系統(tǒng)的重要組成部分，決定了動畫表現(xiàn)內容與方式，其結果直接影響動畫質量。本文從測試過的短信中隨機選取100條短信進行評測，以驗證系統(tǒng)對動畫多樣性的提升效果。

實驗表明，51%的短信通過該系統(tǒng)獲取了更多與短信相關的模型，數(shù)據(jù)統(tǒng)計如表4所示;43%的短信通過該系統(tǒng)獲取了更多的備選場景，數(shù)據(jù)統(tǒng)計如表5所示。

由表4和表5可知，通過該系統(tǒng)，平均每條短信獲取11個模型，數(shù)量提升了37%，平均每條短信獲取12個備選場景，數(shù)量提升了33%。由此可知，相比于僅僅通過動畫知識庫，該系統(tǒng)可以獲取更多與短信相關的模型和場景，進而豐富短信內容表現(xiàn)手段，提高動畫系統(tǒng)的多樣性。

通過分析測評的100條短信，發(fā)現(xiàn)基于DBpedia的情節(jié)規(guī)劃存在以下影響最終規(guī)劃結果的因素：①情節(jié)規(guī)劃依賴信息抽取模塊的輸出，因此信息抽取模塊輸出結果的好壞制約該系統(tǒng);②DBpedia與動畫本體庫之間鏈接的準確度不夠將影響部分短信內容的情節(jié)規(guī)劃。

5 結語

手機動畫自動生成系統(tǒng)面向開放的中文短信，內容千變萬化，因此要求情節(jié)規(guī)劃具備多樣性特點。本文通過構建DBpedia與動畫本體庫的實體鏈接，使用DBpedia增強動畫本體庫，并在情節(jié)規(guī)劃過程中使用DBpedia作為背景知識規(guī)劃情節(jié)，獲取了更多與短信相關的模型與場景，使短信情節(jié)規(guī)劃獲取更多可選的表現(xiàn)手段，從而提升動畫系統(tǒng)的多樣性。

通過將動畫本體庫與LOD其它數(shù)據(jù)集進行鏈接，可以進一步豐富情節(jié)規(guī)劃可使用的語義信息，進一步提升情節(jié)規(guī)劃效果。然而，由于場景和模型等數(shù)量有限，不能完全覆蓋本文系統(tǒng)抽取到的所有實體，因此需要不斷豐富動畫庫中的場景和模型，今后研究重點是針對以上問題進行改善。

參考文獻：

[1] 陸汝鈐，張松懋. 從故事到動畫片——全過程計算機輔助動畫自動生成[J]. 自動化學報，2002，28（3）：321-348.

[2] 吳中彪. 全過程計算機輔助手機3D動畫自動生成系統(tǒng)的設計與實現(xiàn)[D]. 北京：北京工業(yè)大學，2011.

[3] 聶君蓮. 基于語義網的手機短信3D動畫情節(jié)規(guī)劃[D]. 北京：北京工業(yè)大學，2012.

[4] BIZER C，HEATH T， BERNERS-LEE T. Linked data - the story so far. Int [J]. Semantic Web Information System，2009，5（3）：1-22.

[5] AUER S. DBpedia：a nucleus for a web of open data[C]. Busan： International Semantic Web Conference，2007.

[6] PAULHEIM H. Exploiting linked open data as background knowledge in data mining[C]. International Conference on Data Mining on Linked Data.org， 2014：1-10.

[7] BERNERS-LEE T. Linked data[EB/OL]. http：//www.w3.org/DesignIssues/LinkedData.html.

[8] BERNERS-LEE T. Information management：a proposal[EB/OL]. https：//www.w3.org/History/1989/proposal.html

[9] 阮彤. 中醫(yī)藥知識圖譜構建與應用[EB/OL]. https：//googleblog.blogspot.com/2012/05/introducing-knowledge-graph-things-not.html

[10] NOIA T D， MIRIZZI R， OSTUNI V C， et al. Linked open data to support content-based recommender systems[C].International Conference on Semantic Systems，2012.

[11] 武金剛. 知識圖譜——搜索引擎的進化[J]. 百科知識，2013（22）：28-29.

[12] 賴朝安，錢嬌. 基于知識圖譜的專利挖掘方法及其應用[J]. 科研管理，2017（S1）：341-349.

[13] 王金鵑. 基于本體的手機3D動畫情節(jié)自動生成系統(tǒng)[D]. 北京：北京工業(yè)大學，2015.

[14] MENDES P N，JAKOB M，BIZER C. DBpedia spotlight：shedding light on the web of documents[C]. International Conference on Semantic Systems. 2011.

[15] HEIM P，HELLMANN S，LEHMANN J，et al. Relfinder： revealing relationships in RDF knowledge bases[C].International Conference on Semantic Multimedia，2009.

[16] SUCHANEK F M，KASNECI G，WEIKUM G. Yago： a core of semantic knowledge[C]. International Conference on World Wide Web. OAI， 2007.

[17] 陸偉，武川. 實體鏈接研究綜述[J]. 情報學報，2015（1）：105-112.

[18] LOPER E，BIRD S. NLTK： the natural language toolkit[J].arXiv， 2002（5）：592-563.

[19] MILLER，GEORGE A. Wordnet： a lexical database? for English[J]. Communications of the Association for Computing Machinery， 1995， 38（11）：39-41.

[20] 吳中彪. 全過程計算機輔助手機3D動畫自動生成系統(tǒng)的設計與實現(xiàn)[D]. 北京：北京工業(yè)大學，2011.

[21] 裴艷霞，劉椿年. 面向手機3D動畫自動生成的中文命名實體識別[J]. 計算機工程與應用，2012，48（13）：190-195.

（責任編輯：杜能鋼）