陳濤 李惠 張永娟 孫安

1 引言

中華優(yōu)秀文化兼收并蓄、博大精深，其中蘊(yùn)含的思想觀念、人文精神、道德規(guī)范等，給了中國(guó)人無窮無盡的滋養(yǎng)，深刻影響著當(dāng)代中國(guó)人的精神世界，是我們?cè)谑澜缥幕な幹姓痉€(wěn)腳跟的根基[1]。如何讓文物“活”起來，讓觀眾能夠在“一眼千年”中感悟傳統(tǒng)文化的深沉和厚重，是中國(guó)數(shù)字人文學(xué)者所應(yīng)努力的方向和擔(dān)當(dāng)?shù)呢?zé)任之一。數(shù)字人文如今已經(jīng)成為一個(gè)活躍的研究領(lǐng)域，吸引了越來越多的研究機(jī)構(gòu)和學(xué)者參與到這個(gè)領(lǐng)域的研究中來。

數(shù)字人文研究呈現(xiàn)多樣性、交叉性的特點(diǎn)，主要體現(xiàn)在：(1)研究資源多態(tài)，數(shù)字人文研究的資源是“超文本”，由圖像、書籍、文獻(xiàn)、樂譜、檔案、手稿、音頻、影像、實(shí)物等多種格式數(shù)據(jù)構(gòu)成；(2)研究領(lǐng)域廣闊，包含諸多值得關(guān)注的問題，如歷史文獻(xiàn)、古籍檔案、文化遺產(chǎn)的數(shù)字化及數(shù)據(jù)化處理，民族民間文化的數(shù)字化記錄與可視化呈現(xiàn)，基于計(jì)算機(jī)視覺分析的藝術(shù)圖像分析與鑒定，面向人文問題的大數(shù)據(jù)分析等；(3)研究背景交叉，除了計(jì)算語言學(xué)、文學(xué)、哲學(xué)、歷史學(xué)、考古學(xué)、地理學(xué)、圖書情報(bào)、藝術(shù)學(xué)等傳統(tǒng)人文領(lǐng)域的學(xué)者外，還可包含信息學(xué)、計(jì)算機(jī)技術(shù)、數(shù)字文化、媒體技術(shù)等領(lǐng)域的學(xué)者；(4)研究工具多樣，數(shù)據(jù)采集工具、數(shù)據(jù)存儲(chǔ)工具、可視化分析工具，時(shí)空分析工具，自然語言處理、文本分析、云計(jì)算、知識(shí)圖譜、機(jī)器學(xué)習(xí)等。

近年來，新技術(shù)不斷涌現(xiàn)，知識(shí)圖譜、關(guān)聯(lián)數(shù)據(jù)、大數(shù)據(jù)、5G通信網(wǎng)絡(luò)技術(shù)、邊緣計(jì)算、數(shù)據(jù)中臺(tái)、GIS、3D、AR/VR/MR、區(qū)塊鏈、量子科技等等，新技術(shù)的出現(xiàn)定會(huì)不斷豐富和沖擊著數(shù)字人文研究。數(shù)字信息技術(shù)的發(fā)展和應(yīng)用，為人文科學(xué)的研究提供了新的方法和工具，豐富了人文科學(xué)研究的數(shù)據(jù)來源，拓展了人文科學(xué)研究的問題域，這無疑為人文科學(xué)的發(fā)展提供了新的機(jī)遇[2]。馬費(fèi)成教授指出，新技術(shù)為我國(guó)哲學(xué)社會(huì)科學(xué)研究帶來了新的歷史發(fā)展機(jī)遇，新場(chǎng)景、新視野、新方法、新工具的出現(xiàn)，使整個(gè)哲學(xué)社會(huì)科學(xué)的研究范式正在發(fā)生深刻變化[3]。劉煒研究員構(gòu)建的數(shù)字人文技術(shù)體系主要包括數(shù)字化技術(shù)、數(shù)據(jù)管理技術(shù)和數(shù)據(jù)分析技術(shù)、可視化技術(shù)、AR/VR技術(shù)、機(jī)器學(xué)習(xí)技術(shù)等[4]。周慶山教授認(rèn)為，當(dāng)前數(shù)字人文領(lǐng)域需要重點(diǎn)關(guān)注如何運(yùn)用大數(shù)據(jù)、人工智能、數(shù)字孿生等新技術(shù)實(shí)現(xiàn)人文資源的“活化”和再造[5]。

2 技術(shù)視野下的數(shù)字人文

數(shù)字人文之所以可以區(qū)別于傳統(tǒng)的人文研究，主要是有了更多的學(xué)科交叉和更多的數(shù)字技術(shù)的引入。很多數(shù)字人文研究以數(shù)據(jù)驅(qū)動(dòng)，也有一些數(shù)字人文研究可以歸結(jié)于技術(shù)驅(qū)動(dòng)，甚至可以說應(yīng)用的技術(shù)一定程度上制約了數(shù)字人文研究所能達(dá)到的廣度和深度。數(shù)字技術(shù)已廣泛應(yīng)用于人文研究中，如歷史學(xué)學(xué)者借助GIS技術(shù)進(jìn)行歷史知識(shí)和歷史事件的靜態(tài)和動(dòng)態(tài)的可視化展示研究[6]；考古學(xué)學(xué)者利用計(jì)算機(jī)和高光譜成像技術(shù)進(jìn)行了3D虛擬遺址繪圖、文物虛擬復(fù)原、色彩還原等[7]；文學(xué)學(xué)者通過研究文本中的代詞分布窺探作者的情感[8]；語言學(xué)學(xué)者通過建立形式化的數(shù)學(xué)模型來分析和處理自然語言[9]。

表1中列出了數(shù)字人文領(lǐng)域影響力較大的一些項(xiàng)目，以及這些項(xiàng)目背后涉及到的主要數(shù)字技術(shù)應(yīng)用。其特點(diǎn)為：(1)GIS的應(yīng)用較為廣泛，如：歷史地理信息系統(tǒng)(CHGIS)、數(shù)位人文學(xué)術(shù)研究平臺(tái)(Docusky)、書信數(shù)字化工程、學(xué)術(shù)地圖、高遷古村等眾多項(xiàng)目都與地理信息相關(guān)；(2)文本分析、文本識(shí)別、機(jī)器學(xué)習(xí)也是常用的進(jìn)行內(nèi)容分析的主要方法，如：數(shù)位人文學(xué)術(shù)研究平臺(tái)(Docusky)、邊沁手稿[10]、歷史人文大數(shù)據(jù)平臺(tái)。很多研究中，文本分析作為了數(shù)據(jù)處理的中間過程，如：歐洲時(shí)光機(jī)[11]、書信數(shù)字化工程；(3)關(guān)聯(lián)數(shù)據(jù)、知識(shí)圖譜、本體等語義網(wǎng)技術(shù)也是數(shù)字人文常用的技術(shù)，如CBDB關(guān)聯(lián)數(shù)據(jù)平臺(tái)[12]、文化日本[13]、上海圖書館的歷史人文大數(shù)據(jù)平臺(tái)、董其昌大展、古籍?dāng)?shù)字化記憶再造工程、高遷古村等；(4)圖像資源方面，國(guó)際圖像互操作框架(IIIF)在眾多技術(shù)中占有主導(dǎo)地位，蓋蒂(Getty)博物館、美國(guó)華盛頓國(guó)家藝術(shù)畫廊、巴伐利亞州立圖書館、Biblissima手稿庫(kù)等只是眾多IIIF應(yīng)用中極少部分的代表。

除了表1中列出的項(xiàng)目外，武漢大學(xué)敦煌莫高窟多模態(tài)知識(shí)圖譜采用了圖像標(biāo)注、知識(shí)圖譜、關(guān)聯(lián)數(shù)據(jù)、機(jī)器學(xué)習(xí)等相關(guān)技術(shù)[14]； 北京大學(xué)宋代學(xué)術(shù)傳承語義網(wǎng)絡(luò)使用了知識(shí)圖譜、關(guān)聯(lián)數(shù)據(jù)等技術(shù)[15]；華東師范大學(xué)數(shù)字人文研究支撐平臺(tái)主要使用了國(guó)際圖像互操作框架和關(guān)聯(lián)數(shù)據(jù)技術(shù)[16]。同時(shí)，很多新技術(shù)也在逐漸滲透到數(shù)字人文研究領(lǐng)域，如中國(guó)博物館協(xié)會(huì)的“博物館在移動(dòng)”項(xiàng)目匯集了130家國(guó)家一級(jí)博物館，打造博物館聚合平臺(tái)，并在線上借助5G+技術(shù)，讓觀眾與文物“親密接觸”、沉浸互動(dòng)。

表1 國(guó)內(nèi)外部分?jǐn)?shù)字人文項(xiàng)目核心技術(shù)應(yīng)用

這些常用的數(shù)字技術(shù)中，GIS、知識(shí)圖譜、社會(huì)網(wǎng)絡(luò)分析常用于數(shù)據(jù)的呈現(xiàn)、分析；3D、AR/VR用于用戶體驗(yàn)的提升；本體、關(guān)聯(lián)數(shù)據(jù)、IIIF等技術(shù)常用于數(shù)據(jù)的組織；文本分析、圖像標(biāo)注、機(jī)器學(xué)習(xí)、聚類分析等常用于數(shù)據(jù)的處理。本文將這些數(shù)字技術(shù)進(jìn)行歸納，形成LIBRA技術(shù)體系，以期對(duì)數(shù)字人文建設(shè)和研究提供技術(shù)方向的指導(dǎo)。

3 LIBRA與數(shù)字人文

圖1為數(shù)字人文研究核心技術(shù)樹狀圖，其中人文(Humanity)為“樹根”，在這里多學(xué)科交叉、盤根錯(cuò)節(jié)，可見數(shù)字人文研究離不開人文的根基，需要人文精神、人文情懷；所有數(shù)據(jù)(Data)資源為“樹葉”，樹葉形態(tài)各異意為數(shù)據(jù)異構(gòu)，樹葉分布于不同的樹枝則代表數(shù)據(jù)多源；各種數(shù)字人文研究成果則為“樹果”。怎樣構(gòu)聯(lián)起數(shù)字人文這棵大樹，LIBRA給出了可行的實(shí)施方案和技術(shù)框架，LIBRA并不是某一種技術(shù)，而是數(shù)字人文基礎(chǔ)設(shè)施建設(shè)中常用的五類技術(shù)總稱。LIBRA主要包括：L-關(guān)聯(lián)數(shù)據(jù)(Linked Data)、I-國(guó)際圖像互操作框架(IIIF)、B-大數(shù)據(jù)(Big Data)、R-資源描述框架(RDF)和A-人工智能(AI)。其中，資源描述框架是“樹干”，是人文與數(shù)據(jù)連接的主干道，是資源建設(shè)和應(yīng)用的基礎(chǔ)。關(guān)聯(lián)數(shù)據(jù)和IIIF為“樹枝”，他們?cè)跇涓傻幕A(chǔ)上共同串聯(lián)起了不同來源、不同類型的數(shù)據(jù)，讓不同的數(shù)據(jù)個(gè)體智聯(lián)成整體。其中關(guān)聯(lián)數(shù)據(jù)主要針對(duì)文本型的結(jié)構(gòu)化數(shù)據(jù)，而IIIF則主要應(yīng)用于圖像資源。大數(shù)據(jù)和人工智能技術(shù)是強(qiáng)有力的框架和工具，猶如剪刀一般修枝剪葉，增強(qiáng)光合作用，改變了樹體的營(yíng)養(yǎng)狀況，這樣數(shù)字人文大樹才會(huì)枝繁葉茂、綠葉長(zhǎng)青。

圖1 數(shù)字人文研究核心技術(shù)樹狀圖

3.1 資源描述框架(RDF)

資源描述框架(Resource Description Framework, RDF)是一個(gè)使用XML語法來表示的數(shù)據(jù)模型，用來描述Web資源的特性以及資源與資源之間的關(guān)系。RDF主要用三元組(主、謂、賓三段式)來描述資源萬物，由于其結(jié)構(gòu)簡(jiǎn)單成為了語義網(wǎng)時(shí)代通用的數(shù)據(jù)交換形式和元數(shù)據(jù)模型，同時(shí)它也是知識(shí)圖譜中常用的圖模型之一(知識(shí)圖譜中常采用屬性圖模型和RDF圖模型)[17]。

數(shù)字人文研究資源是“超文本”，RDF在數(shù)字人文資源建設(shè)中的作用不言而喻，RDF為多源異構(gòu)的數(shù)據(jù)資源提供了語法層面上的統(tǒng)一，使不同數(shù)據(jù)之間的融合成為了可能，也更為便捷?？v觀國(guó)內(nèi)外數(shù)字人文研究，多數(shù)研究機(jī)構(gòu)和學(xué)者都將RDF作為資源組織的首選。從應(yīng)用類型來看，本體設(shè)計(jì)、知識(shí)組織到實(shí)例數(shù)據(jù)發(fā)布都使用RDF來進(jìn)行描述；從數(shù)據(jù)集規(guī)模的大小來看，小到單個(gè)本體文件和規(guī)范詞表發(fā)布，大到數(shù)以億條量級(jí)的知識(shí)庫(kù)發(fā)布，以及各種特色專題庫(kù)的數(shù)據(jù)組織也都采用了RDF。RDF數(shù)據(jù)的存儲(chǔ)在工程應(yīng)用中，建議使用圖數(shù)據(jù)庫(kù)(Graph DB)進(jìn)行存儲(chǔ)，三元組數(shù)據(jù)庫(kù)(Triple Store或RDF Store)可以看成圖數(shù)據(jù)庫(kù)的一種類型，也得到較多應(yīng)用。關(guān)系型數(shù)據(jù)庫(kù)和三元組數(shù)據(jù)庫(kù)對(duì)比見表2，從結(jié)構(gòu)設(shè)計(jì)、調(diào)用方式、查詢語言和運(yùn)行效率方面進(jìn)行了對(duì)比，并闡述了使用三元組數(shù)據(jù)庫(kù)的優(yōu)勢(shì)所在。

表2 關(guān)系型數(shù)據(jù)庫(kù)與三元組數(shù)據(jù)庫(kù)的對(duì)比

3.2 關(guān)聯(lián)數(shù)據(jù)(Linked Data)

關(guān)聯(lián)數(shù)據(jù)近年來已成為數(shù)字人文研究，尤其是跨學(xué)科中多源異構(gòu)資源整合的關(guān)鍵技術(shù)。需要注意到關(guān)聯(lián)數(shù)據(jù)和數(shù)據(jù)關(guān)聯(lián)并非同義，所有相關(guān)聯(lián)的數(shù)據(jù)都可以看成是數(shù)據(jù)關(guān)聯(lián)；而關(guān)聯(lián)數(shù)據(jù)是語義網(wǎng)的輕量級(jí)實(shí)現(xiàn)，它不是新的數(shù)據(jù)，而是數(shù)據(jù)一種新的呈現(xiàn)形式。一般認(rèn)為只有符合蒂姆·伯納斯·李(Tim Berners-Lee)在2006年概述的關(guān)聯(lián)數(shù)據(jù)的四個(gè)原則[18]，才被認(rèn)為是關(guān)聯(lián)數(shù)據(jù)。

圖2顯示了語義網(wǎng)七層框架結(jié)構(gòu)和關(guān)聯(lián)數(shù)據(jù)實(shí)現(xiàn)標(biāo)準(zhǔn)之間的對(duì)應(yīng)關(guān)系，關(guān)聯(lián)數(shù)據(jù)主要基于語義網(wǎng)七層框架的前四層進(jìn)行展開，即實(shí)現(xiàn)用URI標(biāo)識(shí)實(shí)體、用OWL組織實(shí)體、用RDF表述實(shí)體、用SPARQL檢索實(shí)體。

圖2 關(guān)聯(lián)數(shù)據(jù)實(shí)現(xiàn)標(biāo)準(zhǔn)

除此之外，關(guān)聯(lián)數(shù)據(jù)還要求當(dāng)資源被請(qǐng)求時(shí)，能夠盡量提供與外部資源的鏈接，以便使用者獲取更多的相關(guān)資源。常用的關(guān)聯(lián)方式見表3，這里從“唯一碼匹配”“屬性值匹配”“圖模式匹配”和“語義度匹配”四種匹配模式進(jìn)行了說明。四種模式由易到難、由淺入深，在實(shí)際進(jìn)行資源關(guān)聯(lián)時(shí)，通常從最簡(jiǎn)單的關(guān)聯(lián)模式開始，逐漸過渡到下一模式。關(guān)聯(lián)好相應(yīng)資源后，需要將匹配關(guān)系以三元組形式存儲(chǔ)到資源RDF資源中，常用的資源關(guān)聯(lián)屬性有：owl:sameAs(鏈接相同資源)、foaf:homepage(鏈接到資源主頁(yè))、foaf:topic(鏈接到資源主題)、rdfs:seeAlso(鏈接到資源其他信息頁(yè))等，甚至所有的對(duì)象屬性(owl:ObjectProperty)都可以作為資源之間的關(guān)聯(lián)屬性使用。

表3 數(shù)據(jù)源資源關(guān)聯(lián)模式

3.3 國(guó)際圖像互操作框架(IIIF)

IIIF提供了一種前所未有的新方法，它是一組定義數(shù)字圖書館互操作性框架的標(biāo)準(zhǔn)， 通過標(biāo)準(zhǔn)的應(yīng)用程序編程接口(API)集，提供了一種在Web上描述、分發(fā)和訪問圖像的統(tǒng)一方法。該方法使用標(biāo)準(zhǔn)化的圖像請(qǐng)求格式共享圖像數(shù)字內(nèi)容，提高了圖像資源的在線研究能力。在眾多機(jī)構(gòu)的共同努力下發(fā)展起來的IIIF很快被更廣泛的文化遺產(chǎn)部門所采用，在數(shù)字人文建設(shè)和研究中得到越來越多的關(guān)注。目前IIIF框架已推出的穩(wěn)定版API有圖像API(3.0版本)、呈現(xiàn)API(3.0版本)、認(rèn)證API(1.0版本)和檢索API(1.0版本)[19]。

目前不少機(jī)構(gòu)對(duì)IIIF中的圖像API和呈現(xiàn)API研究較多，也有大量的圖像資源以IIIF要求和標(biāo)準(zhǔn)發(fā)布，而對(duì)圖像的檢索API研究，尤其是圖像的語義關(guān)聯(lián)研究很少涉及。圖3描述了圖像資源的語義關(guān)聯(lián)流程，主要分為“內(nèi)容標(biāo)注和對(duì)象識(shí)別”“語義標(biāo)注”“知識(shí)關(guān)聯(lián)和知識(shí)發(fā)現(xiàn)”三步。其中，“內(nèi)容標(biāo)注和對(duì)象識(shí)別”主要對(duì)館藏圖像資料中的對(duì)象進(jìn)行提取和注釋，這里的“對(duì)象”可定義為圖像中的任一實(shí)體或目標(biāo)，如圖像中的某個(gè)實(shí)體(人名、地名)、某個(gè)元素(花、鳥、樹)等。對(duì)象的區(qū)域提取和內(nèi)容注釋一般采用人工標(biāo)注的方式，對(duì)于一些有規(guī)則和圖像質(zhì)量較好的圖像可以嘗試使用機(jī)器學(xué)習(xí)的方式進(jìn)行目標(biāo)檢測(cè)和自動(dòng)標(biāo)注。對(duì)象區(qū)域可以為矩形、圓形等規(guī)則區(qū)域或任意不規(guī)則形狀區(qū)域，對(duì)象的每一條注釋都將生成唯一的資源URI(資源主語)，并將注釋內(nèi)容以RDF三元組形式進(jìn)行存儲(chǔ)?！罢Z義標(biāo)注”實(shí)現(xiàn)了圖像對(duì)象資源和外部關(guān)聯(lián)數(shù)據(jù)集的關(guān)聯(lián)，這里的關(guān)聯(lián)關(guān)系為一條或多條RDF三元組。關(guān)聯(lián)關(guān)系(謂語)可以使用已有本體中的對(duì)象屬性，在LOV或者本體服務(wù)中心(OntHub)中可查詢相關(guān)本體的對(duì)象屬性。語義標(biāo)注中的關(guān)聯(lián)對(duì)象(賓語)為其他數(shù)據(jù)集或知識(shí)庫(kù)中存在的資源URI，而這些資源或多或少已經(jīng)關(guān)聯(lián)到其他的鏈接(開放)數(shù)據(jù)，從而實(shí)現(xiàn)更廣范圍的知識(shí)關(guān)聯(lián)和知識(shí)發(fā)現(xiàn)。

圖3 圖像資源語義關(guān)聯(lián)流程

3.4 大數(shù)據(jù)(Big Data)

大數(shù)據(jù)是信息技術(shù)發(fā)展的必然產(chǎn)物，更是信息化進(jìn)程的新階段，其發(fā)展推動(dòng)了數(shù)字經(jīng)濟(jì)的形成與繁榮。數(shù)字人文研究更注重碎片化數(shù)據(jù)、海量數(shù)據(jù)、多源異構(gòu)數(shù)據(jù)的采集、清洗、重組、分析與關(guān)聯(lián)，進(jìn)而深度揭示數(shù)據(jù)之間的內(nèi)在關(guān)系。近年來，大數(shù)據(jù)獲取、存儲(chǔ)、管理、處理、分析等相關(guān)的技術(shù)已有顯著進(jìn)展，大大推動(dòng)了數(shù)字人文研究的發(fā)展。

隨著數(shù)字人文應(yīng)用系統(tǒng)所涉及的數(shù)據(jù)量逐漸增大，不得不考慮采用大數(shù)據(jù)解決方案。大數(shù)據(jù)常提的5V特性有：規(guī)模大(Volume)、多樣化(Variety)、高速性(Velocity)、價(jià)值化(Value)及準(zhǔn)確性(Veracity)。同時(shí)，越來越多的大數(shù)據(jù)應(yīng)用也引入語義技術(shù)，通過語義鏈接，給大數(shù)據(jù)系統(tǒng)帶來開放性和互操作性，并提供基于“知識(shí)”的分析[20]。數(shù)字人文研究推崇開放、融合、智能，因此需要將大數(shù)據(jù)理念、關(guān)聯(lián)數(shù)據(jù)思想和人工智能技術(shù)結(jié)合起來。圖4顯示了大數(shù)據(jù)5V特性的技術(shù)實(shí)現(xiàn)方案。

圖4 大數(shù)據(jù)5V特性技術(shù)實(shí)現(xiàn)

(1)規(guī)模大：數(shù)據(jù)存儲(chǔ)的轉(zhuǎn)變

大數(shù)據(jù)的采集、計(jì)算、存儲(chǔ)量都非常龐大，如果還沿用傳統(tǒng)的數(shù)據(jù)存儲(chǔ)方式，必將給大數(shù)據(jù)分析和應(yīng)用帶來諸多不便。對(duì)于數(shù)量非常龐大的海量數(shù)據(jù)，目前的分布式數(shù)據(jù)庫(kù)技術(shù)如NoSQL和Hadoop等都能很好地進(jìn)行處理。文中討論的三元組數(shù)據(jù)庫(kù)(圖數(shù)據(jù)庫(kù))同樣也是NoSQL數(shù)據(jù)庫(kù)的一種。圖數(shù)據(jù)庫(kù)特別適用于超大量的數(shù)據(jù)節(jié)點(diǎn)以一定的關(guān)系鏈接起來的形式，不管節(jié)點(diǎn)內(nèi)部的數(shù)據(jù)多復(fù)雜，它都能高效地進(jìn)行增刪改查等操作。而且正由于它對(duì)節(jié)點(diǎn)內(nèi)的數(shù)據(jù)沒有限制，在進(jìn)行大數(shù)據(jù)分析時(shí)往往更為高效，因而能得到更多的啟發(fā)。

(2)多樣化：數(shù)據(jù)組織的挑戰(zhàn)

大數(shù)據(jù)的數(shù)據(jù)來自于多種數(shù)據(jù)源，且數(shù)據(jù)種類多樣，已突破了以前所限定的結(jié)構(gòu)化數(shù)據(jù)范疇，包含了大量的半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。數(shù)據(jù)類型也不再局限于文本，還有圖像、音頻、視頻、科學(xué)數(shù)據(jù)等多種類型的數(shù)據(jù)。本體、RDF、關(guān)聯(lián)數(shù)據(jù)等技術(shù)的結(jié)合，為大數(shù)據(jù)提供了統(tǒng)一的知識(shí)組織模型、標(biāo)準(zhǔn)的數(shù)據(jù)交換方式和通用的資源融合模式，使多源異構(gòu)數(shù)據(jù)的描述更為規(guī)范且富含機(jī)器可理解的語義，使大數(shù)據(jù)具有更好的開放性和互操作性，也將使大數(shù)據(jù)的分析深入到“知識(shí)”層次。

(3)高速性：數(shù)據(jù)計(jì)算的目標(biāo)

大數(shù)據(jù)的數(shù)據(jù)增長(zhǎng)速度快，因此要求獲取數(shù)據(jù)和處理數(shù)據(jù)的速度也要快，需要從各種類型的數(shù)據(jù)中心快速獲得高價(jià)值的信息。Spark是一種混合式的計(jì)算框架，是一種專為大規(guī)模數(shù)據(jù)處理而設(shè)計(jì)的快速通用的計(jì)算引擎，它自帶實(shí)時(shí)流處理工具。此外Storm、Samza和Flink也是常見的流式框架。Spark也可以與Hadoop集成代替MapReduce做并行計(jì)算。并行計(jì)算是增強(qiáng)復(fù)雜問題解決能力和提升性能的有效途徑，其可以通過多種途徑實(shí)現(xiàn)，包括多進(jìn)程、多線程以及其他多種方式。

(4)價(jià)值化：數(shù)據(jù)智能的精髓

眾所周知，大數(shù)據(jù)雖然擁有海量的信息，但是真正可用的數(shù)據(jù)可能只是很小的一部分，從海量的數(shù)據(jù)中挑選小部分?jǐn)?shù)據(jù)工作量巨大，因此常將大數(shù)據(jù)分析和云計(jì)算聯(lián)系起來。大數(shù)據(jù)必然無法用單臺(tái)的計(jì)算機(jī)進(jìn)行數(shù)據(jù)處理，必須依靠云計(jì)算靈活的張力和強(qiáng)大的算力。隨著人工智能的快速應(yīng)用及普及，深度學(xué)習(xí)及強(qiáng)化學(xué)習(xí)等算法不斷優(yōu)化，大數(shù)據(jù)技術(shù)將與人工智能技術(shù)更緊密地結(jié)合，具備對(duì)數(shù)據(jù)的理解、分析、發(fā)現(xiàn)和決策能力，從而能從數(shù)據(jù)中獲取更準(zhǔn)確、更深層次的知識(shí)，挖掘數(shù)據(jù)背后的價(jià)值，催生出新業(yè)態(tài)、新模式。

(5)準(zhǔn)確性：數(shù)據(jù)應(yīng)用的關(guān)鍵

數(shù)據(jù)的準(zhǔn)確性和可信賴度，即數(shù)據(jù)的質(zhì)量，是大數(shù)據(jù)發(fā)展的關(guān)鍵。關(guān)聯(lián)數(shù)據(jù)由于其過度的開放性，一直被不少學(xué)者詬病其數(shù)據(jù)的質(zhì)量問題。目前，完整性、準(zhǔn)確性、一致性和及時(shí)性，常被用來作為評(píng)估數(shù)據(jù)質(zhì)量好壞的指標(biāo)。借助知識(shí)圖譜和知識(shí)計(jì)算，對(duì)知識(shí)的可信度進(jìn)行量化，通過舍棄置信度較低的知識(shí)來保障數(shù)據(jù)的質(zhì)量。區(qū)塊鏈的可追溯性使得數(shù)據(jù)采集、交易、流通，以及計(jì)算分析的每一步記錄都可以留存在區(qū)塊鏈上，使得數(shù)據(jù)的質(zhì)量更加有保障。區(qū)塊鏈技術(shù)的迅速崛起將有效突破大數(shù)據(jù)面臨的困境，幫助大數(shù)據(jù)發(fā)揮更大的價(jià)值。

3.5 人工智能(AI)

隨著信息技術(shù)的發(fā)展以及人工智能的出現(xiàn)，圖書館學(xué)、情報(bào)學(xué)領(lǐng)域開啟了走向智能、智慧的演進(jìn)和發(fā)展之路。數(shù)字人文對(duì)于人工智能的渴求尤為顯著，目前，數(shù)字人文正在引領(lǐng)文化生產(chǎn)體系的數(shù)字轉(zhuǎn)向，已經(jīng)成為一個(gè)語言學(xué)、文學(xué)、史學(xué)、哲學(xué)、藝術(shù)學(xué)等傳統(tǒng)人文學(xué)科與圖書館學(xué)情報(bào)學(xué)、計(jì)算機(jī)科學(xué)、人工智能等信息科學(xué)共同關(guān)注的新興跨學(xué)科領(lǐng)域。就本文研究的LIBRA技術(shù)理論中，關(guān)聯(lián)數(shù)據(jù)部分的資源關(guān)聯(lián)匹配中的字符串相似度比較、語義度匹配，以及非結(jié)構(gòu)化數(shù)據(jù)的實(shí)體抽取與識(shí)別等都離不開機(jī)器學(xué)習(xí)的算法。IIIF中的圖像對(duì)象輪廓提取、對(duì)象識(shí)別、圖像自動(dòng)標(biāo)注等也離不開人工智能的相關(guān)算法，此外圖像中基于深度學(xué)習(xí)的OCR技術(shù)也成為了行業(yè)主流。

人工智能在數(shù)字人文領(lǐng)域的應(yīng)用中，有兩類新興的技術(shù)值得關(guān)注：知識(shí)圖譜和AI中臺(tái)。知識(shí)圖譜是一種用圖模型來描述知識(shí)和建模世界萬物之間的關(guān)聯(lián)關(guān)系的技術(shù)方法[21]。本質(zhì)上，知識(shí)圖譜是一種揭示實(shí)體之間關(guān)系的語義網(wǎng)絡(luò)，它和LIBRA中的關(guān)聯(lián)數(shù)據(jù)(L)有著千絲萬縷的聯(lián)系。大數(shù)據(jù)時(shí)代應(yīng)運(yùn)而生的中臺(tái)得到越來越多的企業(yè)和機(jī)構(gòu)的關(guān)注，數(shù)據(jù)中臺(tái)、業(yè)務(wù)中臺(tái)、算法中臺(tái)、技術(shù)中臺(tái)等接連涌現(xiàn)，“中臺(tái)”概念的引入將對(duì)數(shù)字人文基礎(chǔ)設(shè)施建設(shè)起到變革作用。

在眾多中臺(tái)中，有兩類中臺(tái)尤為值得關(guān)注：數(shù)據(jù)層面的數(shù)據(jù)中臺(tái)和算法層面的AI中臺(tái)，AI中臺(tái)用來連接業(yè)務(wù)中臺(tái)和數(shù)據(jù)中臺(tái)。數(shù)據(jù)中臺(tái)可以實(shí)現(xiàn)多種功能，通過數(shù)據(jù)技術(shù)，對(duì)海量數(shù)據(jù)進(jìn)行采集、計(jì)算、存儲(chǔ)、加工、可視化，提供統(tǒng)一標(biāo)準(zhǔn)和口徑。數(shù)據(jù)中臺(tái)把數(shù)據(jù)統(tǒng)一之后，會(huì)形成標(biāo)準(zhǔn)數(shù)據(jù)，再進(jìn)行存儲(chǔ)，形成大數(shù)據(jù)資產(chǎn)層，進(jìn)而為運(yùn)營(yíng)和管理提供高效服務(wù)。AI中臺(tái)通常由數(shù)據(jù)和算法組成，因此AI中臺(tái)離不開數(shù)據(jù)中臺(tái)，它是一個(gè)用來構(gòu)建大規(guī)模智能服務(wù)的基礎(chǔ)設(shè)施，對(duì)業(yè)務(wù)所需的算法模型提供了分步構(gòu)建和全生命周期管理的服務(wù)，機(jī)構(gòu)可以將自己的業(yè)務(wù)不斷下沉為一個(gè)個(gè)算法模型，以達(dá)到快速?gòu)?fù)用、組合創(chuàng)新、規(guī)?；瘶?gòu)建智能服務(wù)的目的。

圖5給出了數(shù)字人文研究中常用的AI中臺(tái)框架，主要包含文本和圖像資源這兩類數(shù)字人文研究中最常用的資料類型。文本資料經(jīng)常需要進(jìn)行自然語言處理方面的分析，如詞頻統(tǒng)計(jì)、語法句法的文本分析、命名實(shí)體識(shí)別、聚類分析、社會(huì)網(wǎng)絡(luò)分析、字符相似度計(jì)算等；圖像資料主要是針對(duì)圖像的內(nèi)容標(biāo)注，包括圖像目標(biāo)(對(duì)象)檢測(cè)、OCR文本識(shí)別、機(jī)器自動(dòng)標(biāo)注、圖像識(shí)別、圖像處理等。而在知識(shí)圖譜層面，可以進(jìn)行數(shù)據(jù)挖掘、語義標(biāo)注、知識(shí)關(guān)聯(lián)和知識(shí)推理、知識(shí)計(jì)算等。當(dāng)然這里僅列出了常用的AI功能部分，實(shí)際工程時(shí)可以根據(jù)需要增減功能模塊，形成自己的AI中臺(tái)架構(gòu)。圖中的AI功能在很多數(shù)字人文項(xiàng)目中都有所涉及，但多是和業(yè)務(wù)邏輯綁定，與具體平臺(tái)耦合性太強(qiáng)，導(dǎo)致這些功能的可擴(kuò)展和可復(fù)用成本太大。因此，在數(shù)字人文資源建設(shè)和基礎(chǔ)設(shè)施布局中，AI中臺(tái)的引入至關(guān)重要。

圖5 AI中臺(tái)框架

4 LIBRA實(shí)踐——多維度圖像智慧系統(tǒng)

多維度圖像智慧系統(tǒng)(Multi-Dimensional Image Smart System，MISS)(1)網(wǎng)址：http://miss.newwenke.com/sas.由LIBRA技術(shù)理論驅(qū)動(dòng)，以圖像為研究對(duì)象，實(shí)現(xiàn)古籍、文物、藏品等圖像資源中的文字識(shí)別、圖文識(shí)別、版本比對(duì)、特征提取、光譜分析等功能，并提供圖像維護(hù)、發(fā)布、復(fù)用、標(biāo)注等一站式服務(wù)，以達(dá)到數(shù)據(jù)驅(qū)動(dòng)人文藝術(shù)研究創(chuàng)新的目的。MISS平臺(tái)作為數(shù)字人文圖像資源建設(shè)和研究的典型案例，已得到上海圖書館、南京大學(xué)、上海交通大學(xué)、華東師范大學(xué)、上海大學(xué)等相關(guān)機(jī)構(gòu)數(shù)字人文學(xué)者的肯定?，F(xiàn)從“知識(shí)組織模型” “知識(shí)存儲(chǔ)模型”“動(dòng)態(tài)文本識(shí)別”幾個(gè)方面探討LIBRA在MISS中的實(shí)現(xiàn)。其中，知識(shí)組織模型部分主要采用IIIF(I)框架對(duì)圖像資源進(jìn)行組織，并使用RDF(R)進(jìn)行圖像組織、內(nèi)容注釋、語義關(guān)聯(lián)等相關(guān)數(shù)據(jù)的描述，并使用關(guān)聯(lián)數(shù)據(jù)(L)標(biāo)準(zhǔn)進(jìn)行相關(guān)數(shù)據(jù)的發(fā)布和關(guān)聯(lián)；知識(shí)存儲(chǔ)模型體現(xiàn)了大數(shù)據(jù)(B)的存儲(chǔ)理念，使用NoSQL進(jìn)行高效存取；動(dòng)態(tài)文本識(shí)別則結(jié)合機(jī)器學(xué)習(xí)等AI(A)技術(shù)對(duì)圖像中的文本進(jìn)行動(dòng)態(tài)OCR，以提高交互體驗(yàn)。

4.1 知識(shí)組織模型

MISS平臺(tái)中最小單元為圖像(Image)，一幅或多幅圖像通過畫布(Canvas)組成一套藏品清單(Manifest)，一套或多套藏品清單將組成藏品集合(Collection)，而集合之間或集合和藏品清單能再次組合成上一層集合，依此類推可形成嵌套集合。集合對(duì)應(yīng)的層次模型為：

集合C={集合C0, … , 集合Cm, … , 清單M1, … , 清單Mn}

該模型表示一個(gè)集合C必須要有1個(gè)或多個(gè)清單M，可有子集合Cm。這里以“書畫精品集”集合為例，用知識(shí)組織方式顯示集合資源之間的關(guān)系。圖6中mc的節(jié)點(diǎn)表示集合資源，mm的節(jié)點(diǎn)表示藏品清單資源。

圖6 集合“書畫精品集”知識(shí)組織

(1)“書畫精品集(mc:C1)”下有2個(gè)子集“近現(xiàn)代精品集(mc:C2)”和“歷史精品集(mc:C3)”，通過屬性iiif:hasCollections連接三者類型都為iiif:Collection，其中mc:C2的順序?yàn)?，mc:C3的順序?yàn)?。

(2)集合mc:C2下2個(gè)藏品清單，分別為“廬山圖(mm:C2M1)”和“觀瀑布圖(mm:C2M2)”，順序?yàn)?和2。集合和清單之間通過對(duì)象屬性iiif:hasManifests相連接。

(3)集合mc:C3下同樣含有2個(gè)藏品清單，依序?yàn)椤爸袷瘓D(mm:C3M1)”“秋山行旅圖(mm:C3M2)”。

圖7顯示了藏品“廬山圖”的知識(shí)組織模型，這里可以詳細(xì)看到IIIF框架中的Presentation API(2.1版本)的組織架構(gòu)，主要有iiif:Manifest、iiif:Sequence、iiif:Canvas、oa:Annotation等四個(gè)核心類。

圖7 藏品“廬山圖”知識(shí)組織

(1)藏品mm:C2M1(廬山圖)的類型為iiif:Manifest(清單)，并含有一些元數(shù)據(jù)屬性，用iiif:metadataLabels進(jìn)行賦值。

(2)iiif:Manifest類下包含iiif:Sequence(順序)類，用來指定藏品的瀏覽順序，用屬性iiif:hasSequences連接。

(3)iiif:Sequence類下含有iiif:Canvas(畫布)類，畫布中包含了具體需要顯示的圖像，用屬性iiif:hasImageAnnotations連接，示例中的圖像為img:lushantu，作為標(biāo)注類(oa:Annotation)連接到畫布mm:C2M1-c1中。

4.2 數(shù)據(jù)存儲(chǔ)模型

MISS平臺(tái)的資源采用NoSQL數(shù)據(jù)庫(kù)中的圖數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)，存儲(chǔ)時(shí)并不建議將所有的RDF數(shù)據(jù)都存于單一Graph中，圖8顯示了MISS平臺(tái)的資源存儲(chǔ)模型。模型中可以看出按照資源類型分為了四類Graph：集合Graph、清單Graph、注釋Graph和語義標(biāo)注Graph。

圖8 MISS數(shù)據(jù)存儲(chǔ)模型

(1)集合Graph

用來存儲(chǔ)所有集合信息，嵌套的集合也存在該Graph中。當(dāng)某個(gè)集合含有清單鏈接時(shí)，將通過屬性iiif:hasManifests鏈接到具體的清單Graph，每個(gè)集合可以鏈接至多個(gè)清單Graph(1:N)。依據(jù)關(guān)聯(lián)數(shù)據(jù)的URI命名規(guī)則，可以將集合Graph定義為“{scheme}://{server}{/prefix}/graph/collections”。

(2)清單Graph

用來存儲(chǔ)具體的清單內(nèi)容，每一個(gè)清單文件都將用獨(dú)立的Graph進(jìn)行存儲(chǔ)。每個(gè)Graph中包含了清單藏品的Metadata信息、畫布Canvas信息和圖像Image信息。IIIF要求每個(gè)清單文件保存為唯一的JSON-LD文件，并在網(wǎng)絡(luò)中提供調(diào)用。因此在設(shè)計(jì)每個(gè)清單Graph的命名時(shí)，可以使用該文件的HTTP訪問地址作為URI路徑，即“{scheme}://{server}{/prefix}/manifest/{identifier}.json”。

(3)注釋Graph

類似于清單Graph，也是每條注釋都將存于獨(dú)立的Graph中。該Graph中含有注釋的具體內(nèi)容，已經(jīng)標(biāo)注的圖像方位；同時(shí)，也通過dct:isPartOf屬性將該條注釋指向具體的清單Graph。每個(gè)清單Graph包含多條注釋的Graphs(1:N)。每條注釋的URI不直接在平臺(tái)中調(diào)用，因此可定義為“{scheme}://{server}{/prefix}/annotation/{identifier}”。

(4)語義標(biāo)注Graph

用來存儲(chǔ)與每條注釋相關(guān)的語義關(guān)聯(lián)信息，這些語義關(guān)聯(lián)信息將通過對(duì)象屬性(OP)進(jìn)行關(guān)聯(lián)，并存儲(chǔ)在單一Graph中。每條注釋可以含有多條語義關(guān)聯(lián)信息(1:N)。該Graph的URI為“{scheme}://{server}{/prefix}/graph/relation”。

4.3 動(dòng)態(tài)文本識(shí)別

數(shù)字人文研究中經(jīng)常需要對(duì)圖像資源進(jìn)行文本化處理，進(jìn)而使用自然語言處理和文本挖掘等方法進(jìn)行文本分析。機(jī)構(gòu)在進(jìn)行OCR時(shí)，經(jīng)常遇到以下兩點(diǎn)障礙：(1)館藏機(jī)構(gòu)具有大量有待OCR的數(shù)字資源，所有資源事先進(jìn)行OCR識(shí)別成本太大；(2)對(duì)于某些尺寸較大的數(shù)字資源，事先進(jìn)行OCR識(shí)別也不太現(xiàn)實(shí)，也很少有OCR廠商支持超大圖像的文本識(shí)別。因此，如何將OCR環(huán)節(jié)從事前執(zhí)行轉(zhuǎn)移到事中運(yùn)行，在研究中根據(jù)需要對(duì)資源進(jìn)行實(shí)時(shí)動(dòng)態(tài)OCR識(shí)別，是MISS平臺(tái)的一次嘗試。

借助IIIF框架中的圖像API可以輕易地將需要識(shí)別的區(qū)域發(fā)送到OCR接口進(jìn)行識(shí)別，識(shí)別模型主要使用圖像處理和LSTM神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型構(gòu)建，訓(xùn)練步驟為：(1)圖像預(yù)處理：對(duì)圖像進(jìn)行灰度、二值和降噪處理，形成黑字白底圖像；(2)文本檢測(cè)：采用分割的方法對(duì)圖像中的文字進(jìn)行分割，分割粒度為字符級(jí)，即分割成一個(gè)一個(gè)的方塊字；(3)人工標(biāo)注：對(duì)分割好的方塊字進(jìn)行人工標(biāo)注；(4)訓(xùn)練學(xué)習(xí)：采用LSTM神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)算法對(duì)人工標(biāo)注語料進(jìn)行學(xué)習(xí)，生成圖像OCR識(shí)別引擎。

《步輦圖》為唐代著名畫家閻立本的名作，是唐代繪畫的代表性作品，也是中國(guó)歷史上最杰出的繪畫作品之一。該畫卷為絹本，縱38.5cm，橫129cm，記載貞觀十四年(公元640年)唐太宗召見吐蕃王國(guó)使臣祿東贊的場(chǎng)景，是唐朝經(jīng)濟(jì)文化強(qiáng)盛和古代漢族與藏族友好往來的歷史見證，具有珍貴的歷史研究和藝術(shù)價(jià)值。該畫卷現(xiàn)收藏于北京故宮博物院，為中國(guó)十大傳世名畫之一?！恫捷倛D》畫卷有米芾等22位名人及收藏家的題跋，整張畫卷有2.2G(TIF格式)大小，如此巨大的圖像資源事先進(jìn)行OCR極不現(xiàn)實(shí)，有些字體的識(shí)別效果也不理想。結(jié)合IIIF和構(gòu)建的OCR識(shí)別模型，可以根據(jù)需要對(duì)相關(guān)題跋進(jìn)行實(shí)時(shí)動(dòng)態(tài)OCR識(shí)別。

動(dòng)態(tài)文本識(shí)別時(shí)，使用IIIF的圖像API對(duì)識(shí)別區(qū)域進(jìn)行提取，圖9為《步輦圖》標(biāo)注的三段題跋區(qū)域。以張知權(quán)的楷書題跋為例進(jìn)行說明，這里的目標(biāo)區(qū)域URL地址為“http://183.194.249.232:9002/iiif/yanlibenbuniantu.tif/37232,1217,2854,5488/full/0/default.jpg”，通過圖像API的試用，可以獲取圖像中任意區(qū)域。將該區(qū)域地址發(fā)送到OCR接口進(jìn)行識(shí)別，識(shí)別結(jié)果如圖10(a)所示，在識(shí)別的JSON文件中，可以進(jìn)行人工校正，以獲得更高的準(zhǔn)確度，圖10(b)為最終的結(jié)果呈現(xiàn)。

圖9 《步輦圖》識(shí)別區(qū)域提取

(a)題跋在線OCR識(shí)別 (b)識(shí)別結(jié)果呈現(xiàn)圖10 《步輦圖》實(shí)時(shí)OCR示例

5 總結(jié)與展望

數(shù)字人文研究需要采用大量的技術(shù)方法和技術(shù)手段，來實(shí)現(xiàn)科技和人文的跨界破壁。本文從眾多的數(shù)字技術(shù)中提煉出對(duì)數(shù)字人文建設(shè)具有變革性的五類技術(shù)，即LIBRA(關(guān)聯(lián)數(shù)據(jù)、IIIF、大數(shù)據(jù)、RDF和人工智能)。在整個(gè)LIBRA體系中，資源描述框架(RDF)可用在數(shù)字人文研究中的資源描述部分，實(shí)現(xiàn)了異構(gòu)數(shù)據(jù)間的語法統(tǒng)一；關(guān)聯(lián)數(shù)據(jù)(Linked Data)更多的體現(xiàn)在數(shù)字人文相關(guān)數(shù)據(jù)的發(fā)布、共享和交互、融合方面，在多源數(shù)據(jù)之間建立起了語義關(guān)聯(lián)鏈接；國(guó)際圖像互操作框架(IIIF)主要針對(duì)數(shù)字人文研究中的圖像資源，提供了不同機(jī)構(gòu)間圖像資源的可共享和互操作。大數(shù)據(jù)(Big Data)和人工智能(AI)并不單指某一種技術(shù)，它們是一類技術(shù)的總稱，這兩者的應(yīng)用已經(jīng)給各個(gè)領(lǐng)域都帶來了劇變，分布式、云計(jì)算、自然語言處理、文本分析、機(jī)器學(xué)習(xí)等逐漸改變了人文研究的傳統(tǒng)模式，推動(dòng)著數(shù)字人文研究的發(fā)展和突變。

近年來，眾多業(yè)界學(xué)者在研究和探索數(shù)字人文基礎(chǔ)設(shè)施，總體來看，數(shù)字人文基礎(chǔ)設(shè)施涉及網(wǎng)絡(luò)基礎(chǔ)設(shè)施、數(shù)據(jù)基礎(chǔ)設(shè)施、技術(shù)基礎(chǔ)設(shè)施、研究基礎(chǔ)設(shè)施等多方面。LIBRA將在技術(shù)基礎(chǔ)設(shè)施部分發(fā)揮重要作用，從資源描述、知識(shí)組織、交互共享等方面提出了一定的通用標(biāo)準(zhǔn)和實(shí)施方案。LIBRA中的五類技術(shù)在應(yīng)用時(shí)，可根據(jù)應(yīng)用的廣度和研究的深度進(jìn)行組合和擴(kuò)展。當(dāng)然，文中案例部分的MISS平臺(tái)也僅是對(duì)LIBRA技術(shù)的粗淺嘗試，技術(shù)也是處于不斷發(fā)展變化之中，新技術(shù)也將會(huì)補(bǔ)充和重塑LIBRA技術(shù)體系。5G通信網(wǎng)絡(luò)技術(shù)、量子計(jì)算、區(qū)塊鏈等新興技術(shù)的發(fā)展終有一天會(huì)引入到數(shù)字人文研究中，必將帶來數(shù)字人文發(fā)展翻天覆地的變化。