柳益君 何 勝 熊太純 吳智勤 陳 丹

（1. 江蘇理工學(xué)院計(jì)算機(jī)工程學(xué)院 江蘇常州 213001；2. 江蘇理工學(xué)院圖書(shū)館 江蘇常州 213001；3. 常州市云計(jì)算與智能信息處理重點(diǎn)實(shí)驗(yàn)室 江蘇常州 213001）

1 引言

知識(shí)服務(wù)是圖書(shū)館服務(wù)的重要內(nèi)容。知識(shí)服務(wù)以滿(mǎn)足社會(huì)知識(shí)需求為目標(biāo)，將各種顯性和隱性信息按照用戶(hù)需求進(jìn)行提煉、加工、組織，形成知識(shí)產(chǎn)品提供給用戶(hù)[1]。隨著網(wǎng)絡(luò)化和數(shù)字化建設(shè)日趨完善，圖書(shū)館不但保存有傳統(tǒng)的紙質(zhì)文獻(xiàn)，還擁有包括商業(yè)信息資源、開(kāi)放網(wǎng)絡(luò)資源、聯(lián)合共建資源等電子資源。圖書(shū)館資源呈現(xiàn)出跨源和跨模態(tài)的跨媒體特征，跨越書(shū)目庫(kù)、專(zhuān)利庫(kù)、論文庫(kù)、OA資源、網(wǎng)站等多種渠道來(lái)源，跨越文本、圖像、語(yǔ)音、視頻、流媒體等多種模態(tài)。清華大學(xué)楊毅[2]指出，“在互聯(lián)網(wǎng)環(huán)境中，不斷涌現(xiàn)的媒體對(duì)象之間的相互合作、補(bǔ)充、互動(dòng)與協(xié)調(diào)，使得共生的媒體對(duì)象呈現(xiàn)出‘跨媒體’的發(fā)展態(tài)勢(shì)。這種態(tài)勢(shì)既表現(xiàn)為包括網(wǎng)絡(luò)文本、圖像、音頻、視頻等復(fù)雜媒體對(duì)象混合并存，又表現(xiàn)為各類(lèi)媒體對(duì)象形成復(fù)雜的關(guān)聯(lián)關(guān)系和組織結(jié)構(gòu)，還表現(xiàn)在具有不同模態(tài)的媒體對(duì)象跨越媒介或平臺(tái)高度交互融合”?？缑襟w是一種新媒體表現(xiàn)形式，它是多媒體和網(wǎng)絡(luò)技術(shù)發(fā)展到一定程度的必然產(chǎn)物，具有跨模態(tài)和跨數(shù)據(jù)源、豐富的表達(dá)和呈現(xiàn)力、媒體數(shù)據(jù)的社會(huì)性三個(gè)基本屬性[3-4]。圖書(shū)館的資源庫(kù)中蘊(yùn)含了海量高質(zhì)量知識(shí)，資源的跨源和跨模態(tài)使得知識(shí)具有分布性、異構(gòu)性、海量性、多模態(tài)性、隱蔽性的特點(diǎn)。知識(shí)零散地分布在結(jié)構(gòu)各異的媒體模態(tài)中，成為知識(shí)碎片，構(gòu)成知識(shí)孤島。同一知識(shí)可能表達(dá)為不同的模態(tài)形式，如某一專(zhuān)業(yè)知識(shí)可能包括文本描述、圖片展現(xiàn)、視頻演示等。很多有價(jià)值的知識(shí)可能隱藏于并不起眼的圖像、照片、音頻等資源文件中。

互聯(lián)網(wǎng)、物聯(lián)網(wǎng)和信息技術(shù)的發(fā)展使得資源共享的協(xié)作協(xié)同方式在科研、教學(xué)和學(xué)習(xí)中得到普遍應(yīng)用?？蒲腥藛T組成跨學(xué)科、跨地域、跨組織的科研團(tuán)隊(duì)，通過(guò)網(wǎng)絡(luò)協(xié)同工作的方式開(kāi)展科學(xué)研究活動(dòng)；學(xué)習(xí)者在網(wǎng)絡(luò)化、虛擬化的e-Learning環(huán)境中進(jìn)行面向任務(wù)的跨領(lǐng)域、跨時(shí)空協(xié)同學(xué)習(xí)。作為海量文化和科技知識(shí)資源的儲(chǔ)存和管理機(jī)構(gòu)，圖書(shū)館亟需提供大跨度、大視角、大服務(wù)的跨媒體知識(shí)服務(wù)以適應(yīng)新的形勢(shì)。對(duì)跨媒體資源綜合體進(jìn)行聚合和融合分析，深度理解其中蘊(yùn)含的知識(shí)，提供集成、共享、嵌入的跨媒體知識(shí)服務(wù)，助力國(guó)家科技創(chuàng)新和人才培養(yǎng)，已成為圖書(shū)館在跨媒體時(shí)代的新型能力要求。目前，雖已有諸多關(guān)于圖書(shū)館知識(shí)服務(wù)的探索和實(shí)踐，但是面向資源的跨媒體知識(shí)服務(wù)研究略顯不足?；谝陨犀F(xiàn)狀，文章對(duì)圖書(shū)館跨媒體知識(shí)服務(wù)的特征、實(shí)現(xiàn)路徑和創(chuàng)新服務(wù)作初步探討，以期為跨媒體知識(shí)服務(wù)的深入研究提供參考。

2 圖書(shū)館跨媒體知識(shí)服務(wù)特征

跨媒體知識(shí)服務(wù)是對(duì)傳統(tǒng)知識(shí)服務(wù)的繼承和超越。具有如下三個(gè)重要特征：

2.1 知識(shí)模態(tài)的大跨度

跨媒體知識(shí)服務(wù)突破了僅提供單一模態(tài)知識(shí)的局限性，強(qiáng)調(diào)綜合運(yùn)用文本、圖像、音頻、視頻等多種模態(tài)的知識(shí)提供知識(shí)服務(wù)。認(rèn)知科學(xué)研究表明，人腦對(duì)外界事物的認(rèn)知需要跨越不同感官傳遞的信息，以做出綜合判斷[2]。通過(guò)對(duì)跨模態(tài)知識(shí)資源的交叉整合和加工，跨媒體知識(shí)服務(wù)為用戶(hù)提供靜態(tài)和動(dòng)態(tài)相結(jié)合、視覺(jué)和聽(tīng)覺(jué)綜合感知的知識(shí)，實(shí)現(xiàn)特定知識(shí)在思維中的全面反映，以及用戶(hù)對(duì)知識(shí)的深刻認(rèn)知和深層理解。

2.2 知識(shí)內(nèi)容的大視角

跨媒體知識(shí)服務(wù)從多源異構(gòu)、模態(tài)多樣的跨媒體知識(shí)資源中析取、挖掘和重組知識(shí)，提供與用戶(hù)任務(wù)情境有密切聯(lián)系的大視角知識(shí)?？缑襟w環(huán)境下，跨源跨模態(tài)的知識(shí)可能主題相同或內(nèi)容深層關(guān)聯(lián)，從不同的角度與任務(wù)情境發(fā)生聯(lián)系，對(duì)解決問(wèn)題皆獨(dú)具價(jià)值。在分布性強(qiáng)、模態(tài)多樣的復(fù)雜知識(shí)結(jié)構(gòu)上識(shí)別顯性關(guān)聯(lián)并揭示隱性關(guān)聯(lián)，形成任務(wù)和問(wèn)題相關(guān)的大視角知識(shí)內(nèi)容，將之提供給用戶(hù)，幫助用戶(hù)拓展思維，突破思維定式，促進(jìn)思維形成的整體性和變通性，更好地解決問(wèn)題和完成任務(wù)。

2.3 激發(fā)創(chuàng)新的大服務(wù)

《人民日?qǐng)?bào)》于2019年2月發(fā)表文章《提升科技創(chuàng)新能力》，文中引用習(xí)近平總書(shū)記的論述“當(dāng)今世界，科技創(chuàng)新已經(jīng)成為提高綜合國(guó)力的關(guān)鍵支撐，成為社會(huì)生產(chǎn)方式和生活方式變革進(jìn)步的強(qiáng)大引領(lǐng)”，并指出“科技水平影響民族興衰，創(chuàng)新能力關(guān)乎國(guó)家命運(yùn)”。為了更好地響應(yīng)國(guó)家的方針政策，圖書(shū)館的核心使命必將從文化傳承、信息服務(wù)向基于思想交流、激發(fā)創(chuàng)意和支持創(chuàng)新的知識(shí)服務(wù)拓展[5]。在“互聯(lián)網(wǎng)+”環(huán)境下，跨學(xué)科、跨領(lǐng)域、跨時(shí)空的大規(guī)?？蒲泻献鞒蔀楝F(xiàn)實(shí)，科研工作者突破空間、物理障礙進(jìn)行交互和協(xié)同工作。畢強(qiáng)認(rèn)為知識(shí)服務(wù)需要關(guān)注知識(shí)到再生知識(shí)的增值[6]。跨媒體知識(shí)服務(wù)的實(shí)現(xiàn)過(guò)程是一個(gè)知識(shí)發(fā)現(xiàn)和創(chuàng)新的過(guò)程，從多源、多模態(tài)、多學(xué)科的資源中發(fā)現(xiàn)創(chuàng)新型知識(shí)，主動(dòng)提供給用戶(hù)?？缑襟w知識(shí)服務(wù)將是適應(yīng)時(shí)代發(fā)展的跨平臺(tái)、跨時(shí)空、跨學(xué)科、跨領(lǐng)域的大服務(wù)，以知識(shí)創(chuàng)新為中心，助力科學(xué)研究和科技創(chuàng)新。

3 面向跨媒體知識(shí)服務(wù)的跨媒體智能技術(shù)

3.1 跨媒體知識(shí)服務(wù)面臨的挑戰(zhàn)

實(shí)現(xiàn)跨媒體知識(shí)服務(wù)將面臨兩大挑戰(zhàn)：①跨越海量知識(shí)資源的語(yǔ)義鴻溝，將具有跨媒體特性的復(fù)雜知識(shí)結(jié)構(gòu)形成內(nèi)容關(guān)聯(lián)的有機(jī)整體；②實(shí)現(xiàn)跨媒體知識(shí)發(fā)現(xiàn)和再生，產(chǎn)生創(chuàng)新型知識(shí)。初景利等[7]提出，圖書(shū)館需要運(yùn)用智能技術(shù)，進(jìn)行知識(shí)發(fā)現(xiàn)，將資源潛力轉(zhuǎn)化為知識(shí)能力。人工智能技術(shù)在知識(shí)服務(wù)中有廣闊的應(yīng)用前景[8]。跨媒體智能技術(shù)是實(shí)現(xiàn)跨媒體知識(shí)服務(wù)的支撐技術(shù)，它被列入國(guó)務(wù)院頒布的《新一代人工智能發(fā)展規(guī)劃》中[9]，主要包括跨媒體知識(shí)圖譜構(gòu)建、跨媒體分析與推理等。

3.2 跨媒體知識(shí)圖譜構(gòu)建

通過(guò)跨媒體知識(shí)圖譜構(gòu)建應(yīng)對(duì)跨媒體知識(shí)服務(wù)面臨的挑戰(zhàn)一。構(gòu)建跨媒體知識(shí)圖譜將跨媒體知識(shí)融合成語(yǔ)義關(guān)聯(lián)的有機(jī)整體，對(duì)復(fù)雜知識(shí)結(jié)構(gòu)進(jìn)行一致、關(guān)聯(lián)的表達(dá)。

2012年Google提出知識(shí)圖譜（Knowledge Graph）的概念，該知識(shí)圖譜與信息計(jì)量學(xué)領(lǐng)域“科學(xué)知識(shí)圖譜”不同，它是一種語(yǔ)義網(wǎng)的大數(shù)據(jù)知識(shí)表示和組織形式，通過(guò)圖模型、RDF/OWL、本體建模等技術(shù)形成實(shí)體級(jí)關(guān)聯(lián)的知識(shí)庫(kù)。知識(shí)圖譜將傳統(tǒng)的基于淺層語(yǔ)義分析的信息服務(wù)范式提升到基于深層語(yǔ)義的知識(shí)服務(wù)，受到學(xué)術(shù)界和工業(yè)界廣泛關(guān)注，成為新一代人工智能的基礎(chǔ)設(shè)施[10-11]。目前，不僅有DBpedia、Yago、Freebase 等通用知識(shí)圖譜，也有金融、電商等領(lǐng)域的垂直知識(shí)圖譜，知識(shí)圖譜在語(yǔ)義檢索、深度問(wèn)答、智能推薦等智能應(yīng)用中有著廣闊前景[12]。

《新一代人工智能發(fā)展規(guī)劃》要求“實(shí)現(xiàn)對(duì)知識(shí)持續(xù)增量的自動(dòng)獲取，具備概念識(shí)別、實(shí)體發(fā)現(xiàn)、屬性預(yù)測(cè)、知識(shí)演化建模和關(guān)系挖掘能力，形成涵蓋數(shù)十億實(shí)體規(guī)模的多源、多學(xué)科和多數(shù)據(jù)類(lèi)型的跨媒體知識(shí)圖譜”?？缑襟w知識(shí)在一定程度上存在分散無(wú)序、聚合性不足、共享性差的缺陷，跨媒體知識(shí)圖譜將其進(jìn)行語(yǔ)義關(guān)聯(lián)，在多源多模態(tài)的知識(shí)碎片和知識(shí)孤島之間建立有效連接，進(jìn)而使知識(shí)體系化、系統(tǒng)化。

3.3 跨媒體分析與推理

通過(guò)跨媒體分析與推理應(yīng)對(duì)跨媒體知識(shí)服務(wù)面臨的挑戰(zhàn)二。應(yīng)用跨媒體分析與推理進(jìn)行跨媒體知識(shí)發(fā)現(xiàn)和再生，產(chǎn)生創(chuàng)新型知識(shí)，實(shí)現(xiàn)以創(chuàng)新為中心的知識(shí)服務(wù)。

目前圖書(shū)館知識(shí)發(fā)現(xiàn)系統(tǒng)多是基于相同模態(tài)的資源數(shù)據(jù)進(jìn)行分析和推理的，比如單純分析文本資源之間的內(nèi)容關(guān)聯(lián)，或圖像之間的聯(lián)系?？缑襟w知識(shí)發(fā)現(xiàn)和創(chuàng)新需要應(yīng)用跨媒體分析與推理技術(shù)。《新一代人工智能發(fā)展規(guī)劃》提出“突破跨媒體統(tǒng)一表征、關(guān)聯(lián)理解與知識(shí)挖掘、知識(shí)圖譜構(gòu)建與學(xué)習(xí)、知識(shí)演化與推理、智能描述與生成等技術(shù)，實(shí)現(xiàn)跨媒體知識(shí)表征、分析、挖掘、推理、演化和利用，構(gòu)建分析推理引擎”。通過(guò)語(yǔ)義標(biāo)注、機(jī)器學(xué)習(xí)等智能分析技術(shù)建立資源底層特征與高層語(yǔ)義之間的聯(lián)系。在多源多模態(tài)數(shù)據(jù)之間進(jìn)行跨媒體推理，從一種模態(tài)數(shù)據(jù)，經(jīng)過(guò)問(wèn)題求解，轉(zhuǎn)向另一種模態(tài)數(shù)據(jù)。通過(guò)圖像到文本、圖像到圖像、視頻數(shù)據(jù)到動(dòng)畫(huà)序列等多種模態(tài)數(shù)據(jù)之間的轉(zhuǎn)換和演繹，挖掘出隱藏在多模態(tài)知識(shí)內(nèi)部的復(fù)雜抽象的內(nèi)在聯(lián)系，對(duì)多種媒體及其交互屬性進(jìn)行多元融合和知識(shí)演化，實(shí)現(xiàn)跨媒體知識(shí)的發(fā)現(xiàn)和創(chuàng)新。

4 圖書(shū)館跨媒體知識(shí)服務(wù)實(shí)現(xiàn)路徑

文章提出跨媒體智能應(yīng)用下的圖書(shū)館跨媒體知識(shí)服務(wù)實(shí)現(xiàn)路徑，如圖1所示。實(shí)現(xiàn)路徑由5個(gè)階段構(gòu)成，其中，跨媒體資源收集和整合是起點(diǎn)、跨媒體知識(shí)獲取和融合是基礎(chǔ)、跨媒體知識(shí)圖譜構(gòu)建和管理是核心、跨媒體知識(shí)發(fā)現(xiàn)和創(chuàng)新是關(guān)鍵、跨媒體知識(shí)賦能和服務(wù)是目標(biāo)。

圖1 圖書(shū)館跨媒體知識(shí)服務(wù)實(shí)現(xiàn)路徑

4.1 跨媒體資源收集和整合

全面收集圖書(shū)館資源，包括電子圖書(shū)、電子期刊、文摘數(shù)據(jù)庫(kù)、書(shū)目數(shù)據(jù)庫(kù)、專(zhuān)利庫(kù)、館藏特色文獻(xiàn)等商業(yè)化或開(kāi)放獲取的資源，以及講座、報(bào)告、統(tǒng)計(jì)數(shù)據(jù)、會(huì)議資料、名人手稿照片、電影戲曲等各類(lèi)介于正式與非正式出版之間的灰色文獻(xiàn)，形成文本、圖像、音頻、視頻等多種媒體形態(tài)的資源綜合體。

整合跨媒體資源，對(duì)其進(jìn)行語(yǔ)義化解析。解析跨媒體資源的元數(shù)據(jù)信息、結(jié)構(gòu)信息及內(nèi)容信息，提取跨越媒體類(lèi)型的信息描述，將底層視聽(tīng)覺(jué)等特征映射到高層跨媒體語(yǔ)義，形成統(tǒng)一的數(shù)據(jù)格式。解析資源需要根據(jù)資源特有的媒體形態(tài)、結(jié)構(gòu)化程度、類(lèi)型、屬性等特點(diǎn)，進(jìn)行針對(duì)性處理。對(duì)于圖像、音頻、視頻等資源，不僅需要根據(jù)題注信息解析，還需要綜合運(yùn)用多媒體數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、語(yǔ)音視頻分析等智能技術(shù)對(duì)資源特征進(jìn)行解析，發(fā)現(xiàn)特征和語(yǔ)義之間的隱含關(guān)系，對(duì)資源攜帶的語(yǔ)義形成整體理解，通過(guò)統(tǒng)一的語(yǔ)義化解決跨媒體資源的形態(tài)異構(gòu)問(wèn)題。

4.2 跨媒體知識(shí)獲取和融合

從來(lái)源、類(lèi)型、格式各異的跨媒體數(shù)據(jù)中通過(guò)信息抽取的方式獲取知識(shí)元，并進(jìn)行知識(shí)融合，構(gòu)建結(jié)構(gòu)清晰、擴(kuò)展性良好的基礎(chǔ)知識(shí)元庫(kù)。對(duì)于結(jié)構(gòu)化、半結(jié)構(gòu)化的資源數(shù)據(jù)，從中抽取知識(shí)的方法相對(duì)簡(jiǎn)單，干擾較少，人工過(guò)濾便可以獲得高質(zhì)量的三元組知識(shí)。文本、圖片、聲音、視頻等多媒體數(shù)據(jù)是數(shù)據(jù)結(jié)構(gòu)不規(guī)則、沒(méi)有預(yù)定義數(shù)據(jù)模型的非結(jié)構(gòu)化數(shù)據(jù)，格式和標(biāo)準(zhǔn)各異，理解難度大。從這些非結(jié)構(gòu)化的多媒體數(shù)據(jù)中獲取知識(shí)，需要完成實(shí)體識(shí)別、實(shí)體消歧、關(guān)系抽取等基本任務(wù)。目前的研究和實(shí)踐主要集中在非結(jié)構(gòu)化文本中的實(shí)體識(shí)別及實(shí)體之間關(guān)系的抽取，涉及的技術(shù)包括自然語(yǔ)言分析和理解、主題模型、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等。

跨媒體知識(shí)融合對(duì)于構(gòu)建跨媒體知識(shí)圖譜至關(guān)重要。知識(shí)融合主要包括實(shí)體融合、關(guān)系融合和實(shí)例融合三類(lèi)。將某一實(shí)體的多個(gè)名稱(chēng)規(guī)約到同一實(shí)體，完成實(shí)體融合；統(tǒng)一關(guān)系命名，完成關(guān)系融合；通過(guò)沖突檢測(cè)和消解，解決不同實(shí)例之間的沖突，完成實(shí)例融合。對(duì)從跨媒體數(shù)據(jù)中獲取的三元組知識(shí)元進(jìn)行實(shí)體融合、關(guān)系融合和實(shí)例融合，完成跨媒體知識(shí)融合。

4.3 跨媒體知識(shí)圖譜構(gòu)建和管理

構(gòu)建跨媒體知識(shí)圖譜以融合和組織各類(lèi)知識(shí)，形成語(yǔ)義關(guān)聯(lián)、深度融合的知識(shí)庫(kù)。以分類(lèi)目錄、主題、關(guān)鍵詞、內(nèi)容、作者、出版機(jī)構(gòu)等方式關(guān)聯(lián)跨媒體資源，形成知識(shí)資源圖譜；以具體學(xué)科知識(shí)點(diǎn)為實(shí)體，知識(shí)點(diǎn)之間的相關(guān)聯(lián)系為邊界，形成針對(duì)不同需求而構(gòu)建的各類(lèi)學(xué)科知識(shí)圖譜。同時(shí)，構(gòu)建用戶(hù)圖譜和情境圖譜以精準(zhǔn)定位用戶(hù)需求。構(gòu)建用戶(hù)圖譜，以人際關(guān)系、學(xué)術(shù)或?qū)W習(xí)興趣等關(guān)聯(lián)教師、學(xué)生、科研人員等，形成用戶(hù)社會(huì)網(wǎng)絡(luò)和用戶(hù)興趣圖譜；構(gòu)建情境圖譜，關(guān)聯(lián)情境及該情境下的特定需求。

在跨媒體知識(shí)圖譜的基礎(chǔ)上，進(jìn)行跨媒體知識(shí)管理。知識(shí)圖譜是典型的圖結(jié)構(gòu)，其管理需要應(yīng)用圖數(shù)據(jù)庫(kù)。圖數(shù)據(jù)庫(kù)可以存儲(chǔ)復(fù)雜的、高度關(guān)聯(lián)的、跨越數(shù)十億節(jié)點(diǎn)的知識(shí)結(jié)構(gòu)。Neo4j、OrientDB、HyperGraphDB等都是當(dāng)前常用的圖數(shù)據(jù)庫(kù)存儲(chǔ)系統(tǒng)。其中，Neo4j既有開(kāi)源版也有企業(yè)版，因其高性能、輕量級(jí)、健壯性等優(yōu)勢(shì)受到廣泛關(guān)注；OrientDB是一個(gè)開(kāi)源的文檔圖數(shù)據(jù)庫(kù)系統(tǒng)，兼具圖數(shù)據(jù)庫(kù)強(qiáng)大的數(shù)據(jù)表示和組織能力以及文檔數(shù)據(jù)庫(kù)的靈活性和高擴(kuò)展性。常用的圖數(shù)據(jù)查詢(xún)語(yǔ)言有SparQL、GraphQL、Cypher等。SparQL是W3C為RDF數(shù)據(jù)開(kāi)發(fā)的一種結(jié)構(gòu)化查詢(xún)語(yǔ)言和數(shù)據(jù)獲取協(xié)議，被圖數(shù)據(jù)庫(kù)廣泛支持；GraphQL是Facebook于2012年在內(nèi)部開(kāi)發(fā)并于2015年開(kāi)源的數(shù)據(jù)查詢(xún)語(yǔ)言；Cypher是圖數(shù)據(jù)庫(kù)Neo4j支持的聲明式查詢(xún)語(yǔ)言。應(yīng)用圖數(shù)據(jù)庫(kù)管理大規(guī)模跨媒體知識(shí)圖譜，通過(guò)知識(shí)圖譜的存儲(chǔ)、索引、快速訪問(wèn)和查詢(xún)，為知識(shí)創(chuàng)新和知識(shí)應(yīng)用奠定基礎(chǔ)。

4.4 跨媒體知識(shí)發(fā)現(xiàn)和創(chuàng)新

對(duì)跨媒體知識(shí)圖譜進(jìn)行語(yǔ)義推理和深度學(xué)習(xí)，由已有知識(shí)預(yù)測(cè)未知的隱含知識(shí)，并進(jìn)行知識(shí)發(fā)現(xiàn)和創(chuàng)新?？缑襟w知識(shí)中蘊(yùn)含著多種媒體類(lèi)型和結(jié)構(gòu)多樣的知識(shí)資源，知識(shí)資源和媒體之間存在多樣復(fù)雜的關(guān)聯(lián)性，并且由于知識(shí)資源之間存在規(guī)律復(fù)雜的相互作用，使得跨媒體知識(shí)中蘊(yùn)含了豐富復(fù)雜的關(guān)聯(lián)關(guān)系。跨媒體知識(shí)發(fā)現(xiàn)和創(chuàng)新需要對(duì)跨媒體知識(shí)圖譜進(jìn)行多層次、多粒度挖掘和學(xué)習(xí)，發(fā)現(xiàn)知識(shí)單元之間的深層關(guān)聯(lián)。對(duì)海量跨媒體知識(shí)可以從以下三個(gè)層次進(jìn)行知識(shí)發(fā)現(xiàn)和創(chuàng)新。

在相同模態(tài)的知識(shí)中進(jìn)行挖掘和學(xué)習(xí)，比如單純地分析文本之間、圖像和圖像之間的內(nèi)容，發(fā)現(xiàn)其中的新型分類(lèi)、聚類(lèi)、關(guān)聯(lián)知識(shí)。

在不同模態(tài)的知識(shí)之間進(jìn)行關(guān)聯(lián)挖掘和語(yǔ)義推理，發(fā)現(xiàn)新型的跨模態(tài)關(guān)聯(lián)知識(shí)。對(duì)文本、圖像、音視頻等多模態(tài)知識(shí)進(jìn)行綜合分析，推斷知識(shí)實(shí)體間的新關(guān)系，發(fā)現(xiàn)知識(shí)在多樣特征上的深層關(guān)聯(lián)及結(jié)構(gòu)特征，形成有內(nèi)在邏輯聯(lián)系的知識(shí)主題圈、知識(shí)鏈等，去除知識(shí)遮蔽，消除知識(shí)孤島和知識(shí)碎片。

對(duì)隨時(shí)間變化發(fā)展的跨媒體知識(shí)進(jìn)行時(shí)序分析，分析知識(shí)在時(shí)間緯度上的發(fā)展過(guò)程和方向，發(fā)現(xiàn)知識(shí)之間的時(shí)序關(guān)聯(lián)、知識(shí)的演化規(guī)律和發(fā)展趨勢(shì)。

4.5 跨媒體知識(shí)賦能和服務(wù)

與用戶(hù)積極互動(dòng)，了解用戶(hù)的知識(shí)需求和興趣，應(yīng)用跨媒體知識(shí)圖譜中準(zhǔn)確豐富的知識(shí)結(jié)點(diǎn)、顯性知識(shí)和隱性知識(shí)，以及獲取的知識(shí)精華和創(chuàng)新知識(shí)，通過(guò)跨媒體知識(shí)檢索、導(dǎo)航、推薦、咨詢(xún)、問(wèn)答等方式，跨平臺(tái)、跨時(shí)空地精準(zhǔn)嵌入教學(xué)、學(xué)習(xí)、科研、決策等過(guò)程，助力問(wèn)題解決、知識(shí)創(chuàng)新、決策管理等，實(shí)現(xiàn)跨媒體知識(shí)賦能和服務(wù)，最大化提升知識(shí)效益。

5 圖書(shū)館跨媒體知識(shí)服務(wù)創(chuàng)新模式探討

跨媒體智能為圖書(shū)館知識(shí)服務(wù)帶來(lái)了機(jī)遇，使大跨度、大視角、大服務(wù)的跨媒體知識(shí)服務(wù)成為可能。文章對(duì)圖書(shū)館跨媒體知識(shí)服務(wù)創(chuàng)新模式做了初步探討，具體包括集成性跨媒體知識(shí)檢索、全景式跨媒體知識(shí)導(dǎo)航、情境化跨媒體知識(shí)推薦、深度嵌入式跨媒體知識(shí)咨詢(xún)、個(gè)性化跨媒體知識(shí)推送、自動(dòng)化跨媒體知識(shí)問(wèn)答，如圖2所示。

圖2 圖書(shū)館跨媒體知識(shí)服務(wù)創(chuàng)新模式

5.1 集成性跨媒體知識(shí)檢索

目前，圖書(shū)館知識(shí)檢索系統(tǒng)多是針對(duì)用戶(hù)輸入的檢索關(guān)鍵字返回單一模態(tài)的知識(shí)資源系統(tǒng)。跨媒體知識(shí)檢索系統(tǒng)通過(guò)跨媒體知識(shí)圖譜實(shí)現(xiàn)多源多模態(tài)知識(shí)資源的無(wú)縫集成，根據(jù)用戶(hù)的文字、語(yǔ)音、手勢(shì)、視覺(jué)等多途徑輸入，理解檢索意圖，返回集成性的文本、圖像、語(yǔ)音、視頻等跨媒體知識(shí)資源，幫助用戶(hù)整體理解知識(shí)并全面掌握知識(shí)。例如，當(dāng)用戶(hù)輸入“機(jī)器學(xué)習(xí)”，界面不僅返回機(jī)器學(xué)習(xí)類(lèi)圖書(shū)、專(zhuān)利、期刊等文本類(lèi)知識(shí)資源，還返回與機(jī)器學(xué)習(xí)有關(guān)的教學(xué)、學(xué)習(xí)、科研視頻類(lèi)知識(shí)資源等。圍繞用戶(hù)的知識(shí)檢索意圖組織和提供具有內(nèi)容一致性、關(guān)聯(lián)性的跨媒體知識(shí)資源，充分體現(xiàn)知識(shí)資源的集成性。

5.2 全景式跨媒體知識(shí)導(dǎo)航

傳統(tǒng)的知識(shí)圖譜通常是根據(jù)某種特定的知識(shí)資源開(kāi)發(fā)制作的，比如根據(jù)CSSCI數(shù)據(jù)庫(kù)收錄的圖情領(lǐng)域論文開(kāi)發(fā)圖書(shū)館知識(shí)服務(wù)的知識(shí)圖譜。這樣的知識(shí)圖譜雖然能為用戶(hù)提供有益參考，但是其知識(shí)資源來(lái)源不廣，常常僅來(lái)自于單數(shù)據(jù)源且是單一文本模態(tài)，故而提供的知識(shí)在廣度和深度上均存在局限性?？缑襟w知識(shí)圖譜可突破限制，綜合加工跨源跨模態(tài)的知識(shí)資源，將知識(shí)連接形成整體性的知識(shí)網(wǎng)絡(luò)，為用戶(hù)提供全景式的跨媒體知識(shí)導(dǎo)航，幫助用戶(hù)更好地從全局發(fā)現(xiàn)知識(shí)的關(guān)聯(lián)、流動(dòng)和匯聚規(guī)律，進(jìn)而把握知識(shí)熱點(diǎn)和發(fā)展趨勢(shì)。

5.3 情境化跨媒體知識(shí)推薦

建構(gòu)主義認(rèn)為，知識(shí)是學(xué)習(xí)者在一定的情境下，借助他人的幫助，即通過(guò)人際協(xié)作活動(dòng)，利用必要的學(xué)習(xí)資料，通過(guò)意義建構(gòu)方式獲得；情境認(rèn)知理論認(rèn)為，知識(shí)是一種動(dòng)態(tài)的構(gòu)建與組織，是個(gè)體與環(huán)境交互作用過(guò)程中建構(gòu)的一種交互狀態(tài)，去適應(yīng)動(dòng)態(tài)變化發(fā)展環(huán)境的能力，學(xué)習(xí)者在任務(wù)情境中完成知識(shí)的意義組建[13]。移動(dòng)互聯(lián)網(wǎng)和移動(dòng)設(shè)備的普及，以及虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)技術(shù)在教學(xué)中日益廣泛的應(yīng)用，使知識(shí)服務(wù)可自動(dòng)、智能地嵌入教學(xué)和學(xué)習(xí)過(guò)程[14]。在構(gòu)建性、沉浸性、交互性的多維化學(xué)習(xí)環(huán)境中，將知識(shí)服務(wù)嵌入學(xué)習(xí)過(guò)程，從問(wèn)題情境出發(fā)，提供情境化的知識(shí)推薦，將促進(jìn)知識(shí)理解和知識(shí)構(gòu)建。

中國(guó)工程院院士潘云鶴[15]指出，思維與感知緊密聯(lián)系在一起，概念是由文字、聽(tīng)覺(jué)、味覺(jué)、觸覺(jué)、視覺(jué)等多種信息綜合而成，因此跨媒體的智能應(yīng)用將極大提升學(xué)習(xí)成效。情境化跨媒體知識(shí)推薦針對(duì)問(wèn)題情境推薦知識(shí)，所推薦的知識(shí)實(shí)現(xiàn)對(duì)文本、圖像、音視頻等多種媒體類(lèi)型的知識(shí)資源的交叉跨越，融入問(wèn)題解決的過(guò)程，通過(guò)充分發(fā)揮不同模態(tài)知識(shí)之間的協(xié)同效應(yīng)，有效支持用戶(hù)對(duì)知識(shí)的整體深入、多維立體的理解和構(gòu)建，進(jìn)而培養(yǎng)其知識(shí)創(chuàng)新能力。

5.4 深度嵌入式跨媒體知識(shí)咨詢(xún)

在解決問(wèn)題完成任務(wù)的過(guò)程中，用戶(hù)不僅需要應(yīng)用已存在的知識(shí)，更需要?jiǎng)?chuàng)新型知識(shí)。與單一模態(tài)的知識(shí)相比，跨媒體知識(shí)無(wú)論來(lái)源、形態(tài)還是內(nèi)容都更為豐富，對(duì)其進(jìn)行知識(shí)挖掘也更易產(chǎn)生創(chuàng)新型知識(shí)，實(shí)現(xiàn)知識(shí)增值。圖書(shū)館員在整合和歸納跨媒體知識(shí)資源的基礎(chǔ)上，綜合運(yùn)用自然語(yǔ)言處理、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)等多種智能工具和技術(shù)并從中挖掘和提煉知識(shí)精華，發(fā)現(xiàn)更多新型知識(shí)，為用戶(hù)提供嵌入式跨媒體知識(shí)咨詢(xún)服務(wù)。

圖書(shū)館尤其需要將科研人才、科研團(tuán)隊(duì)列為重點(diǎn)服務(wù)對(duì)象，提供深度嵌入式跨媒體知識(shí)咨詢(xún)服務(wù)，滿(mǎn)足其對(duì)創(chuàng)新型知識(shí)的需求。借助跨媒體智能技術(shù)手段，館員對(duì)多模態(tài)的跨媒體知識(shí)資源群體進(jìn)行協(xié)同分析和挖掘、深度加工和處理，把握科研個(gè)人或團(tuán)隊(duì)所關(guān)心的學(xué)科知識(shí)內(nèi)容、學(xué)術(shù)前沿、科技趨勢(shì)和當(dāng)前熱點(diǎn)，提煉知識(shí)精華，實(shí)現(xiàn)跨媒體知識(shí)再生，發(fā)現(xiàn)創(chuàng)新型知識(shí)。將創(chuàng)新型知識(shí)通過(guò)用戶(hù)群組嵌入、網(wǎng)絡(luò)環(huán)境嵌入、科研過(guò)程嵌入等方式，深度嵌入科研工作流的諸環(huán)節(jié)，包括項(xiàng)目申請(qǐng)、方案制定、項(xiàng)目執(zhí)行、問(wèn)題研究等，滿(mǎn)足跨領(lǐng)域和跨學(xué)科的大跨度學(xué)科關(guān)聯(lián)的知識(shí)需求，激發(fā)用戶(hù)在科研活動(dòng)中的靈感，促進(jìn)創(chuàng)意思想和創(chuàng)新成果的產(chǎn)生。

5.5 個(gè)性化跨媒體知識(shí)推送

跨源、跨模態(tài)的海量資源雖蘊(yùn)含大量知識(shí)，但也會(huì)使用戶(hù)面臨信息過(guò)載和知識(shí)迷航的困境。個(gè)性化跨媒體知識(shí)推送服務(wù)可幫助用戶(hù)過(guò)濾噪聲雜音，及時(shí)獲取所需知識(shí)。通過(guò)郵件、App應(yīng)用、知識(shí)服務(wù)系統(tǒng)，以及微博、微信、社區(qū)等各類(lèi)社交服務(wù)平臺(tái)，圖書(shū)館可以主動(dòng)提供知識(shí)推送服務(wù)。用戶(hù)的知識(shí)需求具有個(gè)性化特點(diǎn)，與用戶(hù)類(lèi)型及其學(xué)習(xí)、科研等屬性相關(guān)，不同院系、實(shí)驗(yàn)室、研究機(jī)構(gòu)、科研團(tuán)隊(duì)、學(xué)習(xí)小組、個(gè)人等對(duì)知識(shí)領(lǐng)域、粒度、層次的需求是不同的，科研學(xué)習(xí)不同階段的知識(shí)需求也存在差異。個(gè)性化跨媒體知識(shí)推送服務(wù)在洞察用戶(hù)顯性和隱性的知識(shí)需求和興趣的基礎(chǔ)上，定期遴選不同專(zhuān)題領(lǐng)域、不同方向的知識(shí)，對(duì)多源渠道和多樣媒體形態(tài)的知識(shí)資源進(jìn)行協(xié)同過(guò)濾和重組整合，為用戶(hù)精準(zhǔn)推送特定主題的跨媒體知識(shí)資源，幫助用戶(hù)擺脫知識(shí)迷航的困境。

5.6 自動(dòng)化跨媒體知識(shí)問(wèn)答

跨媒體知識(shí)圖譜中存儲(chǔ)了大量有價(jià)值的知識(shí)，但是這些知識(shí)很難被圖書(shū)館用戶(hù)直接獲取。知識(shí)問(wèn)答系統(tǒng)是一種友好的知識(shí)圖譜查詢(xún)方式，可以提供自動(dòng)化跨媒體知識(shí)問(wèn)答。它為用戶(hù)屏蔽規(guī)模龐大、結(jié)構(gòu)復(fù)雜的跨媒體知識(shí)圖譜，根據(jù)用戶(hù)的理解水平從圖譜中查詢(xún)或經(jīng)復(fù)雜關(guān)系推理得到問(wèn)題的答案。即使未受過(guò)專(zhuān)業(yè)訓(xùn)練，用戶(hù)也可以通過(guò)自然語(yǔ)言表達(dá)精細(xì)復(fù)雜的個(gè)性化知識(shí)需求，簡(jiǎn)便、直接地獲取所需知識(shí)。

目前，在問(wèn)答系統(tǒng)中引入圖像、語(yǔ)音、視頻等多模態(tài)信息的研究受到學(xué)術(shù)界和工業(yè)界的關(guān)注，視覺(jué)問(wèn)答（Visual Question Answering，VQA）已成為前沿?zé)狳c(diǎn)之一。在VQA系統(tǒng)中，用戶(hù)輸入自然語(yǔ)言問(wèn)題和圖片，得到自然語(yǔ)言顯示的答案[16]。VQA系統(tǒng)的實(shí)現(xiàn)不僅需要自然語(yǔ)言理解，還需要圖像挖掘和理解。應(yīng)用跨媒體智能，圖書(shū)館自動(dòng)化知識(shí)問(wèn)答可望突破自然語(yǔ)言交流的局限，向綜合圖像、視頻等多模態(tài)信息的跨媒體知識(shí)問(wèn)答邁進(jìn)。

6 結(jié)語(yǔ)

充分利用網(wǎng)絡(luò)化和多媒體化的資源，提供跨媒體知識(shí)服務(wù)，支持跨學(xué)科、跨領(lǐng)域、跨組織、跨時(shí)空的協(xié)同科研和學(xué)習(xí)，成為圖書(shū)館在跨媒體時(shí)代的新任務(wù)。在跨媒體知識(shí)圖譜構(gòu)建、跨媒體分析與推理等跨媒體智能技術(shù)的支持下，圖書(shū)館知識(shí)服務(wù)將上升到大跨度、大視角、大服務(wù)的新高度，進(jìn)入具有知識(shí)模態(tài)的大跨度、知識(shí)內(nèi)容的大視角、激發(fā)創(chuàng)新的大服務(wù)等特征的跨媒體知識(shí)服務(wù)階段。以跨媒體資源收集和整合為起點(diǎn)，跨媒體知識(shí)獲取和融合為基礎(chǔ)，跨媒體知識(shí)圖譜構(gòu)建和管理為核心，跨媒體知識(shí)發(fā)現(xiàn)和創(chuàng)新為關(guān)鍵，跨媒體知識(shí)賦能和服務(wù)為目標(biāo)，構(gòu)建圖書(shū)館跨媒體知識(shí)服務(wù)實(shí)現(xiàn)路徑?？缑襟w知識(shí)服務(wù)包括集成性跨媒體知識(shí)檢索、全景式跨媒體知識(shí)導(dǎo)航、情境化跨媒體知識(shí)推薦、深度嵌入式跨媒體知識(shí)咨詢(xún)、個(gè)性化跨媒體知識(shí)推送、自動(dòng)化跨媒體知識(shí)問(wèn)答等多種創(chuàng)新模式。通過(guò)創(chuàng)新服務(wù)，用戶(hù)需求驅(qū)動(dòng)、以知識(shí)創(chuàng)新為中心的知識(shí)服務(wù)目標(biāo)得以實(shí)現(xiàn)，圖書(shū)館將在助力國(guó)家科技創(chuàng)新和人才培養(yǎng)中發(fā)揮重要作用。