董晶　吳丹

摘 要：移動(dòng)視覺(jué)搜索應(yīng)用于公共文化服務(wù)符合國(guó)家 “互聯(lián)網(wǎng)+”的發(fā)展戰(zhàn)略。通過(guò)對(duì)移動(dòng)視覺(jué)搜索應(yīng)用于智慧公共文化服務(wù)的需求動(dòng)機(jī)可以發(fā)現(xiàn)：公共文化服務(wù)領(lǐng)域已有豐富的視覺(jué)資源；不同機(jī)構(gòu)視覺(jué)資源急需互聯(lián)；大數(shù)據(jù)環(huán)境激發(fā)高層語(yǔ)義表達(dá)需求；移動(dòng)互聯(lián)網(wǎng)改變?nèi)藗兯阉髁?xí)慣。隨后從視覺(jué)資源獲取方式、視覺(jué)資源組織方式、移動(dòng)視覺(jué)搜索實(shí)現(xiàn)方式和應(yīng)用與服務(wù)方式四個(gè)方面進(jìn)行案例分析，構(gòu)建了一個(gè)基于移動(dòng)視覺(jué)搜索技術(shù)的智慧公共文化服務(wù)模型。文章最后從視覺(jué)資源獲取、視覺(jué)資源組織、移動(dòng)視覺(jué)搜索和應(yīng)用服務(wù)四個(gè)層面探討移動(dòng)視覺(jué)搜索如何應(yīng)用于公共文化服務(wù)。

關(guān)鍵詞：移動(dòng)視覺(jué)搜素；智慧公共文化服務(wù)；公共文化服務(wù)模型；關(guān)聯(lián)數(shù)據(jù)；情境感知

中圖分類(lèi)號(hào)：G252；TP18 文獻(xiàn)標(biāo)識(shí)碼：A DOI：10.11968/tsyqb.1003-6938.2018021

Smart Cultural Service Model Based on Mobile Visual Search

Abstract Under the mobile Internet environment， the application of mobile visual search technology in the field of public cultural services responses to the national strategy of cultural "Internet +"， bringing the opportunity of developing smart public cultural services. This paper analyzes the motivation of applying mobile visual search in smart public cultural services. It is concluded that public cultural service fields possess massive visual resources and they urgently need to be linked. Moreover， the demand for high-level semantic of visual resources is generated and people prefer mobile search nowadays. Therefore， this paper proposes a smart public cultural service model based on mobile visual search technology， by analyzing empirical cases. It discusses the important modules from four levels of visual resource acquisition， visual resource organization， mobile visual search and service application.

Key words mobile visual search； smart public cultural services； public cultural service model； linked data； context awareness

1 引言

隨著智能手機(jī)的普及和移動(dòng)互聯(lián)網(wǎng)技術(shù)的發(fā)展，當(dāng)今世界已步入移動(dòng)互聯(lián)網(wǎng)時(shí)代，全球移動(dòng)互聯(lián)網(wǎng)用戶規(guī)模不斷擴(kuò)大，移動(dòng)互聯(lián)網(wǎng)使用率已超過(guò)固定寬帶使用率[1]。為滿足用戶的移動(dòng)搜索需求，適應(yīng)日益成熟的移動(dòng)互聯(lián)網(wǎng)環(huán)境，傳統(tǒng)的圖像搜索技術(shù)逐漸向移動(dòng)視覺(jué)搜索技術(shù)靠攏。移動(dòng)視覺(jué)搜索是指利用移動(dòng)智能終端上的攝像頭捕捉現(xiàn)實(shí)場(chǎng)景中的圖像，并將其作為查詢(xún)式搜索與之相關(guān)聯(lián)的文本、圖像、視頻等信息資源的一種交互式檢索方式[2]。如谷歌眼鏡使用內(nèi)置攝像頭拍攝圖像后，可通過(guò)谷歌開(kāi)發(fā)的移動(dòng)視覺(jué)搜索應(yīng)用Google Goggles搜索與該圖像視覺(jué)對(duì)象有關(guān)的多媒體信息。這種“以圖搜圖”的方式是移動(dòng)視覺(jué)搜索與傳統(tǒng)檢索方式最大的不同之處，也是其優(yōu)勢(shì)所在。視覺(jué)資源具有結(jié)構(gòu)復(fù)雜、類(lèi)型多元、多維尺度關(guān)聯(lián)和縱深維度高等特性[3]。視覺(jué)資源中蘊(yùn)含的語(yǔ)義信息包括視覺(jué)對(duì)象、事物內(nèi)容、事件的時(shí)序或時(shí)空關(guān)聯(lián)關(guān)系等。舉例來(lái)說(shuō)，一張建筑照片所包含的語(yǔ)義信息不僅是建筑物本身的外觀（視覺(jué)對(duì)象），還有建筑物的名稱(chēng)（事物內(nèi)容），以及拍攝照片時(shí)建筑物所處的時(shí)代和周邊地理環(huán)境（事件的時(shí)序或時(shí)空）。移動(dòng)視覺(jué)搜索通過(guò)攝像頭捕捉的圖像進(jìn)行搜索，查詢(xún)中可供利用的語(yǔ)義信息更豐富，檢索線索更充足、檢索交互性更高，從而提升檢索結(jié)果的相關(guān)性。同時(shí)，“以圖搜圖”也有效地避免了用戶通過(guò)文本描述將視覺(jué)資源的語(yǔ)義信息降維，在減少查詢(xún)語(yǔ)義鴻溝的同時(shí)提升了用戶體驗(yàn)。

《中華人民共和國(guó)公共文化服務(wù)保障法》將公共文化服務(wù)定義為：“由政府主導(dǎo)、社會(huì)力量參與，以滿足公民基本文化需求為主要目的而提供的公共文化設(shè)施、文化產(chǎn)品、文化活動(dòng)以及其他相關(guān)服務(wù)?！痹谖覈?guó)公共文化服務(wù)體系中，圖書(shū)館、博物館等文化事業(yè)單位是主要的參與力量。2018年3月5日，李克強(qiáng)總理在《政府工作報(bào)告》中提出對(duì)2018年政府工作的建議：“……加強(qiáng)新一代人工智能研發(fā)應(yīng)用，在醫(yī)療、養(yǎng)老、教育、文化、體育等多領(lǐng)域推進(jìn)‘互聯(lián)網(wǎng)+?！盵4]移動(dòng)視覺(jué)搜索技術(shù)與公共文化服務(wù)的結(jié)合正是響應(yīng)了在文化領(lǐng)域推進(jìn)“互聯(lián)網(wǎng)+”的國(guó)家發(fā)展戰(zhàn)略，使得公共文化服務(wù)更加適應(yīng)移動(dòng)互聯(lián)網(wǎng)環(huán)境。2015年1月，《關(guān)于加快構(gòu)建現(xiàn)代公共文化服務(wù)體系的意見(jiàn)》要求“結(jié)合‘寬帶中國(guó)‘智慧城市等國(guó)家重大信息工程建設(shè)，加快推進(jìn)公共文化機(jī)構(gòu)數(shù)字化建設(shè)”。智慧城市建設(shè)向智慧公共文化服務(wù)建設(shè)提出了發(fā)展要求，因?yàn)楣参幕?wù)的智慧化水平是衡量智慧城市建設(shè)水平的重要標(biāo)準(zhǔn)之一。移動(dòng)視覺(jué)搜索作為新一代信息技術(shù)的產(chǎn)物，在公共文化服務(wù)智慧化發(fā)展進(jìn)程中必不可少。

圖書(shū)館、博物館等公共文化服務(wù)機(jī)構(gòu)中蘊(yùn)含著大量文本、圖片、視頻等視覺(jué)資源，為發(fā)展移動(dòng)視覺(jué)搜索提供了肥沃的土壤。與此同時(shí)，用戶對(duì)智能化搜索和視覺(jué)資源高層語(yǔ)義表達(dá)的需求越來(lái)越強(qiáng)烈。傳統(tǒng)的通過(guò)文字描述表達(dá)視覺(jué)資源需求的方式難以準(zhǔn)確傳達(dá)用戶的搜索意圖，用戶不僅需要表達(dá)視覺(jué)資源的基礎(chǔ)語(yǔ)義特征（視覺(jué)對(duì)象是什么，顏色、形狀等），還需要進(jìn)一步表達(dá)視覺(jué)對(duì)象的高層語(yǔ)義特征（視覺(jué)對(duì)象蘊(yùn)含的人文感知、主觀感受、情感認(rèn)知等）。將移動(dòng)視覺(jué)搜索技術(shù)應(yīng)用到公共文化服務(wù)，能夠解決視覺(jué)資源需求表達(dá)上的語(yǔ)義鴻溝問(wèn)題，推動(dòng)公共文化服務(wù)向智慧、智能方向發(fā)展。因此，本文在廣泛調(diào)查移動(dòng)視覺(jué)搜索在公共文化服務(wù)領(lǐng)域應(yīng)用案例的基礎(chǔ)上，分析移動(dòng)視覺(jué)搜索技術(shù)的實(shí)踐應(yīng)用模式，并由此提出基于移動(dòng)視覺(jué)搜索技術(shù)的智慧公共文化服務(wù)模型。

2 移動(dòng)視覺(jué)搜索與應(yīng)用研究概況

移動(dòng)視覺(jué)搜索相關(guān)的研究主要集中在三個(gè)方面：（1）探討實(shí)現(xiàn)移動(dòng)視覺(jué)搜索各環(huán)節(jié)的技術(shù)方案；（2）移動(dòng)視覺(jué)搜索的機(jī)制和理論研究；（3）移動(dòng)視覺(jué)搜索的應(yīng)用實(shí)踐。

視覺(jué)搜索的實(shí)現(xiàn)首先需要建立特征索引庫(kù)，隨后將查詢(xún)對(duì)象的視覺(jué)特征與索引庫(kù)進(jìn)行比對(duì)，按相關(guān)性排列搜索結(jié)果并反饋給用戶[5]。因此，移動(dòng)視覺(jué)搜索過(guò)程中的主要環(huán)節(jié)有：視覺(jué)對(duì)象特征描述、特征匹配、相關(guān)性排序、結(jié)果反饋。在特征描述環(huán)節(jié)，由于移動(dòng)網(wǎng)絡(luò)環(huán)境帶寬有限和不穩(wěn)定問(wèn)題，因而在描述視覺(jué)對(duì)象特征時(shí)需要針對(duì)視覺(jué)查詢(xún)進(jìn)行緊湊表示，提取局部特征的緊湊視覺(jué)描述子，再通過(guò)聚合局部特征描述子得到視覺(jué)對(duì)象的全局描述子[6]。在關(guān)于緊湊視覺(jué)描述子的研究中，尺度不變描述子（scale invariant feature transform，SIFT）被認(rèn)為是較為有效的一種[7]。為了獲得高質(zhì)量的緊湊視覺(jué)描述子，移動(dòng)設(shè)備對(duì)視覺(jué)對(duì)象的高識(shí)別率是重要基礎(chǔ)。在現(xiàn)實(shí)場(chǎng)景中，透視變化、手抖等均會(huì)影響識(shí)別精度，對(duì)此，Liu等[8]利用基于深度學(xué)習(xí)的哈希方法實(shí)現(xiàn)移動(dòng)視覺(jué)搜索，比傳統(tǒng)方法的識(shí)別率提高了70%；Gao等[9]結(jié)合魯棒本地補(bǔ)丁挖掘和幾何參數(shù)編碼，提出了一種離線查詢(xún)擴(kuò)展方法。在特征匹配環(huán)節(jié)，通常通過(guò)幾何一致性校驗(yàn)來(lái)完成，包含局部描述子匹配和全局描述子匹配兩個(gè)階段。在相關(guān)性排序環(huán)節(jié)，引入情境感知和用戶交互信息是提高檢索結(jié)果相關(guān)性行之有效的方法，如Kuo等[10]利用情景信息重構(gòu)BoW模型獲得了更準(zhǔn)確的檢索結(jié)果。在結(jié)果反饋環(huán)節(jié)，移動(dòng)視覺(jué)搜索的“以圖搜圖”并不意味著只反饋圖像信息，而是與查詢(xún)圖像有關(guān)的文本、圖像、視頻等各種信息，關(guān)聯(lián)數(shù)據(jù)的應(yīng)用恰好能夠?qū)崿F(xiàn)這一點(diǎn)[11]。

移動(dòng)視覺(jué)搜索的理論研究多從數(shù)字圖書(shū)館的角度討論移動(dòng)視覺(jué)搜索機(jī)制和框架[12-14]。關(guān)聯(lián)數(shù)據(jù)是數(shù)據(jù)組織和共享的一種框架結(jié)構(gòu)，也是圖書(shū)情報(bào)領(lǐng)域經(jīng)典的研究?jī)?nèi)容。關(guān)聯(lián)數(shù)據(jù)利用資源描述框架（RDF）描述數(shù)據(jù)，又通過(guò)統(tǒng)一資源標(biāo)識(shí)符（URI）進(jìn)行數(shù)據(jù)標(biāo)識(shí)，從而有效地關(guān)聯(lián)數(shù)據(jù)并提供計(jì)算機(jī)可理解的語(yǔ)義信息。對(duì)于語(yǔ)義信息復(fù)雜多樣的視覺(jué)資源而言，關(guān)聯(lián)數(shù)據(jù)能實(shí)現(xiàn)視覺(jué)資源之間的有效互聯(lián)，因此，關(guān)聯(lián)數(shù)據(jù)與移動(dòng)視覺(jué)搜索的結(jié)合受到廣泛關(guān)注[11-12，15]。此外，情境感知理論也被應(yīng)用于移動(dòng)視覺(jué)搜索模型的構(gòu)建中。如韓璽等[16]提出的基于情景感知的圖書(shū)館移動(dòng)視覺(jué)搜索服務(wù)模型，將用戶需求偏好、時(shí)空信息視覺(jué)載體等作為檢索線索，構(gòu)建具體用戶情境，從而揭示用戶潛在的移動(dòng)信息需求。在面向科研用戶的移動(dòng)視覺(jué)搜索模型中，情境資料庫(kù)為融合情境的知識(shí)展示提供依據(jù)[17]。

移動(dòng)視覺(jué)搜索的應(yīng)用實(shí)踐大致被分為兩類(lèi)：一是在移動(dòng)端設(shè)備實(shí)現(xiàn)移動(dòng)視覺(jué)搜索的應(yīng)用軟件，如移動(dòng)APP、移動(dòng)Web搜索引擎等；二是支持移動(dòng)視覺(jué)搜索功能的可穿戴設(shè)備，如智能眼鏡、智能頭盔等[18]。由于智能眼鏡、智能頭盔等可穿戴設(shè)備價(jià)格高、使用不普及，APP類(lèi)的移動(dòng)視覺(jué)搜索產(chǎn)品處于主流地位。大多數(shù)得到廣泛推廣使用的移動(dòng)視覺(jué)搜索產(chǎn)品集中在商業(yè)領(lǐng)域，如Google Goggles、拍立淘等。公共文化服務(wù)領(lǐng)域的應(yīng)用案例主要用于學(xué)術(shù)研究，如SCARLET項(xiàng)目、LibrARi、ShelvAR等，后文將進(jìn)行詳細(xì)分析。

總體而言，技術(shù)層面的研究，由于有視覺(jué)搜索技術(shù)的研究基礎(chǔ)，現(xiàn)有研究重點(diǎn)思考如何適應(yīng)移動(dòng)網(wǎng)絡(luò)環(huán)境的特點(diǎn)；理論層面的研究則集中在圖書(shū)館背景下，缺少在公共文化服務(wù)大背景下的研究；盡管應(yīng)用研究略有探索，但集中在商業(yè)領(lǐng)域的應(yīng)用產(chǎn)品[18-19]，缺少公共文化服務(wù)領(lǐng)域案例的深入分析。

3 基于移動(dòng)視覺(jué)搜索技術(shù)的智慧公共文化服務(wù)模型的構(gòu)建動(dòng)機(jī)

3.1 公共文化服務(wù)領(lǐng)域蘊(yùn)含豐富視覺(jué)資源

21世紀(jì)初，我國(guó)響應(yīng)國(guó)際上興起的公共文化資源數(shù)字化運(yùn)動(dòng)，啟動(dòng)了一系列公共數(shù)字文化工程，2015年，國(guó)務(wù)院更是提出了“加快推進(jìn)公共文化服務(wù)數(shù)字化建設(shè)”的要求。圖書(shū)館、博物館、美術(shù)館等不同類(lèi)型的公共文化服務(wù)機(jī)構(gòu)紛紛響應(yīng)，開(kāi)展館藏?cái)?shù)字化工作。依托這些公共數(shù)字文化資源，各省市陸續(xù)上線了一批公共數(shù)字文化服務(wù)平臺(tái)，如上?！拔幕啤薄拔幕味ㄔ啤薄罢憬幕ā薄拔幕瘜幉ü卜?wù)平臺(tái)”等。然而，此類(lèi)公共數(shù)字文化服務(wù)平臺(tái)所提供的傳統(tǒng)的文本檢索難以對(duì)非文本資源實(shí)現(xiàn)充分揭示。公共文化服務(wù)機(jī)構(gòu)提供的大量文本、圖像、視頻等數(shù)字化館藏已經(jīng)形成了一座公共文化視覺(jué)資源寶礦，為公共文化服務(wù)利用移動(dòng)視覺(jué)搜索奠定了堅(jiān)實(shí)的資源基礎(chǔ)，而移動(dòng)視覺(jué)搜索也給公共文化視覺(jué)資源的利用帶來(lái)新的思路。

3.2 不同公共文化服務(wù)機(jī)構(gòu)的視覺(jué)資源急需融合

現(xiàn)有的公共文化視覺(jué)資源存在于不同的公共文化服務(wù)機(jī)構(gòu)中，盡管不同來(lái)源、語(yǔ)種、類(lèi)型的視覺(jué)資源之間存在著復(fù)雜的語(yǔ)義關(guān)聯(lián)，但這種語(yǔ)義關(guān)聯(lián)尚未得到有效揭示，導(dǎo)致不同公共文化服務(wù)機(jī)構(gòu)的視覺(jué)資源相對(duì)獨(dú)立、割裂分散、總體利用率低下。調(diào)查顯示，我國(guó)用戶在使用公共數(shù)字文化資源時(shí)，往往需要連續(xù)訪問(wèn)多個(gè)不同文化機(jī)構(gòu)的資源平臺(tái)才能滿足自身信息需求[20]。移動(dòng)視覺(jué)搜索在反饋搜索結(jié)果時(shí)往往是與查詢(xún)視覺(jué)對(duì)象有關(guān)的多種視覺(jué)資源的綜合展示，這種多角度揭示視覺(jué)資源復(fù)雜關(guān)聯(lián)的方式恰好有助于解決公共文化視覺(jué)資源的割裂分散問(wèn)題。正如歐洲數(shù)字圖書(shū)館項(xiàng)目“Europeana”集合了圖書(shū)館、博物館、檔案館等多源文化資源，移動(dòng)視覺(jué)搜索與公共文化服務(wù)的結(jié)合能夠促進(jìn)不同公共文化服務(wù)機(jī)構(gòu)視覺(jué)資源加速融合，形成一張完整的公共文化視覺(jué)資源關(guān)聯(lián)網(wǎng)絡(luò)。

3.3 大數(shù)據(jù)環(huán)境激發(fā)用戶高層語(yǔ)義表達(dá)需求

大數(shù)據(jù)環(huán)境下，視覺(jué)資源數(shù)據(jù)量大、形式多樣，圖像、視頻等視覺(jué)資源蘊(yùn)含著更復(fù)雜的信息內(nèi)容，用戶對(duì)信息資源語(yǔ)義內(nèi)容的需求也逐漸向深層次發(fā)展。圖像、視頻等視覺(jué)資源比文本信息的語(yǔ)義維度更高，是線條、色彩、聲音、動(dòng)作等客觀呈現(xiàn)的淺層語(yǔ)義與其中所蘊(yùn)含的人文內(nèi)涵的集成。在被視覺(jué)資源包圍的大數(shù)據(jù)環(huán)境下，通過(guò)表達(dá)淺層語(yǔ)義實(shí)施的文本搜索難以充分描述用戶的搜索意圖，而包含主觀情感、人文內(nèi)涵的高層語(yǔ)義表達(dá)方式更貼近用戶的搜索需求。移動(dòng)視覺(jué)搜索不僅能夠反映“視覺(jué)對(duì)象是什么”這種淺層語(yǔ)義，還能表達(dá)視覺(jué)對(duì)象給用戶帶來(lái)的人文感受，如戈壁的“荒涼”、高山的“偉岸”，有效地避免了文本檢索中高層語(yǔ)義流失的問(wèn)題。用戶搜索的高層語(yǔ)義表達(dá)需求意味著公共文化服務(wù)引入移動(dòng)視覺(jué)搜索技術(shù)勢(shì)在必行。

3.4 移動(dòng)互聯(lián)網(wǎng)環(huán)境改變用戶搜索習(xí)慣

我國(guó)網(wǎng)絡(luò)用戶的搜索設(shè)備使用率顯示，手機(jī)搜索用戶占比穩(wěn)定提升，而使用電腦搜索信息的用戶占比顯著下降[21]，在移動(dòng)互聯(lián)網(wǎng)環(huán)境中，人們的搜索習(xí)慣向移動(dòng)化、智能化發(fā)展，用戶更加傾向于自由靈活、方便快捷的檢索入口和檢索方式，從當(dāng)今社會(huì)中隨處可見(jiàn)的掃碼搜索現(xiàn)象便可見(jiàn)一斑。單純的公共文化資源數(shù)字化只能實(shí)現(xiàn)用戶足不出戶使用公共文化服務(wù)，而移動(dòng)互聯(lián)網(wǎng)環(huán)境下，用戶更希望隨時(shí)隨地獲取公共文化服務(wù)。移動(dòng)視覺(jué)搜索應(yīng)用到公共文化服務(wù)中，意味著公共文化服務(wù)能夠廣泛嵌入到用戶的生活中，突破時(shí)空限制，為用戶帶來(lái)更加高效便利、靈活自由、交互性強(qiáng)的服務(wù)體驗(yàn)。此外，傳統(tǒng)桌面搜索用戶接收信息來(lái)源于網(wǎng)頁(yè)，視覺(jué)搜索需求比較小眾，而場(chǎng)景不斷變化的移動(dòng)環(huán)境中，用戶接觸新信息的來(lái)源更豐富，更能激發(fā)用戶的移動(dòng)視覺(jué)搜索意愿。

4 移動(dòng)視覺(jué)搜索在公共文化服務(wù)中的應(yīng)用案例分析

盡管大部分移動(dòng)視覺(jué)搜索產(chǎn)品屬于商業(yè)領(lǐng)域，仍有部分產(chǎn)品為公共文化服務(wù)而生，且主要集中在圖書(shū)館和博物館（包括美術(shù)館）兩類(lèi)公共文化服務(wù)機(jī)構(gòu)。本文通過(guò)調(diào)查論文和網(wǎng)絡(luò)，對(duì)圖書(shū)館和博物館中移動(dòng)視覺(jué)搜索的應(yīng)用案例進(jìn)行了集中梳理和深入分析（見(jiàn)表1）。

4.1 視覺(jué)資源獲取方式

通過(guò)分析案例發(fā)現(xiàn)，移動(dòng)視覺(jué)搜索的視覺(jué)資源主要來(lái)源于圖書(shū)館、博物館等公共文化機(jī)構(gòu)提供的館藏?cái)?shù)據(jù)，此外，也廣泛利用互聯(lián)網(wǎng)中的信息。（1）在圖書(shū)館中，移動(dòng)視覺(jué)搜索常利用的資源有書(shū)籍封面照片、館藏書(shū)目信息、數(shù)字化書(shū)籍全文等。LibrARi和ShelvAR均需要識(shí)別書(shū)籍照片來(lái)確定具體館藏，隨后將書(shū)號(hào)、館藏位置等書(shū)目信息反饋給用戶；SCARLET項(xiàng)目中開(kāi)發(fā)的移動(dòng)視覺(jué)搜索應(yīng)用則可以向用戶展示古籍特藏資源的圖片以及數(shù)字化全文；（2）在博物館中，移動(dòng)視覺(jué)搜索的資源則常來(lái)源于藏品照片、藏品簡(jiǎn)介文本、解說(shuō)音視頻等。PhoneGuide使用的藏品照片來(lái)源于德國(guó)森肯貝格自然博物館，且每個(gè)藏品具有三個(gè)不同角度的照片；基于SIFT的移動(dòng)視覺(jué)搜索導(dǎo)覽系統(tǒng)可以提供畫(huà)作的文字簡(jiǎn)介、畫(huà)作創(chuàng)作者簡(jiǎn)介以及畫(huà)作的音視頻解說(shuō)。公共文化機(jī)構(gòu)提供的館藏?cái)?shù)據(jù)仍有局限，互聯(lián)網(wǎng)中開(kāi)放獲取的信息能夠進(jìn)行有效補(bǔ)充。Libagent通過(guò)書(shū)籍照片識(shí)別圖書(shū)后可以反饋該圖書(shū)在亞馬遜上的售賣(mài)價(jià)格；鐘志鵬等[27]開(kāi)發(fā)的博物館導(dǎo)覽系統(tǒng)支持搜索展品相關(guān)的網(wǎng)頁(yè)信息。對(duì)于公共文化機(jī)構(gòu)提供的數(shù)據(jù)，讀者可直接通過(guò)圖書(shū)館、博物館的數(shù)字化館藏?cái)?shù)據(jù)庫(kù)獲得；對(duì)于互聯(lián)網(wǎng)信息，則可以通過(guò)網(wǎng)站提供的API接口，采用網(wǎng)絡(luò)爬蟲(chóng)方法爬取數(shù)據(jù)。

4.2 視覺(jué)資源組織方式

就現(xiàn)有應(yīng)用案例而言，視覺(jué)資源的組織方式上尚未實(shí)行任何新穎的信息資源描述方法，均是直接借用已有的館藏描述數(shù)據(jù)。如Libagent的視覺(jué)資源來(lái)源于詹姆士庫(kù)克大學(xué)圖書(shū)館館藏，該移動(dòng)視覺(jué)搜索系統(tǒng)直接調(diào)用詹姆士庫(kù)克大學(xué)圖書(shū)館管理系統(tǒng)Tropicat中存有的書(shū)目信息，沒(méi)有對(duì)視覺(jué)資源重新描述。本文認(rèn)為，視覺(jué)資源蘊(yùn)含的高層語(yǔ)義內(nèi)容是發(fā)揮移動(dòng)視覺(jué)搜索優(yōu)勢(shì)的重要條件，因此描述和組織視覺(jué)資源時(shí)應(yīng)挖掘和揭示其中的人文內(nèi)涵。同時(shí)，移動(dòng)視覺(jué)搜索理論研究中提出將關(guān)聯(lián)數(shù)據(jù)引入視覺(jué)資源組織的觀點(diǎn)對(duì)本文構(gòu)建模型的視覺(jué)資源組織層也有所啟示。

4.3 移動(dòng)視覺(jué)搜索實(shí)現(xiàn)方式

本文案例中有兩種視覺(jué)搜索入口，一種是掃描二維碼圖片，另一種是直接拍攝搜索對(duì)象。二維碼圖片是一種機(jī)器可讀的編碼圖片，掃描二維碼的視覺(jué)搜索方式實(shí)際上是通過(guò)解碼二維碼中的文本數(shù)字等信息進(jìn)行搜索，是一種較為初級(jí)的視覺(jué)搜索方式。SCARLET項(xiàng)目中，每本古籍特藏都有對(duì)應(yīng)的二維碼圖片，用戶通過(guò)掃描二維碼獲得古籍的數(shù)字化全文。直接拍攝搜索對(duì)象的方式更符合用戶對(duì)視覺(jué)搜索的想象，也更能體現(xiàn)視覺(jué)搜索的智能化，除SCARLET項(xiàng)目以外的案例均使用此方式。在公共文化服務(wù)領(lǐng)域的案例中，直接拍攝的搜索方式往往與增強(qiáng)現(xiàn)實(shí)技術(shù)結(jié)合使用。LibrARi、ShelvAR、Libagent、mobile AR等在通過(guò)攝像頭捕捉書(shū)籍圖像后，將搜索到的書(shū)號(hào)、館藏位置等虛擬文本直接顯示在捕捉到的真實(shí)書(shū)籍圖像旁邊。直接拍攝的搜索方式涉及到的一個(gè)關(guān)鍵問(wèn)題是搜索對(duì)象的識(shí)別，因而需要描述圖像的語(yǔ)義特征。PhoneGuide即是從顏色強(qiáng)度和幾何結(jié)構(gòu)方面描述圖像中的展品特征，進(jìn)而確定具體展品。

4.4 應(yīng)用與服務(wù)方式

根據(jù)本文案例，移動(dòng)視覺(jué)搜索提供公共文化服務(wù)的方式主要體現(xiàn)在館藏管理和展品導(dǎo)覽兩方面，館藏管理服務(wù)一般應(yīng)用在圖書(shū)館。LibrARi、ShelvAR和Libagent等的主要功能是通過(guò)移動(dòng)視覺(jué)搜索發(fā)現(xiàn)亂架書(shū)籍，從而為圖書(shū)館員的排架工作提供幫助。LibrARi 通過(guò)拍攝散落圖書(shū)的封面搜索該書(shū)在書(shū)架上的正確位置，幫助圖書(shū)館員重新上架；ShelvAR發(fā)現(xiàn)亂架書(shū)籍后會(huì)計(jì)算出最高效的重排方式，并用虛擬的問(wèn)號(hào)圖形標(biāo)注亂架書(shū)籍；Libagent和ShelvAR一樣，通過(guò)虛擬符號(hào)標(biāo)記亂架書(shū)籍。博物館中的應(yīng)用案例通常利用移動(dòng)視覺(jué)搜索進(jìn)行展品導(dǎo)覽。傳統(tǒng)的展品導(dǎo)覽是通過(guò)人工講解、講解機(jī)或簡(jiǎn)介卡片提供服務(wù)，而移動(dòng)視覺(jué)搜索提供的導(dǎo)覽服務(wù)能同時(shí)提供文本、音視頻等多媒體信息，參觀者獲取信息更加主動(dòng)、互動(dòng)性更強(qiáng)。PhoneGuide以及鐘志鵬、Gongwen Xu開(kāi)發(fā)的博物館導(dǎo)覽系統(tǒng)都是通過(guò)拍攝展品提供該展品的文本、音頻、視頻等多媒體解說(shuō)。

5 基于移動(dòng)視覺(jué)搜索技術(shù)的智慧公共文化服務(wù)模型的體系結(jié)構(gòu)

綜合移動(dòng)視覺(jué)搜索在公共文化服務(wù)領(lǐng)域的應(yīng)用案例分析，以及移動(dòng)視覺(jué)搜索相關(guān)研究中提出結(jié)合關(guān)聯(lián)數(shù)據(jù)和情境感知理論的觀點(diǎn)，本文構(gòu)建了基于移動(dòng)視覺(jué)搜索技術(shù)的智慧公共文化服務(wù)模型（見(jiàn)圖1），引入關(guān)聯(lián)數(shù)據(jù)、情境感知、增強(qiáng)現(xiàn)實(shí)技術(shù)等，將移動(dòng)視覺(jué)搜索應(yīng)用到公共文化服務(wù)中，實(shí)現(xiàn)智慧公共文化服務(wù)。模型分為四層架構(gòu)，包括視覺(jué)資源獲取層、視覺(jué)資源組織層、移動(dòng)視覺(jué)搜索層和應(yīng)用服務(wù)層。

5.1 視覺(jué)資源獲取層

現(xiàn)有的公共數(shù)字文化資源為公共文化服務(wù)提供了豐富的視覺(jué)資源。圖書(shū)館、博物館等公共文化服務(wù)機(jī)構(gòu)建立的館藏資源數(shù)據(jù)庫(kù)中包含了大量經(jīng)過(guò)組織加工的結(jié)構(gòu)化數(shù)據(jù)，這為視覺(jué)大數(shù)據(jù)模塊采集視覺(jué)資源提供了便利。同時(shí)，通過(guò)集合圖書(shū)館、博物館、美術(shù)館等不同公共文化服務(wù)機(jī)構(gòu)的視覺(jué)資源，視覺(jué)大數(shù)據(jù)模塊也為融合多源機(jī)構(gòu)的視覺(jué)資源創(chuàng)造了條件。此外，視覺(jué)大數(shù)據(jù)模塊通過(guò)網(wǎng)站提供的API接口爬取數(shù)據(jù)，獲取廣泛的網(wǎng)絡(luò)開(kāi)放存取資源，對(duì)公共文化視覺(jué)資源進(jìn)行有效補(bǔ)充。情境信息的采集是移動(dòng)視覺(jué)搜索與情境感知理論結(jié)合的要求，是促進(jìn)公共文化服務(wù)智慧化的手段。情境感知模塊用于采集用戶情境信息，主要來(lái)源于用戶數(shù)據(jù)庫(kù)和移動(dòng)終端的傳感裝置。用戶數(shù)據(jù)庫(kù)可以是圖書(shū)館、博物館等提供的用戶數(shù)據(jù)，也可以在用戶注冊(cè)環(huán)節(jié)進(jìn)行收集后建庫(kù)；智能手機(jī)、平板電腦中的GPS可以采集用戶所處自然環(huán)境的情境信息，以及用戶與界面交互時(shí)的觸控操作等數(shù)據(jù)。

5.2 視覺(jué)資源組織層

視覺(jué)資源組織層的目的是利用關(guān)聯(lián)數(shù)據(jù)實(shí)現(xiàn)多源機(jī)構(gòu)視覺(jué)資源的融合互聯(lián)，同時(shí)實(shí)現(xiàn)視覺(jué)資源的高層語(yǔ)義揭示，最終形成視覺(jué)資源知識(shí)庫(kù)。視覺(jué)資源融合模塊是視覺(jué)資源知識(shí)庫(kù)的核心。首先要揭示視覺(jué)資源的語(yǔ)義內(nèi)容，可以采用機(jī)器識(shí)別與人工標(biāo)注相結(jié)合的方法。利用支持向量機(jī)（SVM）、神經(jīng)網(wǎng)絡(luò)等機(jī)器學(xué)習(xí)算法自動(dòng)識(shí)別顏色、幾何結(jié)構(gòu)等客觀的視覺(jué)特征，同時(shí)采用眾包的方法，發(fā)動(dòng)用戶人工標(biāo)注視覺(jué)資源的高層語(yǔ)義，從人文感受的角度揭示視覺(jué)資源特征；其次，應(yīng)用關(guān)聯(lián)數(shù)據(jù)實(shí)現(xiàn)不同來(lái)源的視覺(jué)資源之間的有機(jī)互聯(lián)。關(guān)聯(lián)數(shù)據(jù)使用資源描述框架（RDF），以三元組作為視覺(jué)資源語(yǔ)義描述的基本結(jié)構(gòu)，并使用統(tǒng)一資源定位符（URI）作為資源的唯一標(biāo)識(shí)將不同公共文化機(jī)構(gòu)的數(shù)字化館藏資源關(guān)聯(lián)在一起；此外，還可以與網(wǎng)絡(luò)上大量的開(kāi)放關(guān)聯(lián)數(shù)據(jù)集（Linked Open Data，LOD）如GeoNames、FOAF、DBpedia等互聯(lián)，形成一張強(qiáng)大的知識(shí)網(wǎng)絡(luò)。情境建模模塊是針對(duì)情境感知模塊收集的個(gè)人情境（如人口統(tǒng)計(jì)特征、興趣偏好、交互行為等）、社會(huì)情境（如教育背景、社交情況等）、自然情境（如地理位置、氣候天氣等）、設(shè)備情境（如設(shè)備類(lèi)型、網(wǎng)絡(luò)情況等），通過(guò)社會(huì)網(wǎng)絡(luò)分析、聚類(lèi)分析、情境計(jì)算等手段建立情景模型，形成情境信息知識(shí)庫(kù)，為后續(xù)移動(dòng)視覺(jué)搜索的個(gè)性化推薦做支持。

5.3 移動(dòng)視覺(jué)搜索層

移動(dòng)視覺(jué)搜索相關(guān)技術(shù)研究顯示完整的視覺(jué)搜索過(guò)程由特征索引、特征匹配、搜索結(jié)果排序和搜索結(jié)果反饋四個(gè)部分組成，由此提出移動(dòng)視覺(jué)搜索層的四個(gè)模塊。經(jīng)過(guò)視覺(jué)資源融合模塊對(duì)視覺(jué)資源進(jìn)行語(yǔ)義描述和語(yǔ)義關(guān)聯(lián)后，特征索引模塊基于視覺(jué)資源知識(shí)庫(kù)對(duì)視覺(jué)資源建立特征索引。當(dāng)用戶發(fā)起一次查詢(xún)時(shí)，將視覺(jué)對(duì)象的特征與索引庫(kù)特征進(jìn)行相似性計(jì)算，完成特征匹配。綜合匹配效果以及用戶情境信息對(duì)搜索結(jié)果進(jìn)行相關(guān)性排序，并反饋結(jié)果列表。搜索結(jié)果反饋模塊不僅包括匹配后的視覺(jué)對(duì)象，還結(jié)合視覺(jué)資源知識(shí)庫(kù)中的關(guān)聯(lián)網(wǎng)絡(luò)和用戶具體情境模型，個(gè)性化推薦與匹配對(duì)象關(guān)聯(lián)的文本、圖像、音視頻等多媒體信息。移動(dòng)視覺(jué)搜索層的最終結(jié)果將提交至應(yīng)用服務(wù)層，作為不同服務(wù)模塊的基礎(chǔ)。

5.4 應(yīng)用服務(wù)層

應(yīng)用服務(wù)層是基于移動(dòng)視覺(jué)搜索層的結(jié)果，結(jié)合其他新興技術(shù)手段，進(jìn)一步提供的具體服務(wù)功能。隨著科技進(jìn)步發(fā)展，新技術(shù)和設(shè)備的誕生將催生更多服務(wù)模塊，因此應(yīng)用服務(wù)層是一個(gè)不斷生長(zhǎng)的有機(jī)體。根據(jù)已有研究和案例，本文模型僅列出三個(gè)服務(wù)模塊以示說(shuō)明：移動(dòng)導(dǎo)覽模塊、館藏管理模塊和虛擬體驗(yàn)?zāi)K。此三類(lèi)服務(wù)模塊均可引入增強(qiáng)現(xiàn)實(shí)技術(shù)，在真實(shí)圖像中疊加虛擬信息，從而提供沉浸式的體驗(yàn)感。如在移動(dòng)導(dǎo)覽時(shí)，用戶使用移動(dòng)設(shè)備拍攝周邊街景后，設(shè)備自動(dòng)播放歷史建筑、古跡遺址等人文景觀的語(yǔ)音介紹，并在拍攝畫(huà)面中顯示文字標(biāo)注等；在館藏管理時(shí)，利用移動(dòng)視覺(jué)搜索對(duì)亂架館藏和不在架館藏進(jìn)行精準(zhǔn)定位，用虛擬標(biāo)記顯示館藏的正確位置。虛擬體驗(yàn)?zāi)K還可與可穿戴設(shè)備結(jié)合，如用戶通過(guò)VR眼鏡觀看某件文物展品的修復(fù)過(guò)程，通過(guò)智能手套體驗(yàn)親手翻閱古籍。

7 結(jié)語(yǔ)

國(guó)家“互聯(lián)網(wǎng)+”和“智慧城市”的發(fā)展戰(zhàn)略對(duì)公共文化服務(wù)的智慧化發(fā)展提出了要求。公共文化服務(wù)領(lǐng)域現(xiàn)有的大量視覺(jué)資源為移動(dòng)視覺(jué)搜索應(yīng)用于智慧公共文化服務(wù)提供了豐富的資源支持，同時(shí)，也為不同公共文化服務(wù)機(jī)構(gòu)的視覺(jué)資源繼續(xù)融合互聯(lián)提供了機(jī)遇。用戶對(duì)信息資源高層語(yǔ)義表達(dá)的需求以及移動(dòng)搜索習(xí)慣日益深入人心均推動(dòng)了移動(dòng)視覺(jué)搜索技術(shù)應(yīng)用到公共文化服務(wù)領(lǐng)域的進(jìn)程。本文在深入分析公共文化服務(wù)領(lǐng)域的移動(dòng)視覺(jué)搜索應(yīng)用案例的基礎(chǔ)上，結(jié)合關(guān)聯(lián)數(shù)據(jù)、情境感知理論提出基于移動(dòng)視覺(jué)搜索技術(shù)的智慧公共文化服務(wù)模型，通過(guò)視覺(jué)資源獲取層、視覺(jué)資源組織層、移動(dòng)視覺(jué)搜索層和應(yīng)用服務(wù)層的四層架構(gòu)，建立了移動(dòng)視覺(jué)搜索應(yīng)用于智慧公共文化服務(wù)的體系結(jié)構(gòu)。該模型充分發(fā)揮移動(dòng)視覺(jué)搜索“以圖搜圖”的優(yōu)勢(shì)，能夠發(fā)揮視覺(jué)資源的獨(dú)特價(jià)值，促使不同公共文化機(jī)構(gòu)視覺(jué)資源的融合，實(shí)現(xiàn)高層語(yǔ)義信息的表達(dá)，并適應(yīng)人們的移動(dòng)搜索習(xí)慣，其具有廣闊的前景價(jià)值。

參考文獻(xiàn)：

[1] 中國(guó)網(wǎng)絡(luò)空間研究院.世界互聯(lián)網(wǎng)發(fā)展報(bào)告2017[EB/OL].[2018-03-08].http：//www.cac.gov.cn/1122128829_1513578929

3581n.pdf.

[2] Girod B，Chandrasekhar V，Chen D M，et al.Mobile Visual Search[J].IEEE Signal Processing Magazine，2011，28（4）：61-76.

[3] 張興旺，鄭聰，黃婷婷.基于大數(shù)據(jù)的視覺(jué)搜索應(yīng)用與組織模式研究[J].情報(bào)理論與實(shí)踐，2017，40（1）：104-109.

[4] 中國(guó)政府網(wǎng).政府工作報(bào)告（文字實(shí)錄）[EB/OL].[2018-03- 08].http：//www.gov.cn/premier/2018-03/05/content_5271083.htm.

[5] 賈佳，唐勝，謝洪濤，等.移動(dòng)視覺(jué)搜索綜述[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2017，29（6）：1007-1021.

[6] 段凌宇，黃鐵軍，高文.移動(dòng)視覺(jué)搜索技術(shù)研究與標(biāo)準(zhǔn)化進(jìn)展[J].信息通信技術(shù)，2012（6）：51-58.

[7] Zhao B，Zhao H W，Liu P P，et al.A New Mobile Visual Search System Based on the Human Visual System[J].Applied Mechanics & Materials，2013，461（461）：792-800.

[8] Liu W，Ma H，Qi H，et al.Deep learning hashing for mobile visual search[J].Eurasip Journal on Image & Video Processing，2017（1）：17.

[9] Gao K，Zhang Y，Zhang D，et al.Accurate off-line query expansion for large-scale mobile visual search[J].Signal Processing，2013，

93（8）：2305-2315.

[10] Kuo Y H，Hsu W H.Dehashing： Server-Side Context-Aware Feature Reconstruction for Mobile Visual Search[J].IEEE Transactions on Circuits & Systems for Video Technology，2016，27（1）：139-148.

[11] 齊云飛，趙宇翔，朱慶華.關(guān)聯(lián)數(shù)據(jù)在數(shù)字圖書(shū)館移動(dòng)視覺(jué)搜索系統(tǒng)中的應(yīng)用研究[J].現(xiàn)代圖書(shū)情報(bào)技術(shù)，2017，1（1）：81-90.

[12] 劉木林，朱慶華，趙宇翔.基于關(guān)聯(lián)數(shù)據(jù)的數(shù)字圖書(shū)館移動(dòng)視覺(jué)搜索框架研究[J].情報(bào)資料工作，2016（4）：6-10.

[13] 李晨暉，張興旺，秦曉珠.基于大數(shù)據(jù)的文化遺產(chǎn)數(shù)字圖書(shū)館移動(dòng)視覺(jué)搜索機(jī)制建設(shè)研究[J].情報(bào)理論與實(shí)踐，2018，41（4）：137，143-148..

[14] 張興旺，李晨暉.數(shù)字圖書(shū)館移動(dòng)視覺(jué)搜索機(jī)制建設(shè)的若干關(guān)鍵問(wèn)題[J].圖書(shū)情報(bào)工作，2015，59（15）：42-48.

[15] 韓璽，何秀美，張珗，等.基于語(yǔ)義關(guān)聯(lián)的圖書(shū)館移動(dòng)視覺(jué)搜索資源與服務(wù)聚合研究[J].現(xiàn)代情報(bào)，2017，37（10）：3-7.

[16] 韓璽，何秀美，張珗，等.基于情景感知的圖書(shū)館移動(dòng)視覺(jué)搜索服務(wù)設(shè)計(jì)研究[J].圖書(shū)館學(xué)研究，2017（16）：63-68.

[17] 曾子明，周知.大數(shù)據(jù)環(huán)境下面向科研用戶的移動(dòng)視覺(jué)搜索模型研究[J].情報(bào)理論與實(shí)踐，2017，40（8）：126-130.

[18] 史昱天，韓璽，朱慶華，等.國(guó)內(nèi)主流移動(dòng)視覺(jué)搜索工具的比較研究[J].圖書(shū)館學(xué)研究，2017（21）：65-71.

[19] 馬騰騰，趙宇翔，朱慶華.國(guó)外移動(dòng)視覺(jué)搜索產(chǎn)品的比較分析研究[J].圖書(shū)館雜志，2016（9）：81-88.

[20] 唐義.我國(guó)公共數(shù)字文化資源整合需求的調(diào)查分析[J].圖書(shū)情報(bào)工作，2015，59（11）：6-12.

[21] CNNIC.2016年中國(guó)網(wǎng)民搜索行為調(diào)查報(bào)告[EB/OL].[2018-03-08].http：//www.cnnic.net.cn/hlwfzyj/hlwxzbg/ssbg/201801/

P020180109484661983457.pdf.

[22] John Rylands Library，The University of Manchester.SCARLET：Augmented Reality in Special Collections[EB/OL].[2018-03-

08].https：//archiveshub.jisc.ac.uk/features/SCARLET/index.html.

[23] Pradeep Siddappa.LibrARi[EB/OL].[2018-03-08].http：//www.pradeepsiddappa.com/design/librari/.

[24] Bo B，Brinkman S.AR in the library：A pilot study of multi-target acquisition usability[C].IEEE International Symposium on Mixed

and Augmented Reality.IEEE，2013：241-242.

[25] Shatte A，Holdsworth J，Lee I.Mobile augmented reality based context-aware library management system[J].Expert Systems with Applications，2014，41（5）：2174-2185.

[26] Chen D，Tsai S，Hsu C H，et al.Mobile augmented reality for books on a shelf[C].IEEE International Conference on Multimedia and Expo.IEEE Computer Society，2011：1-6.

[27] 鐘志鵬，王涌天，陳靖，等.一個(gè)基于移動(dòng)視覺(jué)搜索技術(shù)的博物館導(dǎo)覽系統(tǒng)[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2012，24（4）：555-562.

[28] Bruns E，Brombach B，Zeidler T，et al.Enabling Mobile Phones To Support Large-Scale Museum Guidance[J].IEEE Multimedia，2007，14（2）：16-25.

[29] Gongwen Xu，Xiaomei Li，Honglan Zhou，et al.The Mobile Visual Search Guiding System Based on SIFT[J].International Journal of Future Generation Communication and Networking，2016，9（6）：165-178.

作者簡(jiǎn)介：董晶，女，武漢大學(xué)信息管理學(xué)院碩士研究生，研究方向：信息檢索；吳丹，女，武漢大學(xué)信息管理學(xué)院教授，博士生導(dǎo)師，研究方向：信息檢索、人機(jī)交互、用戶信息行為。