李超+周瑛+周煥+潘瑋
[摘要]大數(shù)據(jù)時(shí)代的到來(lái),給情報(bào)分析帶來(lái)了新的機(jī)遇和挑戰(zhàn)。文章概述了大數(shù)據(jù)的時(shí)代背景及情報(bào)分析的發(fā)展趨勢(shì),在現(xiàn)有研究的基礎(chǔ)上,對(duì)情報(bào)分析方法相關(guān)研究進(jìn)行系統(tǒng)梳理,從中歸納出基于知識(shí)、文獻(xiàn)、組織、專家、認(rèn)知心理學(xué)等10類傳統(tǒng)情報(bào)分析方法并指出其局限性,對(duì)7類大數(shù)據(jù)背景下的情報(bào)分析方法及常用情報(bào)分析軟件進(jìn)行了分類探討。
[關(guān)鍵詞]大數(shù)據(jù);情報(bào)分析;分析方法;分析軟件
情報(bào)分析是利用技術(shù)手段和軟科學(xué)研究方法,對(duì)信息資源進(jìn)行收集、整理、綜合并形成有價(jià)值情報(bào)的方法。大數(shù)據(jù)環(huán)境下情報(bào)分析面臨著前所未有的機(jī)遇和挑戰(zhàn)。首先,大數(shù)據(jù)能夠?yàn)榍閳?bào)分析提供有力的數(shù)據(jù)處理分析方法和工具,并能提升情報(bào)分析的應(yīng)用價(jià)值,更好地為政府、企業(yè)、圖書(shū)情報(bào)機(jī)構(gòu)提供決策支持。其次,大數(shù)據(jù)環(huán)境下,情報(bào)分析過(guò)程面臨數(shù)據(jù)量越來(lái)越大、數(shù)據(jù)類型更加復(fù)雜、處理和分析難度增大、精準(zhǔn)化的用戶需求及有針對(duì)性的結(jié)果呈現(xiàn)等問(wèn)題。傳統(tǒng)的情報(bào)分析方法已到了一個(gè)突破瓶頸的時(shí)期。而大數(shù)據(jù)分析和情報(bào)分析都是以數(shù)據(jù)為基礎(chǔ)進(jìn)行研究,通過(guò)分析數(shù)據(jù)和信息,為用戶提供相關(guān)服務(wù)。并且都以多源數(shù)據(jù)融合、信息的定量分析、相關(guān)關(guān)系的探討為研究重點(diǎn)。因此,優(yōu)化和改進(jìn)傳統(tǒng)的情報(bào)研究方法,引進(jìn)和創(chuàng)新適用于情報(bào)分析的大數(shù)據(jù)分析方法、思路、新工具和新手段,解決大數(shù)據(jù)為情報(bào)分析帶來(lái)的新問(wèn)題,充分挖掘大數(shù)據(jù)中蘊(yùn)含的情報(bào)價(jià)值,使研究結(jié)果更加科學(xué),就很有必要性。本文在對(duì)國(guó)內(nèi)外情報(bào)分析方法進(jìn)行研究的基礎(chǔ)上,結(jié)合大數(shù)據(jù)的背景對(duì)傳統(tǒng)的情報(bào)分析方法進(jìn)行了歸類并分析其局限性,對(duì)大數(shù)據(jù)背景下的情報(bào)分析方法和情報(bào)分析軟件進(jìn)行了探討。
1大數(shù)據(jù)的時(shí)代背景及情報(bào)分析的趨勢(shì)
隨著科技的迅猛發(fā)展,在科學(xué)研究、互聯(lián)網(wǎng)應(yīng)用、電子商務(wù)、社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)、移動(dòng)互聯(lián)、生物醫(yī)藥、醫(yī)療衛(wèi)生、地理信息、影視娛樂(lè)等領(lǐng)域不斷產(chǎn)生海量的數(shù)據(jù)信息,這就是所謂的大數(shù)據(jù)。大數(shù)據(jù)的基礎(chǔ)在于數(shù)據(jù),其特點(diǎn)主要是:數(shù)據(jù)類型復(fù)雜,數(shù)據(jù)體量巨大,數(shù)據(jù)價(jià)值密度較低,處理速度較快。百度公司每天處理的數(shù)據(jù)量約幾十PB,共響應(yīng)60億次請(qǐng)求;據(jù)互聯(lián)網(wǎng)中心和麥肯錫全球研究院預(yù)計(jì),到2020年全球和中國(guó)的數(shù)據(jù)總量將達(dá)到35ZB和8.5ZB;關(guān)于大數(shù)據(jù),維基百科給出的定義是:所涉及的資料量規(guī)模巨大到無(wú)法透過(guò)目前主流軟件工具,在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理,并整理成為幫助企業(yè)經(jīng)營(yíng)決策更積極目的的資訊。而隨著情報(bào)領(lǐng)域的知識(shí)劃分逐漸細(xì)化、內(nèi)容更加專深、數(shù)據(jù)量也日趨增大。我國(guó)每年新增的科技文獻(xiàn)和專利數(shù)量分別達(dá)到了150萬(wàn)篇和200萬(wàn)條。海量的技術(shù)標(biāo)準(zhǔn)、科研文獻(xiàn)、會(huì)議論文增長(zhǎng)的速度已經(jīng)超過(guò)了人工處理所能承受的極限,情報(bào)分析已經(jīng)更多地依靠智能化、標(biāo)準(zhǔn)化、高效率的信息技術(shù)來(lái)輔助完成數(shù)據(jù)處理的工作。目前,情報(bào)分析的趨勢(shì)主要是:研究領(lǐng)域從單一領(lǐng)域逐漸擴(kuò)大轉(zhuǎn)到全領(lǐng)域分析、對(duì)各種采集方式獲取的不同結(jié)構(gòu)數(shù)據(jù)進(jìn)行綜合利用、注重新媒體形式異構(gòu)信息的分析、對(duì)情報(bào)分析智能化的要求不斷提高。
2大數(shù)據(jù)環(huán)境下的情報(bào)分析方法
2.1傳統(tǒng)的情報(bào)分析方法
傳統(tǒng)的情報(bào)分析方法宏觀上,根據(jù)研究手段分為:定性分析方法、半定量分析方法及定量分析方法;微觀上,根據(jù)對(duì)象類型分為:基于知識(shí)的情報(bào)分析方法(知識(shí)地圖法、知識(shí)基因法、空白點(diǎn)分析法、循證決策法等)、基于文獻(xiàn)的情報(bào)分析方法(文獻(xiàn)計(jì)量法、內(nèi)容分析等)、基于組織的情報(bào)分析方法(SWOT分析法、產(chǎn)品生命周期分析法、PEST分析、定標(biāo)比超法等)、基于專家的情報(bào)分析方法(訪談法、頭腦風(fēng)暴法、Delphi法、交叉概率法等)、基于認(rèn)識(shí)的情報(bào)分析方法(哲學(xué)方法、理性思維方法、形象思維方法等)、基于認(rèn)知心理學(xué)的情報(bào)分析方法(境況邏輯法、理論應(yīng)用方法等)、面向軍事情報(bào)的分析方法(基于物理、事理、人理的分析方法等)、面向公安情報(bào)的分析方法(哲學(xué)方法、中介方法等)、面向犯罪情報(bào)的分析方法(文件檢驗(yàn)法、地圖分析法等)、面向?qū)@那閳?bào)分析方法(定性分析、定量分析、擬定量分析法等)。如表1。
傳統(tǒng)情報(bào)分析方法的數(shù)據(jù)基本都是結(jié)構(gòu)化、標(biāo)準(zhǔn)化、樣本化的,而大數(shù)據(jù)格式明顯具有異構(gòu)性、多源性的特點(diǎn),使傳統(tǒng)分析方法在數(shù)據(jù)數(shù)量、類型上受到很大局限。同時(shí),傳統(tǒng)情報(bào)分析方法,更多地關(guān)注于文獻(xiàn)分析,通過(guò)趨勢(shì)外推進(jìn)行預(yù)測(cè);而文獻(xiàn)數(shù)據(jù)本身存在信息不完全、表現(xiàn)形式單一、分類和編碼困難、代表性可能不足等固有缺陷,加之大數(shù)據(jù)環(huán)境下海量數(shù)據(jù)易造成認(rèn)識(shí)偏差,導(dǎo)致分析結(jié)果的科學(xué)性會(huì)受到很大影響。對(duì)于大數(shù)據(jù)環(huán)境下社會(huì)網(wǎng)絡(luò)結(jié)構(gòu)分析、批量與流式分析、可視化分析、空間信息分析等需求,傳統(tǒng)分析方法也難以滿足。因此,在應(yīng)用中須對(duì)傳統(tǒng)情報(bào)方法進(jìn)行優(yōu)化、改進(jìn)、繼承和創(chuàng)新,同時(shí)引進(jìn)新思路、新工具和新手段,使研究結(jié)果更科學(xué)、高效、準(zhǔn)確。
2.2大數(shù)據(jù)背景下的情報(bào)分析方法
海量的異源異構(gòu)數(shù)據(jù),對(duì)情報(bào)分析造成了巨大的沖擊,而大數(shù)據(jù)分析方法與情報(bào)分析方法在本質(zhì)上有很多共同之處,并且在數(shù)據(jù)處理方面更加優(yōu)越。首先,大數(shù)據(jù)分析方法能夠?qū)?shù)據(jù)進(jìn)行深度分析,充分挖掘數(shù)據(jù)問(wèn)的關(guān)聯(lián)性,提升數(shù)據(jù)價(jià)值;其次,大數(shù)據(jù)分析能夠有效進(jìn)行多源數(shù)據(jù)融合,兼容多種結(jié)構(gòu)和媒體形態(tài)的數(shù)據(jù);最后,大數(shù)據(jù)分析基于更先進(jìn)的平臺(tái)和開(kāi)發(fā)技術(shù),具有更高的處理效率。因此,引進(jìn)情報(bào)分析領(lǐng)域適用的大數(shù)據(jù)分析方法并進(jìn)行創(chuàng)新,充分挖掘大數(shù)據(jù)中蘊(yùn)含的情報(bào)價(jià)值是當(dāng)前情報(bào)分析領(lǐng)域的研究熱點(diǎn)。綜合考慮方法本身的可操作性、可移植性、完整性等因素,本文從微觀層面對(duì)18種大數(shù)據(jù)背景下的情報(bào)分析方法進(jìn)行歸類和分析。如表2。
2.2.1面向挖掘的分析方法
圖模型分析與挖掘:圖模型挖掘是文本數(shù)據(jù)挖掘方法的一種重要應(yīng)用。趙斌等,通過(guò)一種基于“詞項(xiàng)一消息一用戶”的TWU圖模型,來(lái)對(duì)微博中群體觀點(diǎn)進(jìn)行挖掘,把時(shí)戳作為邊的屬性來(lái)處理,提出了時(shí)間敏感性隨機(jī)游走算法TSRW,通過(guò)對(duì)詞項(xiàng)的相關(guān)性進(jìn)行度量來(lái)挖掘群體觀點(diǎn)。姜春濤等,提出用圖示法定義專利文本單元語(yǔ)法及相似性關(guān)系,利用語(yǔ)義技術(shù)提高專利智能分析的準(zhǔn)確性和性能。
信息提?。菏前盐谋纠锇男畔⑦M(jìn)行結(jié)構(gòu)化處理,然后以統(tǒng)一的形式集成在一起,以便進(jìn)行比較分析的一種方法。張敏,劉建華等,通過(guò)開(kāi)源工具PDFBox和Tika對(duì)不同類型的富文檔元數(shù)據(jù)及正文內(nèi)容進(jìn)行提取。首先,通過(guò)解析Content-Type來(lái)獲取MIME類型名稱,識(shí)別文檔的類型;再通過(guò)對(duì)富文檔進(jìn)行分析,提取文檔的創(chuàng)建時(shí)間、修改時(shí)間、文檔標(biāo)題、文本內(nèi)容等重要信息,拓展了文本知識(shí)內(nèi)容的識(shí)別方法。
時(shí)空數(shù)據(jù)挖掘:隨著移動(dòng)終端定位信息服務(wù)的發(fā)展和網(wǎng)絡(luò)中描述時(shí)空范圍的信息不斷增加,挖掘時(shí)空信息并提升其價(jià)值,成為了數(shù)據(jù)挖掘領(lǐng)域的前沿課題。時(shí)間信息通常可從網(wǎng)頁(yè)內(nèi)容、用戶數(shù)據(jù)或超鏈接中提取,Allen首次提出用代數(shù)的區(qū)間來(lái)表示時(shí)間。概率模型法、粗糙集、自動(dòng)注解等方法都適用于時(shí)間的識(shí)別??臻g信息分為源位置和目標(biāo)位置,分析主機(jī)位置就可以定位到源位置,通過(guò)地理文本分析和地理信息標(biāo)識(shí)可以找到目標(biāo)位置。Lauw、Pham、Crandall等人提出了基于時(shí)空事件模型的社交網(wǎng)絡(luò)發(fā)現(xiàn)方法,通過(guò)分析用戶的地點(diǎn)信息、用戶在時(shí)間和空間上的共現(xiàn),預(yù)測(cè)用戶之間的社交聯(lián)系和強(qiáng)度。時(shí)空挖掘方法針對(duì)輿情研究、社交網(wǎng)絡(luò)分析、研究主題周期等情報(bào)分析問(wèn)題有很好的幫助。
聯(lián)機(jī)分析:是對(duì)大量數(shù)據(jù)進(jìn)行快速、靈活地分析和處理,為決策人員提供信息支持的一種快速軟件技術(shù),能夠支持復(fù)雜查詢處理。隨著大數(shù)據(jù)時(shí)代信息化程度的提高,數(shù)據(jù)量不斷增大、數(shù)據(jù)維度不斷增多,聯(lián)機(jī)分析技術(shù)正向著高效查詢的方向發(fā)展。高雅卓,倪志偉等提出了基于關(guān)聯(lián)規(guī)則挖掘的數(shù)據(jù)立方體物化方法及立方體增量更新算法。并進(jìn)行了基于變量選擇的OLAP查詢流程模擬實(shí)驗(yàn),證明算法提高了查詢推薦的效率。于非,張嵐,張柏秋,對(duì)美國(guó)ProQuest公司的ProQuest Dialog國(guó)際聯(lián)機(jī)檢索平臺(tái)的指令算符、索引字段做了詳細(xì)比對(duì)與分析,指導(dǎo)用戶合理組配構(gòu)建邏輯關(guān)系緊密的檢索策略,提高查全率和查準(zhǔn)率。
關(guān)聯(lián)分析:是一種從海量數(shù)據(jù)或其他信息載體中發(fā)現(xiàn)項(xiàng)目或?qū)ο蠹现g相關(guān)性、相關(guān)關(guān)系或因果結(jié)構(gòu)的分析方法,常用的算法是Apriori算法和FP-growth算法。何超,張玉峰設(shè)計(jì)了商務(wù)情報(bào)語(yǔ)義關(guān)聯(lián)分析算法,自頂而下進(jìn)行多層知識(shí)挖掘,對(duì)用網(wǎng)絡(luò)圖結(jié)構(gòu)表示的文本中的關(guān)聯(lián)模式進(jìn)行探索。楊建林對(duì)同一作者在其發(fā)表的所有期刊論文中列出的所有關(guān)鍵詞進(jìn)行關(guān)聯(lián)分析挖掘,挖掘過(guò)程包括:業(yè)務(wù)理解、數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)預(yù)處理、數(shù)據(jù)挖掘和結(jié)果分析5個(gè)步驟。以發(fā)現(xiàn)學(xué)術(shù)個(gè)體在研究方向選擇方面的行為特點(diǎn),揭示不同研究方向兩兩之間的關(guān)聯(lián)強(qiáng)度。
數(shù)據(jù)挖掘和文本挖掘:通過(guò)對(duì)結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行挖掘,發(fā)現(xiàn)潛在的關(guān)聯(lián)規(guī)律和模式的方法。數(shù)據(jù)挖掘偏重于圖書(shū)館信息檢索服務(wù)方面,而文本挖掘?qū)儆谟?jì)算機(jī)領(lǐng)域的研究?jī)?nèi)容,主要用來(lái)揭示文本中的詞與句法特征。李信,李旭暉等采用數(shù)據(jù)挖掘方法,以Web of Science為數(shù)據(jù)源,借助SATI和SPSS軟件分析了大數(shù)據(jù)驅(qū)動(dòng)下圖書(shū)情報(bào)學(xué)科研究的現(xiàn)狀和進(jìn)展。
2.2.2面向發(fā)現(xiàn)的分析方法
深度學(xué)習(xí):是利用層次化的架構(gòu),對(duì)大數(shù)據(jù)進(jìn)行有效學(xué)習(xí)、解釋和表達(dá)的方法,相對(duì)傳統(tǒng)的模型和方法,更為復(fù)雜和深入。該方法通常和人工神經(jīng)網(wǎng)絡(luò)方法相結(jié)合使用。隨著科技發(fā)展大規(guī)模神經(jīng)網(wǎng)絡(luò)分析技術(shù)提升了深層感知的效果,與大數(shù)據(jù)形成相互促進(jìn)的關(guān)系。體量浩大的大數(shù)據(jù)解決了人工神經(jīng)網(wǎng)絡(luò)訓(xùn)練樣本不足的問(wèn)題,而神經(jīng)網(wǎng)絡(luò)能夠?qū)Ξ悩?gòu)數(shù)據(jù)、多源數(shù)據(jù)進(jìn)行整合、提取特征和抽象,捕捉變化動(dòng)態(tài),實(shí)現(xiàn)大數(shù)據(jù)價(jià)值轉(zhuǎn)化。Bengio等利用自動(dòng)編碼器,實(shí)現(xiàn)了非概率無(wú)監(jiān)督深度學(xué)習(xí);斯坦福大學(xué)Socher等,在解決情感分析問(wèn)題時(shí)采用了遞歸神經(jīng)網(wǎng)絡(luò),將識(shí)別率提高了5個(gè)百分點(diǎn)。國(guó)內(nèi),科大訊飛和百度的IDL對(duì)深度學(xué)習(xí)技術(shù)進(jìn)行了深入研究,獲得了良好效果。
知識(shí)計(jì)算:大數(shù)據(jù)知識(shí)計(jì)算是學(xué)術(shù)界的研究熱點(diǎn)之一,是通過(guò)對(duì)數(shù)據(jù)進(jìn)行抽取并構(gòu)建成知識(shí)庫(kù)(支持查詢、分析、計(jì)算),從而進(jìn)行高端分析,提升知識(shí)的價(jià)值。世界各國(guó)都發(fā)布了知識(shí)搜索平臺(tái),如wolframalpha知識(shí)計(jì)算平臺(tái)、TrueKnowledge知識(shí)搜索平臺(tái)、knowledge graph搜索服務(wù)、維基百科知識(shí)庫(kù)等;國(guó)內(nèi)有多所高校和研究所也參與了知識(shí)庫(kù)建設(shè)工作,如上海交通大學(xué)建立的zhishi.me平臺(tái),復(fù)旦大學(xué)GDM推出的知識(shí)圖譜平臺(tái),中科院數(shù)學(xué)研究院發(fā)布的知件等。知識(shí)庫(kù)的構(gòu)建工作包括:手動(dòng)或自動(dòng)構(gòu)建知識(shí)庫(kù)、對(duì)多源知識(shí)進(jìn)行融合并更新知識(shí)庫(kù)。手動(dòng)構(gòu)建知識(shí)庫(kù),需要專業(yè)人員并花費(fèi)大量人力物力,如:知網(wǎng)(Hownet)、同義詞詞林、概念層次網(wǎng)絡(luò)(HNC)和中文概念詞典(CCD),OpenCyc;自動(dòng)構(gòu)建方法分為有監(jiān)督的構(gòu)建方法和半監(jiān)督的構(gòu)建方法,如Probase 和YAGO知識(shí)庫(kù)。
社會(huì)計(jì)算:隨著大數(shù)據(jù)時(shí)代社交網(wǎng)絡(luò)的興起微博、Twitter等在線應(yīng)用使人與人之間的關(guān)系網(wǎng)絡(luò)更加緊密,人的互聯(lián)逐漸成為信息互聯(lián)的載體和信息傳播的媒介。因此,社會(huì)計(jì)算成為了學(xué)術(shù)界較為重視的研究?jī)?nèi)容。目前,社會(huì)計(jì)算的熱點(diǎn)主要集中在社會(huì)網(wǎng)絡(luò)結(jié)構(gòu)分析、信息傳播模型分析、信息內(nèi)容分析、社會(huì)媒體中信息檢索與數(shù)據(jù)挖掘等方面。社區(qū)結(jié)構(gòu)是在線社會(huì)網(wǎng)絡(luò)結(jié)構(gòu)分析領(lǐng)域的研究方向之一,主要針對(duì)社區(qū)的定義、度量、結(jié)構(gòu)演化等問(wèn)題進(jìn)行分析。在線社會(huì)網(wǎng)絡(luò)信息傳播模型研究方面,影響力較大的是傳染病模型和隨機(jī)游走模型;隨后,不同領(lǐng)域?qū)<覐木W(wǎng)絡(luò)動(dòng)力學(xué)、消息可信度、消息新穎度、消息的流行度等不同角度對(duì)進(jìn)行了建模和實(shí)證分析。社會(huì)網(wǎng)絡(luò)信息檢索和挖掘,在大數(shù)據(jù)環(huán)境下需要處理:信息碎片化、自媒體現(xiàn)象、人的互聯(lián)取代信息互聯(lián)等一系列問(wèn)題。國(guó)外專家Yang提出了時(shí)間序列聚類算法,Bollen通過(guò)情感分析提出情緒時(shí)間序列的方法。國(guó)內(nèi)包括:清華大學(xué)、北京大學(xué)、上海交通大學(xué)、中國(guó)科學(xué)院等機(jī)構(gòu)已經(jīng)對(duì)社會(huì)媒體檢索和挖掘進(jìn)行了深入研究。
粗糙集理論是一種能夠定量分析處理不精確、不一致、不完整信息與知識(shí)的數(shù)學(xué)工具,在情報(bào)學(xué)領(lǐng)域多用于專利分析、知識(shí)庫(kù)構(gòu)建、多指標(biāo)綜合評(píng)價(jià)、影響力評(píng)估等問(wèn)題。大數(shù)據(jù)環(huán)境下粗糙集理論通過(guò)增量式學(xué)習(xí)和海量數(shù)據(jù)集進(jìn)行合理分割的方法來(lái)解決數(shù)據(jù)量過(guò)大的問(wèn)題。通過(guò)基于對(duì)等價(jià)關(guān)系的泛化,比如限制容差關(guān)系、相似關(guān)系、容差關(guān)系、模糊聚類等方法來(lái)處理不完備信息。周磊分析了粗糙集與模糊集、證據(jù)理論、神經(jīng)網(wǎng)絡(luò)進(jìn)行融合形成的三種方法在競(jìng)爭(zhēng)情報(bào)分析中的應(yīng)用及基本工作流程。袁潤(rùn),錢過(guò)利用粗糙集理論分析專利數(shù)據(jù),并按照核心專利綜合指數(shù)將特定領(lǐng)域?qū)@M(jìn)行分類。
語(yǔ)義分析:是指將人類的自然語(yǔ)言轉(zhuǎn)化為反映其意義的某種形式化表示,使計(jì)算機(jī)能夠理解。當(dāng)前在概念、關(guān)系層次上的語(yǔ)義分析主要包括:基于統(tǒng)計(jì)的特征向量抽取和基于語(yǔ)義詞典的相似度計(jì)算方法。ICTCLAS(Institute ofComputing Technology,Chinese Lexical Analysis System),是中國(guó)科學(xué)院技術(shù)研究所開(kāi)發(fā)出的漢語(yǔ)詞法分析系統(tǒng),主要功能包括中文分詞;詞性標(biāo)注;命名實(shí)體識(shí)別;新詞識(shí)別;同時(shí)支持用戶詞典。ICTCLAS3.0具有分詞精度高、查詢速度快、內(nèi)存占用小等多種優(yōu)點(diǎn)。北京理工大學(xué)張華平博士開(kāi)發(fā)的NLPIR漢語(yǔ)分詞系統(tǒng)也是國(guó)內(nèi)用戶較多的基于大數(shù)據(jù)語(yǔ)義挖掘平臺(tái),能夠?qū)崿F(xiàn)分詞、關(guān)鍵詞、聚類、分類、摘要、去重、情感分析、特定人物情感分析、精準(zhǔn)搜索等功能。美國(guó)State Street金融服務(wù)公司,在公司首席科學(xué)家David Saul的領(lǐng)導(dǎo)下,采用語(yǔ)義技術(shù)來(lái)整合公司各種數(shù)據(jù)庫(kù),使得大數(shù)據(jù)真正變成了“智慧數(shù)據(jù)”。語(yǔ)義分析技術(shù)目前在圖情領(lǐng)域多用于學(xué)科知識(shí)服務(wù)、個(gè)性化推薦、查詢擴(kuò)展、智能檢索、數(shù)字資源網(wǎng)絡(luò)聚合、微博主題挖掘、元數(shù)據(jù)描述、網(wǎng)絡(luò)輿情分析等。
統(tǒng)計(jì)模式識(shí)別:統(tǒng)計(jì)模式識(shí)別是結(jié)合統(tǒng)計(jì)概率論的貝葉斯決策系統(tǒng)進(jìn)行模式識(shí)別的技術(shù),又稱為決策理論識(shí)別方法。該方法在圖書(shū)情報(bào)領(lǐng)域主要應(yīng)用于文檔分類、文檔圖像分析、多媒體數(shù)據(jù)庫(kù)檢索等方面。
2.2.3面向可視化的分析方法
隨著大量信息的產(chǎn)生,圖書(shū)情報(bào)學(xué)領(lǐng)域研究人員需要對(duì)海量數(shù)據(jù)進(jìn)行處理和利用,探索數(shù)據(jù)之間的關(guān)系、隱藏的規(guī)律,從而對(duì)事物發(fā)展的趨勢(shì)進(jìn)行預(yù)測(cè),為決策者提供實(shí)時(shí)、準(zhǔn)確的信息支持??梢暬治鋈诤狭硕鄠€(gè)領(lǐng)域的方法包括:地理空間分析、信息分析、科學(xué)分析、統(tǒng)計(jì)分析、知識(shí)表示、知識(shí)發(fā)現(xiàn)等??梢暬治隽鞒讨饕?個(gè)步驟:根據(jù)研究主題,選取數(shù)據(jù)源并抽取數(shù)據(jù);確定需要分析的元素,如期刊、學(xué)科、作者、學(xué)位論文等;再確定數(shù)據(jù)元素的關(guān)系,獲取關(guān)系矩陣;最后繪圖并通過(guò)分析獲得相應(yīng)關(guān)系信息。如何應(yīng)對(duì)高維度、大規(guī)模、多類型、來(lái)源復(fù)雜、動(dòng)態(tài)演化的大數(shù)據(jù)信息,提高信息的可用性,更好地提供決策支持,是情報(bào)可視化領(lǐng)域需解決的問(wèn)題。目前主流的方法是數(shù)據(jù)轉(zhuǎn)換和視覺(jué)轉(zhuǎn)換。通過(guò)刪除節(jié)點(diǎn)的方式簡(jiǎn)化網(wǎng)格,解決了曲面可視化的問(wèn)題;Hoppe提出了漸進(jìn)網(wǎng)格表達(dá)方法;Cignoni提出提高信息解析度、多尺度、多層次展示的方法,利用四叉樹(shù)紋理層次和三角片面二叉樹(shù)對(duì)幾何和紋理進(jìn)行展示;此外,還有將數(shù)據(jù)放置在外存的核外算法;采用細(xì)節(jié)強(qiáng)調(diào)的方式,簡(jiǎn)化非重要數(shù)據(jù)的方法,如魚(yú)眼視圖、空間樹(shù)等。
2.2.4面向預(yù)測(cè)的分析方法
時(shí)間序列分析與多元統(tǒng)計(jì)分析:兩種方法共同點(diǎn)是能夠基于歷史數(shù)據(jù)的變化,評(píng)價(jià)事物現(xiàn)狀或預(yù)測(cè)事物未來(lái)的發(fā)展。前者主要通過(guò)調(diào)查或統(tǒng)計(jì)抽樣獲得系統(tǒng)的時(shí)間序列動(dòng)態(tài)數(shù)據(jù),然后進(jìn)行相關(guān)分析和模型曲線擬合,預(yù)測(cè)發(fā)展趨勢(shì);后者是對(duì)多個(gè)觀察對(duì)象和指標(biāo)之間關(guān)聯(lián)規(guī)律進(jìn)行研究的方法,是從統(tǒng)計(jì)學(xué)中發(fā)展的一種綜合分析方法,包含了:多元方差分析、多元線性回歸與相關(guān)分析、主成分分析、因子分析、聚類分析等。
話題演化分析:話題演化分析方法是近年來(lái)文本挖掘領(lǐng)域的研究熱點(diǎn),主要采用LDA模型、LSI模型等,將對(duì)文本中詞語(yǔ)表示為話題集合,模擬話題隨時(shí)間推移表現(xiàn)出的變化。陳福集,馬梅蘭以成都女司機(jī)為研究對(duì)象,進(jìn)行話題識(shí)別和演化過(guò)程分析,并研究了特征詞分布特點(diǎn),建立了關(guān)聯(lián)度判別函數(shù),改進(jìn)了single-pass聚類算法,證明全生命周期模型分析話題演化方法能夠?qū)σ话爿浨榘l(fā)展進(jìn)行分析。廖君華,孫克迎,鐘麗霞采用LDA模型提取熱點(diǎn)話題,利用時(shí)間標(biāo)簽發(fā)現(xiàn)熱點(diǎn)話題,以“釣魚(yú)島事件”實(shí)驗(yàn)證明模型能預(yù)測(cè)話題演化趨勢(shì)。
2.2.5面向統(tǒng)計(jì)的分析方法
多維尺度分析統(tǒng)計(jì),是在保留原數(shù)據(jù)幾何關(guān)系的前提下,應(yīng)用降維技術(shù),通過(guò)非線性變換,把高維度空間的數(shù)據(jù)轉(zhuǎn)換成低維度空間的數(shù)據(jù),并進(jìn)行統(tǒng)計(jì)分析的技術(shù)。目前較為流行的算法有:隨機(jī)尋徑網(wǎng)絡(luò)算法,對(duì)時(shí)變性和隨機(jī)性海量數(shù)據(jù)進(jìn)行分析,目標(biāo)是生成一個(gè)節(jié)點(diǎn)數(shù)目不變、只保留有效鏈接的精簡(jiǎn)網(wǎng)絡(luò)即最小值網(wǎng)絡(luò);最小生成樹(shù)算法,該方法曾被用來(lái)計(jì)算文獻(xiàn)的共被引距離進(jìn)行可視化分析和構(gòu)造演化網(wǎng)絡(luò);潛在語(yǔ)義索引,通過(guò)海量文獻(xiàn)進(jìn)行詞匯之間關(guān)系的分析,通過(guò)自然語(yǔ)言理解,能在一定程度上提高檢索結(jié)果的相關(guān)性,多用于圖書(shū)館文獻(xiàn)分析;突發(fā)檢測(cè)算法,主要通過(guò)對(duì)學(xué)科領(lǐng)域內(nèi)焦點(diǎn)詞的發(fā)展,增長(zhǎng)勢(shì)頭進(jìn)行比較,研究學(xué)科領(lǐng)域內(nèi)研究熱點(diǎn)的變化、發(fā)展情況。
圖論方法,是通過(guò)圖形的角度對(duì)網(wǎng)絡(luò)進(jìn)行研究,反映網(wǎng)絡(luò)數(shù)據(jù)之間的關(guān)聯(lián),能夠進(jìn)一步提高對(duì)數(shù)據(jù)的理解和分析能力。Andrei Broder等人通過(guò)搜索引擎收集了大量網(wǎng)頁(yè)和鏈接,通過(guò)繪制網(wǎng)絡(luò)拓?fù)?,利用圖論方法對(duì)本地及全球互聯(lián)網(wǎng)的圖形特征進(jìn)行了研究。Google通過(guò)分析網(wǎng)頁(yè)之間的鏈接圖,來(lái)分析網(wǎng)頁(yè)之間的關(guān)系,提高搜索的質(zhì)量。PageRank算法基于對(duì)網(wǎng)頁(yè)權(quán)威性的判斷,使Google能比競(jìng)爭(zhēng)對(duì)手更快地獲取相關(guān)信息。
移動(dòng)應(yīng)用統(tǒng)計(jì)方法。隨著移動(dòng)互聯(lián)網(wǎng)的發(fā)展,各種移動(dòng)圖書(shū)館、微信圖書(shū)館等應(yīng)用不斷出現(xiàn)。在為科研工作者及時(shí)、便捷地提供信息推送、在線文獻(xiàn)閱讀、電子圖書(shū)預(yù)覽等功能的同時(shí),每天產(chǎn)生大量的用戶行為和服務(wù)日志。通過(guò)對(duì)大量的用戶數(shù)據(jù)進(jìn)行收集和統(tǒng)計(jì)分析,能夠有效對(duì)服務(wù)進(jìn)行完善和改進(jìn),在用戶行為分析、輿情信息移動(dòng)推送、競(jìng)爭(zhēng)情報(bào)移動(dòng)推送、書(shū)目信息推送、文獻(xiàn)移動(dòng)推送、信息定制、信息關(guān)聯(lián)標(biāo)引等方面都有很好的應(yīng)用。
2.2.6面向集成的分析方法
多源數(shù)據(jù)(知識(shí))融合方法:多源數(shù)據(jù)融合方法,是針對(duì)大數(shù)據(jù)環(huán)境下多源異構(gòu)數(shù)據(jù)分析處理而提出的方法,通過(guò)對(duì)多源數(shù)據(jù)進(jìn)行挖掘和融合,有利于提升信息分析的作用、減少信息錯(cuò)誤與疏漏、防止決策失誤。R.R.Yager提出一種多源數(shù)據(jù)融合的框架,并通過(guò)投票方式有效解決數(shù)據(jù)之間沖突。K.Chopra建立了一個(gè)多源信息融合的軟件工具模型,并對(duì)情報(bào)分析的不確定性評(píng)價(jià)進(jìn)行了探討;陳科文等人則從系統(tǒng)設(shè)計(jì)、數(shù)據(jù)處理、融合模型與方法等方面對(duì)當(dāng)前多源信息融合的關(guān)鍵問(wèn)題與應(yīng)用進(jìn)展進(jìn)行了綜述。多源知識(shí)融合方法,是以提高知識(shí)的復(fù)用和共享為目的,對(duì)多來(lái)源的知識(shí)進(jìn)行融合的方法。需要對(duì)不同來(lái)源的知識(shí)進(jìn)行清理、消除冗余、解決實(shí)例、概念、屬性和關(guān)系的沖突。通常利用人工智能、本體、機(jī)器學(xué)習(xí)技術(shù)的自動(dòng)融合方式可擴(kuò)展性較好。
2.2.7事實(shí)性數(shù)據(jù)+工具+專家智慧分析法
中國(guó)科學(xué)技術(shù)研究所,針對(duì)大數(shù)據(jù)環(huán)境提出了基于“事實(shí)型數(shù)據(jù)+工具方法+專家智慧”的情報(bào)分析方法。通過(guò)定性定量的系統(tǒng)結(jié)合方法,對(duì)信息資源數(shù)據(jù)進(jìn)行深入分析,借助專家智庫(kù),提煉出相關(guān)政策建議。美國(guó)著名的戰(zhàn)略情報(bào)研究所一蘭德公司,利用自主研發(fā)的自動(dòng)數(shù)據(jù)分析框架、理性程序并借助社會(huì)知名人士、政府離職官員作為顧問(wèn),對(duì)戰(zhàn)略情報(bào)進(jìn)行綜合分析,取得了良好的效果。山東省科技情報(bào)研究所和廣東省科技圖書(shū)館,分別將該方法應(yīng)用于海水淡化和情報(bào)服務(wù)工作中。
3大數(shù)據(jù)環(huán)境下情報(bào)分析常用軟件
情報(bào)研究人員在對(duì)海量異構(gòu)數(shù)據(jù)的分析處理過(guò)程中,通常需要借助專業(yè)的情報(bào)分析軟件,以縮短分析周期、提高分析的效率和準(zhǔn)確性。以下對(duì)大數(shù)據(jù)環(huán)境下常用的情報(bào)分析軟件進(jìn)行概括分析,見(jiàn)表3。
3.1可視化分析軟件
可視化技術(shù)旨在利用圖形圖像領(lǐng)域的技術(shù)和方法,研究大規(guī)模信息資源的視覺(jué)呈現(xiàn),幫助情報(bào)工作人員理解和分析數(shù)據(jù)。該技術(shù)是知識(shí)計(jì)量學(xué)、科學(xué)計(jì)量學(xué)等領(lǐng)域重要的研究方法和手段。信息可視化工具包括:CiteSpace、RefViz、HistCite、Vosviewer、Leydesdorff等。Citespace由陳超美教授開(kāi)發(fā),能夠通過(guò)對(duì)某學(xué)科領(lǐng)域的文獻(xiàn)數(shù)據(jù)進(jìn)行挖掘、繪制可視化圖譜,展示學(xué)科發(fā)展趨勢(shì)和動(dòng)向。目前CiteSpace5.0為軟件最新版本.新版本具有四大核心功能:快速定位本領(lǐng)域核心文獻(xiàn)、快捷梳理領(lǐng)域的文獻(xiàn)關(guān)聯(lián)、探究研究前沿和知識(shí)基礎(chǔ)和探測(cè)學(xué)科主題分布與主題趨勢(shì)。Refviz是一款對(duì)參考文獻(xiàn)進(jìn)行管理并發(fā)現(xiàn)文獻(xiàn)之間關(guān)聯(lián)性的軟件,由OmniViz和Thomson ISI Research公司共同推出。該軟件能夠?qū)⑽墨I(xiàn)按照內(nèi)容和關(guān)聯(lián)度進(jìn)行分組,以詞語(yǔ)加權(quán)方式對(duì)詞語(yǔ)的重要性進(jìn)行分類,對(duì)熱點(diǎn)詞語(yǔ)權(quán)值的干預(yù)。HistCite是用來(lái)分析領(lǐng)域內(nèi)文獻(xiàn)關(guān)系,并繪制引文圖譜的軟件,能夠通過(guò)可視化方式對(duì)最新、重要的文獻(xiàn)進(jìn)行展示的軟件。Vosviewer是荷蘭萊頓大學(xué)CWTS科學(xué)技術(shù)研究中心開(kāi)發(fā)的集成文本挖掘、分散視圖、標(biāo)簽視圖、聚類密度視圖的文獻(xiàn)計(jì)量和可視化分析的工具。最新開(kāi)發(fā)的1.6.5版本,對(duì)可視化效果進(jìn)行了提升,提供了新的命令。允許用戶對(duì)網(wǎng)絡(luò)和數(shù)據(jù)密度可視化疊加效果進(jìn)行自定義,并能夠以自動(dòng)化的方式創(chuàng)建VOSViewer地圖。Leydesdofff是針對(duì)多種數(shù)據(jù)源分析的系列軟件,由荷蘭阿姆斯特丹大學(xué)研發(fā),能夠?qū)崿F(xiàn)共詞、合作、耦合、共引等分析。
3.2專利分析軟件
目前國(guó)內(nèi)外專利分析工具分為:專利采集和加工工具、專利檢索分析工具及計(jì)算機(jī)輔助創(chuàng)新工具。專利采集加工工具通過(guò)爬蟲(chóng)對(duì)專利進(jìn)行采集、清洗為專利分析提供數(shù)據(jù),主要有臺(tái)灣連穎科技公司開(kāi)發(fā)的PatentGuider、北京彼速軟件公司開(kāi)發(fā)的BizSolution、保定大為軟件公司開(kāi)發(fā)的PatentEx專利分析系統(tǒng)、漢之光華專利情報(bào)分析系統(tǒng)等;專利檢索分析工具具有先進(jìn)的數(shù)據(jù)檢索、文本挖掘功能,主要有美國(guó)Lexis Nexis公司的Total Patent、Aureka、Delphion、Innovaton等。計(jì)算機(jī)輔助創(chuàng)新工具包括:美國(guó)Invention Machine公司開(kāi)發(fā)的Goldfire Innovator9.0,以TRIZ/ARIZ為工具,與全球超過(guò)70個(gè)專利庫(kù)進(jìn)行連接,包含了超過(guò)9000條來(lái)自各個(gè)領(lǐng)域的科學(xué)原理。主要作用是通過(guò)對(duì)典型技術(shù)問(wèn)題專利進(jìn)行技工,提出解決問(wèn)題的方法。Pro/Innovator由億維訊公司開(kāi)發(fā),支持隱性知識(shí)挖掘利用,對(duì)知識(shí)的產(chǎn)生、表達(dá)、組織、更新、檢索、共享等過(guò)程進(jìn)行全程管理。
3.3統(tǒng)計(jì)分析軟件
大數(shù)據(jù)環(huán)境下數(shù)據(jù)可分為:結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)及非結(jié)構(gòu)化數(shù)據(jù)。在進(jìn)行情報(bào)分析時(shí):對(duì)于半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的挖掘和分析,宜采用傳統(tǒng)分析工具Excel、SAS、SPSS、Stata、Matlab等進(jìn)行處理。而半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)處理相對(duì)較復(fù)雜,R語(yǔ)言、Python和Flurry則具有絕對(duì)優(yōu)勢(shì)。
R語(yǔ)言是由Nuckland大學(xué)Robert Gentleman和Rosslhaka編制,用于處理大數(shù)據(jù)環(huán)境下海量數(shù)據(jù)的統(tǒng)計(jì)軟件包。R的優(yōu)勢(shì)在于有包羅萬(wàn)象的統(tǒng)計(jì)函數(shù)可以調(diào)用,提供了包括廣義回歸分析、風(fēng)險(xiǎn)分析、矩陣計(jì)算、抽樣檢驗(yàn)等功能,并且能讀取由SAS、SPSS、Stata、Matlab等軟件處理的數(shù)據(jù)。
Python語(yǔ)言具有非常清晰易讀的語(yǔ)法特點(diǎn),支持目前主流的操作系統(tǒng),能夠支持移動(dòng)應(yīng)用,擁有良好的學(xué)習(xí)支持資源并不斷對(duì)庫(kù)進(jìn)行改良。Python的網(wǎng)絡(luò)爬蟲(chóng)及R的RCurl包、Rweibo包等都可以進(jìn)行網(wǎng)絡(luò)數(shù)據(jù)和文本挖掘,對(duì)非結(jié)構(gòu)性數(shù)據(jù)亦能進(jìn)行分析處理。常用作文本挖掘、日志統(tǒng)計(jì)分析、社交網(wǎng)絡(luò)分析等。
Flurry是專門(mén)為統(tǒng)計(jì)移動(dòng)應(yīng)用用戶數(shù)據(jù)而開(kāi)發(fā)的統(tǒng)計(jì)工具,能夠支持包括iPhone、iPad、Android、WindowsPhone、Java ME和BlackBerry終端平臺(tái)的數(shù)據(jù)分析,支持超過(guò)36萬(wàn)個(gè)移動(dòng)應(yīng)用。Flurry能夠支持移動(dòng)應(yīng)用的構(gòu)建、用戶偏好的分析和數(shù)據(jù)智能分析推送等功能,在移動(dòng)應(yīng)用數(shù)據(jù)統(tǒng)計(jì)方面處于領(lǐng)先地位。此外國(guó)內(nèi)外的移動(dòng)應(yīng)用統(tǒng)計(jì)分析工具/平臺(tái)還有:Talking Data、Cobub Razo、FLURRY等。
3.4犯罪情報(bào)分析軟件
面對(duì)大數(shù)據(jù)產(chǎn)生海量的犯罪情報(bào)信息,犯罪情報(bào)分析軟件在公安情報(bào)分析中起到很大作用。Analysts Notebook是海灣戰(zhàn)爭(zhēng)中為美國(guó)開(kāi)發(fā)的情報(bào)軟件,為情報(bào)分析工作提供了強(qiáng)有力的支持。軟件能夠通過(guò)關(guān)聯(lián)對(duì)比,將事先錄入的雜亂數(shù)據(jù)形成關(guān)系網(wǎng)和分析圖,為行動(dòng)決策提供犯罪情報(bào)支持。為了提供數(shù)據(jù)存儲(chǔ)功能,IBase和Ibridge軟件應(yīng)運(yùn)而生。ATAC是BSRC公司開(kāi)發(fā)的綜合犯罪情報(bào)分析工具,具有學(xué)習(xí)分析的功能,能夠進(jìn)行統(tǒng)計(jì)分析、復(fù)雜查詢、時(shí)間序列分析等功能。ESRI公司研發(fā)的地理犯罪情報(bào)分析軟件ArcGIS,能夠支持戶外移動(dòng)平臺(tái)使用。
3.5競(jìng)爭(zhēng)情報(bào)分析軟件
瑞典Comintelli公司研發(fā)的企業(yè)競(jìng)爭(zhēng)情報(bào)平臺(tái)軟件Knowledge XChanger,獲得了美國(guó)和歐盟組織的認(rèn)可,使用范圍相當(dāng)廣泛,能夠?qū)崿F(xiàn)部分競(jìng)爭(zhēng)情報(bào)流程自動(dòng)化。此外還有Coemergence公司的ACIS、Traction Software公司的TeamPage、Comintell公司的Knowledge Xchanger、Cipher公司的Knowledge Works、Strategy Software Inc.公司的STRATEGY!,ClearForest公司的ClearResearch Suite等。
3.6威脅情報(bào)分析軟件
威脅情報(bào)分析,是迅速出現(xiàn)在信息安全領(lǐng)域的方法,Solutionary公司的白皮書(shū)對(duì)“威脅情報(bào)”分析的定義是:通過(guò)對(duì)安全相關(guān)的信息進(jìn)行搜集、分析、快速和清晰的評(píng)估、仔細(xì)判斷后形成產(chǎn)品,作為決策和行動(dòng)的先導(dǎo)。Open Threat Exchange系統(tǒng)能夠訪問(wèn)威脅研究專家的全球社區(qū),通過(guò)威脅指標(biāo)分析多個(gè)來(lái)源的威脅數(shù)據(jù),為研究人員提供安全設(shè)施更新的建議。Threatcrowd是一個(gè)威脅搜索系統(tǒng),能自動(dòng)從malwr.com獲取信息,能夠協(xié)助情報(bào)人員對(duì)關(guān)聯(lián)數(shù)據(jù)進(jìn)行分析。IBM X-Force是世界上最知名的商業(yè)安全研究軟件之一,軟件能幫助客戶、研究人員和公眾更深入地了解最新的安全風(fēng)險(xiǎn),提前預(yù)知新興威脅。公共安全威脅信息的分析和度量可以通過(guò)一系列軟件的組合來(lái)實(shí)現(xiàn),美國(guó)情報(bào)機(jī)構(gòu)利用包括:Visible,Socializing the Enterprise,Geofeedia(社交媒體分析)、Open Source Indicators(利用公開(kāi)信息預(yù)測(cè)政治動(dòng)亂、經(jīng)濟(jì)危機(jī),傳染病爆發(fā)等)、Information Volume and Velocity(互聯(lián)網(wǎng)信息收集系統(tǒng)由美國(guó)國(guó)防部支持),對(duì)公共安全信息進(jìn)行分析。用于商業(yè)公開(kāi)情報(bào)分析的軟件主要包括:Recorded Future,Palantir,Aggregative Contingent Estimation(ACE)(通過(guò)篩選各種博客、推特、衛(wèi)星圖像等提供社會(huì)動(dòng)亂的預(yù)警)等。
4結(jié)語(yǔ)
大數(shù)據(jù)時(shí)代情報(bào)分析和處理是獲取知識(shí)的重要手段,也是情報(bào)研究的熱點(diǎn)內(nèi)容。隨著數(shù)字化技術(shù)和網(wǎng)絡(luò)的飛速發(fā)展,海量、非結(jié)構(gòu)化、快速增長(zhǎng)的數(shù)據(jù)不斷涌現(xiàn),對(duì)情報(bào)研究造成了很大沖擊,情報(bào)學(xué)將不可避免的面對(duì)一場(chǎng)技術(shù)革命。本文在對(duì)國(guó)內(nèi)外情報(bào)分析和大數(shù)據(jù)分析方法進(jìn)行研究的基礎(chǔ)上,總結(jié)了10類傳統(tǒng)情報(bào)分析方法和7類基于大數(shù)據(jù)背景的情報(bào)分析方法,對(duì)傳統(tǒng)分析方法的不足和大數(shù)據(jù)分析方法的優(yōu)勢(shì)進(jìn)行了研究,并對(duì)常用情報(bào)分析軟件進(jìn)行了探討,以期為情報(bào)研究人員和情報(bào)分析工作提供有價(jià)值的參考。