大數(shù)據(jù)時代下高校檔案管理實施策略研究

胡瀟瀟

（山東行政學(xué)院組織人事處，濟南　250014）

大數(shù)據(jù)時代下高校檔案管理實施策略研究

胡瀟瀟

（山東行政學(xué)院組織人事處，濟南250014）

大數(shù)據(jù)時代的到來，給高等院校檔案信息管理帶來了巨大的機遇和挑戰(zhàn)。依據(jù)大數(shù)據(jù)技術(shù)，分析高校檔案信息管理的現(xiàn)狀，闡述大數(shù)據(jù)技術(shù)的基本特點和高校在檔案管理方面利用大數(shù)據(jù)技術(shù)對檔案進(jìn)行信息的收集、整理以及數(shù)據(jù)挖掘的策略，建立以大數(shù)據(jù)、云存儲技術(shù)為基礎(chǔ)的高校檔案信息管理中心的實施方案，探討高校檔案信息管理利用大數(shù)據(jù)技術(shù)的前景和發(fā)展方向。

大數(shù)據(jù)；檔案管理；云存儲；檔案信息管理中心

隨著信息時代的迅速發(fā)展，人們的生活和思維方式伴隨著大數(shù)據(jù)時代的到來而改變著。近年來，隨著社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、云計算等技術(shù)的發(fā)展而產(chǎn)生了大數(shù)據(jù)這個新的科技名詞，大數(shù)據(jù)在學(xué)術(shù)、商業(yè)、科技等許多領(lǐng)域都得到了廣泛的應(yīng)用。面對當(dāng)下大數(shù)據(jù)技術(shù)的應(yīng)用，高等院校檔案信息管理工作如何與“大數(shù)據(jù)”有機結(jié)合，大大提升檔案的利用價值，為工作提供更多更好的信息和方便，是值得我們研究的一個重要課題。

一、問題的提出

“大數(shù)據(jù)（Big Data）”是由IT行業(yè)首先引發(fā)的網(wǎng)絡(luò)技術(shù)革命，它的概念是由美國的麥肯錫公司最先提出來的，美國計算機研究機構(gòu)Garther認(rèn)為“大數(shù)據(jù)”的定義應(yīng)為以虛擬化、分布式的海量存儲技術(shù)為依托，實現(xiàn)信息的實時擷取、管理、處理的新型信息技術(shù)。根據(jù)Garther預(yù)測，大數(shù)據(jù)將在2020年成為現(xiàn)代信息技術(shù)的引領(lǐng)者，全世界的大數(shù)據(jù)容量將達(dá)到35ZB～40ZB。大數(shù)據(jù)技術(shù)不但可以存儲、處理結(jié)構(gòu)型與關(guān)系型信息，還可以存儲非結(jié)構(gòu)型與非關(guān)系型信息，并且傳輸速度更快、使用價值更高。大數(shù)據(jù)最主要的特點是4V特性，首先是數(shù)據(jù)量（Volumes）大，數(shù)據(jù)量遠(yuǎn)遠(yuǎn)超過了傳統(tǒng)意義上的數(shù)據(jù)庫，達(dá)到了PB量級；其次是指數(shù)據(jù)類別（Variety）多樣，和傳統(tǒng)意義的結(jié)構(gòu)化數(shù)據(jù)不同，大數(shù)據(jù)來自多種數(shù)據(jù)源，包括音頻、視頻、圖片、網(wǎng)頁等的結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)；再是數(shù)據(jù)處理速度（Velocity）快，大數(shù)據(jù)使用云計算的手段來快速處理海量的信息，與傳統(tǒng)的數(shù)據(jù)管理相比，最顯著的區(qū)別在于可以實時提取需要的數(shù)據(jù)信息，實現(xiàn)高效、實用、便捷和共享；最后是數(shù)據(jù)真實性（Veracity）高，由于大數(shù)據(jù)的數(shù)據(jù)源往往是來源于最原始的業(yè)務(wù)活動，因此它受人為干擾的因素就比傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)小得多，其真實性相對來說就比較高，更有利用的價值。

大數(shù)據(jù)時代的到來，影響并改變著我們的世界，有學(xué)者對大數(shù)據(jù)與檔案管理做過系統(tǒng)的研究，提出檔案館需要融入智慧城市，需要大數(shù)據(jù)技術(shù)的支持，檔案工作已不能滿足于紙質(zhì)的工作，需要進(jìn)一步引進(jìn)電子化、數(shù)字化程序，從而掌握數(shù)據(jù)背后的信息處理和數(shù)據(jù)儲存的知識；還有學(xué)者雖指出大數(shù)據(jù)使檔案管理面臨從紙質(zhì)化轉(zhuǎn)為數(shù)字化的挑戰(zhàn)，但都沒有涉及具體的實施意見。本文將大數(shù)據(jù)與高等院校檔案信息管理工作相結(jié)合，針對檔案數(shù)據(jù)的存儲與備份，從通過大數(shù)據(jù)進(jìn)行全過程控制、構(gòu)建新的檔案收集、對檔案信息數(shù)字化管理建立新平臺的建議等方面，結(jié)合工作實際，將諸多觀點綜合提煉，對高等院校檔案數(shù)據(jù)信息管理工作作了進(jìn)一步的探究與思考。

二、當(dāng)前高校檔案工作管理現(xiàn)狀與存在問題

（一）檔案數(shù)據(jù)信息量巨大，查找利用難

在大數(shù)據(jù)時代背景下，高等院校里的各項工作時時刻刻都在產(chǎn)生著大量的數(shù)據(jù)信息，包括圖片數(shù)據(jù)、網(wǎng)頁數(shù)據(jù)、視頻數(shù)據(jù)、音頻數(shù)據(jù)、文本文件，等等。這些都屬于檔案管理的數(shù)據(jù)信息收集范圍，信息量巨大。然而各個高等院校現(xiàn)在使用的檔案管理信息系統(tǒng)多數(shù)為C/S或B/S的單一服務(wù)器系統(tǒng)架構(gòu)形式，最多能做磁帶或者光盤的備份。隨著檔案信息資源數(shù)據(jù)存儲量的不斷增大，如果在不引入云存儲技術(shù)或者服務(wù)器集群的前提下，就可能引起磁盤物理存儲容量不足，從而導(dǎo)致檔案信息數(shù)據(jù)庫的崩潰。面臨這些巨量且復(fù)雜的數(shù)據(jù)，如何進(jìn)行高效的管理是一個難題，我們越來越認(rèn)識到對所產(chǎn)生的大量數(shù)據(jù)進(jìn)行有效、高質(zhì)量管理的重要性、迫切性和必要性，而檔案信息數(shù)字化管理尤其重要。隨著檔案數(shù)量的不斷增多，在查找、利用中很難實現(xiàn)需求的即時性、多樣化和高效化。因此，在了解目前檔案管理現(xiàn)狀的同時，發(fā)現(xiàn)檔案管理所存在的問題，把大數(shù)據(jù)充分地利用到工作中，實現(xiàn)最佳的工作方法和效果。

（二）檔案數(shù)據(jù)多源異構(gòu)，系統(tǒng)處理難

高等院校內(nèi)部的檔案資源數(shù)據(jù)來源廣泛，種類繁雜，包含了高校內(nèi)部的教學(xué)、科研、后勤等日?；顒又T多業(yè)務(wù)，各部門的業(yè)務(wù)不同，產(chǎn)生的檔案數(shù)據(jù)信息也各不相同。據(jù)相關(guān)資料記載，2012年以來，像表格、文檔、音頻、視頻、網(wǎng)頁等這種非機構(gòu)化的電子文件所產(chǎn)生的數(shù)據(jù)信息，在整個校園網(wǎng)數(shù)據(jù)信息中，占85%以上。在紙質(zhì)檔案時期，所有信息是以“份”、“卷”等進(jìn)行管理，對存儲的地點、環(huán)境、空間都有要求，查詢材料也有局限性，由于檔案材料紙質(zhì)管理時代的不穩(wěn)定性，會出現(xiàn)部分資料不能有效保存，進(jìn)而導(dǎo)致查檔時遇到困難，耽誤正常工作。隨著時代的變遷，檔案管理慢慢由紙質(zhì)進(jìn)化到數(shù)字管理，所有格式不同、內(nèi)容各異的紙質(zhì)信息都逐步轉(zhuǎn)換成數(shù)據(jù)信息，這每一份數(shù)據(jù)信息都是一個重要的數(shù)據(jù)源，而且各個數(shù)據(jù)源的結(jié)構(gòu)也不盡相同，構(gòu)成了檔案數(shù)據(jù)多源異構(gòu)的現(xiàn)象，而現(xiàn)有正在使用的檔案管理系統(tǒng)在處理這些不同數(shù)據(jù)時就顯得力不從心。

（三）檔案數(shù)據(jù)需求多樣化，工作管理難

在大數(shù)據(jù)的引領(lǐng)下，高等院校各部門、各業(yè)務(wù)系統(tǒng)，既是檔案數(shù)據(jù)信息的生產(chǎn)者，也是檔案數(shù)據(jù)信息的使用者，都在利用檔案數(shù)據(jù)信息來指導(dǎo)、規(guī)劃、管理教學(xué)、科研、校園文化等各個方面的工作。使用者的不盡相同，對各種類型檔案材料的需求也不盡相同，而現(xiàn)有檔案管理體系已經(jīng)不能滿足當(dāng)前工作的需求。對于這種多樣化的需求，需要建立一個高科技平臺做支撐，而大數(shù)據(jù)時代就為高等院校多樣化的檔案管理提供了一個新平臺，使傳統(tǒng)紙質(zhì)檔案文件中的“卷、宗”管理升級到數(shù)字檔案下的“關(guān)鍵詞、對象、字段”的精細(xì)管理，讓傳統(tǒng)的紙質(zhì)檔案管理發(fā)生翻天覆地的變化，使管理的手段不斷創(chuàng)新、業(yè)務(wù)不斷豐富。

三、高校檔案工作的相關(guān)對策與實施策略

（一）建立高校檔案信息管理中心，設(shè)置系統(tǒng)總體架構(gòu)

如何利用大數(shù)據(jù)信息量巨大、處理快捷、數(shù)據(jù)類型多樣的特性，與我們傳統(tǒng)的檔案管理工作有機結(jié)合是一個重要課題。在大數(shù)據(jù)技術(shù)支持下，對還在使用紙質(zhì)管理的高校檔案信息進(jìn)行重新規(guī)劃，建設(shè)以大數(shù)據(jù)、云存儲技術(shù)為支撐的高校檔案信息管理中心，是當(dāng)前最主要和最迫切的任務(wù)。檔案信息管理中心是檔案數(shù)據(jù)處理加工和數(shù)據(jù)分析應(yīng)用的中心，在總體框架建設(shè)上要依托內(nèi)外網(wǎng)隔離的網(wǎng)絡(luò)架構(gòu)，構(gòu)建資源整合、互聯(lián)互通、資源共享的統(tǒng)一檔案數(shù)據(jù)中心資源庫，構(gòu)建完善的底層支撐平臺。系統(tǒng)設(shè)計按一個基礎(chǔ)支撐環(huán)境、兩個保障體系、五個核心數(shù)據(jù)庫、四大應(yīng)用系統(tǒng)和一個頂層綜合平臺的架構(gòu)進(jìn)行（系統(tǒng)總體架構(gòu)圖見圖1）。

基礎(chǔ)支撐環(huán)境為高校檔案信息管理中心建設(shè)和部署提供基礎(chǔ)設(shè)置，包括機房運行環(huán)境、校園網(wǎng)、互聯(lián)網(wǎng)、移動網(wǎng)絡(luò)等；檔案標(biāo)準(zhǔn)規(guī)范體系是建立檔案信息管理中心的基礎(chǔ)，大數(shù)據(jù)的數(shù)據(jù)格式、來源雜亂無章，如何提取、挖掘出有用的信息為我所用，必須依據(jù)一定的規(guī)則和規(guī)范進(jìn)行數(shù)據(jù)清洗和提取，因此建立一套檔案標(biāo)準(zhǔn)規(guī)范體系是我們檔案信息管理中心的前提；檔案信息安全體系則是高校檔案信息管理中心建設(shè)的安全基礎(chǔ)和重要保證。

核心數(shù)據(jù)庫包括元數(shù)據(jù)庫、原始數(shù)據(jù)庫、綜合應(yīng)用數(shù)據(jù)庫、主題專題數(shù)據(jù)庫以及共享發(fā)布數(shù)據(jù)庫，通過合理規(guī)劃數(shù)據(jù)庫，對上層應(yīng)用提供持續(xù)的數(shù)據(jù)服務(wù)支撐，同時還滿足高并發(fā)處理的性能需求。

檔案數(shù)據(jù)應(yīng)用系統(tǒng)是基礎(chǔ)性的應(yīng)用系統(tǒng)，主要包括檔案數(shù)據(jù)云服務(wù)系統(tǒng)、數(shù)據(jù)決策支持系統(tǒng)、綜合分析系統(tǒng)和檔案數(shù)據(jù)查詢系統(tǒng)四個方面。

頂層綜合平臺是面向院校各部門、各個業(yè)務(wù)系統(tǒng)、各用戶提供綜合性檔案信息數(shù)據(jù)服務(wù)的高級應(yīng)用系統(tǒng)，包括智能門戶系統(tǒng)和移動應(yīng)用服務(wù)系統(tǒng)。

（二）規(guī)范高校檔案信息管理中心業(yè)務(wù)流程

如圖2所示，高校檔案信息管理中心的數(shù)據(jù)采集主要有兩個途徑，一個是以檔案標(biāo)準(zhǔn)規(guī)范體系為基礎(chǔ)，通過ETL（抽取、轉(zhuǎn)換、加載）數(shù)據(jù)過濾器將院校的歷史檔案數(shù)據(jù)、各業(yè)務(wù)系統(tǒng)實時產(chǎn)生的數(shù)據(jù)和互聯(lián)網(wǎng)相關(guān)數(shù)據(jù)加載到我們的檔案信息中心核心數(shù)據(jù)庫中；另一個途徑是檔案管理人員通過手持終端或者電腦客戶端，依據(jù)一定的數(shù)據(jù)審核關(guān)系直接進(jìn)行檔案信息的錄入。檔案信息中心的核心數(shù)據(jù)庫是我們一切應(yīng)用的基礎(chǔ)，它對用戶提供檔案數(shù)據(jù)綜合查詢、檔案云服務(wù)系統(tǒng)、數(shù)據(jù)決策系統(tǒng)和綜合分析系統(tǒng)服務(wù)。

（三）加強高校檔案信息管理關(guān)鍵技術(shù)的應(yīng)用

1.檔案信息管理中大數(shù)據(jù)的收集。在檔案信息的收集過程中，為了進(jìn)一步加強檔案材料收集的實效性，可以利用大數(shù)據(jù)的Hadoop，HDFS功能，利用分布式客戶端的功能對數(shù)據(jù)進(jìn)行收集；在抽取、轉(zhuǎn)換、加載的過程中，利用分布式文件系統(tǒng)（DFS）和MAP技術(shù)，將相關(guān)數(shù)據(jù)上傳到分布式服務(wù)器中，以確保在對海量的數(shù)據(jù)進(jìn)行抽取時的速度和安全。

2.檔案信息管理中大數(shù)據(jù)的存儲。由于檔案信息量大，數(shù)據(jù)規(guī)模龐大，結(jié)構(gòu)復(fù)雜，因此必須構(gòu)建分布式存儲信息系統(tǒng)，改變現(xiàn)在以結(jié)構(gòu)化為主體的單一存儲方案，對結(jié)構(gòu)松散、沒有模式的半結(jié)構(gòu)化數(shù)據(jù)改為采用面向文檔的分布式key/value存儲引擎來解決，在存儲過程中，要方便增加節(jié)點，實現(xiàn)穩(wěn)步處理，對非結(jié)構(gòu)化數(shù)據(jù)采用分布式文件系統(tǒng)進(jìn)行存儲。對大量的系統(tǒng)碎片數(shù)據(jù)進(jìn)行分類、聚類和相關(guān)性分析，并且通過SQL等技術(shù)的“數(shù)據(jù)壓縮、信息抽取”等方式進(jìn)行系統(tǒng)碎片識別，增大加強檔案信息管理時識別的針對性和可操作性。

3.檔案信息管理中大數(shù)據(jù)的開發(fā)利用。傳統(tǒng)意義中的檔案信息管理一直保留在檔案材料的目錄管理、材料分類、材料歸檔、材料存儲和簡單的數(shù)據(jù)統(tǒng)計查詢階段，而大數(shù)據(jù)時代檔案信息管理的重要信息則利用大數(shù)據(jù)的RDBMS、HBASE數(shù)據(jù)分析與預(yù)測技術(shù)，可以實現(xiàn)非結(jié)構(gòu)數(shù)據(jù)與結(jié)構(gòu)數(shù)據(jù)的信息分類、信息聚類，通過SAAS、SOA“云服務(wù)器”與電腦、手機平臺的聯(lián)動，使高校檔案信息的使用者能夠?qū)崟r地利用檔案信息路徑，快捷、方便地獲取自己需要的信息。

圖1　高校檔案信息管理中心系統(tǒng)總體架構(gòu)圖

圖2　高校檔案信息管理中心業(yè)務(wù)流程

四、大數(shù)據(jù)背景下高校檔案信息管理的發(fā)展方向與前景

隨著時代變遷，人類在科學(xué)技術(shù)方面不斷發(fā)展進(jìn)步，無論是檔案材料的本身還是檔案信息管理工作自身的特點，都在發(fā)生著令人矚目的巨大變化。大數(shù)據(jù)時代給檔案信息管理工作帶來了新的挑戰(zhàn)和改變。

首先，檔案在其定義上的變化。和傳統(tǒng)的紙質(zhì)檔案卷冊不同，未來的工作中，檔案是指所有有保存價值的視頻、音頻、文件、數(shù)據(jù)信息以及網(wǎng)絡(luò)信息。如何使用和利用大數(shù)據(jù)，在大數(shù)據(jù)的使用中得到什么，這些基本條件都要處理好，否則就會用大量的時間來分析數(shù)據(jù)，給我們的工作帶來不便。確定目標(biāo)后，再利用大數(shù)據(jù)工具對檔案進(jìn)行數(shù)據(jù)管理。

其次，檔案在其服務(wù)中的變化。在大數(shù)據(jù)時代中，檔案服務(wù)會朝著開放性、先進(jìn)性和多元化方向發(fā)展，檔案服務(wù)以客戶個性化的需求為導(dǎo)向，提供網(wǎng)絡(luò)化、智慧型的服務(wù)。檔案信息中蘊藏著巨大的知識寶藏，正確利用大數(shù)據(jù)的服務(wù)，可以在信息管理上獲得巨大的突破，使檔案管理中的知識寶藏真正得到挖掘和利用。

最后，檔案信息管理技術(shù)手段的變化。在大數(shù)據(jù)時代，檔案信息管理將是利用數(shù)據(jù)過濾器、網(wǎng)絡(luò)爬蟲等先進(jìn)技術(shù)在云平臺上建設(shè)檔案信息系統(tǒng)核心數(shù)據(jù)庫，并在此基礎(chǔ)上安排精通檔案信息管理的專業(yè)人員與大數(shù)據(jù)開發(fā)公司合作，對各種檔案數(shù)據(jù)資源進(jìn)行挖掘，取得決策支持，用技術(shù)手段構(gòu)建各類信息服務(wù)子系統(tǒng)，從而全面實現(xiàn)技術(shù)手段向知識應(yīng)用的轉(zhuǎn)變。

［1］尹寶君.大數(shù)據(jù)時代檔案管理中新媒體與傳統(tǒng)紙媒的融合研究［J］.蘭臺世界，2015（07）.

［2］陳明潔.大數(shù)據(jù)時代對檔案現(xiàn)代化影響和要求［J］.檔案管理，2013（06）.

［3］李小晨.大數(shù)據(jù)時代背景下的檔案管理探討［J］.云南檔案，2013（08）.

［4］劉文照.大數(shù)據(jù)時代檔案管理模式的轉(zhuǎn)換與創(chuàng)新［J］.辦公室業(yè)務(wù)，2015（20）.

［5］蘭祝剛.大數(shù)據(jù)時代下的檔案工作［J］.中國檔案，2014（06）.

［6］施永利.大數(shù)據(jù)時代背景下的檔案利用服務(wù)研討［J］.商，2012（11）.

編輯：鹿風(fēng)芍

G271

A

2095-7238（2016）06-0119-04

10.3969/J.ISSN.2095-7238.2016.06.022

2016-09-12