大數(shù)據(jù)治理

趙洪濤 南京中興新軟件有限責(zé)任公司 任成露 慧科訊業(yè)(北京)網(wǎng)絡(luò)科技有限公司南京分公司

在數(shù)據(jù)量高速膨脹的時期，隨著海量的、分散的數(shù)據(jù)整合到一起導(dǎo)致了大數(shù)據(jù)資源利用的復(fù)雜性和管理的高難度。同時，系統(tǒng)和業(yè)務(wù)區(qū)隔或行政分化等不同因素也在導(dǎo)致數(shù)據(jù)交互的斷層，而企業(yè)與外部業(yè)務(wù)交互所產(chǎn)生的“體外循環(huán)”數(shù)據(jù)與企業(yè)的核心數(shù)據(jù)體系并不能自然地融合。當(dāng)這種數(shù)據(jù)的異構(gòu)化所導(dǎo)致的應(yīng)用沖突達(dá)到一定臨界點時，數(shù)據(jù)治理便成為了規(guī)范企業(yè)數(shù)據(jù)的必要步驟。

大數(shù)據(jù)治理是將大數(shù)據(jù)作為企業(yè)的重要數(shù)據(jù)資產(chǎn)進(jìn)行應(yīng)用和管理機(jī)制，能夠消除數(shù)據(jù)的不一致性，建立規(guī)范的數(shù)據(jù)應(yīng)用標(biāo)準(zhǔn)，提高組織的數(shù)據(jù)質(zhì)量，實現(xiàn)數(shù)據(jù)廣泛共享，并能夠?qū)?shù)據(jù)作為組織的寶貴資產(chǎn)應(yīng)用于業(yè)務(wù)、管理、戰(zhàn)略決策中，發(fā)揮數(shù)據(jù)資產(chǎn)的商業(yè)價值。

大數(shù)據(jù)平臺建設(shè)過程中遇到了不少問題。隨處可見的數(shù)據(jù)不統(tǒng)一，難以提升和保證的數(shù)據(jù)質(zhì)量，難以有效完成的數(shù)據(jù)模型梳理等各種基礎(chǔ)性數(shù)據(jù)問題，大大限制了大數(shù)據(jù)平臺發(fā)展，導(dǎo)致大數(shù)據(jù)應(yīng)用不能在商業(yè)上高效的轉(zhuǎn)化為生產(chǎn)力。

大數(shù)據(jù)沒有標(biāo)準(zhǔn)化是傳統(tǒng)數(shù)據(jù)平臺開始就遇到的問題，在大數(shù)據(jù)平臺下更為明顯。沒有統(tǒng)一規(guī)劃和數(shù)據(jù)標(biāo)準(zhǔn)導(dǎo)致采集的數(shù)據(jù)難以集成和統(tǒng)一管理，沒有數(shù)據(jù)質(zhì)量控制導(dǎo)致海量數(shù)據(jù)因為數(shù)據(jù)質(zhì)量過低不能有效整合而難以被運(yùn)用起來，沒有能有效管理大數(shù)據(jù)平臺的海量數(shù)據(jù)。

如何高效的利用已有的數(shù)據(jù)也是很大的挑戰(zhàn)，很多企業(yè)即便知道業(yè)務(wù)所需哪些數(shù)據(jù)，也不能安全高效的利用所需的數(shù)據(jù)，同時獲取數(shù)據(jù)需要很長的開發(fā)和積累過程，數(shù)據(jù)質(zhì)量的不過關(guān)導(dǎo)致內(nèi)部的業(yè)務(wù)的難以快速達(dá)到要求，解決數(shù)據(jù)質(zhì)量的關(guān)鍵，在于在集成點檢查數(shù)據(jù)質(zhì)量。同事，針對大數(shù)據(jù)量數(shù)據(jù)質(zhì)量檢查，在保證實時性的前提下，也要保證不影響業(yè)務(wù)系統(tǒng)的正常運(yùn)行，通過科學(xué)的技術(shù)手段找出數(shù)據(jù)問題并找到問題數(shù)據(jù)。

在大數(shù)據(jù)時代，企業(yè)雖然擁有海量大數(shù)據(jù)，數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系還比較弱，大數(shù)據(jù)平臺沒有把數(shù)據(jù)和原有系統(tǒng)體系強(qiáng)關(guān)聯(lián)起來，進(jìn)而就難以做到數(shù)據(jù)與需求之間快速轉(zhuǎn)換和實現(xiàn)，不能對數(shù)據(jù)進(jìn)行高效的分析和挖掘，難以轉(zhuǎn)化大數(shù)據(jù)的深層價值，例如在油氣領(lǐng)域，生產(chǎn)井中的測量儀和海上平臺的傳感器監(jiān)測產(chǎn)生的實時數(shù)據(jù)等快速發(fā)現(xiàn)石油，降低生產(chǎn)成本，提高鉆井安全性，增大產(chǎn)量等起到重要作用。

大數(shù)據(jù)治理的出發(fā)點在于基于數(shù)據(jù)平臺快速發(fā)現(xiàn)問題、感知潛在風(fēng)險、建立數(shù)據(jù)之間連接、解決實際業(yè)務(wù)問題以及基于數(shù)據(jù)的預(yù)測。然而目前國內(nèi)的大數(shù)據(jù)應(yīng)用普遍側(cè)重是數(shù)據(jù)收集，在基于大數(shù)據(jù)的深度分析、風(fēng)險感知和科學(xué)預(yù)測方面還有較大提升空間。當(dāng)然也不能在業(yè)務(wù)尚未明晰具體的前提下盲目追求大數(shù)據(jù)，大數(shù)據(jù)而要以客觀的實際應(yīng)用場景為出發(fā)點，不能只匯集數(shù)據(jù)而不分析挖掘或者片面追求數(shù)據(jù)大而全造成大量的無效數(shù)據(jù)，都不利于大數(shù)據(jù)平臺發(fā)揮其對業(yè)務(wù)提升的促進(jìn)作用。需要通過技術(shù)手段在各種復(fù)雜的數(shù)據(jù)中識別出錯誤、虛假信息，提高效率。此外，在大數(shù)據(jù)廣泛伴隨著創(chuàng)新業(yè)務(wù)、社會服務(wù)，企業(yè)發(fā)展等方面的同時，也應(yīng)清醒認(rèn)識到：大數(shù)據(jù)對社會發(fā)展的同事，以及社會發(fā)展對于大數(shù)據(jù)發(fā)展的回應(yīng)、規(guī)范和約束，盡可能的做到趨利避害，讓大數(shù)據(jù)更加方便大眾。

大數(shù)據(jù)是海量數(shù)據(jù)的匯聚，沒有數(shù)據(jù)，大數(shù)據(jù)就猶如無源之水。大數(shù)據(jù)背景下攻擊者會通過人工智能、機(jī)器學(xué)習(xí)等新型技術(shù)對攻擊工具進(jìn)行升級，提高攻擊的精確度和攻擊的隱蔽性。大數(shù)據(jù)安全保護(hù)技術(shù)手段亟待加強(qiáng)，大數(shù)據(jù)平臺更要構(gòu)建更可靠、更高效的安全技術(shù)保障體系。大數(shù)據(jù)治理以大數(shù)據(jù)平臺的元數(shù)據(jù)為基礎(chǔ)，實現(xiàn)基于平臺貫穿從數(shù)據(jù)設(shè)計、采集、存儲、轉(zhuǎn)換、使用等環(huán)節(jié)的數(shù)據(jù)生命周期管理，以及大數(shù)據(jù)從采集端到數(shù)據(jù)中心，再到應(yīng)用端全過程的數(shù)據(jù)流管理，做到以使用者為中心，通過大數(shù)據(jù)治理，為使用者提供了、更靈活、更精確，便捷的獲得大數(shù)據(jù)服務(wù)的能力。

大數(shù)據(jù)安全管理包括大數(shù)據(jù)平臺內(nèi)容安全和數(shù)據(jù)進(jìn)行權(quán)限劃分和敏感度等級劃分的。從系統(tǒng)功能上包括數(shù)據(jù)權(quán)限的管理和敏感數(shù)據(jù)分級、系統(tǒng)敏感性分級，制定數(shù)據(jù)安全策略，安全管理審計，數(shù)據(jù)安全核查，敏感數(shù)據(jù)權(quán)限管理，敏感數(shù)據(jù)數(shù)據(jù)流向管理及相關(guān)權(quán)限審批流程，運(yùn)用安全技術(shù)上進(jìn)行數(shù)據(jù)特殊處理和多重保護(hù)。同時，加快建立數(shù)據(jù)質(zhì)量管理制度和規(guī)范。高度重視數(shù)據(jù)質(zhì)量和安全。

在大數(shù)據(jù)時代我們需要積極擁抱大數(shù)據(jù)，迎接大數(shù)據(jù)時代的新挑戰(zhàn)，搶抓大數(shù)據(jù)發(fā)展的新機(jī)遇，利用大數(shù)據(jù)治理技術(shù)來挖掘數(shù)據(jù)的潛在價值，從而實現(xiàn)并形成強(qiáng)有力的企業(yè)競爭優(yōu)勢，同時面對大數(shù)據(jù)治理的安全挑戰(zhàn)，從設(shè)計就足夠重視，采取相應(yīng)安全措施，科學(xué)規(guī)劃將會讓大數(shù)據(jù)技術(shù)產(chǎn)生明顯的價值以及帶來巨大的社會和經(jīng)濟(jì)效益。