/程夢瑤
大數(shù)據將打開各行各業(yè)的數(shù)據“潘多拉魔盒”。無論你是否認同,海量數(shù)據正撲面而來,蔚為壯觀的數(shù)字來自電信運營商、金融、醫(yī)療、教育等,乃至政府部門,這些主體或主動探尋,或被動接受。
信息資產公司LLC的創(chuàng)始人和執(zhí)行合伙人桑尼爾·索雷斯,在他的暢銷書《大數(shù)據治理》中談及自己的切身體會:“作為一家大公司的資深IT專家,我本人在面對數(shù)據窘境時,感覺不知所措。對數(shù)據領域的從業(yè)人員來說,面臨的問題多過答案。我所在的組織是南非的主導電信運營商,我們擁有海量的電話詳單、位置數(shù)據和社交媒體生成的數(shù)據。要明智地使用數(shù)據,就必須管理所有數(shù)據?!?/p>
元數(shù)據管理是重點
“在企業(yè)數(shù)字化轉型過程中,數(shù)據治理應該是企業(yè)數(shù)字化轉型的一個先決條件。要讓數(shù)據有意義,首先必須有高質量的數(shù)據?!逼赵畔⒓夹g股份有限公司(以下簡稱普元信息)大數(shù)據產品線總經理王軒,分享了他對于大數(shù)據治理的認知。很多企業(yè)在做數(shù)據治理時,往往只集中在數(shù)據應用環(huán)節(jié),范圍過窄,而普元信息在大數(shù)據治理中,側重于對大數(shù)據實施全過程、全方位的管理,這種宏觀導向具有一定的先發(fā)優(yōu)勢。
實際上,大數(shù)據環(huán)境下的數(shù)據治理不再只是元數(shù)據、大數(shù)據標準與大數(shù)據質量,企業(yè)應該以元數(shù)據為基礎,配合大數(shù)據標準、大數(shù)據交換集成、主數(shù)據管理、大數(shù)據質量、大數(shù)據資產化、大數(shù)據共享等,共同完成整個企業(yè)層面的大數(shù)據治理。層層保障之下,使得堪比黃金般貴重的高質量數(shù)據,能夠發(fā)揮其獨特價值。
書同文 車同軌 數(shù)據標準須先行
以SOA(服務導向架構)系列產品見長的普元信息,在2010年開始涉足大數(shù)據領域,作為SOA國際標準SCA/SDO的主要參與制定者,對于數(shù)據質量的關切,伴隨著企業(yè)業(yè)務的不斷延展而上升到企業(yè)戰(zhàn)略層面。
“在數(shù)字化轉型過程中,很多傳統(tǒng)行業(yè)希望把出售數(shù)據作為其利潤的增長點。但是,如果想把數(shù)據當作商品出售,至少需要其數(shù)據是有質量保障的。但目前情況下,這些數(shù)據存在非常多的問題。雖然很多企業(yè)經過多年的IT建設,但數(shù)據模型并不統(tǒng)一,沒有統(tǒng)一的數(shù)據標準,也沒有數(shù)據質量的檢測體系。沒有統(tǒng)一的標準,就沒有質量控制能力,高質量數(shù)據就無從談起?!痹谕踯幙磥?,獲取高質量數(shù)據的當務之急是要建立完善的數(shù)據標準體系,只有數(shù)據標準逐步完善,才有可能進行準確的大數(shù)據治理,對大數(shù)據實施全過程、全方位的管理。
2013年,普元信息加入OASIS國際標準組織KVDB TC(鍵值數(shù)據庫應用接口技術委員會)積極參與大數(shù)據國際標準制訂工作。2014年12月,全國信息技術標準化技術委員會(簡稱全國新標委)大數(shù)據標準工作組宣告成立,由于大數(shù)據領域涉及的領域非常廣泛,工作組設立相關的專題組,包括整體組、國際組、基層組、產品和平臺、安全工業(yè)大數(shù)據、電子商務等方面。
作為全國信標委SOA分技術委員會SOA與Web服務工作組副組長單位,普元信息也正在不斷推動數(shù)據標準化的完善。在王軒看來,數(shù)據標準應該通過各種手段、方法、渠道建立,并且根據企業(yè)狀況不斷完善。在此過程中,企業(yè)應以元數(shù)據管理為基礎,推動數(shù)據標準在各應用系統(tǒng)中的執(zhí)行,逐步形成常態(tài)化的、閉環(huán)的標準體系應用機制,從整體上提升企業(yè)的數(shù)據質量和數(shù)據管理水平,為實現(xiàn)企業(yè)數(shù)據流的暢通和全系統(tǒng)信息資源的共享奠定基礎。
解決數(shù)據質量問題是大數(shù)據應用的關鍵
縱觀當今的大數(shù)據技術、平臺和解決方案,海外廠商仍占據絕對主流地位,但這并不妨礙中國將在大數(shù)據的時代異軍突起。從大數(shù)據的體量看,中國在大數(shù)據領域的發(fā)展?jié)摿τ心抗捕谩?/p>
寬帶資本董事長田溯寧在桑尼爾的《大數(shù)據治理》一書的序言中說:“若要到達風光無限的大數(shù)據彼岸,大數(shù)據治理一定是必修課之一?!?/p>
毋庸置疑,大數(shù)據治理是傳統(tǒng)信息治理的延續(xù)和擴展,它體現(xiàn)了信息治理準則的一脈相承。 大數(shù)據治理的本質是什么?王軒認為,是提高數(shù)據質量。
更好的數(shù)據意味著更好的決策,而解決數(shù)據質量問題是大數(shù)據應用的關鍵。王軒用實戰(zhàn)經驗不斷驗證這種觀點,“在我們接觸的眾多銀行案例中,經常會遇到一種情況,做完一個數(shù)據倉庫,客戶重名信息往往達到上萬個,一個人1000多個賬戶,這都是數(shù)據質量問題。為什么會出現(xiàn)這種數(shù)據問題呢?數(shù)據治理是一個復雜過程,其中有很多環(huán)節(jié),從前期的數(shù)據標準、數(shù)據集成到數(shù)據治理等等,任何一個環(huán)節(jié)出錯都可能導致數(shù)據質量問題,其中數(shù)據治理是清洗數(shù)據和規(guī)避數(shù)據風險的重要環(huán)節(jié)。”王軒認為,如何在交易錯誤時即時阻斷數(shù)據錯誤,是保障數(shù)據質量的重要手段,而此項技術手段,普元信息現(xiàn)如今已完全掌握。
普元的大數(shù)據治理實踐
十多年來,普元信息在金融、電信、電力、能源等行業(yè)積累了豐富的數(shù)據管理經驗。在王軒看來,普元數(shù)據治理呈現(xiàn)出三大特色:
首先,普元信息的數(shù)據治理解決方案可以覆蓋全行業(yè)。普元能幫助各行各業(yè)的客戶,將其數(shù)據質量提升。同時,能完成其數(shù)據現(xiàn)階段最復雜、最重要的任務。
其次,普元解決方案是全體系的。通過平臺、服務、規(guī)劃等各個方面的完整規(guī)劃,能夠幫助企業(yè)把數(shù)據治理落地。普元并非做單獨一個產品,而是在數(shù)據的整個生命周期,每一階段都能幫助企業(yè)控制它的數(shù)據質量,達到企業(yè)的數(shù)據治理需求,實現(xiàn)數(shù)據價值。
再次,普元信息的全部平臺都是自主研發(fā)。通過基于業(yè)務目標的量化研發(fā)管理體系,產品家族擴展到4大系列10余個品類,其專注于軟件基礎平臺領域,具有分布式計算、服務構件技術、可視化技術、業(yè)務流程管理、內存計算、企業(yè)移動計算、數(shù)據治理等核心技術。
普元信息元數(shù)據管理在2014年底被定位為聯(lián)通大數(shù)據平臺的數(shù)據管理解決方案,幫助客戶的維護人員快速理解大數(shù)據系統(tǒng)內的數(shù)據組織,以及數(shù)據間的影響和依賴,減少修改、維護、升級時間,以減少大數(shù)據帶來的管理維護成本。
由于華為負責上海聯(lián)通大數(shù)據平臺的建設,借此機會華為與普元信息達成了戰(zhàn)略性目標。依托普元元數(shù)據產品的優(yōu)勢,抓取大數(shù)據平臺內部的元數(shù)據,為大數(shù)據平臺的運營維護提供全局的、完整的元數(shù)據管理。
該方案為大數(shù)據平臺異構的元數(shù)據提供智能整合和儲存能力,為大數(shù)據平臺設計的不同源的元數(shù)據在同一元模型的規(guī)范體系下實現(xiàn)整合存儲,整合主要包括元數(shù)據對象整合組件和元數(shù)據關系整合組件,以及元模型設計器、元數(shù)據抓取配置組件等。此后,普元信息的元數(shù)據管理能力,在業(yè)內得到了廣泛認可。
在金融行業(yè),普元先后幫助國家開發(fā)銀行、華夏銀行、中國銀聯(lián)、興業(yè)銀行、北京銀行等完成了大數(shù)據治理項目建設,其中,國家開發(fā)銀行在2009年8月開始建設數(shù)據管理項目,通過普元元數(shù)據管理產品支持源系統(tǒng)、ODS、數(shù)據倉庫及下游部分應用對元數(shù)據的應用需求。
增加采集適配器,定時自動的采集元數(shù)據保證元數(shù)據的及時更新;同時保證真實數(shù)據關系的建立,推進全行數(shù)據地圖的建設,深化元數(shù)據管理系統(tǒng)的核心功能,強化元數(shù)據管理系統(tǒng)對外的接口服務,輔助數(shù)據標準的落地實施。
在電力行業(yè),普元幫助江西省電力公司建立了全公司的企業(yè)級數(shù)據標準,數(shù)據標準促進了業(yè)務部門之間的數(shù)據共享,界定業(yè)務數(shù)據范圍,起到了重要作用,并將企業(yè)級的全面元數(shù)據管理納入了全公司的元數(shù)據信息,全面共享元數(shù)據,梳理了系統(tǒng)之間的元數(shù)據接口,使得系統(tǒng)之間的來龍去脈一目了然。
在電信行業(yè),普元幫助上海移動做了包括服務治理、能力開放、大數(shù)據治理、大數(shù)據共享在內的一系列項目,陪伴上海移動完成了數(shù)字化轉型的整個歷程。
在能源行業(yè),普元先后幫助國家電網、新奧能源等完成了數(shù)據治理的相關建設,為其提升管理效率和拓展業(yè)務邊界,提供了前所未有的可能性,通過大數(shù)據治理流程,明晰大數(shù)據血脈,提升大數(shù)據質量,實現(xiàn)了能源行業(yè)對大數(shù)據的全面管控,為上層應用提供安全可用的數(shù)據基礎,確保了大數(shù)據平臺分析與預測的準確性。
作為一種具有戰(zhàn)略意義的新資源,將大數(shù)據比作石油或黃金,如今,世人并不覺得有夸大其詞之嫌。大數(shù)據的自生性和可持續(xù)性,卻又是石油或黃金所望塵莫及的。
大數(shù)據治理必將成為一項系統(tǒng)工程,以孜孜以求的進取心去挖掘高質量數(shù)據背后的價值,普元信息正在做,未來也將會有更多企業(yè)參與其中,而大數(shù)據變現(xiàn)之暢想也將不再遙不可及。