面向智能時代的數(shù)據(jù)融合平臺

我們可以從另外一個角度看信息時代的發(fā)展。人類的技術(shù)革命從最初的機械化，即從蒸汽時代、電氣時代、信息時代到智能時代。信息化也將圍繞這幾個進(jìn)程進(jìn)行，最早的數(shù)字化是將物質(zhì)世界的所見、所聞、所想等信息轉(zhuǎn)換成數(shù)字世界的0和1，再進(jìn)入交互化、互聯(lián)網(wǎng)化和智能化的時代。

我們正處在這樣的時代，正在運用交互化、互聯(lián)網(wǎng)化和智能化建立我們的智慧之道。

交互化主要是在數(shù)字世界中，用電子語言進(jìn)行交流和傳播，主要做的工作就是消除數(shù)據(jù)孤島，讓現(xiàn)實世界與虛擬世界進(jìn)行雙向交互。

互聯(lián)網(wǎng)化就是在全世界的范圍內(nèi)進(jìn)行信息的交流和資源的共享，完成數(shù)據(jù)的歸集、綜合管理、集中服務(wù)，解決數(shù)據(jù)的業(yè)務(wù)描述、實體定位、相互關(guān)聯(lián)以及統(tǒng)一獲取等問題。

智能化是完成數(shù)據(jù)的智能存儲，通過數(shù)據(jù)的關(guān)聯(lián)、分析、挖掘、自我學(xué)習(xí)等，完成真正的智能，實現(xiàn)現(xiàn)實世界與虛擬世界的平行。

翱旗的世界數(shù)據(jù)理論，正是通過在虛擬世界和現(xiàn)實世界建立交互化、互聯(lián)網(wǎng)化、智能化，從而建立兩個世界的平行系統(tǒng)。

當(dāng)下，支離破碎的數(shù)據(jù)孤島、較低的性能、糟糕的數(shù)據(jù)質(zhì)量，以及高昂的成本等，阻礙了大數(shù)據(jù)的發(fā)展。

目前大數(shù)據(jù)總體包含了四個特點或挑戰(zhàn)：

第一是數(shù)據(jù)內(nèi)容眾多，有海量數(shù)據(jù)項；

第二是標(biāo)準(zhǔn)各異或者沒有標(biāo)準(zhǔn)，相同的數(shù)據(jù)有不同的表現(xiàn)；

第三是數(shù)據(jù)來源眾多，需要數(shù)據(jù)賬本進(jìn)行管理；

第四是接口紛繁復(fù)雜，開發(fā)效率低。

數(shù)據(jù)內(nèi)容眾多。以我們調(diào)研的一家公司的系統(tǒng)為例，里面每一個小方塊是數(shù)據(jù)庫里邊的數(shù)據(jù)實體，連線都是實體之間的聯(lián)系，可以看到里面列出的實體很多，大概有兩千多個，且關(guān)系非常復(fù)雜。這是眾多數(shù)據(jù)實體的表現(xiàn)，卻是企業(yè)最簡單的業(yè)務(wù)系統(tǒng)。

缺少標(biāo)準(zhǔn)，多系統(tǒng)之間的數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一，缺乏權(quán)威的解釋，造成數(shù)據(jù)難以對接和集成。以一個物流系統(tǒng)為例，系統(tǒng)1、系統(tǒng)2、系統(tǒng)3、系統(tǒng)4、系統(tǒng)5之間有不同的數(shù)據(jù)表現(xiàn)模式，數(shù)據(jù)的類型、計算的規(guī)則均不一致。

不僅我們現(xiàn)在的信息化會帶來這些問題，未來，大數(shù)據(jù)在做大數(shù)據(jù)分析和挖掘時也會帶來一些問題：

第一是各類技術(shù)并存，比如Hadoop、NoSQL平臺，特點是松散、多樣，靈活的模式，以開發(fā)為中心；

第二是OLAP/OLTP數(shù)據(jù)庫，特點是高密度的信息，固定的結(jié)構(gòu)，以管理為中心；

第三是采用混合云架構(gòu)，包括公有云、私有云，特點是集中化管理、資源最優(yōu)化、強化支撐力等。

隨著各個業(yè)務(wù)流程的豐富和復(fù)雜化，必然造成大量數(shù)據(jù)的重復(fù)提取和建設(shè)。拿大數(shù)據(jù)應(yīng)用來說，其提取的數(shù)據(jù)非常多，在做大數(shù)據(jù)應(yīng)用的過程當(dāng)中，大數(shù)據(jù)應(yīng)用抽取相關(guān)的數(shù)據(jù)可以形成一個大數(shù)據(jù)的平臺。

而要支撐這個平臺，要重復(fù)抽取各種各樣的數(shù)據(jù)進(jìn)行建設(shè)，而重復(fù)的抽取和建設(shè)會讓數(shù)據(jù)質(zhì)量出現(xiàn)問題。而各流程間的數(shù)據(jù)無法相互關(guān)聯(lián)，制約了未來各流程的業(yè)務(wù)融合，限制了業(yè)務(wù)分析能力的發(fā)展。

數(shù)據(jù)到底如何去管理？翱旗提出了R7-DCA的方法論：

數(shù)據(jù)感知和讀取方面，對底層企業(yè)的結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行感知和讀取；在數(shù)據(jù)處理引擎方面，包括數(shù)據(jù)結(jié)構(gòu)識別、數(shù)據(jù)適配、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)路由、數(shù)據(jù)軌跡、數(shù)據(jù)映射、數(shù)據(jù)清洗、數(shù)據(jù)比對；安全方面，數(shù)據(jù)安全、傳輸安全、訪問安全、還有配置信息隔離。云計算運營框架方面，有自服務(wù)門戶、集群、多租戶；管理工具方面，完成配置、監(jiān)控、統(tǒng)計、備份。

我們的數(shù)據(jù)連接器的目標(biāo)是對靜態(tài)數(shù)據(jù)進(jìn)行初始同步，對數(shù)據(jù)庫的變化數(shù)據(jù)進(jìn)行實時抓取、轉(zhuǎn)換、傳輸、加載、審計。其技術(shù)特點包括無插件與大數(shù)據(jù)的應(yīng)用無縫結(jié)合。

數(shù)據(jù)的處理和服務(wù)實現(xiàn)的目標(biāo)是識別數(shù)據(jù)，建立數(shù)據(jù)資源目錄，建立數(shù)據(jù)服務(wù)；技術(shù)特點是自動化，建立標(biāo)準(zhǔn)體系，基于配置的數(shù)據(jù)服務(wù)；解決的問題是建立數(shù)據(jù)賬本，實現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)化。另外，我們有數(shù)據(jù)標(biāo)準(zhǔn)管理、資源管理、集成管理、服務(wù)管理、數(shù)據(jù)安全管理等。

最后沿用孫子兵法的一句話“知己知彼，百戰(zhàn)不殆”，最重要是要做到知己知彼。翱旗是一家專門致力于數(shù)據(jù)的核心技術(shù)和創(chuàng)新服務(wù)的技術(shù)型公司，我們要做企業(yè)的大數(shù)據(jù)，通過數(shù)據(jù)提高我們的整體運營能力，翱旗可以幫助企業(yè)達(dá)成這樣的目標(biāo)?。ǜ鶕?jù)演講內(nèi)容整理，未經(jīng)本人審核）