黃曜令

大數(shù)據(jù)的概念出現(xiàn)在2011年麥卡錫全球研究院的一份報告《創(chuàng)新大數(shù)據(jù)是創(chuàng)新競爭和生產(chǎn)力的下一個前夜》中，這份報告至今已經(jīng)有6年多的時間。這6年中，無論是國際還是國內(nèi)都對大數(shù)據(jù)的發(fā)展十分重視，投資每年都在增加。特別是我國，在國家政策層面，黨的十八屆五中全會公報提出要實施“國家大數(shù)據(jù)戰(zhàn)略”，這是大數(shù)據(jù)第一次寫入黨的全會決議，標(biāo)志著大數(shù)據(jù)戰(zhàn)略正式上升為國家戰(zhàn)略。五中全會，開啟了大數(shù)據(jù)建設(shè)的新篇章。

數(shù)據(jù)已經(jīng)成為了新的生產(chǎn)資料和核心資源，在這個體系下，政府掌握著工商、稅務(wù)、交通等絕大部分的數(shù)據(jù)，但是數(shù)據(jù)本身并不能直接產(chǎn)生價值。所以在大數(shù)據(jù)的環(huán)境下，我們?nèi)绾螌Υ髷?shù)據(jù)進(jìn)行統(tǒng)籌、治理以及挖掘大數(shù)據(jù)背后的價值，這些真正在考驗我們。

事實上，數(shù)據(jù)整合、應(yīng)用遷移成本一直高居不下，我們有沒有一些辦法能夠更好、更敏捷地去實現(xiàn)這些目標(biāo)呢？借用一個觀點：大數(shù)據(jù)不是數(shù)據(jù)的簡單累計，大數(shù)據(jù)不是數(shù)據(jù)量大，而是計算大。我想在計算大這個前提之下，我們要做的一些事情顯然對于數(shù)據(jù)的統(tǒng)籌提出了很重要的能力要求。在這幾年當(dāng)中，推進(jìn)大數(shù)據(jù)發(fā)展過程中不能共享的特點很明顯，主要原因有兩點，一是系統(tǒng)之間相互獨立。二是標(biāo)準(zhǔn)化的問題。比如說我們所采用的系統(tǒng)設(shè)計、選擇的產(chǎn)品、技術(shù)路線、建設(shè)路線都不一樣，這些都會阻礙數(shù)據(jù)共享。

在一定信息標(biāo)準(zhǔn)體系下，在一定的安全保障體系下，以及我們有一定的服務(wù)運維能力的情況下，我們按照一定的標(biāo)準(zhǔn)構(gòu)建政務(wù)大數(shù)據(jù)平臺，通過這個平臺，我們?yōu)檎膬?yōu)政、惠民、興業(yè)要提供服務(wù)保障。我覺得仍然有很多的細(xì)節(jié)需要處理。在這個體系下面，數(shù)據(jù)治理也好，目錄檢索也好，數(shù)據(jù)交換共享等這一系列東西，實際上無處不在地需要計算，而如何構(gòu)建一個敏捷的計算體系支撐這個平臺，我認(rèn)為這是潤乾能夠給大家?guī)淼囊恍﹥r值。

在這樣的背景下，潤乾創(chuàng)新大數(shù)據(jù)計算引擎發(fā)揮著重要的作用，這個計算引擎是由我們完全自主研發(fā)的，具有完全自主知識產(chǎn)權(quán)的，結(jié)合了高級語言的一些優(yōu)點，讓描述計算更簡單、更貼近人的思路，這樣有什么好處呢？就是，開發(fā)效率更高，我們的交付效率更高，我們更有條件去滿足各種各樣數(shù)據(jù)服務(wù)的需求，讓這些需求實現(xiàn)起來更簡單。

計算是無處不在的，無論是在過去的信息系統(tǒng)當(dāng)中還是現(xiàn)在的大數(shù)據(jù)平臺上，我們要把生產(chǎn)數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)抽取到倉庫當(dāng)中進(jìn)行統(tǒng)計分析，包括數(shù)據(jù)倉庫抽取到大數(shù)據(jù)平臺當(dāng)中，我們對外提供數(shù)據(jù)服務(wù)，這些都是一種計算服務(wù)。潤乾的創(chuàng)新計算顯然非常適應(yīng)這種無處不在的計算。

快速搭建一個大數(shù)據(jù)平臺，在這個體系架構(gòu)當(dāng)中，計算引擎在里面承擔(dān)了兩個任務(wù)：一是從數(shù)據(jù)采集層批量地把各種各樣的數(shù)據(jù)源采集到存儲體系當(dāng)中。二是作為核心計算引擎，為上面的統(tǒng)計報表和各種數(shù)據(jù)服務(wù)提供一個強有力的計算保證。

在這個體系當(dāng)中我們還得考慮運維成本，實際上過去，各種工具、體系對于人員的要求實在是太高了。剛才我們描述的計算引擎兩個優(yōu)點，使描述計算更貼近、人的想法，讓我們的開發(fā)商、維護(hù)人員更容易理解、實現(xiàn)這樣的場景。

此外，我們通過潤乾的計算引擎構(gòu)建一個數(shù)據(jù)服務(wù)平臺。在過去的體系下，剛才有嘉賓提到海量數(shù)據(jù)，把五個、十個系統(tǒng)的數(shù)據(jù)源導(dǎo)到數(shù)據(jù)倉庫當(dāng)中，實際上數(shù)據(jù)量也挺大的，但是我們還有很多數(shù)據(jù)沒有導(dǎo)進(jìn)來。如果說我們要進(jìn)行統(tǒng)一的分析和計算，應(yīng)該怎么做呢？還是要通過ETL方式采集到原有的數(shù)據(jù)倉庫當(dāng)中，但是那么多年下來，我們整個數(shù)據(jù)倉庫的性能和效率可能已經(jīng)有了很大的瓶頸。所以我們是不是需要建立一個新的數(shù)據(jù)倉庫呢？可能不一定。

在這個體系下，我們的計算引擎能夠在數(shù)據(jù)倉庫之上加一個彈性的計算框架，把各種結(jié)構(gòu)化、半結(jié)構(gòu)化的數(shù)據(jù)源直接抽取到計算引擎當(dāng)中來，因為我們整個計算引擎對包括傳感器數(shù)據(jù)檢測文件和Web服務(wù)等這一系列都做了很好的封裝，所以我們直接可以把這些數(shù)據(jù)抽取到計算引擎當(dāng)中來計算，這樣也能夠規(guī)避底層數(shù)據(jù)源的差異性，能夠規(guī)范我們的數(shù)據(jù)管理。

同時，在這個計算服務(wù)層當(dāng)中，我們提供了標(biāo)準(zhǔn)的接口，為上層提供調(diào)用或者是數(shù)據(jù)輸出，提供了一些很好的模式，而且也很好地被集成。通過敏捷的數(shù)據(jù)服務(wù)平臺，我們可以為企業(yè)內(nèi)部、部門內(nèi)部提供不同的數(shù)據(jù)服務(wù)。未來我想一定會整合一些第三方的數(shù)據(jù)，包括社交數(shù)據(jù)，到我們整個政府部門的數(shù)據(jù)中，更好地為民眾提供便利的服務(wù)。

潤乾的基因就是做產(chǎn)品，潤乾也已經(jīng)堅持了17年的計算策略，所以我們未來也會一直在這個領(lǐng)域當(dāng)中，在基礎(chǔ)軟件領(lǐng)域中堅持我們17年來的經(jīng)營理念，就是創(chuàng)新技術(shù)推動應(yīng)用進(jìn)步。最后，我想說軟件引領(lǐng)變革，應(yīng)用才真正改變世界，但是分工有層次，我們專注做好我們的計算兼架構(gòu)。

（根據(jù)演講內(nèi)容整理，未經(jīng)本人審核）endprint