基于國產(chǎn)軟硬件的行業(yè)大數(shù)據(jù)體系架構(gòu)研究

大數(shù)據(jù)技術(shù)最近幾年在迅速發(fā)展，國內(nèi)外的廠商和組織已經(jīng)推出了多種大數(shù)據(jù)解決方案。在金融領(lǐng)域，已經(jīng)利用大數(shù)據(jù)技術(shù)解決詐騙檢驗(yàn)、IT風(fēng)險(xiǎn)管理和自助服務(wù)等問題，未來大數(shù)據(jù)技術(shù)將會(huì)起到越來越重要的作用。

由于國內(nèi)外針對(duì)商業(yè)機(jī)構(gòu)系統(tǒng)頻頻發(fā)生的安全事件，國內(nèi)各行業(yè)的信息化目前正在向基于國產(chǎn)軟硬件和自主可控方向發(fā)展，大數(shù)據(jù)也是目前國內(nèi)各行業(yè)重點(diǎn)關(guān)注的技術(shù)。很多廠商和企業(yè)紛紛進(jìn)行技術(shù)研究、方案準(zhǔn)備和內(nèi)部測(cè)試，并逐步開始在歷史數(shù)據(jù)查詢、分析，非結(jié)構(gòu)化數(shù)據(jù)檢索等方向上開始使用。從最近幾年的趨勢(shì)來看，安全、自主可控的大數(shù)據(jù)解決方案在大數(shù)據(jù)行業(yè)領(lǐng)域有非常大的市場(chǎng)需求。

國內(nèi)很多關(guān)鍵行業(yè)應(yīng)用，如金融信息系統(tǒng)的許多關(guān)鍵設(shè)備都沒有采用國產(chǎn)產(chǎn)品，導(dǎo)致無法準(zhǔn)確判斷其安全隱患，這使得我國信息化建設(shè)的安全底數(shù)不清。迫切需要國內(nèi)IT企業(yè)和行業(yè)共同研發(fā)自主可控、自主知識(shí)產(chǎn)權(quán)的信息系統(tǒng)、信息環(huán)境和信息安全產(chǎn)品。針對(duì)這種狀況國家銀監(jiān)會(huì)提出了“自主可控，持續(xù)發(fā)展，科技創(chuàng)新”的三大戰(zhàn)略，國產(chǎn)的信息化產(chǎn)品，在金融領(lǐng)域的應(yīng)用已經(jīng)開始了破冰之旅，事實(shí)證明，自主可控的軟硬件產(chǎn)品，在關(guān)鍵行業(yè)領(lǐng)域的應(yīng)用是可行的，但是缺乏完整的經(jīng)過驗(yàn)證的整體解決方案和實(shí)際案例，無法復(fù)制和推廣。

行業(yè)大數(shù)據(jù)應(yīng)用的需求分析

（1）面向多源異構(gòu)業(yè)務(wù)數(shù)據(jù)的采集和管理需求

以在客戶信息為例，行業(yè)內(nèi)的集團(tuán)企業(yè)經(jīng)常會(huì)面臨急需解決的數(shù)據(jù)集成問題，企業(yè)存在大量分散的客戶信息資源，并由各系統(tǒng)自主采集和維護(hù)，沒有良好的共享體系，客戶信息、訂單信息等異構(gòu)的存在不同數(shù)據(jù)源中，沒有橫跨多個(gè)業(yè)務(wù)領(lǐng)域的客戶信息的統(tǒng)一管理和分發(fā)體系。因此，要求統(tǒng)一建設(shè)行業(yè)信息大數(shù)據(jù)管理系統(tǒng)，是一套為所有在線業(yè)務(wù)服務(wù)的、整合的行業(yè)信息大數(shù)據(jù)管理與分析系統(tǒng)，并具有行業(yè)先進(jìn)水平的大數(shù)據(jù)管理和分析能力，以滿足企業(yè)形成市場(chǎng)競(jìng)爭(zhēng)優(yōu)勢(shì)的要求。

（2）針對(duì)海量異構(gòu)大數(shù)據(jù)的高性能存儲(chǔ)需求

通過調(diào)研發(fā)現(xiàn)很多大型企業(yè)的信息系統(tǒng)已經(jīng)積累了大量的業(yè)務(wù)數(shù)據(jù)，而且隨著業(yè)務(wù)拓展的需求，大數(shù)據(jù)分析的數(shù)據(jù)源已經(jīng)不僅局限于企業(yè)內(nèi)部，如對(duì)客戶流失分析或者產(chǎn)品銷售趨勢(shì)預(yù)測(cè)，就還需要互聯(lián)網(wǎng)社交網(wǎng)絡(luò)或者電商消費(fèi)信息等。這些多源、異構(gòu)、海量的數(shù)據(jù)對(duì)于大數(shù)據(jù)平臺(tái)的存儲(chǔ)提出了極高的要求。以某大型企業(yè)集團(tuán)的客戶和生產(chǎn)經(jīng)營信息為例，數(shù)據(jù)規(guī)模已經(jīng)達(dá)到上百TB容量，且相關(guān)數(shù)據(jù)量，特別是生產(chǎn)線的傳感器數(shù)據(jù)和用戶行為等數(shù)據(jù)還在持續(xù)大幅增長(zhǎng)。

（3）多樣性大數(shù)據(jù)分析和處理需求

大數(shù)據(jù)分析系統(tǒng)不但集成了多個(gè)系統(tǒng)的數(shù)據(jù)源，未來大數(shù)據(jù)分析應(yīng)用系統(tǒng)也會(huì)被多個(gè)部門，多個(gè)業(yè)務(wù)中使用，而且不同的部門和不同業(yè)務(wù)對(duì)大數(shù)據(jù)分析處理 的響應(yīng)時(shí)間、數(shù)據(jù)量、結(jié)果準(zhǔn)確程度以及具體的分析算法都會(huì)有很大差異。因此需要完整的對(duì)這些分析和處理需求進(jìn)行分析，以便于設(shè)計(jì)滿足當(dāng)前和潛在需求的大數(shù)據(jù)分析處理架構(gòu)。

（4）行業(yè)大數(shù)據(jù)的安全監(jiān)控和隱私保護(hù)需求

面向行業(yè)和企業(yè)的大數(shù)據(jù)平臺(tái)都將集成來自于不同數(shù)據(jù)源的數(shù)據(jù)，其中有很多數(shù)據(jù)會(huì)涉及商業(yè)秘密和個(gè)人隱私等安全問題，所以這些數(shù)據(jù)在大數(shù)據(jù)平臺(tái)中應(yīng)該被合理的授權(quán)使用，并有完善的安全監(jiān)控和隱私保護(hù)措施，以避免引起數(shù)據(jù)泄密或者隱私糾紛。

（5）行業(yè)大數(shù)據(jù)平臺(tái)的業(yè)務(wù)應(yīng)用和可視化展現(xiàn)的需求

大數(shù)據(jù)分析的結(jié)果是更好的支持業(yè)務(wù)推廣和運(yùn)營決策，所以企業(yè)大數(shù)據(jù)分析還是要和現(xiàn)有的業(yè)務(wù)應(yīng)用緊密結(jié)合，并且以簡(jiǎn)單友好的操作，以及可視化的方式直觀的展現(xiàn)分析結(jié)果，這樣才能被各部門和各級(jí)別的人員使用好大數(shù)據(jù)系統(tǒng)。

基于自主可控服務(wù)器的大數(shù)據(jù)基礎(chǔ)架構(gòu)研究

通過行業(yè)大數(shù)據(jù)需求和數(shù)據(jù)現(xiàn)狀的調(diào)研和測(cè)算，大數(shù)據(jù)基礎(chǔ)平臺(tái)如采用傳統(tǒng)的集中數(shù)據(jù)庫Oracle+小型機(jī)+集中式存儲(chǔ)環(huán)境，將無法滿足大數(shù)據(jù)在存儲(chǔ)和分析處理方面的需求，而且采用國外進(jìn)口設(shè)備為主的方式也無法保證系統(tǒng)數(shù)據(jù)的安全和自主可控，國外小型機(jī)和存儲(chǔ)的硬件成本過高，投入產(chǎn)出比低。因此本文研究對(duì)比了主流的大數(shù)據(jù)硬件方案，提出基于國產(chǎn)主機(jī)的行業(yè)大數(shù)據(jù)基礎(chǔ)平臺(tái)，包括分布式Hadoop大數(shù)據(jù)存儲(chǔ)和處理集群、分布式海量數(shù)據(jù)采集集群和應(yīng)用與可視化展現(xiàn)服務(wù)器集群架構(gòu)研究，形成滿足行業(yè)大數(shù)據(jù)應(yīng)用的基礎(chǔ)硬件平臺(tái)技術(shù)方案。

系統(tǒng)的網(wǎng)絡(luò)部署架構(gòu)如下圖所示：

自主可控的大數(shù)據(jù)分析基礎(chǔ)軟件平臺(tái)研究

通過項(xiàng)目前期技術(shù)研究和分析，我們發(fā)現(xiàn)傳統(tǒng)數(shù)據(jù)倉庫模式進(jìn)行行大數(shù)據(jù)分析在軟件平臺(tái)方面是不能滿足性能、容量和成本方面的需求的。為此，我們對(duì)大數(shù)據(jù)軟件平臺(tái)進(jìn)行充分對(duì)比研究，重點(diǎn)研究了國內(nèi)面向行業(yè)的大數(shù)據(jù)平臺(tái)的軟件基礎(chǔ)架構(gòu)，包括操作系統(tǒng)、分布式文件系統(tǒng)、列式數(shù)據(jù)庫、批處理框架、內(nèi)存計(jì)算引擎、資源調(diào)度、安全管控等方面的研究。形成了滿足行業(yè)大數(shù)據(jù)應(yīng)用的基礎(chǔ)軟件平臺(tái)技術(shù)方案。

我們研究和評(píng)估了基于國產(chǎn)操作系統(tǒng)和基于開源自主可控的大數(shù)據(jù)平臺(tái)基礎(chǔ)軟件架構(gòu)，操作系統(tǒng)層面可以支持國產(chǎn)Linux和Unix操作系統(tǒng)。大數(shù)據(jù)基礎(chǔ)軟件架構(gòu)采用了大量的組件實(shí)現(xiàn)大數(shù)據(jù)的存儲(chǔ)、計(jì)算、分析和管理功能，如上圖所示。

在大數(shù)據(jù)軟件架構(gòu)中設(shè)計(jì)通過分布式ETL工具各業(yè)務(wù)系統(tǒng)完成數(shù)據(jù)采集，支持結(jié)構(gòu)化數(shù)據(jù)以及非/半結(jié)構(gòu)化數(shù)據(jù)，即數(shù)據(jù)庫數(shù)據(jù)、文件、日志等類型，采集數(shù)據(jù)包括全量歷史數(shù)據(jù)遷移以及增量數(shù)據(jù)同步。未來保證數(shù)據(jù)質(zhì)量和數(shù)據(jù)溯源，采集過程中需要對(duì)數(shù)據(jù)質(zhì)量分析、治理。

架構(gòu)中設(shè)計(jì)了數(shù)據(jù)分層存儲(chǔ)的解決方案，對(duì)于需要進(jìn)行持久化存儲(chǔ)的數(shù)據(jù)（離線保存3年以上）和非結(jié)構(gòu)化數(shù)據(jù)，可直接在HDFS中存放，以數(shù)據(jù)倉庫ORC表形式存儲(chǔ)；需要挖掘或檢索管理的數(shù)據(jù)放入HBase列式數(shù)據(jù)庫中，并支持與傳統(tǒng)數(shù)據(jù)庫互導(dǎo)，系統(tǒng)會(huì)自動(dòng)完成多個(gè)數(shù)據(jù)副本的拷貝，從而實(shí)現(xiàn)冗余備份；對(duì)于需要快速實(shí)時(shí)交互式分析 的數(shù)據(jù)以Cube的形式存儲(chǔ)在SSD或內(nèi)存中，可以提供快速交互式分析能力。

架構(gòu)中還包括了數(shù)據(jù)分析功能和組件，對(duì)需要進(jìn)行數(shù)據(jù)關(guān)聯(lián)分析和數(shù)據(jù)挖掘等涉及大數(shù)據(jù)量的統(tǒng)計(jì)和查詢需求的應(yīng)用，可選用Mahout，R等數(shù)據(jù)分析和數(shù)據(jù)挖掘工具。

架構(gòu)中的數(shù)據(jù)服務(wù)設(shè)計(jì)包括數(shù)據(jù)集市所提供的業(yè)務(wù)/部門級(jí)服務(wù)，數(shù)據(jù)Cube及交互式報(bào)表、數(shù)據(jù)質(zhì)量分析報(bào)告、數(shù)據(jù)流程監(jiān)控及告警、API數(shù)據(jù)調(diào)用和數(shù)據(jù)能力開放等服務(wù)。對(duì)于實(shí)時(shí)性要求較高的數(shù)據(jù)（如Kafka采集的數(shù)據(jù)）放在Spark Stream中提供實(shí)時(shí)服務(wù)。