基于MAXcomputer+DSC前置機(jī)的行業(yè)公共數(shù)據(jù)鏈的設(shè)計(jì)與應(yīng)用

楊凌 張?zhí)鞓s

摘要：行業(yè)公共數(shù)據(jù)鏈作為行業(yè)數(shù)據(jù)共享的通道，其運(yùn)行效率和安全影響著數(shù)據(jù)匯聚對(duì)用戶的服務(wù)水平。傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)無(wú)法承載海量數(shù)據(jù)的行業(yè)條線傳輸，基于阿里的MAXcomputer數(shù)據(jù)倉(cāng)+DSC前置機(jī)的行業(yè)公共數(shù)據(jù)鏈設(shè)計(jì)方案，不給行業(yè)條線單位增加任何經(jīng)濟(jì)壓力就能分析處理高達(dá)PB級(jí)的海量數(shù)據(jù)，形成省廳-市-縣/區(qū)完整的行業(yè)全域公共數(shù)據(jù)鏈體系，提供數(shù)據(jù)匯聚、數(shù)據(jù)推送、數(shù)據(jù)查詢、數(shù)據(jù)填報(bào)、統(tǒng)計(jì)分析、比對(duì)訂閱等面向數(shù)據(jù)應(yīng)用的場(chǎng)景。

關(guān)鍵詞：數(shù)據(jù)鏈；行業(yè)數(shù)據(jù)倉(cāng)；DSC；MAXcomputer

中圖分類號(hào)：TP274? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2022）30-0066-02

開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

1 引言

隨著信息技術(shù)的逐步成熟和數(shù)字化改革的持續(xù)推進(jìn)， 越來(lái)越多的行業(yè)數(shù)據(jù)被積累下來(lái)，數(shù)據(jù)規(guī)模已經(jīng)增長(zhǎng)到了傳統(tǒng)軟件行業(yè)無(wú)法承載的海量數(shù)據(jù)（百GB、TB乃至PB）級(jí)別對(duì)各個(gè)行業(yè)條線的大數(shù)據(jù)匯聚和共享要求越來(lái)越高。傳統(tǒng)的手工報(bào)送、即時(shí)聊天軟件傳輸或樹(shù)形層次性結(jié)構(gòu)匯聚都不能滿足海量數(shù)據(jù)實(shí)時(shí)共享的需求，迫切需要構(gòu)建部、省、市、區(qū)縣一體化的數(shù)據(jù)服務(wù)鏈路體系，形成行業(yè)公共數(shù)據(jù)平臺(tái)的開(kāi)放體系。通過(guò)大量調(diào)研，筆者設(shè)計(jì)了基于阿里的MAXcomputer數(shù)據(jù)倉(cāng)+DSC前置機(jī)的行業(yè)公共數(shù)據(jù)鏈解決方案，不給基層條線單位增加任何經(jīng)濟(jì)壓力。

2 行業(yè)公共數(shù)據(jù)鏈的設(shè)計(jì)

2.1 MAXcomputer

MaxComputer是阿里云的一種全新的大數(shù)據(jù)處理服務(wù)，是一種用于批量結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和計(jì)算，提供海量數(shù)據(jù)倉(cāng)庫(kù)和針對(duì)大數(shù)據(jù)分析建模的服務(wù)[1]。MaxComputer能提供完善的數(shù)據(jù)導(dǎo)入方案以及多種經(jīng)典的分布式計(jì)算模型，能夠提供快速的、一站式的、完全托管PB級(jí)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)同步、任務(wù)開(kāi)發(fā)、數(shù)據(jù)工作流開(kāi)發(fā)、數(shù)據(jù)管理和數(shù)據(jù)運(yùn)維服務(wù)，讓需求單位不用花大價(jià)錢建設(shè)數(shù)據(jù)中心，就能分析處理高達(dá)PB級(jí)的海量數(shù)據(jù)，有效降低企業(yè)或單位成本，并保障數(shù)據(jù)安全[2]。

2.2 DSC前置機(jī)

很多大型企業(yè)（如銀行、券商、電信運(yùn)營(yíng)商等）有很多后臺(tái)核心處理系統(tǒng)和核心數(shù)據(jù)，當(dāng)需要對(duì)外提供各種業(yè)務(wù)接口和數(shù)據(jù)服務(wù)時(shí)，會(huì)在他們企業(yè)內(nèi)部部署一臺(tái)服務(wù)器（或計(jì)算機(jī)），然后通過(guò)專線或硬件隔離技術(shù)將這臺(tái)服務(wù)器連接到外部企業(yè)的外網(wǎng)系統(tǒng)上，這臺(tái)服務(wù)器稱為前置機(jī)。前置機(jī)用于安裝外部需求企業(yè)的業(yè)務(wù)軟件或架設(shè)一個(gè)小型數(shù)據(jù)倉(cāng)，方便企業(yè)或單位之間交換、存放和獲取數(shù)據(jù)。

政務(wù)（或企業(yè)）內(nèi)外網(wǎng)兩端的業(yè)務(wù)系統(tǒng)需要數(shù)據(jù)交換，在各自業(yè)務(wù)系統(tǒng)前布置前置機(jī)，實(shí)現(xiàn)數(shù)據(jù)交換。一是前置機(jī)能保證外部的應(yīng)用不能直接訪問(wèn)核心服務(wù)；二是前置機(jī)負(fù)責(zé)將需要交換過(guò)來(lái)或者交換的數(shù)據(jù)緩存到這臺(tái)服務(wù)器中；三是前置機(jī)提供業(yè)務(wù)渠道與核心服務(wù)主機(jī)的交流橋梁，有管理和調(diào)度業(yè)務(wù)渠道發(fā)起的交易的作用，通過(guò)前置機(jī)調(diào)用可大大減輕后臺(tái)核心服務(wù)器的負(fù)載[3]。

2.3 行業(yè)公共數(shù)據(jù)鏈的設(shè)計(jì)

2.3.1 行業(yè)公共數(shù)據(jù)鏈定義

行業(yè)公共數(shù)據(jù)鏈?zhǔn)且粋€(gè)面向數(shù)據(jù)全域共享，解決跨部門、跨區(qū)域、跨層級(jí)的數(shù)據(jù)流通和治理，為行業(yè)提供一體化、智能化的數(shù)據(jù)服務(wù)平臺(tái)，助力形成全域數(shù)據(jù)資產(chǎn)體系，是行業(yè)/產(chǎn)業(yè)數(shù)據(jù)大腦建設(shè)的基石。

2.3.2 行業(yè)公共數(shù)據(jù)鏈的架構(gòu)設(shè)計(jì)

基于MAXcomputer數(shù)據(jù)倉(cāng)+DSC前置機(jī)設(shè)計(jì)的行業(yè)公共數(shù)據(jù)鏈，設(shè)計(jì)架構(gòu)如圖1所示，解決了通過(guò)在線任務(wù)的方式向下級(jí)單位發(fā)送匯聚要求、上級(jí)單位可以隨時(shí)了解下級(jí)上報(bào)數(shù)據(jù)的實(shí)時(shí)情況了、下級(jí)單位對(duì)要上報(bào)的數(shù)據(jù)更清晰等問(wèn)題。

3 行業(yè)公共數(shù)據(jù)服務(wù)鏈的關(guān)鍵技術(shù)

行業(yè)公共數(shù)據(jù)服務(wù)鏈主要涉及異構(gòu)數(shù)據(jù)庫(kù)離線同步、數(shù)據(jù)湖倉(cāng)一體、敏捷部署、安全策略等技術(shù)。

3.1 異構(gòu)數(shù)據(jù)庫(kù)離線同步技術(shù)

異構(gòu)數(shù)據(jù)庫(kù)是指不同結(jié)構(gòu)的數(shù)據(jù)庫(kù)系統(tǒng)，如Oracle、 SQL Server、MySQL、Hive、ADS、HBase、TableStore（OTS）等；異構(gòu)數(shù)據(jù)庫(kù)離線同步是指不同結(jié)構(gòu)數(shù)據(jù)庫(kù)在離線的狀態(tài)下實(shí)現(xiàn)數(shù)據(jù)共享和透明訪問(wèn)[4]。通過(guò)MAXcomputer提供的離線數(shù)據(jù)同步工具——DataX部署Reader插件和Writer插件，同步不同數(shù)據(jù)源可抽象為從源頭數(shù)據(jù)源讀取數(shù)據(jù)的Reader插件以及向目標(biāo)端寫(xiě)入數(shù)據(jù)的Writer插件[5]。每接入一個(gè)新的源頭數(shù)據(jù)庫(kù)，在開(kāi)發(fā)環(huán)境創(chuàng)建并運(yùn)行同步數(shù)據(jù)的DataX任務(wù)，以實(shí)現(xiàn)不同數(shù)據(jù)源和現(xiàn)有的數(shù)據(jù)源的數(shù)據(jù)同步；在生產(chǎn)環(huán)境運(yùn)行DataX任務(wù)，保障生產(chǎn)環(huán)境業(yè)務(wù)數(shù)據(jù)的正常產(chǎn)出。

3.2 數(shù)據(jù)湖倉(cāng)一體技術(shù)

構(gòu)建數(shù)據(jù)湖倉(cāng)一體技術(shù)有兩種方式：一、通過(guò)MaxCompute與數(shù)據(jù)湖構(gòu)建DLF和對(duì)象存儲(chǔ)OSS構(gòu)建湖倉(cāng)一體：數(shù)據(jù)湖的元數(shù)據(jù)（Schema）全部位于DLF中。MaxCompute利用DLF對(duì)OSS元數(shù)據(jù)管理能力，提升對(duì)OSS半結(jié)構(gòu)化格式（Delta Lake、Hudi、AVRO、CSV、JSON、PARQUET、ORC）數(shù)據(jù)的處理能力。二、通過(guò)MaxCompute與Hadoop構(gòu)建湖倉(cāng)一體：該方式包括本地機(jī)房搭建、基于云上虛擬機(jī)搭建以及阿里云E-MapReduce等。當(dāng)MaxCompute與Hadoop平臺(tái)所在的VPC區(qū)域網(wǎng)絡(luò)開(kāi)通后，MaxCompute可以直接訪問(wèn)Hive元數(shù)據(jù)服務(wù)，并將元數(shù)據(jù)信息映射到MaxCompute的外部項(xiàng)目（External Project）中[6]。

3.3 安全策略技術(shù)

圍繞數(shù)據(jù)共享的安全生命周期，借助于EDR檢測(cè)響應(yīng)技術(shù)通過(guò)預(yù)防、防御、檢測(cè)、響應(yīng)賦予前置機(jī)更為細(xì)致的隔離策略、更為精準(zhǔn)的查殺能力、更為持續(xù)的檢測(cè)能力、更為快速的處置能力[7]。另外，通過(guò)雙向白名單機(jī)制，不在白名單中的IP不允許訪問(wèn)，并且每個(gè)下級(jí)單位加裝終端檢測(cè)響應(yīng)平臺(tái)EDR，在應(yīng)對(duì)高級(jí)威脅時(shí)，通過(guò)“云-網(wǎng)-端” 協(xié)同聯(lián)動(dòng)、共享威脅情報(bào)和多層級(jí)響應(yīng)機(jī)制，幫助用戶快速處置終端安全問(wèn)題[8]。

3.4 敏捷化部署技術(shù)

面向多變的業(yè)務(wù)網(wǎng)需求，采用OneData/OneProfile/OneService的一體化數(shù)據(jù)架構(gòu)從明細(xì)數(shù)據(jù)→細(xì)粒度模型→粗粒度模型→業(yè)務(wù)模型的敏捷化迭代快速實(shí)現(xiàn)數(shù)據(jù)支撐，對(duì)場(chǎng)景進(jìn)行建模，完成應(yīng)用的快速上線[9]。同時(shí)支持海亮實(shí)時(shí)數(shù)據(jù)的匯聚和分發(fā)，采用智能分片技術(shù)，數(shù)據(jù)傳輸性能≥100MB/S，性能支持橫向擴(kuò)容。

4 甘肅省數(shù)據(jù)中心公共數(shù)據(jù)解決方案

甘肅省數(shù)據(jù)中心在構(gòu)建某行業(yè)省級(jí)公共數(shù)據(jù)服務(wù)鏈時(shí)，為了減低下級(jí)單位的部署成本降低費(fèi)用，采用的是基于MAXcomputer數(shù)據(jù)倉(cāng)+DSC前置機(jī)的服務(wù)架構(gòu)，實(shí)現(xiàn)了某行業(yè)省廳-市-縣/區(qū)完整的行業(yè)公共數(shù)據(jù)鏈體系，如圖2所示。該體系支持100多種數(shù)據(jù)源類型，支持阿里、華為、開(kāi)元等多種異構(gòu)大數(shù)據(jù)平臺(tái)。面向數(shù)據(jù)應(yīng)用的場(chǎng)景可提供多種服務(wù)能力，例如數(shù)據(jù)匯聚、數(shù)據(jù)推送、數(shù)據(jù)查詢、數(shù)據(jù)填報(bào)、統(tǒng)計(jì)分析、比對(duì)訂閱等。經(jīng)過(guò)應(yīng)用發(fā)現(xiàn)，基于MAXcomputer數(shù)據(jù)倉(cāng)+DSC前置機(jī)的行業(yè)公共數(shù)據(jù)鏈體系優(yōu)勢(shì)如下：

1）信息資源支持按照主題，來(lái)源部門，行業(yè)等多維多檢索，數(shù)據(jù)查找方便；

2）資源使用方在線填寫(xiě)待接收數(shù)據(jù)的地址信息，推送頻率和全量/增量在線可選，推送任務(wù)自動(dòng)執(zhí)行，結(jié)果可在線查看；

3）云化部署，免前置機(jī)部署，監(jiān)控簡(jiǎn)單，性能可線性擴(kuò)展，使用方不用感知；

4）支持豐富的數(shù)據(jù)接收方式，包括MySQL/SQL Server/Oracle等傳統(tǒng)數(shù)據(jù)庫(kù)、多種文件格式、Hadoop/Hive/Hbase等大數(shù)據(jù)組件；

5）審批完成后自動(dòng)啟動(dòng)推送服務(wù)，不用復(fù)雜人工配置。

5 結(jié)論

現(xiàn)代通訊與大數(shù)據(jù)技術(shù)的發(fā)展，徹底改變了傳統(tǒng)數(shù)據(jù)報(bào)送模式下信息資源不能共享這一現(xiàn)狀，基于MAXcomputer數(shù)據(jù)倉(cāng)+DSC前置機(jī)為甘肅省數(shù)據(jù)中心設(shè)計(jì)的某行業(yè)公共數(shù)據(jù)鏈為行業(yè)成員組織之間提供信息橋梁，緩解了單位信息化建設(shè)中的資金、人員、技術(shù)等諸多困難，對(duì)大多數(shù)中、小單位是個(gè)福音，并且通過(guò)該行業(yè)公共數(shù)據(jù)鏈體系也能夠促進(jìn)自身的信息意識(shí)和信息化建設(shè)進(jìn)程。

參考文獻(xiàn)：

[1] 宋亞奇.云平臺(tái)下電力設(shè)備監(jiān)測(cè)大數(shù)據(jù)存儲(chǔ)優(yōu)化與并行處理技術(shù)研究[D].北京：華北電力大學(xué)（北京），2016.

[2] 有石為玉. MaxCompute介紹[DB/OL]. [2018-09-04]. https：//blog.csdn.net/weixin_41770169/article/details/82380232.

[3] 林勉，李一凡，高洋.“云媒體電視”酒店平臺(tái)系統(tǒng)建設(shè)[J].有線電視技術(shù)，2016，23（3）：21-25.

[4] 阿里云. DataX同步數(shù)據(jù)[R/OL].[2020-12-09].https：//help.aliyun.com/document_detail/194293.html

[5] 丁志勇，黃霖，董輝.路網(wǎng)運(yùn)行管理系統(tǒng)的數(shù)據(jù)協(xié)同與應(yīng)用研究[J].人民交通，2018（2）：48-51.

[6] 阿里云. MaxCompute湖倉(cāng)一體[DB/OL].[2022-1-7].https：//help.aliyun.com/document_detail/205439.html.

[7] 張明全.業(yè)務(wù)安全和云化，深信服助力融合媒體智慧轉(zhuǎn)型[J].中國(guó)傳媒科技，2020（1）：14-19.

[8] 彭佳麗， 閆凱麗， 宗思雨，等. 數(shù)據(jù)驅(qū)動(dòng)下面向產(chǎn)品設(shè)計(jì)的需求識(shí)別研究[J]. 科技經(jīng)濟(jì)導(dǎo)刊， 2019（35）：2.

[9] 向中文，陳云.行業(yè)公共數(shù)據(jù)中心研究與應(yīng)用[J].計(jì)算機(jī)應(yīng)用，2001，21（3）：68-69.

【通聯(lián)編輯：王力】