梁明煌 吳航

【摘要】 科學(xué)技術(shù)及互聯(lián)網(wǎng)的發(fā)展，推動(dòng)著大數(shù)據(jù)時(shí)代的來臨。文章介紹了中國移動(dòng)集團(tuán)公司在移動(dòng)互聯(lián)網(wǎng)支付系統(tǒng)建設(shè)中成功運(yùn)用Hadoop技術(shù)的典型案例。案例采用了Hadoop云計(jì)算技術(shù)，實(shí)現(xiàn)了分布式數(shù)據(jù)和計(jì)算框架，對(duì)海量數(shù)據(jù)進(jìn)行分布式并發(fā)計(jì)算，提升了系統(tǒng)并行處理能力，減少了處理等待時(shí)間，滿足了移動(dòng)支付多樣化及第三方支付平臺(tái)接入的需要，系統(tǒng)健壯性也得到了極大的提高。

【關(guān)鍵詞】 中國移動(dòng) Hadoop HDFS MapReduce 移動(dòng)支付 調(diào)度引擎 任務(wù)引擎Application of Hadoop technology in mobile payment industry

Liang Minghuang Wu Hang

[Abstract] With the development of science and technology and the Internet， the advent of the era of big data. This article introduces the typical cases of the successful application of Hadoop technology in the construction of the payment system of China Mobile group. In this case the Hadoop cloud computing technology， realize the distributed data and computing framework， distributed & concurrent computing on massive data. Through the mechanism of Hadoop， we are able to enhance the ability of parallel processing， to meet the demand of mobile payment， to diversify the payment platform access need， system robustness has also been greatly improved.

[Key words] China Mobile Hadoop HDFS MapReduce Mobile payment Scheduling engine Task engine

引言

科學(xué)技術(shù)及互聯(lián)網(wǎng)的發(fā)展，推動(dòng)著大數(shù)據(jù)時(shí)代的來臨?！盎ヂ?lián)網(wǎng)+”的創(chuàng)新模式使得傳統(tǒng)行業(yè)與互聯(lián)網(wǎng)融合發(fā)展，形成了更廣泛的以互聯(lián)網(wǎng)為基礎(chǔ)設(shè)施和實(shí)現(xiàn)工具的新經(jīng)濟(jì)發(fā)展模式，也使得大數(shù)據(jù)的處理越來越引人注目。

Hadoop技術(shù)，在大數(shù)據(jù)分析以及非結(jié)構(gòu)化數(shù)據(jù)蔓延的背景下，一出現(xiàn)就受到眾多大公司的青睞。迄今為止，Hadoop在互聯(lián)網(wǎng)領(lǐng)域已經(jīng)得到了廣泛運(yùn)用，例如，Yahoo 使用4 000個(gè)節(jié)點(diǎn)的Hadoop集群來支持廣告系統(tǒng)和Web 搜索的研究；Facebook 使用1 000 個(gè)節(jié)點(diǎn)的集群運(yùn)行Hadoop，存儲(chǔ)日志數(shù)據(jù)，支持其上的數(shù)據(jù)分析和機(jī)器學(xué)習(xí)；百度用Hadoop處理每周200TB 的數(shù)據(jù)，從而進(jìn)行搜索日志分析和網(wǎng)頁數(shù)據(jù)挖掘工作，等等。

本文介紹的是中國移動(dòng)某子公司在移動(dòng)互聯(lián)網(wǎng)支付系統(tǒng)建設(shè)中（簡(jiǎn)稱移動(dòng)支付系統(tǒng)），成功運(yùn)用Hadoop技術(shù)的典型案例。

一、Hadoop是什么

Hadoop是一個(gè)由Apache基金會(huì)所支持的用Java實(shí)現(xiàn)的開源分布式數(shù)據(jù)和計(jì)算框架，在由大量計(jì)算機(jī)組成的集群中實(shí)現(xiàn)了對(duì)海量數(shù)據(jù)進(jìn)行分布式計(jì)算。允許用戶在不了解底層細(xì)節(jié)的情況下，使用分布式程序。充分利用集群的威力進(jìn)行高速運(yùn)算和存儲(chǔ)。

Hadoop框架的核心，是HDFS和MapReduce。HDFS為海量數(shù)據(jù)提供存儲(chǔ)，MapReduce為海量數(shù)據(jù)提供計(jì)算。

1.1 HDFS簡(jiǎn)介

整個(gè)Hadoop的體系結(jié)構(gòu)主要是通過HDFS來實(shí)現(xiàn)對(duì)分布式存儲(chǔ)支持，。

HDFS采用主從（Master/Slave）結(jié)構(gòu)模型，由一個(gè)NameNode和若干DataNode組成的。存儲(chǔ)在 HDFS 中的文件被分成塊，然后將這些塊分散到多個(gè)DataNode中。NameNode負(fù)責(zé)管理文件系統(tǒng)命名空間和客戶端對(duì)文件的訪問操作。DataNode管理存儲(chǔ)的數(shù)據(jù)。

1.2 MapReduce簡(jiǎn)介

MapReduce框架由一個(gè)JobTracker（調(diào)度引擎）和多個(gè)TaskTracker（任務(wù)引擎）共同組成。JobTracker負(fù)責(zé)調(diào)度構(gòu)成一個(gè)作業(yè)的所有任務(wù)，這些任務(wù)被分發(fā)到空閑的TaskTracker上執(zhí)行。當(dāng)一個(gè)作業(yè)被提交時(shí)，JobTracker接收作業(yè)內(nèi)容和配置信息，然后生成Map和Reduce任務(wù)指派給空閑的TaskTracker執(zhí)行，同時(shí)監(jiān)視它們的執(zhí)行情況，并重新分派失敗的任務(wù)。即如果TaskTracker出了故障，JobTracker會(huì)把任務(wù)轉(zhuǎn)交給另一個(gè)空閑的TaskTracker重新運(yùn)行。

1.3 HDFS與MapReduce的結(jié)合

HDFS和MapReduce共同組成Hadoop分布式系統(tǒng)體系結(jié)構(gòu)的核心。HDFS實(shí)現(xiàn)了分布式文件系統(tǒng)，MapReduce實(shí)現(xiàn)了分布式計(jì)算處理。HDFS在MapReduce任務(wù)處理過程中提供了存儲(chǔ)支持，MapReduce在HDFS的基礎(chǔ)上實(shí)現(xiàn)了任務(wù)的分發(fā)、、執(zhí)行跟蹤等工作，二者相互作用，完成分布式集群的不同作業(yè)。

二、移動(dòng)支付業(yè)務(wù)

移動(dòng)支付也稱為手機(jī)支付，就是允許用戶使用其移動(dòng)終端（通常是手機(jī)）對(duì)所消費(fèi)的商品或服務(wù)進(jìn)行賬務(wù)支付的一種服務(wù)方式。單位或個(gè)人通過移動(dòng)設(shè)備、互聯(lián)網(wǎng)或者近距離傳感直接或間接向銀行金融機(jī)構(gòu)發(fā)送支付指令產(chǎn)生貨幣支付與資金轉(zhuǎn)移行為，從而實(shí)現(xiàn)移動(dòng)支付功能。移動(dòng)支付將終端設(shè)備、互聯(lián)網(wǎng)、應(yīng)用提供商以及金融機(jī)構(gòu)相融合，為用戶提供貨幣支付、繳費(fèi)等金融業(yè)務(wù)。

2.1 中國移動(dòng)支付業(yè)務(wù)

本文介紹的移動(dòng)支付系統(tǒng)是中國移動(dòng)集團(tuán)公司為了解決銀行繳費(fèi)分省接入模式下網(wǎng)絡(luò)成本高、傭金成本高、運(yùn)營成本高、用戶體驗(yàn)不一致等問題，構(gòu)建的集中運(yùn)營、全網(wǎng)覆蓋的統(tǒng)一支付體系。

移動(dòng)支付系統(tǒng)通過移動(dòng)總部系統(tǒng)和銀行系統(tǒng)采用一點(diǎn)接入，完成總部（包括31個(gè)省公司）與全國性商業(yè)銀行開展移動(dòng)總部對(duì)銀行總部的繳費(fèi)服務(wù)合作，實(shí)現(xiàn)了客戶繳納手機(jī)話費(fèi)和營銷活動(dòng)費(fèi)用的服務(wù)。后期，系統(tǒng)持續(xù)推進(jìn)集中充值和支付能力建設(shè)，實(shí)現(xiàn)了分散向集中轉(zhuǎn)型、費(fèi)率和能力雙統(tǒng)一。增加支持電子渠道繳費(fèi)業(yè)務(wù)，支持電子充值營銷推廣。最大的亮點(diǎn)是對(duì)外提供了繳費(fèi)能力平臺(tái)，實(shí)現(xiàn)了與天貓、移動(dòng)商城的繳費(fèi)合作，提供第三方支付能力的接入。系統(tǒng)建設(shè)示意圖如圖1所示。Hadoop技術(shù)，正是在此移動(dòng)支付中實(shí)施應(yīng)用的。

三、Hadoop技術(shù)在移動(dòng)支付中的應(yīng)用

移動(dòng)支付系統(tǒng)提供了實(shí)時(shí)在線繳費(fèi)和離線對(duì)賬結(jié)算兩部分。實(shí)時(shí)在線繳費(fèi)負(fù)責(zé)完成實(shí)時(shí)繳費(fèi)交易的處理，主要以HTTP即時(shí)請(qǐng)求的方式出現(xiàn)。離線對(duì)賬結(jié)算主要負(fù)責(zé)完成多方之間各類交易數(shù)據(jù)的每日對(duì)賬、定時(shí)結(jié)算、資金清分等，主要以文件批處理的形式出現(xiàn)。前文所提及的Hadoop應(yīng)用主要體現(xiàn)在離線對(duì)賬結(jié)算功能中。

3.1 離線對(duì)賬結(jié)算架構(gòu)方案

1）集群包括HDFS、MapReduce、YARN、Zookeeper和Hive。

2）集群通過JAVA接口訪問，包括對(duì)HDFS和Hive的基本操作。

3）各方對(duì)賬的底層就是文件的比對(duì)，兩方文件比對(duì)作為一個(gè)業(yè)務(wù)插件通過公共接口訪問操作集群。

4）對(duì)賬結(jié)算流程支持：

a.在HIVE中建立三張按省、日期進(jìn)行分區(qū)的表，分別用于存放源比對(duì)數(shù)據(jù)、目標(biāo)比對(duì)數(shù)據(jù)和雙方的差異數(shù)據(jù)

b.每次對(duì)賬開始先將源和目標(biāo)的比對(duì)文件上傳到HDFS上

c.對(duì)賬業(yè)務(wù)插件將HDFS文件以Hive表的形式加載

d.通過程序調(diào)用執(zhí)行比對(duì)的業(yè)務(wù)邏輯sql，將差異數(shù)據(jù)形成差異表

e.差異生成組件再讀差異表對(duì)應(yīng)的HDFS文件；

f.將數(shù)據(jù)導(dǎo)出到現(xiàn)有的數(shù)據(jù)庫中以備后續(xù)的處理訪問。

3.2 總體技術(shù)圖（圖3）

總體技術(shù)圖分為三部分：

1）調(diào)度管理子系統(tǒng)：自主研發(fā)的管理系統(tǒng)WEBX，提供任務(wù)流程的定義，實(shí)現(xiàn)調(diào)度管理系統(tǒng)功能。

2）調(diào)度引擎子系統(tǒng)：實(shí)現(xiàn)獲取調(diào)度管理定義的元數(shù)據(jù)，并行運(yùn)行各個(gè)任務(wù)流程，根據(jù)每個(gè)任務(wù)流程中的任務(wù)節(jié)點(diǎn)信息，分發(fā)給任務(wù)引擎執(zhí)行調(diào)度的分發(fā)工作。

3）任務(wù)引擎子系統(tǒng)：實(shí)現(xiàn)對(duì)各種原子任務(wù)形成組件形成統(tǒng)一管理，對(duì)外開放統(tǒng)一接口來獲取調(diào)度引擎信息，通過key-value方式動(dòng)態(tài)調(diào)用實(shí)際任務(wù)組件，實(shí)現(xiàn)任務(wù)的執(zhí)行。

從數(shù)據(jù)的流向看，劃分為調(diào)度層、服務(wù)層和數(shù)據(jù)層：

1）調(diào)度層：讀取元數(shù)據(jù)信息，啟動(dòng)流程任務(wù)調(diào)度，分發(fā)給任務(wù)引擎處理。主要使用調(diào)度引擎實(shí)現(xiàn)各個(gè)流程的調(diào)度，核心的消息狀態(tài)觸發(fā)以及監(jiān)聽機(jī)制采用YARN實(shí)現(xiàn)。

2）服務(wù)層：調(diào)度管理系統(tǒng)來搜集定義以及管理各個(gè)任務(wù)流程元數(shù)據(jù)信息，使用任務(wù)引擎提供實(shí)際任務(wù)的執(zhí)行服務(wù)。主要采用任務(wù)引擎以及調(diào)度管理系統(tǒng)實(shí)現(xiàn)，對(duì)任務(wù)的各個(gè)組件采用原子化的方式管理，滿足原子任務(wù)拼裝定義成復(fù)雜流程。其核心組件主要有：業(yè)務(wù)到達(dá)、文件備份、文件校驗(yàn)、文件入庫、文件比對(duì)、差異生成等組件。

3）數(shù)據(jù)層：主要由Sybase以及HDFS組成，負(fù)責(zé)業(yè)務(wù)數(shù)據(jù)和文件的存儲(chǔ)

在功能層次上，劃分為前臺(tái)UI層、后臺(tái)邏輯層和網(wǎng)元接口層：

1）前臺(tái)UI層：前臺(tái)UI層負(fù)責(zé)向用戶展示UI界面，所有的用戶請(qǐng)求都通過apache前置機(jī)分發(fā)給后臺(tái)邏輯層。

2）后臺(tái)邏輯層：后臺(tái)邏輯層物理上由N個(gè)子系統(tǒng)組成， apache前置機(jī)負(fù)責(zé)將用戶的功能請(qǐng)求分發(fā)到不同的子系統(tǒng)上。

3）網(wǎng)元接口層：網(wǎng)元接口層負(fù)責(zé)獲取以及推送對(duì)外網(wǎng)元的相關(guān)接口數(shù)據(jù)。

四、性能表現(xiàn)

使用了Hadoop技術(shù)以后，相對(duì)于未使用hadoop的一期系統(tǒng)，性能有了多方面不同程度的提升。為了方便比對(duì)，我們?cè)趦蓚€(gè)系統(tǒng)上各自運(yùn)行測(cè)試任務(wù)，將兩個(gè)100萬記錄的文件進(jìn)行逐行比對(duì)，并分別生成相同數(shù)據(jù)記錄與有差異的數(shù)據(jù)記錄。以下是一系列性能測(cè)試的結(jié)果，我們將其總結(jié)為圖表。

4.1 任務(wù)并發(fā)性能顯著增強(qiáng)

通過測(cè)試，我們發(fā)現(xiàn)由于一期系統(tǒng)采用數(shù)據(jù)庫進(jìn)行任務(wù)處理，其處理效率取決于oracle數(shù)據(jù)庫的處理性能。因此，當(dāng)數(shù)據(jù)庫滿負(fù)荷的情況下，其任務(wù)處理時(shí)間基本近似于任務(wù)的串行處理時(shí)間。且數(shù)據(jù)庫是一個(gè)不易于擴(kuò)展的節(jié)點(diǎn)資源，因此暫時(shí)認(rèn)為其不適合處理并發(fā)多任務(wù)。

而二期系統(tǒng)由于采用多節(jié)點(diǎn)的Hadoop組織方式，因此任務(wù)分被分配到各個(gè)空閑節(jié)點(diǎn)上執(zhí)行，同時(shí)，在Hadoop組織方式下，處理節(jié)點(diǎn)是一個(gè)易于擴(kuò)展的資源，因此，二期系統(tǒng)的并發(fā)處理能力要強(qiáng) 于一期系統(tǒng)。

4.2 具備線性擴(kuò)展能力

從上表中可以看出，兩個(gè)系統(tǒng)相比，在少量任務(wù)的處理能力上，并沒有明顯的差距。但使用了Hadoop平臺(tái)的統(tǒng)一支付二期系統(tǒng)在多任務(wù)并發(fā)的場(chǎng)景下，其任務(wù)處理時(shí)間是一條增長更為平緩的曲線。因此，可以認(rèn)為使用了Hadoop平臺(tái)，也充分繼承了其線性擴(kuò)展能力的特點(diǎn)。

4.3 具備大文件處理 能力

這也是使用Hadoop平臺(tái)帶來的一個(gè)優(yōu)勢(shì)。

在一期系統(tǒng)中，正常情況下系統(tǒng)無法處理超大文件，需要 對(duì)文件進(jìn)行分片，即分割為100MB大小的多個(gè)記錄文件。當(dāng)內(nèi)容記錄較多時(shí)，會(huì)產(chǎn)生一大堆從001到999編號(hào)的文件，記錄 出錯(cuò)概率大，運(yùn)維管理難度高。Hadoop平臺(tái)天生對(duì)大文件有良好的支持，最新版本的Hadoop平臺(tái)在存儲(chǔ)時(shí)自動(dòng)將大文件以128M大小的分片進(jìn)行存放。因此，從應(yīng)用視角，只需要操作一個(gè)文件，不必?fù)?dān)心其大小超過限制。這也為開發(fā)、測(cè)試、運(yùn)維工作帶來了諸多多便利。

五、結(jié)束語

經(jīng)過不斷調(diào)優(yōu)和持續(xù)改進(jìn)，歷時(shí)一年的不懈努力，二期系統(tǒng)終于在去年年底順利上線并投入運(yùn)營。在該系統(tǒng)中，項(xiàng)目團(tuán)隊(duì)首次采用了Hadoop云計(jì)算技術(shù)，提升了系統(tǒng)并行處理能力，不僅滿足了移動(dòng)支付多樣化及第三方支付平臺(tái)接入的需要，系統(tǒng)吞吐量及健壯性也得到了極大的提高，滿足了互聯(lián)網(wǎng)時(shí)代大數(shù)據(jù)處理需求。

參 考 文 獻(xiàn)

[1]中國移動(dòng)通信集團(tuán)公司. 中國移動(dòng)統(tǒng)一支付系統(tǒng)二期工程需求. 2014-03

[2]中國移動(dòng)通信集團(tuán)公司. 中國移動(dòng)統(tǒng)一支付系統(tǒng)技術(shù)方案. 2014-04

[3]中國移動(dòng)通信集團(tuán)公司. 中國移動(dòng)統(tǒng)一支付系統(tǒng)二期架構(gòu)設(shè)計(jì). 2014-06

[4]告訴你Hadoop是什么 .中國大數(shù)據(jù). 2014-06.http：//www.thebigdata.cn/Hadoop/10722.html

[5]詳解Hadoop核心架構(gòu) .中國大數(shù)據(jù). 2014-07.http：//www.thebigdata.cn/Hadoop/10973.html

[6]為什么hadoop對(duì)你大數(shù)據(jù)處理的意義重大.中國大數(shù)據(jù). 2014-03.http：//www.thebigdata.cn/Hadoop/9064.html

[7]移動(dòng)支付的五種技術(shù).價(jià)值中國. 2013-04. http：//www.chinavalue.net/BookInfo/Comment.aspx？CommentID=48215

[8]陸嘉恒. Hadoop在百度中的應(yīng)用. 腳本百事通. http：//www.csdn123.com/html/itweb/20130916/120496_120504_120501.htm