基于Hadoop集群的多租戶(hù)管理方案探討

劉瑾 鄭玉清 山東農(nóng)業(yè)大學(xué)網(wǎng)信中心

基于Hadoop集群的多租戶(hù)管理方案探討

劉瑾 鄭玉清 山東農(nóng)業(yè)大學(xué)網(wǎng)信中心

現(xiàn)代社會(huì)正以不可想象的速度產(chǎn)生大數(shù)據(jù)，人類(lèi)已經(jīng)進(jìn)入數(shù)據(jù)爆炸性增長(zhǎng)的全新時(shí)代。伴隨著計(jì)算機(jī)技術(shù)與互聯(lián)網(wǎng)技術(shù)的發(fā)展，在產(chǎn)生大數(shù)據(jù)的同時(shí)，也為人們帶來(lái)了全新的云計(jì)算技術(shù)。而作為云計(jì)算技術(shù)的佼佼者，Hadoop平臺(tái)以其低成本和高效率贏(yíng)得了市場(chǎng)的認(rèn)可。本文以浪潮Insight平臺(tái)為例，從多租戶(hù)的角度出發(fā)，探討不同用戶(hù)之間的資源分配、權(quán)限隔離問(wèn)題。

hadoop集群 多租戶(hù) 權(quán)限管理 資源分配

隨著大數(shù)據(jù)時(shí)代的來(lái)臨，數(shù)據(jù)類(lèi)型不再僅限于結(jié)構(gòu)化數(shù)據(jù)，圖片等非結(jié)構(gòu)化數(shù)據(jù)也越來(lái)越多。各種各樣的數(shù)據(jù)呈現(xiàn)爆炸性增長(zhǎng)趨勢(shì)。數(shù)據(jù)的多樣化，碎片化，迫切需要一種平臺(tái)來(lái)支撐處理。此時(shí)，hadoop生態(tài)系統(tǒng)應(yīng)運(yùn)而生。

近年來(lái)我校在農(nóng)業(yè)大數(shù)據(jù)研究和應(yīng)用方面取得了突破性的進(jìn)展，鑒于農(nóng)業(yè)數(shù)據(jù)存儲(chǔ)和處理需求日益增加，學(xué)校投資并擴(kuò)建了500T的農(nóng)業(yè)大數(shù)據(jù)云平臺(tái)供師生開(kāi)展課題與研究。當(dāng)前我校的大數(shù)據(jù)平臺(tái)是把不同類(lèi)型的應(yīng)用分別部署在獨(dú)立的Hadoop集群上，每個(gè)課題項(xiàng)目組都有它自己的私有計(jì)算空間滿(mǎn)足計(jì)算資源，但由于硬件資源的配置缺乏統(tǒng)一標(biāo)準(zhǔn)，通常會(huì)導(dǎo)致平均利用率差，同時(shí)也給系統(tǒng)管理員增加了維護(hù)難度。為了提高資源利用率，降低資源成本，希望利用多租戶(hù)技術(shù)來(lái)滿(mǎn)足資源高度共享的模式。

1 Hadoop生態(tài)系統(tǒng)

目前Hadoop版本演進(jìn)為2．0版本。與1．0的最大差別是引入了HA(高可用)與YARN(資源調(diào)度)。它的主要組成部分有：HDFS：Hadoop分布式文件系統(tǒng)，提供高吞吐量的數(shù)據(jù)訪(fǎng)問(wèn)，適合大規(guī)模數(shù)據(jù)集方面的應(yīng)用。Yarn：資源管理系統(tǒng)，它是一個(gè)通用的資源模塊，可以為各類(lèi)應(yīng)用程序進(jìn)行資源管理和調(diào)度。MapReduce：提供快速并行處理海量數(shù)據(jù)的能力，是一種分布式數(shù)據(jù)處理模式。Spark：基于內(nèi)存進(jìn)行計(jì)算的分布式計(jì)算框架。Hive：建立在Hadoop之上的數(shù)據(jù)倉(cāng)庫(kù)，提供類(lèi)似于SQL的HQL語(yǔ)言、操作結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)服務(wù)和基本的數(shù)據(jù)分析服務(wù)。HBase：提供海量數(shù)據(jù)存儲(chǔ)功能，是一種構(gòu)建在HDFS之上的分布式、面向列的存儲(chǔ)系統(tǒng)。ZooKeeper：提供分布式、高可用性的協(xié)調(diào)服務(wù)能力。幫助系統(tǒng)避免單點(diǎn)故障，從而建立可靠的應(yīng)用程序。Oozie：提供了對(duì)Hadoop組件的任務(wù)編排、執(zhí)行的功能。以Java Web應(yīng)用程序的形式運(yùn)行在Java servlet容器（如：Tomcat）中，并使用數(shù)據(jù)庫(kù)來(lái)存儲(chǔ)工作流定義當(dāng)前運(yùn)行的工作流實(shí)例（含實(shí)例的狀態(tài)和變量）。Flume：支持在系統(tǒng)中定制各類(lèi)數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；提供了對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單處理和寫(xiě)入各種數(shù)據(jù)接收方的能力。

如圖所示：

2 多租戶(hù)管理技術(shù)方案探究

多租戶(hù)技術(shù)是一種軟件架構(gòu)技術(shù)，它旨在探討如何在多用戶(hù)環(huán)境下共用相同的系統(tǒng)或程序組件，同時(shí)又能確保用戶(hù)間數(shù)據(jù)的隔離性。Hadoop的多租戶(hù)是指一個(gè)Hadoop集群對(duì)多部門(mén)多用戶(hù)進(jìn)行服務(wù)，每一個(gè)用戶(hù)被稱(chēng)之為租戶(hù)。允許企業(yè)客戶(hù)用統(tǒng)一的平臺(tái)對(duì)同一份數(shù)據(jù)來(lái)進(jìn)行實(shí)時(shí)處理、交互訪(fǎng)問(wèn)，從而提高企業(yè)對(duì)hadoop集群的利用率。

2.1 關(guān)鍵技術(shù)

在大數(shù)據(jù)環(huán)境下，要想實(shí)現(xiàn)多租戶(hù)涉及以下關(guān)鍵技術(shù)：

2．1．1 公平調(diào)度：

在Hadoop集群中，由于資源是有限的，多租戶(hù)環(huán)境下會(huì)有很多作業(yè)在同時(shí)運(yùn)行，因此，資源的合理分配和回收對(duì)多租戶(hù)來(lái)講相當(dāng)重要。多租戶(hù)環(huán)境通常用到的是公平調(diào)度策略。因?yàn)檫@種高度既能讓長(zhǎng)時(shí)間運(yùn)行的作業(yè)及時(shí)完成，也能并發(fā)的運(yùn)行占用資源少的作業(yè)。

2．1．2 Kerberos：

Kerberos是Hadoop集群中的安全認(rèn)證組件。集群運(yùn)行時(shí)，集群內(nèi)的節(jié)點(diǎn)為使用密鑰得到認(rèn)證。只有被認(rèn)證的節(jié)點(diǎn)才能正常使用。

2．1．3 Ranger：

Ranger是Hadoop集群中的策略控制組件。該組件可以用圖形化界面對(duì)hive、hbase、hdfs和yarn等進(jìn)行策略配置。通過(guò)Ranger可以實(shí)現(xiàn)用戶(hù)之間的權(quán)限隔離。

2．1．4 資源池：

每個(gè)資源池里由管理員按照CPU虛擬核數(shù)和內(nèi)存量配置一定量的資源，包含一些用戶(hù)。這些用戶(hù)提交的作業(yè)可以使用這個(gè)池中的資源。

2.2 功能模塊

2．2．1 租戶(hù)管理

創(chuàng)建及管理租戶(hù)基本信息并且為租戶(hù)分配計(jì)算資源和存儲(chǔ)資源，為租戶(hù)分配相應(yīng)的權(quán)限模型。同時(shí)還能監(jiān)控租戶(hù)資源使用情況，包括CPU、內(nèi)存資源利用率、該租戶(hù)下運(yùn)行的作業(yè)等。在Hadoop集群中該功能模塊主要由yarn來(lái)實(shí)現(xiàn)。

2．2．2 資源管理

在yarn中基于cpu和內(nèi)存為粒度設(shè)計(jì)資源池，并為其分配資源權(quán)重、共享資源量等參數(shù)，同時(shí)監(jiān)控整個(gè)平臺(tái)的資源使用情況并對(duì)其進(jìn)行動(dòng)態(tài)調(diào)整。

2．2．3 權(quán)限管理

在該模塊中，針對(duì)hive庫(kù)表、hbase表、hdfs文件系統(tǒng)中的文件及目錄操作、MR作業(yè)提交配置相應(yīng)的權(quán)限模型，分配模型給對(duì)應(yīng)的用戶(hù)。在Hadoop集群中該功能模塊主要由Ranger來(lái)實(shí)現(xiàn)。

3 平臺(tái)測(cè)試

3.1 平臺(tái)環(huán)境與前期準(zhǔn)備

浪潮Insight是業(yè)界比較領(lǐng)先的HADOOP企業(yè)級(jí)發(fā)行版本。它以開(kāi)源的Apache Hadoop及其相關(guān)項(xiàng)目為核心組件，并在開(kāi)源框架的基礎(chǔ)上進(jìn)行了安全性增強(qiáng)。它提供了公平調(diào)度策略作為多租戶(hù)的資源管理，可以通過(guò)web方式進(jìn)行層次化隊(duì)列，以確保一個(gè)組織的子隊(duì)列之間共享其它隊(duì)列被允許的使用資源。

平臺(tái)測(cè)試環(huán)境為 3臺(tái)裝載了 centos6．7 系統(tǒng)的管理節(jié)點(diǎn)和7臺(tái)裝載了 centos6．7 系統(tǒng)的計(jì)算節(jié)點(diǎn)，并安裝浪潮Insight組件。以我校兩個(gè)課題組A和B為例，層次結(jié)構(gòu)如圖所示：

首先登陸到Insight 的管理控制臺(tái) Ambari，管理員的缺省用戶(hù)名和密碼是 admin / admin。成功登陸以后，可以看到整個(gè) Hadoop 集群的狀況。點(diǎn)擊“九宮格”進(jìn)入YARN QUEUE Manger選項(xiàng)，可以看到Insight缺省只有一個(gè)隊(duì)列得法default。單擊default隊(duì)列，可以看到該隊(duì)列所需的資源。新建課題A和課題B隊(duì)列，并在課題A和課題B隊(duì)列下新建與層次結(jié)構(gòu)圖相應(yīng)的隊(duì)列。

如圖所示：

每個(gè)隊(duì)列擁有集群容量的一小部分，而這個(gè)指定的隊(duì)列容量可以動(dòng)態(tài)地從集群節(jié)點(diǎn)中獲得。因?yàn)榭側(cè)萘靠梢宰兓?，因此?duì)列的容量配置值表示為百分?jǐn)?shù)。依次選中每個(gè)隊(duì)列，進(jìn)行 Capacity 屬性的設(shè)置，可以拖拽來(lái)調(diào)整百分比。Capacity 屬性在層次結(jié)構(gòu)中的任何級(jí)別的總和必須等于100%，當(dāng)設(shè)置不正確的時(shí)候，配置界面會(huì)出現(xiàn)紅色警告。

3.2 多租戶(hù)驗(yàn)證

下面視圖可以看出 researchA隊(duì)列和researchB隊(duì)列由不同的用戶(hù) lj、mhj、participatorA、分別提交任務(wù)，在ResourceManager UI 的 Scheduler 視圖可以監(jiān)控到任務(wù)被分配到不同的隊(duì)列。

如圖所示：

4 結(jié)束語(yǔ)

本文通過(guò)理論聯(lián)系實(shí)際的方式描述了如何在浪潮Insight上采用公平調(diào)度策略來(lái)實(shí)現(xiàn)多租戶(hù)。Insight管理控制臺(tái)提供web視圖的方式來(lái)管理多租戶(hù)。實(shí)踐結(jié)果表明，本文研究成果有效提升集群計(jì)算能力，統(tǒng)一平臺(tái)用戶(hù)使用界面，節(jié)省維護(hù)成本與管理開(kāi)支。

[1]林海略,韓燕波.多租戶(hù)應(yīng)用的性能管理關(guān)鍵問(wèn)題研究[J].計(jì)算機(jī)學(xué)報(bào).2010(10)

[2]廖鋒,成靜靜.大數(shù)據(jù)環(huán)境下Hadoop分布式系統(tǒng)的研究與設(shè)計(jì)[J].廣東通信技術(shù).2013(10)

[3]李偉衛(wèi).基于Hadoop平臺(tái)的數(shù)據(jù)挖掘技術(shù)研究[D].西北農(nóng)林科技大學(xué).(2013)

[4]曹英.大數(shù)據(jù)環(huán)境下Hadoop性能優(yōu)化的研究[D].大連海事大學(xué).(2013)

[5]陳娜.基于Hadoop平臺(tái)的海量數(shù)據(jù)處理應(yīng)用[D].吉林大學(xué).(2012)

劉瑾(1983－)，女，漢，泰安市寧陽(yáng)縣人，工程師，碩士研究生，主要研究方向?yàn)橛?jì)算機(jī)網(wǎng)絡(luò)、大數(shù)據(jù)與虛擬化。