基于HBase的大數(shù)據(jù)平臺(tái)負(fù)載均衡算法分析與優(yōu)化

邵芳 王勇

摘 要：HBase原有負(fù)載均衡算法策略是保證每個(gè)Region Server的Region數(shù)目相同。但每個(gè)Region的訪問并不均等，可能造成負(fù)載不均衡情況，產(chǎn)生熱點(diǎn)數(shù)據(jù)，影響請(qǐng)求響應(yīng)效率。部分Region會(huì)成為熱點(diǎn)，導(dǎo)致一些Region Server負(fù)載過重。為提高HBase數(shù)據(jù)庫(kù)整體性能，將數(shù)據(jù)熱度因素考慮在內(nèi)，使用預(yù)測(cè)方法設(shè)計(jì)HBase負(fù)載均衡算法，把預(yù)測(cè)數(shù)據(jù)的熱度作為Region Server負(fù)載。實(shí)驗(yàn)表明，優(yōu)化后的負(fù)載均衡算法可在一定程度上提高HBase數(shù)據(jù)庫(kù)性能。

關(guān)鍵詞：HBase;大數(shù)據(jù);負(fù)載均衡;熱點(diǎn)數(shù)據(jù);預(yù)測(cè)

DOI：10. 11907/rjdk. 181331

中圖分類號(hào)：TP312文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1672-7800（2019）001-0104-04

Abstract： In order to improve the performance of HBase database， the original load balancing algorithm of HBase is analyzed. The original algorithm strategy ensures that the number of Region per Region Server is the same， but because the access of each Region is not equal， it may cause the load imbalance， generate hot data， and affect the response efficiency of the request. Part of the Region will become a hot spot， which some Region Server overload. It is very important to consider the impact of the heat of the data on the load balancing of a distributed database. Therefore， the prediction method is used to design the HBase load balancing algorithm and predict the heat of the data as the load of the Region Server. The experiment shows that the optimized load balancing algorithm can improve the performance of HBase database.

0 引言

隨著互聯(lián)網(wǎng)的迅猛發(fā)展，利用傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)解決大規(guī)模數(shù)據(jù)集存在的問題引起廣泛關(guān)注，NoSQL（Not Only SQL，NoSQL ，非關(guān)系型數(shù)據(jù)庫(kù)）研究成為熱點(diǎn)[1]。互聯(lián)網(wǎng)產(chǎn)生的數(shù)據(jù)量增長(zhǎng)迅速，對(duì)于海量數(shù)據(jù)的不斷增長(zhǎng)，要求系統(tǒng)具有良好的橫向擴(kuò)展性，集群技術(shù)能夠解決此類問題[2]。集群之間能資源共享，控制任務(wù)分發(fā)調(diào)度性能，并且隨著數(shù)據(jù)的增加進(jìn)行擴(kuò)展。

Apache HBase是開源分布式NoSQL數(shù)據(jù)庫(kù)，HBase技術(shù)源于《Bigtable：一個(gè)結(jié)構(gòu)化數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)》這篇Google論文[3]。HBase作為一個(gè)分布式列存儲(chǔ)數(shù)據(jù)庫(kù)，因其高可用性、可擴(kuò)展性等特征而被廣泛應(yīng)用。HBase和Hadoop無縫集成，利用HDFS實(shí)現(xiàn)數(shù)據(jù)的底層分布式存儲(chǔ)[4]。HBase數(shù)據(jù)庫(kù)是列式存儲(chǔ)的數(shù)據(jù)庫(kù)，表的列數(shù)可在建表后動(dòng)態(tài)增加，對(duì)于無實(shí)際值的列不進(jìn)行存儲(chǔ)，節(jié)省空間。健康大數(shù)據(jù)平臺(tái)使用HBase數(shù)據(jù)庫(kù)，負(fù)載不均問題直接影響到整個(gè)集群的性能。隨著大量數(shù)據(jù)的注入，HBase Region數(shù)目的增加或不均等地對(duì)Region Server訪問[5]，HBase通過負(fù)載均衡算法保證盡量均等地分配每個(gè)Region Server。國(guó)內(nèi)外很多知名企業(yè)都使用NoSQL 數(shù)據(jù)庫(kù)存儲(chǔ)數(shù)據(jù)，如百度、新浪、Google、騰訊、阿里巴巴、Facebook等[6]。NoSQL數(shù)據(jù)庫(kù)相關(guān)技術(shù)還在不斷發(fā)展，互聯(lián)網(wǎng)時(shí)代海量數(shù)據(jù)的應(yīng)用需求為NoSQL的發(fā)展提供了源源不斷的動(dòng)力。因此，對(duì)非關(guān)系型數(shù)據(jù)庫(kù)HBase負(fù)載均衡的研究具有重要意義。

1 HBase負(fù)載均衡算法分析

如果Region Server存在負(fù)載不均衡，那么部分節(jié)點(diǎn)的堵塞情況就很容易發(fā)生，進(jìn)而影響整體性能[7]。通過多種措施可以對(duì)HBase進(jìn)行性能調(diào)優(yōu)[8]，在0.92版本以后，HBase的負(fù)載均衡算法可通過實(shí)現(xiàn)了LoadBalancer接口的hbase.master.loadbalancer.class來自定義，實(shí)現(xiàn)定制的均衡策略，負(fù)載均衡策略是可插拔的。

1.1 SimpleLoadBalancer負(fù)載均衡策略分析

在HBase0.94版本中，默認(rèn)使用SimpleLoadBalancer負(fù)載均衡算法，算法步驟是：計(jì)算每個(gè)Region Server中Region的總數(shù)目，用Region總數(shù)除以Region Server的數(shù)目得到每個(gè)Region Server的Region平均數(shù)目averageNum，最小值min的值為floor（averageNum），最大值max的值為ceiling（averageNum）[9]。如果所有Region Server都在此范圍內(nèi)，說明不需要進(jìn)行負(fù)載均衡操作。否則，從負(fù)載Region數(shù)目最大的Region Server開始遍歷到負(fù)載數(shù)目小于等于max為止，把這些需要轉(zhuǎn)移的Region存儲(chǔ)起來，設(shè)置原地址和目的地址（暫時(shí)為空）。從負(fù)載Region數(shù)目最小的Region Server開始遍歷到負(fù)載數(shù)目大于等于min為止，設(shè)置為目的地址。如果仍有負(fù)載小于min的Region Server，則從Region數(shù)目最多的Region Server中取出一個(gè)Region轉(zhuǎn)移到此Region Server中，直到?jīng)]有負(fù)載小于min的Region Server為止。如果仍然存在目的地址為空，則從負(fù)載最低的Region Server開始遍歷，如果此Region Server負(fù)載小于max則將其地址設(shè)置為目的地址，直到?jīng)]有為空的目的地址。若所有目的地址都不為空，則返回。否則，沒有目的地址的Region仍放在原Region Server中。