李興菊 趙建軍 聶紅梅 王迎

摘要：HBase列式非關(guān)系型數(shù)據(jù)庫行鍵設(shè)計(jì)決定了海量數(shù)據(jù)存儲(chǔ)與查詢效率。針對(duì)目前存在的數(shù)據(jù)存儲(chǔ)問題及檢索效率問題，對(duì)現(xiàn)有5種主流方法進(jìn)行數(shù)據(jù)測試后，選擇了相對(duì)較優(yōu)的哈希前綴法，井在原有基礎(chǔ)上根據(jù)智慧水務(wù)系統(tǒng)中的數(shù)據(jù)結(jié)構(gòu)特性，使用重要字段提升法結(jié)合逆序行鍵方法進(jìn)行設(shè)計(jì).驗(yàn)證結(jié)果顯示，該行鍵組合法針對(duì)智慧水務(wù)中的時(shí)序性數(shù)據(jù)，在存儲(chǔ)方面解決了寫入熱點(diǎn)與存儲(chǔ)分散相矛盾的問題，檢索效率在原有哈希前綴法基礎(chǔ)上也有了一定提升。

關(guān)鍵詞：HBase;數(shù)據(jù)庫;行鍵;數(shù)據(jù)模型;智慧水務(wù)

DOI：10.11907/ejdk.191271開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

中圖分類號(hào)：TP391文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-7800（2019）010-0178-04

0引言

非關(guān)系型數(shù)據(jù)庫系統(tǒng)（Not only SQL，NoSQL）的誕生解決了互聯(lián)網(wǎng)Web2.0時(shí)代帶來的數(shù)據(jù)存儲(chǔ)處理瓶頸問題，非關(guān)系型數(shù)據(jù)庫由于具有高并發(fā)性以及強(qiáng)大的擴(kuò)展性等優(yōu)點(diǎn)，彌補(bǔ)了關(guān)系型數(shù)據(jù)庫的不足。非關(guān)系型數(shù)據(jù)庫中的列式存儲(chǔ)系統(tǒng)HBase的出現(xiàn)更是在很大程度上解決了數(shù)據(jù)存儲(chǔ)問題，并一度使HBase成為當(dāng)前的熱門存儲(chǔ)技術(shù)之一。雖然目前已有很多針對(duì)HBase存儲(chǔ)與查詢的相關(guān)研究，但由于應(yīng)用場景及存儲(chǔ)數(shù)據(jù)結(jié)構(gòu)的不同，使設(shè)計(jì)的HBase存儲(chǔ)模式無法解決數(shù)據(jù)在存儲(chǔ)與查詢過程中面臨的效率問題。根據(jù)大量針對(duì)HBase的相關(guān)研究，選擇對(duì)HBase數(shù)據(jù)存儲(chǔ)與查詢影響相對(duì)較大的部分——行鍵設(shè)計(jì)進(jìn)行討論。例如在文獻(xiàn)中對(duì)HBase數(shù)據(jù)庫模式設(shè)計(jì)進(jìn)行討論，并采用組合方法設(shè)計(jì)了行鍵，但其僅注重模式選擇，而對(duì)行鍵具體設(shè)計(jì)并未作過多討論及驗(yàn)證;圣文順、徐愛萍在數(shù)據(jù)檢索方面分別使用基于行鍵前綴匹配及關(guān)鍵字匹配的方式提高數(shù)據(jù)檢索效率，但該實(shí)現(xiàn)方式需要犧牲數(shù)據(jù)寫入能力。通過總結(jié)以上行鍵設(shè)計(jì)方法，針對(duì)居民用水?dāng)?shù)據(jù)設(shè)計(jì)了一種相對(duì)合理的行鍵，最后對(duì)設(shè)計(jì)結(jié)果進(jìn)行實(shí)驗(yàn)驗(yàn)證。結(jié)果證明該行鍵方法在處理此類數(shù)據(jù)時(shí)，相比其它行鍵方法在解決存儲(chǔ)與檢索熱點(diǎn)問題方面具有一定優(yōu)勢(shì)。

1HBase數(shù)據(jù)庫

HBase（Hadoop Database）數(shù)據(jù)庫是非關(guān)系型數(shù)據(jù)庫（NoSQL）的一種，其參考了Google的Bigtable開源分布式系統(tǒng)，使用Hadoop中的分布式文件系統(tǒng)HDFS作為數(shù)據(jù)底層存儲(chǔ)系統(tǒng)，具有高可靠性、面向列與可伸縮等特性，因其自身的獨(dú)特特性，常被用來存儲(chǔ)海量非結(jié)構(gòu)化和半結(jié)構(gòu)化的松散數(shù)據(jù)。HBase主要具有以下特點(diǎn)：①海量性：可存儲(chǔ)百萬億數(shù)量級(jí)的數(shù)據(jù);②列式存儲(chǔ)特性：不存在數(shù)據(jù)稀疏性問題，大大節(jié)省了存儲(chǔ)開銷;③可擴(kuò)展性：以HDFS作為底層文件存儲(chǔ)方式，繼承了其可擴(kuò)展性;④高可靠性：HDFS的冗余備份機(jī)制減少了數(shù)據(jù)丟失情況;⑤高性能：檢索效率可達(dá)到毫秒級(jí)別。

以上特點(diǎn)一方面體現(xiàn)出其與傳統(tǒng)關(guān)系型數(shù)據(jù)庫的不同，另一方面也體現(xiàn)了HBase在數(shù)據(jù)管理性能方面的優(yōu)越性。圖1為HBase系統(tǒng)框架，其不僅展示了HBase的核心組件，還展示了與Hadoop在數(shù)據(jù)存儲(chǔ)工作中的關(guān)系。圖1中HBase的4個(gè)核心組件分別是客戶端（Client）、主服務(wù)器（Master）、Region服務(wù)器以及協(xié)調(diào)服務(wù)器（Zookeeper）?？蛻舳耸侨藗兣cHBase通話的人口，Zookeeper用來從眾多Master中選出一個(gè)集群總管，以保證在任何時(shí)刻都有唯一一個(gè)Master節(jié)點(diǎn)在工作，避免出現(xiàn)“單點(diǎn)失效”問題;Mas-ter服務(wù)器負(fù)責(zé)對(duì)每個(gè)Region服務(wù)器進(jìn)行協(xié)調(diào)，將集中在某個(gè)Region服務(wù)器的操作均衡分配到負(fù)載較輕的服務(wù)器中，準(zhǔn)確地說是對(duì)整個(gè)集群進(jìn)行管理;Region服務(wù)器負(fù)責(zé)對(duì)其下面的Region提供讀寫操作，當(dāng)Region超過分配值大小時(shí)對(duì)其進(jìn)行拆分，并對(duì)單個(gè)小文件進(jìn)行合并。

2HBase數(shù)據(jù)模型

HBase是一個(gè)稀疏、多維度、排序的映射表，該表的索引是行鍵、列族、列限定符與時(shí)間戳。圖2為HBase數(shù)據(jù)模型。

HBase與普通數(shù)據(jù)庫都采用表組織數(shù)據(jù)，整張表由行和列組成，可以有若干行，其使用行鍵進(jìn)行標(biāo)識(shí)，是HBase中的唯一索引。由多個(gè)列構(gòu)成的列族也是表的組成部分之一，每個(gè)單元格通過行、列族與列限定符確定，單元格中的數(shù)據(jù)還未定義數(shù)據(jù)類型，通常情況下默認(rèn)為字節(jié)數(shù)組。單元格中使用時(shí)間戳區(qū)分不同時(shí)刻的數(shù)據(jù)版本，時(shí)間戳通常也參與單元格定位，故行鍵、列族、列限定符與時(shí)間戳用來確定一個(gè)唯一單元格。

3行鍵設(shè)計(jì)

HBase中不管是表列族存儲(chǔ)還是Region劃分都是基于行鍵進(jìn)行的，因此HBase的存儲(chǔ)結(jié)構(gòu)很大一部分都與行鍵設(shè)計(jì)有關(guān)，對(duì)HBase數(shù)據(jù)庫以及數(shù)據(jù)模型的基本認(rèn)識(shí)有利于針對(duì)不同數(shù)據(jù)管理進(jìn)行行鍵設(shè)計(jì)。由于HBase在存儲(chǔ)時(shí)使用列族而非列進(jìn)行數(shù)據(jù)分割，底層存儲(chǔ)使用列族將數(shù)據(jù)線性存人單元格中，每個(gè)列族則按照行鍵使用其字典順序進(jìn)行數(shù)據(jù)存儲(chǔ)。行鍵設(shè)計(jì)決定了每個(gè)Region中數(shù)據(jù)將如何存儲(chǔ)，由于行鍵一旦被創(chuàng)建則無法更改，所以行鍵設(shè)計(jì)中不僅要考慮在同一時(shí)間段讀寫操作都集中在某一個(gè)Region上而出現(xiàn)的負(fù)載不均衡問題，還要考慮針對(duì)特定應(yīng)用場景如何提高數(shù)據(jù)檢索效率，達(dá)到對(duì)海量異構(gòu)數(shù)據(jù)的高效讀寫。針對(duì)負(fù)載均衡及查詢效率問題，對(duì)行鍵設(shè)計(jì)進(jìn)行討論是至關(guān)重要的，而其設(shè)計(jì)必須以預(yù)期的訪問模式進(jìn)行。

3.1以檢索為主的行鍵方法設(shè)計(jì)

行鍵作為HBase中的唯一索引，只能在行鍵上建立索引，在對(duì)數(shù)據(jù)庫進(jìn)行訪問時(shí)最主要的方法是通過行鍵進(jìn)行訪問，也即是說HBase在數(shù)據(jù)讀取時(shí)是按照RowKey進(jìn)行快速檢索的，如果設(shè)置的行鍵無法滿足檢索條件，或用戶使用的檢索條件不匹配時(shí)，則只能采用全表掃描方法，在數(shù)據(jù)量相對(duì)較少的情況下，該方式對(duì)HBase的性能不會(huì)產(chǎn)生太大影響，但一旦存儲(chǔ)的數(shù)據(jù)規(guī)模增大后，這種全表掃描方法則會(huì)使得查詢效率大大降低。

在HBase數(shù)據(jù)模型中，整張表包括了行、列族、列限定符與時(shí)間戳等幾個(gè)重要部分，考慮是否可以將其中每一部分作為行鍵進(jìn)行設(shè)計(jì)，然后對(duì)每一部分作為行鍵結(jié)果進(jìn)行討論。

方法一：將時(shí)間戳單獨(dú)作為行鍵。時(shí)間戳代表同一份數(shù)據(jù)的多個(gè)版本，其作為用戶數(shù)據(jù)檢索時(shí)的一個(gè)重要部分，當(dāng)前很多傳感器、監(jiān)控儀器等智能設(shè)備產(chǎn)生的數(shù)據(jù)都以時(shí)間作為存儲(chǔ)標(biāo)志，或用戶在不同時(shí)刻對(duì)表中數(shù)據(jù)進(jìn)行修改更新時(shí)，相應(yīng)單元格會(huì)對(duì)該時(shí)間戳進(jìn)行保存。目前也有很多行鍵設(shè)計(jì)方法使用時(shí)間戳對(duì)查詢方法進(jìn)行優(yōu)化。在文獻(xiàn)中將時(shí)間戳作為行鍵的一部分，使用Long.MAX_value對(duì)產(chǎn)生的數(shù)據(jù)時(shí)間戳進(jìn)行逆序存儲(chǔ)，以保證用戶始終能最先查詢到更新后的數(shù)據(jù)。該方法針對(duì)時(shí)序性強(qiáng)的數(shù)據(jù)范圍查詢具有一定優(yōu)勢(shì)，具體實(shí)現(xiàn)方法為：Long.MAX value-timestamp。

方法二：使用列限定符作為行鍵。用戶在查詢數(shù)據(jù)時(shí)可以將列限定符作為行鍵，以檢索或排除用戶需要查詢的數(shù)據(jù)，也能在特定條件下實(shí)現(xiàn)查詢優(yōu)化。但當(dāng)一個(gè)表中包含很多列時(shí)，如果將列直接作為行鍵進(jìn)行數(shù)據(jù)檢索依然會(huì)出現(xiàn)查詢條件不匹配的問題，因而必須進(jìn)行全表掃描操作。對(duì)行、列族、列限定符與時(shí)間戳作為行鍵時(shí)的查詢性能進(jìn)行測試，測試結(jié)果如圖3所示。

使用單獨(dú)時(shí)間戳或列限定符等很難達(dá)到提高檢索效率的目的，當(dāng)用戶無法使用行鍵中的字段或使用其它數(shù)據(jù)進(jìn)行查詢時(shí)，即對(duì)不匹配的數(shù)據(jù)查詢起不到作用或作用很小，考慮將其進(jìn)行組合進(jìn)行行鍵設(shè)計(jì)以提高檢索效率。

方法三：組合方法。采用組合方法是可行的，但為了提高數(shù)據(jù)查詢性能，將行鍵索引放在內(nèi)存中進(jìn)行緩存，如果使用組合方法將表中全部數(shù)據(jù)放人行鍵中會(huì)使其長度過長，將不得不占用更大內(nèi)存，從而導(dǎo)致內(nèi)存利用率降低。所以在進(jìn)行組合時(shí)一方面要考慮行鍵長度，盡可能使行鍵長度較短，另一方面，針對(duì)處理的數(shù)據(jù)特點(diǎn)及用戶檢索習(xí)慣，將常用字段作為行鍵的一部分進(jìn)行組合。結(jié)合以上兩個(gè)原則設(shè)計(jì)行鍵則能在一定程度上提高數(shù)據(jù)查詢效率。

通過以上分析發(fā)現(xiàn)：行鍵設(shè)計(jì)無法達(dá)到盡善盡美，只能根據(jù)具體情況，在設(shè)計(jì)時(shí)根據(jù)權(quán)重進(jìn)行取舍，從表中找出針對(duì)該場景最關(guān)鍵的查詢條件進(jìn)行設(shè)計(jì)，使檢索效率相對(duì)較高。

3.2以寫為主的行鍵設(shè)計(jì)方法

行鍵是一串二進(jìn)制碼流，使用字典順序由低到高地存儲(chǔ)在表中。在進(jìn)行Region劃分吋必須基于行鍵進(jìn)行，通常情況下行鍵生成是采用ID自增的方式，或默認(rèn)采用時(shí)間戳作為行鍵起始值。目前針對(duì)時(shí)間序列數(shù)據(jù)的行鍵設(shè)計(jì)方法有很多，隨著各種傳感器、監(jiān)控系統(tǒng)等智能設(shè)備的逐漸普及，由它們產(chǎn)生數(shù)據(jù)最為突出的特點(diǎn)是時(shí)間序列性很明確，針對(duì)這類數(shù)據(jù)最棘手的問題則是如何避免系統(tǒng)在寫入過程中因操作過分集中于某個(gè)Region而產(chǎn)生讀寫熱點(diǎn)，從而使系統(tǒng)整體性能下降。思考如何將這類數(shù)據(jù)分散存儲(chǔ)到每個(gè)Region服務(wù)器上是解決問題的出發(fā)點(diǎn)。有很多方法都能達(dá)到目的，當(dāng)前最主要的幾種行鍵設(shè)計(jì)方法有：

（1）隨機(jī)生成行鍵法。通過散列函數(shù)（如：MD5）在原來生成的相鄰鍵前加上隨機(jī)生成的一個(gè)前綴，通過該方法生成的行鍵可以解決原本行鍵造成的負(fù)載不均衡問題，將寫負(fù)載相對(duì)均勻地分布到Region上，但缺點(diǎn)是：每次只能檢索一行數(shù)據(jù)，無法再按時(shí)間范圍掃描數(shù)據(jù)。如：

Byte[]row key=MD5（timestamp）

（2）哈希前綴法。使用哈希函數(shù)將原本行鍵中選定的一部分進(jìn)行哈希運(yùn)算后作為行鍵前綴，從而避免將時(shí)間序列作為行鍵造成的寫入熱點(diǎn)問題，同樣也能達(dá)到負(fù)載均衡。如：

但該方法的缺點(diǎn)是：行鍵離散化使得之前連續(xù)的數(shù)據(jù)被離散到不同Region中，雖然解決了寫入熱點(diǎn)問題，卻導(dǎo)致檢索一個(gè)連續(xù)范圍內(nèi)的數(shù)據(jù)時(shí)系統(tǒng)性能下降，這是以犧牲查詢性能為代價(jià)實(shí)現(xiàn)的。

（3）提升字段法。行鍵以時(shí)間戳為前綴，提升字段法是指改變生成時(shí)間戳的位置，使用其它字段作為前綴，或添加其它字段作為前綴，讓連續(xù)遞增的時(shí)間戳在行鍵中的權(quán)重降低，這種組合行鍵方法也可以解決寫入熱點(diǎn)問題。

（4）反轉(zhuǎn)行鍵法。將原本相鄰的行鍵按字節(jié)順序進(jìn)行反轉(zhuǎn)，使新生產(chǎn)的行鍵順序離散化，從而實(shí)現(xiàn)熱點(diǎn)均衡。

4案列設(shè)計(jì)

4.1數(shù)據(jù)源分析

智慧水務(wù)系統(tǒng)通過數(shù)據(jù)采集儀、無線網(wǎng)絡(luò)、水質(zhì)水壓表等多種在線監(jiān)測設(shè)備實(shí)時(shí)感知城鎮(zhèn)供排水系統(tǒng)運(yùn)行狀態(tài)，并在該循環(huán)過程中建立水務(wù)互聯(lián)網(wǎng)。通過在此基礎(chǔ)上對(duì)一些數(shù)據(jù)進(jìn)行分析處理，不僅可以減少人力支出，而且可以從各種智能設(shè)備上獲取有價(jià)值的數(shù)據(jù)，并結(jié)合一定分析手段對(duì)數(shù)據(jù)加以利用。智能水務(wù)系統(tǒng)的不斷完善使供水過程監(jiān)控更加智能化和協(xié)調(diào)化，隨著經(jīng)濟(jì)的發(fā)展與城市規(guī)模的逐漸擴(kuò)張，各城市水司供水半徑擴(kuò)大，管網(wǎng)復(fù)雜程度提高，人力成本與運(yùn)營難度也不斷提高。由于人們對(duì)安全、優(yōu)質(zhì)、高效供水服務(wù)的需求越來越迫切，以及階梯水價(jià)振幅政策的實(shí)施，對(duì)水務(wù)運(yùn)營也提出了更高要求。通過物聯(lián)網(wǎng)、信息化手段改變傳統(tǒng)自來水公司的運(yùn)營模式與經(jīng)營模式，構(gòu)建基于物聯(lián)網(wǎng)、云計(jì)算的智慧水務(wù)管控一體化平臺(tái)，已成為水務(wù)公司提高運(yùn)營效率的必然選擇。另外，考慮到掌上辦公的便捷性，各種結(jié)合移動(dòng)端的APP也相繼出現(xiàn)，為打造安全、優(yōu)質(zhì)、高效、低碳、環(huán)保的供水新模式、建設(shè)現(xiàn)代水務(wù)企業(yè)提供了有效途徑，也使現(xiàn)有數(shù)據(jù)存儲(chǔ)方法面臨巨大挑戰(zhàn)。為使智慧水務(wù)系統(tǒng)中從各種傳感器與監(jiān)控儀器等智能設(shè)備收集而來的以時(shí)間序列為主的數(shù)據(jù)能為整個(gè)決策過程提供更大的價(jià)值支持，在分析HBase數(shù)據(jù)模型、行鍵設(shè)計(jì)原則基礎(chǔ)上，針對(duì)這類數(shù)據(jù)進(jìn)行行鍵設(shè)計(jì)相關(guān)討論。

4.2綜合方案設(shè)計(jì)

使用以上幾種方法并結(jié)合城鎮(zhèn)居民用水?dāng)?shù)據(jù)信息，對(duì)HBase數(shù)據(jù)庫的讀寫性能進(jìn)行測試。測試數(shù)據(jù)約有150萬行，得到如表1所示結(jié)果。

根據(jù)表中的測試結(jié)果發(fā)現(xiàn)，在4種方法中，字段提升法與哈希前綴法相比其它兩種方法的綜合性能更好。理想情況下行鍵設(shè)計(jì)是在存儲(chǔ)時(shí)讓關(guān)聯(lián)性強(qiáng)的數(shù)據(jù)存儲(chǔ)在同一個(gè)Region或相鄰Region上，同時(shí)在進(jìn)行大量數(shù)據(jù)寫入操作時(shí)能使數(shù)據(jù)均衡分布在每個(gè)Region上，不會(huì)造成寫入熱點(diǎn)問題。智慧水務(wù)系統(tǒng)中存儲(chǔ)的數(shù)據(jù)主要包括：社區(qū)ID、用水時(shí)間、用水量情況等數(shù)據(jù)。結(jié)合以上測試結(jié)果與智慧水務(wù)系統(tǒng)中要存儲(chǔ)的時(shí)間序列數(shù)據(jù)，雖然針對(duì)以寫為主的智慧水務(wù)系統(tǒng)而言，哈希前綴法與提升字段法綜合性能相近，但在數(shù)據(jù)檢索時(shí)哈希前綴法的查詢效率并不高，所以本文采用提升字段法對(duì)行鍵進(jìn)行設(shè)計(jì)。

5設(shè)計(jì)

其中，CuID為居民社區(qū)號(hào)，使用社區(qū)號(hào)作為行鍵起始值，一方面可以讓同一社區(qū)的居民情況存儲(chǔ)在同一個(gè)Re-gion上，還可以避免將時(shí)間戳作為行鍵起始值造成的熱點(diǎn)問題。Timestamp為用戶用水產(chǎn)生的時(shí)間，將時(shí)間戳放在中間位置是根據(jù)用戶日常查詢習(xí)慣，該設(shè)計(jì)方法解決了用戶在查詢用水情況時(shí)因行鍵不匹配而導(dǎo)致的檢索效率降低問題。將HomeID（住戶號(hào)）作為行鍵最后一部分，將3部分按該方式進(jìn)行組合，從而設(shè)計(jì)出初步的行鍵模型。在初步行鍵設(shè)計(jì)中利用提升字段法，對(duì)最初的時(shí)間戳降低權(quán)重，從最左邊移到了中間。

建表后對(duì)該行鍵方法進(jìn)行測試后發(fā)現(xiàn)，用戶在查詢數(shù)據(jù)時(shí)通常會(huì)查詢最近用水情況，所以希望數(shù)據(jù)存儲(chǔ)時(shí)能將最新的數(shù)據(jù)存放在最前面，實(shí)現(xiàn)時(shí)間降序排列。根據(jù)該需求分析，在原行鍵上進(jìn)行修改，行鍵設(shè)計(jì)方法如下：

row

key=>

最后，本文對(duì)兩種行鍵設(shè)計(jì)方法進(jìn)行實(shí)驗(yàn)測試，測試發(fā)現(xiàn)改進(jìn)后的行鍵設(shè)計(jì)方法提高了數(shù)據(jù)讀寫性能，也由此說明行鍵設(shè)計(jì)既要結(jié)合具體應(yīng)用場景，還要根據(jù)數(shù)據(jù)處理需求，才能最終實(shí)現(xiàn)行鍵設(shè)計(jì)的相對(duì)合理化。

6結(jié)語

行鍵設(shè)計(jì)一直是HBase數(shù)據(jù)存儲(chǔ)中的研究重點(diǎn)，本文研究發(fā)現(xiàn)行鍵設(shè)計(jì)依賴于具體應(yīng)用場景，針對(duì)不同的存儲(chǔ)管理需求，行鍵設(shè)計(jì)方法也有所區(qū)別。本文從以檢索為主和以寫人為主兩方面對(duì)行鍵設(shè)計(jì)進(jìn)行研究，并對(duì)隨機(jī)生成行鍵法、哈希前綴法、提升字段法和反轉(zhuǎn)行鍵法4種方法進(jìn)行測試，之后根據(jù)智慧水務(wù)系統(tǒng)數(shù)據(jù)存儲(chǔ)需求選擇其中的提升字段法進(jìn)行行鍵設(shè)計(jì)，通過再次測試對(duì)初始方法進(jìn)行改進(jìn)，最終得到相對(duì)合理的行鍵設(shè)計(jì)方法，證明了該行鍵設(shè)計(jì)方法在時(shí)間序列數(shù)據(jù)處理上的有效性。接下來將對(duì)該方法作進(jìn)一步研究，根據(jù)行鍵設(shè)計(jì)原則精簡行鍵長度，實(shí)現(xiàn)優(yōu)化目的。