李成嶺，鄭雨翔，洪祎祺，李雯，郭慧敏

（1.國網(wǎng)上海市電力公司浦東供電公司，上海 200122；2.上海中興電力建設(shè)發(fā)展有限公司，上海 200122）

1 引言

國網(wǎng)遼寧省電力有限公司全業(yè)務(wù)統(tǒng)一數(shù)據(jù)中心數(shù)據(jù)分析域非結(jié)構(gòu)化數(shù)據(jù)接入方面涉及非結(jié)構(gòu)化數(shù)據(jù)管理平臺中電子文件管理系統(tǒng)、檔案系統(tǒng)、電網(wǎng)GIS地理空間信息系統(tǒng)、營銷業(yè)務(wù)系統(tǒng)、安監(jiān)系統(tǒng)、PMS2.0、協(xié)同辦公系統(tǒng)、電力交易系統(tǒng)、ERP、計量生產(chǎn)調(diào)度平臺、營銷GIS、基建管理信息系統(tǒng)等 34個業(yè)務(wù)系統(tǒng)接入非結(jié)構(gòu)化數(shù)據(jù)管理平臺的非結(jié)構(gòu)化數(shù)據(jù)。綜合考慮，主要通過測試80 GB文件的寫入、讀取場景過程中分布式文件系統(tǒng)性能各種指標的不同數(shù)量大小，如節(jié)點數(shù)量的大小、備份因子的大小、數(shù)據(jù)塊的大小，對國網(wǎng)公司大數(shù)據(jù)平臺分布式文件系統(tǒng)（基于HDFS優(yōu)化封裝）的讀寫性能進行測試。

2 非結(jié)構(gòu)化數(shù)據(jù)存儲

2.1 節(jié)點數(shù)量對讀寫性能的影響

下面以測試節(jié)點數(shù)量對分布式文件系統(tǒng)讀寫性能的影響作為用例來說明。為保障測試結(jié)果的準確性，所有的測試節(jié)點的物理配置需保持一致，且在一個分布式集群下，數(shù)據(jù)塊大小統(tǒng)一默認為128 MB，其他參數(shù)都保持一致。在統(tǒng)一的測試環(huán)境下，實施測試操作：跨節(jié)點遠程寫入和讀取80 GB文件，分別記錄耗時；分別在不同工作節(jié)點上本地寫入和讀取80 GB文件，分別記錄耗時；重復(fù)以上步驟，分別測試2個、3個DataNode的HDFS集群環(huán)境，跨節(jié)點遠程寫入文件、節(jié)點本地寫入文件耗時，測試結(jié)果如下所示。

（1）1個DataNode的HDFS集群

1個DataNode的HDFS集群的測試結(jié)果見表1。

（2）2個DataNode的HDFS集群

2個DataNode的HDFS集群的測試結(jié)果見表2。

（3）3個DataNode的HDFS集群

3個DataNode的HDFS集群的測試結(jié)果見表3。

集群的規(guī)模增大，在DataNode上讀取數(shù)據(jù)的性能優(yōu)勢將越來越小，因為數(shù)據(jù)塊分布越來越稀疏，在一個數(shù)據(jù)節(jié)點上能夠取得的數(shù)據(jù)塊越來越少，需要通過網(wǎng)絡(luò)進行傳輸?shù)臄?shù)據(jù)越來越多。另外，隨著集群規(guī)模的增大，客戶端讀寫的速率有遞減的趨勢。

表1 1個DataNode的HDFS集群的測試結(jié)果

表3 3個DataNode的HDFS集群的測試結(jié)果

2.2 備份因子數(shù)對讀寫性能的影響

下面以測試備份因子數(shù)對分布式文件系統(tǒng)讀寫性能的影響作為用例來說明。為保障測試結(jié)果的準確性，所有的測試節(jié)點的物理配置需保持一致，節(jié)點數(shù)量為3。在統(tǒng)一的測試環(huán)境下，實施測試操作：設(shè)置備份因子數(shù)為1，跨節(jié)點遠程寫入和讀取80 GB文件，分別記錄耗時；分別在不同工作節(jié)點上本地寫入和讀取80 GB文件，分別記錄耗時；重復(fù)以上步驟，分別測試備份因子為2、3的HDFS集群環(huán)境中跨節(jié)點遠程讀寫文件、節(jié)點本地讀寫文件耗時，測試結(jié)果如下所示。

（4）備份因子為1～3情況下的寫性能測試

備份因子為 1～3情況下的寫性能測試結(jié)果見表4。

（2）備份因子為1～3下的讀性能測試

備份因子為 1～3情況下的讀性能測試結(jié)果見表5。

備份因子的改變不影響客戶端的讀寫性能，客戶端的 I/O瓶頸依然是交換機的傳輸速率。備份因子數(shù)增加時，客戶端寫的時間有小幅度的增加，這是因為要把同一個塊寫到不同的機器上，增加了寫的開銷。備份因子的增加使本地寫文件性能下降，本地讀文件性能提高。

表4 備份因子為1～3情況下的寫性能測試結(jié)果

表5 備份因子為1～3情況下的讀性能測試結(jié)果

2.3 數(shù)據(jù)塊大小對寫入性能的影響

下面以測試數(shù)據(jù)塊的大小對分布式文件系統(tǒng)讀寫性能的影響作為用例來說明。為保障測試結(jié)果的準確性，同上一項測試設(shè)置相同，節(jié)點數(shù)量為3個，備份數(shù)為3。在統(tǒng)一的測試環(huán)境下，實施測試操作：設(shè)置設(shè)置塊大小為4 MB，跨節(jié)點遠程寫入80 GB文件，記錄耗時；重復(fù)以上步驟，分別測試備份因子為4 MB、8 MB、16 MB、32 MB、64 MB、128 MB、256 MB、512 MB、1 024 MB時的HDFS集群環(huán)境，跨節(jié)點遠程讀寫文件、節(jié)點本地讀寫文件耗時，測試結(jié)果如下所示。

經(jīng)測試，當數(shù)據(jù)塊逐漸增大，寫入時間在總體上是一個遞減的趨勢，但當塊增大到一定程度之后，寫入時間趨于平穩(wěn)，即數(shù)據(jù)塊的增大只能在一定的范圍內(nèi)影響HDFS的讀寫性能，如果把數(shù)據(jù)塊的大小設(shè)置為更大的，那對性能的影響就微乎其微。

分布式文件系統(tǒng)功能方面主要需測試分布式文件系統(tǒng)的負載均衡、節(jié)點動態(tài)拓展。

2.4 負載均衡

下面以測試分布式文件系統(tǒng)負載均衡的功能作為用例來說明。為保障測試結(jié)果的準確性，測試節(jié)點在1個分布式集群下，集群上已有一定數(shù)據(jù)存儲負載，測試新添節(jié)點后執(zhí)行負載均衡。在統(tǒng)一的測試環(huán)境下，實施測試操作：搭建一個2個節(jié)點的 HDFS統(tǒng)集群；寫入一定量數(shù)據(jù)，查看HDFS監(jiān)控頁面，查看并記錄每個節(jié)點中塊的數(shù)量；集群新添加一個節(jié)點，執(zhí)行負載均衡命令，過20 min后，查看每個節(jié)點中塊的數(shù)量；多次執(zhí)行負載均衡，過20 min后，查看每個節(jié)點塊的數(shù)量測試結(jié)果如下所示。

（1）新增測試節(jié)點前每個節(jié)點中塊的數(shù)量情況

搭建的兩個節(jié)點：BG8S01和BG8S03，新增測試節(jié)點前每個節(jié)點中塊的數(shù)量分別為458和457。

（2）新增節(jié)點后，執(zhí)行負載均衡每個節(jié)點中塊的數(shù)量情況

新增節(jié)點后，執(zhí)行負載均衡每個節(jié)點中塊的數(shù)量情況如圖1所示。

圖1 執(zhí)行負載均衡每個節(jié)點中塊的數(shù)量情況

負載均衡的目的雖然是平衡數(shù)據(jù)，但它并不追求畢其功于一役，而是事先設(shè)定目標，每一次執(zhí)行只實現(xiàn)預(yù)設(shè)目標，即只是縮小了過載/負載節(jié)點與集群平均使用率的差值，而通過反復(fù)多次的執(zhí)行使集群內(nèi)的數(shù)據(jù)逐漸趨于均衡?？梢?，分布式文件系統(tǒng)能通過搭建分布式節(jié)點實現(xiàn)系統(tǒng)的負載均衡。

2.5 節(jié)點動態(tài)拓展

分布式文件系統(tǒng)具備良好的擴展性，能夠動態(tài)增加節(jié)點，并能保持數(shù)據(jù)的分布均衡和存儲空間的擴容。

3 實時數(shù)據(jù)存儲

大數(shù)據(jù)平臺分布式列式數(shù)據(jù)庫基于 Hadoop HBase優(yōu)化封裝，HBase是基于Hadoop的NoSQL數(shù)據(jù)庫，能夠為大數(shù)據(jù)提供實時的讀/寫操作，能夠利用 HDFS的分布式處理模式，并通過MapReduce獲取強大的離線處理或批量處理能力，同時能夠融合key/value存儲模式，以實現(xiàn)實時查詢能力。HBase是一個分布式、可擴展、面向列的數(shù)據(jù)庫，因此可部署在廉價的PC服務(wù)器集群上處理大規(guī)模的海量數(shù)據(jù)。

3.1 節(jié)點數(shù)量對讀寫性能的影響

下面以測試節(jié)點數(shù)量對HBase讀寫性能的影響作為用例來說明。為保障測試結(jié)果的準確性，節(jié)點的物理配置一致，測試節(jié)點在同一個分布式集群下；HBase配置參數(shù)均為默認值。在統(tǒng)一的測試環(huán)境下，實施測試操作：寫入1 000萬條數(shù)據(jù)，其中，每條數(shù)據(jù)300 byte；rowkey為散列值，長度為12；列族下有3個字段，字段名分別為TN、MP、TO。完成寫入后，計算寫入總時間；對上述表進行讀取性能測試，測試指定rowkey方式單次讀取的速率；重復(fù)上述步驟，分別測試在2、3個工作節(jié)點的 HBase分布式集群環(huán)境下的讀寫性能，測試結(jié)果如下所示。

表6 HBase寫入數(shù)據(jù)測試結(jié)果

（1）HBase寫入數(shù)據(jù)測試

HBase寫入數(shù)據(jù)測試結(jié)果見表6。

（2）HBase讀取數(shù)據(jù)測試

HBase讀取數(shù)據(jù)測試結(jié)果如圖2所示。

圖2 HBase讀取數(shù)據(jù)測試結(jié)果

隨著集群的規(guī)模增大，HBase寫入性能呈線性遞增，單次rowkey讀取的速率近似相等。

3.2 列族數(shù)量對讀寫性能的影響

下面以測試列族數(shù)量對HBase讀寫性能的影響作為用例來說明。為保障測試結(jié)果的準確性，節(jié)點的物理配置一致，測試節(jié)點在同一個分布式集群下；HBase配置參數(shù)均為默認值。在統(tǒng)一的測試環(huán)境下，實施測試操作如同上一項測試步驟，測試結(jié)果如下所示。

（1）HBase寫入性能測試

HBase寫入性能測試結(jié)果如圖3所示。

圖3 HBase寫入性能測試結(jié)果

列族的數(shù)量影響寫入的性能，數(shù)量越多則寫入性能越差。在相同列族上的讀取性能差別不大，如果跨列族讀取，列族數(shù)量越多則讀取性能越差。

3.3 列名及列族名長度對讀寫性能的影響

下面以測試列名及列族名長度對HBase讀寫性能的影響作為用例來說明。為保障測試結(jié)果的準確性，測試節(jié)點在 1個分布式集群下，HBase配置參數(shù)均為默認值。在統(tǒng)一的測試環(huán)境下，實施測試操作：搭建一個3個工作節(jié)點的HBase分布式集群環(huán)境；新建一張列族名長度為一個字符的HBase列族表，寫入1 000萬條數(shù)據(jù)，其中，每條數(shù)據(jù)300 byte；rowkey為散列值，長度為12；列族下有1個字段，字段名長度為1個字符。完成寫入后，計算寫入總時間；對上述表進行讀取性能測試，測試指定rowkey方式單次讀取的速率；重復(fù)上述步驟，分別測試在列族明長度為1，列名長度為2、3；以及列名長度為1，列族名長度為2、3的HBase分布式集群環(huán)境下的讀寫性能，測試結(jié)果如下所示。

（1）HBase 列名及列族名長度不同寫入測試

HBase 列名及列族名長度不同寫入測試結(jié)果見表7。

（2）HBase 列名及列族名長度不同讀取測試

HBase 列名及列族名長度不同讀取測試結(jié)果見表8。

列名、列族名的長度影響HBase的讀寫性能，長度越長則性能越差。

3.4 rowkey結(jié)構(gòu)對讀寫性能的影響

下面以測試rowkey組成結(jié)構(gòu)對HBase讀寫性能的影響作為用例來說明。為保障測試結(jié)果的準確性，測試節(jié)點在1個分布式集群下，HBase配置參數(shù)均為默認值。在統(tǒng)一的測試環(huán)境下，實施測試操作：搭建一個3個工作節(jié)點的HBase分布式集群環(huán)境；新建一張只有一個列族，列族名長度為一個字符的HBase表；寫入1 000萬條數(shù)據(jù)，其中，每條數(shù)據(jù)300 byte；rowkey為流水號散列值，長度為12；列族下有1個字段，字段名長度為1個字符。完成寫入后，計算寫入總時間；對上述表進行讀取性能測試，測試指定rowkey方式單次讀取的速率；重復(fù)上述步驟，分別測試rowkey的結(jié)構(gòu)為不散列時在HBase分布式集群環(huán)境下的讀寫性能，測試結(jié)果如下所示。

（1）不同結(jié)構(gòu)的rowkey寫HBase性能測試

不同結(jié)構(gòu)的rowkey寫HBase性能測試結(jié)果如圖4所示。

圖4 不同結(jié)構(gòu)的rowkey寫HBase性能測試結(jié)果

（2）不同結(jié)構(gòu)的rowkey 讀HBase性能測試

不同結(jié)構(gòu)的rowkey讀HBase性能測試結(jié)果如圖5所示。

圖5 不同結(jié)構(gòu)的rowkey讀HBase性能測試結(jié)果

表7 HBase 列名及列族名長度不同寫入測試結(jié)果

表8 HBase 列名及列族名長度不同讀取測試結(jié)果

rowkey結(jié)構(gòu)設(shè)計得越離散，讀寫出吞吐量越高，速度越快。

3.5 rowkey長度對讀寫性能的影響

下面以測試rowkey長度對HBase讀寫性能的影響作為用例來說明。為保障測試結(jié)果的準確性，測試節(jié)點在1個分布式集群下，HBase配置參數(shù)均為默認值。在統(tǒng)一的測試環(huán)境下，實施測試操作同上一項測試步驟，重復(fù)上述步驟，分別測試在rowkey的長度為20、30在HBase分布式集群環(huán)境下的讀寫性能，測試結(jié)果如下所示。

（1）不同長度的rowkey 寫HBase性能測試

不同長度的rowkey 寫HBase性能測試結(jié)果如圖6所示。

圖6 不同長度的rowkey寫HBase性能測試結(jié)果

（2）不同長度的rowkey 讀HBase性能測試

不同長度的rowkey 讀HBase性能測試結(jié)果如圖7所示。

圖7 不同長度的rowkey讀HBase性能測試結(jié)果

rowkey的長度影響存取的性能，長度越長則性能越差。

3.6 批量操作對讀寫性能的影響

下面以測試批量操作對HBase讀寫性能的影響作為用例來說明。為保障測試結(jié)果的準確性，測試節(jié)點在1個分布式集群下，HBase配置參數(shù)均為默認值。在統(tǒng)一的測試環(huán)境下，實施測試操作同上項測試步驟，對上述表進行讀取性能測試，測試指定rowkey方式單次讀取一條的速率，重復(fù)上述步驟，分別測試批量100條、1 000條、10 000條在HBase分布式集群環(huán)境下的讀寫性能，測試結(jié)果如下所示。

（1）不同批量操作數(shù)對HBase寫性能的影響

不同批量操作數(shù)對HBase寫性能的影響的測試結(jié)果見表9。

（2）不同批量操作數(shù)對HBase讀性能的影響

不同批量操作數(shù)對HBase讀性能的影響的測試結(jié)果見表10。

合適的批量數(shù)能夠有效提升讀寫性能，并能達到一個最優(yōu)效率。然后隨著批量數(shù)的增大，性能逐步下降。

分布式列式數(shù)據(jù)庫功能方面主要需測試分布式列式數(shù)據(jù)庫的負載均衡、數(shù)據(jù)壓縮功能。

3.7 負載均衡

下面以測試HBase在負載均衡方面的功能作為用例來說明。為保障測試結(jié)果的準確性，測試節(jié)點在1個分布式集群下，集群上已有一定數(shù)量的表（region數(shù)超過節(jié)點數(shù)），測試過程中新添加節(jié)點。在統(tǒng)一的測試環(huán)境下，實施測試操作：搭建一個2個工作節(jié)點的分布式文件系統(tǒng)集群，并觀察region的數(shù)量及分布情況；集群新添加1個工作節(jié)點，等待5 min（balancer默認定期檢查時間）查看region分布情況，同2個工作節(jié)點的情況比較，測試結(jié)果如下所示。

表9 不同批量操作數(shù)對HBase寫性能的影響的測試結(jié)果

表10 不同批量操作數(shù)對HBase讀性能的影響的測試結(jié)果

HBase負載均衡測試結(jié)果如圖8所示。

圖8 HBase負載均衡測試結(jié)果

HBase定期檢查，并平衡各工作節(jié)點的region數(shù)量。

3.8 數(shù)據(jù)壓縮

下面以測試HBase數(shù)據(jù)壓縮的功能作為用例來說明。為保障測試結(jié)果的準確性，測試節(jié)點均在分布式集群下，兩次寫入數(shù)據(jù)的數(shù)據(jù)量大小一樣。在統(tǒng)一的測試環(huán)境下，實施測試操作：搭建一個只有1個工作節(jié)點分布式文件系統(tǒng)集群；未開啟數(shù)據(jù)壓縮，新建HBase數(shù)據(jù)表，寫入一定量的數(shù)據(jù)，查看集群的磁盤利用率；配置LZO數(shù)據(jù)壓縮，將相應(yīng)JAR文件放到HBase的lib文件夾下，新建HBase數(shù)據(jù)表并設(shè)置LZO數(shù)據(jù)壓縮，清空集群數(shù)據(jù)，寫入相同的數(shù)據(jù)，查看磁盤的利用率，測試結(jié)果如下所示。

數(shù)據(jù)壓縮的測試結(jié)果見表11。

數(shù)據(jù)壓縮功能能夠有效地壓縮數(shù)據(jù)大小，減少磁盤的空間使用。

3.9 節(jié)點動態(tài)擴展

下面以測試分布式文件系統(tǒng)的擴展性作為用例來說明。為保障測試結(jié)果的準確性，測試節(jié)點均在分布式集群下，兩次寫入數(shù)據(jù)的數(shù)據(jù)量大小一樣。在統(tǒng)一的測試環(huán)境下，實施測試操作：搭建一個只有1個工作節(jié)點的HBase集群，觀察HBase的region的數(shù)量及分布情況；集群新添加1個工作節(jié)點，等待5 min（balancer默認定期檢查時間）查看region分布情況，同只有1個工作節(jié)點的情況比較；查看集群的可用空間，測試結(jié)果如下所示。

HBase動態(tài)擴展測試結(jié)果如圖9所示。

圖9 HBase動態(tài)擴展測試結(jié)果

HBase具備良好的擴展性，能夠動態(tài)增加節(jié)點，并能保持region分布均衡和存儲空間的擴容。

表11 數(shù)據(jù)壓縮的測試結(jié)果

4 結(jié)束語

HBase具備良好的擴展性，能夠動態(tài)增加節(jié)點，并能保持region分布均衡和存儲空間的擴容。集群的規(guī)模增大，在DataNode上讀取數(shù)據(jù)的性能優(yōu)勢將越來越小，因為數(shù)據(jù)塊分布越來越稀疏，在一個數(shù)據(jù)節(jié)點上能夠取得的數(shù)據(jù)塊越來越少，需要通過網(wǎng)絡(luò)進行傳輸?shù)臄?shù)據(jù)越來越多。另外，隨著集群規(guī)模的增大，客戶端讀寫的速率有遞減的趨勢。

參考文獻：

[1]GEORGE L.HBase權(quán)威指南[M].代志遠, 劉佳, 蔣杰, 譯.北京： 人民郵電出版社, 2013.GEORGE L.HBase： the definitive guide[M].Translated by DAI Z Y, LIU J, JIANG J.Beijing： Posts & Telecom Press, 2013.

[2]蔡斌, 陳湘萍.Hadoop技術(shù)內(nèi)幕： 深入解析Hadoop Common和 HDFS架構(gòu)設(shè)計與實現(xiàn)原理[M].北京： 機械工業(yè)出版社,2013.CAI B, CHEN X P.Hadoop internals： in-depths study of common and HDFS[M].Beijing： China Machine Press, 2013.

[3]孟鑫, 馬延輝, 李立松.HBase企業(yè)應(yīng)用開發(fā)實戰(zhàn)[M].北京：機械工業(yè)出版社, 2014.MENG X, MA Y H, LI L S.Enterprise application development with HBase[M].Beijing： China Machine Press, 2014.

[4]皮雄軍.NoSQL數(shù)據(jù)庫技術(shù)實戰(zhàn)[M].北京： 清華大學(xué)出版社, 2015.PI X J.NoSQL database technology combat[M].Beijing：Tsinghua University Press, 2015.

[5]DIMIDUK N, KHURANA A.HBase實戰(zhàn)[M].謝磊, 譯.北京： 人民郵電出版社, 2013.DIMIDUK N, KHURANA A.HBase in action[M].Translated by XIE L.Beijing： Posts & Telecom Press, 2013.

[6]蔣燚峰.HBase管理指南[M].北京： 人民郵電出版社, 2013.JIANG Y F.HBase administration cookbook[M].Beijing： Posts& Telecom Press, 2013.

[7]SHRIPARV S.Learning HBase[M].周彥偉, 婁帥, 蒲聰, 譯.北京： 電子工業(yè)出版社, 2015.SHRIPARV S.Learning HBase[M].Translated by ZHOU Y W,LOU S, PU C.Beijing： Publishing House of Electronics Industry, 2015.

[8]董西成.Hadoop技術(shù)內(nèi)幕： 深入解析MapReduce架構(gòu)設(shè)計與實現(xiàn)原理[M].北京： 機械工業(yè)出版社, 2013.DONG X C.Hadoop internals： in-depths study of MapReduce[M].Beijing： China Machine Press, 2013.

[9]GROVER M, MALASKA T, SEIDMAN J.Hadoop應(yīng)用架構(gòu)[M].郭文超, 譯.北京： 人民郵電出版社, 2017.GROVER M, MALASKA T, SEIDMAN J.Hadoop application architecture[M].Translated by GUO W C.Beijing： Posts &Telecom Press, 2017.

[10]王雪迎.Hadoop構(gòu)建數(shù)據(jù)倉庫實踐[M].北京： 清華大學(xué)出版社, 2017.WANG X Y.Practice of Hadoop data warehouse[M].Beijing：Tsinghua University Press, 2017.

[11]WHITE T.Hadoop權(quán)威指南： 大數(shù)據(jù)的存儲與分析(第4版)[M].王海, 華東, 劉喻, 等譯.北京： 清華大學(xué)出版社, 2017.WHITE T.Hadoop： the definitive guide[M].Translated by WANG H, HUA D, LIU Y, et al.Beijing： Tsinghua University Press, 2017.