基于HDFS的分布式存儲(chǔ)中負(fù)載均衡技術(shù)探析

農(nóng)健

摘要：隨著在線教育模式的發(fā)展，不管是用戶規(guī)模還是視頻資源量都有了很大的提升，這就要求對(duì)存儲(chǔ)與系統(tǒng)整體性能進(jìn)行進(jìn)一步提升與優(yōu)化。在數(shù)據(jù)存儲(chǔ)以及用戶反饋過程中，分布式技術(shù)具有較高的應(yīng)用價(jià)值，其中負(fù)載均衡算法則對(duì)系統(tǒng)性能有著關(guān)鍵影響。鑒于此，該文對(duì)HDFS與負(fù)載均衡技術(shù)進(jìn)行簡(jiǎn)單介紹，并圍繞基于HDFS的分布式存儲(chǔ)系統(tǒng)設(shè)計(jì)實(shí)現(xiàn)及負(fù)載均衡技術(shù)進(jìn)行研究，希望能夠?yàn)樵擁?xiàng)技術(shù)領(lǐng)域的發(fā)展提供一點(diǎn)理論支持。

關(guān)鍵詞：分布式存儲(chǔ)；HDFS；負(fù)載均衡；資源調(diào)度

中圖分類號(hào)：TP3 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2017）33-0004-03

1 HDFS與負(fù)載均衡技術(shù)概述

1.1 HDFS介紹

在海量大文件的存儲(chǔ)中，HDFS的可靠性與高效性特點(diǎn)非常突出。對(duì)于系統(tǒng)文件而言，所有數(shù)據(jù)資源在系統(tǒng)中的存儲(chǔ)模式都是以Block為基礎(chǔ)，在大部分情況下，人們會(huì)按照64MB來設(shè)置Block的容量，其中，有一個(gè)名為復(fù)制因子的元素對(duì)于資源副本數(shù)目起到?jīng)Q定性作用。根據(jù)資源文件副本數(shù)的不同，HDFS會(huì)按照不同的存儲(chǔ)機(jī)制對(duì)其進(jìn)行處理，資源文件的存儲(chǔ)也是以副本數(shù)目為依據(jù)而實(shí)現(xiàn)的，從中可以獲取冗余備份，同時(shí)基于HDFS，POSIX的要求也被放寬，如此一來，在文件系統(tǒng)數(shù)據(jù)的訪問中就可以對(duì)流的形式加以運(yùn)用。關(guān)于HDFS的基本特征，主要可以涉及五個(gè)方面，具體闡述如下：

第一，HDFS大數(shù)據(jù)的分布存儲(chǔ)方面具有強(qiáng)大功能。HDFS的擴(kuò)展能力非常突出，并且可以按照分布式存儲(chǔ)形式為大數(shù)據(jù)存儲(chǔ)提供支持，對(duì)于不同的數(shù)據(jù)節(jié)點(diǎn)的文件系統(tǒng)，HDFS都可以對(duì)其加以利用，進(jìn)而使一個(gè)具有教導(dǎo)容量的存儲(chǔ)系統(tǒng)得以形成。與此同時(shí)，在集群中數(shù)據(jù)節(jié)點(diǎn)與總?cè)萘砍烧壤P(guān)系?；诖颂攸c(diǎn)，HDFS在存儲(chǔ)方面能夠給予不斷增長(zhǎng)的視頻資源提供強(qiáng)有力的支持。

第二，并發(fā)訪問能力突出。從諸多節(jié)點(diǎn)同步進(jìn)行對(duì)外服務(wù)的提供也是HDFS的特點(diǎn)之一，因此，用戶在相關(guān)數(shù)據(jù)的訪問過程中，系統(tǒng)維持的帶寬是比較高的，在本身特性的基礎(chǔ)上，集群中的節(jié)點(diǎn)的數(shù)據(jù)訪問能力基本都具有最高帶寬。

第三，容錯(cuò)能力強(qiáng)大。在設(shè)計(jì)HDFS時(shí)，出于其對(duì)運(yùn)行環(huán)境的要求，需要考慮機(jī)器運(yùn)行的故障問題。因此，HDFS最初的運(yùn)行能力就是能夠適應(yīng)錯(cuò)誤率較高的機(jī)器，一旦出現(xiàn)錯(cuò)誤，那么就可以進(jìn)行及時(shí)檢測(cè)，同時(shí)對(duì)系統(tǒng)進(jìn)行快速回復(fù)，使數(shù)據(jù)資源得到保護(hù)，進(jìn)而提高數(shù)據(jù)資源的安全性。

第四，順序式文件訪問。在批量處理資源的過程中，大部分情況下都要按照順序?qū)?shù)據(jù)資源進(jìn)行處理。因此，為了將HDFS這一特點(diǎn)體現(xiàn)出來，同時(shí)實(shí)現(xiàn)其大數(shù)據(jù)訪問的高效性充分發(fā)揮，在這一方面，HDFS也得到了相應(yīng)的優(yōu)化，自身在按照順序讀取數(shù)據(jù)時(shí)具有較高效率。

第五，流式訪問。在文件系統(tǒng)中，數(shù)據(jù)在節(jié)點(diǎn)傳輸中會(huì)按照流的形式進(jìn)行，如此可以提高系統(tǒng)資源讀取速度，而這與視頻文件簡(jiǎn)單上傳多次訪問的特點(diǎn)相契合。

1.2 負(fù)載均衡技術(shù)相關(guān)研究

在計(jì)算機(jī)集群不斷發(fā)展的背景下，負(fù)載均衡由此也得到發(fā)展，在集群系統(tǒng)中，這一技術(shù)部分占據(jù)著重要地位，并且影響著集群系統(tǒng)的整體性能。而在云計(jì)算應(yīng)用不斷成熟的背景下，云計(jì)算技術(shù)用戶規(guī)模的龐大以及制定靈活的特點(diǎn)使管理工作迎來了巨大挑戰(zhàn)。針對(duì)此，我們必須以實(shí)際需求為導(dǎo)向，對(duì)負(fù)載均衡技術(shù)及策略進(jìn)行合理選擇，如此才能夠使云計(jì)算的性能得到改善。負(fù)載均衡技術(shù)的特點(diǎn)在于高效、透明，在系統(tǒng)中對(duì)該項(xiàng)技術(shù)加以運(yùn)用，可以使系統(tǒng)的靈活性得到強(qiáng)化，同時(shí)也能夠?qū)崿F(xiàn)其整體性能的改善，對(duì)于發(fā)揮資源優(yōu)勢(shì)而言有著積極意義。關(guān)于負(fù)載均衡的意義，主要可以涉及兩個(gè)方面：一方面，負(fù)載均衡能夠在不同節(jié)點(diǎn)進(jìn)行并發(fā)訪問，或者進(jìn)行大量數(shù)據(jù)的平均分配，對(duì)用戶請(qǐng)求進(jìn)行分開處理，進(jìn)而實(shí)現(xiàn)響應(yīng)時(shí)間與資源利用的改進(jìn)；另一方面，均衡負(fù)載可以向多個(gè)處理節(jié)點(diǎn)發(fā)送對(duì)資源需求較大的服務(wù)并進(jìn)行處理，最后對(duì)處理結(jié)果進(jìn)行匯總，并向請(qǐng)求用戶返回。關(guān)于負(fù)載均衡算法的類型，目前主要有靜態(tài)負(fù)載均衡算法、動(dòng)態(tài)負(fù)載均衡算法等兩類。其中輪詢算法、地址散列算法等應(yīng)用比較廣泛，受限于篇幅，本文不做贅述。

2 基于HDFS的分布式存儲(chǔ)系統(tǒng)設(shè)計(jì)及負(fù)載均衡技術(shù)研究

2.1 系統(tǒng)總體設(shè)計(jì)

1） 本文對(duì)基于Hadoop的云存儲(chǔ)平臺(tái)在線教育系統(tǒng)進(jìn)行構(gòu)建。其整體框架如下圖所示：

圖1 云存儲(chǔ)平臺(tái)框架圖

Hadoop是實(shí)現(xiàn)整體云平臺(tái)的基礎(chǔ)，系統(tǒng)一共裝載了三臺(tái)Hadoop機(jī)器，基于系統(tǒng)的實(shí)現(xiàn)，只需要利用瀏覽器，用戶就可以進(jìn)行簡(jiǎn)單操作。因此，本文在系統(tǒng)構(gòu)建中采用了B/S，值得一提的是，如果機(jī)器裝載了Web服務(wù)器，那么就必須對(duì)Hadoop進(jìn)行安裝，如此才能夠使分布式文件系統(tǒng)的交互性得到保障。在分析與驗(yàn)證之下，本文所述系統(tǒng)的Web服務(wù)器定位開源的服務(wù)器Tomcat，數(shù)據(jù)庫(kù)定為輕量級(jí)數(shù)據(jù)庫(kù)Mysql。

2） 按照層次化原則，將系統(tǒng)向四層進(jìn)行劃分，具體如下圖所示。

根據(jù)上圖，可知存儲(chǔ)層處于最下層，在系統(tǒng)中的主要作用就是存儲(chǔ)數(shù)據(jù)，由Hadoop組成集群中的所有機(jī)器的本地存儲(chǔ)設(shè)備都需要參與到這一層的任務(wù)中，進(jìn)而使底層數(shù)據(jù)的分布式存儲(chǔ)得以實(shí)現(xiàn)；數(shù)據(jù)管理層的任務(wù)則是提供文件系統(tǒng)的操作接口，基于此支持二次開發(fā)的實(shí)現(xiàn)，作為開發(fā)人員，他們只需要對(duì)提供的接口加以調(diào)用，相關(guān)操作即可完成；接口層的作用在于根據(jù)用戶操作，將其映射到文件系統(tǒng)的操作上，為用戶對(duì)該系統(tǒng)的使用提供便利；最后就是用戶訪問層，這一層可以將顯示功能提供給用戶，為用戶對(duì)系統(tǒng)的操作提供便利。

2.2 系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

1） 系統(tǒng)功能設(shè)計(jì)與實(shí)現(xiàn)

用戶認(rèn)證與云存儲(chǔ)平臺(tái)并不關(guān)聯(lián)，這一平臺(tái)的作用僅僅是為數(shù)據(jù)存儲(chǔ)提供支持，認(rèn)證過程是基于該平臺(tái)系統(tǒng)得以實(shí)現(xiàn)的，關(guān)于其基本功能，具體闡述如下：

用戶注冊(cè)與登錄：只要用戶名不重復(fù)，那么可以隨意注冊(cè)賬號(hào)，在登錄中，需要驗(yàn)證用戶名與相對(duì)應(yīng)的密碼；

文件上傳：系統(tǒng)中有用戶接入時(shí)，頁(yè)面中會(huì)有文件上傳功能，基于此進(jìn)行文件的上傳；

文件下載：只要在自己的權(quán)限范圍內(nèi)，用戶可以隨意下載文件；

其他操作：刪除無用、多余文件，變更文件夾名稱等。

為了使上述功能得以實(shí)現(xiàn)，就要求開發(fā)人員全范圍的了解HDFS文件系統(tǒng)的具體實(shí)現(xiàn)以及在存儲(chǔ)過程中的文件結(jié)構(gòu)，關(guān)于HDFS的文件列表結(jié)構(gòu)，具體如下圖所示。

本文以文件上傳的具體實(shí)現(xiàn)為例進(jìn)行簡(jiǎn)單闡述：

為了在分布式存儲(chǔ)系統(tǒng)HDFS中存儲(chǔ)上傳的文件，就需要圍繞實(shí)現(xiàn)上傳功能的后臺(tái)代碼編寫予以細(xì)致研究。HDFS將一個(gè)通用接口FileSystem提供出來，同時(shí)也將獲取FileSystem實(shí)例的兩種方法對(duì)外開放，這與通用文件上傳有很多相似之處。首先，我們需要完成接口實(shí)例方法的獲取，然后對(duì)其進(jìn)行合理選用，使上傳功能得以實(shí)現(xiàn)。然而，如果要對(duì)該系統(tǒng)中的在線教育系統(tǒng)加以運(yùn)用，在批量上傳文件這一操作上，需要與分布式存儲(chǔ)系統(tǒng)相對(duì)應(yīng)，這就要求我們對(duì)JQuery的插件與Uploadify插件加以利用，并在分布式存儲(chǔ)系統(tǒng)前端得以實(shí)現(xiàn)，基于此用戶就可以獲取批量上傳功能。關(guān)于上傳時(shí)序，具體如下圖所示。

2） 負(fù)載均衡模塊的實(shí)現(xiàn)

在分布式存儲(chǔ)系統(tǒng)中，該模塊的核心地位毋庸置疑，系統(tǒng)性能在很大程度取決于此。以基于帶寬的負(fù)載均衡算法為例，其主要由兩個(gè)部分組成，一部分是對(duì)HDFS的ReplictionTargetChooser加以應(yīng)用，并在用戶視頻上傳中完成數(shù)據(jù)塊對(duì)存儲(chǔ)節(jié)點(diǎn)的找尋。而另一部分則是對(duì)HDFS的Balancer類加以應(yīng)用，當(dāng)服務(wù)器端對(duì)負(fù)載均衡檢測(cè)時(shí)有指標(biāo)偏離情況出現(xiàn)，那么這一部分就會(huì)自動(dòng)運(yùn)行。關(guān)于執(zhí)行Balancer的流程，具體如下圖所示。

圖5 Balancer實(shí)現(xiàn)邏輯流程示意圖

根據(jù)上圖，以基于網(wǎng)絡(luò)帶寬的負(fù)載均衡算法的服務(wù)器端部分的實(shí)現(xiàn)為例，其需要對(duì)Balancer類加以應(yīng)用，并按照上述流程，自管理節(jié)點(diǎn)處完成數(shù)據(jù)節(jié)點(diǎn)信息的獲取，并基于本文算法分析，對(duì)需進(jìn)行調(diào)整數(shù)據(jù)的數(shù)據(jù)節(jié)點(diǎn)進(jìn)行計(jì)算，之后向管理節(jié)點(diǎn)進(jìn)行反饋。管理節(jié)點(diǎn)處中需要調(diào)整的數(shù)據(jù)節(jié)點(diǎn)信息被接收之后，就要對(duì)數(shù)據(jù)轉(zhuǎn)移操作予以執(zhí)行，并對(duì)數(shù)據(jù)操作的正確性進(jìn)行確認(rèn)。如圖6為具體的算法執(zhí)行過程。

3 結(jié)論

總而言之，基于HDFS實(shí)現(xiàn)的分布式視頻存儲(chǔ)與處理系統(tǒng)的優(yōu)點(diǎn)十分突出，首先，在視頻數(shù)據(jù)方面，分布式存儲(chǔ)能夠有效滿足大數(shù)據(jù)時(shí)代下的海量數(shù)據(jù)存儲(chǔ)與處理的實(shí)際要求；其次，這種系統(tǒng)的具有優(yōu)異的擴(kuò)展性，能夠很好適應(yīng)日益增長(zhǎng)的用戶需求?；谏鲜鱿到y(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)進(jìn)行動(dòng)態(tài)性檢測(cè)，可知在負(fù)載均衡與文件上傳的過程中，在帶寬較低時(shí)，文件上傳耗時(shí)較少，隨著帶寬的提升，文件上傳效率則相應(yīng)下降，其中按照3Mbit/s進(jìn)行帶寬的設(shè)定時(shí)，負(fù)載均衡過程的耗時(shí)有所增加，而上傳耗時(shí)則能夠降低不少，這對(duì)于提高用戶相應(yīng)速度與整體效率而言有著積極意義。當(dāng)然，在設(shè)計(jì)與研究過程中，我們依然需要關(guān)注其中存在的不足與缺陷，并圍繞此展開深入研究，提出有效的改進(jìn)策略，促使相關(guān)技術(shù)的作用與價(jià)值得到充分發(fā)揮。

參考文獻(xiàn)：

[1] 鄭惠瀚. 基于HDFS的分布式存儲(chǔ)中負(fù)載均衡技術(shù)研究[D]. 哈爾濱工業(yè)大學(xué)， 2015.

[2] 張海. 基于HDFS分布式存儲(chǔ)技術(shù)研究與優(yōu)化[D]. 河北工業(yè)大學(xué)， 2013.

[3] 李曉愷. 基于HDFS分布式文件系統(tǒng)性能優(yōu)化技術(shù)研究[D]. 中國(guó)科學(xué)院研究生院， 2012.

[4] 王來， 翟健宏. 基于HDFS的分布式存儲(chǔ)策略分析[J]. 智能計(jì)算機(jī)與應(yīng)用， 2016， 6（1）.

[5] 潘陽(yáng). 基于Hadoop技術(shù)在分布式數(shù)據(jù)存儲(chǔ)中的應(yīng)用研究[D]. 大連海事大學(xué)， 2015.

[6] 張栗粽， 崔園， 羅光春，等. 面向大數(shù)據(jù)分布式存儲(chǔ)的動(dòng)態(tài)負(fù)載均衡算法[J]. 計(jì)算機(jī)科學(xué)， 2017， 44（5）.

[7] 劉高軍， 王帝澳. 基于Redis的海量小文件分布式存儲(chǔ)方法研究[J]. 計(jì)算機(jī)工程與科學(xué)， 2013， 35（10）.

[8] 李曉愷， 代翔， 李文杰，等. 基于糾刪碼和動(dòng)態(tài)副本策略的HDFS改進(jìn)系統(tǒng)[J]. 計(jì)算機(jī)應(yīng)用， 2012， 32（8）.