張蓓蓓，楊 潔

（西安郵電大學(xué)通信與信息工程學(xué)院，西安 710061）

多集群系統(tǒng)中資源監(jiān)控模塊的設(shè)計與實現(xiàn)

張蓓蓓，楊 潔

（西安郵電大學(xué)通信與信息工程學(xué)院，西安 710061）

針對單一集群用戶提交大量作業(yè)時系統(tǒng)響應(yīng)時間長的問題，提出了一種多集群系統(tǒng)中資源監(jiān)控的設(shè)計方案，該方案主要是對集群中各個子節(jié)點所有可用資源的狀況進(jìn)行監(jiān)控，采集子節(jié)點的資源信息，并將收集到的集群節(jié)點負(fù)載信息傳送給作業(yè)控制模塊，使得作業(yè)根據(jù)分布在多集群環(huán)境中的計算資源負(fù)載情況進(jìn)行作業(yè)跨集群調(diào)度；此方案可用于商業(yè)、高校等計算節(jié)點比較多的場所，提高工作效率，此方案已在高性能計算中應(yīng)用，運(yùn)行狀況穩(wěn)定；實驗結(jié)果表明，當(dāng)用戶并提交作業(yè)和查詢作業(yè)狀態(tài)時，多集群系統(tǒng)響應(yīng)時間優(yōu)于單一集群系統(tǒng)響應(yīng)時間。

多集群；負(fù)載；資源監(jiān)控

0 引言

多集群［1-2］系統(tǒng)中，資源監(jiān)控是對集群中各個子節(jié)點所有可用資源的狀況進(jìn)行監(jiān)控，采集子節(jié)點的資源信息，計算各集群節(jié)點的負(fù)載值［3］，從而使資源的使用率達(dá)到最優(yōu)。資源監(jiān)控模塊的主要功能是收集各集群子節(jié)點資源的靜態(tài)和動態(tài)信息［4 5］。資源信息的采集方法有很多種，用不同的方法實現(xiàn)資源信息的采集會在很大程度上影響整個集群系統(tǒng)的性能，文獻(xiàn)［6］通過系統(tǒng)提供的命令或者使用開發(fā)平臺提供的庫函數(shù)來采集節(jié)點信息。然而對于多集群復(fù)雜的系統(tǒng)環(huán)境，這兩種獲取資源的方法在很大程度上受到了限制。系統(tǒng)文件中不僅包含著文件中的數(shù)據(jù)而且還有文件系統(tǒng)的結(jié)構(gòu)，用戶和程序看到的文件、目錄、軟連接及文件保護(hù)信息等都存儲在其中。所以對于集群中資源信息的采集方式，本文提出采用讀取系統(tǒng)文件的方式。

1 資源監(jiān)控模塊的體系結(jié)構(gòu)

資源監(jiān)控模塊主要由資源子代理模塊、資源信息收集模塊和資源信息分析與傳遞模塊三大模塊構(gòu)成。資源子代理模塊主要負(fù)責(zé)收集每個集群子節(jié)點上的資源信息，之后將收集到的數(shù)據(jù)信息遞交給資源信息收集模塊。資源信息收集模塊將資源子代理模塊收集到的信息進(jìn)行一定的處理，然后寫入數(shù)據(jù)庫。資源信息分析與傳遞模塊則是對數(shù)據(jù)庫中的資源信息進(jìn)行解析，然后生成該集群節(jié)點的資源信息表，并將其傳遞給作業(yè)控制模塊。體系結(jié)構(gòu)如圖1所示。

圖1 資源監(jiān)控模塊的體系結(jié)構(gòu)

2 資源子代理模塊的實現(xiàn)

由于本系統(tǒng)使用的平臺為Linux平臺［7］，故系統(tǒng)資源被放置在目錄／proc下，該目錄下記錄了系統(tǒng)的內(nèi)存信息、cpu信息以及最近的資源負(fù)載信息。由于資源信息的采集不但要考慮系統(tǒng)的資源配置狀況，還要考慮用戶的資源需求，由以上分析可知資源信息類型如下表1。

以下程序均建立在Linux操作系統(tǒng)［8 9］之上.資源子代理模塊的實現(xiàn)首先讀取信息，然后對讀取到的信息進(jìn)行一定的加工處理以及一定的格式轉(zhuǎn)換，使其成為系統(tǒng)的可用信息。

內(nèi)存資源信息數(shù)據(jù)結(jié)構(gòu)如下：

表1 資源信息類型

內(nèi)存資源信息的讀取要用到文件／proc／meminfo中的相關(guān)數(shù)據(jù)。內(nèi)存資源信息的讀取函數(shù)實現(xiàn)如下。

return（NULL）；／／打開文件失敗；fscanf（fp，”%*［＾＼n］%*c”）；／／指針定位，讀取內(nèi)存資源信息數(shù)據(jù)；

對當(dāng)前平均負(fù)載信息的收集要利用文件系統(tǒng)／proc／loadavg的相關(guān)信息，具體過程如下：

3 資源信息收集模塊

資源收集模塊負(fù)責(zé)將資源子代理收集到的分散的資源信息收集起來，構(gòu)成整個集群的負(fù)載資源信息，并將其放入到節(jié)點的數(shù)據(jù)庫中。該模塊的數(shù)據(jù)處理流如圖2。

圖2 資源信息收集模塊

數(shù)據(jù)收集不但是收集各個子節(jié)點的基礎(chǔ)，還是實現(xiàn)資源收集模塊功能的關(guān)鍵。將Socket通信機(jī)制［10］和java語言的多線程技術(shù)結(jié)合使用來實現(xiàn)該模塊的功能。數(shù)據(jù)收集子模塊首先每隔5秒對各集群中子節(jié)點進(jìn)行輪詢并且采集資源信息，然后對采集到的數(shù)據(jù)進(jìn)行數(shù)據(jù)解析和數(shù)據(jù)封裝，最后將封裝后的信息存入到本地數(shù)據(jù)庫中。該模塊代碼如下：

創(chuàng)建Client類接收數(shù)據(jù)：

接收數(shù)據(jù)并進(jìn)行解析：

4 資源信息分析與傳遞模塊

該模塊是對集群中節(jié)點的資源負(fù)載進(jìn)行計算。該模塊的功能結(jié)構(gòu)如圖3所示。

由圖3可以看出，該模塊由節(jié)點負(fù)載計算模塊與評估控制模塊組成。其中節(jié)點負(fù)載計算子模塊負(fù)責(zé)從數(shù)據(jù)庫中取出資源信息并根據(jù)負(fù)載計算公式計算出節(jié)點的負(fù)載值，然后傳送給作業(yè)控制模塊。

圖3 資源信息分析與傳遞模塊

因為資源子代理模塊需要從集群中子節(jié)點得到資源信息，而當(dāng)集群中子節(jié)點出了故障時，資源收集模塊會收集到一些故障信息，因此評估控制子模塊顯得尤為重要，該模塊主要間接判斷集群中子節(jié)點的運(yùn)行狀態(tài)，并且提供預(yù)防性評估和故障評估兩類功能。該模塊通過對子節(jié)點上的資源信息不斷抽象、過濾、推理、最終達(dá)到性能瓶頸探測和故障探測的目的，以此來防止子節(jié)點出現(xiàn)突發(fā)故障而資源收集模塊不知情的情況下導(dǎo)致作業(yè)調(diào)度的失敗。

5 實驗結(jié)果與分析

此系統(tǒng)使用的開發(fā)工具為面向?qū)ο蟮腁CE工具包，它有很好的應(yīng)用框架，其最大的特點是支持高性能以及多種操作系統(tǒng)，該測試是在linux環(huán)境下進(jìn)行的，所有節(jié)點是在virtualbox上搭建5臺redhat虛擬機(jī)、2個集群構(gòu)成，在與作業(yè)控制模塊相結(jié)合的情況下，向用戶提交GUI圖形用戶界面，并且使用loaderunner進(jìn)行性能測試。

整個測試分為4類：

1）單一集群環(huán)境下，用戶提交作業(yè)的系統(tǒng)響應(yīng)時間。

2）多集群環(huán)境下，用戶提交作業(yè)的系統(tǒng)響應(yīng)時間。

3）單一集群環(huán)境下，用戶查詢作業(yè)詳細(xì)信息的系統(tǒng)響應(yīng)時間。

4）多集群環(huán)境下，用戶查詢作業(yè)詳細(xì)信息的系統(tǒng)響應(yīng)時間。

測試作業(yè)提交系統(tǒng)響應(yīng)時間時進(jìn)行了3組實驗，分別為1個用戶提交500個作業(yè)、和5個用戶并行提交200個作業(yè)、5個用戶并行提交500個作業(yè)。測試數(shù)據(jù)aggregate_report_ 90%_line如表2所示。

表2 作業(yè)提交響應(yīng)時間內(nèi)比較ms

測試用戶查詢作業(yè)系統(tǒng)響應(yīng)時間時進(jìn)行了3組實驗，分別為1個用戶查詢個作業(yè)、和1個用戶查詢200個作業(yè)、5個用戶并行提交500個作業(yè)。測試數(shù)據(jù)aggregate_report_90%_ line如表3。

表3 作業(yè)詳細(xì)信息查詢響應(yīng)時間比較ms

由表2和表3可以看出，多集群系統(tǒng)下無論是用戶查詢還是用戶提交作業(yè)響應(yīng)時間均優(yōu)于單一集群。

6 總結(jié)

多集群系統(tǒng)資源分配、作業(yè)調(diào)度的前提是資源信息的采集，對于多集群中節(jié)點的資源信息狀況，本系統(tǒng)采用資源監(jiān)控模塊對其進(jìn)行監(jiān)控。本文對單一集群和多集群環(huán)境下系統(tǒng)響應(yīng)時間進(jìn)行了對比，通過測試結(jié)果得知多集群系統(tǒng)提高了系統(tǒng)的響應(yīng)時間。其次，多集群系統(tǒng)已應(yīng)用在高性能計算中，通過軟件的應(yīng)用，也驗證了系統(tǒng)的可行性。

［1］楊 蕾.網(wǎng)格環(huán)境下分布式作業(yè)管理與調(diào)度技術(shù)的研究與實現(xiàn)［D］.西安：西安電子科技大學(xué)軟件工程，2011.

［2］Dillon T，Wu C，Chang E.Cloud computing：issues and challenges ［A］.IEEE International Conference on Advanced Information Networking and Applications［C］.2010：27-33.

［3］葉 楓，王志堅，徐新坤，等.一種基于Qos的運(yùn)負(fù)載均衡機(jī)制的研究［J］.小型微計算機(jī)系統(tǒng)，2012，（10）：2150-2151.

［4］顧永立，葉 亮.多集群系統(tǒng)中作業(yè)控制的研究與實現(xiàn)［J］.軟件產(chǎn)業(yè)與工程，2015，（3）：36-38.

［5］葛錚錚.異構(gòu)集群環(huán)境下作業(yè)調(diào)度算法研究［D］.西安：西安電子科技大學(xué)，2014.

［6］Doukas G，Thramboulidis K.A real－time－Linux－based framework for model－driven engineering in control and automation［J］.IEEE Transactions on Industrial Electronics，2011，58（3）：914-924.

［7］Excoffier L，Lischer H.Arlequin suite ver 3.5：a new series of programs to perform population genetics analyses under Linux and Windows［J］.Molecular Ecology Resources，2010，10（3）：564 -567.

［8］楊明華，譚 勵，于重重.Linux系統(tǒng)與網(wǎng)絡(luò)服務(wù)管理技術(shù)大全（第二版）［M］.北京：電子工業(yè)出版社，2010.

［9］余柏山.Linux系統(tǒng)管理與網(wǎng)絡(luò)管理［M］.北京：清華大學(xué)出版社，2010.

［10］韓 濤，黃友銳，曲立國，等.適用于異構(gòu)網(wǎng)絡(luò)的改進(jìn)TCP協(xié)議研究［J］.計算機(jī)科學(xué)，2011（S1）：279-281.

Research and Implementation of Resource Monitoring Module on Multi－cluster System

Zhang Beibei，Yang Jie

（School of Communication and Information Engineering，Xi′an University of Posts and Telecommunications，Xi′an 710061，China）

According to system response time problem when users submit a lot of jobs，a cluster resource monitoring in the system design scheme was proposed，this scheme is mainly to monitor the status of all available resources in the cluster，and collect subnodes’resource information，and transmit the cluster node load information to job control module to make the job be scheduled based on resource load information in the different clusters.This scheme can be used for commercial，universities and other places with more compute nodes，which can improve the work efficiency.This scheme has been used in the high performance computing，which has stable operation.The results show that，when a user submit job and query job states，multi－cluster system response time is better than single cluster system.

cluster；load information；resource monitoring

1671-4598（2016）08-0168-03

10.16526／j.cnki.11－4762／tp.2016.08.045

：TP301

：A

2015-11-09；

：2015-12-21。

國家自然科學(xué)基金（61402365）；陜西省科技工業(yè)公關(guān)項目（2013K06－33）。

張蓓蓓（1990-），女，研究生，主要從事云計算方向的研究。