多媒體云計算下的大規(guī)模數(shù)據(jù)流調(diào)度方法研究

安海濤

摘 要： 傳統(tǒng)的多媒體數(shù)據(jù)流調(diào)度方法在云平臺環(huán)境下，未考慮服務(wù)器信息調(diào)度的差異性，容易形成數(shù)據(jù)調(diào)度沖突，調(diào)度效率低。為了解決上述分析的問題，通過構(gòu)建多媒體云計算下數(shù)據(jù)流調(diào)度平臺，實現(xiàn)對多路大規(guī)模多媒體數(shù)據(jù)流的合理調(diào)度，利用多級分層結(jié)構(gòu)將多媒體云計算下的多服務(wù)器大規(guī)模數(shù)據(jù)流調(diào)度過程劃分成管理層面、控制層面以及數(shù)據(jù)層面，可確保將數(shù)據(jù)包均勻的分配給各個服務(wù)器，充分發(fā)揮云計算下的多服務(wù)器可并行處理的特性，增強數(shù)據(jù)流的調(diào)度質(zhì)量。對調(diào)度平臺的軟件框架進行了詳細的描述，依據(jù)該軟件框架的多層次實現(xiàn)大規(guī)模數(shù)據(jù)流調(diào)度優(yōu)化，分析了大規(guī)模數(shù)據(jù)流調(diào)度的具體實現(xiàn)過程，并給出大規(guī)模數(shù)據(jù)流調(diào)度平臺軟件代碼的設(shè)計。實驗結(jié)果表明，所提方法增強了多媒體云計算下的大規(guī)模數(shù)據(jù)流調(diào)度的并發(fā)性能，提高數(shù)據(jù)流調(diào)度質(zhì)量。

關(guān)鍵詞： 多媒體； 云計算； 大規(guī)模數(shù)據(jù)流； 調(diào)度方法

中圖分類號： TN911?34 文獻標識碼： A 文章編號： 1004?373X（2015）20?0154?04

Research on massive data stream scheduling method under the condition of

multimedia cloud computation

AN Haitao

（Inner Mongolia Electronic Information Vocational Technical College， Hohhot 010010， China）

Abstract： The traditional multimedia data stream scheduling method does not consider the difference of the server information scheduling in the cloud environment， and is easy to form the data scheduling conflict， which may result in low scheduling efficiency. In order to solve the problem of the above analysis， by constructing the data stream scheduling platform under the condition of multimedia cloud computation to achieve rational scheduling of multi?channel large?scale multimedia data stream， the massive data stream scheduling process of multiple servers in multimedia cloud computation is divided into management level， control level and data level by using multi?stage stratified structure， so as to ensure that the data packet is evenly assigned to each server， give full play to the parallel processing features of multiple servers in cloud computation， and enhance the scheduling quality of data stream. The software framework of dispatching platform is described in detail. According to the multi?level feature of software framework， the scheduling optimization of large?scale data stream is realized. The specific implementation process of massive data streams scheduling is analyzed. The design of the software code for massive data streams scheduling platform is given. The experimental results indicate that the proposed method has enhanced the concurrent performance of massive data flow scheduling under the condition of multimedia cloud computation and improved the scheduling quality of data stream.

Keywords： multimedia； cloud computing； large scale data flow； scheduling method

0 引 言

隨著計算機以及網(wǎng)絡(luò)技術(shù)的快速發(fā)展，多媒體數(shù)據(jù)的應(yīng)用領(lǐng)域逐漸擴展。由于多媒體業(yè)務(wù)具有較高的計算復(fù)雜度，因而在云計算平臺上部署這些業(yè)務(wù)具有較強的必要性[1?3]。云計算下的多媒體視頻數(shù)據(jù)流具有實時性、隨機性、數(shù)量多等特征，而多媒體應(yīng)用要求支撐多媒體服務(wù)的云計算環(huán)境能夠提供高質(zhì)量的服務(wù)，而實現(xiàn)服務(wù)質(zhì)量的關(guān)鍵是有效處理數(shù)據(jù)擁塞問題，因此尋求有效的大規(guī)模數(shù)據(jù)流調(diào)度方法[4?6]，確保云計算環(huán)境下多媒體信息的正常運行，受到了相關(guān)學(xué)者的關(guān)注。endprint

當前，主流的云平臺多媒體數(shù)據(jù)流調(diào)度方法主要如下：文獻[7]提出的依據(jù)神經(jīng)網(wǎng)絡(luò)算法的調(diào)度方法。該方法較為簡便，但容易出現(xiàn)調(diào)度沖突問題，調(diào)度效率大大降低；文獻[8]分析了依據(jù)優(yōu)化微粒群算法的調(diào)度方法，該方法雖然具有較高的調(diào)度效率，但是未充分考慮云計算下多服務(wù)器間的差異性，導(dǎo)致數(shù)據(jù)流調(diào)度結(jié)果存在較大的偏差；文獻[9]分析的依據(jù)免疫遺傳算法的調(diào)度方法，但是由于多媒體云計算下的數(shù)據(jù)流調(diào)度系統(tǒng)缺少變異過程，容易陷入局部最優(yōu)，不能獲取最佳的調(diào)度結(jié)果；文獻[10]提出了最早結(jié)束標志優(yōu)先調(diào)度算法，該種算法無法確保為每個任務(wù)提供端端延遲保證，具有較高的運算復(fù)雜度。

1 多媒體云計算下大規(guī)模數(shù)據(jù)流調(diào)度平臺系統(tǒng)

框架

將CaviumCN58XX服務(wù)器當成多媒體云計算下大規(guī)模數(shù)據(jù)流調(diào)度平臺的實現(xiàn)基礎(chǔ)。CN58XX服務(wù)器中集成了14個同構(gòu)服務(wù)器，各處理核具有獨立的輸入包分類以及加解密等協(xié)處理器單元，擁有高速多媒體數(shù)據(jù)流處理、轉(zhuǎn)發(fā)性能，能夠滿足多媒體云計算下大規(guī)模數(shù)據(jù)流調(diào)度平臺的性能需求。

基于CN58XX服務(wù)器的硬件結(jié)構(gòu)，本文劃分多媒體云計算環(huán)境下的底層硬件資源，塑造多媒體云計算下大規(guī)模數(shù)據(jù)流調(diào)度平臺與硬件資源映射關(guān)系，獲取調(diào)度平臺在硬件層面的系統(tǒng)結(jié)構(gòu)圖如圖1所述。

圖1 多媒體云計算下的大規(guī)模數(shù)據(jù)流調(diào)度系統(tǒng)結(jié)構(gòu)

分析圖1可以看出，在數(shù)據(jù)流調(diào)度系統(tǒng)中，多媒體云計算下的資源包括兩個部分，一部分服務(wù)器需要執(zhí)行Linux操作系統(tǒng)，確保用戶能夠在Linux操作系統(tǒng)上運行多媒體視頻流化的應(yīng)用，產(chǎn)生流化數(shù)據(jù)，也就是多媒體數(shù)據(jù)流；另一部分服務(wù)器用來搭建多媒體云計算服務(wù)器操作系統(tǒng)，該系統(tǒng)可對調(diào)度平臺的管理層面、控制層面和數(shù)據(jù)層面進行統(tǒng)一調(diào)控。

其中管理層面和控制層面對多媒體云計算系統(tǒng)的硬件資源進行調(diào)控，同時調(diào)度系統(tǒng)間的信令和數(shù)據(jù)的溝通。數(shù)據(jù)層面用于塑造大規(guī)模數(shù)據(jù)流調(diào)度，完成多媒體云計算下的大規(guī)模數(shù)據(jù)流的有效傳遞。Linux操作系統(tǒng)與多媒體云計算服務(wù)器操作系統(tǒng)都具備獨立的硬件資源，兩個系統(tǒng)間通過控制層面維護的數(shù)據(jù)通道實現(xiàn)信息的溝通，數(shù)據(jù)流通道將傳遞流化后的視頻數(shù)據(jù)流，通過大規(guī)模數(shù)據(jù)流調(diào)度平臺完成定時發(fā)送。

2 大規(guī)模數(shù)據(jù)流調(diào)度

多媒體云計算平臺通過多個服務(wù)器完成大規(guī)模數(shù)據(jù)流的傳遞，數(shù)據(jù)流在服務(wù)器間進行并行處理時，容易出現(xiàn)資源沖突問題，導(dǎo)致出現(xiàn)服務(wù)器資源浪費以及數(shù)據(jù)流調(diào)度滯后等問題，所以應(yīng)在云計算下的多服務(wù)器之間調(diào)度數(shù)據(jù)流，合理分配服務(wù)器資源。

云計算下的多個服務(wù)器間的數(shù)據(jù)包調(diào)度，是多媒體云計算下大規(guī)模數(shù)據(jù)流調(diào)度需要考慮的重要問題。因此，本文利用多級分層結(jié)構(gòu)將多媒體云計算下的多服務(wù)器大規(guī)模數(shù)據(jù)流調(diào)度過程，劃分成如圖2所示的分層邏輯模型。該大規(guī)模數(shù)據(jù)流調(diào)度分層邏輯模型由管理層面、控制層面和數(shù)據(jù)層面組成，該模型可確保將數(shù)據(jù)包均勻的分配給各個服務(wù)器，充分發(fā)揮云計算下的多服務(wù)器可并行處理的特性。

圖2 大規(guī)模數(shù)據(jù)流調(diào)度平臺分層邏輯結(jié)構(gòu)

管理層面：部署大規(guī)模數(shù)據(jù)流調(diào)度平臺在數(shù)據(jù)層面的拓撲結(jié)構(gòu)，對多媒體云計算環(huán)境中的硬件資源的分配進行調(diào)控。

控制層面：管理大規(guī)模數(shù)據(jù)流調(diào)度平臺中的硬件資源，為每條數(shù)據(jù)流分配相應(yīng)的硬件資源，對進入大規(guī)模數(shù)據(jù)流調(diào)度平臺的數(shù)據(jù)流進行實時操作。控制層為Linux操作系統(tǒng)與多媒體云計算服務(wù)器操作系統(tǒng)間提供數(shù)據(jù)傳遞通道，確保數(shù)據(jù)流可通過Linux操作系統(tǒng)上的應(yīng)用程序，傳輸?shù)蕉嗝襟w云計算服務(wù)器操作系數(shù)中的大規(guī)模數(shù)據(jù)流調(diào)度平臺中。

數(shù)據(jù)層面：依據(jù)管理層面設(shè)置的拓撲結(jié)構(gòu)，調(diào)控大規(guī)模數(shù)據(jù)流調(diào)度平臺中的服務(wù)器，接收控制層面反饋的數(shù)據(jù)，確保大規(guī)模數(shù)據(jù)流的實時傳輸。

3 多媒體云計算下數(shù)據(jù)流調(diào)度軟件設(shè)計

在塑造大規(guī)模數(shù)據(jù)流調(diào)度模型時，還應(yīng)依據(jù)軟件框架充分利用云計算平臺中多服務(wù)器的硬件資源，實現(xiàn)大規(guī)模數(shù)據(jù)流的高效調(diào)度。

3.1 大規(guī)模數(shù)據(jù)流調(diào)度平臺軟件框架設(shè)計

根據(jù)分層結(jié)構(gòu)塑造多媒體云計算下的大規(guī)模數(shù)據(jù)流調(diào)度平臺的軟件模型，并假設(shè)多媒體云計算下的網(wǎng)絡(luò)使用視頻點播系統(tǒng)流化數(shù)據(jù)，流化后的數(shù)據(jù)流具有嚴格的發(fā)送時間限制，則構(gòu)建的大規(guī)模數(shù)據(jù)流調(diào)度平臺軟件框架，如圖3所示。

圖3 多媒體云計算下的大規(guī)模數(shù)據(jù)流調(diào)度平臺軟件框架

如圖3所示，Linux操作系統(tǒng)與多媒體云計算操作系統(tǒng)并行運行于多媒體云計算環(huán)境中。在Linux操作系統(tǒng)上執(zhí)行Dalwill多媒體視頻點播系統(tǒng)，通過該系統(tǒng)流化后的視頻數(shù)據(jù)采用大規(guī)模數(shù)據(jù)流調(diào)度平臺接口，反饋到大規(guī)模數(shù)據(jù)流調(diào)度平臺。

本文設(shè)計的大規(guī)模數(shù)據(jù)流調(diào)度平臺主要由以下的軟件模塊組成：

配置調(diào)控模塊對大規(guī)模數(shù)據(jù)流調(diào)度平臺進行初始化設(shè)置，同時對節(jié)目流資源進行調(diào)控。分組輸入模塊采集多媒體云計算環(huán)境中的數(shù)據(jù)，并對數(shù)據(jù)進行分類過濾處理，再將處理后的數(shù)據(jù)傳遞到流化應(yīng)用，分組輸入模塊接收流化應(yīng)用反饋的RTSP和IP分組數(shù)據(jù)，并將數(shù)據(jù)傳遞到分組操作模塊。

分組操作模塊采集分組輸入模塊傳輸?shù)臄?shù)據(jù)，并在配置管理模塊對應(yīng)的內(nèi)存中搜索節(jié)目流信息，將該信息當成數(shù)據(jù)包封裝IP包頭和以太網(wǎng)包頭，生成以太網(wǎng)數(shù)據(jù)報，同時將數(shù)據(jù)報傳遞給分組輸出模塊；分組輸出模塊采集分組操作模塊傳遞的以太網(wǎng)數(shù)據(jù)報，依據(jù)各數(shù)據(jù)包的發(fā)送時間將數(shù)據(jù)包傳遞到相應(yīng)的網(wǎng)絡(luò)端口。

大規(guī)模數(shù)據(jù)流調(diào)度平臺中還包括定時器，大規(guī)模數(shù)據(jù)流調(diào)度平臺需要將數(shù)據(jù)包傳遞給定時器，定時器在數(shù)據(jù)包到達發(fā)送時間后，將數(shù)據(jù)包傳輸?shù)捷敵瞿K。

分組輸出模塊用于大規(guī)模數(shù)據(jù)流調(diào)度平臺專用接口的流化應(yīng)用以及實現(xiàn)大規(guī)模數(shù)據(jù)流調(diào)度中數(shù)據(jù)和信令間的交互。信令交互是實現(xiàn)ID申請/釋放信息的交互，流化應(yīng)用在開始發(fā)送一路新的節(jié)目流前，應(yīng)通過大規(guī)模數(shù)據(jù)流調(diào)度平臺專用接口申請新ID，流化應(yīng)用基于新ID提交數(shù)據(jù)，區(qū)分不同的節(jié)目流。

3.2 軟件代碼設(shè)計

本文設(shè)計的多媒體云計算下的大規(guī)模數(shù)據(jù)流調(diào)度模型，采用全對稱并行的體系結(jié)構(gòu)，在每個云計算下的服務(wù)器上都部署相同的任務(wù)。在大規(guī)模數(shù)據(jù)流調(diào)度平臺中這些任務(wù)包括數(shù)據(jù)流的預(yù)處理、協(xié)議棧加速和數(shù)據(jù)包發(fā)送等。全部服務(wù)器都能夠接收流化后的數(shù)據(jù)，并對數(shù)據(jù)進行處理，再發(fā)送到指定的HMD上。本文采用偽代碼描述各服務(wù)器上執(zhí)行的任務(wù)流程：

while（l）

{

//數(shù)據(jù)包預(yù)處理過程

In_data?get_stream_data； //接收流化應(yīng)用提交的數(shù)據(jù)包

If in data！=NULL //從流化應(yīng)用接收到數(shù)據(jù)包

{

handle_data（i_data）： //對數(shù)據(jù)包進行預(yù)處理

insert_data（in_data）； //將數(shù)據(jù)包插入待加速隊列，

//等待為數(shù)據(jù)包進行協(xié)議棧加速

}

//數(shù)據(jù)包協(xié)議棧加速過程

//輪詢各HMD上的第Flow_stack個待加速隊列

Flow_stack=Flow_ stack+l；

fo：i?1toHMD_num //依次輪詢?nèi)縃MD上的待加速隊列

{

//查詢第i個Nlc上的Flow_quetle隊列中是否存在需要加速數(shù)據(jù)

Paek_data=get_Flow_data（i，F(xiàn)low_stack）；

If Flow_data！=NuLL //獲取需要加速數(shù)據(jù)包

{

//對數(shù)據(jù)包進行協(xié)議棧加速

Flowing_data（Flow_data）；

//將各數(shù)據(jù)包插入待發(fā)送棧，伺機傳遞數(shù)據(jù)包

insert_data（Flow_data）；

}

//數(shù)據(jù)包定時發(fā)送過程

//順序查詢各HMD上的第send_stack個待傳遞棧

send_stack=send_stack+1；

for1=1 to HMD_num //順序查詢?nèi)縃MD中的待傳遞棧

{

//查詢第i個HMD上的send_stack隊列中是否有待加速數(shù)據(jù)

send_data=get_send_data（i，send_stack）；

if send data！=NULL //采集需要加速數(shù)據(jù)包

{

if send data //到達傳遞時間或者接近傳遞時間

{

//定時發(fā)送數(shù)據(jù)包

sending_data（send_data）；

}

}

}

}

4 實驗結(jié)果及分析

為了驗證本文方法的有效性，塑造一個仿真實驗系統(tǒng)進行驗證。

4.1 實驗參數(shù)設(shè)置

仿真系統(tǒng)由3個云計算下的服務(wù)器構(gòu)成，各服務(wù)器采用3級流水線結(jié)構(gòu)設(shè)置多媒體云計算下的多服務(wù)器拓撲結(jié)構(gòu)。設(shè)置數(shù)據(jù)包在服務(wù)器間傳遞的時間消耗為8。實驗使用由http：//fown.uew.esr.edu/fownstck.html提供的實際影片數(shù)據(jù)幀信息，采用該影片模擬多媒體數(shù)據(jù)流。

4.2 實驗結(jié)果

（1） 數(shù)據(jù)包延遲分析。本文方法對實驗數(shù)據(jù)包發(fā)送延遲的影響，結(jié)果如圖4所述。

圖4 本文方法下多媒體云計算下的數(shù)據(jù)包延遲情況

分析圖4可以發(fā)現(xiàn)，采用本文方法調(diào)度多媒體云計算下的大規(guī)模數(shù)據(jù)流過程中，數(shù)據(jù)包平均延遲率隨著系統(tǒng)服務(wù)的數(shù)據(jù)流數(shù)量增加而升高，因為實驗采用的影片信息流化后是多路數(shù)據(jù)流，導(dǎo)致系統(tǒng)服務(wù)器上的負載發(fā)生大幅度波動，容易形成數(shù)據(jù)包延遲發(fā)送問題。當系統(tǒng)中總數(shù)據(jù)流數(shù)少于950萬路時，幾乎沒有數(shù)據(jù)包延遲發(fā)送，而當數(shù)據(jù)流數(shù)高于950萬路低于1 000萬路時，延遲發(fā)送的數(shù)據(jù)包增多，但是整體的數(shù)據(jù)包延遲率仍然較低，說明采用本文方法增強了多媒體云計算下大規(guī)模數(shù)據(jù)流調(diào)度的并發(fā)性能，提高數(shù)據(jù)流調(diào)度質(zhì)量。

（2） CPU資源利用率。對比分析免疫遺傳方法和本文方法下的多媒體云計算下的大規(guī)模數(shù)據(jù)流調(diào)度系統(tǒng)資源使用情況，如圖5所示。圖5中隨著多媒體云計算系統(tǒng)中服務(wù)的數(shù)據(jù)流數(shù)量的不斷增加，本文數(shù)據(jù)流調(diào)度方法下的多媒體云計算環(huán)境下的資源總體利用率在絕大部分情況下明顯高于免疫遺傳算法的整體利用率。

（3） 數(shù)據(jù)包調(diào)度總量。圖6描述了免疫遺傳方法和本文方法下系統(tǒng)調(diào)度數(shù)據(jù)包的總量對比，可以看出本文方法下系統(tǒng)調(diào)度數(shù)據(jù)包的總量明顯高于免疫遺傳方法，采用本文方法可有效地提高系統(tǒng)處理數(shù)據(jù)包的總數(shù)，增加多媒體云計算系統(tǒng)的并發(fā)量，提高系統(tǒng)的服務(wù)能力。

圖5 不同方法下的系統(tǒng)CPU利用率對比

圖6 不同方法下系統(tǒng)處理的數(shù)據(jù)包總量對比

5 結(jié) 論

本文通過構(gòu)建多媒體云計算下數(shù)據(jù)流調(diào)度平臺，實現(xiàn)對多路大規(guī)模多媒體數(shù)據(jù)流的合理調(diào)度，利用多級分層結(jié)構(gòu)將多媒體云計算下的多服務(wù)器大規(guī)模數(shù)據(jù)流調(diào)度過程，劃分成管理層面、控制層面和數(shù)據(jù)層面，確保將數(shù)據(jù)包均勻的分配給各個服務(wù)器，充分發(fā)揮云計算下的多服務(wù)器可并行處理的特性，增強數(shù)據(jù)流的調(diào)度質(zhì)量。對調(diào)度平臺的軟件框架進行了詳細的描述，依據(jù)該軟件框架的多層次實現(xiàn)大規(guī)模數(shù)據(jù)流調(diào)度優(yōu)化，分析了大規(guī)模數(shù)據(jù)流調(diào)度的具體實現(xiàn)過程，并給出大規(guī)模數(shù)據(jù)流調(diào)度平臺軟件代碼的設(shè)計。實驗結(jié)果說明，所提方法增強了多媒體云計算下的大規(guī)模數(shù)據(jù)流調(diào)度的并發(fā)性能，提高數(shù)據(jù)流調(diào)度質(zhì)量。

參考文獻

[1] 佚名.2013年中國互聯(lián)網(wǎng)絡(luò)發(fā)展狀況統(tǒng)計報告[EB/OL].[ 2013? 01?08]. http：//www.360doc.com/content/14/0604/09/9073112_383465777.shtml

[2] HARRINGTON Peter. Machine learning in action [M].北京：人民郵電出版社，2013.

[3] WANG Z， BAO Y， GU Y， et al. A BSP?based parallel iterative processing system with multiple partition strategies for big graphs [C]// Proceedings of 2013 IEEE International Congress on Big Data. [S.l.]： IEEE， 2013： 173?180.

[4] LAM Chuck. Hadoop in action[M].北京：人民郵電出版社，2013.

[5] 李偉衛(wèi)，趙航，張陽，等.基于MapReduce的海量數(shù)據(jù)挖掘技術(shù)研究[J].計算機工程與應(yīng)用，2013，49（20）：112?117.

[6] 王元卓，靳小龍，程學(xué)旗.網(wǎng)絡(luò)大數(shù)據(jù)：現(xiàn)狀與展望[J].計算機學(xué)報，2013，36（6）：1125?1138.

[7] 覃雄派，王會舉，李芙蓉，等.數(shù)據(jù)管理技術(shù)的新格局[J].軟件學(xué)報，2013，24（2）：175?197.

[8] 陳崇成，林劍峰，吳小竹，等.基于NoSQL的海量空間數(shù)據(jù)云存儲與服務(wù)方法[J].地球信息科學(xué)學(xué)報，2013，15（2）：166?174.

[9] SAKR S， LIU A， FAYOUMI A G. The family of MapReduce and large scale data processing systems [J]. ACM Comput Surv， 2013， 46（1）： 11?19.

[10] KANG U， FALOUTSOS C. Big graph mining： algorithms and discoveries [J]. ACM SIGKDD Explorations Newsletter， 2013， 14（2）： 29?36.endprint