一種邊緣云協(xié)同的任務(wù)調(diào)度方法研究

孫毓聰，豆龍龍，楊勤勝，許杰雄

摘 要：文章針對(duì)傳統(tǒng)集中式云數(shù)據(jù)中心的問(wèn)題，提出了云邊融合的3層網(wǎng)絡(luò)架構(gòu)，以實(shí)現(xiàn)海量本地?cái)?shù)據(jù)的即時(shí)處理。利用邊緣層的多個(gè)分布式邊緣服務(wù)器開(kāi)展協(xié)同任務(wù)處理，提供并行計(jì)算的能力。針對(duì)如何在多個(gè)服務(wù)器中進(jìn)行任務(wù)調(diào)度的問(wèn)題，文章提出了一個(gè)基于隊(duì)列的任務(wù)調(diào)度框架。

關(guān)鍵詞：云邊融合;協(xié)同任務(wù)處理;任務(wù)調(diào)度

1 數(shù)據(jù)分析和智能化處理

隨著萬(wàn)物互聯(lián)的發(fā)展及廣泛應(yīng)用，網(wǎng)絡(luò)邊緣的移動(dòng)設(shè)備及應(yīng)用程序呈爆炸式增長(zhǎng)，網(wǎng)絡(luò)流量及服務(wù)數(shù)據(jù)量也隨之迅速增長(zhǎng)，數(shù)據(jù)計(jì)算密集性應(yīng)用被拓展到移動(dòng)端，用戶對(duì)數(shù)據(jù)處理速率和優(yōu)良的服務(wù)質(zhì)量體驗(yàn)（Quality of Services，QoS）需求也日益增長(zhǎng)。然而，用戶設(shè)備（User Equipment，UE）的能量和計(jì)算資源有限，難以在短時(shí)間內(nèi)處理、計(jì)算大量的任務(wù)。

在物聯(lián)網(wǎng)技術(shù)迅速發(fā)展的背景下，雖然可以利用云計(jì)算平臺(tái)來(lái)存儲(chǔ)數(shù)據(jù)和計(jì)算，但在面對(duì)海量用戶設(shè)備的連接、爆炸式增長(zhǎng)的數(shù)據(jù)流量及用戶對(duì)服務(wù)質(zhì)量越來(lái)越高的需求，傳統(tǒng)集中式云計(jì)算模式存在響應(yīng)時(shí)延高、帶寬壓力大、云端負(fù)載過(guò)重等問(wèn)題，而邊緣計(jì)算在大量數(shù)據(jù)和終端設(shè)備下的低時(shí)延、高帶寬的優(yōu)點(diǎn)，表明邊緣計(jì)算更適應(yīng)當(dāng)前邊緣式大數(shù)據(jù)處理時(shí)代[1]。邊緣計(jì)算模型的興起并不代表云計(jì)算模型的沒(méi)落，兩者并不是二選一的狀態(tài)，邊緣計(jì)算實(shí)際上可以看作是對(duì)集中式云計(jì)算的補(bǔ)充，為用戶提供更好的服務(wù)質(zhì)量。中心云對(duì)比邊緣云能存儲(chǔ)更多的數(shù)據(jù)，處理對(duì)實(shí)時(shí)性要求不高的作業(yè)，方便全局查詢對(duì)比與分析。邊緣計(jì)算模型更適用于實(shí)時(shí)性強(qiáng)的本地作業(yè)，能更好地實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)的分析和智能化處理。兩者是相輔相成、相互結(jié)合的關(guān)系，二者的結(jié)合能更好地提供服務(wù)。

2 云邊融合的邊緣計(jì)算網(wǎng)絡(luò)架構(gòu)

對(duì)于用戶設(shè)備來(lái)說(shuō)，最適合進(jìn)行計(jì)算任務(wù)卸載的應(yīng)用程序，往往是對(duì)計(jì)算資源有著急切需求的應(yīng)用程序。同時(shí)，該任務(wù)卸載只需要耗費(fèi)UE的少量能量用于數(shù)據(jù)傳輸，需要傳送大量數(shù)據(jù)的任務(wù)更適合在UE本地進(jìn)行處理[2]。隨著機(jī)器學(xué)習(xí)、人工智能的發(fā)展，攝像頭獲取到的數(shù)據(jù)經(jīng)過(guò)處理可以用于人臉識(shí)別、智能監(jiān)控、圖像識(shí)別等場(chǎng)景。用戶智能設(shè)備的普及使應(yīng)用程序中使用人臉識(shí)別變得常見(jiàn)，例如，刷臉支付、人臉登錄認(rèn)證、人臉美容等，在UE上進(jìn)行人臉識(shí)別已是一股新潮[3]。

本文提出一種云邊融合的邊緣計(jì)算網(wǎng)絡(luò)架構(gòu)，如圖1所示。在傳統(tǒng)云計(jì)算架構(gòu)的基礎(chǔ)上，移動(dòng)邊緣計(jì)算（Mobile Edge Computing，MEC）利用靠近邊緣設(shè)備的、具有計(jì)算與存儲(chǔ)能力的MEC服務(wù)器，為邊緣設(shè)備提供云服務(wù)，從而能支持實(shí)時(shí)人臉識(shí)別應(yīng)用，降低響應(yīng)時(shí)延。UE把計(jì)算任務(wù)卸載到單個(gè)MEC服務(wù)器上，考慮到面對(duì)大量密集性的計(jì)算任務(wù)，MEC服務(wù)器的處理能力相對(duì)于云服務(wù)器仍有局限。因此，本文提出利用多個(gè)地理分布的MEC服務(wù)器共同完成業(yè)務(wù)，綜合考慮各個(gè)服務(wù)器的負(fù)載情況和傳輸時(shí)延，研究出MEC中的地理分布式計(jì)算任務(wù)調(diào)度機(jī)制（Multi-Server Cloud Edge，MS-CE），將人臉識(shí)別作業(yè)中多個(gè)計(jì)算密集的任務(wù)合理地在各個(gè)MEC服務(wù)器中調(diào)度。

3 云邊融合架構(gòu)下的任務(wù)調(diào)度框架

為了達(dá)到低延時(shí)的目標(biāo)，需要解決如何在多個(gè)MEC服務(wù)器之間進(jìn)行任務(wù)調(diào)度的問(wèn)題。由于有向無(wú)環(huán)圖（Directed Acyclic Graph，DAG）作業(yè)中的每個(gè)子任務(wù)，都需要其前驅(qū)任務(wù)的中間數(shù)據(jù)。每個(gè)前驅(qū)任務(wù)可能在不同的服務(wù)器上執(zhí)行，因此，需要考慮前驅(qū)任務(wù)的中間數(shù)據(jù)傳輸?shù)疆?dāng)前任務(wù)所在服務(wù)器需要的時(shí)延。服務(wù)器上分配到的任務(wù)數(shù)量不同，其負(fù)載的情況也不同。為了實(shí)現(xiàn)MEC層處理作業(yè)低延時(shí)的目標(biāo)，如何考慮每個(gè)服務(wù)器的負(fù)載情況，盡量將任務(wù)分配到傳輸時(shí)延低且負(fù)載較輕的服務(wù)器上，是提出的任務(wù)調(diào)度機(jī)制需要考慮的問(wèn)題。

本文提出了一種基于隊(duì)列的任務(wù)調(diào)度框架，其基本思路如圖2所示。該系統(tǒng)是一個(gè)集群架構(gòu)，由一個(gè)主服務(wù)結(jié)點(diǎn)（master）和多個(gè)從服務(wù)結(jié)點(diǎn)（slave）組成，master和slave都為MEC層中分布式的MEC服務(wù)器。接收到來(lái)自UE的識(shí)別作業(yè)的MEC服務(wù)器作為master，執(zhí)行任務(wù)同時(shí)還可進(jìn)行任務(wù)調(diào)度;其他MEC服務(wù)器作為slave，只負(fù)責(zé)任務(wù)的執(zhí)行。每個(gè)MEC服務(wù)器中，維護(hù)一個(gè)等待隊(duì)列（Task Queue，TQ）和預(yù)備隊(duì)列（Standby Queue，SQ），TQ為MEC服務(wù)器正在等待執(zhí)行的任務(wù)隊(duì)列，SQ為分配到MEC服務(wù)器的任務(wù)，但其輸入數(shù)據(jù)未傳輸完成的任務(wù)隊(duì)列。此外，master還需維護(hù)整個(gè)作業(yè)的信息，例如各任務(wù)節(jié)點(diǎn)之間的依賴關(guān)系、任務(wù)是否已經(jīng)處理完成。基于該調(diào)度框架，其基本處理流程如下：

（1）UE向附近基站提交DAG作業(yè)及上傳輸入數(shù)據(jù)，MEC服務(wù)器通過(guò)基站接收到作業(yè)和數(shù)據(jù)，該服務(wù)器將作為master進(jìn)行任務(wù)調(diào)度，其他MEC服務(wù)器作為salve。

（2）master根據(jù)每個(gè)服務(wù)器中的TQ 排隊(duì)情況和數(shù)據(jù)傳輸時(shí)延，為當(dāng)前階段可以執(zhí)行的任務(wù)分配 MEC服務(wù)器。

（3）每個(gè)MEC服務(wù)器接收到master分配的任務(wù)后，先查看本地是否有全部輸入數(shù)據(jù)。若沒(méi)有數(shù)據(jù)或數(shù)據(jù)缺失，則該任務(wù)先進(jìn)入SQ等待數(shù)據(jù)的到來(lái);若已有全部輸入數(shù)據(jù)，任務(wù)直接進(jìn)入TQ等待時(shí)間片去執(zhí)行。

（4）MEC服務(wù)器中SQ的任務(wù)的輸入數(shù)據(jù)全部接收到后，任務(wù)從SQ彈出，進(jìn)入TQ等待執(zhí)行。

（5）MEC服務(wù)器的TQ的隊(duì)頭任務(wù)執(zhí)行完后，從隊(duì)列中彈出，并告知master該任務(wù)已經(jīng)執(zhí)行完畢。

當(dāng)master接收到當(dāng)前階段全部已分配任務(wù)的完成信息后，繼續(xù)執(zhí)行（2—5）步驟的操作，直至整個(gè)作業(yè)完成。

4 結(jié)語(yǔ)

本文以降低數(shù)據(jù)處理時(shí)延為目標(biāo)，提出了一種云邊端融合的3層網(wǎng)絡(luò)數(shù)據(jù)處理架構(gòu)，以實(shí)現(xiàn)海量本地?cái)?shù)據(jù)的即時(shí)處理為出發(fā)點(diǎn)，提出了一種基于隊(duì)列的云邊融合的任務(wù)調(diào)度框架，優(yōu)化數(shù)據(jù)處理過(guò)程。

作者簡(jiǎn)介：孫毓聰（1989— ），男，江蘇南京人，助理工程師，學(xué)士;研究方向：數(shù)據(jù)分析，高品質(zhì)用戶體驗(yàn)，UI設(shè)計(jì)開(kāi)發(fā)。

[參考文獻(xiàn)]

[1]施巍松，張星洲，王一帆，等.邊緣計(jì)算：現(xiàn)狀與展望[J].計(jì)算機(jī)研究與發(fā)展，2019（1）：69-89.

[2]MACH P，BECVAR Z.Mobile edge computing：a survey on architecture and computation off loading[J].IEEE Communications Surveys&Tutorials，2017（3）：1628-1656.

[3]WANG S，ZAFER M，LEUNG K K.Online placement of multi-component applications in edge computing environments[J].IEEE Access，2017（5）：2514-2533.

Research on a task scheduling method based on edge cloud cooperation

Sun Yucong， Dou Longlong， Yang Qinsheng， Xu Jiexiong

（JiangSu Frontier Electric Technology Co.， Ltd.， Nanjing 210000， China）

Abstract：In order to solve the problem of the traditional centralized cloud data center， the three-layer network architecture of the cloud edge is proposed to realize the real-time processing of the massive local data. A plurality of distributed edge servers of the edge layer are utilized for carrying out collaborative task processing， and the capability of parallel computing is provided. In order to solve the task scheduling problem in multiple servers， this paper presents a queue-based task scheduling framework.

Key words：cloud edge fusion; collaborative task processing; task scheduling