基于大數(shù)據(jù)深度神經(jīng)網(wǎng)絡(luò)與Agent的大規(guī)模任務(wù)處理方法

黃婕

摘 要：因大規(guī)模任務(wù)處理模型在處理實際任務(wù)請求通常是基于歷史數(shù)據(jù)的，若總依據(jù)經(jīng)驗和以往知識判斷，會出現(xiàn)許多無法識別并處理的任務(wù)，以及出現(xiàn)模型過擬合等問題。提出了一種基于深度神經(jīng)網(wǎng)絡(luò)的計算模型進行大規(guī)模任務(wù)部署，并引用Agent強化學(xué)習(xí)效用進行評價，實現(xiàn)最佳虛擬網(wǎng)絡(luò)映射方案。實驗結(jié)果表明，這種BDTard方法法能滿足大規(guī)模任務(wù)請求，穩(wěn)定系統(tǒng)長期收益，保障了大數(shù)據(jù)環(huán)境下大規(guī)模任務(wù)處理的高效執(zhí)行。

關(guān)鍵詞：深度神經(jīng)網(wǎng)絡(luò);強化學(xué)習(xí);虛擬網(wǎng)絡(luò)映射

中圖分類號：TP319 ? ? ?文獻標(biāo)識碼：A

Abstract：Since the large-scale task processing model is usually based on historical data in the processing of actual task requests， if the model is always judged based on experience and previous knowledge， there will be many tasks that cannot be recognized and processed， as well as problems such as model overfitting. A computing model based on deep neural network is proposed for large-scale task deployment， and the Agent reinforcement learning utility is evaluated to realize the optimal virtual network mapping scheme. The experimental results show that the BDTard method can meet the requirements of large-scale task， stabilize the long-term benefits of the system， and ensure the efficient execution of large-scale task processing in the big data environment.

Key words：deep neural network; reinforcement learning agent; virtual network mapping

大數(shù)據(jù)環(huán)境下的大規(guī)模任務(wù)處理是時下數(shù)據(jù)分析熱門問題之一[1]，而依靠歷史數(shù)據(jù)進行任務(wù)識別的方法，在進行分析、處理的大規(guī)模任務(wù)部署時，會引起負(fù)載不均衡、造成資源浪費等問題。為了改進負(fù)載不均衡、資源浪費的問題，將大規(guī)模任務(wù)部署到各節(jié)點高效執(zhí)行，且有一定的性能收益。且利用大數(shù)據(jù)環(huán)境下深度神經(jīng)網(wǎng)絡(luò)[2]與Agent[3]結(jié)合，能使得在大規(guī)模任務(wù)在識別、技術(shù)及處理過程中有明顯改觀，效率提升明顯。

但由于數(shù)據(jù)的訓(xùn)練模型是基于歷史數(shù)據(jù)的，依據(jù)經(jīng)驗對處理任務(wù)識別，容易出現(xiàn)過擬合現(xiàn)象，計算模型出現(xiàn)偏差。為了提高效率，探索最優(yōu)解，利用大數(shù)據(jù)環(huán)境下的深度神經(jīng)網(wǎng)絡(luò)與Agent結(jié)合的方式，實現(xiàn)虛擬節(jié)點的最優(yōu)映射方案，這種改進的大規(guī)模任務(wù)處理方法能有效防止模型過擬合[4]，提高效率。

1 問題的提出

針對系統(tǒng)的長期收益，利用傳統(tǒng)方法結(jié)合最新的人工智能方案[5]，而一種基于Dropout自適應(yīng)的深度學(xué)習(xí)和強化學(xué)習(xí)相結(jié)合的方法有較好的效果?？蓪嶋H這種方法容易增加用戶行為多樣性的學(xué)習(xí)難度，使得學(xué)習(xí)模型復(fù)雜化，導(dǎo)致網(wǎng)絡(luò)模型過擬合[6]。因深度模型中存儲的是部分標(biāo)簽數(shù)據(jù)，當(dāng)用戶有虛擬請求時，利用經(jīng)驗知識難以識別、處理，使得大數(shù)據(jù)的海量任務(wù)請求無法有效識別、及時處理。因此，提出一種有效且合理的大數(shù)據(jù)環(huán)境下部署任務(wù)的方法[7]迫在眉睫，此方法主要能最小化計算模型的過擬合，優(yōu)化泛化能力 [8]。

2 利用Dropout神經(jīng)網(wǎng)絡(luò)建模Agent強化學(xué)習(xí)的BDTard方法

2.1 系統(tǒng)架構(gòu)設(shè)計

在大規(guī)模任務(wù)處理方法BDTard中，在大數(shù)據(jù)技術(shù)的支撐下，利用深度神經(jīng)網(wǎng)絡(luò)建模來均衡節(jié)點的映射。如圖1所示，該計算模型共有五層，包括Input Layer輸入層、Evolution Layer進化層（包含Convolutional Layer卷積層和Subsampling Layer池化層）、Fully Connected Layer全連接層、Softmax Layout函數(shù)層、Output Layer輸出層。

如1圖中，輸入層Input Layer用于將Feature Matrix特征矩陣輸入到深度計算模型中。再將特征矩陣輸送到卷積層中計算，生成具有抽象特征的特征圖。在Subsampling Layer池化層中建模，目的是減少全連接層Fully Connected Layer中的節(jié)點個數(shù)。通過函數(shù)層而輸出最終結(jié)果。而為了提升計算模型的泛化能力，減少過擬合現(xiàn)象，將引入深度計算模型的進化層結(jié)構(gòu)，把固有模型平均分成子模型，這種較小數(shù)據(jù)集的“新”模型實現(xiàn)了模型與自我進化相結(jié)合，目的是探索最優(yōu)網(wǎng)絡(luò)映射策略。

然后在全連接層輸出的結(jié)果傳輸?shù)胶瘮?shù)層，用來求出每個物理節(jié)點的分布概率，最后云計算數(shù)據(jù)中心將接收虛擬節(jié)點映射策略，將虛擬數(shù)據(jù)請求分配到底層物理節(jié)點，以實現(xiàn)基于大數(shù)據(jù)的大規(guī)模任務(wù)處理。

2.2 方法主要思想

基于大數(shù)據(jù)的深度神經(jīng)網(wǎng)絡(luò)與Agent的大規(guī)模任務(wù)處理方法，是把大規(guī)模的任務(wù)部署利用計算模型的虛擬網(wǎng)絡(luò)進行映射。該方法把訓(xùn)練和應(yīng)用中的歷史請求數(shù)據(jù)分開，叫做訓(xùn)練集和測試集。再依據(jù)之前工作求出底層網(wǎng)路物理節(jié)點的狀態(tài)、特征和模型的輸入，使得數(shù)據(jù)集的維度降低。而自適應(yīng)Dropout深度計算模型主要目的是尋求合理的虛擬節(jié)點映射策略，當(dāng)訓(xùn)練樣本較少時，Dropout對大規(guī)模網(wǎng)絡(luò)模型策略非常有效。當(dāng)網(wǎng)絡(luò)結(jié)構(gòu)改變，依據(jù)深度模型去建模，再利用類似隱藏去噪法將數(shù)據(jù)的神經(jīng)元的權(quán)重歸零。網(wǎng)絡(luò)層的參數(shù)概率變化，網(wǎng)絡(luò)模型中神經(jīng)元丟棄，需要從物理節(jié)點、任務(wù)請求數(shù)據(jù)中的特征作為模型輸入，將映射概率設(shè)為輸出（虛擬節(jié)點到物理節(jié)點的映射），再利用Agent強化學(xué)習(xí)來實現(xiàn)虛擬鏈路映射。若訓(xùn)練集中數(shù)據(jù)不具備對應(yīng)標(biāo)簽，則利用反向傳播和策略梯度，并結(jié)合歷史數(shù)據(jù)請求進行深度計算模型訓(xùn)練，利用一種貪婪策略評估Agent強化學(xué)習(xí)的有效性，將大量的任務(wù)請求在進行大數(shù)據(jù)分析處理中分配到有效的物理節(jié)點，實現(xiàn)了能并行處理的最優(yōu)虛擬網(wǎng)絡(luò)映射方案。

2.3 BDTard方法設(shè)計

如上圖3所示，任務(wù)量從950到3950中，BDTard方法在950、2150、3350和3950的準(zhǔn)確率都達到了80%。而SpreadOut和Non-SpreadOut只在少部分達到80%?？梢夿DTard方法能更加準(zhǔn)確地在目標(biāo)節(jié)點部署任務(wù)，是一種實現(xiàn)系統(tǒng)利益最大化的最優(yōu)任務(wù)部署方案。

3.3 系統(tǒng)收益對比

此實驗通過在BDTard、SpreadOut和Non-SpreadOut三種方法上進行系統(tǒng)平均收益和收益成本比（R/C）的對比試驗。如下圖4所示，三種方法的長期平均收益值初期是快速下降的，中后期相對平穩(wěn)。整個過程中BDTard方法的收益都是高于SpreadOut和Non-SpreadOut方法的，且另外兩個方法的收益值相差無幾。因此，相對系統(tǒng)長期平均收益BDTard方法具有明顯優(yōu)勢。

而另外一個收益成本比（R/C）對比試驗結(jié)果如下圖5所示。隨著時間的增長，三種方法的收益成本比呈增長趨勢，但BDTard方法的長期收益成本比較另外兩種方法收益更高，BDTard方法在資源的利用率方面有明顯優(yōu)勢，部署大規(guī)模任務(wù)更加合理。

從以上兩個對比實驗看出，BDTard方法從系統(tǒng)長遠(yuǎn)利益考慮，分析任務(wù)請求的需求，利用Dropout自適應(yīng)深度計算模型和Agent強化學(xué)習(xí)對底層物理節(jié)點合理分配資源，最大限度降低了資源消耗成本，使得任務(wù)部署方案在長期獲得更高收益，提高了資源利用率，實現(xiàn)了高效分析、處理大數(shù)據(jù)。

3.4 部署失敗數(shù)據(jù)對比

在實際處理大規(guī)模任務(wù)部署工作中，因某些網(wǎng)絡(luò)故障等原因，有可能導(dǎo)致任務(wù)部署不成功。這組實驗通過對比BDTard、SpreadOut和Non-SpreadOut方法在任務(wù)部署的失敗數(shù)據(jù)量，進行多組實驗，借助誤差條顯示結(jié)果分布。

如下圖6所示，隨著任務(wù)數(shù)量的增加，三種方法任務(wù)部署失敗量也逐漸增加。但是BDTard方法的失敗數(shù)據(jù)都少于另外兩種方法，且任務(wù)數(shù)據(jù)的增加導(dǎo)致失敗部署的數(shù)據(jù)增長在速度上也慢于其他兩種方法。整個實驗過程中，當(dāng)部署任務(wù)較小時，三中方法差距不大，但任務(wù)數(shù)據(jù)達到3000以上時，差距就拉大了。當(dāng)達到4000任務(wù)量時，BDTard方法的失敗率就遠(yuǎn)小于其他兩種方法了。

從上圖6中還發(fā)現(xiàn)，相對于SpreadOut和Non-SpreadOut方法，BDTard方法隨著時間、任務(wù)量的增加，任務(wù)部署的成功率呈相對穩(wěn)定的趨勢。BDTard方法保障了大規(guī)模任務(wù)部署的可靠性、穩(wěn)定性，也是從系統(tǒng)利益考慮，利用Dropout深度模型和Agent方法來完成任務(wù)部署，有效地提高了部署的成功率和大規(guī)模任務(wù)處理能力。

4 結(jié) 論

提出的BDTard方法是一種針對大數(shù)據(jù)環(huán)境下的任務(wù)處理方法。主要利用Dropout深度計算模型虛擬映射部署任務(wù)，從系統(tǒng)長遠(yuǎn)利益出發(fā)，利用Agent強化學(xué)習(xí)對底層物理節(jié)點合理分配資源，避免了計算模型過擬合產(chǎn)生。通過對比任務(wù)部署的有效性、系統(tǒng)收益和任務(wù)部署失敗數(shù)據(jù)，進行實驗比對分析，結(jié)果表明BDTard方法能滿足大規(guī)模任務(wù)請求，穩(wěn)定系統(tǒng)長期收益，有效地提高了部署的成功率和大規(guī)模任務(wù)識別、計算及處理能力。

參考文獻

[1]MAKKIE M， LI X， QUINN S， et al. A distributed computing platform for fMRI big data analytics[J]. IEEE Transactions on Big Data，2018， 1-1.

[2]鄒鋒.基于深度神經(jīng)網(wǎng)絡(luò)和改進相似性度量的推算方法[J]. 計算機應(yīng)用與軟件，2019 （11）：286-293，300.

[3]王欣，王芳. 基于強化學(xué)習(xí)的動態(tài)定價策略研究綜述[J]. 計算機應(yīng)用與軟件，2019 （12）：1-6.

[4]SUN ?C， ?MA ?M， ?ZHAO ?Z， ?et ?al. ?Sparse ?deep ?stacking ?network ?for ?fault ?diagnosis ?of motor[J]. IEEE Transactions on Industrial Informatics， 2018， 14（7）： 3261-3270.

[5]ZENG ?G， ?LIU ?W. ?An ?iso-time ?scaling ?method ?for ?big ?data ?tasks ?executing ?on ?parallel computing systems[J]. The Journal of Supercomputing， 2017， 73（3）：4493-4516.

[6]QIU ?X， ?LUO ?L， ?DAI ?Y. ?Reliability-performance-energy ?joint ?modeling ?and optimization for a big data task[C]. Proceedings of IEEE International Conference on Software Quality， Reliability and Security Companion （QRS-C）. Vienna， Austria： August 1-3， 2016.

[7]SUN Y， YEN G G， YI Z. Evolving unsupervised deep neural networks for learning meaningful ?representations[J]. ?IEEE ?Transactions ?on ?Evolutionary ?Computation， ?2018， 23（1）： 89-103.

[8]ZHANG ?Q， ?YANG ?L ?T， ?CHEN ?Z. ?Deep ?computation ?model ?for ?unsupervised ?feature learning ?on ?big ?data[J]. ?IEEE ?Transactions ?on ?Services ?Computing， ?2015， ?9（1）： 161-171.

[9]KIM J， BUKHARI W， LEE M. Feature analysis of unsupervised learning for multi-task classification using convolutional neural network[J].Neural Processing Letters， 2017， 47（3）： 783-797.

[10]CHENG D， ZHOU X， LAMA P， et al. Cross-platform resource scheduling for spark and mapReduce on YARN[J]. IEEE Transactions on Computers， 2017， 66（8）： 1341-1353.

[11]NOU R， MIRANDA A， SIQUIR M， et al. Improving openstack swift interaction with the I/O ?stack ?to ?enable ?software ?defined ?storage[C]. ?Proceedings ?;of ?IEEE ?International Symposium on Cloud & Service Computing. Kanazawa， Japan： November 22-25， 2018.

[12]SOPAOGLU U， ?Abul ?O. ?A ?top-down ?k-anonymization ?implementation ?for ?apache spark[C]. Proceedings of IEEE International Conference on Big Data. Boston， MA， USA： December 11-14， 2017.

[13]TAQI ?A ?M， ?AWAD ?A， ?ALAZZO ?F， ?et ?al. ?The ?impact ?of ?multi-optimizers ?and ?data augmentation ?on ?tensorflow ?convolutional ?neural ?network ?performance[C]. Proceedings ?of ?IEEE ?Conference ?on ?Multimedia ?Information ?Processing ?& ?Retrieval. IEEE. Miami， FL， USA： April 10-12， 2018.

[14]WILSON C， VEERAVALLI V V， NEDICH A. Adaptive sequential stochastic optimization[J]. IEEE Transactions on Automatic Control， 2018， 64（2）： 496-509.