• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      機(jī)器學(xué)習(xí)預(yù)測(cè)校級(jí)計(jì)算教學(xué)平臺(tái)作業(yè)運(yùn)行時(shí)間研究

      2023-12-01 03:44:14于瀟雪韋建文張戰(zhàn)炳高亦沁林新華周衍曉
      軟件導(dǎo)刊 2023年11期
      關(guān)鍵詞:庫倫高斯預(yù)測(cè)

      于瀟雪,韋建文,張戰(zhàn)炳,高亦沁,林新華,周 云,周衍曉

      (1.上海交通大學(xué) 網(wǎng)絡(luò)信息中心,上海 200240;2.上海擎云物聯(lián)網(wǎng)股份有限公司,上海 200070)

      0 引言

      當(dāng)今數(shù)字時(shí)代,計(jì)算對(duì)各領(lǐng)域發(fā)揮著顛覆性作用。尤其是ChatGPT 火爆全球之后,更是帶動(dòng)了新一輪算力需求增長(zhǎng),因而亟須培養(yǎng)大批量計(jì)算人才以應(yīng)對(duì)不斷增長(zhǎng)的需求。上海交通大學(xué)積極探索計(jì)算人才培養(yǎng)新模式,提出“將計(jì)算深度融入專業(yè)課教學(xué)”的理念,并基于校內(nèi)強(qiáng)大的算力基座研發(fā)校級(jí)計(jì)算教學(xué)平臺(tái),支撐計(jì)算課程的線上線下混合式教學(xué)和大規(guī)模虛擬仿真實(shí)驗(yàn)教學(xué),讓學(xué)生有機(jī)會(huì)在專業(yè)實(shí)踐中按需學(xué)習(xí)計(jì)算并且用計(jì)算解決科研和應(yīng)用領(lǐng)域的復(fù)雜專業(yè)問題。

      作業(yè)調(diào)度系統(tǒng)是上海交通大學(xué)校級(jí)計(jì)算教學(xué)平臺(tái)的核心系統(tǒng)之一,它根據(jù)算法預(yù)測(cè)的作業(yè)運(yùn)行時(shí)間安排隊(duì)列執(zhí)行順序,預(yù)測(cè)準(zhǔn)確性影響調(diào)度合理性,進(jìn)而影響平臺(tái)整體利用率。機(jī)器學(xué)習(xí)方法能在海量數(shù)據(jù)中挖掘輸入與輸出的復(fù)雜映射關(guān)系,在預(yù)測(cè)作業(yè)運(yùn)行時(shí)間任務(wù)中被廣泛采用。但是,在實(shí)際應(yīng)用時(shí),如何收集算例數(shù)據(jù)、選用什么樣的預(yù)測(cè)方法、選用哪些作業(yè)特征、有哪些機(jī)器學(xué)習(xí)技巧可以使用、針對(duì)僅有小樣本的訓(xùn)練集如何提高預(yù)測(cè)準(zhǔn)確度,仍是亟待解決的問題。

      基于以上挑戰(zhàn),本文設(shè)計(jì)和實(shí)現(xiàn)了一套基于深度學(xué)習(xí)方法的作業(yè)運(yùn)行時(shí)間預(yù)測(cè)方法,在預(yù)測(cè)高斯(Gaussian09)程序運(yùn)行時(shí)間上取得了比現(xiàn)有工作更好的作業(yè)運(yùn)行時(shí)間預(yù)測(cè)結(jié)果。這套方法在特征提取上結(jié)合應(yīng)用無關(guān)特征和應(yīng)用相關(guān)特征,并借助深度學(xué)習(xí)的模型遷移特性,在小樣本數(shù)據(jù)集上也獲得了較好的預(yù)測(cè)精度。本文主要貢獻(xiàn)如下:①使用卷積神經(jīng)網(wǎng)絡(luò)提取通用作業(yè)特征,使用庫倫矩陣提取高斯作業(yè)相關(guān)特征,兩種特征融合后,在深度人工神經(jīng)網(wǎng)絡(luò)上獲得了超過現(xiàn)有工作的預(yù)測(cè)精度;②針對(duì)小數(shù)據(jù)集,采用領(lǐng)域自適應(yīng)的方法,將預(yù)測(cè)模型以較小代價(jià)遷移到小數(shù)據(jù)集上,顯著降低了數(shù)據(jù)收集負(fù)擔(dān),提高了模型適用范圍;③模型部署在校級(jí)計(jì)算教學(xué)平臺(tái)作業(yè)調(diào)度系統(tǒng)上,在實(shí)際環(huán)境中驗(yàn)證了這套作業(yè)運(yùn)行預(yù)測(cè)方法的可行性。

      1 相關(guān)工作

      1.1 基于機(jī)器學(xué)習(xí)方法的作業(yè)運(yùn)行時(shí)間預(yù)測(cè)

      作業(yè)運(yùn)行時(shí)間預(yù)測(cè)是一個(gè)復(fù)雜的非線性問題,機(jī)器學(xué)習(xí)方法在解決此類問題上具有優(yōu)勢(shì)。文獻(xiàn)[1]提出一種具有時(shí)間嵌入的Transformer 模型,基于用戶歷史作業(yè)日志數(shù)據(jù)提取作業(yè)時(shí)序特征、資源特征和用戶聚類特征,以此預(yù)測(cè)作業(yè)運(yùn)行時(shí)間。文獻(xiàn)[2]采用KNN 算法,通過歷史數(shù)據(jù)訓(xùn)練K-D 樹,獲取新提交作業(yè)與歷史作業(yè)之間的相似距離,實(shí)現(xiàn)作業(yè)運(yùn)行時(shí)間的預(yù)測(cè)。文獻(xiàn)[3]以用戶作業(yè)腳本為輸入,對(duì)比了多種機(jī)器學(xué)習(xí)算法的預(yù)測(cè)效果,結(jié)果表明決策樹優(yōu)于其他算法,其準(zhǔn)確率達(dá)到73%。文獻(xiàn)[4]以VASP 作業(yè)為例,提出一種基于RBF 網(wǎng)絡(luò)和樸素貝葉斯分類的混合預(yù)測(cè)方法,取得了良好的預(yù)測(cè)效果。文獻(xiàn)[5]針對(duì)高斯應(yīng)用程序,提取算例特征,使用線性回歸、深度神經(jīng)網(wǎng)絡(luò)等方法預(yù)測(cè)作業(yè)運(yùn)行時(shí)間。此外,文獻(xiàn)[6]通過仿真實(shí)驗(yàn)說明,調(diào)度系統(tǒng)受作業(yè)運(yùn)行時(shí)間的準(zhǔn)確性影響較大,相比使用粗略運(yùn)行時(shí)間估計(jì),基于較準(zhǔn)確的作業(yè)運(yùn)行時(shí)間預(yù)測(cè)作出的作業(yè)排布,吞吐量提高了25%。

      1.2 用于作業(yè)運(yùn)行時(shí)間預(yù)測(cè)的特征提取

      以上預(yù)測(cè)算法都使用CPU、內(nèi)存、用戶名等特征,需要人工設(shè)計(jì)和調(diào)整。為了降低特征工程在機(jī)器學(xué)習(xí)任務(wù)中的工作量,一些以深度人工神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的自動(dòng)特征提取方法被提出。文獻(xiàn)[7]系統(tǒng)梳理了預(yù)測(cè)作業(yè)運(yùn)行時(shí)間所需的作業(yè)特征、資源特征、聚類特征以及相應(yīng)的機(jī)器學(xué)習(xí)方法。文獻(xiàn)[8]以作業(yè)腳本作為輸入,使用卷積神經(jīng)網(wǎng)絡(luò)提取字符一級(jí)的特征后作為人工神經(jīng)網(wǎng)絡(luò)輸入,進(jìn)行作業(yè)運(yùn)行時(shí)間預(yù)測(cè)。文獻(xiàn)[9]指出卷積神經(jīng)網(wǎng)絡(luò)因其優(yōu)異的局部空間特征提取能力,在日志分析、文本情感分析等任務(wù)中常常作為特征提取工具。文獻(xiàn)[10]回顧了機(jī)器學(xué)習(xí)技術(shù)在預(yù)測(cè)材料特性、設(shè)計(jì)新材料上的應(yīng)用,提出了多種表征材料結(jié)構(gòu)的方法。文獻(xiàn)[11]指出作業(yè)路徑是預(yù)測(cè)作業(yè)運(yùn)行時(shí)間的重要特征,對(duì)其進(jìn)行特征聚類處理后,輸入支持向量回歸、決策樹和隨機(jī)森林模型,可提升預(yù)測(cè)準(zhǔn)確率。

      1.3 模型在小樣本數(shù)據(jù)集上的準(zhǔn)確度提升

      增大數(shù)據(jù)集是提高模型準(zhǔn)確度的有效方法之一。文獻(xiàn)[12]指出當(dāng)數(shù)據(jù)獲取條件受限時(shí),可采用數(shù)據(jù)增強(qiáng)(Data Augmentation)方法。數(shù)據(jù)增強(qiáng)變化已有樣本,生成新的與現(xiàn)實(shí)基本一致的訓(xùn)練樣本。在圖片分類任務(wù)中,數(shù)據(jù)增強(qiáng)方法有剪切、旋轉(zhuǎn)、縮放、增加亮度等。文獻(xiàn)[13]在樣本數(shù)較少的類別上插值采樣,將各類別樣本數(shù)擴(kuò)充到近似程度,避免了樣本數(shù)不均造成的預(yù)測(cè)誤差。文獻(xiàn)[14]保留了在ImageNet 數(shù)據(jù)集上訓(xùn)練出的特征提取網(wǎng)絡(luò),替換最后的輸出層后使用少量皮膚病相關(guān)照片進(jìn)行微調(diào),在樣本量較少的皮膚病數(shù)據(jù)集上也獲得了較好的識(shí)別效果。文獻(xiàn)[15]在輸入層將不同數(shù)據(jù)集歸一到同一概率分布,從而使用同一個(gè)模型預(yù)測(cè)不同集群的作業(yè)運(yùn)行時(shí)間。

      2 校級(jí)計(jì)算教學(xué)平臺(tái)

      計(jì)算的快速發(fā)展對(duì)人才培養(yǎng)提出了更高要求,讓學(xué)生在實(shí)戰(zhàn)中運(yùn)用所學(xué)知識(shí)技能解決真實(shí)問題是培養(yǎng)計(jì)算人才的重要途徑。為此,上海交通大學(xué)秉持“應(yīng)用為王、服務(wù)至上、簡(jiǎn)潔高效、安全運(yùn)行”的宗旨,依托校內(nèi)強(qiáng)大的算力基座打造了校級(jí)計(jì)算教學(xué)平臺(tái)。

      如圖1 所示,算力基座自2013 年開始建設(shè),采用異構(gòu)設(shè)計(jì)理念,建設(shè)了云計(jì)算、人工智能計(jì)算和超級(jí)計(jì)算三類基座,為教學(xué)提供先進(jìn)的CPU 和GPU 計(jì)算資源。在此之上,搭建了校級(jí)計(jì)算教學(xué)平臺(tái),一站式提供課程所需計(jì)算軟件、實(shí)驗(yàn)環(huán)境和教學(xué)資源,支撐課堂直播、實(shí)驗(yàn)實(shí)訓(xùn)、作業(yè)考試、在線測(cè)評(píng)等全過程計(jì)算教學(xué)。平臺(tái)目前已服務(wù)全校25 個(gè)院系,每學(xué)期使用師生數(shù)超3 000 人,涵蓋人工智能、計(jì)算物理、計(jì)算化學(xué)、計(jì)算材料、生物信息、工程實(shí)踐等眾多領(lǐng)域。

      Fig.1 Architecture of university-level computing learning plarform圖1 校級(jí)計(jì)算教學(xué)平臺(tái)架構(gòu)

      3 用于高斯作業(yè)運(yùn)行時(shí)間預(yù)測(cè)的深度學(xué)習(xí)模型

      3.1 任務(wù)定義與方法

      本文以高斯(Gaussian09)程序?yàn)槔?,?shí)現(xiàn)調(diào)度系統(tǒng)中針對(duì)高斯作業(yè)的運(yùn)行時(shí)間預(yù)測(cè)模塊。原因在于高斯作為計(jì)算化學(xué)領(lǐng)域廣泛應(yīng)用的軟件之一,在平臺(tái)上首批運(yùn)行至今,具有一定代表性;高斯程序在平臺(tái)上使用負(fù)載占比較大,預(yù)測(cè)高斯作業(yè)運(yùn)行時(shí)間,能夠優(yōu)化資源調(diào)度,提升平臺(tái)利用率。

      用戶在使用高斯軟件時(shí),需要提交兩個(gè)文件:一個(gè)是與計(jì)算資源(CPU、內(nèi)存等)相關(guān)的SLURM 作業(yè)腳本,另一個(gè)是與高斯計(jì)算程序相關(guān)的算例輸入文件。作業(yè)調(diào)度系統(tǒng)收到請(qǐng)求后,根據(jù)計(jì)算資源需求和算例文件,預(yù)測(cè)同一個(gè)作業(yè)在不同集群上的運(yùn)行時(shí)間,再根據(jù)預(yù)設(shè)的調(diào)度策略,如最短時(shí)間、最低價(jià)格等,將作業(yè)調(diào)度到合適的集群上排隊(duì)。最后待作業(yè)結(jié)束后,收集信息錄入作業(yè)樣本庫。

      高斯程序運(yùn)行時(shí),從算例文件讀取模型參數(shù)和算法需求,然后構(gòu)建仿真體系模型,通過迭代方法求解體系的薛定諤方程,得到體系穩(wěn)態(tài)能量。高斯作業(yè)的運(yùn)行時(shí)間由計(jì)算設(shè)備的運(yùn)行速度,以及所要計(jì)算的問題決定。使用機(jī)器學(xué)習(xí)算法預(yù)測(cè)高斯作業(yè)的運(yùn)行時(shí)間,需要將“高斯計(jì)算任務(wù)”轉(zhuǎn)換成數(shù)值特征、選擇合適的預(yù)測(cè)方法、處理小樣本和數(shù)據(jù)分布不均的問題。

      3.2 基于卷積神經(jīng)網(wǎng)絡(luò)的作業(yè)運(yùn)行時(shí)間預(yù)測(cè)方法

      本文借鑒文獻(xiàn)[5]和文獻(xiàn)[16]提取特征的思路,使用卷積神經(jīng)網(wǎng)絡(luò)提取作業(yè)的一般特征,并加入表征分子體系的庫倫范數(shù)F。作業(yè)運(yùn)行時(shí)間預(yù)測(cè)方法選用與CNN 天然集成的深度人工網(wǎng)絡(luò),并通過超參數(shù)搜索、數(shù)據(jù)增廣等技巧提高準(zhǔn)確率。

      3.2.1 基于CNN的作業(yè)文本特征提取

      本文使用卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)提取作業(yè)的通用特征,經(jīng)過拼接、分詞、詞嵌入、截?cái)嘧儞Q得到詞向量矩陣,經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)處理后得到特征向量用于運(yùn)行時(shí)間預(yù)測(cè)。

      如圖2 所示,在通用作業(yè)特征提取中,作業(yè)腳本文件與高斯輸入文件首先會(huì)被拼接成單行文本,然后對(duì)得到的單行文本進(jìn)行一定的清洗:不同于普通文本存在大量的停用詞、時(shí)態(tài)等冗余信息,作業(yè)腳本與輸入文件的文本多是有用信息。因此,清洗主要是去除一些無實(shí)際意義的分隔符號(hào),如括號(hào)等,保留具有有效信息的單詞。之后,再將詞語序列的每個(gè)元素通過Word2vec[17]轉(zhuǎn)換為長(zhǎng)度為8 的向量。

      Fig.2 Schematic diagram of feature extraction based on convolutional neural network圖2 基于卷積神經(jīng)網(wǎng)絡(luò)的特征提取示意圖

      由于不同作業(yè)腳本與輸入文件提取得到的輸入向量長(zhǎng)度不盡相同,故本文在統(tǒng)計(jì)所有文本長(zhǎng)度后選取了合適的位置將向量進(jìn)行了截?cái)?。由于作業(yè)腳本長(zhǎng)度大多相近,因此截?cái)辔恢弥饕剂康氖亲鳂I(yè)輸入文件。而作業(yè)輸入由兩部分組成:第一段為作業(yè)運(yùn)行時(shí)所需內(nèi)容;第二段為分子結(jié)構(gòu),也即每個(gè)原子對(duì)應(yīng)的笛卡爾坐標(biāo)。而前一段對(duì)作業(yè)如何執(zhí)行起指導(dǎo)作用,因此需要盡可能保留。因此,本文計(jì)算了所有算例輸入文件第一段文本的最大長(zhǎng)度,在該位置對(duì)向量進(jìn)行截?cái)唷?/p>

      3.2.2 使用庫倫矩陣F范數(shù)的分子體系嵌入

      高斯軟件求解的是輸入原子體系的最小能量狀態(tài),如何數(shù)值化地表征原子體系是提高預(yù)測(cè)準(zhǔn)確度的關(guān)鍵?,F(xiàn)有預(yù)測(cè)方法只采用了體系的局部特征,如“原子數(shù)”“質(zhì)子總數(shù)”等,難以刻畫體系的整體特性。

      針對(duì)高斯的特征提取方法描述原子體系,本文借鑒其中的“庫倫矩陣”,用以表征高斯作業(yè)算例中的體系結(jié)構(gòu)。文獻(xiàn)[18]實(shí)現(xiàn)了一個(gè)提取和轉(zhuǎn)換庫倫矩陣的Python 擴(kuò)展庫,本文使用這個(gè)庫提取算例的庫倫矩陣范數(shù)F。文獻(xiàn)[5]使用庫倫矩陣作為輸入,它表征了原子核之間的經(jīng)典相互作用,準(zhǔn)確預(yù)測(cè)了原子材料的材料特性,驗(yàn)證了庫倫矩陣的有效性。為更好地表征原子體系,本文使用庫倫矩陣的F 范數(shù)整體表征原子體系。庫倫矩陣是一個(gè)對(duì)稱矩陣,表示了體系中原子的兩兩距離和質(zhì)子數(shù)關(guān)系。但由于庫倫矩陣的大小隨體系大小而變,二維矩陣不易嵌入一維特征向量中,因此本文改用庫倫矩陣的F 范數(shù)表征原子體系。盡管只用一個(gè)浮點(diǎn)數(shù)表征分子體系會(huì)損失大量信息,但在一定程度上體現(xiàn)了分子結(jié)構(gòu)體系的空間特征。

      式(1)中,對(duì)角線元素可以視作一個(gè)原子與其自身的相互作用,它也是對(duì)帶有Z 個(gè)原子核電荷的原子能的多項(xiàng)式近似。而非對(duì)角線上的元素表示原子核i與原子核j之間的庫倫排斥力。庫倫矩陣M 的F 范數(shù)定義見式(2),其中p、q表示庫倫矩陣的橫向和縱向維度。

      3.2.3 基于深度人工神經(jīng)網(wǎng)絡(luò)的作業(yè)運(yùn)行時(shí)間預(yù)測(cè)

      本文使用深度人工神經(jīng)網(wǎng)絡(luò)(Deep Neural Networks,DNN)作為預(yù)測(cè)高斯作業(yè)運(yùn)行時(shí)間的算法。具體地,在神經(jīng)網(wǎng)絡(luò)輸出方面,本文令輸出層具有2 880 個(gè)神經(jīng)元,每個(gè)神經(jīng)元分別代表0~2 880 min。本文對(duì)作業(yè)運(yùn)行時(shí)間的預(yù)測(cè)不是傳統(tǒng)的回歸問題,而是轉(zhuǎn)換為粗粒度的分類問題進(jìn)行處理。

      對(duì)于從輸入文件文本映射得到的一維向量而言,本文進(jìn)一步采用100 個(gè)大小為3×8 的卷積核對(duì)其進(jìn)行遍歷,其中8 表示W(wǎng)ord2vec 轉(zhuǎn)換得到的詞向量維數(shù)。這樣做確保了卷積核與詞向量的寬度一致,從而使卷積得到不同的完整單詞之間的局部關(guān)系,這是因?yàn)閷?duì)單個(gè)單詞的詞向量做切分沒有實(shí)際意義,而使用該卷積神經(jīng)網(wǎng)絡(luò)可以利用網(wǎng)絡(luò)中諸多隱含層中的神經(jīng)元自動(dòng)提取更高維度、更重要的特征。相比之下,樸素的機(jī)器學(xué)習(xí)方法如KNN、隨機(jī)森林等方法則無法從文本中構(gòu)建特征并用于分析。使用這種方法的優(yōu)點(diǎn)在于無需針對(duì)應(yīng)用進(jìn)行人工的特征提取。后者需要使用基于正則的分割、數(shù)據(jù)清洗等方法才能得到模型所需要的特征數(shù)據(jù),且在不同應(yīng)用間不具有普適性。而基于文本映射以及1D-CNN 的方法能夠自動(dòng)提取特征,且適用于不同應(yīng)用。在經(jīng)過卷積后,本文得到了一系列新的列向量,為了壓縮過多信息,使用最大池化層提取卷積得到最關(guān)鍵信息,然后將更新的列向量連接至全連接層以及最后2 880個(gè)神經(jīng)元的Softmax 層進(jìn)行分類。

      3.3 深度人工神經(jīng)網(wǎng)絡(luò)下的模型遷移

      計(jì)算環(huán)境的差異會(huì)導(dǎo)致同一個(gè)高斯算例運(yùn)行時(shí)間的差異,這種在數(shù)據(jù)分布上的差異,最終會(huì)導(dǎo)致基于某個(gè)集群數(shù)據(jù)集訓(xùn)練好的模型,在另一個(gè)集群上預(yù)測(cè)準(zhǔn)確率驟降。然而,在新數(shù)據(jù)集上從零開始訓(xùn)練一個(gè)模型,會(huì)遇到數(shù)據(jù)收集和參數(shù)調(diào)優(yōu)等難題,模型遷移(Model Transfer)方法[19]提供了一種復(fù)用預(yù)訓(xùn)練模型的方法以解決這些問題。所謂模型遷移,指源域與目標(biāo)域的特征、輸出值相同,但其特征的分布不同。其中,源域指現(xiàn)有數(shù)據(jù)集,而目標(biāo)域指待遷移的數(shù)據(jù)集。在實(shí)現(xiàn)方法上,大致可分為“輸入自適應(yīng)”和“輸出自適應(yīng)”,前者保持模型輸出層不變,對(duì)輸入數(shù)據(jù)做變換,使其概率分布統(tǒng)一到模型訓(xùn)練所用的數(shù)據(jù)上;后者保持輸入層不變,調(diào)整模型輸出層參數(shù),讓輸出層適配新數(shù)據(jù)集概率分布。

      本文在深度神經(jīng)網(wǎng)絡(luò)模型上采用“輸出自適應(yīng)”方法,原理如圖3 所示。由于模型前3 層為一般特征,而之后的層為針對(duì)數(shù)據(jù)集的表示層,因此可以固定前3 層,并在新數(shù)據(jù)集上重新訓(xùn)練并微調(diào)后面數(shù)層,從而僅需收集少量數(shù)據(jù)就能達(dá)到較好的預(yù)測(cè)準(zhǔn)確度。

      Fig.3 Theory of output adaption圖3 輸出自適應(yīng)原理

      3.4 其他提升性能的數(shù)據(jù)處理技巧

      (1)數(shù)據(jù)增強(qiáng)。在預(yù)測(cè)高斯作業(yè)運(yùn)行時(shí)間的任務(wù)中,受限于作業(yè)質(zhì)量和系統(tǒng)權(quán)限,能用于模型訓(xùn)練的作業(yè)樣本數(shù)遠(yuǎn)小于當(dāng)前主流模型的規(guī)模,只有幾千個(gè)樣本點(diǎn)。高斯作為一個(gè)OpenMP 并行作業(yè),在一個(gè)計(jì)算節(jié)點(diǎn)多核運(yùn)行時(shí)具有超過90%的并行效率,提高一個(gè)算例所用的核心數(shù),大致能等比例地縮短該算例的運(yùn)行時(shí)間?;谶@樣的觀察,本文對(duì)一個(gè)使用N 核心、運(yùn)行時(shí)間為T 的算例做變換,生成4 個(gè)訓(xùn)練算例,其核心數(shù)和運(yùn)行時(shí)間分別是:(N/4,4T)、(N/2,2T)、(2N、T/2)和(4N,T/4)。

      (2)超參數(shù)搜索。求解機(jī)器學(xué)習(xí)模型的過程通常是搜索經(jīng)驗(yàn)損失函數(shù)極小點(diǎn)的過程,模型超參數(shù)的設(shè)置對(duì)能否搜索到極小點(diǎn)具有重要影響,需嘗試多組不同的超參數(shù)。

      對(duì)于深度神經(jīng)網(wǎng)絡(luò),可調(diào)整的超參數(shù)主要有:網(wǎng)絡(luò)深度、每層的神經(jīng)元數(shù)量、學(xué)習(xí)率等。這些因素影響模型的泛化能力和收斂速度。由于訓(xùn)練時(shí)間長(zhǎng)、搜索空間大,本文采用貝葉斯方法搜索最佳模型設(shè)置。在搜索過程中,優(yōu)化目標(biāo)變成以超參數(shù)為變量的損失函數(shù),貝葉斯函數(shù)以高斯過程對(duì)其建模,引導(dǎo)搜索過程向最優(yōu)超參數(shù)收斂。

      對(duì)于梯度提升決策樹,可調(diào)整的超參數(shù)主要有:最大子樹深度、子樹數(shù)量、孩子節(jié)點(diǎn)中最小的樣本權(quán)重和、子樣本的比例、學(xué)習(xí)率等。這些參數(shù)會(huì)影響模型泛化能力、貪心算法保守程度、權(quán)重調(diào)整幅度等重要因素。本文采取的策略是固定其他超參數(shù),遍歷某組超參數(shù),重復(fù)以上步驟直至模型達(dá)到最優(yōu)。

      4 實(shí)驗(yàn)結(jié)果與分析

      4.1 實(shí)驗(yàn)環(huán)境

      本文實(shí)驗(yàn)均在Intel Xeon Gold 6248平臺(tái)上完成。支持向量機(jī)(SVM)、決策樹(DT)和深度人工神經(jīng)網(wǎng)絡(luò)模型分別使用scikit-learn、XGBoost和TensorFlow 實(shí)現(xiàn)。

      4.2 高斯作業(yè)樣本數(shù)據(jù)集

      本文使用的高斯作業(yè)樣本來自集群A(數(shù)據(jù)集A)、集群B(數(shù)據(jù)集B)和集群C(數(shù)據(jù)集C)。這3個(gè)集群分別建設(shè)于2019 年、2017 年、2018 年采購,因而單節(jié)點(diǎn)性能有較為顯著的差異。作業(yè)樣本去掉了因故障終止、超過2 天計(jì)算不收斂的算例。此外,本文使用數(shù)據(jù)增強(qiáng)方法,擴(kuò)充3 個(gè)原始數(shù)據(jù)集,得到用于訓(xùn)練的增強(qiáng)數(shù)據(jù)集。各數(shù)據(jù)集大小如表1所示。

      Table 1 Three datasets of Gaussian09 jobs表1 3個(gè)高斯作業(yè)樣本數(shù)據(jù)集

      4.3 算法準(zhǔn)確度度量標(biāo)準(zhǔn)

      本文參考文獻(xiàn)[20],使用“平均相對(duì)百分比誤差”(Mean Relative Percentage Error,MRPE)度量模型準(zhǔn)確度。MRPE 是“單次預(yù)測(cè)相對(duì)準(zhǔn)確度”的算術(shù)平均值,數(shù)值越高,模型在數(shù)據(jù)集上的整體預(yù)測(cè)結(jié)果越接近真實(shí)值。相比另一個(gè)常用的度量指標(biāo)“平均絕對(duì)百分比誤差”(Mean Absolute Percentage Error,MAPE),MRPE 具有如下優(yōu)點(diǎn):數(shù)值保持在0-1 區(qū)間、易于解釋和對(duì)比性能、能處理預(yù)測(cè)結(jié)果為0或無窮大的極端情況。其公式如下:

      式(3)中,下標(biāo)i表示第i個(gè)數(shù)據(jù)點(diǎn),pred 表示模型預(yù)測(cè)的作業(yè)運(yùn)行時(shí)間,true 表示作業(yè)實(shí)際運(yùn)行時(shí)間,∈為平滑項(xiàng)。

      4.4 實(shí)驗(yàn)流程

      在評(píng)估算法準(zhǔn)確度的實(shí)驗(yàn)中,本文通過組合機(jī)器學(xué)習(xí)算法和可用特征集評(píng)估機(jī)器學(xué)習(xí)方法對(duì)準(zhǔn)確度的影響,使用的是樣本數(shù)較多的數(shù)據(jù)集A。其中,3 種機(jī)器學(xué)習(xí)算法使用傳統(tǒng)特征作為對(duì)比基線。DNN 方法額外使用CNN 特征和庫倫矩陣范數(shù)特征的組合,以評(píng)估新特征的有效性。從頭開始訓(xùn)練,與使用遷移學(xué)習(xí)算法的精度進(jìn)行比較。

      在評(píng)估模型遷移實(shí)驗(yàn)中,評(píng)估遷移學(xué)習(xí)算法對(duì)于小樣本數(shù)據(jù)集的有效性。模型基線設(shè)定為SVM、DT 和DNN 在小樣本數(shù)據(jù)集上直接訓(xùn)練出來的模型,接著基于數(shù)據(jù)集A模型,保留特征提取層訓(xùn)練出來的參數(shù),在數(shù)據(jù)集B 和數(shù)據(jù)集C 上微調(diào)并遷移輸出層,并對(duì)比這兩組模型的效果。

      在評(píng)估算法耗時(shí)實(shí)驗(yàn)中,比較所用算法的訓(xùn)練和推理耗時(shí),以評(píng)估模型是否適合部署在生產(chǎn)環(huán)境中。

      在所有實(shí)驗(yàn)中,都使用了進(jìn)行數(shù)據(jù)增強(qiáng)的數(shù)據(jù)集,并將數(shù)據(jù)增強(qiáng)后的樣本集,按照0.95∶0.05 劃分為訓(xùn)練集和測(cè)試集,分別輸入指定模型中進(jìn)行訓(xùn)練。測(cè)試集用于評(píng)模型準(zhǔn)確度,不用于模型訓(xùn)練。采用SVM、DT、DNN 3 種機(jī)器學(xué)習(xí)方法訓(xùn)練,比較訓(xùn)練時(shí)間、推理時(shí)間和模型精準(zhǔn)度。

      4.5 評(píng)估算法準(zhǔn)確度

      3 種機(jī)器學(xué)習(xí)算法及其變種在數(shù)據(jù)集A 上的性能如圖4 所示。在使用相同特征進(jìn)行訓(xùn)練時(shí),SVM、DT 和DNN 的效果相仿,分別為66.32%、71.87%、69.59%,DT 在三者中具有微弱優(yōu)勢(shì)。加入CNN 提取特征和庫倫矩陣F 范數(shù)特征后,模型效果得到了有效提高。CNN 提取的特征將DNN方法的MRPE 提升了13.36%,而加入了庫倫矩陣的F 范數(shù)特征后,模型的MRPE 進(jìn)一步提升了7.656%。最終,DNN-3模型的MRPE 達(dá)到84.93%,證明了兩種方法的有效性。

      對(duì)于CNN 特征提取的有效性,分析原因如下:原始文本特征大量出現(xiàn)次數(shù)很少的文本,例如迭代方法中存在許多僅使用過數(shù)次的方法。傳統(tǒng)編碼方法使用one-hot 對(duì)這類特征編碼時(shí)會(huì)導(dǎo)致特征矩陣非常稀疏,使得訓(xùn)練時(shí)很難收斂到一個(gè)最優(yōu)值。而CNN 提取該類型文本特征時(shí)得到的特征尺寸是可控的,同時(shí)兼顧了傳統(tǒng)方法得到的文本特征,因此效果更好。

      4.6 評(píng)估模型遷移

      各SVM、DT 和DNN 算法變種在樣本總數(shù)較少的數(shù)據(jù)集B 和C 上的精準(zhǔn)度如圖5、圖6所示。

      Fig.5 Different models’ MRPE performance on dataset B(higher is better)圖5 不同模型在數(shù)據(jù)集B上的MPRE值(越高越好)

      Fig.6 Different models’MRPE performance on dataset C(higher is better)圖6 不同方法在數(shù)據(jù)集C上的MPRE值(越高越好)

      首先,對(duì)于“從零開始”訓(xùn)練模型的算法,SVM、DT、DNN-1 在小樣本數(shù)據(jù)集上的精準(zhǔn)度不佳,未超過38%。CNN 提取特征和加入庫倫矩陣對(duì)精準(zhǔn)度的影響與上文觀察到的一致,前者作用更顯著。其次,對(duì)于“直接使用”預(yù)訓(xùn)練模型的5 個(gè)機(jī)器學(xué)習(xí)模型(SVM、DT、DNN-1、DNN-2、DNN-3),準(zhǔn)確度相比“從零開始”訓(xùn)練的模型不升反降,說明由于數(shù)據(jù)分布差異,在一個(gè)數(shù)據(jù)集上訓(xùn)練出來的模型通常不能直接用于另一個(gè)數(shù)據(jù)集推理。最后,采用“模型遷移”方法微調(diào)的算法DNN-4 在兩個(gè)小數(shù)據(jù)集上都獲得了比其他算法更高的準(zhǔn)確度,分別達(dá)65.2%、63.3%,證明了模型遷移方法的有效性。

      4.7 評(píng)估算法訓(xùn)練與推理耗時(shí)

      在實(shí)際部署模型時(shí),算法訓(xùn)練時(shí)間會(huì)影響模型重訓(xùn)練頻度,推理時(shí)間會(huì)影響模型響應(yīng)速度。算法訓(xùn)練和推理時(shí)間大致與算法復(fù)雜度保持一致,在生產(chǎn)環(huán)境部署算法時(shí),需要考慮處理時(shí)間的硬性限制。幾種機(jī)器學(xué)習(xí)算法在數(shù)據(jù)集A 上的訓(xùn)練時(shí)間和推理時(shí)間如表2 所示,算法的變種不影響整體訓(xùn)練和推理時(shí)間,因此采用最基本的算法。

      Table 2 Horizontal comparison of 5 models表2 5種模型橫向比較

      對(duì)于模型訓(xùn)練,SVM 最快,DT 次之,DNN 最慢。上述算法的訓(xùn)練時(shí)間都不超過10 min,能夠滿足每隔半小時(shí)重新訓(xùn)練一次模型的需求。對(duì)于模型推理,耗時(shí)從小到大依次是:SVM、GBDT 和DNN。其中,DNN 算法推理時(shí)間高于0.5 s,結(jié)合生產(chǎn)環(huán)境集群作業(yè)接收經(jīng)驗(yàn)(約每秒收到一個(gè)新作業(yè)),DNN 足以處理高斯作業(yè)預(yù)測(cè),但擴(kuò)展到預(yù)測(cè)每一個(gè)作業(yè)的運(yùn)行時(shí)間,會(huì)成為整個(gè)作業(yè)調(diào)度系統(tǒng)的瓶頸。

      5 結(jié)語

      本文在上海交通大學(xué)校級(jí)計(jì)算教學(xué)平臺(tái)作業(yè)調(diào)度系統(tǒng)的基礎(chǔ)上,實(shí)現(xiàn)了一套用于收集特定應(yīng)用算例的系統(tǒng),基于該系統(tǒng)收集的高斯作業(yè)算例,以及相同算例在其他集群上的運(yùn)行結(jié)果,評(píng)估了不同機(jī)器學(xué)習(xí)方法結(jié)合不同的特征提取方式對(duì)于預(yù)測(cè)高斯作業(yè)運(yùn)行時(shí)間的適用性,并探討了提高小樣本數(shù)據(jù)集預(yù)測(cè)準(zhǔn)確度的方法。

      最終發(fā)現(xiàn),梯度提升決策樹方法和深度神經(jīng)網(wǎng)絡(luò)方法優(yōu)于傳統(tǒng)的支持向量機(jī)方法;使用Text-CNN 對(duì)文本提取特征優(yōu)于提取單詞并做one-hot 編碼;在模型中加入表示原子體系的表征后準(zhǔn)確度明顯提高,相比使用原始特征作為輸入的DNN,使用Text-CNN 提取文本特征加上庫倫矩陣F 范數(shù)作為輸入特征的MRPE 提升了22.04%;對(duì)于小樣本數(shù)據(jù)集,采用模型遷移的方法復(fù)用預(yù)訓(xùn)練模型,能有效提高模型準(zhǔn)確度。下一步,嘗試將這套方法用于高斯之外的科學(xué)應(yīng)用,為高效率智能化的集群作業(yè)調(diào)度提供依據(jù)。

      猜你喜歡
      庫倫高斯預(yù)測(cè)
      小高斯的大發(fā)現(xiàn)
      2023中國(guó)摩托車越野錦標(biāo)賽(庫倫站)正式啟動(dòng)
      車主之友(2023年2期)2023-05-22 02:53:20
      無可預(yù)測(cè)
      黃河之聲(2022年10期)2022-09-27 13:59:46
      選修2-2期中考試預(yù)測(cè)卷(A卷)
      選修2-2期中考試預(yù)測(cè)卷(B卷)
      天才數(shù)學(xué)家——高斯
      不必預(yù)測(cè)未來,只需把握現(xiàn)在
      有限域上高斯正規(guī)基的一個(gè)注記
      庫倫興源寺建筑及其文化蘊(yùn)含
      黑龍江史志(2014年1期)2014-11-11 03:30:19
      1806年,胎死腹中的中俄外交
      中外書摘(2014年9期)2014-09-18 09:57:34
      阳城县| 常熟市| 呼和浩特市| 恩平市| 邢台县| 漳平市| 克东县| 治县。| 沅陵县| 乌拉特后旗| 封开县| 卢湾区| 临湘市| 哈密市| 土默特右旗| 隆化县| 丽水市| 南宁市| 阿图什市| 张家港市| 荥阳市| 宾川县| 凤翔县| 新营市| 清徐县| 宁安市| 新化县| 健康| 中西区| 杭锦旗| 东港市| 康保县| 阿克苏市| 长岭县| 宜宾市| 桂阳县| 浦城县| 留坝县| 突泉县| 青铜峡市| 海原县|