• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      框架,助力新一代認知智能

      2020-11-28 02:18:36曾凱
      軟件和集成電路 2020年8期
      關(guān)鍵詞:引擎挑戰(zhàn)神經(jīng)網(wǎng)絡

      什么叫圖神經(jīng)網(wǎng)絡,從名字可以看出這里有兩個概念。

      第一個概念是圖。圖是我們?nèi)粘I钪蟹浅F毡榈拇嬖冢话阄覀儠熏F(xiàn)實中的實體抽象成圖中的點,點和邊都有豐富的屬性信息。因為圖可以表示復雜的關(guān)系,所以圖蘊含了巨大的價值。

      第二個概念是神經(jīng)網(wǎng)絡,更準確的說是深度神經(jīng)網(wǎng)絡。深度神經(jīng)網(wǎng)絡是深度學習背后的核心技術(shù),并且在我們的生產(chǎn)生活中得到了廣泛的應用。

      圖神經(jīng)網(wǎng)絡就是將圖和深度神經(jīng)網(wǎng)絡這兩個概念結(jié)合起來,通過把圖中的元素映射到低維度空間中以便于處理我們用深度神經(jīng)網(wǎng)絡挖掘出的潛在價值。

      最近幾年,圖神經(jīng)網(wǎng)絡得到了學術(shù)界和工業(yè)界的廣泛關(guān)注,但相比傳統(tǒng)的深度學習,圖神經(jīng)網(wǎng)絡的開發(fā)和學習有更大的挑戰(zhàn),挑戰(zhàn)主要來自于三個方面。

      挑戰(zhàn)一是數(shù)據(jù)的復雜性,圖數(shù)據(jù)有非結(jié)構(gòu)化、異構(gòu)、稀疏性的特點,其特點給圖神經(jīng)網(wǎng)絡提出了更高的挑戰(zhàn)。

      挑戰(zhàn)二是圖數(shù)據(jù)規(guī)模巨大,用傳統(tǒng)機器學習的樣本處理方式非常容易造成樣本指數(shù)級的膨脹,這對于想要大規(guī)模應用圖神經(jīng)網(wǎng)絡的企業(yè)來說是巨大的成本開銷。

      挑戰(zhàn)三是圖算子種類非常多,不能很好的與深度學習相結(jié)合,導致深度學習系統(tǒng)很難通過簡單擴展來無縫支持圖神經(jīng)網(wǎng)絡的操作。

      因此,需要得到圖神經(jīng)網(wǎng)絡一體化的解決方案,這個解決方案從三個層次上提出了需求。首先是數(shù)據(jù)層要能夠支持大規(guī)模異構(gòu)且?guī)в胸S富屬性的圖,并且可以方便對接多種數(shù)據(jù)源進行適配,抽象出簡單的數(shù)據(jù)接口供用戶使用。其次是計算層要可以引擎一體化,這樣用戶才可以方便的編寫圖和深度神經(jīng)網(wǎng)絡相結(jié)合的代碼,并保證計算的高效性。最后是在應用層,要針對不同業(yè)務場景構(gòu)建從圖數(shù)據(jù)到業(yè)務邏輯,中間不割裂的端到端的神經(jīng)網(wǎng)絡。

      Graph-Learn就是針對這三個層次的要求應運而生的,該平臺有三個顯著的特點。第一個特點是企業(yè)級,區(qū)別于學術(shù)框架,Graph-Learn系統(tǒng)從實際生產(chǎn)出發(fā),一開始就把解決數(shù)據(jù)復雜性作為目標,支持高達TB級別的圖數(shù)據(jù)。第二個特點就是端到端,Graph-Learn為用戶提供一體化簡潔的IBE,方便從原始數(shù)據(jù)構(gòu)建業(yè)務模型,省去中間鏈路,從而省去巨額的存儲和計算開銷。第三個特點是生產(chǎn)與研發(fā)相結(jié)合,Graph-Learn系統(tǒng)有非常良好的拓展性和優(yōu)異的性能,既可以適應GNN快速發(fā)展研究的節(jié)奏,又可以實現(xiàn)實際生產(chǎn)和應用相結(jié)合,推動GNN的探索落地。

      下面介紹一下Graph-Learn背后的系統(tǒng)架構(gòu)和核心技術(shù)。

      首先Graph-Learn提出我們自己的統(tǒng)一編程范式,包含了四個步驟。第一個步驟是采樣,指從大的圖中采樣,做到數(shù)據(jù)對齊,從而便于后面神經(jīng)網(wǎng)絡對它的處理。第二個步驟是把采樣的頂點和邊的屬性信息向量化,以便于后面的處理。第三個步驟,我們把向量化信息技術(shù)聚合,聚合所產(chǎn)生的向量信息在第四個步驟中跟中心節(jié)點信息相互整合,從而輸出中心節(jié)點向量化的表示。

      其次,為了支持編程范式,Graph-Learn提出一體化的系統(tǒng),該系統(tǒng)包括兩部分。第一部分的圖引擎是分布式服務,提供了對大規(guī)模異構(gòu)以及帶有豐富屬性圖的層次,同時,圖引擎自帶容錯,可以保持穩(wěn)定,具備高效性能。第二部分是Tensor引擎作為用戶訪問圖數(shù)據(jù)接口,在神經(jīng)網(wǎng)絡部分,用戶可以充分與現(xiàn)有主流的系統(tǒng)相互對接,與圖引擎接口一起,開發(fā)面向業(yè)務的模型。

      再者,在對圖引擎進行優(yōu)化的層面,我們?yōu)榱思铀賵D構(gòu)建過程的效率,整個圖引擎框架從主體、解析到構(gòu)成都實現(xiàn)了數(shù)據(jù)流水線方式,充分利用了CPU和計算力。比如說為了加速多效采樣過程,減少多效采樣中的通信,我們采取了多效反映機制,基于觀察我們定義了頂點重要性的定義,實現(xiàn)采樣效率成倍的提升。

      最后,我們在圖引擎下層打造了統(tǒng)一的高性能和自適應數(shù)據(jù)通信層,利用異步并發(fā)集合通信的數(shù)據(jù),同步模型在數(shù)據(jù)層上,打造了智能化的控制層,可以實現(xiàn)梯度自動監(jiān)控和自動伸縮等功能。

      目前,這些優(yōu)化是Graph-Learn表現(xiàn)突出的性能,Graph-Learn已經(jīng)在阿里內(nèi)部進行了廣泛部署,有很多成功的案例。Graph-Learn平均每天可以節(jié)省300TB存儲,萬CPU的算力,可以實現(xiàn)在兩分鐘之內(nèi)構(gòu)建百億級別規(guī)模,并把延遲縮短到十毫秒級別。這些性能極大地縮短了經(jīng)營算法的開發(fā)周期,將之前以周為單位的開發(fā)周期縮短了80%。我們已經(jīng)在Graph-Learn系統(tǒng)上支持了各種各樣的算法,Graph-Learn已經(jīng)應用在很多場景中,比如淘寶推薦、搜索、反作弊、網(wǎng)絡安全等。

      今后,我們希望Graph-Learn的發(fā)展會基于算法驅(qū)動來對性能進行精益求精的優(yōu)化,我們會在系統(tǒng)延展性、生態(tài)多樣性上發(fā)力,希望大家能加入我們,跟我們一起打造開源生態(tài)。

      猜你喜歡
      引擎挑戰(zhàn)神經(jīng)網(wǎng)絡
      神經(jīng)網(wǎng)絡抑制無線通信干擾探究
      電子制作(2019年19期)2019-11-23 08:42:00
      藍谷: “涉藍”新引擎
      商周刊(2017年22期)2017-11-09 05:08:31
      嘰咕樂挑戰(zhàn)
      嘰咕樂挑戰(zhàn)
      嘰咕樂挑戰(zhàn)
      基于神經(jīng)網(wǎng)絡的拉矯機控制模型建立
      重型機械(2016年1期)2016-03-01 03:42:04
      復數(shù)神經(jīng)網(wǎng)絡在基于WiFi的室內(nèi)LBS應用
      無形的引擎
      河南電力(2015年5期)2015-06-08 06:01:46
      基于Cocos2d引擎的PuzzleGame開發(fā)
      基于支持向量機回歸和RBF神經(jīng)網(wǎng)絡的PID整定
      乐亭县| 京山县| 离岛区| 中宁县| 页游| 镇巴县| 托克托县| 庆阳市| 志丹县| 郴州市| 辽中县| 永兴县| 沈丘县| 大丰市| 崇阳县| 宁远县| 定边县| 陕西省| 同仁县| 精河县| 阿坝| 寿阳县| 中卫市| 句容市| 吕梁市| 贵南县| 湛江市| 隆子县| 清水河县| 安宁市| 芦溪县| 余干县| 策勒县| 郯城县| 老河口市| 吉木萨尔县| 三门县| 开江县| 韶山市| 大关县| 淳化县|