李寶華

人工智能研發(fā)運營體系：熱潮大模型背后的“基建工程”

隨著經(jīng)濟發(fā)展和科技融合不斷深入，人工智能（AI）發(fā)展迎來新一輪紅利，科技革命和產(chǎn)業(yè)升級處于進行時。近年來，AI工程化的研究熱度持續(xù)提升，其目的是幫助企業(yè)在數(shù)字化轉型過程中，更高效、大規(guī)模地利用AI創(chuàng)造業(yè)務價值?！叭斯ぶ悄苎邪l(fā)運營體系”（后文稱：MLOps）作為AI工程化重要組成部分，其核心思想是解決AI生產(chǎn)過程中團隊協(xié)作難、管理亂、交付周期長等問題，最終實現(xiàn)高質(zhì)量、高效率、可持續(xù)的AI生產(chǎn)過程。目前，國內(nèi)外“MLOps”落地應用正持續(xù)快速推進。

廈門深度賦智科技有限公司（簡稱“深度賦智”），于2019年7月成立廈門總部，后期在上海及深圳均設有分公司。吸引了來自于世界各地的頂尖人才，并且匯聚了業(yè)界頭部科技公司的資深研究員、架構師。競賽上，斬獲了人工智能頂尖賽事NeurIPS的多個世界冠軍，戰(zhàn)勝了Google、微軟、阿里、騰訊、清華、南大等團隊；學術影響上，在多個AI領域頂會頂刊上發(fā)表了高影響力論文，公司2021年累計發(fā)表兩篇AutoML 領域前沿論文（該期刊是AI學術界的頂級期刊，2021年全球共發(fā)表313篇IEEE T-PAMI，其中國內(nèi)企業(yè)累計發(fā)表僅24篇）。

深度賦智在成立初期對市場的調(diào)研以及結合Gartner的調(diào)查數(shù)據(jù)發(fā)現(xiàn)，目前只有53%的項目能夠從AI原型轉化為生產(chǎn)。AI生產(chǎn)轉化率低的主要原因在于模型全鏈路生命周期管理存在問題，包括跨團隊協(xié)作難度大、過程和資產(chǎn)管理欠缺、生產(chǎn)和交付周期長等。隨著智能技術的發(fā)展，AI應用在業(yè)務研發(fā)中的占比逐漸升高，但AI模型訓練的復雜性導致其開發(fā)慢、效率低，嚴重影響了業(yè)務的靈活性。主要的凸顯問題為以下三方面：

第一，跨團隊協(xié)作難度大。機器學習項目生命周期中涉及業(yè)務、數(shù)據(jù)、算法、研發(fā)、運維等多團隊，團隊間缺乏相同的技術和業(yè)務背景知識作為協(xié)作基礎，從而帶來溝通屏障。同時每個團隊的協(xié)作工具不盡相同，從數(shù)據(jù)和算法轉化為推理服務的整個過程漫長而復雜，從而增大協(xié)作難度。

第二，過程和資產(chǎn)管理欠缺。模型生產(chǎn)過程無標準化管理，導致AI 資產(chǎn)的價值無法有效發(fā)揮。原因在于以下幾方面：一是生產(chǎn)過程冗長難管理，AI模型生產(chǎn)過程涉及的環(huán)境、流程復雜，各部門習慣于小作坊的生產(chǎn)模式，重復造輪子現(xiàn)象普遍；二是AI資產(chǎn)無集中共享機制，組織內(nèi)數(shù)據(jù)、特征、模型等碎片化AI資產(chǎn)無法共享使用，優(yōu)秀實踐經(jīng)驗難以沉淀。

第三，生產(chǎn)和交付周期長。機器學習模型生產(chǎn)和交付是一個漫長、復雜又易出錯的過程，且耗費的時間成本較高。據(jù)Algorithmia 報告顯示，38％的企業(yè)花費超過50％的時間在模型部署上。這一現(xiàn)象的主要原因有三：一是模型文件的生產(chǎn)需要經(jīng)過不斷重復的實驗和評估；二是模型服務需要通過編寫服務代碼和配置參數(shù)，并達到業(yè)務需求后，方可部署上線；三是業(yè)務效果的保證需通過在線模型開展服務驗證和結果對比。

MLOps在國內(nèi)外得到了廣泛應用，并在多個行業(yè)取得了實質(zhì)性效果。2015年至今，從業(yè)界意識到機器學習項目技術債給AI 生產(chǎn)上線帶來的潛在巨大影響伊始。2018年業(yè)內(nèi)人士逐漸開始密集討論大規(guī)模生產(chǎn)中機器學習生命周期集成化管理的重要性，MLOps這一概念被提出并逐步接受。2020年以來，產(chǎn)業(yè)焦點集中于AI大規(guī)?？焖俾涞?，布局MLOps平臺或工具的需求日益迫切，推動組織數(shù)智化轉型成為產(chǎn)業(yè)界追逐的目標。2021年，Gartner將包括MLOps在內(nèi)的XOps列為2021 年十大數(shù)據(jù)和分析技術趨勢之一。此外，從2019年到2022年，Gartner連續(xù)4年將MLOps納入數(shù)據(jù)科學與機器學習技術成熟度曲線。

深度賦智：通過自研，解決關鍵技術受制于人的“卡脖子”問題

作為AI基礎設施之一，MLOps促進各團隊高效協(xié)作，提升業(yè)務價值產(chǎn)出。一般來說，實施MLOps需要遵循的原則包括自動化、持續(xù)性、版本化、可監(jiān)控、可測試、可追溯、可復現(xiàn)、可協(xié)作等。深度賦智通過構建全自動人工智能研發(fā)運營中臺，為機器學習模型全生命周期建設標準化、自動化、可持續(xù)改進的過程管理體系，使組織規(guī)模化、高質(zhì)量、高效率、可持續(xù)地生產(chǎn)及迭代機器學習模型，能有效緩解AI生產(chǎn)過程地各種管理問題，提升公司AI生產(chǎn)的轉化效率。

深度賦智致力于幫助每一家企業(yè)快速落地AI應用、高效地管理公司AI資產(chǎn)。通過核心自研產(chǎn)品：深度賦智天機（ACT），為各行業(yè)的客戶提供全自動人工智能研發(fā)運營中臺（ACT）。本中臺涵蓋無代碼數(shù)據(jù)科學與機器學習系統(tǒng)（Full AutoML）和低代碼人工智能系統(tǒng)（Low-Code AI），覆蓋文本、圖像、視頻、語音、表格、時序、搜索、推薦等多模態(tài)任務訓練及管理運營。

深度賦智天機的核心技術為：MetaAI引擎。深度賦智創(chuàng)新性地提出了一種新型的全自動機器學習框架，首次打破了現(xiàn)有自動機器學習中各搜索空間的獨立設計，并使用數(shù)據(jù)集知識錨點加進化算法來加速搜索，解決了在超大空間搜索最優(yōu)方案的設計難題。該框架實現(xiàn)了全流程自動化，極大降低了機器學習應用門檻。其中MetaAI子系統(tǒng)模擬了人類AI工程師的學習過程，通過觀察已有任務的數(shù)據(jù)流形與策略效果以進行全自動的探索性優(yōu)化。經(jīng)過觀察，MetaAI可以很好地總結不同任務知識，將原本耗時數(shù)年的AI構建過程縮短到最短數(shù)十秒。

高質(zhì)量發(fā)展：著力加強能源電力智慧數(shù)字化基礎能力建設

近年來，在“雙碳”目標下，智慧能源產(chǎn)業(yè)的發(fā)展將會為能源行業(yè)帶來了新機遇?？萍紕?chuàng)新是各能源集團“十四五”實現(xiàn)高質(zhì)量發(fā)展的重要驅(qū)動力。深度賦智把握戰(zhàn)略主動，聚焦重點領域，加速核心合作，為能源集團在綜合智慧能源領域提供MLOps的創(chuàng)新力量。

深度賦智在2021年與新華發(fā)電（新華發(fā)電作為中核集團非核綠色能源戰(zhàn)略實施主體，肩負“綠色報國 創(chuàng)新共享”發(fā)展使命，兼具中央企業(yè)管理優(yōu)勢和水利部行業(yè)專業(yè)優(yōu)勢。業(yè)務涵蓋水電、新能源、綜合智慧能源三大板塊，形成了“源網(wǎng)荷儲用”多元化的產(chǎn)業(yè)協(xié)同發(fā)展布局）完成戰(zhàn)略協(xié)議的簽訂。雙方將聚焦碳中和以及電力數(shù)字化轉型，將充分發(fā)揮各自優(yōu)勢共同打造“AI+電力”解決方案，以此構建能源互聯(lián)網(wǎng)新生態(tài)，引領能源行業(yè)數(shù)字化轉型，推動綠色電力轉型，加快建設能源強國。

為更好貫徹中核集團及新華發(fā)電數(shù)字化轉型指導方針，2023年深度賦智與新華發(fā)電完成具體項目落地，整體將以新華發(fā)電數(shù)字化轉型路徑為戰(zhàn)略指引，全面建成全自動人工智能研發(fā)運營中臺（后續(xù)稱“智能應龍”）?！爸悄軕垺睂樾氯A發(fā)電實現(xiàn)“四個統(tǒng)一”的精細化人工智能資產(chǎn)管理模式。

人工智能資產(chǎn)統(tǒng)一沉淀。將新華發(fā)電AI基礎任務能力、數(shù)據(jù)資源、數(shù)字化資產(chǎn)進行統(tǒng)一沉淀，合入一起運營管理，促使AI資產(chǎn)能夠在各種場景下復用。

人工智能資產(chǎn)統(tǒng)一管理。為所有數(shù)字化資產(chǎn)之間的互通、互助、并行應用提供基礎支持。所有組件實現(xiàn)微服務化，所有AI資產(chǎn)統(tǒng)一管理，并通過“智能應龍”實現(xiàn)新華發(fā)電對多種智能化資源的自主可控，提升智能化應用的安全性。

人工智能資產(chǎn)統(tǒng)一推廣?！爸悄軕垺笨梢詫I模型進行統(tǒng)一管理，然后針對于不同電站的實際需求進行統(tǒng)一推廣，在節(jié)省重復開發(fā)成本的同時，還能提升對于AI模型的監(jiān)控能力，做到實時更新。

人工智能資產(chǎn)統(tǒng)一開發(fā)?！爸悄軕垺蹦軡M足快速組裝個性化AI應用的能力，通過無代碼全自動AI任務開發(fā)系統(tǒng)可以快速生產(chǎn)基礎AI任務，以及低代碼AI應用開發(fā)服務系統(tǒng)可以進行靈活組裝、拼接，使新疆新華實現(xiàn)隨時、隨需及統(tǒng)一開發(fā)模式。

堅實的產(chǎn)業(yè)基礎之上才能實現(xiàn)產(chǎn)學各界萬花盛放

最后，眼下最火熱的AI應用莫過于大模型（ChatGPT等）的應用。預訓練大模型正在推動一場AI新變革。而在關注這場變革之前，深度賦智認為更應該關注根技術、基礎平臺的打造與建設。堅實的產(chǎn)業(yè)基礎之上，才能實現(xiàn)產(chǎn)學各界萬花盛放。AI大模型之變，應該有強壯的根。深度賦智將大模型作為算法底座之一，結合具備無代碼數(shù)據(jù)科學與機器學習系統(tǒng)的深度賦智天機，可進一步降低業(yè)務子場景數(shù)據(jù)標注、子任務過多、離線流程繁瑣耦合等AI落地難點。搭載可支持業(yè)務線快速采集數(shù)據(jù)、自動訓練建模、標準化評估、一鍵化部署的全自動人工智能研發(fā)運營中臺，大模型將極大減少子環(huán)節(jié)數(shù)量、提升建模效率，優(yōu)化建模質(zhì)量，提供更便捷的流程設計方式。

當前我國積極發(fā)展數(shù)字經(jīng)濟，推動數(shù)字經(jīng)濟與實體經(jīng)濟深度融合，AI產(chǎn)業(yè)作為數(shù)字經(jīng)濟發(fā)展的核心引擎，正處于快速發(fā)展期。但從客觀評價，產(chǎn)品和技術依舊是企業(yè)發(fā)展的硬通貨，AI市場距離成熟還有一段距離。在陪伴產(chǎn)業(yè)發(fā)展的過程中，深度賦智將以“AI行業(yè)的‘水電煤”的身份與大家一同共建AI產(chǎn)業(yè)。