許亞倩

2006年Hinton在《Science》提出著名的深度學(xué)習(xí)框架，引爆了一輪人工智能熱潮。十多年來，無論是國際科技巨頭，還是權(quán)威研究機(jī)構(gòu)，都致力于深度學(xué)習(xí)框架的研發(fā)應(yīng)用，帶來了視覺、語音等領(lǐng)域革命性的進(jìn)步，極大地推動了人工智能的創(chuàng)新發(fā)展。事實(shí)上，隨著人工智能時代的來臨，深度學(xué)習(xí)框架已被視為一個核心突破口和科技前沿陣地，依托深度學(xué)習(xí)框架構(gòu)建人工智能生態(tài)也必將成為未來發(fā)展方向。與發(fā)達(dá)國家相比，我國對核心技術(shù)的預(yù)見性較為滯后，深度學(xué)習(xí)框架的國際戰(zhàn)略缺位、核心技術(shù)缺失的“雙缺”問題尤其突出。我國只有關(guān)注并盡快破解“雙缺”難題，才有可能搶占人工智能的戰(zhàn)略制高點(diǎn)。

深度學(xué)習(xí)框架

是AI跨越發(fā)展的核心引擎

（一）深度學(xué)習(xí)框架是推動人工智能跨越發(fā)展的核心引擎。深度學(xué)習(xí)是神經(jīng)網(wǎng)絡(luò)及其應(yīng)用的統(tǒng)稱，旨在將復(fù)雜的神經(jīng)網(wǎng)絡(luò)架構(gòu)應(yīng)用在數(shù)據(jù)建模上，從而帶來前所未有的準(zhǔn)確性，它已在計(jì)算機(jī)視覺、語音識別、無人駕駛等眾多領(lǐng)域取得突破性進(jìn)展。深度學(xué)習(xí)框架能夠提供進(jìn)行深度學(xué)習(xí)的底層架構(gòu)、接口，以及大量神經(jīng)網(wǎng)絡(luò)模型，減少重復(fù)編程的時間和精力，提高深度學(xué)習(xí)效率。2012年Google Brain項(xiàng)目通過使用深度學(xué)習(xí)，讓系統(tǒng)自動學(xué)習(xí)并識別貓，激起了全球范圍內(nèi)研究深度學(xué)習(xí)的熱潮。再如，2016年Google DeepMind開發(fā)的基于深度學(xué)習(xí)的AlphaGo以4∶1的總比分戰(zhàn)勝了世界圍棋冠軍李世石，讓人們對深度學(xué)習(xí)的認(rèn)知跨越到一個新階段。眼下，深度學(xué)習(xí)框架加應(yīng)用場景已成為當(dāng)今的主流發(fā)展模式，成為人工智能發(fā)展的基礎(chǔ)和核心，也是人工智能向下一個階段跨越的關(guān)鍵。

（二）全球科技巨頭是布局深度學(xué)習(xí)框架開發(fā)開源的主要力量。作為人工智能實(shí)現(xiàn)跨越發(fā)展的重要突破口，深度學(xué)習(xí)框架引起了科技界、產(chǎn)業(yè)界的高度重視。全球科技巨頭紛紛布局，目前該領(lǐng)域的主要競爭者有Google、亞馬遜、微軟、Facebook等，主流框架有TensorFlow、Theano、Torch、Caffe、CNTK、MXNet、DL4J、DSSTNE、Paddle、Keras、Lasagne等。其中，Google開發(fā)并開源了分布式深度學(xué)習(xí)框架TensorFlow，是理想的卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)工具，已應(yīng)用于Google的搜索、郵件、語音助手、機(jī)器翻譯等。類似的大型科技公司開發(fā)開源的框架還有Facebook的PyTorch、Torchnet、Caffe2，亞馬遜的DSSTNE、MXNet，微軟的CNTK等，也是深度學(xué)習(xí)重要的研究工具和應(yīng)用工具。特別是，大型科技公司通過開源的方式，一方面吸引了更多開發(fā)者，加快框架更新迭代的速度，另一方面也降低了開發(fā)門檻，吸引用戶，擴(kuò)大了深度學(xué)習(xí)的市場規(guī)模?；贕oogle強(qiáng)大的人工智能研究水平，TensorFlow自開源以來，以優(yōu)異的質(zhì)量表現(xiàn)，迅速成為GitHub上最受歡迎的深度學(xué)習(xí)開源項(xiàng)目。

（三）科研機(jī)構(gòu)、創(chuàng)業(yè)公司是深度學(xué)習(xí)框架研究的主要力量。隨著深度學(xué)習(xí)框架研究開發(fā)過程中的要求和需求不斷增加，開發(fā)快速、高效的深度學(xué)習(xí)框架成為國際權(quán)威科研機(jī)構(gòu)及團(tuán)隊(duì)的追求目標(biāo)。一方面，科研領(lǐng)域研究工具型深度學(xué)習(xí)框架層出不窮，大大推動了深度學(xué)習(xí)框架研究的進(jìn)程。比如，賈揚(yáng)清及其團(tuán)隊(duì)開發(fā)的Caffe及Caffe2、普林斯頓大學(xué)視覺工作組的Marvin、斯坦福大學(xué)的ConvNetJS、卡內(nèi)基梅隆大學(xué)研發(fā)的DyNet等，內(nèi)嵌先進(jìn)、完善的卷積神經(jīng)網(wǎng)絡(luò)模型。另一方面，具有商業(yè)前景的深度學(xué)習(xí)框架不斷涌現(xiàn)，在學(xué)術(shù)界和產(chǎn)業(yè)界都具有深遠(yuǎn)影響。比如，蒙特利爾理工大學(xué)研發(fā)的Theano，其易用高效且運(yùn)行穩(wěn)定，是Keras、Lasagne、Blocks等框架的基礎(chǔ)，更是Facebook等互聯(lián)網(wǎng)公司大量應(yīng)用的基礎(chǔ)。此外，部分創(chuàng)業(yè)公司也研發(fā)了性能優(yōu)越的服務(wù)型深度學(xué)習(xí)框架。比如，SkyMind公司開發(fā)的集成Hadoop和Spark的商業(yè)級框架DL4J、Nervana System公司開發(fā)的具有領(lǐng)先運(yùn)行速度優(yōu)勢的Neon等，它們在提供框架的同時，還提供第三方商業(yè)支持服務(wù)。

我國深度學(xué)習(xí)框架

“雙缺”問題日益突出

（一）深度學(xué)習(xí)框架研究國際戰(zhàn)略缺位，嚴(yán)重依賴國外開源框架。一方面，我國人工智能產(chǎn)業(yè)蓬勃發(fā)展，在特定領(lǐng)域已處于世界先進(jìn)水平。但在人工智能核心環(huán)節(jié)即深度學(xué)習(xí)框架領(lǐng)域的國際發(fā)聲卻較少、戰(zhàn)略缺位明顯，特別是在開發(fā)、開源方面仍遠(yuǎn)遠(yuǎn)落后于歐美國家。比如，2017年GitHub中最受歡迎的開源框架DL4J、

Caffe、CNTK、MXNet、Torch和Theano，均由美國科技公司或科研團(tuán)隊(duì)開發(fā)。其它具有國際影響力的框架還包括瑞士的超級深度神經(jīng)網(wǎng)絡(luò)框架Brainstorm、日本的動態(tài)計(jì)算圖神經(jīng)網(wǎng)絡(luò)框架Chainer等。相比之下，我國比較知名的深度學(xué)習(xí)框架僅有百度2016年8月開源的Paddle，由于缺乏資源支持和正面反饋，在國際開源社區(qū)的活躍度一般，國際影響力十分有限。另一方面，我國深度學(xué)習(xí)框架的國際戰(zhàn)略缺位，還表現(xiàn)為嚴(yán)重依賴國外開源框架，阿里的分布式深度學(xué)習(xí)框架Pluto是在Caffe的基礎(chǔ)上擴(kuò)展而來，小米的深度學(xué)習(xí)平臺Cloud-ML則是基于TensorFlow和Kubernetes等框架開發(fā)的。

（二）深度學(xué)習(xí)框架核心技術(shù)缺失，核心生態(tài)圈尚未建立。經(jīng)過多年積累，我國在人工智能若干技術(shù)領(lǐng)域已取得重要突破。但在深度學(xué)習(xí)框架方面，卻一直處于跟隨階段，創(chuàng)新引領(lǐng)能力十分有限，尤其是在核心技術(shù)方面。究其原因，一是基礎(chǔ)研究無法支撐深度學(xué)習(xí)框架核心技術(shù)的研發(fā)，特別是對于神經(jīng)網(wǎng)絡(luò)模型可用性、穩(wěn)定性、運(yùn)行效率等基礎(chǔ)問題探索不足。二是缺乏對深度學(xué)習(xí)框架的超前設(shè)計(jì)和開發(fā)，包括跨平臺移植、分布式學(xué)習(xí)、模型模塊化等核心部件的研究滯后。三是尚未開發(fā)出適用特定場景的深度學(xué)習(xí)框架和服務(wù)型產(chǎn)品，缺乏對其應(yīng)用場景的探索。更重要的是，深度學(xué)習(xí)框架作為決定人工智能技術(shù)、產(chǎn)業(yè)、應(yīng)用的核心環(huán)節(jié)，是人工智能核心生態(tài)圈建立的基礎(chǔ)和關(guān)鍵，核心技術(shù)缺失將直接影響到深度學(xué)習(xí)框架生態(tài)圈關(guān)聯(lián)的深度學(xué)習(xí)芯片、深度學(xué)習(xí)系統(tǒng)、深度學(xué)習(xí)軟硬件平臺等產(chǎn)業(yè)發(fā)展。

幾點(diǎn)建議

（一）整體布局，搶占戰(zhàn)略制高點(diǎn)。深度學(xué)習(xí)框架作為承載人工智能各種硬件設(shè)備和軟件應(yīng)用的基礎(chǔ)平臺，是人工智能生態(tài)中替代難度最大、系統(tǒng)要求最高的部分，為此各國已經(jīng)和正在加快技術(shù)創(chuàng)新和戰(zhàn)略布局。我國也必須加緊整體布局，搶占深度學(xué)習(xí)框架領(lǐng)域的戰(zhàn)略制高點(diǎn)。一是制定《深度學(xué)習(xí)框架發(fā)展指南》，確定發(fā)展方向和重點(diǎn)任務(wù)，明確深度學(xué)習(xí)框架研究和應(yīng)用推廣的時間表和路線圖。二是建立以研發(fā)深度學(xué)習(xí)框架為核心任務(wù)的人工智能創(chuàng)新中心，統(tǒng)籌協(xié)調(diào)大型科技公司和科研機(jī)構(gòu)，推動深度學(xué)習(xí)框架關(guān)鍵技術(shù)研發(fā)和成果產(chǎn)業(yè)化。三是設(shè)立深度學(xué)習(xí)框架研究重大科技項(xiàng)目，支持研發(fā)并開源一批有國際影響力的深度學(xué)習(xí)框架。四是統(tǒng)籌政府和市場多渠道資金投入，對深度學(xué)習(xí)框架研發(fā)提供優(yōu)先支持，引導(dǎo)社會資本關(guān)注深度學(xué)習(xí)框架方向的創(chuàng)業(yè)企業(yè)和創(chuàng)業(yè)項(xiàng)目。

（二）自主創(chuàng)新，推動核心技術(shù)攻關(guān)。要解決我國深度學(xué)習(xí)框架核心技術(shù)缺失、依賴國外框架的問題，必須積極推動自主創(chuàng)新，推出由我國主導(dǎo)的深度學(xué)習(xí)框架。一是以深度學(xué)習(xí)算法框架協(xié)同攻關(guān)為基礎(chǔ)，形成芯片、平臺、應(yīng)用協(xié)同的集成創(chuàng)新平臺，加快深度學(xué)習(xí)算法框架的核心技術(shù)發(fā)展和應(yīng)用創(chuàng)新，夯實(shí)技術(shù)基礎(chǔ)。二是支持科研團(tuán)隊(duì)開發(fā)用于科研、教學(xué)和測試的深度學(xué)習(xí)框架，特別是針對神經(jīng)網(wǎng)絡(luò)模型穩(wěn)定性、運(yùn)行效率、可用性等方面進(jìn)行重點(diǎn)研究，強(qiáng)化高性能深度學(xué)習(xí)框架的基礎(chǔ)支撐能力。三是支持大型科技公司開發(fā)商業(yè)級和工業(yè)級的深度學(xué)習(xí)框架，重點(diǎn)突破深度學(xué)習(xí)框架跨平臺移植、跨系統(tǒng)運(yùn)行、分布式學(xué)習(xí)等核心技術(shù)，利用所擁有的海量數(shù)據(jù)對神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，形成開放式、模塊化、可重構(gòu)的訓(xùn)練模型。四是支持科技企業(yè)對框架語言、接口、性能等應(yīng)用問題進(jìn)行研究，開發(fā)針對特定領(lǐng)域的專用深度學(xué)習(xí)框架。

（三）研用結(jié)合，壯大產(chǎn)業(yè)實(shí)力。人工智能應(yīng)用的高轉(zhuǎn)化水平能夠帶動關(guān)鍵技術(shù)的集成應(yīng)用。針對深度學(xué)習(xí)框架，我國應(yīng)統(tǒng)籌利用理論研究方面的優(yōu)勢，推動研用結(jié)合，壯大以深度學(xué)習(xí)框架為核心的人工智能產(chǎn)業(yè)實(shí)力。一是引導(dǎo)科研機(jī)構(gòu)與產(chǎn)業(yè)界積極合作，借鑒國際先進(jìn)科研機(jī)構(gòu)開發(fā)深度學(xué)習(xí)框架的成功經(jīng)驗(yàn)，堅(jiān)持理論研究與應(yīng)用模式結(jié)合，研發(fā)先進(jìn)的、高可用性的深度學(xué)習(xí)框架。二是鼓勵科研資源開放共享，為科研人員提供平臺設(shè)施、數(shù)據(jù)資源和計(jì)算資源，用以訓(xùn)練和改進(jìn)深度學(xué)習(xí)框架。三是建立政產(chǎn)學(xué)研用相結(jié)合的創(chuàng)新型組織，聯(lián)合涉及芯片、軟件、硬件、互聯(lián)網(wǎng)等行業(yè)的企業(yè)及科研機(jī)構(gòu)，打造研用結(jié)合、廣泛參與、合作共贏的生態(tài)系統(tǒng)，壯大產(chǎn)業(yè)整體實(shí)力。四是鼓勵企業(yè)積極探索深度學(xué)習(xí)框架應(yīng)用場景，創(chuàng)新在制造業(yè)、金融、醫(yī)療、農(nóng)業(yè)等行業(yè)的應(yīng)用，在應(yīng)用中加速技術(shù)的迭代創(chuàng)新。

（四） 開放開源，營造創(chuàng)新環(huán)境。開放開源是深度學(xué)習(xí)框架快速發(fā)展的重要推動力，我國應(yīng)遵循開放開源原則，營造良好的深度學(xué)習(xí)框架發(fā)展環(huán)境。一是引導(dǎo)參照國際中立的聯(lián)盟和基金會運(yùn)作模式，整合國內(nèi)科技界、產(chǎn)業(yè)界的研發(fā)力量，聯(lián)合建設(shè)國家主導(dǎo)的開源社區(qū)。二是組織制定開源社區(qū)發(fā)展指南，制定社區(qū)技術(shù)和數(shù)據(jù)共享規(guī)范，指導(dǎo)企業(yè)、高校和開發(fā)者積極參與開源社區(qū)的管理、建設(shè)和維護(hù)。三是建立以深度學(xué)習(xí)框架研發(fā)為核心，深度學(xué)習(xí)芯片、深度學(xué)習(xí)系統(tǒng)、深度學(xué)習(xí)軟硬件平臺研發(fā)布局為支撐的科技創(chuàng)新體系，促進(jìn)創(chuàng)新主體互動，協(xié)同推進(jìn)發(fā)展，完善人工智能核心生態(tài)圈。