超限學習機和深度學習的匯聚

超限學習機有三個方面的核心特征，分別是高精準度、盡可能少的人工干預，以及秒級、毫秒級甚至微秒級的實時學習。

——新加坡南洋理工大學終身正教授黃廣斌

“人工智能”一詞最初是在1956年被提出，距今已有60多年。過去，我本人很難理解中國人把計算機稱作電腦這件事。我當時就想為什么要叫電腦這個詞呢？計算機又沒有思維，但在人工智能高速發(fā)展的今天看來，“電腦”一詞才是最形象的，所以中國人很有遠見。

當數(shù)據(jù)在產(chǎn)業(yè)中應用產(chǎn)生價值，數(shù)據(jù)就會變得像石油一樣珍貴。人工智能時代的到來是不可逆轉的，在這個時候誰也不能離開人工智能，誰也不能把數(shù)據(jù)扔掉。高效的計算環(huán)境、高效的學習算法和豐富動態(tài)的數(shù)據(jù)是機器學習時代的三個必要條件，其實在十年前我們就已經(jīng)具備了高效的計算環(huán)境和高效的學習算法，而最近五六年豐富動態(tài)的數(shù)據(jù)才顯得尤其重要。

相比于“農(nóng)業(yè)革命”和“工業(yè)革命”，“智能革命”影響更大、更深遠，而現(xiàn)在智能革命猶如小荷才露尖尖角，好戲還在后面?，F(xiàn)今，人工智能的形態(tài)正在發(fā)生著變化，人工智能正逐步深入到各行各業(yè)，從云端到生產(chǎn)線，從生產(chǎn)線到設備，從設備到傳感器等。其實超限學習機不是算法，而是一個體系，它包含了理論和網(wǎng)絡結構。超限學習機有三個方面的核心特征，分別是高精準度、盡可能少的人工干預，以及秒級、毫秒級甚至微秒級的實時學習。

某一天，我的腦袋里突然冒出來這樣的問題：自從現(xiàn)代人類祖先甚至更早（如果包括其他生物）以來，數(shù)百億甚至數(shù)千億人的大腦在過去數(shù)百萬年中是否有共同的基本學習算法？是不是可以用這個基本的學習算法來解釋具有超低頻率神經(jīng)元的大腦可以具有更快的學習和推理能力的原因、生物大腦彈性的成因，以及遺傳和進化等方面的問題？通過對這些問題的思考，我想到了ELM的算法。

ELM算法形成了以壓縮、特征學習、稀疏編碼、聚類、回歸和分類為主線的優(yōu)化方法基本構架，統(tǒng)一了PCA、NMF和SVM，并首次提出SVM次優(yōu)解理論。我們始終認為學習基本要素可以用有一個網(wǎng)絡來描述呈現(xiàn)，可以統(tǒng)一為一個優(yōu)化方式。上述說明的是ELM算法中的單隱層網(wǎng)絡，多層網(wǎng)絡呈現(xiàn)出隨機隱層神經(jīng)元和隨機布線兩種特征。ELM算法正好是通過對這兩種特征的互補而形成的。

超限學習機相較于深度學習而言，在數(shù)據(jù)小或特征復雜度不高的終端上表現(xiàn)更為優(yōu)異，深度學習在這種情況下能力稍顯不足，不僅如此，ELM算法在數(shù)據(jù)大而復雜的云端也有不弱的表現(xiàn)。美國太空總署NASA將ELM列為其故障診斷開源工具包中的主要算法之一，這是因為ELM比傳統(tǒng)飛機故障診斷預測算法快幾百倍。

除了理論和應用之外，我們更感興趣的是ELM的生物學驗證。過去幾年，在Nature發(fā)表的一些文章表明一些生物的神經(jīng)元在學習中處于隨機而未被進行調整的狀態(tài)?；谶@些生物學證據(jù)，人造生物神經(jīng)元震撼出世，IBM研究出有幾百萬個隨機神經(jīng)元的神經(jīng)形態(tài)芯片，在ImageNet等數(shù)據(jù)集上的結果和深度學習可以媲美。我們也得出了ELM的新學習理論：學習可以在不迭代調整（人工）隱層節(jié)點（或生物神經(jīng)元）的情況下進行。

馮·諾依曼造就了美妙的計算機，卻也留下了一個不解之謎。為什么包含許多隨機連接的不完美（生物）神經(jīng)網(wǎng)絡可以可靠地執(zhí)行那些可能由理想接線圖表示的功能？

現(xiàn)在ELM算法可以較好地闡釋上述問題。從ELM理論的角度來看，整個多層網(wǎng)絡都是結構化和有序的，但它們在特定的層或神經(jīng)元切片中可能看似“混亂”和“非結構化”。全局體系結構和局部隨機隱層神經(jīng)元的共存恰好具有壓縮、特征學習、聚類、回歸和分類的基本學習能力，也就實現(xiàn)了類似自然界廣泛存在的局部無序、總體有序的狀態(tài)。

云端智能與本地智能的有機融合就形成了完美的ELM。深度學習轉折點即將到來，將來的趨勢很有趣，將會越來越趨向于自然界局部無序，總體有序的狀況。比如納米機器人植入到人類身體里，不需要人為地做任何調整，就能融入我們身體的內環(huán)境，輔助醫(yī)療。

關于計算機的未來，我有兩點感受：第一，我認為大數(shù)據(jù)不一定等于人工智能，但大數(shù)據(jù)一定要靠人工智能處理。第二，人工智能并不能簡單概括為軟件系統(tǒng)和硬件系統(tǒng)。人工智能方案是很復雜的迭代過程，需要研究人工智能算法，并根據(jù)應用場景進行仿真、驗證，再進一步去調整算法。另外，邊緣計算不等于邊緣智能，邊緣智能本身就有數(shù)據(jù)采集功能、數(shù)據(jù)訓練功能和測試功能。我們不必糾結于機器超過人，還是人超過機器的爭論。我認為人工智能的發(fā)展以15年為一個周期，2030年很有可能迎來人工智能發(fā)展的一個高點，現(xiàn)在國外正在積極發(fā)展后深度學習算法的研究，這應該給我們帶來一些啟示。

所以為了占領人工智能的高地，我們現(xiàn)在必須有自己的算法、自己的生態(tài)、自己潛在的發(fā)展道路，機遇并不等于彎道超車，必須秉持踏實的鉆研精神、工匠精神，為人工智能的發(fā)展建立良好的人文條件。智能革命將會給很多方面帶來影響，例如，驅動數(shù)學和工程應用的發(fā)展，促使智能從云端走向普物，新的經(jīng)濟模式將會出現(xiàn)，智能拐點就要到來。

（根據(jù)演講內容整理，未經(jīng)本人審核）