“深度學習”與工匠技藝

謝耘

隨著其他無監(jiān)督學習及生成學習算法的發(fā)展，深度信念網(wǎng)絡已較少被使用，從某種程度上來說它成為了“深度學習”的“先烈”。

今天，大數(shù)據(jù)、人工智能等概念由于商業(yè)炒作等多方面的原因，已經(jīng)變得模糊不清。許多具體的技術也被罩上了奪目的光環(huán)，或有意被賦予了能夠引發(fā)奇妙想象的名字，如“深度學習”。

任何事物只有放在它所存在的環(huán)境中，才能準確理解它的本質(zhì)。下面我們從科學到應用的這個鏈條上，來看一下信息技術產(chǎn)業(yè)中的不同要素各自處于什么樣的位置。為了不陷入不必要的細節(jié)而又能揭示本質(zhì)，我們將這個鏈條分為五個環(huán)節(jié)：科學原理、基礎共性技術、具體應用技術、基礎系統(tǒng)原理、技術及具體應用系統(tǒng)。

機器學習無法獨立

科學原理是對基本運動規(guī)律的認識總結，而技術是對規(guī)律的運用。所以新的科學原理的提出，常常會對社會產(chǎn)生深刻而廣泛的影響。正因為科學原理的意義如此之大，所以“科學”這個詞也常常被盜用。許多技術性的產(chǎn)出，也被戴上了“科學”這個帽子。在計算機領域，圖靈機與計算復雜性理論基本上屬于科學原理這個范疇。也正因為如此，計算機學科才被冠以了“科學”的稱謂，雖然對此并非沒有異議。

從根本上看，人工智能熱潮（在20世紀90年代）的冷卻，是因為人們在人工智能領域經(jīng)過了幾十年的努力，沒有能夠理解一般意義上的智能過程的本質(zhì)，因而也就沒有能夠取得科學意義上的原理性突破，在理論上抽象出類似數(shù)字基本計算那樣的基本智能操作，用以支撐更為高級復雜的智能過程。

人工智能是一種現(xiàn)代方法

在一個產(chǎn)業(yè)中，會有一些基礎性共性技術，有時也被稱為核心技術，它們支撐著整個產(chǎn)業(yè)。在信息技術產(chǎn)業(yè)中，操作系統(tǒng)、數(shù)據(jù)庫、集成電路等就屬于這個層面的技術。這些技術的進步，對整個產(chǎn)業(yè)的影響也是全局性的。正是集成電路技術的進步，使得計算機擁有了“暴力計算”能力，促成了2010年前后整個信息技術產(chǎn)業(yè)發(fā)生了歷史性的轉(zhuǎn)折。人工智能領域不僅沒有科學原理層面的成果，而且至今也沒有能夠產(chǎn)生支撐一個產(chǎn)業(yè)的基礎共性技術，不論我們給那些技術或方法起個什么樣的名字。

在基礎共性技術之上，還有面向不同問題的具體應用技術去解決不同類型的問題。當人們意識到我們沒有能力用一些普適的基本邏輯化規(guī)則或機制去有效地解決各種“智能問題”時，人工智能的研究便深入到了各種具體的問題之中。

針對不同類型的問題，發(fā)展出了花樣繁多的解決方法，也取得了很大的進展。也正因為如此，人工智能目前更多地是被當成了一些具體的應用工具方法，融入到不同類型的應用之中，以自己具體的技術性名稱出現(xiàn)，默默無聞地發(fā)揮著自己的作用。

這些年關于人工智能的一本經(jīng)典的教科書的名字是《人工智能一種現(xiàn)代方法》，它的副標題“A Modern Approach”就是指試圖采用“智能體”（Agent）的概念將人工智能在各個不同領域中的方法整合到一個統(tǒng)一的框架之中。其實，用智能體這個概念整合與人工智能相關的技術方法，也是沒有辦法的辦法，顯示出了這個領域的一種無奈的現(xiàn)實：只有實用的一些具體技術方法，缺少科學原理或基礎共性技術的支撐，也沒有基礎性系統(tǒng)級的有效理論。這些年被熱捧的“深度學習”，也是具體技術這個層面的技術。

深度學習

大家現(xiàn)在把“深度學習”的功勞主要歸功于Geoffrey Hinton（1947—，認知心理與計算機科學家，任職多倫多大學）。他從事人工神經(jīng)網(wǎng)絡研究30多年，不論潮起潮落，矢志不渝。在苦熬了30多年后的2004年，他領導的團隊得到了加拿大高等研究院（CIFAR）為期10年共1000萬加元的支持。據(jù)說這是當年全球唯一對人工神經(jīng)網(wǎng)絡研究的大規(guī)模的資金支持。當時參與這個計劃的主要成員還有：蒙特利爾大學的YoshuaBengio，紐約大學的YannLeCun（楊立昆，Hinton當年的博士后），斯坦福大學的Andrew Ng（吳恩達）等學者。

僅僅用“反傳”（BP）算法來訓練人工神經(jīng)網(wǎng)絡，當網(wǎng)絡的隱含層多于一層以上后，訓練效果明顯變差。所以后來人工神經(jīng)網(wǎng)絡只能用來解決一些比較簡單的非線性分類性質(zhì)的問題。YoshuaBengio說：“從2005年開始，由CIFAR支持的一些工作不斷取得突破。2006年時，我們找到了訓練深層網(wǎng)絡的算法，所用到的技巧就是逐層訓練”。所以“深度學習”是指用多層（目前的應用常常達到幾十到上百層）人工神經(jīng)網(wǎng)絡來對數(shù)據(jù)（訓練樣本）進行學習的方法。在這些算法中，BP算法（或者說梯度下降算法）依然扮演著基礎性的角色，但是不同的算法融入了不同的其他方法與技巧，用于達到不同的效果。

之所以能夠訓練“深度”網(wǎng)絡，不僅僅是算法與技巧有了改進，還要仰仗計算機的“暴力計算”能力才行。沒有“暴力計算”能力，如此“深度”的學習是完全不可能的，甚至都不會有人有興趣去研究那些“奇技淫巧”般的算法技巧。

“深度學習”中使用幾十甚至上百層網(wǎng)絡的做法，是否讓我們想起了在之前提到的計算機越來越依靠“粗暴”的方法去解決問題？但是，如果考慮到人腦的神經(jīng)元是以百億來計算的，這種“粗暴”也并非是沒有道理的“野蠻”。

Hinton與其他學者于2006年分別在《Neural Computation》與《Science》上聯(lián)合發(fā)表了“A FastLearning Algorithm for Deep Belief Nets”與“Reducing the Dimentionality of Data with Neural Networks”的論文，它們被認為是“深度學習”崛起的先聲。但是讓他們的工作真正產(chǎn)生影響力，讓人工智能“滿血復活”、“深度學習”名揚天下的并非是這些論文，而是后來Hinton帶領學生參加了2012年的ImageNet Large Scale Visaul Recognition Challenge大賽。在此之前，參賽者的最好成績是圖像識別錯誤率為25.7%。

2012年Hinton與他兩個研究生AlexKrizhevsky、lllyaSutskever使用了一個有八層結構、65萬的神經(jīng)元，6000萬個可調(diào)參數(shù)的卷積神經(jīng)網(wǎng)絡，將識別錯誤率降到了15.3%，第二名的錯誤率是26.2%。當時其他參賽團隊使用的都是非神經(jīng)網(wǎng)絡的、從科學的角度來看更加嚴謹完備的支持向量機（SVM）技術。用YoshuaBengio的話來說，這次突破是基于將“以前存在的各種零碎的方法整合在了一起”。

2012年10月23日因ImageNet大賽“深度學習”一鳴驚人，人工智能“死而復生”。這與計算機歷史性地獲得了“暴力計算”能力，由此開啟智能化時代的時間點高度吻合。這是人工神經(jīng)網(wǎng)絡方法20多年來在圖像識別領域第一次以無可置疑的優(yōu)勢超越了其它的技術方法。

隨后“深度學習”各種改進技巧不斷出現(xiàn)，2015年，中國的微軟亞洲研究院團隊在這個比賽中使用了152層的網(wǎng)絡，引入了“深度殘余學習”的技巧（由于他們的網(wǎng)絡深度太大，為了避免有效信息在逐層處理中損失過大，他們做了一些神經(jīng)元跨層級的連接），將錯誤率降到了3.57%，首次低于自然人的錯誤率。

“深度學習”這個概念并沒有嚴格的定義。通常規(guī)模“足夠大”、層數(shù)“足夠多”的神經(jīng)網(wǎng)絡模型，都被認為是“深度學習”網(wǎng)絡。它包括了深度信念網(wǎng)絡、卷積神經(jīng)網(wǎng)絡、循環(huán)與遞歸網(wǎng)絡等多種不同的具體網(wǎng)絡模型與相應的算法。

深度信念網(wǎng)絡

深度信念網(wǎng)絡（Deep Belief Networks，DBN）是第一批成功應用深度學習架構訓練模型之一，它也因Hinton在2006年的相關論文而成為了深度學習崛起的代表。Hinton用它向人們展示了我們可以通過逐層設定目標、逐層訓練而構造出一個深層的神經(jīng)網(wǎng)絡，并且用它來有效地解決一些問題。DBN是由多個受限玻爾茲曼機（RBM）相鄰彼此重疊一層級聯(lián)而成為一個“深度”網(wǎng)絡。每一個RBM采用無監(jiān)督學習。與卷積網(wǎng)絡層間部分連接不同，深度信念網(wǎng)絡是層間全連接的。一個訓練好的DBN可以作為一個概率生成網(wǎng)絡來使用，也可以用來為分類網(wǎng)絡做參數(shù)的初始化優(yōu)化設置，有效改善分類網(wǎng)絡的學習效果。隨著其它無監(jiān)督學習及生成學習算法的發(fā)展，深度信念網(wǎng)絡已經(jīng)較少被使用了，在某種程度上它成為了“深度學習”的“先烈”。

卷積網(wǎng)絡（Convolutional Neural Networks，CNN）是第一個在解決實際問題中有出色表現(xiàn)的深度學習神經(jīng)網(wǎng)絡模型。將卷積運算引入到人工神經(jīng)網(wǎng)絡中來在上個世紀80年代就出現(xiàn)了，這種結構是受大腦的視覺神經(jīng)系統(tǒng)結構過程的啟發(fā)而來。它是一種分層前饋、以有監(jiān)督學習為主的神經(jīng)網(wǎng)絡。這種網(wǎng)絡中主要采用兩個并不復雜的數(shù)學方法，一個是用輸入比較少的、可以提取不同局部特征的“核函數(shù)”對輸入做離散卷積運算（從網(wǎng)絡結構的視角看，實際上就是通過兩層神經(jīng)元之間的網(wǎng)絡連接的設計實現(xiàn)的），這也是這種模型名稱的來源；另外一個技巧就是“池化”。

它與卷積運算有類似的地方，也是對較少的局部神經(jīng)元的輸入做相應的處理形成輸出。這兩種方法都是采取某種處理方式對局部數(shù)據(jù)做處理，然后在整個輸入數(shù)據(jù)集上重復同樣的操作計算。

除了處理算法的技術特征外，它們都能夠大幅降低深度學習的運算量。卷積網(wǎng)絡在許多領域都有出色的表現(xiàn)，其最成功的應用領域就是在二維圖像的處理上。這個結果很正常，因為它就是受啟發(fā)于大腦的視覺過程而出現(xiàn)的。

循環(huán)神經(jīng)網(wǎng)絡（Recurrent Neural Networks，RNN）也是多層的神經(jīng)網(wǎng)絡，但是它的部分神經(jīng)元具有狀態(tài)記憶存儲，因而是一種“動力學”系統(tǒng)，處理起來要比無記憶的靜態(tài)網(wǎng)絡復雜很多。循環(huán)神經(jīng)網(wǎng)絡也是在上個世紀80年代就出現(xiàn)了。它的學習也是以有監(jiān)督為主，用于對時空動態(tài)序列型數(shù)據(jù)做處理，典型的應用就是做語音數(shù)據(jù)處理。相比之下，卷積神經(jīng)網(wǎng)絡則是一種無狀態(tài)記憶的靜態(tài)網(wǎng)絡。

深度學習中不同的模型方法并不是互斥的，在實際應用中，不同的模型、算法與技巧，也包括那些非深度學習的方法技巧，如支持向量機，常常根據(jù)問題的特點被整合在一起來解決特定的問題。

不論是哪一類“深度學習”網(wǎng)絡，實際上都是以計算機的“暴力”計算能力為基礎，用大規(guī)模的、含有多個隱含層、高達千萬以上的可調(diào)參數(shù)的非線性人工神經(jīng)網(wǎng)絡，使用特定的有監(jiān)督或無監(jiān)督的“學習/訓練”算法或它們的組合，通過對大量樣本的統(tǒng)計處理，實現(xiàn)對這些參數(shù)的調(diào)整，從而通過非線性變換完成對輸入數(shù)據(jù)特征的提取、信息表達的變換以及后續(xù)的分類、預測等功能。

它們是解決特定類型問題的一些具體的方法與技巧，而不是具有像人那樣的一般意義上的學習的能力，盡管“深度學習”這個名稱確實引發(fā)了許多不了解這個技術的人這方面的想象?！吧疃葘W習”這個詞中的“深”指的是使用的神經(jīng)網(wǎng)絡的層級很多，并非是一般學習意義上的“深”。

其實，信息技術領域內(nèi)的絕大部分技術，包括與大數(shù)據(jù)分析相關的方法/技術，基本都屬于技術體系中的這個解決具體問題層面的技術，而且它們也都屬于輔助與延伸智能性質(zhì)的技術。所以，大數(shù)據(jù)分析、人工智能方法與其它的技術彼此的界限日益模糊。

新一代工匠技藝主導科學

信息技術中這些解決具體問題的“智能”性實用技術，包括“深度學習”（人工神經(jīng)網(wǎng)絡），常常是有強烈實驗性成分的方法技巧，在應用于一個新的具體問題之前，我們無法確定它是否能夠有效地解決這個問題，或者能夠?qū)栴}解決到什么程度。

正因為如此，以深度學習為例，在《深度學習》這本被認為是“深度學習”領域奠基性的經(jīng)典教材中，作者為了闡述深度學習的這種實驗性特征，專門在第二部分設置第11章來討論這個問題，它的題目取為“實踐方法論”。在這一章的開頭，作者寫了這樣一段話：“要成功地使用深度學習技術，僅僅知道存在哪些算法和解釋它們?yōu)楹斡行У脑硎遣粔虻摹?/p>

一個優(yōu)秀的機器學習實踐者還需要知道如何針對具體應用挑選一個合適的算法以及如何監(jiān)控，并根據(jù)實驗反饋改進機器學習系統(tǒng)。在機器學習系統(tǒng)的日常開發(fā)中，實踐者需要決定是否收集更多的數(shù)據(jù)、增加或減少模型容量、添加或刪除正則化項、改進模型的優(yōu)化、改進模型的近似推斷或調(diào)整模型的軟件實現(xiàn)。嘗試這些操作都需要大量時間，因此確定正確的做法而不盲目猜測尤為重要。

作為一個具體的例子，我們在前面提到過“深度殘余學習”的技巧。它是對嚴格分層網(wǎng)絡連接的一種局部改動，利用一些跨層級的連接來保證“有用”的信息不會在“深度”網(wǎng)絡中過早地衰減而影響網(wǎng)絡的性能。但是這種連接如何設置才更合理，則沒有精確嚴格的普適性理論來支撐，主要靠自己的經(jīng)驗直覺去嘗試。

Gary Marcus在2018年1月2日發(fā)表的引起很大爭議的文章《Deep Learning： A Critical Appraisal》中提出了深度學習的十個局限，其中第十個“Deep learning thus far is difficult to engineer with”指的也是這個問題—“深度學習”還只是一個就事論事的方法，沒有辦法作為一個標準普適的有效的工程方法被用來去有效地解決不同的問題。換句話來說，以深度學習為代表的人工智能方法，更類似于傳統(tǒng)的工匠技藝，而不是現(xiàn)代工程師使用的工程化普適方法。

人工智能的這種狀態(tài)多少有點像傳統(tǒng)領域在現(xiàn)代科學出現(xiàn)以前，人們通過經(jīng)驗摸索，也能夠設計制造出很多不同類型的精巧工具來解決各種具體的問題的狀況。而具體的實用技術再豐富精妙，也未必能夠產(chǎn)生出更深一層的原理性、普適性的成果。中國歷史上無數(shù)的能工巧匠都沒有能夠讓中國趕上現(xiàn)代科技發(fā)展的潮流，就說明了這個問題。

在2018年初，Gary Marcus與YannLeCun等人就“深度學習”與“人工智能”技術在網(wǎng)上發(fā)生了激烈的公開爭論。不過這也正常。超級牛人愛因斯坦至死對量子力學的看法也與波爾向左。但是不論怎么爭論，人工智能至今都無法在現(xiàn)代科技體系中成為一個獨立的學科是一個基本的事實。從這個事實出發(fā)去理解一些問題可能不會離真實情況相去太遠。

當然我們完全可以大開腦洞，反過來問一個問題：“人工智能需要成為一個傳統(tǒng)科學意義上的學科嗎？”歷史的跨越，常常發(fā)生在基本概念的顛覆之上。也許計算機的“暴力計算”正在推動科學技術的內(nèi)涵與外延發(fā)生著我們尚未察覺的質(zhì)變。

或許，人類在科技領域的發(fā)展，走過了從工匠技藝到科學理論與工程方法的飛躍之后，在信息技術這個輔助與延伸智能工具的推動下，會形成一個否定之否定，進入到一個在科學技術基礎上由新一代工匠技藝主導的“高科技大眾化”的“發(fā)展新階段”？