谷歌人工智能算法Dropout 申請專利

鄭子亨

2019年6月26日，谷歌對Dropout算法提出的專利申請正式生效，專利有效期為15年，2034年9月3日到期。Dropout算法最早由Hinton于2012年提出，是一種在深度學習、訓練神經(jīng)網(wǎng)絡時被普遍使用的算法，可以有效解決過擬合現(xiàn)象，由于Dropout是人工智能最底層算法，使用范圍十分廣泛，此次專利申請在人工智能領域引起軒然大波。

背景

Dropout算法可以有效解決深度學習中的過擬合問題。Dropout最早于2012年被圖靈獎獲得者Hinton提出，由Alex首次用于卷積網(wǎng)絡的圖像分類。由于神經(jīng)網(wǎng)絡擬合能力過強，在實際的訓練情況中極易出現(xiàn)“過擬合”，“過擬合”情況一旦出現(xiàn)會導致訓練完成后的神經(jīng)網(wǎng)絡模型無法用于訓練集之外的其他數(shù)據(jù)。

Dropout算法的作用便是在神經(jīng)網(wǎng)絡訓練過程中以一定概率丟棄部分神經(jīng)元來防止“過擬合”現(xiàn)象，在深度學習領域中的應用極為普遍，現(xiàn)在主流的卷積、循環(huán)神經(jīng)網(wǎng)絡訓練都會用Dropout技術作為正則化器?；贒ropout的廣泛應用，Dropout的變形例如Targeted Dropout、 Sample Dropout等陸續(xù)被開發(fā)問世。

深度學習基礎算法類專利鳳毛麟角。從全球范圍看，深度學習專利集中在產(chǎn)業(yè)下游。2018年全球深度學習領域新增專利數(shù)量為7429項，雖然專利數(shù)量呈現(xiàn)爆發(fā)式增長，但從分布情況來看主要集中在產(chǎn)業(yè)中下游，即對深度學習神經(jīng)網(wǎng)絡的使用及人工智能應用模式的創(chuàng)新。目前，計算機視覺創(chuàng)新熱度最高，2018年相關專利數(shù)量超過4000個，占比超過全部專利數(shù)量的一半;另外，從專利數(shù)量來看，2016年至2018年谷歌總共發(fā)布專利數(shù)量為1659項，在全球企業(yè)排名中僅次于IBM和微軟，位列第三位，其中以發(fā)明專利居多。谷歌善于通過基礎算法進行生態(tài)構建，持續(xù)地注重基礎算法專利的儲備和布局，在此次對Dropout申請專利之前，谷歌已經(jīng)多次對基礎算法進行專利申請，如自然語言處理中的Word2vec和視頻壓縮中的ANS等。

近年來，谷歌在深度學習基礎算法領域?qū)＠季诌M一步深化，其專利申請相較之前呈明顯增加的趨勢，并在2013年呈現(xiàn)爆發(fā)式增長，其布局重點領域為自動駕駛汽車基礎技術，如環(huán)境感知、操作控制等。谷歌在基礎領域的專利布局使其得以牢牢把控產(chǎn)業(yè)上游“閘口”。

案例介紹

事件描述。2016年8月2日，谷歌對Dropout算法提出了專利申請，該項專利于2019年6月26日正式生效，專利有效期為15年，2034年9月3日到期。在專利申請的文檔主體中，谷歌提供了神經(jīng)網(wǎng)絡的結構圖和訓練流程圖，并介紹了專利申請的背景，對專利進行了簡要概括，提供了專利分類，并描述了專利的實施原理。谷歌在Dropout專利申請成功后還沒有后續(xù)動作，該專利目前仍然處于免費狀態(tài)，但是谷歌對于業(yè)界的討論并沒有給出正面回應，深度學習開發(fā)者、AI初創(chuàng)企業(yè)和AI科研機構等都仍舊面臨谷歌對于Dropout算法進行收費或者限制的風險。

后續(xù)發(fā)展。業(yè)界對谷歌申請Dropout專利主要存在兩種意見。樂觀者認為此次不是谷歌第一次進行基礎算法的專利申請，并且谷歌沒有對算法進行限制或者收費的先例，此次谷歌針對Dropout申請專利有較大概率是為了防止在進行技術開發(fā)中被其他公司起訴，是一種自我保護行為，谷歌不會對Dropout使用者進行限制。悲觀者認為谷歌對深度學習底層算法進行專利申請，握住了整個深度學習領域的命脈，所有Dropout算法使用者都面臨“卡脖子”的風險。

簡評

我國深度學習領域以企業(yè)為主體的專利數(shù)量占比較低。近幾年，我國深度學習專利增長迅速，但是以企業(yè)為主體的專利數(shù)量較少，企業(yè)創(chuàng)新主體的地位沒有得到充分體現(xiàn)。從總體構成上看，我國深度學習領域的研發(fā)力量集中于科研院所，而美國主要集中于企業(yè)。2018 年，美國以企業(yè)為申請主體的新增專利數(shù)占到其專利總申請數(shù)量的 81.5%，而我國此項比重僅為 40.8%。科研院所在深度學習領域研發(fā)創(chuàng)新中戲份較重體現(xiàn)出一定弊端，一是各個院所之間相對獨立，并且科研院所研發(fā)經(jīng)費相較大型企業(yè)略顯窘困，導致研究力量比較分散，研發(fā)方向不夠聚焦，難以真正解決基礎領域重點難點問題。二是科研院所與產(chǎn)業(yè)、市場的應用需求銜接不足，研發(fā)創(chuàng)新成果難以實現(xiàn)真正的應用落地，研發(fā)到應用之間存在斷層。

我國應當高度關注人工智能基礎算法專利布局。我國人工智能代表企業(yè)如百度、商湯、科大訊飛等，聚焦語音識別、圖像識別、端到端自動駕駛系統(tǒng)、圖像分割神經(jīng)網(wǎng)絡、視線追蹤等領域開發(fā)應用產(chǎn)品，但是與美國科技巨頭如 IBM、谷歌、微軟等相比，我國在人工智能基礎算法布局處于空白，在未來發(fā)展中略顯乏力。此次谷歌對 Dropout 技術申請專利應當引起行業(yè)管理部門重視，鼓勵企業(yè)在新興領域原始創(chuàng)新上加大資金、人才等投入力度，在底層架構、基礎理論等方面勇于做先行者和開拓者。同時相關企業(yè)應當增強知識產(chǎn)權意識，通過專利布局對未來新興領域的產(chǎn)業(yè)生態(tài)構建進行超前謀劃，積極在基礎算法領域進行專利布局，打好行業(yè)發(fā)展根基。