胡巍巍

剛剛過去的 2020 年 ECCV（歐洲計算機視覺國際會議），有一項 AI“隱身衣”技術引人矚目。該技術來自本次會議收錄的論文《光流 - 邊緣引導的視頻補全》。ECCV 是計算機視覺三大會議之一，每兩年舉辦一次，論文錄取率僅 27%。該論文第一作者高諶是一位九零后北京小伙，目前在弗吉尼亞理工大學計算機工程專業(yè)就讀博士三年級，師從華人教授黃嘉斌。

該研究成果主要是開發(fā)出一項 AI 視頻處理算法，其能實現(xiàn)諸多 “炫彩” 成果：比如正在行駛的車輛，突然人間蒸發(fā);正在坐秋千的小孩，突然只剩下秋千架;正在騎馬的運動員，跨過欄桿人和馬都不見。這不是變魔術，而是本次 AI 視頻處理算法的功能之一，它依托一種名為光流引導（Optical Flow）的方法。

據(jù)了解，當前視頻處理主要面臨幾大難題：補全后的光流難以做到分段光滑，難以保證時序連續(xù)型，難以在高分辨率下實現(xiàn)修復，更難以降低視頻對計算的開銷。基于此，高諶提出一種以光流邊緣為引導的光流補全技術，再利用補全的光流來完成視頻補全的算法。相比此前方法，該算法可保持運動邊界的清晰度。

研究起源于在 Facebook 的實習

本次研究開始于 2019 年暑假，當時高諶在 臉書實習，他跟導師黃嘉斌討論后決定了該方向。在查考相關文獻、并了解該領域的現(xiàn)有問題后，他開始著手算法開發(fā)。該研究的主要原理——光流法是視域中物體運動檢測的概念，其用于描述運動所造成的觀測目標、表面或邊緣的運動，主要應用于計算機視覺和影像處理等。使用光流法，可尋到不同幀之間的關系，并通過在不同幀之間傳播信息來補全視頻。

本次研究主要包含3個步驟：光流完成、內容傳播和融合。第一步是光流完成。具體操作時，要計算相鄰幀之間的正向光流和反向光流、以及一組非相鄰幀 （Non-local） 的正向光流和反向光流。由于視頻可能出現(xiàn)破損，計算出的光流也需要補全。另外，因為光流是分段光滑的，是否能得到一個銳利光流邊緣，將直接影響最后的光流補全結果。最終，高諶選擇利用神經網絡來補全光流邊緣，再以光流邊緣為引導補全光流。第二步是內容傳播。這時要按照光流的軌跡，為每個丟失的像素找到一組候選像素。順著正向光流和反向光流，最多可找到兩個候選點。而在非局部光流的幫助下，通過檢查三個額外的幀，可以獲得額外的三個候選幀。高諶表示，對于每個候選幀，都要估計一個置信分數(shù)以及一個二進制有效性指標。第三步是融合。使用置信加權平均值，將每個缺失像素的候選像素與至少一個有效候選像素融合。并通過梯度域的操作方式，可避免明顯的拼接裂縫，從而生成無縫的結果。假如一個像素沒有任何候選像素，就意味著它無法通過時間傳播來填充。這時，高諶選擇一個關鍵幀，并使用單個圖像補全技術來填充它。

可實現(xiàn)無痕補視頻

本次算法，相比同類算法主要有三大優(yōu)點：第一，此前的補全視頻中，用戶可明顯看出視頻 “補過”，“補丁” 邊界處非常明顯。如下圖所示，其結果往往帶有痕跡，顯得很不自然。而使用本次算法得到的補全視頻，其補全區(qū)域是無痕的。第二，此前用算法給視頻補幀時，只能補到前一幀和后一幀，如果找不到前一幀或后一幀的信息，就會無法補全。而本次算法，不僅能補全前一幀和后一幀，還能跳著補幀。比如，直接跳到第一幀去借用信息，或者直接跳到最后一幀去借信息，這樣就不局限于上一幀或下一幀。另外，此前方法在處理有周期性運動物體出現(xiàn)的視頻時往往比較困難，針對該難題高諶通過引入非局部 （ Non-local ） 信息，來提升視頻修復的準確度。第三，以前的算法補出來的光流不是很平滑，往往帶有明顯的接縫。而該團隊的算法主要基于光流邊緣進行補全，最終可得到分段光滑的光流。以上三個原因，讓本次研究的結果，比以前方法更好。

此外，由于此算法不局限于 GPU 內存，所以可處理最高 2K 分辨率的視頻。這種全自動的算法，可告別之前手動一幀幀地刪除視頻內容。眾所周知，機器學習算法的開發(fā)過程費時費力，開發(fā)成本高。高諶認為，他們的新算法以完全自動化的流程取代手工，會達到更低的成本。事實上，機器學習相當于優(yōu)化問題的過程，優(yōu)化過程中需要很多 CPU 和 GPU 資源，比如在本次研究中臉書就提供了大量 GPU。所以，算法開發(fā)成本非常高，而算法一旦開發(fā)出來，就可以一勞永逸地進行部署，不管多少視頻都能完全自動化處理。并且，對于一般視頻剪輯者來說，即便沒有計算機知識，也能使用該技術。

已經開源，可供廠商和個人使用

在肉眼觀感上，依托該算法修復的視頻，已能做到無痕抹除水印、無痕補全畫面殘缺，在目標識別和影視后期（視頻編輯）中，具有很大應用前景。

除用于視頻編輯外，Vlog 創(chuàng)作者們可使用該算法，營造一個人突然消失的場景;普通用戶則可完成 “美圖秀秀” 式的視頻處理，比如假期旅游拍攝視頻時，可能你本來想拍景點，但由于游客太多擋住了景點，使用該算法就能把游客刪掉，最終只保留景點本身的視頻。雖然這一過程和刪除圖片中的內容很相似，但這里是刪除同一幀視頻中的內容，這也是相比照片處理的難度所在。

再就是針對部分內容缺失的老舊視頻，該算法能修復出丟失或破壞的地方。以幾十年前的膠片視頻為例，假如視頻左上角被水淹過，此處就是完全一片黑色，既無顏色也無信息，而使用本次算法，則可補全已缺失部分。具體操作時，如果某一幀有缺失，就得看能否從視頻中的其他幀借到有用信息，也就是 “補丁” 內容不是憑空生成，而是本身就在視頻里。這樣補出來的視頻在播放時，就會非常流暢。

還有一種可能，整個視頻都找不到可借用部分，那就只能求助另一個算法，這種方法叫單幀補全，也就是說從其他幀借不到信息，就只能用一個網絡來把這一幀缺失的信息補全。這一幀補全的信息，還可以借給其他幀，即先從其他人那借，借不過來就自己生成一些，相當于雞生蛋蛋生雞，不斷循環(huán)借出去借回來的過程，直到最后可讓整個視頻都補全，且播放非常流暢。當前的局限在于，算法無法理解視頻的內容，它只能借助光流找到信息并把信息補全，這也是當前人類 ”摳圖師”的優(yōu)勢所在。

本算法已經在 GitHub 開源，任何人都可以免費使用。高諶表示，歡迎廠商或其他研究人員把該項目的源代碼合并到軟件中。由于已經開源，只要你對視頻編輯感興趣，就能直接用本次研究結果來做創(chuàng)造性作品。在 DAVIS 數(shù)據(jù)集上，高諶將該成果與已有成果進行對比，在峰值信噪比（PSNR，Peak Signal to Noise Ratio，一種評價圖像的客觀標準）、結構相似性（SSIM，Structural SIMilarity，一種衡量兩幅圖像相似度的指標，LPIPS）上，均優(yōu)于其他成果。不過，高諶在論文中坦言：“我們的方法運行速度為 0.12 fps，（速度）與其他基于光流的方法相當...... 我們承認運行時間稍慢是個弱點?！睂Υ?，他表示該成果已經開源，因此非常期待圈內人士對其進行優(yōu)化。

今年 28 歲的高諶，本科時就讀于俄勒岡州立大學，主修電子與計算機工程;碩士來到密歇根大學安娜堡分校，就讀于電氣與計算機工程專業(yè);博士則就讀于弗吉尼亞理工大學計算機工程專業(yè)，師從華人教授 Jia-Bin Huang。截止目前，已發(fā)表 7 篇被 ECCV、NeurIPS 等頂會錄用的論文。2019 年夏季，高諶在 Facebook 計算攝影組擔任研究實習生。2020 年夏季，則在谷歌安卓相機算法團隊，擔任研究實習生。談及他未來的計劃，他表示仍然想去企業(yè)工作。

（摘自美《深科技》）（編輯/費勒萌）