張一迪

近日，視頻創(chuàng)作者“大谷”發(fā)布的老北京影像爆紅網(wǎng)絡(luò)。大谷原名胡文谷，目前在紐約做獨(dú)立游戲開發(fā)師，也是一名B站UP主。他在B站上發(fā)布的視頻多是科普類走向，近年人工智能（AI）技術(shù)逐漸走人公眾視野，大谷也開始了人工智能方面的創(chuàng)作。大谷近期發(fā)布的老北京影像則是通過AI技術(shù)修復(fù)過的“新老片”。

據(jù)了解，“新老片”中使用了補(bǔ)幀技術(shù)、上色技術(shù)、分辨率擴(kuò)增技術(shù)這三種AI技術(shù)。實(shí)現(xiàn)了畫面流暢度的提高、色彩還原以及清晰度的提升。

其實(shí)，在國(guó)內(nèi)，還有很多像大谷一樣致力AI影像修復(fù)的專業(yè)團(tuán)隊(duì)，主要從事膠片老電影的修復(fù)工作。傳統(tǒng)膠片電影修復(fù)單純依靠人工，后來引入了數(shù)字化修復(fù)手段，如今AI技術(shù)也走人了影像修復(fù)的領(lǐng)域，那么AI能夠起到怎樣的作用？

“搶救”老片

大谷在發(fā)布的老北京修復(fù)影像中，運(yùn)用了三款A(yù)I影像修復(fù)軟件，DAIN、DeOldify和ESRGAN。

DAIN的全稱是Depth-AwareVideoFrameInterpolation，即深度感知視頻幀插值。據(jù)了解，這是一款開源視頻補(bǔ)幀軟件，出自上海交大某博士生之手?？梢詫?duì)老電影丟幀畫面進(jìn)行修補(bǔ)，讓畫面看起來更柔順。

DeOldify是一款深度學(xué)習(xí)項(xiàng)目，用于著色修復(fù)舊圖和視頻。開發(fā)者采用了稱作“NoGAN"的新型高效圖像到圖像的GAN訓(xùn)練方法，可以增強(qiáng)視頻著色的穩(wěn)定性。

ESRGAN前身為SRGAN。SRGAN是由香港中文大學(xué)多媒體實(shí)驗(yàn)室主導(dǎo)開發(fā)，可以在單一圖像超分辨率中，生成逼真的紋理，不過放大后的細(xì)節(jié)常常帶有偽影。

大谷修復(fù)的老北京影像源自人民日?qǐng)?bào)四年前發(fā)布的資料影片，是由加拿大攝影師在1920-1929年間拍攝的。全片僅10分鐘左右，卻花費(fèi)了大谷7天的時(shí)間。

也是這短短10分鐘的片段，且是完全沒有旁白的觀察型紀(jì)錄片，在B站上竟一舉收獲了超過189萬次的播放量，引起了文化歷史與技術(shù)愛好者的熱議。

對(duì)于大谷來說，用AI修復(fù)老片是一次興趣使然的技術(shù)挑戰(zhàn)。對(duì)于國(guó)內(nèi)的專業(yè)團(tuán)隊(duì)來說，AI可以有效提高膠片老電影“搶救”的工作效率。老電影等“古早"味甚濃的影像資料不僅是一個(gè)時(shí)代藝術(shù)的結(jié)晶，也是歷史的見證和記錄，是珍貴的“不可再生資源”，用AI等先進(jìn)科技探索影像修復(fù)，對(duì)文化藝術(shù)的留存?zhèn)鞒幸饬x重大。

“修舊如舊”

從物理修復(fù)到數(shù)字修復(fù)，近幾年國(guó)內(nèi)也接人了AI技術(shù)幫助修復(fù)，也有團(tuán)隊(duì)在嘗試開發(fā)針對(duì)影像修復(fù)的AI算法，那么在專業(yè)人士眼中，AI技術(shù)又起到了怎樣的作用呢？

膠片修復(fù)分為兩部分，一部分是物理，一部分是數(shù)字。國(guó)內(nèi)膠片保存情況比較差，老膠片儲(chǔ)存久了會(huì)扭曲、變形、散發(fā)酸味，首先就需要物理修復(fù)，通過“洗片”來去除霉斑、劃痕，修補(bǔ)斷裂的齒孔。

“洗凈”后的老膠片會(huì)經(jīng)過掃描，進(jìn)入數(shù)字化流程，開始臟點(diǎn)、調(diào)色、聲音等細(xì)節(jié)方面的修復(fù)。

“每人每天能完成500到700幀，最多相當(dāng)于半分鐘左右?！比S六度后期總監(jiān)王天夫告訴《中國(guó)電子報(bào)》記者，國(guó)內(nèi)做物理修復(fù)的手藝人越來越少，很難找到，這就加重了數(shù)字修復(fù)工作的負(fù)擔(dān)?！癆I修復(fù)能識(shí)別50%到60%的臟點(diǎn)，效率提高一倍左右?！蓖跆旆蛘f。

據(jù)了解，去年的《開國(guó)大典》就引入了AI算法輔助修復(fù)，由三維六度聯(lián)合長(zhǎng)春電影制片廠完成修復(fù)工作。三維六度首席技術(shù)官周蘇岳在接受媒體采訪時(shí)表示，AI算法可以解決老膠片收縮、卷曲等問題，但是膠片的撕裂、劃痕等問題則需要專業(yè)的修復(fù)師逐幀進(jìn)行修補(bǔ)。

“AI與人工缺一不可，人工精細(xì)化較高?！苯K華夏電影膠片修復(fù)技術(shù)有限公司總經(jīng)理陳新新在接受《中國(guó)電子報(bào)》記者采訪時(shí)表示。AI修復(fù)好處是半自動(dòng)化，能夠節(jié)省人力，相對(duì)來說資源消耗較低。

不過，目前的AI技術(shù)用于影像修復(fù)還是存在一些問題。AI技術(shù)在降噪和分辨率擴(kuò)增方面的修復(fù)較易達(dá)到高水平，但對(duì)于畫面瑕疵，如劃痕和油污的判定仍需要人工干預(yù)。王天夫感言，修復(fù)老片的最高境界是“修舊如舊”，AI影像修復(fù)的開發(fā)者還應(yīng)與膠片修復(fù)制片人共同協(xié)作，打造出滿足膠片電影修復(fù)需求的系統(tǒng)，從而真正做到“修舊如舊”。

更“懂藝術(shù)”的AI

2019年上海國(guó)際電影節(jié)4K修復(fù)單元展映了《辛德勒的名單》虎口脫險(xiǎn)》三毛流浪記》等經(jīng)典老片，這已經(jīng)是上海國(guó)際電影節(jié)引人4K修復(fù)單元的第六年。

“膠片原始分辨率是6.5K，經(jīng)過長(zhǎng)期保存、搬運(yùn)之后，再修復(fù)會(huì)產(chǎn)生損失，最終可呈現(xiàn)出4K分辨率的效果?！标愋滦赂嬖V記者。王天夫指出，4K修復(fù)是通過4K掃描儀對(duì)物理性質(zhì)的膠片進(jìn)行翻拍，修復(fù)后在色深、像素、分辨率方面可以達(dá)到與4K數(shù)字?jǐn)z像機(jī)制作相當(dāng)?shù)乃健?/p>

“膠片的細(xì)節(jié)表現(xiàn)可能不如數(shù)字?jǐn)z像機(jī)，但是膠片的優(yōu)勢(shì)在于對(duì)色彩的還原?！标愋滦抡f道。膠片拍攝畫面中的物體邊緣沒有那么犀利，色彩飽和度較高，與數(shù)字?jǐn)z像機(jī)是不同的風(fēng)格。王天夫認(rèn)為，膠片與數(shù)字?jǐn)z像都有彼此不能達(dá)到的效果，應(yīng)該說“各有千秋”。

目前國(guó)內(nèi)外各大電影節(jié)都設(shè)立了修復(fù)單元，一方面，讓膠片老電影以全新的面貌重新亮相，另一方面，也是借助影像的形式推動(dòng)文化與歷史的傳承。AI技術(shù)是加速膠片修復(fù)的有力支撐，而AI在全球范圍內(nèi)都是處在成長(zhǎng)階段的新興技術(shù)，那么AI在影像修復(fù)領(lǐng)域走到了什么階段？

陳新新認(rèn)為，隨著AI算法對(duì)影像畫面的不斷學(xué)習(xí)和訓(xùn)練，修復(fù)能力會(huì)持續(xù)提高，不過最終還是離不開，人的干預(yù)，人才能判斷修復(fù)成果。

據(jù)了解，三維六度影像修復(fù)工作得到了華為AI技術(shù)支持，雙方正在不斷磨合，致力研發(fā)出更“懂藝術(shù)”的AI。王天夫向記者表示，以前進(jìn)行AI修復(fù)的操作人員需要具備計(jì)算機(jī)背景，不過目前正在進(jìn)行的華為項(xiàng)目可以讓修復(fù)師經(jīng)過一定培訓(xùn)就能夠使用。

Al增強(qiáng)開始應(yīng)用

“目前AI在影像修復(fù)領(lǐng)域還沒有形成成熟的產(chǎn)品模式，市場(chǎng)需求不大，業(yè)內(nèi)對(duì)AI的信任度還需要更多培養(yǎng)?！蓖跆旆蜃鳛橐幻跋裥迯?fù)工作者向記者表示。

不過，在采訪中，不少視頻平臺(tái)均表示了對(duì)AI修復(fù)的認(rèn)可和熱情，“新老片”已經(jīng)可以通過各大院線和視頻平臺(tái)重新走人公眾的視野。

2019年，愛奇藝推出“經(jīng)典電視劇數(shù)字化修復(fù)工程”，使用了自研的ZOOMAI技術(shù);優(yōu)酷也在同年6月推出了高清經(jīng)典專區(qū)，AI算法由阿里巴巴提供。

中國(guó)移動(dòng)旗下咪咕公司是國(guó)內(nèi)領(lǐng)先的超高清內(nèi)容生產(chǎn)及匯聚平臺(tái)，在AI技術(shù)修復(fù)方面也已展開布局。2020年初，咪咕對(duì)奧黛麗.赫本的《蒂凡尼的早餐》《窈窕淑女》等經(jīng)典影片進(jìn)行了超高清AI修復(fù)展示?！盎谙冗M(jìn)的AISmartResolution算法，將原本高清視頻的細(xì)節(jié)特征進(jìn)行增強(qiáng)處理，配合插幀和AI編碼算法預(yù)測(cè)技術(shù)實(shí)現(xiàn)平滑提升，保證每一幀都帶有信息，最終使經(jīng)典影片舊貌換新顏，這也為大量片庫(kù)內(nèi)容及經(jīng)典片源價(jià)值再現(xiàn)帶來了無限想象空間?！边涔鞠嚓P(guān)負(fù)責(zé)人向記者表示。

據(jù)了解，中國(guó)移動(dòng)咪咕公司正在積極籌措資源推動(dòng)行業(yè)升級(jí)?！跋嚓P(guān)技術(shù)效率決定了一大批老電影等經(jīng)典、待修復(fù)內(nèi)容與觀眾見面的時(shí)間。目前AI視頻增強(qiáng)技術(shù)雖然已經(jīng)開始落地應(yīng)用，但在處理效率、實(shí)施效果等方面還待突破升級(jí)，比如實(shí)時(shí)處理，達(dá)到1秒處理30幀以。上視頻的效率;AI視頻增強(qiáng)作為一套完整方案，內(nèi)部功能支持模塊化，用戶可以針對(duì)不同場(chǎng)景自由組合等?！敝袊?guó)移動(dòng)咪咕公司相關(guān)負(fù)責(zé)人向記者表示。

“希望修復(fù)影片能重回院線，讓更多人可以看到歷史?！蓖跆旆蛳蛴浾弑硎?，對(duì)于幕后人員來說，最大的心愿是電影能夠公映，希望可以得到更多的院線支持，把老電影的情懷傳遞給年輕人。希望有更多對(duì)AI修復(fù)技術(shù)感興趣的群體加入到膠片電影的修復(fù)行列，共同傳承經(jīng)典，同時(shí)也為新興技術(shù)的成長(zhǎng)注人能量。