技術(shù)宅
大家知道Photoshop是Adobe公司推出的一款功能強大的圖片處理軟件,幾乎圖片處理中所有難題都可以解決。近日在Adobe Max 2017,Adobe繼PS之后推出可以針對視頻進行PS的Project Cloak技術(shù),該技術(shù)可以輕松地對視頻畫面中的任何元素進行抹除或者美化等操作。
照片容易 視頻PS不簡單
說到PS,可能很多朋友都輕車熟路,將照片導(dǎo)入PS后,利用PS提供的工具我們可以很輕松地去除照片中的路人甲,或者抹除MM臉上的雀斑。不過在視頻中如果要執(zhí)行類似的操作就難多了,因為照片PS只是對一張圖片進行處理,而視頻可以看作是N張照片組成的組合體。比如需要處理掉視頻中多出的路人畫面,我們就需要對所有幀里路人甲出現(xiàn)的畫面都要消除,而且由于視頻是動態(tài)畫面,路人甲位置可能也是動態(tài)變化,顯然如果對每一幀的畫面都要進行處理,龐大的工作量是顯而易見的。
因此如果我們需要對視頻進行PS處理,最常見的方法是使用遮擋法。比如我們引用的電視臺視頻,為了屏蔽掉臺標(biāo),常規(guī)的方法是選擇一個顏色塊,或找一個色塊插入覆疊軌,放在有臺標(biāo)的視頻段,調(diào)整大小和位置以遮住臺標(biāo)(圖1)。
但是這種處理只是對固定部位有效,如果需要消除的是視頻中間畫面的元素,處理起來就非常的麻煩了。Project Cloak的視頻處理技術(shù)則可以像PS一樣對畫面進行處理,比如在演示視頻中,通過簡單的操作視頻畫面中礙眼的電桿樹就可以憑空消失(圖2)。
神奇的背后——解密視頻PS技術(shù)
從上面的示例可以看到,通過Project Cloak可以輕松地對視頻進行PS處理。那么它是怎樣實現(xiàn)的?
首先我們來了解一下圖片PS原理,比如在風(fēng)景照片中我們要將闖入照片中的路人甲消除。在PS中打開圖片后選擇仿制圖章工具,接著使用鼠標(biāo)點圖片中的基準(zhǔn)顏色,也就是使用仿制圖章之后想要圖片呈現(xiàn)出來的樣子,一般選取人附近的顏色,這樣路人甲剔除后跟周圍顏色不會有太大沖突,整個畫面就顯得比較自然(圖3)。
Project Cloak對于視頻PS處理原理與之類似,不過如上所述,由于視頻是多幀畫面組成的,剔除的對象也是動態(tài)移動的,因此并不能像一張圖片那樣進行簡單的處理。而Project Cloak對視頻畫面可以實現(xiàn)類似PS效果,幕后功臣則是Adobe公司開發(fā)的Adobe Sensei。
Adobe Sensei并非一款單獨的軟件產(chǎn)品,而是一個可以應(yīng)用于Adobe旗下各款產(chǎn)品的底層人工智能工具。Sensei利用了Adobe長期積累下來的大量數(shù)據(jù)和內(nèi)容,從圖片到影像,能夠幫助我們解決處理這些媒體時遇到的各種難題。在前面的示例中,Project Cloak可以輕松去除視頻中的電桿樹而不會留下絲毫處理痕跡,這就是Adobe Sensei在Project Cloak中的一個典型應(yīng)用(圖4)。
Sensei作為一款人工智能工具,它的原理和常見的人工智能工具一樣。首先Adobe會讓Sensei學(xué)習(xí)海量的視頻處理素材,通過大量的學(xué)習(xí)后,同時借助深度學(xué)習(xí)技術(shù)就可以實現(xiàn)對各種視頻的處理,最終Sensei會生成一套獨特的算法來實現(xiàn)對視頻畫面的各種特效處理。
這樣在Project Cl oak需要對視頻進行處理的時候,只要圈定處理對象,Sensei在后臺就會自動實現(xiàn)處理。以演示視頻中對人物T恤上的Logo處理為例,在用戶圈定這個處理區(qū)域后,Sensei根據(jù)算法主動分析周圍圖像,自動將T恤的Logo刪除并填充合適背景,這樣在移除Logo后畫面沒有任何的違和感,實現(xiàn)類似圖片PS處理的效果(圖5)。
當(dāng)然作為Adobe系列軟件的底層人工智能處理工具,它的功能遠(yuǎn)不止這些。比如作用在Scene Stitch后,它可以隨意改變畫面上的場景。比如可以直接將畫面中的小山丘變成公路,并且毫無違和感(圖6)。
視頻PS 讓我們的視頻變得更有趣
隨著數(shù)碼設(shè)備的普及,使用手機和手持DV拍攝視頻已經(jīng)成為很多朋友的愛好。不過由于拍攝環(huán)境、拍攝技術(shù)等的限制,在拍攝完這些視頻后觀看時總發(fā)現(xiàn)各種各樣的不足。比如拍攝畫面出現(xiàn)路人甲,攝制的畫面景色不夠美。如果需要對視頻進行后期處理,對于普通人來說一些專業(yè)的視頻處理軟件上手很難。
Project Cloak這類軟件的出現(xiàn)則讓普通人也可以輕松處理視頻,而且操作非常的簡單,只要圈定對象,選擇處理工具,其他都是由軟件在后臺完成。這樣處理拍攝的視頻是不是可以讓我們的生活更加有趣?隨著人工智能和深度學(xué)習(xí)技術(shù)的不斷發(fā)展,現(xiàn)在各類軟件的功能原來越強大、智能,但是面向用戶的操作卻越來越簡單。我們期待有更多類似人工智能工具出現(xiàn),為大家的生活帶來更多的便利。