技術(shù)宅
最近虛擬現(xiàn)實(shí)(VR)非常的火熱,不過VR雖然可以給我們帶來虛擬真實(shí)的體驗(yàn),但是這種體驗(yàn)大多基于虛擬畫面,用戶并不能進(jìn)行實(shí)時(shí)互動(dòng)。麻省理工學(xué)院目前開發(fā)出了一種互動(dòng)視頻技術(shù)(Interactive Dynamic Video),則可以讓用戶和視頻進(jìn)行觸摸互動(dòng)體驗(yàn)。效果就類似星球大戰(zhàn)中的絕地武士那樣在屏幕中制造波瀾,即使隔著一個(gè)次元的屏障。那么什么是互動(dòng)視頻技術(shù)?這種技術(shù)是怎么實(shí)現(xiàn)視頻的觸摸互動(dòng)?又會(huì)給我們的生活帶來什么樣的影響?
科技掃盲 互動(dòng)視頻是個(gè)什么鬼
使用過VR設(shè)備的朋友都知道,當(dāng)我們帶上類似Oculus虛擬設(shè)備觀看視頻時(shí),我們可以進(jìn)入更加真實(shí)的視頻世界。但是無論這個(gè)虛擬體驗(yàn)有多么真實(shí),作為觀眾永遠(yuǎn)只是旁觀者,我們只能觀看視頻,而無法與視頻進(jìn)行互動(dòng)交流(圖1)。
為了能夠讓用戶和VR視頻有更多的互動(dòng)體驗(yàn),麻省理工學(xué)院開發(fā)了互動(dòng)視頻技術(shù)。這種技術(shù)可以讓我們?cè)谟^看視頻的同時(shí)進(jìn)行觸摸交流,比如在演示視頻中,虛擬的皮卡丘出現(xiàn)在草叢中后,用戶只要拖動(dòng)鼠標(biāo),草叢就會(huì)動(dòng)起來,這個(gè)效果就像生活中的真實(shí)場(chǎng)景一樣(圖2)。
觸摸視頻 認(rèn)識(shí)互動(dòng)視頻背后的原理
互動(dòng)視頻的亮點(diǎn)就是互動(dòng),即用戶可以通過鼠標(biāo)、觸摸等操作讓視頻中原來靜止不動(dòng)的物體“動(dòng)起來”,從而獲得更加真實(shí)的體驗(yàn)。比如在上述演示視頻中,原來畫面中的草叢實(shí)際上是靜止的,但是通過觸摸操作可以讓其晃動(dòng),這樣在虛擬皮卡丘跳躍到草叢后草叢會(huì)晃動(dòng),感覺就像生活中真實(shí)的場(chǎng)景一樣。那么這種視頻互動(dòng)的效果是怎么實(shí)現(xiàn)的呢?
大家知道,現(xiàn)實(shí)生活中的物體如果受到外力的作用,物體就會(huì)發(fā)生震動(dòng)。這樣要讓視頻中原來靜止的物體能夠和用戶的觸摸進(jìn)行互動(dòng),傳統(tǒng)的方法是使用3D建模來建立互動(dòng)式模擬,通過建立虛擬3D模型實(shí)現(xiàn)和用戶的互動(dòng)。這種3D建模方法可以讓用戶通過觸摸虛擬3D模型獲得互動(dòng),但是3D建模技術(shù)難度大,3D渲染需要花費(fèi)大量的時(shí)間,而且也不是每一種物體都可以進(jìn)行建模。因此這種傳統(tǒng)3D建模技術(shù)無法在常見的VR場(chǎng)景中大范圍使用(圖3)。
麻省理工學(xué)院現(xiàn)在開發(fā)的視頻互動(dòng)技術(shù)則繞開3D建模。開發(fā)人員首先利用攝像機(jī)預(yù)先拍攝禁止物體在受到外力作用下的微小震動(dòng)視頻(最短只需5秒的視頻片段)。接著開發(fā)人員利用一個(gè)算法來生成一個(gè)預(yù)測(cè)模型,通過這個(gè)模型來預(yù)測(cè)出該物體在其他外力下產(chǎn)生的震動(dòng)模式。獲取物體預(yù)測(cè)震動(dòng)模式后,研究人員還會(huì)將該模型和物體在實(shí)際外力作用下的震動(dòng)進(jìn)行比較并進(jìn)行校正,這樣進(jìn)行多次算法修正后,這個(gè)預(yù)測(cè)模型就可以比較真實(shí)地反映出物體在外力作用下的震動(dòng)了。這樣通過將視頻互動(dòng)化,分析并預(yù)估出物體如何應(yīng)對(duì)各種未知作用力,探索出了視頻交互的新方式(圖4)。
我們以上述Pokemon Go游戲?yàn)槔?,開發(fā)人員首先拍攝視頻畫面中草叢在外力作用下的震動(dòng)視頻,通過算法和預(yù)測(cè)模型就可以預(yù)測(cè)出草叢在小精靈附著時(shí)的震動(dòng)狀態(tài)。這樣當(dāng)游戲中的小精靈出現(xiàn)在草叢上面的時(shí)候,草叢就會(huì)由于這個(gè)虛擬物體的作用而出現(xiàn)相應(yīng)的震動(dòng),看上去就像有個(gè)真正的實(shí)物落在草叢中。同樣的,當(dāng)我們使用手捕捉小精靈觸碰到手機(jī)攝像頭展示的草叢時(shí),手機(jī)上顯示的草叢也會(huì)發(fā)生相應(yīng)的震動(dòng),整個(gè)的游戲操作就像是在現(xiàn)實(shí)生活中真實(shí)的觸碰,可以讓VR游戲擁有更為逼真的游戲場(chǎng)景(圖5)。
不僅僅是觸摸 互動(dòng)視頻技術(shù)發(fā)展前景
通過上述介紹,我們知道視頻互動(dòng)技術(shù)可以讓我們觸碰虛擬視頻中的物體并獲得反饋。在游戲領(lǐng)域,該技術(shù)的出現(xiàn)可以讓讓我們獲得更為真實(shí)的體驗(yàn)。比如在一些VR射擊游戲中,使用互動(dòng)視頻技術(shù)后,用戶通過扣動(dòng)虛擬槍械可以獲得像在使用真槍一樣的感覺,如開槍后的后座力震動(dòng)、扣動(dòng)扳機(jī)后的形變等。這種游戲感覺是不是讓人神往?
互動(dòng)視頻技術(shù)還可以應(yīng)用在購(gòu)物領(lǐng)域,在VR購(gòu)物中我們可以在遠(yuǎn)程真實(shí)看到需要購(gòu)買的物品,如果結(jié)合視頻互動(dòng),那么用戶就可以獲得更加真實(shí)的購(gòu)物體驗(yàn)。比如一些絲綢衣服,用戶甚至可以通過觸摸布料,通過布料的變形來判斷質(zhì)量的好壞,整個(gè)購(gòu)物體驗(yàn)就像是你在實(shí)體商場(chǎng)購(gòu)買衣服。這種全新的購(gòu)物體驗(yàn)自然可以讓大家更有買、買、買的沖動(dòng)。
當(dāng)然類似的應(yīng)用還可以用在很多領(lǐng)域,比如橋梁設(shè)計(jì),通過橋梁模擬受力形變來獲得承重參數(shù)。這項(xiàng)技術(shù)用于電影制作中,可以通過算法模擬出真實(shí)世界的情景,可以簡(jiǎn)化特效師的工作,打造逼真的視覺效果,通過這種虛擬受力獲得更多的特技效果等。