李佳師

編者按：10月20日上午，2019世界VR產(chǎn)業(yè)大會“人工智能”分論壇召開。本次活動由上?？萍即髮W(xué)VR與視覺計算中心、疊境數(shù)字科技（上海）有限公司承辦，工業(yè)和信息化部電子第五研究所、江西優(yōu)聯(lián)投資發(fā)展有限公司協(xié)辦。本次活動以“5G+AI重塑XR未來”為主題，對5G+AI將給VR/AR帶來趨勢變化進行了深入的討論。

陳軍：

5G是驅(qū)動力、AI是催化劑將給XR帶來顛覆性機遇

近年來，江西省委省政府高度重視VR產(chǎn)業(yè)發(fā)展，把推動VR產(chǎn)業(yè)創(chuàng)新發(fā)展作為貫徹落實制造強省戰(zhàn)略的重要舉措，積極打造好世界VR大會這個世界級平臺，加強全球合作，構(gòu)建全新的VR格局。今年六6月，出臺了《江西省虛擬現(xiàn)實產(chǎn)業(yè)發(fā)展規(guī)劃（2019-2023）》，明確VR產(chǎn)業(yè)發(fā)展目標和重點，并列入了江西省2+6+N的行動計劃，力爭到2023年左右，將VR產(chǎn)業(yè)打造成為超千億級的產(chǎn)業(yè)。江西省還出臺了加快推進虛擬現(xiàn)實產(chǎn)業(yè)發(fā)展的若干意見，涵蓋技術(shù)創(chuàng)新、推廣運用、培養(yǎng)人才、融資扶持以及公共服務(wù)等五大領(lǐng)域，努力打造VR產(chǎn)業(yè)集群和創(chuàng)新高地。

在推進產(chǎn)業(yè)發(fā)展方面，目前，南昌現(xiàn)已聚集VR產(chǎn)業(yè)近百家，與之相關(guān)的電子信息產(chǎn)業(yè)產(chǎn)值突破千億元，VR產(chǎn)業(yè)已成為江西省發(fā)展的強勁動力。全球新一輪科技革命和產(chǎn)業(yè)變革蓬勃發(fā)展，新技術(shù)、新產(chǎn)品、新業(yè)態(tài)加速向各領(lǐng)域廣泛滲透，5G技術(shù)對經(jīng)濟社會發(fā)展乃至人類社會帶來深刻的變革。作為引領(lǐng)未來戰(zhàn)略性技術(shù)，5G正全面賦能各行各業(yè)，并將進一步釋放科技革命和產(chǎn)業(yè)變革積蓄的巨大能量，推動社會生產(chǎn)力整體要素變革，將極大推動XR產(chǎn)業(yè)的發(fā)展。同時，AI技術(shù)中的計算機視覺與追蹤，在XR領(lǐng)域的應(yīng)用已經(jīng)非常廣泛，但技術(shù)的發(fā)展不僅止于此，作為基礎(chǔ)設(shè)施的5G是驅(qū)動力，AI是催化劑，在5G高速公路的帶動下，XR應(yīng)用場景更加多樣的同時，三者互促式發(fā)展將為XR帶來顛覆性的機遇，為XR在更廣泛的應(yīng)用領(lǐng)域開辟新天地。

王蘊輝：

AI將在渲染、制作、交互方面促進VR發(fā)展

隨著技術(shù)的發(fā)展，虛擬現(xiàn)實和增強現(xiàn)實正加速向生產(chǎn)和各種領(lǐng)域滲透，在影視直播、游戲、教育、工業(yè)等領(lǐng)域，已經(jīng)有了應(yīng)用落地。一直以來，人工智能與虛擬現(xiàn)實兩大熱點領(lǐng)域融合發(fā)展，隨著計算機視覺、語音識別等AI技術(shù)的不斷成熟，人工智能對于虛擬現(xiàn)實產(chǎn)業(yè)的推動也日益顯著。主要體現(xiàn)在三個方面：一是渲染處理。深度學(xué)習的渲染成為人工智能在圖像渲染領(lǐng)域的重要創(chuàng)新。二是內(nèi)容制作。以真實用戶的虛擬化和三維重建為發(fā)展對象。進一步增強VR內(nèi)容的交互性，以真實用戶為對象的虛擬化身成為近期的熱點，傳統(tǒng)方法依靠的是昂貴的設(shè)備和繁瑣的后期處理，新一代的方法是基于深度學(xué)習技術(shù)，通過學(xué)習知識可以從一個或者是多個二維頭像中，恢復(fù)物體的三維幾何和結(jié)構(gòu)，而無需復(fù)雜的過程。三是感知交互，通過結(jié)合計算機視覺與生理信號的反饋，打造虛實結(jié)合的體驗。VR技術(shù)大大提升了VR的體驗。

我們?nèi)绾螌R/AR性能開展評價？這也是我們今后需要研究的一個熱點方向?；谖覀儗夹g(shù)、行業(yè)發(fā)展的調(diào)查和研究，我們設(shè)計了虛擬現(xiàn)實性能的評價體系，分別從交互性能評價以及用戶體驗評價這幾個方面開展工作?？偨Y(jié)來看，第一是AI極大地推動了VR技術(shù)的發(fā)展，兩者的結(jié)合將會帶來更加深度、更加沉浸的體驗。第二是VR/VR的評測技術(shù)，將為VR/VR產(chǎn)品的性能優(yōu)劣提供一個統(tǒng)一的評判標準。推進AR/VR評測可以為行業(yè)的發(fā)展提供有力的支撐，未來，還我們還將開展AI+VR的融合研究，優(yōu)化算法，豐富我們學(xué)習的樣本，完善VR/AR的性能評價體系。

基羅斯·庫圖拉科斯：主動3D成像

將改善VR/AR

3D相機對于虛擬現(xiàn)實產(chǎn)業(yè)的發(fā)展有著非常重要的作用。3D相機其實和我們之前所使用的相機完全不同，這些3D相機可以測量距離，通過加工光線的強弱來測量照相的距離，并且可以對周邊的環(huán)境進行一些測量。他們可以應(yīng)用到手機、耳機、眼鏡等里面，或者可以放在車上。我們所研發(fā)出的這個相機，能夠引入到很多的體系中，也就是我們稱為主動的3D成像，可以用在我們的經(jīng)濟體系中，使用這種主動的3D成像技術(shù)之后，可以建立3D的成像體系。相機里面有不同的系統(tǒng)，它們在設(shè)計的時候，就考慮可以應(yīng)用到很多復(fù)雜的應(yīng)用中。而且成本也可以有所控制。這些設(shè)備其實能夠使用不同的技術(shù)，高端的或者光速技術(shù)，以及使用商業(yè)的掃描技術(shù)，而且可以在很長的距離中，實現(xiàn)3D成像。它的精度也很高，它的清晰度、分辨率都很高，能達到微米級。因為使用的是三角測量方式，它的準確度很高，而且短距離和長距離的攝影效果都非常好。這種相機目前是高端技術(shù)，它的價格可能會稍高，它可以將很多的3D的成像點進行連接。

從消費者的角度來說，以前的相機可能比較便宜但是功能非常有限，所以以前的相機在一些高曝光率的情況下，攝像的結(jié)果并不好，尤其是太陽很強烈的情況下。從消費者的角度來說，它也沒有辦法進行掃描或者對于一些復(fù)雜材料進行加工，這些加工的方式都不好。所以，為了能夠解決這些問題，我和我的學(xué)生們希望能夠推進3D成像，讓消費者在使用相機的時候，解決他們所遇到的問題，比如分辨率、拍攝的清晰度等都解決。

Jason Yang：

利用深度學(xué)習實現(xiàn)更少拍攝帶來更精準重現(xiàn)

目前電影界使用AI技術(shù)已經(jīng)非常廣泛。隨著科學(xué)和技術(shù)的進步，我們能夠從電影世界當中感受到AI的進步。除了電影，在現(xiàn)實生活中AI的應(yīng)用也非常多，包括生活中的機器人、虛擬現(xiàn)實的模擬等。當我們希望將現(xiàn)實和虛擬世界重疊在一起時會有更多的挑戰(zhàn)。

而我們所做的技術(shù)，比如這個3D的游戲，游戲里面加了虛擬現(xiàn)實以后，能夠使得游戲變得更加有趣，比如臉書公司利用AI技術(shù)來更好地幫助企業(yè)發(fā)展和實現(xiàn)更多更好地人和人之間的互動。

表情研究、表情分析在AI中的應(yīng)用以及VR中的應(yīng)用越來越廣泛。我們公司的業(yè)務(wù)之一是對表情進行分析研究。在這個視頻中，我們看到被拍攝的人物是在動的，所以在虛擬現(xiàn)實中對他進行模擬重建是比較困難的，因為有很多的問題。比如真人成像過程中，我們要看到頭發(fā)、皮膚、眼睛、嘴巴、脖子等，對這些真實的生物元素進行處理很復(fù)雜，在渲染的過程中要花非常多的精力。傳統(tǒng)的3D三維的重塑，利用很多的攝像機，對準要成像的真實人物進行拍攝，然后進行3D建模。這依然存在很多不足，因為盡管放了足夠多的攝像機之后，依然有很多動作、角度、肢體的信息無法精準捕捉進來，因為身體有些部分是被遮擋住的。所以我們需要利用更多的數(shù)據(jù)來解決這些問題。我們采用深度學(xué)習等技術(shù)進行數(shù)據(jù)的分析和研究，同時與上海理工大學(xué)進行合作，就可以使用更少的相機拍攝，捕捉到更多的畫面。我們也在和華為進行合作，考慮是否可以使用相機，把現(xiàn)實中的人創(chuàng)造成一個虛擬的人。

馬修·德布倫：機器學(xué)習與粗?；芯?/p>

提升模擬精準度

人工智能、虛擬現(xiàn)實可以在很多方面幫助我們進行改進，獲得提高。比如利用虛擬現(xiàn)實與人工智能結(jié)合進行外科手術(shù)培訓(xùn)，可以幫助醫(yī)生提升以后手術(shù)的精準度。比如我們通過人工智能、虛擬現(xiàn)實的方式進行檢測、測試肝臟在進行手術(shù)的種種情況，讓外科醫(yī)生了解在手術(shù)過程中怎么樣操作才能更好。

而要實現(xiàn)精準的模擬，同樣會面臨很多困難，比如一個肝臟，我們在模擬的過程中，會發(fā)現(xiàn)模擬出來的肝臟有點太柔軟，與實際人體肝臟的結(jié)構(gòu)不太一樣，精準度受到了影響。因為我們在進行模擬的過程中，沒有辦法去確保所有肝臟的特性都能夠被我們收集，我們需要找到接近于肝臟組織的彈性，而平均彈性的掌控非常有挑戰(zhàn)。我們還應(yīng)用了不同的彈性材料，不同的彈性材料有不同的彈性，比如有線性彈性、同性彈性、縱向彈性、橫向彈性。通過不同的方式來實驗來模擬，希望看清其中的變化。而從幾何學(xué)角度說，我們必須簡化，同時也要對物體進行物理學(xué)的考量。比如說肝臟，肝臟里面有很多的小血管，如果說血管比較剛硬，就會導(dǎo)致我們所做的研究的結(jié)論不正確，因為我們做肝臟研究的時候，沒有將小血管考慮進去。不管怎么說，在做研究的過程中我們也考慮到不同類型的參數(shù)。關(guān)于粗粒化的研究有很多方法，目前關(guān)于粗?；难芯窟€遠未完美，而且我也相信未來VR行業(yè)粗?；膽?yīng)用有非常廣泛的空間。通過機器學(xué)習，也可以幫助粗?；芯孔兊酶油晟?。所以，我認為未來粗粒化的研究和機器學(xué)習相結(jié)合，能夠?qū)⑦\動的精細化模擬做到更進一步的提升。

赫蓮娜·派克：奧斯卡應(yīng)該有一個獎項

頒給AR/VR

我們從出生之日起，就在尋找不同的方式展示我們是誰，講述我們自己的故事，以一種無窮無盡的方式去講述，包括中國的京劇、好萊塢的電影，都是在尋找不同的方法來講述我們自己。在好萊塢正在創(chuàng)造一些工具來幫助我們講述自己的故事，比如讓相機變得更大更快，使之能夠捕捉我們的生活、動作、情緒。我們從來都沒有停止繼續(xù)創(chuàng)造工具，來表達我們，比如繪畫工具，比如戴上VR眼鏡進行繪畫，去創(chuàng)造和感受世界。

目前，一些知名導(dǎo)演或者影視創(chuàng)作人，都在使用AR技術(shù)，使用這種技術(shù)，把一個人的情緒轉(zhuǎn)化成AR智能的情緒。我們已經(jīng)可以通過人的表情，植入到不同的虛擬人物中，我們通過用CGI的方式，創(chuàng)造出人的骨架，讓他們可以移動。通過人工智能，我們可以加入很多新的東西，推動人建模的發(fā)展。我們希望通過數(shù)字人建模的方式，讓數(shù)字人物能夠讓像真正的人一樣有更多的話語和表達功能。

在虛實現(xiàn)實中，我們通過人工智能幫助我們塑造自然的環(huán)境，把人的情緒植入到虛擬世界中。比如《復(fù)仇者聯(lián)盟》，他們使用的就是渲染以及人工智能和塑造建模的方式，提升動作上的相互匹配度、數(shù)字化人物的靈活度。目前，我們可以使用人工智能的方式把人和場景進行分割，可以把人區(qū)分出來放在不同的場景中。還通過粒子的模擬方式，幫助我們進行仿真，比如對火、煙、水進行仿真，通過人工智能仿真可以看清火的特性、形狀，以人工智能的方式將其創(chuàng)造出來。我們希望縮短模擬仿真時間，也在致力于通過手機就能完成，加速我們擁有更多更好的VR方面體驗感?；ヂ?lián)網(wǎng)已經(jīng)向我們開放了創(chuàng)新機會，讓每一個人都能夠有機會通過使用互聯(lián)網(wǎng)以創(chuàng)新的方式來講述自己的故事，比如推特、抖音等。有AR/VR的幫助，好萊塢也會進入到一個新的創(chuàng)新時代，所以奧斯卡獎也應(yīng)該頒給AR和VR。

松下康之：

3D傳感技術(shù)能夠更精準地捕捉現(xiàn)實世界

3D傳感技術(shù)為什么如此重要？傳統(tǒng)的照片成像是通過光影來塑造形象和結(jié)構(gòu)。這些方法有好處，也有壞處，比如幾何圖形的方式，它可以塑造出你的整體結(jié)構(gòu)，但是它細節(jié)描述不夠，沒有辦法提供很多深入的信息。照片成像的方法可以幫助你找到很多細節(jié)的信息，但是只有細節(jié)信息，大體結(jié)構(gòu)并不是很清晰。

而表面法相技術(shù)，我們用幾何的方法設(shè)立結(jié)構(gòu)，通過表面法相傳感與幾何重塑的方法結(jié)合，能夠很好地為形狀做恢復(fù)，并且添加更加高分辨率的細節(jié)。我們通過不同的測量方式，在這個公式里，M代表測量，N代表測量的面有多少，L代表光源的方向，H代表的是表面法相的表面，B是反射率的功能，利用這樣的計算公式，最后光源成像，使用表面法相然后進行立體渲染，會得到很好的成像效果。

深度神經(jīng)網(wǎng)絡(luò)有什么作用呢？光度學(xué)應(yīng)用在立體渲染其實是很復(fù)雜的一個技術(shù)，比如一些老圖像，要進行重塑會要求有一些固定光源的方向，但是我們用了深度神經(jīng)網(wǎng)絡(luò)，就能夠很好地分析、提取、融合，能夠讓我們實現(xiàn)更精確的網(wǎng)絡(luò)化重建。

我們還有一些挑戰(zhàn)，尤其是進行光學(xué)實驗的時候。過去的方法都是在光源非常強勁的情況下進行實驗，而且光的垂直照射度非常高。事實上這是一種罕見光源和標準光源，但現(xiàn)實的情況卻千差萬別，比如很多時候是近光，就像燈泡的光一樣，它照射出來的效果就不一樣，還有很多時候是無標定光源，也很難測量，還有一些場景光照可能產(chǎn)生內(nèi)部的反射，也很難測量，還有的光源點照射到了物體上會產(chǎn)生折射和反射等，這種情況我們也無法進行精準的測量。所以我們需要新的光學(xué)測量法，需要3D傳感技術(shù)，來更精準地捕捉現(xiàn)實世界，并將其數(shù)字化。