邱振青
摘 要:一體式虛擬現(xiàn)實(shí)(VR)頭盔是當(dāng)今熱門(mén)的虛擬現(xiàn)實(shí)設(shè)備,其應(yīng)用了多個(gè)領(lǐng)域的專(zhuān)業(yè)知識(shí)和技術(shù),為客戶(hù)提供沉浸式體驗(yàn)。本文從虛擬現(xiàn)實(shí)頭盔設(shè)備的特點(diǎn)出發(fā),分析了一體式VR頭盔光學(xué)設(shè)計(jì)、芯片平臺(tái)選取、散熱和溫控設(shè)計(jì)、圖像渲染技術(shù)、控制技術(shù)及其他相關(guān)技術(shù),比較完整地闡述了VR頭盔設(shè)計(jì)和應(yīng)用中的關(guān)鍵點(diǎn),以供借鑒和思考。
關(guān)鍵詞:虛擬現(xiàn)實(shí);圖像渲染;沉浸式體驗(yàn);散熱和溫控
中圖分類(lèi)號(hào):TP131 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1671-2064(2019)12-0030-02
目前的一體式虛擬現(xiàn)實(shí)頭盔發(fā)展迅速,產(chǎn)品眾多,國(guó)內(nèi)外成功產(chǎn)品不斷涌現(xiàn),使人們沉浸在一個(gè)個(gè)虛擬的世界中。它是怎么工作的,它的關(guān)鍵和核心技術(shù)是什么?本文從光學(xué)設(shè)計(jì)開(kāi)始,通過(guò)芯片平臺(tái)選取、散熱和溫控分析,逐步進(jìn)入核心的圖像渲染技術(shù)和控制技術(shù),最后對(duì)其他相關(guān)技術(shù)進(jìn)行了探討,以探索這個(gè)問(wèn)題的答案。VR的各項(xiàng)技術(shù)在早期滿(mǎn)足虛擬現(xiàn)實(shí)頭盔的基本功能之后,經(jīng)過(guò)了不斷的發(fā)展,正在產(chǎn)生特有的技術(shù),并在不斷地和新技術(shù)結(jié)合,推動(dòng)虛擬現(xiàn)實(shí)頭盔的沉浸感越來(lái)越強(qiáng)。
1 VR光學(xué)設(shè)計(jì)
VR的光學(xué)原理如圖1所示,是比較典型的凸透鏡成像,一般采用不對(duì)稱(chēng)凸透鏡,以滿(mǎn)足兩側(cè)不一致的焦距大小要求。屏幕在一倍焦距以?xún)?nèi),根據(jù)凸透鏡成像原理,可以從透鏡的另一側(cè)觀測(cè)到一個(gè)放大的虛像。所能觀測(cè)到的最大虛像邊緣和人眼形成視場(chǎng)角(FOV),它有X軸視場(chǎng)角和Y軸視場(chǎng)角之分,度數(shù)可以不相等。
由于人眼的視場(chǎng)角可超過(guò)180度,好的沉浸感必然要求大視場(chǎng)角,以滿(mǎn)足人眼的需求。大視場(chǎng)角會(huì)提高放大倍數(shù),這既對(duì)透鏡提出了要求,也對(duì)屏幕提出了要求。對(duì)于透鏡來(lái)說(shuō),不但要滿(mǎn)足光學(xué)參數(shù)要求,還需要保持輕薄;對(duì)于屏幕來(lái)說(shuō),放大倍數(shù)大了,為了防止人眼看到像素柵格,屏幕分辨率必須相應(yīng)提高。
另外,好的沉浸感也要求整個(gè)VR不能漏光,對(duì)人臉的包裹性和舒適度提出了要求。
2 VR芯片平臺(tái)選擇
一體式虛擬現(xiàn)實(shí)頭盔顯示系統(tǒng)大多脫胎于智能手機(jī)系統(tǒng),所以可選的芯片也基本來(lái)自于該領(lǐng)域。隨著VR市場(chǎng)的發(fā)展,已經(jīng)開(kāi)始出現(xiàn)多款VR專(zhuān)用芯片。表1選取了多個(gè)VR常用芯片,并列出了它們的基本性能參數(shù),其中SXR1, Exynos 8890VR,S900VR即為VR專(zhuān)用芯片,它們是芯片廠家根據(jù)VR的特點(diǎn)通過(guò)將移動(dòng)SoC(System on Chip)進(jìn)行裁剪而成的。
對(duì)于VR頭盔芯片來(lái)說(shuō),要求CPU性能高,核數(shù)多,功耗低,以保證持續(xù)高性能輸出;同時(shí)圖像渲染能力要強(qiáng),支持的屏幕分辨率要非常高。從這幾個(gè)標(biāo)準(zhǔn)看,高通的高端芯片和三星的VR芯片稍好一些,國(guó)產(chǎn)芯片也在快速追趕,并在VR影院等方向占據(jù)了相當(dāng)?shù)氖袌?chǎng)。
3 VR散熱和溫控技術(shù)
散熱和溫控技術(shù)對(duì)VR來(lái)說(shuō)有比較重要的意義,主要原因在于VR需要持續(xù)的CPU高算力、GPU高渲染能力、Sensor高采樣率輸出,一旦有一點(diǎn)能力跟不上,屏幕撕裂,顯示卡頓等現(xiàn)象很快就會(huì)被用戶(hù)感知到。而持續(xù)的高性能輸出會(huì)伴隨著比較多的熱量產(chǎn)生,熱量累計(jì)會(huì)對(duì)系統(tǒng)產(chǎn)生負(fù)面影響?;赩R設(shè)備的特點(diǎn),只能采用依靠物理散熱,輔以軟件方法的策略去處理散熱和溫控。
物理散熱的方法一般有熱傳導(dǎo)、熱對(duì)流、熱輻射方式。VR一般采用石墨或者銅片把主芯片或其他熱源上的熱量導(dǎo)至散熱片,然后通過(guò)散熱孔形成熱對(duì)流散熱。當(dāng)然也可以將散熱片上的熱量進(jìn)一步導(dǎo)至金屬外殼,通過(guò)外殼將熱量對(duì)流或輻射出去,以增強(qiáng)散熱效果。
軟件策略上根據(jù)VR持續(xù)高性能輸出的要求,需要避免拔核或是將CPU、GPU頻率降得很低的方式去降低功耗,可采用將CPU、GPU頻率限定在一個(gè)中高范圍內(nèi)的方式,達(dá)到降低功耗的目的。
4 VR圖像渲染技術(shù)
圖像渲染技術(shù)是VR的核心技術(shù),早期的VR頭盔系統(tǒng)大多從安卓系統(tǒng)發(fā)展而來(lái),需要解決左右分屏顯示問(wèn)題。通過(guò)將整個(gè)渲染管線(xiàn)[1]運(yùn)行兩遍,形成左右兩個(gè)顯示圖像,或者在考慮瞳距因素的情況下,優(yōu)化運(yùn)行一次渲染管線(xiàn),都能夠很好地解決該問(wèn)題。同時(shí),VR對(duì)凸透鏡的使用引入了畸變和色散,也需要通過(guò)GPU去進(jìn)行消除。根據(jù)Brown模型,通過(guò)提前對(duì)圖像進(jìn)行桶形處理,可以達(dá)到反畸變的效果。對(duì)不同波長(zhǎng)的光進(jìn)行針對(duì)性的桶形矯正,就可以解決色散的問(wèn)題。
在基本需求得到滿(mǎn)足之后,另一個(gè)關(guān)鍵問(wèn)題——眩暈問(wèn)題開(kāi)始突出,這主要是由于從頭部動(dòng)作傳導(dǎo)到顯示的時(shí)間延遲導(dǎo)致的。為了減少延遲,必須提高屏幕刷新率,這會(huì)縮短渲染時(shí)間,但GPU的能力有限,有時(shí)渲染幀不能在一個(gè)垂直同步周期內(nèi)完成,顯示器只能顯示前一幀數(shù)據(jù),反而增加了延遲。異步時(shí)間扭曲算法在一定程度上緩解了這個(gè)問(wèn)題。該算法需要?jiǎng)?chuàng)建一個(gè)異步線(xiàn)程,當(dāng)異步線(xiàn)程發(fā)現(xiàn)正常渲染線(xiàn)程未能在某個(gè)時(shí)間節(jié)點(diǎn)之前完成所需的工作,即在垂直同步信號(hào)到來(lái)之前無(wú)法完成渲染幀時(shí),該異步線(xiàn)程會(huì)搶占GPU,并將前一幀的圖像添加頭部動(dòng)作信息后進(jìn)行重新投影,并發(fā)送到顯示模塊進(jìn)行顯示。據(jù)此保證了刷新率的穩(wěn)定性,達(dá)到了穩(wěn)定減少延遲的效果。
同時(shí),為了盡可能降低顯示傳輸延時(shí),虛擬現(xiàn)實(shí)頭盔還會(huì)使用單緩沖渲染技術(shù),將數(shù)據(jù)直接發(fā)送到顯示模塊。在現(xiàn)有的顯示技術(shù)中,雙緩沖和多緩沖渲染是主流,它可以防止屏幕撕裂的發(fā)生,并爭(zhēng)取更多的渲染時(shí)間。然而,在虛擬現(xiàn)實(shí)頭盔設(shè)備中,多個(gè)緩沖會(huì)導(dǎo)致頭部運(yùn)動(dòng)信息不能及時(shí)被發(fā)送去顯示,導(dǎo)致延遲,反而有害。
另外,現(xiàn)有的虛擬現(xiàn)實(shí)頭盔使用的分辨率一直在不斷提高,屏幕刷新率也在穩(wěn)步提升,導(dǎo)致GPU負(fù)擔(dān)不斷增加。焦點(diǎn)渲染與眼球跟蹤相結(jié)合的技術(shù)可以只對(duì)用戶(hù)感興趣的區(qū)域進(jìn)行高分辨率渲染,模糊化處理其他區(qū)域。該技術(shù)可以在獲得基本一致的顯示效果的情況下,大大減輕GPU的負(fù)擔(dān)。
5 VR控制技術(shù)及其他相關(guān)技術(shù)
VR的控制系統(tǒng)一般分為頭控和外部控制系統(tǒng)。常見(jiàn)的VR頭控系統(tǒng)是由3軸加速度儀、3軸陀螺儀和3軸磁力計(jì)組成的9軸三自由度頭部動(dòng)作控制系統(tǒng),通過(guò)引入SLAM[2](即時(shí)定位與地圖構(gòu)建)技術(shù),也可支持六自由度頭部控制系統(tǒng)。外部控制系統(tǒng)有遙控器、手勢(shì)識(shí)別等外部輸入控制系統(tǒng),遙控器目前也可通過(guò)超聲波陣列結(jié)合9軸傳感器進(jìn)行六自由度支持。
一體式虛擬現(xiàn)實(shí)頭盔在不斷向輕巧、高度沉浸方向發(fā)展。技術(shù)的不斷進(jìn)步正在功耗、性能、重量等眾多領(lǐng)域取得不斷進(jìn)步。尤其是即將商用的5G通信技術(shù)的發(fā)展將使分離渲染成為可能。繁重的3D內(nèi)容渲染在云端完成,頭控等動(dòng)作信息渲染在虛擬現(xiàn)實(shí)頭盔端完成,通過(guò)5G通信連接,這將大大降低虛擬現(xiàn)實(shí)頭盔的對(duì)計(jì)算能力的要求,從而降低功耗和減輕重量。虛擬現(xiàn)實(shí)頭盔的特性也將使5G通信技術(shù)的高帶寬和低延遲特性得到充分利用。
6 結(jié)語(yǔ)
綜上所述,本文分析了一體式虛擬現(xiàn)實(shí)頭盔設(shè)計(jì)與實(shí)現(xiàn)中的多個(gè)關(guān)鍵技術(shù),并從一體式虛擬現(xiàn)實(shí)頭盔的需求出發(fā),闡述了它們是如何工作的。本文研究時(shí)間比較短,還存在著一些不足,希望相關(guān)的研究能夠?qū)σ惑w式虛擬現(xiàn)實(shí)頭盔的發(fā)展有所幫助。
參考文獻(xiàn)
[1] Dave Shreiner,Graham Sellers,John Kessenich,等.OpenGL編程指南[M].機(jī)械工業(yè)出版社,2016.
[2] Durrant-Whyte H, Bailey T."Simultaneous localization and mapping: part I"[J]. IEEE Robotics & Automation Magazine,2006,13(2):99-110.