基于微型投影儀的5G +XR

【摘要】? ? 目前5G+XR已經(jīng)形成生態(tài)式應(yīng)用，但在便攜式終端方面，主要集中于頭顯、眼鏡等可穿戴設(shè)備方面，較少涉及微型投影儀，本文給出在微型投影儀上通過TOF、UWB等技術(shù)實(shí)現(xiàn)交互模式友好的5G+XR的技術(shù)方案 ，該方案極大增強(qiáng)用戶在多設(shè)備內(nèi)容源交互、裸眼3D、云XR、全息視頻會(huì)議等方面的體驗(yàn)，具有廣泛的應(yīng)用場景。

【關(guān)鍵詞】? ? 微型投影儀? ? 第五代移動(dòng)通信? ? 擴(kuò)展現(xiàn)實(shí)? ? 飛行時(shí)間? ? 超寬帶

引言

XR（擴(kuò)展現(xiàn)實(shí)）目前業(yè)界給出的一般性定義是指通過計(jì)算機(jī)技術(shù)和可穿戴設(shè)備產(chǎn)生的一個(gè)真實(shí)與虛擬組合的、可人機(jī)交互的環(huán)境，包括VR（虛擬現(xiàn)實(shí)）、AR（增強(qiáng)現(xiàn)實(shí)）、MR（混合現(xiàn)實(shí)）、HR（全息現(xiàn)實(shí)）等多種形式。

5G商用已經(jīng)在全球展開，在高速、低時(shí)延的5G連接支持下，人們可以將XR渲染等任務(wù)放到終端側(cè)和云端進(jìn)行分布式處理，充分利用終端、云端的優(yōu)勢，使用戶在纖薄的輕量型設(shè)備上也能體驗(yàn)到具有逼真視效的XR體驗(yàn)。另外，AI也能為空間計(jì)算所需的諸多感知算法提供支持，進(jìn)一步提升人們在XR設(shè)備上的沉浸式體驗(yàn)[1，2]。特別是，新冠肺炎疫情之下，去電影院、博物館、KTV等場所存在風(fēng)險(xiǎn)，人們通過XR可以獲取相應(yīng)的現(xiàn)實(shí)感的體驗(yàn);同時(shí)，后疫情時(shí)代因5G+XR技術(shù)不斷成熟則相關(guān)需求態(tài)勢會(huì)一直持續(xù)。

XR作為下一代計(jì)算平臺(tái)，5G作為下一代網(wǎng)絡(luò)，兩者一起構(gòu)成一個(gè)新的生態(tài)系統(tǒng)：空間互聯(lián)網(wǎng)[3]。目前5G+XR已經(jīng)形成生態(tài)式應(yīng)用，但在便攜式終端方面，主要集中于頭顯、眼鏡等可穿戴設(shè)備方面，較少涉及微型投影儀。實(shí)際上，雖然微型投影儀不屬于傳統(tǒng)意義上的可穿戴設(shè)備，但作為一種便攜式終端，其給用戶帶來的5G+XR獨(dú)特體驗(yàn)相比傳統(tǒng)意義上的可穿戴設(shè)備有著諸多方面的不可多得的優(yōu)勢。

一、微型投影儀5G+XR技術(shù)方案

圖1給出基于的微型投影儀的5G+XR技術(shù)方案。對(duì)于通常的微型投影儀來說，一般只具有圖中粗虛線左邊的部分，即實(shí)現(xiàn)通過處理器接收HDMI或USB有線信源轉(zhuǎn)換為光機(jī)處理信號(hào)實(shí)現(xiàn)投影播放的基本功能，而實(shí)現(xiàn)5G+XR則需要圖1中粗虛線右側(cè)的部分。這個(gè)劃分只是總體層面上面的，具體實(shí)施可以有少許增減，比如說一些微型投影儀為減輕重量去掉了大容量電池，但增加了WIFI、藍(lán)牙模塊以獲取短距離無線信源。但總體上來說，從用戶便攜性使用的角度，具有大容量電池更便于在很多場景下擺脫電源線的束縛。

圖1的粗虛線右側(cè)部分與5G+XR核心關(guān)聯(lián)的，一方面是5G MODEM（Modulator&Demodulator，調(diào)制解調(diào)器）和關(guān)聯(lián)的射頻前端以及MIMO（Multi-input Multi-output，多輸入輸出）天線組成的5G移動(dòng)通信模塊，另一方面是由紅外深度識(shí)別組件、激光雷達(dá)掃描儀、頂部魚眼攝像頭以及UWB（Ultra Wideband，超寬帶）模塊等組成的XR交互部件。這些XR交互部件是可以其中一個(gè)或某幾個(gè)組合共存而不是必須全部共存的。

另外，圖1的粗虛線右側(cè)部分還有高清觸摸顯示屏以及前已述及的WIFI、藍(lán)牙模塊。高清觸摸顯示屏為用戶提供一個(gè)友好的UI交互界面，但其也可以由與WIFI、藍(lán)牙模塊無線連接的手持終端UI界面來替代，因而是可選的。

1.1 5G移動(dòng)通信模塊

由5G調(diào)制解調(diào)器、射頻前端和天饋系統(tǒng)組成的5G通信模塊，實(shí)現(xiàn)5G通信功能離不開系統(tǒng)程序存儲(chǔ)器存儲(chǔ)并調(diào)用到應(yīng)用處理器處理的通信協(xié)議處理和基帶信息處理等相關(guān)的程序。

同時(shí)，對(duì)于5G天饋系統(tǒng)來說，最大的特點(diǎn)是MIMO。用于5G通信的頻段包含Sub 6GHz和毫米波頻段。在圖2的微型投影儀外表面布局圖中，4*4MIMO的Sub 6GHz天線分布在棱邊4個(gè)不同位置上，形成一個(gè)天線組，可采用FPC、LDS以及PDS工藝實(shí)現(xiàn)。但5G頻段眾多，一個(gè)天線上往往只是相近頻段，需要增加到多個(gè)天線，于是就有多個(gè)天線組，故實(shí)際上天線分布比圖示復(fù)雜很多。

利用毫米波的大帶寬能有效提升移動(dòng)通信網(wǎng)絡(luò)系統(tǒng)數(shù)據(jù)吞吐量。毫米波天線尺寸是毫米級(jí)的（約2.5mm），頻段比較寬，2*2 MIMO就可，但因?yàn)楹撩撞姶挪ǖ念l率非常高，在空氣中傳播衰減較快，為了減少衰減，所以一般會(huì)配2～4個(gè)天線模塊（Aim方式，Antenna in Module，即天線陣列與射頻芯片RFIC形成一模組），規(guī)則地分布在不同位置，某個(gè)信號(hào)差自動(dòng)轉(zhuǎn)別的，避免單一的一個(gè)導(dǎo)致收發(fā)不暢。同時(shí)，毫米波天線是垂直與水平天線交互的點(diǎn)陣，對(duì)應(yīng)垂直和水平兩個(gè)極化方向的信號(hào)收發(fā)，可以采用相控陣體系，天線單元做波束成形，通過軟件控制聚集射頻信號(hào)朝一個(gè)方向。

針對(duì)Sub 6GHz和毫米波頻段通過深度學(xué)習(xí)對(duì)信道估計(jì)、信道檢測、CSI反饋和重建、信道譯碼增強(qiáng)MIMO無線傳輸[4]，可以使得微型投影儀在5G+XR高帶寬、移動(dòng)性應(yīng)用，典型如4k/8k/16k高清視頻碼流傳輸方面更加自如。

從圖2還可以看出，從便攜式角度，具有5G+XR功能微型投影儀一般可做成加厚版平板電腦形態(tài)（現(xiàn)有高亮度光機(jī)厚度可以控制在20mm厚度左右）。

1.2? XR交互部件

1.2.1 紅外深度識(shí)別組件

圖3給出微型投影儀上的前面板局部布局示意圖。為了便于緊湊布局，除了要保持足夠亮度的光機(jī)采用了較大的動(dòng)件（通過馬達(dá)驅(qū)動(dòng)調(diào)焦）和定件以及散熱件，紅外深度識(shí)別組件在紅外攝像頭之外，采用了小型化的紅外TOF（Time of Light，飛行時(shí)間）傳感器和泛光照射器。紅外TOF傳感器集成有紅外發(fā)射和接收裝置，采用iTOF（indirect TOF）技術(shù)，用VCSEL（vertical Cavity surface Emitting Laser，垂直共腔振表面放射激光器）發(fā)射紅外連續(xù)調(diào)制脈沖光并接收目標(biāo)反射的紅外光，進(jìn)行零差解調(diào)以測量反射光的相移，間接計(jì)算出光的飛行時(shí)間，進(jìn)行目標(biāo)深度的預(yù)判（即先粗略確定有無意向中的目標(biāo)的深度信息），然后再在泛光照射器進(jìn)行紅外補(bǔ)光時(shí)再次發(fā)射紅外信息并通過紅外攝像頭采集精細(xì)化的目標(biāo)深度信息。

紅外攝像頭還可以單獨(dú)工作用于識(shí)別用戶在投影界面的按鈕、手指、激光筆等坐標(biāo)特征，用于互動(dòng)投影。

彩色攝像頭獲取目標(biāo)載體的二維特征信息，即RGB信息;同時(shí)，處理器根據(jù)紅外深度識(shí)別組件采集深度信息D。然后處理器將兩者匯聚合成為目標(biāo)載體的RGBD信息，亦即三維特征信息。該信息可以進(jìn)一步經(jīng)由處理器實(shí)現(xiàn)三維圖像重構(gòu)應(yīng)用于XR虛擬圖像渲染或三維圖像識(shí)別。

1.2.2 激光雷達(dá)掃描儀

激光雷達(dá)掃描儀是基于dTOF（direct TOF）原理工作的微型LiDAR（Light Detection and Ranging，光探測和探距）部件。dToF核心組件包含VCSEL、單光子雪崩二極管SPAD（Single Photon Avalanche Diode）和時(shí)間數(shù)字轉(zhuǎn)換器TDC（Time Digital Converter）。SPAD是一種具有單光子探測能力的光電探測雪崩二極管，只要有微弱的光信號(hào)就能產(chǎn)生電流。dToF模組的VCSEL向場景中發(fā)射脈沖波，SPAD接收從目標(biāo)物體反射回來的脈沖波。TDC能夠記錄每次接收到的光信號(hào)的飛行時(shí)間，也就是發(fā)射脈沖和接收脈沖之間的時(shí)間間隔。dToF會(huì)在單幀測量時(shí)間內(nèi)發(fā)射和接收N次光信號(hào)，然后對(duì)記錄的N次飛行時(shí)間做直方圖統(tǒng)計(jì)，其中出現(xiàn)頻率最高的飛行時(shí)間t用來計(jì)算待測物體的深度。

dToF技術(shù)系統(tǒng)在很短的時(shí)間窗口內(nèi)發(fā)出高能光脈沖，曝光時(shí)間越短，運(yùn)動(dòng)模糊的效應(yīng)越小，更適用于戶外;同時(shí)，信號(hào)占空比通常比同等水平的連續(xù)波系統(tǒng)要低得多，可以降低系統(tǒng)的總功耗;另外，因脈沖時(shí)序和寬度不需要一樣，支持更寬的動(dòng)態(tài)范圍和自動(dòng)曝光等功能。

采用脈沖dToF技術(shù)的激光雷達(dá)掃描儀在微型投影儀上位置可以比較靈活，不局限于布局前部，還可以布局頂部、側(cè)部乃至后部，通過掃描外部場景獲取的深度信息，融合布局于投影儀機(jī)體相應(yīng)方位的彩色攝像頭獲取的2D圖像，在應(yīng)用中創(chuàng)建該場景的3D模型，然后用戶就可以對(duì)該模型展開編輯、將新對(duì)象添加到該場景中并使用XR查看實(shí)際場景中添加的對(duì)象。

1.2.3 頂部魚眼攝像頭

頂部魚眼攝像頭應(yīng)用于微型投影儀，首先可以服務(wù)于視頻電話會(huì)議系統(tǒng)。

頂部魚眼攝像頭通過360度環(huán)繞周圍攝錄影像，實(shí)現(xiàn)根據(jù)設(shè)定如5m范圍內(nèi)的全景影像采集，并根據(jù)捕捉的聲音來源（通過圖2中的多個(gè)麥克風(fēng)協(xié)同工作，實(shí)現(xiàn)定向錄音）自主選擇會(huì)議發(fā)言人進(jìn)行專項(xiàng)拍攝，也可以響應(yīng)用戶指令實(shí)現(xiàn)對(duì)投影影像內(nèi)容的攝錄實(shí)現(xiàn)信息共享。同時(shí)，經(jīng)由5G系統(tǒng)從遠(yuǎn)端接收到的音頻和視頻可以分別通過揚(yáng)聲器和光機(jī)播放。

電話會(huì)議開始后，音頻系統(tǒng)和魚眼攝像頭同時(shí)啟動(dòng)工作，會(huì)議室的圖像和語音就可以經(jīng)由移動(dòng)通信網(wǎng)絡(luò)傳遞到多個(gè)遠(yuǎn)程會(huì)議現(xiàn)場，并能經(jīng)各個(gè)遠(yuǎn)端會(huì)議室的投影投放，在會(huì)議進(jìn)行過程中通過魚眼度攝像頭定向?qū)?huì)議發(fā)言人或會(huì)議投影內(nèi)容進(jìn)行攝錄交互共享，實(shí)現(xiàn)良好的視頻電話會(huì)議功能。

1.2.4 UWB

UWB用于實(shí)現(xiàn)室內(nèi)定位。UWB限制在3.1-10.6GHz和低于41dB發(fā)射功率。UWB不同于傳統(tǒng)的通信技術(shù)，它通過發(fā)送和接收具有納秒或微秒級(jí)以下的極窄脈沖來實(shí)現(xiàn)無線傳輸，可以實(shí)現(xiàn)500MHz以上的超寬帶。

UWB抗多徑能力強(qiáng)，定位精度高，其精度甚至可以達(dá)到Wi-Fi、BT等傳統(tǒng)系統(tǒng)的百倍以上。同時(shí)，時(shí)間戳精度高，納秒級(jí)脈沖信號(hào)由定時(shí)來計(jì)算位置的誤差通常小于幾厘米。此外，電磁兼容性強(qiáng)，能夠很好地隱蔽在其它類型信號(hào)和環(huán)境噪聲之中，既不會(huì)對(duì)其他通信業(yè)務(wù)造成干擾，同時(shí)也能夠避免其他通信設(shè)備對(duì)其造成干擾。

基于上述技術(shù)優(yōu)勢，采用UWB具備極佳的空間感知能力。利用UWB技術(shù)，微型投影儀和其他具有UWB標(biāo)簽的智能設(shè)備可以更精準(zhǔn)地實(shí)現(xiàn)室內(nèi)定位，不僅可以感知自己的位置，還可以感知周邊其它智能終端設(shè)備的位置。這就構(gòu)成了5G系統(tǒng)下低成本終端直通D2D。智能終端設(shè)備或物聯(lián)設(shè)備通過UWB模塊接入到微型投影儀后，從而可以接入到5G系統(tǒng)，不僅使得微型投影儀有了更便捷的數(shù)據(jù)來源，也使得智能終端設(shè)備或物聯(lián)設(shè)備具有了連接5G蜂窩網(wǎng)絡(luò)的能力[5，6]。

二、微型投影儀5G+XR應(yīng)用場景

微型投影儀的XR部件中，采用iTOF技術(shù)的紅外深度識(shí)別組件適合室內(nèi)近距3D識(shí)別;采用dTOF技術(shù)的激光雷達(dá)掃描儀適合于室外遠(yuǎn)距3D識(shí)別。兩者均既可針對(duì)投影界面內(nèi)容進(jìn)行3D建模和重構(gòu)，也可針對(duì)投影界面之外的實(shí)景世界進(jìn)行3D掃描、建模和重構(gòu)。雖然可以二選一應(yīng)用，但同時(shí)應(yīng)用性能更能互補(bǔ)。這兩個(gè)部件是XR交互主要的感知器，其信息采集和處理既可以應(yīng)用于本地XR，也可以通過5G網(wǎng)絡(luò)傳遞到MEC平臺(tái)（Mobile Edge Computing，移動(dòng)邊緣計(jì)算）或云平臺(tái)構(gòu)成云XR。

頂部魚眼攝像頭則主要把單機(jī)XR功能擴(kuò)展到視頻會(huì)議場景。UWB則使得多機(jī)交互更便捷，經(jīng)由室內(nèi)精準(zhǔn)定位，外部終端信息和微型投影儀可快捷實(shí)現(xiàn)多內(nèi)容源交互。這兩者的結(jié)合可以使得在多人參與的遠(yuǎn)程視頻會(huì)議中能隨時(shí)精準(zhǔn)定位與會(huì)者的內(nèi)容設(shè)備位置并快速切換XR內(nèi)容源。

上述XR部件結(jié)合5G模塊，多個(gè)微型投影儀可以本地或異地聯(lián)合3D投影，實(shí)現(xiàn)廣景式、集群式或共享式XR。

基于微型投影儀的5G+XR可以實(shí)現(xiàn)裸眼3D（原始視覺模型經(jīng)模擬人雙眼視覺進(jìn)行了法向量計(jì)算處理，即3D建模的特效以2D投影播放，也可以是原始視頻數(shù)據(jù)模型是模擬人左右眼從兩個(gè)角度記錄同一影像后兩幅圖錯(cuò)位疊加，人戴上3D眼鏡后產(chǎn)生立體感），本地全息和多地全息視頻電話會(huì)議，從而可以免除戴頭盔、戴眼鏡，手持靈活位移，體驗(yàn)上更加自在，空間層次也可以更大。

另外，在微型投影儀用戶界面或用戶遙控終端的用戶界面上采用專門的APP，可使得操控更加便捷，應(yīng)用模式更加多樣化。

2.1云XR

如圖4所示，具有5G+XR功能組件的微型投影儀藉由5G基站與MEC平臺(tái)交互（兩者通過下沉到基站的邊緣UPF相結(jié)合）可以很好實(shí)現(xiàn)云XR功能。MEC平臺(tái)具有AI引擎和XR計(jì)算能力以及存儲(chǔ)和網(wǎng)絡(luò)服務(wù)功能，對(duì)來自于微型投影儀以及來自企業(yè)網(wǎng)或互聯(lián)網(wǎng)提供的典型如視頻方面的內(nèi)容進(jìn)行數(shù)據(jù)分組分析，提供低延時(shí)的本地化業(yè)務(wù)服務(wù)。MEC平臺(tái)部署在無線接入網(wǎng)或云化的無線接入網(wǎng)，有效減少核心網(wǎng)的網(wǎng)絡(luò)負(fù)載，為用戶帶來低時(shí)延、智能加載、實(shí)時(shí)互動(dòng)、可定制化的上佳用戶體驗(yàn)。

與本地XR比較，通過云端渲染的云XR可以有效提升智能計(jì)算和圖像處理能力，還可以降低用戶消費(fèi)XR的費(fèi)用。

2.2全息交互

具有5G+XR功能組件的微型投影儀，除了通常的對(duì)目標(biāo)載體深度識(shí)別后實(shí)現(xiàn)三維重構(gòu)圖像投影到墻面或幕布，在三維重構(gòu)技術(shù)基礎(chǔ)上深加工的全息圖像投影到全息膜（通常原始全息圖像是參考光和物光干涉形成（遠(yuǎn)端終端需增加干涉成像設(shè)備），以衍射方式重放，此時(shí)本地終端可選投影器鏡頭可選增加加衍射光柵;但還可以直接遠(yuǎn)端和本體終端內(nèi)部均通過復(fù)雜算法來實(shí)現(xiàn)全息成像和全息三維重構(gòu)）上，實(shí)現(xiàn)全息視頻通話。這種三維視頻數(shù)據(jù)的遠(yuǎn)端傳播對(duì)無線網(wǎng)絡(luò)數(shù)據(jù)高傳輸率、低失真率、短時(shí)延性要求很高，微型投影儀也必須加持5G功能模塊才能很好實(shí)現(xiàn)。除了全息膜，也可以采用玻璃、空氣等新興的全息方式。

基于微型投影儀實(shí)現(xiàn)的全息影像的視頻會(huì)議，使得會(huì)議終端更加多樣化，使得用戶視頻交互更直觀、更立體、更身臨其境。該方案可廣泛應(yīng)用多個(gè)場景，如3D模型互動(dòng)演示培訓(xùn)，多方參會(huì)人可以立體的、多維的觀看操作同一個(gè)3D模型，解決了現(xiàn)實(shí)中需要制作物理3D模型的教學(xué)問題。云XR作為全息影像素材存儲(chǔ)中心、分享中心以及處理中心，供大家上傳、分享、觀看各種全息影像內(nèi)容。

三、應(yīng)用APP

微型投影儀的5G+XR典型應(yīng)用模式均還有很多具體應(yīng)用，具體到每個(gè)應(yīng)用也都有進(jìn)一步擴(kuò)展空間。因此，微型投影儀的用戶界面或用戶的手持控制終端的用戶界面可以加載應(yīng)用APP。

比如，應(yīng)用APP的一級(jí)菜單設(shè)置XR投影（可選增設(shè)背投、倒置模式）、XR視頻采集、XR視頻通話、XR全息投影、人臉識(shí)別、物體識(shí)別、XR其他應(yīng)用等基本功能模式，XR其他應(yīng)用再設(shè)置二級(jí)菜單，把XR游戲、XR購物、XR導(dǎo)航，XR布置家居、XR看星空等容納其中。

四、結(jié)束語：

人們通過手持具有5G+XR功能組件的微型投影儀，可以免除戴頭盔、戴眼鏡，直接人眼就可以在現(xiàn)實(shí)環(huán)境中體驗(yàn)各種本地和云端的XR場景。特別地，隨著超高清視頻、人工智能、云計(jì)算技術(shù)的飛速發(fā)展，基于微型投影儀的5G+云+XR將會(huì)為工業(yè)制造、教育、醫(yī)療以及個(gè)人娛樂消費(fèi)領(lǐng)域帶來全新的信息消費(fèi)體驗(yàn)，讓沉浸式可互動(dòng)多情節(jié)觀影體驗(yàn)隨時(shí)隨地呈現(xiàn)在人們面前，催生更多創(chuàng)新應(yīng)用場景。

同時(shí)，為了使得基于微型投影儀的5G+XR在交互模式上進(jìn)一步拓展，可以引入更加智能化的交互方式，如手勢識(shí)別、身姿識(shí)別等;另外，APP中的XR應(yīng)用模式不斷延伸，以及UWB引入投影多內(nèi)容源交互越來越多情況下，基于內(nèi)容安全性，還可以通過區(qū)塊鏈征信系統(tǒng)實(shí)現(xiàn)信息共享。

圖1的粗虛線右側(cè)部分與5G+XR核心關(guān)聯(lián)的，一方面是5G MODEM（Modulator&Demodulator，調(diào)制解調(diào)器）和關(guān)聯(lián)的射頻前端以及MIMO（Multi-input Multi-output，多輸入輸出）天線組成的5G移動(dòng)通信模塊，另一方面是由紅外深度識(shí)別組件、激光雷達(dá)掃描儀、頂部魚眼攝像頭以及UWB（Ultra Wideband，超寬帶）模塊等組成的XR交互部件。這些XR交互部件是可以其中一個(gè)或某幾個(gè)組合共存而不是必須全部共存的。

另外，圖1的粗虛線右側(cè)部分還有高清觸摸顯示屏以及前已述及的WIFI、藍(lán)牙模塊。高清觸摸顯示屏為用戶提供一個(gè)友好的UI交互界面，但其也可以由與WIFI、藍(lán)牙模塊無線連接的手持終端UI界面來替代，因而是可選的。

5G移動(dòng)通信模塊

由5G調(diào)制解調(diào)器、射頻前端和天饋系統(tǒng)組成的5G通信模塊，實(shí)現(xiàn)5G通信功能離不開系統(tǒng)程序存儲(chǔ)器存儲(chǔ)并調(diào)用到應(yīng)用處理器處理的通信協(xié)議處理和基帶信息處理等相關(guān)的程序。

同時(shí)，對(duì)于5G天饋系統(tǒng)來說，最大的特點(diǎn)是MIMO。用于5G通信的頻段包含Sub 6GHz和毫米波頻段。在圖2的微型投影儀外表面布局圖中，4*4MIMO的Sub 6GHz天線分布在棱邊4個(gè)不同位置上，形成一個(gè)天線組，可采用FPC、LDS以及PDS工藝實(shí)現(xiàn)。但5G頻段眾多，一個(gè)天線上往往只是相近頻段，需要增加到多個(gè)天線，于是就有多個(gè)天線組，故實(shí)際上天線分布比圖示復(fù)雜很多。

利用毫米波的大帶寬能有效提升移動(dòng)通信網(wǎng)絡(luò)系統(tǒng)數(shù)據(jù)吞吐量。毫米波天線尺寸是毫米級(jí)的（約2.5mm），頻段比較寬，2*2 MIMO就可，但因?yàn)楹撩撞姶挪ǖ念l率非常高，在空氣中傳播衰減較快，為了減少衰減，所以一般會(huì)配2～4個(gè)天線模塊（Aim方式，Antenna in Module，即天線陣列與射頻芯片RFIC形成一模組），規(guī)則地分布在不同位置，某個(gè)信號(hào)差自動(dòng)轉(zhuǎn)別的，避免單一的一個(gè)導(dǎo)致收發(fā)不暢。同時(shí)，毫米波天線是垂直與水平天線交互的點(diǎn)陣，對(duì)應(yīng)垂直和水平兩個(gè)極化方向的信號(hào)收發(fā)，可以采用相控陣體系，天線單元做波束成形，通過軟件控制聚集射頻信號(hào)朝一個(gè)方向。

針對(duì)Sub 6GHz和毫米波頻段通過深度學(xué)習(xí)對(duì)信道估計(jì)、信道檢測、CSI反饋和重建、信道譯碼增強(qiáng)MIMO無線傳輸[4]，可以使得微型投影儀在5G+XR高帶寬、移動(dòng)性應(yīng)用，典型如4k/8k/16k高清視頻碼流傳輸方面更加自如。

從圖2還可以看出，從便攜式角度，具有5G+XR功能微型投影儀一般可做成加厚版平板電腦形態(tài)（現(xiàn)有高亮度光機(jī)厚度可以控制在20mm厚度左右）。

1.2? XR交互部件

1.2.1 紅外深度識(shí)別組件

圖3給出微型投影儀上的前面板局部布局示意圖。為了便于緊湊布局，除了要保持足夠亮度的光機(jī)采用了較大的動(dòng)件（通過馬達(dá)驅(qū)動(dòng)調(diào)焦）和定件以及散熱件，紅外深度識(shí)別組件在紅外攝像頭之外，采用了小型化的紅外TOF（Time of Light，飛行時(shí)間）傳感器和泛光照射器。紅外TOF傳感器集成有紅外發(fā)射和接收裝置，采用iTOF（indirect TOF）技術(shù)，用VCSEL（vertical Cavity surface Emitting Laser，垂直共腔振表面放射激光器）發(fā)射紅外連續(xù)調(diào)制脈沖光并接收目標(biāo)反射的紅外光，進(jìn)行零差解調(diào)以測量反射光的相移，間接計(jì)算出光的飛行時(shí)間，進(jìn)行目標(biāo)深度的預(yù)判（即先粗略確定有無意向中的目標(biāo)的深度信息），然后再在泛光照射器進(jìn)行紅外補(bǔ)光時(shí)再次發(fā)射紅外信息并通過紅外攝像頭采集精細(xì)化的目標(biāo)深度信息。

紅外攝像頭還可以單獨(dú)工作用于識(shí)別用戶在投影界面的按鈕、手指、激光筆等坐標(biāo)特征，用于互動(dòng)投影。

彩色攝像頭獲取目標(biāo)載體的二維特征信息，即RGB信息;同時(shí)，處理器根據(jù)紅外深度識(shí)別組件采集深度信息D。然后處理器將兩者匯聚合成為目標(biāo)載體的RGBD信息，亦即三維特征信息。該信息可以進(jìn)一步經(jīng)由處理器實(shí)現(xiàn)三維圖像重構(gòu)應(yīng)用于XR虛擬圖像渲染或三維圖像識(shí)別。

1.2.2 激光雷達(dá)掃描儀

激光雷達(dá)掃描儀是基于dTOF（direct TOF）原理工作的微型LiDAR（Light Detection and Ranging，光探測和探距）部件。dToF核心組件包含VCSEL、單光子雪崩二極管SPAD（Single Photon Avalanche Diode）和時(shí)間數(shù)字轉(zhuǎn)換器TDC（Time Digital Converter）。SPAD是一種具有單光子探測能力的光電探測雪崩二極管，只要有微弱的光信號(hào)就能產(chǎn)生電流。dToF模組的VCSEL向場景中發(fā)射脈沖波，SPAD接收從目標(biāo)物體反射回來的脈沖波。TDC能夠記錄每次接收到的光信號(hào)的飛行時(shí)間，也就是發(fā)射脈沖和接收脈沖之間的時(shí)間間隔。dToF會(huì)在單幀測量時(shí)間內(nèi)發(fā)射和接收N次光信號(hào)，然后對(duì)記錄的N次飛行時(shí)間做直方圖統(tǒng)計(jì)，其中出現(xiàn)頻率最高的飛行時(shí)間t用來計(jì)算待測物體的深度。

dToF技術(shù)系統(tǒng)在很短的時(shí)間窗口內(nèi)發(fā)出高能光脈沖，曝光時(shí)間越短，運(yùn)動(dòng)模糊的效應(yīng)越小，更適用于戶外;同時(shí)，信號(hào)占空比通常比同等水平的連續(xù)波系統(tǒng)要低得多，可以降低系統(tǒng)的總功耗;另外，因脈沖時(shí)序和寬度不需要一樣，支持更寬的動(dòng)態(tài)范圍和自動(dòng)曝光等功能。

采用脈沖dToF技術(shù)的激光雷達(dá)掃描儀在微型投影儀上位置可以比較靈活，不局限于布局前部，還可以布局頂部、側(cè)部乃至后部，通過掃描外部場景獲取的深度信息，融合布局于投影儀機(jī)體相應(yīng)方位的彩色攝像頭獲取的2D圖像，在應(yīng)用中創(chuàng)建該場景的3D模型，然后用戶就可以對(duì)該模型展開編輯、將新對(duì)象添加到該場景中并使用XR查看實(shí)際場景中添加的對(duì)象。

1.2.3 頂部魚眼攝像頭

頂部魚眼攝像頭應(yīng)用于微型投影儀，首先可以服務(wù)于視頻電話會(huì)議系統(tǒng)。

頂部魚眼攝像頭通過360度環(huán)繞周圍攝錄影像，實(shí)現(xiàn)根據(jù)設(shè)定如5m范圍內(nèi)的全景影像采集，并根據(jù)捕捉的聲音來源（通過圖2中的多個(gè)麥克風(fēng)協(xié)同工作，實(shí)現(xiàn)定向錄音）自主選擇會(huì)議發(fā)言人進(jìn)行專項(xiàng)拍攝，也可以響應(yīng)用戶指令實(shí)現(xiàn)對(duì)投影影像內(nèi)容的攝錄實(shí)現(xiàn)信息共享。同時(shí)，經(jīng)由5G系統(tǒng)從遠(yuǎn)端接收到的音頻和視頻可以分別通過揚(yáng)聲器和光機(jī)播放。

電話會(huì)議開始后，音頻系統(tǒng)和魚眼攝像頭同時(shí)啟動(dòng)工作，會(huì)議室的圖像和語音就可以經(jīng)由移動(dòng)通信網(wǎng)絡(luò)傳遞到多個(gè)遠(yuǎn)程會(huì)議現(xiàn)場，并能經(jīng)各個(gè)遠(yuǎn)端會(huì)議室的投影投放，在會(huì)議進(jìn)行過程中通過魚眼度攝像頭定向?qū)?huì)議發(fā)言人或會(huì)議投影內(nèi)容進(jìn)行攝錄交互共享，實(shí)現(xiàn)良好的視頻電話會(huì)議功能。

1.2.4 UWB

UWB用于實(shí)現(xiàn)室內(nèi)定位。UWB限制在3.1-10.6GHz和低于41dB發(fā)射功率。UWB不同于傳統(tǒng)的通信技術(shù)，它通過發(fā)送和接收具有納秒或微秒級(jí)以下的極窄脈沖來實(shí)現(xiàn)無線傳輸，可以實(shí)現(xiàn)500MHz以上的超寬帶。

UWB抗多徑能力強(qiáng)，定位精度高，其精度甚至可以達(dá)到Wi-Fi、BT等傳統(tǒng)系統(tǒng)的百倍以上。同時(shí)，時(shí)間戳精度高，納秒級(jí)脈沖信號(hào)由定時(shí)來計(jì)算位置的誤差通常小于幾厘米。此外，電磁兼容性強(qiáng)，能夠很好地隱蔽在其它類型信號(hào)和環(huán)境噪聲之中，既不會(huì)對(duì)其他通信業(yè)務(wù)造成干擾，同時(shí)也能夠避免其他通信設(shè)備對(duì)其造成干擾。

基于上述技術(shù)優(yōu)勢，采用UWB具備極佳的空間感知能力。利用UWB技術(shù)，微型投影儀和其他具有UWB標(biāo)簽的智能設(shè)備可以更精準(zhǔn)地實(shí)現(xiàn)室內(nèi)定位，不僅可以感知自己的位置，還可以感知周邊其它智能終端設(shè)備的位置。這就構(gòu)成了5G系統(tǒng)下低成本終端直通D2D。智能終端設(shè)備或物聯(lián)設(shè)備通過UWB模塊接入到微型投影儀后，從而可以接入到5G系統(tǒng)，不僅使得微型投影儀有了更便捷的數(shù)據(jù)來源，也使得智能終端設(shè)備或物聯(lián)設(shè)備具有了連接5G蜂窩網(wǎng)絡(luò)的能力[5，6]。

微型投影儀5G+XR應(yīng)用場景

微型投影儀的XR部件中，采用iTOF技術(shù)的紅外深度識(shí)別組件適合室內(nèi)近距3D識(shí)別;采用dTOF技術(shù)的激光雷達(dá)掃描儀適合于室外遠(yuǎn)距3D識(shí)別。兩者均既可針對(duì)投影界面內(nèi)容進(jìn)行3D建模和重構(gòu)，也可針對(duì)投影界面之外的實(shí)景世界進(jìn)行3D掃描、建模和重構(gòu)。雖然可以二選一應(yīng)用，但同時(shí)應(yīng)用性能更能互補(bǔ)。這兩個(gè)部件是XR交互主要的感知器，其信息采集和處理既可以應(yīng)用于本地XR，也可以通過5G網(wǎng)絡(luò)傳遞到MEC平臺(tái)（Mobile Edge Computing，移動(dòng)邊緣計(jì)算）或云平臺(tái)構(gòu)成云XR。

頂部魚眼攝像頭則主要把單機(jī)XR功能擴(kuò)展到視頻會(huì)議場景。UWB則使得多機(jī)交互更便捷，經(jīng)由室內(nèi)精準(zhǔn)定位，外部終端信息和微型投影儀可快捷實(shí)現(xiàn)多內(nèi)容源交互。這兩者的結(jié)合可以使得在多人參與的遠(yuǎn)程視頻會(huì)議中能隨時(shí)精準(zhǔn)定位與會(huì)者的內(nèi)容設(shè)備位置并快速切換XR內(nèi)容源。

上述XR部件結(jié)合5G模塊，多個(gè)微型投影儀可以本地或異地聯(lián)合3D投影，實(shí)現(xiàn)廣景式、集群式或共享式XR。

基于微型投影儀的5G+XR可以實(shí)現(xiàn)裸眼3D（原始視覺模型經(jīng)模擬人雙眼視覺進(jìn)行了法向量計(jì)算處理，即3D建模的特效以2D投影播放，也可以是原始視頻數(shù)據(jù)模型是模擬人左右眼從兩個(gè)角度記錄同一影像后兩幅圖錯(cuò)位疊加，人戴上3D眼鏡后產(chǎn)生立體感），本地全息和多地全息視頻電話會(huì)議，從而可以免除戴頭盔、戴眼鏡，手持靈活位移，體驗(yàn)上更加自在，空間層次也可以更大。

另外，在微型投影儀用戶界面或用戶遙控終端的用戶界面上采用專門的APP，可使得操控更加便捷，應(yīng)用模式更加多樣化。

云XR

如圖4所示，具有5G+XR功能組件的微型投影儀藉由5G基站與MEC平臺(tái)交互（兩者通過下沉到基站的邊緣UPF相結(jié)合）可以很好實(shí)現(xiàn)云XR功能。MEC平臺(tái)具有AI引擎和XR計(jì)算能力以及存儲(chǔ)和網(wǎng)絡(luò)服務(wù)功能，對(duì)來自于微型投影儀以及來自企業(yè)網(wǎng)或互聯(lián)網(wǎng)提供的典型如視頻方面的內(nèi)容進(jìn)行數(shù)據(jù)分組分析，提供低延時(shí)的本地化業(yè)務(wù)服務(wù)。MEC平臺(tái)部署在無線接入網(wǎng)或云化的無線接入網(wǎng)，有效減少核心網(wǎng)的網(wǎng)絡(luò)負(fù)載，為用戶帶來低時(shí)延、智能加載、實(shí)時(shí)互動(dòng)、可定制化的上佳用戶體驗(yàn)。

與本地XR比較，通過云端渲染的云XR可以有效提升智能計(jì)算和圖像處理能力，還可以降低用戶消費(fèi)XR的費(fèi)用。

全息交互

具有5G+XR功能組件的微型投影儀，除了通常的對(duì)目標(biāo)載體深度識(shí)別后實(shí)現(xiàn)三維重構(gòu)圖像投影到墻面或幕布，在三維重構(gòu)技術(shù)基礎(chǔ)上深加工的全息圖像投影到全息膜（通常原始全息圖像是參考光和物光干涉形成（遠(yuǎn)端終端需增加干涉成像設(shè)備），以衍射方式重放，此時(shí)本地終端可選投影器鏡頭可選增加加衍射光柵;但還可以直接遠(yuǎn)端和本體終端內(nèi)部均通過復(fù)雜算法來實(shí)現(xiàn)全息成像和全息三維重構(gòu)）上，實(shí)現(xiàn)全息視頻通話。這種三維視頻數(shù)據(jù)的遠(yuǎn)端傳播對(duì)無線網(wǎng)絡(luò)數(shù)據(jù)高傳輸率、低失真率、短時(shí)延性要求很高，微型投影儀也必須加持5G功能模塊才能很好實(shí)現(xiàn)。除了全息膜，也可以采用玻璃、空氣等新興的全息方式。

基于微型投影儀實(shí)現(xiàn)的全息影像的視頻會(huì)議，使得會(huì)議終端更加多樣化，使得用戶視頻交互更直觀、更立體、更身臨其境。該方案可廣泛應(yīng)用多個(gè)場景，如3D模型互動(dòng)演示培訓(xùn)，多方參會(huì)人可以立體的、多維的觀看操作同一個(gè)3D模型，解決了現(xiàn)實(shí)中需要制作物理3D模型的教學(xué)問題。云XR作為全息影像素材存儲(chǔ)中心、分享中心以及處理中心，供大家上傳、分享、觀看各種全息影像內(nèi)容。

應(yīng)用APP

微型投影儀的5G+XR典型應(yīng)用模式均還有很多具體應(yīng)用，具體到每個(gè)應(yīng)用也都有進(jìn)一步擴(kuò)展空間。因此，微型投影儀的用戶界面或用戶的手持控制終端的用戶界面可以加載應(yīng)用APP。比如，應(yīng)用APP的一級(jí)菜單設(shè)置XR投影（可選增設(shè)背投、倒置模式）、XR視頻采集、XR視頻通話、XR全息投影、人臉識(shí)別、物體識(shí)別、XR其他應(yīng)用等基本功能模式，XR其他應(yīng)用再設(shè)置二級(jí)菜單，把XR游戲、XR購物、XR導(dǎo)航，XR布置家居、XR看星空等容納其中。

結(jié)束語：

人們通過手持具有5G+XR功能組件的微型投影儀，可以免除戴頭盔、戴眼鏡，直接人眼就可以在現(xiàn)實(shí)環(huán)境中體驗(yàn)各種本地和云端的XR場景。特別地，隨著超高清視頻、人工智能、云計(jì)算技術(shù)的飛速發(fā)展，基于微型投影儀的5G+云+XR將會(huì)為工業(yè)制造、教育、醫(yī)療以及個(gè)人娛樂消費(fèi)領(lǐng)域帶來全新的信息消費(fèi)體驗(yàn)，讓沉浸式可互動(dòng)多情節(jié)觀影體驗(yàn)隨時(shí)隨地呈現(xiàn)在人們面前，催生更多創(chuàng)新應(yīng)用場景。

同時(shí)，為了使得基于微型投影儀的5G+XR在交互模式上進(jìn)一步拓展，可以引入更加智能化的交互方式，如手勢識(shí)別、身姿識(shí)別等;另外，APP中的XR應(yīng)用模式不斷延伸，以及UWB引入投影多內(nèi)容源交互越來越多情況下，基于內(nèi)容安全性，還可以通過區(qū)塊鏈征信系統(tǒng)實(shí)現(xiàn)信息共享。

參考文獻(xiàn)：

中興通訊.5G云XR應(yīng)用白皮書[R/OL]， （2019-2-19）[2019-3-19]. https：//res-www.zte.com.cn/mediares/zte/Files/PDF/white_book/201902011029.pdf？la=zh-CN

張晨璐， vivo通信研究院編著.從局部到整體：5G系統(tǒng)觀[D]，北京：人民郵電出版社，2020：19-24.

安福雙 鐘建輝，編著.互聯(lián)網(wǎng)下一站 5G與AR/VR的融合[D].北京：電子工業(yè)出版社，2020：17-27;87-99.

金石，溫朝凱，編著.智能通信：基于深度學(xué)習(xí)的物理層設(shè)計(jì)[D]，北京：科學(xué)出版社，2020：1-14.

羅振東，焦慧穎，魏克軍，等.寬帶無線接入技術(shù)[D]，北京：電子工業(yè)出版社，2017：330-333.

楊昉，劉思聰，高鎮(zhèn)，編著.5G移動(dòng)通信空口新技術(shù)[D].北京：電子工業(yè)出版社，2020：263-273.

作者：張永亮 性別：男? 出生年月：1975.3 籍貫 河南 學(xué)歷：碩士 工作單位：中興通訊上海研發(fā)中心（上海市浦東新區(qū)張江鎮(zhèn)碧波路889號(hào)），目前從事5G終端研發(fā)工作。