以南宋御街為載體,初步構(gòu)建文旅元宇宙平臺(tái),研發(fā)底層通用能力。在南宋御街的XR應(yīng)用場(chǎng)景中,通過(guò)端邊云算力協(xié)同解決終端算力不足的問(wèn)題;通過(guò)XR業(yè)務(wù)的識(shí)別感知及網(wǎng)業(yè)協(xié)同,解決差異化帶寬和時(shí)延保障問(wèn)題;通過(guò)匹配業(yè)務(wù)的算力分發(fā)和資源調(diào)度,提高資源利用效率
如今,到杭州南宋御街旅游,只需在鼓樓門(mén)前戴上VR眼鏡,就能見(jiàn)到身著湖綠色旗袍的數(shù)字人“杭小憶”姑娘伴隨著桃花雨從天而降,引領(lǐng)游客循著AR打卡路徑,不僅將活字印刷術(shù)、官窯、絲綢制作等傳統(tǒng)手工藝依次呈現(xiàn)眼前,還能點(diǎn)擊進(jìn)入虛擬數(shù)字商店,油紙傘、團(tuán)扇、瓷器、絲綢等12件數(shù)字藏品一鍵通通“購(gòu)買”……通過(guò)中國(guó)移動(dòng)(浙江)創(chuàng)新研究院有限公司(下稱“浙江移動(dòng)研究院”)打造的XR云渲染平臺(tái),讓千年御街登陸元宇宙,游客可以沿著南宋御街體驗(yàn)XR虛實(shí)相融空間,沉浸式感受南宋王朝政治、經(jīng)濟(jì)、文化以及民俗風(fēng)情。
核心算力引擎云化,解決核心痛點(diǎn)
算力作為信息社會(huì)的基礎(chǔ),已成為數(shù)字經(jīng)濟(jì)時(shí)代的核心生產(chǎn)力。但在算力實(shí)際運(yùn)用中,還存在著諸多問(wèn)題和痛點(diǎn)。例如,不同XR業(yè)務(wù)對(duì)傳輸帶寬需求波動(dòng)范圍大,需要算網(wǎng)根據(jù)業(yè)務(wù)需求區(qū)分保障,保障有限容量承載更多用戶;部分XR業(yè)務(wù)需要超低時(shí)延,可靠性要求,算網(wǎng)需要根據(jù)業(yè)務(wù)感知并調(diào)優(yōu);終端不支持專用承載的建立,導(dǎo)致XR的專用QoS Flow不能動(dòng)態(tài)建立;終端價(jià)格高且無(wú)法達(dá)到深度沉浸,需顯示演進(jìn)、輕量化、渲染等功能上云;GPU成本高昂、盈利困難等。
“我們需要在算力網(wǎng)絡(luò)技術(shù)的配合下不斷探索和積累,以應(yīng)對(duì)未來(lái)的挑戰(zhàn)?!闭憬苿?dòng)研究院相關(guān)負(fù)責(zé)人介紹道,在南宋御街的XR應(yīng)用場(chǎng)景中,研究院將核心算力引擎云化,重點(diǎn)發(fā)展云基于云XR算力引擎和云算力網(wǎng)絡(luò)架構(gòu)部署的云XR渲染平臺(tái)。其中,云XR算力網(wǎng)絡(luò)是針對(duì)云XR業(yè)務(wù)提供專有連接保障和算力優(yōu)化的XR基礎(chǔ)設(shè)施,并通過(guò)云XR引擎輸出通用標(biāo)準(zhǔn)能力,主要包括空間定位、點(diǎn)云建圖、實(shí)時(shí)云渲染、空間編排等核心服務(wù),并對(duì)外輸出標(biāo)準(zhǔn)SDK供各種類型XR行業(yè)應(yīng)用產(chǎn)品集成。同時(shí),通過(guò)分布式的架構(gòu)設(shè)計(jì),有效解決算力不足的問(wèn)題,并且優(yōu)化終端設(shè)備的性能,實(shí)現(xiàn)業(yè)務(wù)與能力的解耦。
基于云XR渲染平臺(tái)構(gòu)建業(yè)務(wù)應(yīng)用,南宋御街文旅元宇宙平臺(tái)融合了區(qū)塊鏈、交互技術(shù)、電子游戲、人工智能、智能網(wǎng)絡(luò)、物聯(lián)網(wǎng)等多項(xiàng)技術(shù),重構(gòu)了南宋御街從朝天門(mén)(今鼓樓)開(kāi)始到太平巷200米的御街核心虛擬空間,再現(xiàn)了南宋文明繁華景象,帶領(lǐng)游客沉浸式、虛實(shí)相融了解和體驗(yàn)?zāi)纤瓮醭巍⒔?jīng)濟(jì)、文化以及民俗風(fēng)情,打造宋韻文化“金名片”。
“杭小憶”則是南宋御街文旅元宇宙平臺(tái)的核心應(yīng)用。她是通過(guò)多模態(tài)千億級(jí)參數(shù)大模型訓(xùn)練而成,具備圖文音的AI能力,作為沉浸式VR體驗(yàn)的數(shù)字孿生世界,可以帶來(lái)交互式智能體驗(yàn)。她還可以化身數(shù)字Idol多模態(tài)全程導(dǎo)游,帶領(lǐng)游客沿著南宋御街進(jìn)行XR虛實(shí)相融空間體驗(yàn)。
此外,南宋御街文旅元宇宙平臺(tái)的商業(yè)模式為“文化+商業(yè)”閉環(huán)運(yùn)行,可以為商戶提供線下商店與線上商品銷售相融合的服務(wù)。商家基于平臺(tái)的區(qū)塊鏈能力,為游客提供數(shù)字藏品銷售服務(wù),這也是未來(lái)虛實(shí)相生數(shù)字消費(fèi)的新趨勢(shì)。“杭小憶”還可進(jìn)行廣告宣傳和競(jìng)價(jià)排位策略服務(wù),為商戶提供客戶引流的營(yíng)銷閉環(huán)。以“連接+算力”為底座,云XR渲染平臺(tái)全面支撐南宋御街文旅元宇宙平臺(tái),不僅為商戶提供全方位的數(shù)字化服務(wù),更為云XR渲染平臺(tái)的商業(yè)模式落地提供可能。
創(chuàng)新云XR算力網(wǎng)絡(luò)和引擎,推進(jìn)元宇宙應(yīng)用落地
南宋御街文旅元宇宙平臺(tái)項(xiàng)目中,浙江移動(dòng)研究院通過(guò)搭建XR渲染平臺(tái),探索性地先行先試驗(yàn)證和應(yīng)用了云XR算力網(wǎng)絡(luò)和云XR算力引擎。這一創(chuàng)新方案充分利用了中國(guó)移動(dòng)社會(huì)級(jí)基礎(chǔ)設(shè)施服務(wù),包括5G網(wǎng)絡(luò)、泛在融合的算力網(wǎng)絡(luò)和AI、區(qū)塊鏈、物聯(lián)網(wǎng)、大數(shù)據(jù)、隱私計(jì)算等領(lǐng)域的技術(shù)能力,為元宇宙應(yīng)用提供低時(shí)延、高智能的服務(wù),使元宇宙低時(shí)延、高智能的應(yīng)用大規(guī)模落地成為可能。
就云XR算力網(wǎng)絡(luò)方面而言,通過(guò)XR業(yè)務(wù)識(shí)別,可以讓網(wǎng)絡(luò)感知XR業(yè)務(wù)需求,并針對(duì)具體業(yè)務(wù)進(jìn)行端到端鏈路專載保障和路徑優(yōu)化,保障業(yè)務(wù)帶寬時(shí)延可靠性,包括調(diào)度系統(tǒng)、核心網(wǎng)、承載網(wǎng)、無(wú)線網(wǎng)的策略。針對(duì)應(yīng)用泛在接入的XR業(yè)務(wù)場(chǎng)景,集中部署XR平臺(tái)資源與內(nèi)容,用戶通過(guò)RTN極低時(shí)延接入,降低XR業(yè)務(wù)部署成本以及用戶門(mén)檻。
同時(shí),將XR類業(yè)務(wù)渲染、空間識(shí)別、內(nèi)容庫(kù)等實(shí)時(shí)性處理要求高的模塊在邊緣節(jié)點(diǎn)云化部署,而管理類、運(yùn)營(yíng)類模塊集中部署,以云邊協(xié)同的方式提供完整XR業(yè)務(wù)。
此外,針對(duì)要求超低時(shí)延的場(chǎng)景,將算力部署在離用戶更近的5G算力基站上,實(shí)現(xiàn)云XR業(yè)務(wù)的算力分解和更低延遲,提供更流暢的體驗(yàn)。通過(guò)跨業(yè)務(wù)跨區(qū)域跨云的方式,進(jìn)行算力資源的混合調(diào)度及共享,提高資源利用率,降低算力成本。
云XR算力引擎則能自動(dòng)離線生成與真實(shí)世界尺度相同坐標(biāo)對(duì)齊的大規(guī)模三維環(huán)境模型,根據(jù)應(yīng)用場(chǎng)景需要輸出不同精度等級(jí)的展示模型,解決3D世界模型的批量生產(chǎn)問(wèn)題。使用相機(jī)圖像數(shù)據(jù)和云端算法實(shí)時(shí)解算XR設(shè)備在城市大型空間中的精確位置和6—Dof姿態(tài),提供泛在的視覺(jué)定位能力。
同時(shí),云XR算力引擎能夠提供可視化操作,編排人員可以將數(shù)字內(nèi)容準(zhǔn)確部署到三維空間,實(shí)現(xiàn)虛擬數(shù)字內(nèi)容映射在世界任意空間位置并持久化保存共享,并提供大型3D模型實(shí)時(shí)渲染和流化分發(fā)及實(shí)時(shí)音視頻互動(dòng)的能力,支持大型元宇宙場(chǎng)景下高動(dòng)態(tài)/強(qiáng)交互內(nèi)容的次世代超分渲染,以及元宇宙應(yīng)用中實(shí)時(shí)音視頻社交互動(dòng)開(kāi)發(fā)。
“目前來(lái)看,元宇宙產(chǎn)業(yè)還處于‘碎片化’發(fā)展階段,產(chǎn)業(yè)技術(shù)成熟度有待提高、行業(yè)成熟應(yīng)用少、面向不同行業(yè)的硬件兼容以及標(biāo)準(zhǔn)化、通用化較弱。”浙江移動(dòng)研究院相關(guān)負(fù)責(zé)人說(shuō)。而XR云渲染平臺(tái)在南宋御街文旅元宇宙平臺(tái)項(xiàng)目的成功運(yùn)用,為加快推動(dòng)元宇宙技術(shù)落地,完善云渲染平臺(tái)產(chǎn)品提供了方向和助力。
接下來(lái),浙江移動(dòng)研究院將完善XR云渲染平臺(tái)的元宇宙內(nèi)容生產(chǎn)支撐能力,健全合作生態(tài)伙伴,豐富元宇宙場(chǎng)景服務(wù)能力,拓展更多成熟服務(wù)場(chǎng)景,并在其他元宇宙場(chǎng)景進(jìn)行推廣。力爭(zhēng)到2025年能夠進(jìn)一步拓展云渲染平臺(tái)的元宇宙支撐能力和開(kāi)放體系建設(shè),拓展服務(wù)合作伙伴,引導(dǎo)不同合作伙伴間資源和能力的互補(bǔ),進(jìn)一步構(gòu)建完善元宇宙生態(tài),并探索元宇宙產(chǎn)品從試點(diǎn)區(qū)域向其他場(chǎng)景延伸。
[作者單位:中國(guó)移動(dòng)(浙江)創(chuàng)新研究院有限公司]