李 鵬，黎 軍，楊明祎，胡偉濤

(1. 西安電子科技大學(xué)，西安 710071; 2. 中國(guó)空間技術(shù)研究院西安分院，西安 710000)

0 引言

360°全景視頻作為虛擬現(xiàn)實(shí)(virtual reality，VR)技術(shù)的重要組成部分，能夠?yàn)橛^看者提供更為豐富的場(chǎng)景信息和身臨其境的沉浸感，在包括航空航天、軍事、醫(yī)療、教育、交通運(yùn)輸和娛樂(lè)等多個(gè)領(lǐng)域受到了越來(lái)越廣泛的關(guān)注[1-2]。隨著新的全景視頻采集設(shè)備和顯示設(shè)備的不斷涌現(xiàn)，高效的傳輸技術(shù)[3-4]和視頻編碼技術(shù)[5-7]的不斷發(fā)展，為設(shè)計(jì)和實(shí)現(xiàn)面向“空-地”交互的全景視頻傳輸系統(tǒng)奠定了技術(shù)基礎(chǔ)。

目前，廣泛使用的360°全景視頻傳輸系統(tǒng)由服務(wù)器、客戶(hù)端以及連接服務(wù)器和客戶(hù)端的傳輸鏈路三部分組成。其中，服務(wù)器負(fù)責(zé)將全景相機(jī)采集的視頻數(shù)據(jù)編碼為適合于流媒體傳輸?shù)囊曨l碼流，客戶(hù)端根據(jù)當(dāng)前傳輸鏈路的狀態(tài)、自身的處理能力及緩存情況，向服務(wù)器端請(qǐng)求下載對(duì)應(yīng)的視頻碼流。獲取所請(qǐng)求的碼流后，客戶(hù)端對(duì)其進(jìn)行解碼和渲染，并送入頭盔式顯示器(helmet-mounted displays，HMD)或球面屏幕進(jìn)行顯示，供終端用戶(hù)觀看。傳輸鏈路則負(fù)責(zé)為服務(wù)器和客戶(hù)端提供數(shù)據(jù)和控制指令的傳輸通道。

360°全景視頻傳輸系統(tǒng)常用的傳輸方法包括全景傳輸方法和視口自適應(yīng)傳輸方法[8]。全景傳輸方法是指服務(wù)器將全景視頻編碼為單一碼率的視頻流發(fā)送至客戶(hù)端，用戶(hù)切換視口時(shí)視頻體驗(yàn)質(zhì)量不受影響，但受碼率限制用戶(hù)視口內(nèi)的視頻質(zhì)量較差，傳輸帶寬的利用率低；視口自適應(yīng)傳輸方法是指客戶(hù)端根據(jù)用戶(hù)當(dāng)前視口的位置向服務(wù)器請(qǐng)求碼流，服務(wù)器采用不同碼率對(duì)視口內(nèi)外區(qū)域進(jìn)行編碼，并將對(duì)應(yīng)的碼流發(fā)送至客戶(hù)端供解碼和顯示。此方法提高了傳輸帶寬的利用率，但當(dāng)用戶(hù)切換視口時(shí)，如果服務(wù)器端發(fā)送的視頻碼流不能及時(shí)響應(yīng)用戶(hù)視口的變化，就會(huì)對(duì)終端用戶(hù)的視頻體驗(yàn)質(zhì)量造成嚴(yán)重影響。

本文對(duì)360°全景視頻傳輸系統(tǒng)的視口自適應(yīng)傳輸方法進(jìn)行分析，針對(duì)用戶(hù)視口發(fā)生變化時(shí)系統(tǒng)不能及時(shí)響應(yīng)的問(wèn)題，提出了一種低時(shí)延的全景視頻傳輸方法。在本方法中，服務(wù)器將全景視頻數(shù)據(jù)編碼為低質(zhì)量的基本層、高質(zhì)量的增強(qiáng)層以及用于用戶(hù)視口切換的隨機(jī)接入幀間預(yù)測(cè)幀(random access inter-prediction frame, RAPF)3種碼流，利用3者的不同組合來(lái)減小用戶(hù)視口切換時(shí)延。相比于已有方法，使用所提出方法實(shí)現(xiàn)360°全景視頻傳輸，可以顯著減小用戶(hù)視口切換時(shí)延，同時(shí)提高傳輸帶寬的利用率，從而為實(shí)現(xiàn)高體驗(yàn)質(zhì)量的全景視頻傳輸系統(tǒng)提供了一種可行方法。

1 當(dāng)前全景視頻傳輸系統(tǒng)面臨的問(wèn)題

360°全景視頻傳輸系統(tǒng)對(duì)全景相機(jī)采集的球面視頻數(shù)據(jù)進(jìn)行處理，將其編碼為適合傳輸?shù)囊曨l碼流傳送至客戶(hù)端，客戶(hù)端對(duì)接收到的碼流進(jìn)行解碼和渲染后，送入HMD顯示設(shè)備中供用戶(hù)觀看?？紤]到用戶(hù)在HMD中的視口僅覆蓋全景視頻對(duì)應(yīng)球面中的局部區(qū)域，為了提高傳輸帶寬的利用率，360°全景視頻傳輸系統(tǒng)中廣泛使用了視口自適應(yīng)的傳輸方法。圖1給出了使用視口自適應(yīng)傳輸方法的360°全景視頻系統(tǒng)的原理框圖。

圖1 視口自適應(yīng)地360°全景視頻傳輸系統(tǒng)原理Fig.1 The 360° panoramic video transmission system with adaptive viewport

如圖1所示，在服務(wù)器端，全景視頻采集設(shè)備獲取的球面視頻被映射成與視頻編碼器相適配的矩形視頻，然后將其編碼為低質(zhì)量的基本層和高質(zhì)量的增強(qiáng)層。其中基本層使用較大的量化參數(shù)(quantization parameter，QP)對(duì)矩形視頻進(jìn)行編碼，得到低質(zhì)量的全景視頻碼流；而增強(qiáng)層是通過(guò)將矩形視頻劃分成若干個(gè)空域上相互不重疊的拼接塊(Tile)，然后將每個(gè)Tile在時(shí)域上劃分成固定時(shí)長(zhǎng)的視頻段(Segment)，使用較小的QP對(duì)每個(gè)Tile劃分成的Segment進(jìn)行編碼，得到高質(zhì)量的視頻碼流；將基本層和增強(qiáng)層按照一定的格式封裝后保存在服務(wù)器端，同時(shí)生成對(duì)應(yīng)碼流信息的媒體表示描述(media presentation description, MPD)文件，通過(guò)傳輸鏈路發(fā)送至客戶(hù)端?？蛻?hù)端在接收到MPD文件后，根據(jù)當(dāng)前用戶(hù)視口的位置和客戶(hù)端的資源情況，向服務(wù)器請(qǐng)求基本層碼流和覆蓋用戶(hù)視口區(qū)域Tile對(duì)應(yīng)的增強(qiáng)層碼流。在接收到所請(qǐng)求的碼流后對(duì)其進(jìn)行解碼，將解碼結(jié)果拼接成用戶(hù)視口內(nèi)呈現(xiàn)高質(zhì)量視頻，用戶(hù)視口外呈現(xiàn)低質(zhì)量視頻的全景視頻，送入HMD供用戶(hù)觀看。

已有的視口自適應(yīng)傳輸方法中，增強(qiáng)層碼流的作用是保證用戶(hù)視口內(nèi)呈現(xiàn)高質(zhì)量的視頻內(nèi)容，而基本層碼流的作用是當(dāng)用戶(hù)切換視口進(jìn)入前一時(shí)刻的不可見(jiàn)區(qū)域時(shí)，避免在新視口內(nèi)沒(méi)有呈現(xiàn)任何視頻內(nèi)容，導(dǎo)致用戶(hù)視頻體驗(yàn)質(zhì)量的急劇下降。

在對(duì)增強(qiáng)層對(duì)應(yīng)的各個(gè)Tile編碼的過(guò)程中，視頻編碼器將每個(gè)Segment編碼為一個(gè)圖像組(group of picture, GOP)，每個(gè)GOP由1個(gè)幀內(nèi)預(yù)測(cè)幀(intra-prediction frame, I幀)和后續(xù)N-1個(gè)幀間預(yù)測(cè)幀(inter-prediction frame, P幀)組成。I幀可以獨(dú)立解碼，而P幀的解碼依賴(lài)于同一GOP內(nèi)的I幀。當(dāng)用戶(hù)在觀看全景視頻過(guò)程中切換視口時(shí)，客戶(hù)端將根據(jù)切換后的視口位置向服務(wù)器端請(qǐng)求覆蓋新視口位置Tile對(duì)應(yīng)的增強(qiáng)層碼流。然而，由于GOP中P幀的解碼依賴(lài)于I幀，因此用戶(hù)視口的切換只能發(fā)生在GOP的邊界，即只能使用位于每個(gè)GOP起始位置的I幀作為視頻碼流的隨機(jī)接入點(diǎn)。

對(duì)于用戶(hù)而言，其在每個(gè)GOP內(nèi)進(jìn)行視口切換的時(shí)刻選擇是等概率的，采用現(xiàn)有的視口自適應(yīng)傳輸方法，用戶(hù)從開(kāi)始切換視口至視口內(nèi)呈現(xiàn)出高質(zhì)量視頻內(nèi)容的平均時(shí)延，至少需要1個(gè)GOP時(shí)長(zhǎng)的一半，即N/2幀時(shí)長(zhǎng)。在該時(shí)間段內(nèi)，基本層對(duì)應(yīng)的低質(zhì)量視頻內(nèi)容將暴露在用戶(hù)的視口區(qū)域內(nèi)，嚴(yán)重影響用戶(hù)的視頻體驗(yàn)質(zhì)量。圖2給出了采用視口自適應(yīng)傳輸方法實(shí)現(xiàn)全景視頻傳輸時(shí)，用戶(hù)視口內(nèi)視頻內(nèi)容的變化情況。如圖2所示，當(dāng)用戶(hù)從圖2(b)中紅色框所示的視口切換至圖2(c)紅色框所示的視口時(shí)，期望看到的視頻內(nèi)容如圖2(c)所示，但由于視口切換時(shí)延的存在，用戶(hù)在切換過(guò)程中視口內(nèi)實(shí)際呈現(xiàn)的內(nèi)容如圖2(d)所示，即用戶(hù)視口內(nèi)部分區(qū)域被基本層對(duì)應(yīng)的低質(zhì)量視頻內(nèi)容所覆蓋。

圖2 視口自適應(yīng)傳輸方法的固有缺陷Fig.2 The disadvantage of the viewport adaptive transmission method

為了解決現(xiàn)有視口自適應(yīng)傳輸方法中視口切換時(shí)延過(guò)長(zhǎng)對(duì)用戶(hù)視頻體驗(yàn)質(zhì)量的影響，宋佳潤(rùn)等[9]提出了一種被稱(chēng)為FFS-360DASH的低時(shí)延全景視頻傳輸方法，其基本思想是在服務(wù)器端編碼增強(qiáng)層時(shí)，為GOP中每個(gè)P幀額外編碼一個(gè)I幀的副本作為碼流中的隨機(jī)接入點(diǎn)。當(dāng)用戶(hù)切換視口時(shí)，將對(duì)應(yīng)位置的I幀副本發(fā)送至解碼端進(jìn)行解碼和顯示，同時(shí)用作新視口對(duì)應(yīng)GOP中后續(xù)P幀解碼的參考幀。理論上，F(xiàn)FS-360DASH傳輸方法可以將用戶(hù)視口切換時(shí)延減小至1幀時(shí)長(zhǎng)。然而，一方面在編碼I幀時(shí)只能利用空域的局部相關(guān)性來(lái)較少冗余，其編碼效率較低；另一方面，相對(duì)于P幀，I幀的數(shù)據(jù)量較大，給定傳輸帶寬條件下傳輸I幀的時(shí)長(zhǎng)要遠(yuǎn)大于P幀，因而FFS-360DASH方法在降低視口切換時(shí)延的同時(shí)，又增大了碼流的傳輸時(shí)延，而傳輸時(shí)延同樣會(huì)對(duì)用戶(hù)的視頻體驗(yàn)質(zhì)量造成影響。

因此，如何在降低視口切換時(shí)延對(duì)終端用戶(hù)視頻體驗(yàn)質(zhì)量影響的同時(shí)，盡可能地提高服務(wù)器端的編碼效率，對(duì)于提升360°全景視頻傳輸系統(tǒng)的性能，具有重要的研究意義。

2 低時(shí)延全景視頻傳輸方法及其實(shí)現(xiàn)

在采用視口自適應(yīng)傳輸方法的360°全景視頻系統(tǒng)中，當(dāng)用戶(hù)切換視口時(shí)，低質(zhì)量的視頻內(nèi)容暴露在用戶(hù)視口內(nèi)，導(dǎo)致用戶(hù)視頻體驗(yàn)質(zhì)量的急劇下降。造成這一問(wèn)題的根本原因在于，增強(qiáng)層碼流中的P幀不能獨(dú)立解碼，客戶(hù)端只能等待接收到下一個(gè)GOP中的I幀，才能夠?qū)崿F(xiàn)視頻碼流的隨機(jī)接入，進(jìn)而完成用戶(hù)視口的切換。對(duì)于用戶(hù)而言，這意味著存在較長(zhǎng)的視口切換時(shí)延。若采用FFS-360DASH傳輸方法，當(dāng)監(jiān)測(cè)到用戶(hù)切換視口時(shí)，客戶(hù)端向服務(wù)器端請(qǐng)求P幀對(duì)應(yīng)的I幀副本，可以實(shí)現(xiàn)視頻碼流的隨機(jī)接入，顯著降低視口切換時(shí)延。然而，相對(duì)于P幀，I幀編碼時(shí)只能利用空域上局部相關(guān)性來(lái)減小冗余，因而其編碼效率受限，在減小視口切換時(shí)延的同時(shí)，又會(huì)引入較大的傳輸時(shí)延，同樣會(huì)降低用戶(hù)的視頻體驗(yàn)質(zhì)量。

針對(duì)上述問(wèn)題，為了保證終端用戶(hù)的視頻體驗(yàn)質(zhì)量，本文提出了一種低時(shí)延的全景視頻傳輸方法，其基本思想是在視口自適應(yīng)傳輸方法的基礎(chǔ)上，為增強(qiáng)層碼流GOP中每個(gè)P幀額外編碼一個(gè)RAPF，利用RAPF作為用戶(hù)視口切換時(shí)的隨機(jī)接入點(diǎn)，顯著降低視口切換時(shí)延。同時(shí)，在編碼RAPF的過(guò)程中，利用了基本層重建圖像與增強(qiáng)層重建圖像之間的時(shí)域相關(guān)性，可以顯著的提升RAPF的編碼效率，從而減少視頻碼流的傳輸時(shí)延。

具體而言，所提出的低時(shí)延全景視頻傳輸方法的實(shí)現(xiàn)過(guò)程如下：

1)在服務(wù)器端采用與視口自適應(yīng)傳輸方法相同的方式，將原始的全景視頻編碼為基本層碼流和增強(qiáng)層碼流；同時(shí)，以基本層碼流編碼時(shí)生成的本地重建圖像的上采樣作為參考，對(duì)增強(qiáng)層碼流編碼過(guò)程中生成的各個(gè)Tile的重建圖像進(jìn)行預(yù)測(cè)編碼，得到RAPF碼流。

2)根據(jù)基本層碼流、增強(qiáng)層碼流以及RAPF碼流的編碼參數(shù)及其在服務(wù)器的保存位置，生成對(duì)應(yīng)的MPD文件。

3)客戶(hù)端根據(jù)用戶(hù)需求，向服務(wù)器請(qǐng)求獲取MPD文件，并根據(jù)當(dāng)前用戶(hù)的視口位置及可用的傳輸帶寬，向服務(wù)器請(qǐng)求基本層碼流和覆蓋視口區(qū)域Tile對(duì)應(yīng)的增強(qiáng)層碼流，并對(duì)其進(jìn)行解碼和渲染，送入HMD顯示設(shè)備進(jìn)行播放。

4)當(dāng)客戶(hù)端監(jiān)測(cè)到用戶(hù)切換視口時(shí)，客戶(hù)端向服務(wù)器請(qǐng)求基本層碼流和覆蓋新視口區(qū)域Tile對(duì)應(yīng)的RAPF碼流，對(duì)基本層碼流解碼，獲得當(dāng)前幀的重建圖像，并以該重建圖像的上采樣作為參考，對(duì)RAPF碼流解碼，獲得覆蓋視口區(qū)域Tile對(duì)應(yīng)的重建圖像，對(duì)當(dāng)前幀的重建圖像和覆蓋視口區(qū)域Tile的重建圖像進(jìn)行渲染之后，送入HMD顯示設(shè)備播放。

5)客戶(hù)端向服務(wù)器端請(qǐng)求后續(xù)的基本層碼流以及覆蓋新視口區(qū)域Tile對(duì)應(yīng)的增強(qiáng)層碼流，其中基本層碼流的解碼參考前一幀的重建圖像，而增強(qiáng)層碼流的解碼參考RAPF碼流的重建圖像，完成視口的切換。

重復(fù)上述過(guò)程，直至完成全景視頻數(shù)據(jù)的傳輸，或者客戶(hù)端終止請(qǐng)求全景視頻數(shù)據(jù)。

圖3給出了使用本文所提出的低時(shí)延全景視頻傳輸方法進(jìn)行視口切換的示例。當(dāng)用戶(hù)從視口1切換至視口2時(shí)，客戶(hù)端根據(jù)視口2的位置向服務(wù)器請(qǐng)求并獲取對(duì)應(yīng)于切換時(shí)刻的RAPF碼流，對(duì)其解碼后獲得該時(shí)刻視口2中對(duì)應(yīng)的視頻內(nèi)容。同時(shí)，客戶(hù)端向服務(wù)器端請(qǐng)求覆蓋視口2區(qū)域增強(qiáng)層碼流的后續(xù)P幀，例如圖3中視口2中的P2幀，此時(shí)P2幀將以RAPF的解碼結(jié)果作為參考幀進(jìn)行解碼，后續(xù)的P3幀將以P2幀的解碼結(jié)果作為參考幀進(jìn)行解碼，以此類(lèi)推，直至客戶(hù)端向服務(wù)器端請(qǐng)求視口2對(duì)應(yīng)的下一個(gè)GOP。依照該方法，客戶(hù)端能夠在用戶(hù)視口切換后立即在新視口內(nèi)獲得高質(zhì)量的視頻內(nèi)容，而不需要等待至下一個(gè)GOP中的隨機(jī)接入點(diǎn)。

圖3 低時(shí)延全景視頻傳輸方法視口切換過(guò)程Fig.3 Viewport switching process of low delay panoramic video transmission method

3 低時(shí)延全景視頻傳輸方法的仿真與性能分析

為了測(cè)試和驗(yàn)證本文提出的低時(shí)延全景視頻傳輸方法的性能，構(gòu)建了一個(gè)360°全景視頻傳輸系統(tǒng)，包含服務(wù)器、客戶(hù)端以及連接兩者的傳輸鏈路。其中，服務(wù)器的處理器為英特爾酷睿i7-10700(主頻2.9 GHz)，內(nèi)存為32 GB。使用Nginx庫(kù)[10]完成服務(wù)器軟件功能的構(gòu)建以及傳輸鏈路帶寬的設(shè)定?；贖.265/HEVC視頻編碼標(biāo)準(zhǔn)[11]的參考軟件x265，實(shí)現(xiàn)對(duì)全景視頻的編碼，生成符合H.265/HEVC標(biāo)準(zhǔn)的視頻碼流?？蛻?hù)端的處理器和內(nèi)存配置與服務(wù)器相同，并額外安裝了一塊英偉達(dá)公司的GTX1080 Ti顯卡(顯存8 GB)用于實(shí)現(xiàn)解碼后全景視頻的渲染。客戶(hù)端對(duì)接收到的視頻碼流進(jìn)行解碼，經(jīng)OpenGL庫(kù)渲染后，送入HTC Vive Pro頭顯設(shè)備呈現(xiàn)給終端用戶(hù)。客戶(hù)端和服務(wù)器端通過(guò)網(wǎng)線連接，使用HTTP/2協(xié)議進(jìn)行數(shù)據(jù)的請(qǐng)求和交互。

將客戶(hù)端向服務(wù)器端發(fā)送用戶(hù)視口切換信息的時(shí)刻，到用戶(hù)的HMD顯示設(shè)備中視口內(nèi)開(kāi)始呈現(xiàn)高質(zhì)量視頻內(nèi)容的時(shí)刻之間的時(shí)間間隔，定義為視口切換時(shí)延[12]。視口切換時(shí)延涵蓋了服務(wù)器獲取用戶(hù)切換視口信息所需傳輸時(shí)延，以及客戶(hù)端獲取對(duì)應(yīng)的視頻碼流的傳輸時(shí)間?；谏鲜鋈耙曨l傳輸系統(tǒng)，通過(guò)仿真實(shí)驗(yàn)對(duì)比了視口自適應(yīng)傳輸方法、FFS-360DASH傳輸方法以及本文所提出的低時(shí)延全景視頻傳輸方法的視口切換時(shí)延。仿真實(shí)驗(yàn)的仿真數(shù)據(jù)設(shè)定如下：

依照國(guó)際標(biāo)準(zhǔn)組織ITU-T推薦的360°全景視頻測(cè)試條件[13]，選取了4個(gè)分辨為8K(8 192×4 096像素)的360°全景視頻序列，分別命名為Kite-Flite、Gaslamp、Harbor和Trolley，經(jīng)等量矩形投影(equirectangular projection，ERP)映射后的視頻截圖如圖4所示：

圖4 仿真使用的4個(gè)全景視頻序列Fig.4 Shortcut of four panoramic video sequences used in simulation

上述4個(gè)360°全景視頻序列是標(biāo)準(zhǔn)測(cè)試條件中指定的具有最高分辨率的測(cè)試序列，每個(gè)序列持續(xù)時(shí)間10 s，包含300幀圖像。這4個(gè)測(cè)試序列具有不同的空間復(fù)雜度和時(shí)間復(fù)雜度，能夠代表目前主流的360°全景視頻業(yè)務(wù)[12]。

以Kite-Flite全景視頻序列為例，仿真實(shí)驗(yàn)的具體步驟如下：

1)在服務(wù)器端，生成視口自適應(yīng)傳輸方法的視頻碼流和MPD文件。設(shè)GOP大小為30幀，采用IPPP預(yù)測(cè)結(jié)構(gòu)。設(shè)定基本層目標(biāo)碼率為3 Mbps，對(duì)原始全景視頻序列編碼，得到基本層碼流。同時(shí)，將原始全景視頻在空域上劃分為72個(gè)Tile(水平方向12個(gè)，垂直方向6個(gè))，為每個(gè)Tile設(shè)定三種目標(biāo)碼率，分別為1.2 Mbps、1 Mbps以及0.8 Mbps，分別對(duì)應(yīng)3種不同質(zhì)量的增強(qiáng)層，對(duì)所劃分的各個(gè)Tile編碼，得到增強(qiáng)層碼流；將基本層和增強(qiáng)層的碼流保存在服務(wù)器端，并生成與之對(duì)應(yīng)的MPD文件。

2)在服務(wù)器端，生成FFS-360DASH傳輸方法的視頻碼流和MPD文件。其基本層和增強(qiáng)層視頻碼流的生成與視口自適應(yīng)方法相同。采用全I(xiàn)幀的預(yù)測(cè)模式，對(duì)所劃分的每個(gè)Tile進(jìn)行編碼，設(shè)定量化參數(shù)QP分別為20，22和24，得到對(duì)應(yīng)3種不同質(zhì)量的用于隨機(jī)接入的I幀碼流。將基本層、增強(qiáng)層以及用于隨機(jī)接入的I幀碼流保存在服務(wù)器端，生成與之對(duì)應(yīng)的MPD文件。

3)在服務(wù)器端，生成本文所提出的低時(shí)延全景視頻傳輸方法所需的視頻碼流和MPD文件。其基本層和增強(qiáng)層視頻碼流的生成與視口自適應(yīng)方法相同。對(duì)基本層碼流的本地解碼圖像進(jìn)行4倍上采樣，得到參考圖像；對(duì)增強(qiáng)層的碼流進(jìn)行解碼，得到各個(gè)Tile的本地解碼圖像；以參考圖像作為參考，設(shè)定量化參數(shù)QP分別為20，22和24，對(duì)各個(gè)Tile的本地解碼圖像進(jìn)行預(yù)測(cè)編碼，得到對(duì)應(yīng)3種不同質(zhì)量的用于隨機(jī)接入的RAPF碼流。將基本層、增強(qiáng)層以及RAPF碼流保存在服務(wù)器端，生成與之對(duì)應(yīng)的MPD文件。

4)在服務(wù)器端調(diào)用Nginx庫(kù)，將用于全景視頻傳輸業(yè)務(wù)的傳輸帶寬設(shè)定為30 Mbps。

5)客戶(hù)端向服務(wù)器發(fā)送GET請(qǐng)求，申請(qǐng)對(duì)應(yīng)視口自適應(yīng)傳輸方法的MPD文件，并根據(jù)當(dāng)前的可用帶寬，向服務(wù)器端請(qǐng)求對(duì)應(yīng)基本層和增強(qiáng)層的視頻碼流，經(jīng)解碼和渲染后送入HMD顯示設(shè)備進(jìn)行播放；設(shè)定每個(gè)GOP中，用戶(hù)的視口切換每間隔5幀發(fā)生一次，即在一個(gè)GOP中的第5幀、第10幀、第15幀、第20幀和第25幀時(shí)用戶(hù)切換視口；記錄用戶(hù)5次視口切換時(shí)的切換時(shí)延，計(jì)算其均值作為當(dāng)前GOP的視口切換時(shí)延；將所有GOP的視口切換時(shí)延的均值作為該視頻序列在視口自適應(yīng)傳輸方法下的視口切換時(shí)延。

6)客戶(hù)端向服務(wù)器發(fā)送GET請(qǐng)求，申請(qǐng)對(duì)應(yīng)FFS-360DASH傳輸方法的MPD文件，并根據(jù)當(dāng)前可用帶寬，向服務(wù)器端請(qǐng)求對(duì)應(yīng)基本層和增強(qiáng)層的視頻碼流，經(jīng)解碼和渲染后送入HMD顯示設(shè)備進(jìn)行播放；設(shè)用戶(hù)切換視口的時(shí)刻與步驟5)中相同，當(dāng)客戶(hù)端監(jiān)測(cè)到用戶(hù)切換視口時(shí)，向服務(wù)器端請(qǐng)求基本層碼流和用于隨機(jī)接入的I幀碼流，經(jīng)解碼和渲染后送入HMD顯示設(shè)備進(jìn)行播放；按照與步驟5)中相同的方式，記錄該視頻序列在FFS-360DASH傳輸方法下的視口切換時(shí)延。

7)客戶(hù)端向服務(wù)器發(fā)送GET請(qǐng)求，申請(qǐng)對(duì)應(yīng)低時(shí)延全景視頻傳輸方法的MPD文件，并根據(jù)當(dāng)前可用帶寬，向服務(wù)器端請(qǐng)求對(duì)應(yīng)的基本層和增強(qiáng)層的視頻碼流，經(jīng)解碼和渲染后送入HMD顯示設(shè)備進(jìn)行播放；設(shè)用戶(hù)切換視口的時(shí)刻與步驟5)中相同，當(dāng)客戶(hù)端監(jiān)測(cè)到用戶(hù)切換視口時(shí)，向服務(wù)器端請(qǐng)求基本層碼流和用于隨機(jī)接入的RAPF碼流，經(jīng)解碼和渲染后送入HMD顯示設(shè)備進(jìn)行播放；按照與步驟5)中相同的方法，記錄該視頻序列在低時(shí)延全景視頻傳輸方法下的視口切換時(shí)延。

8)在服務(wù)器端調(diào)用Nginx庫(kù)，將用于全景視頻傳輸業(yè)務(wù)的傳輸帶寬設(shè)定為60 Mbps；然后重復(fù)步驟5)～步驟7)，得到高傳輸帶寬條件下，不同傳輸方法視口切換時(shí)延的仿真結(jié)果。

針對(duì)4個(gè)測(cè)試序列，所比較的3種方法在30 Mbps和60 Mbps可用傳輸帶寬設(shè)定條件下的視口切換時(shí)延的仿真結(jié)果，如表1和表2所列。

表1 30 Mbps傳輸帶寬下的視口切換時(shí)延的仿真結(jié)果對(duì)比

表2 60 Mbps傳輸帶寬下的視口切換時(shí)延的仿真結(jié)果對(duì)比

由表1和表2所示的仿真結(jié)果可知，對(duì)于視口自適應(yīng)傳輸方法，當(dāng)用戶(hù)切換視口時(shí)，由于編碼過(guò)程中所使用的IPPP預(yù)測(cè)結(jié)構(gòu)限定，客戶(hù)端在請(qǐng)求到新視口對(duì)應(yīng)的P幀時(shí)，無(wú)法使用同一GOP中先前的I幀或P幀的重建圖像作為參考進(jìn)行解碼，進(jìn)而使得客戶(hù)端只能使用下一個(gè)GOP中起始位置的I幀實(shí)現(xiàn)隨機(jī)接入，完成用戶(hù)視口切換。即使增大服務(wù)器與客戶(hù)端之間的傳輸帶寬，該方法對(duì)于不同序列的視口切換時(shí)延仍保持不變。

對(duì)于FFS-360DASH傳輸方法，當(dāng)用戶(hù)切換視口時(shí)，客戶(hù)端可以向服務(wù)器直接請(qǐng)求基本層以及用于隨機(jī)接入的I幀碼流，I幀碼流可以實(shí)現(xiàn)獨(dú)立解碼，不需要參考先前幀的重建圖像，因而FFS-360DASH傳輸方法相比于視口自適應(yīng)傳輸方法的視口切換時(shí)延有顯著減小。

對(duì)于本文所提出的低時(shí)延全景視頻傳輸方法，當(dāng)用戶(hù)切換視口時(shí)，其使用能夠獨(dú)立解碼的RAPF碼流實(shí)現(xiàn)隨機(jī)接入，相比于視口自適應(yīng)傳輸方法，本文方法也可以顯著減小視口切換時(shí)延；在生成RAPF碼流的過(guò)程中，利用了基本層碼流重建圖像和增強(qiáng)層碼流重建圖像之間的時(shí)域相關(guān)性來(lái)減少冗余信息，相比于FFS-360DASH傳輸方法中編碼I幀時(shí)，只能使用增強(qiáng)層重建圖像自身的空域相關(guān)性來(lái)減少冗余，本文方法可以進(jìn)一步地提升壓縮率，因而可以獲得更小的視口切換時(shí)延。

為了減小視頻序列內(nèi)容對(duì)仿真實(shí)驗(yàn)統(tǒng)計(jì)結(jié)果的影響，依照表1和表2中的仿真結(jié)果，分別計(jì)算了視口自適應(yīng)傳輸方法、FFS-360DASH傳輸方法以及本文所提出的低時(shí)延全景視頻傳輸方法針對(duì)所仿真4個(gè)全景視頻序列的視口切換時(shí)延的統(tǒng)計(jì)平均，如圖5所示。由圖5可知，在高傳輸帶寬條件下，相比于已有的方法，本文所提出的低時(shí)延全景視頻傳輸方法平均可以將視口切換時(shí)延降低至70.54 ms，以幀率為30幀/s計(jì)，約2.4幀時(shí)長(zhǎng)。這一結(jié)果一方面可以歸功于在服務(wù)器提供RAPF碼流作為隨機(jī)接入點(diǎn)，實(shí)現(xiàn)新視口碼流的快速接入；另一方面可以歸功于在編碼RAPF碼流過(guò)程中，充分利用了基本層重建圖像與增強(qiáng)層重建圖像之間的時(shí)域相關(guān)性，提高了RAPF碼流的編碼效率，在相同傳輸帶寬的條件下，傳輸RAPF碼流所需的時(shí)間要少于傳輸I幀碼流所需的時(shí)間。

圖5 視口切換時(shí)延的仿真結(jié)果Fig.5 Simulation results of viewport switching delay

為了進(jìn)一步量化本文所提方法對(duì)終端用戶(hù)視頻體驗(yàn)質(zhì)量的影響和對(duì)傳輸帶寬的影響，通過(guò)仿真實(shí)驗(yàn)，對(duì)比了采用FFS-360DASH傳輸方法和所提出的方法實(shí)現(xiàn)用戶(hù)視口切換時(shí)，用戶(hù)視口內(nèi)的視頻質(zhì)量差異，同時(shí)對(duì)比了服務(wù)器端視頻碼流的碼率的變化情況。具體的仿真實(shí)驗(yàn)設(shè)定如下：

依照ITU-T推薦的360°全景視頻測(cè)試條件，選擇圖4所示的4個(gè)8K分辨率的全景視頻序列。基于所構(gòu)建的360°全景視頻傳輸系統(tǒng)，分別使用本文所提出的方法和FFS-360DASH方法對(duì)全景視頻序列進(jìn)行編碼，統(tǒng)計(jì)服務(wù)器端視頻碼流的碼率變化；當(dāng)發(fā)生視口切換時(shí)，客戶(hù)端向服務(wù)器端請(qǐng)求用于隨機(jī)接入的碼流，對(duì)其解碼后，計(jì)算覆蓋視口區(qū)域內(nèi)的重建圖像相對(duì)于原始視頻圖像的峰值信噪比(peak signal to noise ratio，PSNR)，用于評(píng)估采用上述兩種方法時(shí)用戶(hù)視口內(nèi)視頻質(zhì)量的差異[12]。

以Kite-Flite全景視頻序列為例，仿真實(shí)驗(yàn)的具體步驟如下：

1)在服務(wù)器端，生成FFS-360DASH傳輸方法的視頻碼流和MPD文件。設(shè)GOP大小為30幀，采用IPPP預(yù)測(cè)結(jié)構(gòu)。設(shè)定基本層QP為36，對(duì)原始視頻序列編碼，得到基本層的碼流文件。將原始視頻在空域上劃分為72個(gè)Tile，設(shè)定增強(qiáng)層QP為22，對(duì)各個(gè)Tile編碼，得到增強(qiáng)層的碼流；采用全I(xiàn)幀的預(yù)測(cè)模式，設(shè)定QP分別為20，22和24，對(duì)上述每個(gè)Tile編碼，得到3種不同質(zhì)量的隨機(jī)接入I幀碼流。將基本層、增強(qiáng)層和I幀碼流保存在服務(wù)器端，生成與之對(duì)應(yīng)的MPD文件；記錄不同QP條件下，所有Tile對(duì)應(yīng)的I幀碼流的碼率。

2)在服務(wù)器端，生成本文所提出傳輸方法的視頻碼流和MPD文件?；緦哟a流和增強(qiáng)層視頻碼流的生成方式，與FFS-360DASH傳輸方法相同。對(duì)基本層碼流的本地解碼圖像進(jìn)行4倍上采樣，得到參考圖像；對(duì)增強(qiáng)層的碼流解碼，得到各個(gè)Tile的本地解碼圖像；以參考圖像作為參考，設(shè)定量化參數(shù)QP分別為20，22和24，對(duì)各個(gè)Tile的本地解碼圖像進(jìn)行預(yù)測(cè)編碼，得到對(duì)應(yīng)3種不同質(zhì)量的隨機(jī)接入RAPF碼流。將基本層、增強(qiáng)層以及RAPF碼流保存在服務(wù)器端，生成與之對(duì)應(yīng)的MPD文件；記錄不同QP條件下，所有Tile對(duì)應(yīng)的RAPF碼流的碼率。

3)在服務(wù)器端調(diào)用Nginx庫(kù)，將用于全景視頻傳輸業(yè)務(wù)的傳輸帶寬設(shè)定為60 Mbps。

4)客戶(hù)端向服務(wù)器發(fā)送GET請(qǐng)求，申請(qǐng)對(duì)應(yīng)FFS-360DASH傳輸方法的MPD文件，并根據(jù)MPD文件向服務(wù)器端請(qǐng)求基本層和增強(qiáng)層的視頻碼流，經(jīng)解碼和渲染后送入HMD顯示設(shè)備播放；設(shè)定用戶(hù)在每個(gè)GOP中的第5幀、第10幀、第15幀、第20幀和第25幀時(shí)切換視口，當(dāng)客戶(hù)端監(jiān)測(cè)到用戶(hù)切換視口時(shí)，除基本層之外，客戶(hù)端分別向服務(wù)器請(qǐng)求QP為20、22和24的I幀碼流，計(jì)算解碼后視口內(nèi)視頻圖像相對(duì)于原始視頻的PSNR，作為采用FFS-360DASH傳輸方法在該時(shí)刻進(jìn)行視口切換后的視頻質(zhì)量測(cè)度，按照與統(tǒng)計(jì)視口切換時(shí)延相同的方式，統(tǒng)計(jì)該視頻序列在FFS-360DASH傳輸方法下的PSNR。

5)客戶(hù)端向服務(wù)器發(fā)送GET請(qǐng)求，申請(qǐng)對(duì)應(yīng)低時(shí)延全景視頻傳輸方法的MPD文件，并根據(jù)MPD文件向服務(wù)器端請(qǐng)求基本層和增強(qiáng)層的視頻碼流，經(jīng)解碼和渲染后送入HMD顯示設(shè)備進(jìn)行播放；設(shè)定用戶(hù)的視口切換時(shí)刻與步驟4)中相同，當(dāng)客戶(hù)端監(jiān)測(cè)到用戶(hù)切換視口時(shí)，除基本層碼流之外，客戶(hù)端分別向服務(wù)器請(qǐng)求QP為20、22和24的RAPF碼流，計(jì)算解碼后視口內(nèi)視頻圖像相對(duì)于原始視頻的PSNR，作為采用本文方法在該時(shí)刻進(jìn)行視口切換后的視頻質(zhì)量測(cè)度；按照與步驟4)中相同的方法，統(tǒng)計(jì)該視頻序列在本文所提方法下的PSNR。

針對(duì)4個(gè)測(cè)試序列，所比較的兩種方法在所設(shè)定條件下的PSNR和碼率的仿真結(jié)果，如表3和表4所列。

表3 FFS-360DASH方法的視頻質(zhì)量和碼率

表4 低時(shí)延全景視頻傳輸方法的視頻質(zhì)量和碼率

將使用FFS-360DASH傳輸方法時(shí)，統(tǒng)計(jì)得到的視頻序列在視口切換后的PSNR記為PSNRFFS，將對(duì)應(yīng)用于隨機(jī)接入的I幀碼流的碼率記為RbFFS；將使用本文所提出的低時(shí)延全景視頻傳輸方法時(shí)，統(tǒng)計(jì)得到的視頻序列在視口切換后的PNSR記為PSNRlow，將對(duì)應(yīng)的用于隨機(jī)接入的RAPF碼流的碼率記為Rblow。令ΔPSNR表示在相同QP條件下，PSNRFFS和PSNRlow之間差值的針對(duì)所仿真的4個(gè)全景視頻序列的統(tǒng)計(jì)平均，即：

(1)

ΔPSNR的大小反映了采用本文所提出的傳輸方法取代FFS-360DASH傳輸方法時(shí)，用戶(hù)在切換視口后視口內(nèi)的視頻質(zhì)量變化程度[12]。令ΔRb表示在相同QP條件下，RbFFS和Rblow之間的差值與RbFFS之比針對(duì)所仿真的4個(gè)全景視頻序列的統(tǒng)計(jì)平均，即：

(2)

ΔRb的大小反映了采用本文所提出的傳輸方法取代FFS-360DASH傳輸方法時(shí)，用于隨機(jī)接入的碼流的碼率變化程度[12]。ΔPSNR和ΔRb的統(tǒng)計(jì)結(jié)果如表5所列。

表5 不同方法的視頻質(zhì)量和編碼效率比較

由表5中的仿真統(tǒng)計(jì)結(jié)果可知，相對(duì)于FFS-360DASH傳輸方法，使用本文所提出的低時(shí)延的全景視頻傳輸方法所獲得ΔPSNR均小于0.1 dB，即使用所對(duì)比的兩種方法時(shí)，視口切換后用戶(hù)視口區(qū)域內(nèi)的視頻質(zhì)量基本保持不變；同時(shí)，統(tǒng)計(jì)所得ΔRb平均值為-20.23%，這意味著本文所提方法中使用的RAPF碼流作為視口切換的隨機(jī)接入點(diǎn)，相比于FFS-360DASH傳輸方法中使用I幀碼流作為隨機(jī)接入點(diǎn)，在獲得相近的用戶(hù)視頻體驗(yàn)質(zhì)量時(shí)，可以顯著的減小用于隨機(jī)接入碼流的碼率，從而可以在保證終端用戶(hù)體驗(yàn)的同時(shí)，顯著的減少所需的傳輸帶寬。

4 結(jié)論

本文提出了一種低時(shí)延的360°全景視頻傳輸方法，利用所設(shè)計(jì)和實(shí)現(xiàn)的隨機(jī)接入P幀，可以顯著降低視口切換時(shí)延對(duì)用戶(hù)視頻體驗(yàn)質(zhì)量的影響，提升傳輸帶寬的利用率。仿真結(jié)果表明，與現(xiàn)有方法相比，本文所提出的低時(shí)延全景視頻傳輸方法可以將視口切換時(shí)延平均減少至2.4幀時(shí)長(zhǎng)，同時(shí)將用于視口切換過(guò)程中隨機(jī)接入的視頻碼流的碼率平均減少20.23%，從而為實(shí)現(xiàn)實(shí)時(shí)的360°全景視頻傳輸系統(tǒng)奠定基礎(chǔ)。所提出方法具有理論簡(jiǎn)單，易于實(shí)現(xiàn)的特點(diǎn)，可以為設(shè)計(jì)和實(shí)現(xiàn)面向“空-地”交互的全景視頻傳輸系統(tǒng)提供技術(shù)參考。