流媒體服務(wù)系統(tǒng)存儲架構(gòu)升級探析

張智騫 彭方翔

（廣東南方新媒體股份有限公司，廣東 廣州 510012）

全球信息化的發(fā)展，使得基于IP的業(yè)務(wù)必將成為信息產(chǎn)業(yè)的主流業(yè)務(wù)。IP網(wǎng)絡(luò)消除了傳統(tǒng)媒體(電視、廣播、報紙)之間，傳統(tǒng)信息產(chǎn)業(yè)（電信業(yè)、廣播電視業(yè)）之間的邊界，促使它們之間更廣泛的融合，形成無所不包的全業(yè)務(wù)特性。同時，互聯(lián)網(wǎng)的廣泛應(yīng)用催生了一系列的新媒體。IP網(wǎng)絡(luò)的去邊界性決定了融合是新媒體行業(yè)發(fā)展的必然趨勢。媒體融合態(tài)勢下，傳統(tǒng)媒體與互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)等新興媒體傳播渠道有效結(jié)合，實現(xiàn)資源共享、集中處理，能夠衍生出多種形式的信息產(chǎn)品，多渠道廣泛傳播給受眾?；谝陨习l(fā)展理念，南方新媒體提出構(gòu)建面向服務(wù)、面向融合的“廣電+”全業(yè)務(wù)融合云平臺（以下簡稱“融合云平臺”）來作為整體的基礎(chǔ)架構(gòu)平臺，從服務(wù)端實現(xiàn)已有業(yè)務(wù)系統(tǒng)的整合，從客戶端實現(xiàn)各垂直業(yè)務(wù)的統(tǒng)一支撐，達到多業(yè)務(wù)、多屏終端用戶統(tǒng)一平臺管理的目的,如圖1所示。

圖1

圖2 推流服務(wù)層級圖

在融合云平臺中，流媒體服務(wù)系統(tǒng)作為流媒體應(yīng)用的核心系統(tǒng)，是向用戶提供視頻服務(wù)的關(guān)鍵平臺。流媒體服務(wù)器的主要功能是對流媒體內(nèi)容進行采集、緩存、調(diào)度和傳輸播放。流媒體服務(wù)系統(tǒng)的主要性能體現(xiàn)都取決于媒體服務(wù)器的性能和服務(wù)質(zhì)量。因此，流媒體服務(wù)器是流媒體應(yīng)用系統(tǒng)的基礎(chǔ)，也是主要的組成部分，如圖2所示。

一、系統(tǒng)現(xiàn)狀

（一）內(nèi)容分發(fā)網(wǎng)絡(luò)

談到流媒體系統(tǒng)，就不得不談通常被稱為內(nèi)容分發(fā)網(wǎng)絡(luò)Content distribution network（以下簡稱“CDN”）。完整的CDN通常由四部分構(gòu)成：內(nèi)容路由系統(tǒng)、內(nèi)容分發(fā)系統(tǒng)、內(nèi)容存儲系統(tǒng)和內(nèi)容管理系統(tǒng)。其中，內(nèi)容路由系統(tǒng)負責(zé)將用戶的請求調(diào)度到適當(dāng)?shù)脑O(shè)備上，通過全局和本地負載均衡系統(tǒng)來調(diào)度，實現(xiàn)的主要方法包括DNS、應(yīng)用層重定向、傳輸層重定向。

如果說內(nèi)容路由系統(tǒng)是幫助用戶找到合適的設(shè)備，那么內(nèi)容分發(fā)系統(tǒng)就是把用戶需要的內(nèi)容分發(fā)到不同服務(wù)節(jié)點的過程。通常，內(nèi)容分發(fā)網(wǎng)絡(luò)包括三個層級：邊緣節(jié)點層、中心節(jié)點層和源站節(jié)點層。

內(nèi)容存儲系統(tǒng)是針對用戶對流媒體內(nèi)容的實際需求，在內(nèi)容分發(fā)網(wǎng)絡(luò)的三個層級節(jié)點實施相應(yīng)的內(nèi)容存儲策略，達到有效提高用戶請求的響應(yīng)時間、提高存儲空間的利用率、降低回源次數(shù)的目的。

內(nèi)容管理平臺主要負責(zé)整個CDN系統(tǒng)的內(nèi)容注入、收錄、發(fā)布等。

（二）流媒體服務(wù)系統(tǒng)

融合云平臺的流媒體服務(wù)系統(tǒng)主要負責(zé)上線內(nèi)容的統(tǒng)一介質(zhì)存儲、統(tǒng)一切片、實現(xiàn)統(tǒng)一向公網(wǎng)提供點播視頻流。流媒體服務(wù)系統(tǒng)與多個廠家的CDN對接，實現(xiàn)多CDN回源與多CDN切換，如圖3所示。

圖3 推流服務(wù)系統(tǒng)架構(gòu)圖

按照完整CDN系統(tǒng)的技術(shù)概念，融合云平臺的流媒體服務(wù)系統(tǒng)屬于整個CDN系統(tǒng)的源站節(jié)點，負責(zé)內(nèi)容管理和源站節(jié)點層面的內(nèi)容存儲和內(nèi)容分發(fā)；內(nèi)容路由、邊緣節(jié)點層和中心節(jié)點層的內(nèi)容存儲和內(nèi)容分發(fā)則通過租用服務(wù)的方式，對接CDN服務(wù)提供商的系統(tǒng)（以下簡稱“CDN”）來向用戶提供服務(wù)。

流媒體服務(wù)系統(tǒng)第一期建設(shè)在2015年完成，由2臺DELL R730服務(wù)器作為硬件組成，每臺服務(wù)器掛22個1.8TB的SAS硬盤作為本地存儲。兩臺推流服務(wù)器以高可用集群（HA）的主從模式進行工作，主從服務(wù)器之間通過心跳線相連以虛擬路由冗余協(xié)議（VRRP）來監(jiān)視和維護兩臺服務(wù)器的主從工作模式。

流媒體服務(wù)系統(tǒng)軟件采用Apple HTTP Live Streaming(HLS)技術(shù)規(guī)范，與上游的媒資管理平臺通過接口方式以FTP注入點播媒資數(shù)據(jù)、以UDP注入直播媒資數(shù)據(jù)，對視頻數(shù)據(jù)切片、存儲、索引、流化處理后輸出到CDN或用戶終端，讓用戶使用播放器觀看點播視頻。系統(tǒng)功能模塊如圖4所示。

圖4 推流服務(wù)系統(tǒng)功能模塊圖

流媒體服務(wù)系統(tǒng)采用TS封裝格式輸入輸出，視頻編碼格式為H.264，音編碼格式為AAC-LC。為用戶提供更好的體驗，因為采用分片的特點，HTTP streaming還可以實現(xiàn)媒體播放過程中的碼率切換（碼率自適應(yīng)）。系統(tǒng)支持最多4000個應(yīng)用層并發(fā)連接，按平均每個并發(fā)連產(chǎn)生1200Kbps的碼流計算。

經(jīng)過了兩年的使用，業(yè)務(wù)的積累使得流媒體服務(wù)系統(tǒng)的點播存儲空間使用率逐漸增加，兩臺推流服務(wù)器已經(jīng)掛滿了硬盤且存儲容量的使用率已達到90%。因此，本次系統(tǒng)升級應(yīng)解決以下問題：①根據(jù)業(yè)務(wù)規(guī)劃，系統(tǒng)存儲容量由17T擴展到30T；②優(yōu)化系統(tǒng)存儲結(jié)構(gòu)，簡化系統(tǒng)存儲容量的橫向擴展。

二、系統(tǒng)升級方案設(shè)計

圍繞存儲擴容和存儲結(jié)構(gòu)優(yōu)化兩個需求，在源站節(jié)點層面采用由單級源站架構(gòu)升級為源服務(wù)器節(jié)點和緩存服務(wù)器節(jié)點的兩級源站架構(gòu)。這個設(shè)計有以下兩個優(yōu)點：

第一，將屬于內(nèi)容管理的內(nèi)容注入、收錄、發(fā)布功能和屬于內(nèi)容存儲的緩存服務(wù)功能分開，內(nèi)容管理功能放在源服務(wù)器節(jié)點，緩存服務(wù)功能放在緩存服務(wù)器節(jié)點。因為內(nèi)容管理和緩存服務(wù)都是對內(nèi)存和磁盤I/O高消耗的功能，將兩個功能放在不同的節(jié)點能夠提高推流服務(wù)系統(tǒng)的整體效率和穩(wěn)定性，同時便于將來的系統(tǒng)擴容。

在并購支付多元化的發(fā)展趨勢下，不同并購支付方式會對并購雙方股東產(chǎn)生什么影響，并購雙方應(yīng)如何選擇對企業(yè)最有利的并購支付方式，這些問題成為并購支付方式選擇時需要考慮的首要問題。本文通過實證研究來估計企業(yè)選擇并購支付方式的影響因素和不同并購方式對企業(yè)績效的影響。

第二，在內(nèi)容存儲上，根據(jù)CDN的回源數(shù)據(jù)，區(qū)分出媒資中的熱點數(shù)據(jù)并放在緩存服務(wù)器節(jié)點上。在兩級源站架構(gòu)下，當(dāng)CDN回源的時候，將首先訪問緩存服務(wù)器節(jié)點，緩存服務(wù)器節(jié)點沒有數(shù)據(jù)再將訪問請求重定向至源服務(wù)器節(jié)點。在緩存服務(wù)器節(jié)點配合使用緩存淘汰算法，可以使緩存服務(wù)器節(jié)點保持90%以上的訪問數(shù)據(jù)命中率，這樣就實現(xiàn)了熱點數(shù)據(jù)的區(qū)分，極大地提高數(shù)據(jù)的利用率。

要實現(xiàn)兩級源站架構(gòu)的設(shè)計，有以下兩種可行的技術(shù)方案。

（一）分布式集群文件系統(tǒng)

已有的2臺流媒體服務(wù)器作為內(nèi)容存儲的緩存服務(wù)器，作為緩存服務(wù)器節(jié)點，負責(zé)向CDN的數(shù)據(jù)請求提供緩存服務(wù)。新增4臺服務(wù)器，作為源服務(wù)器節(jié)點，負責(zé)內(nèi)容管理服務(wù)的內(nèi)容注入、收錄、發(fā)布，同時還作為內(nèi)容存儲的源服務(wù)器，存儲所有注入的媒資文件。系統(tǒng)功能模塊如圖5所示。

（二）網(wǎng)絡(luò)附屬存儲系統(tǒng)

已有的2臺流媒體服務(wù)器作為內(nèi)容存儲的緩存服務(wù)器，作為緩存服務(wù)器節(jié)點，負責(zé)向CDN的數(shù)據(jù)請求提供緩存服務(wù)。新增4臺服務(wù)器，作為源服務(wù)器節(jié)點，負責(zé)內(nèi)容管理服務(wù)的內(nèi)容注入、收錄、發(fā)布。同時將已有的網(wǎng)絡(luò)附屬存儲系統(tǒng)（以下簡稱“NAS”）掛載在源服務(wù)器節(jié)點，存儲所有注入的媒資文件。系統(tǒng)功能模塊如圖6所示。

（三）方案比較

比較兩種方案，方案一著重于在源服務(wù)器搭建分布式集群文件系統(tǒng)，源服務(wù)器使用SAS硬盤可以保證兩級節(jié)點都有高I/O性能，但是SAS硬盤的成本價格較高；方案二則選擇NAS系統(tǒng)上的硬盤分區(qū)掛載于源服務(wù)節(jié)點下，作為共享存儲型集群文件系統(tǒng)，在存儲擴容的時間和價格成本上體現(xiàn)了較大的優(yōu)越性，但NAS系統(tǒng)能否滿足CDN回源時產(chǎn)生的I/O壓力存在不確定性。

經(jīng)過綜合考慮，方案二成了首選方案，NAS系統(tǒng)的I/O速率和網(wǎng)絡(luò)傳輸?shù)乃俣瘸蔀榱讼乱徊降臏y試中兩個重要的考量指標。

三、系統(tǒng)升級方案測試

（一）CDN回源數(shù)據(jù)峰值流量模型

根據(jù)半年的統(tǒng)計數(shù)據(jù)，CDN全天的連接數(shù)平均在一億五千萬次，其中約10%的數(shù)據(jù)需要回源，在源服務(wù)器產(chǎn)生一千五百萬的連接數(shù)，這其中的80%集中在20點至22點的2個小時以內(nèi)；按照平均每個訪問的碼率為1.2Mb計算，在訪問量集中的時候，在目前的流媒體服務(wù)器產(chǎn)生峰值為2000Mbps的 I/O。

回源數(shù)據(jù)中的80%集中占全部媒資數(shù)據(jù)的20%，剩下的20%分散在全部媒資數(shù)據(jù)的80%中，將集中占全部媒資數(shù)據(jù)的20%的回源數(shù)據(jù)看作是熱點數(shù)據(jù)，即熱數(shù)據(jù)占全部數(shù)據(jù)的20%，熱點數(shù)據(jù)與非熱點數(shù)據(jù)的比例是1︰4。

（二）熱點數(shù)據(jù)分析

針對以上CDN回源數(shù)據(jù)的特征分析，根據(jù)源站服務(wù)器節(jié)點、緩存服務(wù)器節(jié)點的兩級存儲設(shè)計，在滿足緩存服務(wù)器節(jié)點存儲容量與源站服務(wù)器節(jié)點存儲容量的比例大于1︰4時，緩存服務(wù)器節(jié)點的I/O主要是來自熱點數(shù)據(jù)的訪問，NAS系統(tǒng)的I/O則是來自非熱點數(shù)據(jù)的訪問。按照目前回源數(shù)據(jù)的特征，非熱點數(shù)據(jù)的訪問占回源數(shù)據(jù)的20%，在訪問量集中的時候，緩存服務(wù)器節(jié)點向源服務(wù)器節(jié)點請求數(shù)據(jù)會在NAS系統(tǒng)對應(yīng)產(chǎn)生峰值為400Mbps的I/O，以NAS系統(tǒng)測算的2Gbps峰值 I/O，這完全可以滿足。

另外，緩存服務(wù)器節(jié)點本地存儲17T，源站服務(wù)器節(jié)點使用NAS系統(tǒng)的存儲容量為30T，二者比例為1︰1.76，在這個比例達到1︰4，即源站服務(wù)器節(jié)點的NAS系統(tǒng)存儲容量在增加到85T之前，在當(dāng)前CDN回源數(shù)據(jù)峰值流量模型保持不變，都不會對NAS系統(tǒng)的I/O產(chǎn)生更大的壓力。如果NAS系統(tǒng)存儲容量擴展超過85T，可以通過增加緩存服務(wù)器節(jié)點的存儲容量來控制兩個節(jié)點的存儲容量比例大于1︰4。因此，以NAS系統(tǒng)實現(xiàn)推流服務(wù)系統(tǒng)的兩級源站架構(gòu)在技術(shù)上是可行的。

四、結(jié)束語

本文針對流媒體服務(wù)系統(tǒng)的內(nèi)容存儲的升級需求，采用了基于NAS系統(tǒng)的“源站服務(wù)節(jié)點+緩存服務(wù)節(jié)點”的兩級存儲結(jié)構(gòu)設(shè)計，在滿足業(yè)務(wù)需求的同時降低了存儲擴容的時間和經(jīng)濟成本，具有重要意義。

圖5 方案一系統(tǒng)功能模塊圖

圖6方案二系統(tǒng)功能模塊圖