第44屆世遺大會收錄及媒資系統(tǒng)方案設(shè)計與應(yīng)用

黃亞海

（福建省廣播影視集團，福建 福州 350004）

0 引 言

第44 屆世界遺產(chǎn)大會于2021年7月舉辦，在福州設(shè)立主會場，以線上會議為主，線上線下相結(jié)合的方式舉行。大會設(shè)立新聞中心，設(shè)置媒體工作區(qū)、新聞發(fā)布廳、采訪間等，統(tǒng)籌新聞宣傳和提供媒體服務(wù)。

世遺大會相關(guān)會議活動多為閉門性會議，以中、英、法、西、原聲多語言形式推流，主辦方要求在新聞中心內(nèi)建設(shè)一套收錄及媒資應(yīng)用系統(tǒng)，收錄留存會議期間所有相關(guān)的視音頻資料，并在公網(wǎng)上以Web 登陸方式向媒體記者提供大會資料及相關(guān)會議內(nèi)容的檢索和下載服務(wù)，方便國內(nèi)外媒體能夠及時了解和報道會議的相關(guān)內(nèi)容。由于系統(tǒng)開放公網(wǎng)訪問，要求系統(tǒng)的建設(shè)須充分考慮網(wǎng)絡(luò)安全性。

1 系統(tǒng)設(shè)計原則

收錄與媒資系統(tǒng)是世遺大會新聞中心的重要組成部分，對外提供大會信息查詢，因此系統(tǒng)設(shè)計要求以安全穩(wěn)定為第一要素。系統(tǒng)圍繞以下幾方面的設(shè)計原則，建設(shè)滿足實際應(yīng)用的收錄及媒資系統(tǒng)：

（1）安全可靠性：系統(tǒng)從架構(gòu)設(shè)計、信息安全、系統(tǒng)集成都必須堅持安全可靠性原則，要求整個數(shù)據(jù)鏈路和關(guān)鍵設(shè)備都有完善的冗余備份機制，整個系統(tǒng)無單點、有冗余和可應(yīng)急。保證收錄穩(wěn)定、存儲帶寬和網(wǎng)絡(luò)帶寬穩(wěn)定，同時還要保證網(wǎng)絡(luò)安全和數(shù)據(jù)安全。

（2）技術(shù)先進性：系統(tǒng)建設(shè)采用先進成熟的技術(shù)和設(shè)備。

（3）易使用和維護性：系統(tǒng)實現(xiàn)上要求流程合理、功能完善、操作界面簡潔友好、使用方便，便于監(jiān)控、配置以及故障排除。

2 系統(tǒng)總體結(jié)構(gòu)及技術(shù)特點

如圖1所示，本系統(tǒng)從功能架構(gòu)上由三部分組成：收錄子系統(tǒng)、媒資子系統(tǒng)和網(wǎng)絡(luò)安全防護子系統(tǒng)。系統(tǒng)通過兩條網(wǎng)絡(luò)專線與公網(wǎng)連接，一條專線用來收錄，另一條專線用來訪問媒資系統(tǒng)。媒體工作區(qū)配置100 套媒資工作站，其中90套工作站通過公網(wǎng)訪問媒資系統(tǒng)；另外10 套工作站由于都開放USB 接口，不直接接入內(nèi)部網(wǎng)絡(luò)，通過媒體區(qū)媒資站點交換機再接入?yún)R聚交換機，當(dāng)外網(wǎng)連接故障，用戶在媒體工作區(qū)可以通過這些媒資站點繼續(xù)訪問媒資系統(tǒng)。

圖1 系統(tǒng)拓撲圖

系統(tǒng)服務(wù)的實現(xiàn)采用“平臺+工具”的建設(shè)思路，如圖2所示，自下而上的三個層次分別為基礎(chǔ)資源支撐平臺、媒體服務(wù)支撐平臺和應(yīng)用工具平臺?；A(chǔ)資源為上層提供硬件支撐，媒體服務(wù)支撐平臺具備一系列的業(yè)務(wù)服務(wù)能力，應(yīng)用工具平臺提供上下載和編目等工具。

圖2 媒資系統(tǒng)后臺服務(wù)組成

系統(tǒng)業(yè)務(wù)支撐服務(wù)器應(yīng)用Docker 容器技術(shù)+分布式架構(gòu)，將所需的復(fù)雜的環(huán)境封裝在Docker 中，實現(xiàn)基礎(chǔ)資源的統(tǒng)一化調(diào)配和協(xié)同工作。后臺核心服務(wù)如數(shù)據(jù)庫、負載均衡服務(wù)、檢索引擎、消息服務(wù)等系統(tǒng)服務(wù)均采用Docker 容器封裝，具備快速部署與靈活擴展能力，構(gòu)建成統(tǒng)一的媒體應(yīng)用平臺，形成全面的底層支撐。采用多副本機制保障媒資網(wǎng)的使用，當(dāng)一個服務(wù)器故障時，其他服務(wù)器自動分攤故障服務(wù)器的任務(wù)為系統(tǒng)提供服務(wù)，在分布式的基礎(chǔ)上，形成“多活”架構(gòu)，保障平臺的服務(wù)持續(xù)性。

下面對本收錄及媒資系統(tǒng)的三個子系統(tǒng)的實現(xiàn)做具體說明。

2.1 收錄系統(tǒng)

收錄系統(tǒng)通過網(wǎng)絡(luò)安全設(shè)備訪問公網(wǎng)，收錄大會期間各會議活動現(xiàn)場的推流信號，收錄完成的文件自動遷入媒資內(nèi)容庫，供媒體記者檢索、下載使用。系統(tǒng)要求收錄穩(wěn)定、制定相應(yīng)手段保證任務(wù)的安全完成。下面從收錄系統(tǒng)的功能性、網(wǎng)絡(luò)結(jié)構(gòu)以及收錄任務(wù)安全性這三個方面做說明。

2.1.1 功能性

本收錄系統(tǒng)使用簡單，功能完善。每臺收錄服務(wù)器為獨立化的收錄單元，無需后臺服務(wù)和復(fù)雜管理配置。單臺收錄服務(wù)器支持多通道高標(biāo)清信號收錄，支持多種編碼格式和碼率的收錄，可以分段收錄，根據(jù)設(shè)置的分段時間形成多個收錄文件，收錄完的文件自動遷移進入媒資系統(tǒng)，不需要等整個任務(wù)結(jié)束。

大會期間存在三個會議的同時推流，每個會議需要5 個聲音語種推流以及采用一個任務(wù)兩個服務(wù)器收錄的備份模式，最多需要30 個通道同時錄。因此收錄系統(tǒng)必須能夠配置滿足多路流信號的同時穩(wěn)定收錄，確保滿足收錄源數(shù)量。本收錄系統(tǒng)通過配置4 套該類型收錄服務(wù)器堆疊形成整體的收錄網(wǎng)絡(luò)，每臺收錄設(shè)備可以同時收錄8 路IP 流，共32 路，滿足大會的收錄源數(shù)量。

2.1.2 收錄系統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)

收錄服務(wù)器需要訪問公網(wǎng)收錄網(wǎng)絡(luò)流，還需訪問內(nèi)部網(wǎng)絡(luò)存儲，需要考慮網(wǎng)絡(luò)結(jié)構(gòu)安全性。網(wǎng)絡(luò)結(jié)構(gòu)實現(xiàn)如圖1，收錄系統(tǒng)采用雙網(wǎng)結(jié)構(gòu)，每臺收錄服務(wù)器均使用雙網(wǎng)卡，一張網(wǎng)卡接入收錄千兆交換機，該交換機和匯聚交換機相連，通過網(wǎng)絡(luò)安全設(shè)備訪問公網(wǎng)，保障系統(tǒng)的安全；另一張網(wǎng)卡接入內(nèi)部業(yè)務(wù)核心網(wǎng)絡(luò)，收錄下來的文件通過該網(wǎng)卡遷入內(nèi)部網(wǎng)絡(luò)存儲，媒資系統(tǒng)相應(yīng)后臺服務(wù)進行掃描文件入媒資庫。

收錄系統(tǒng)需要有足夠的外網(wǎng)網(wǎng)絡(luò)帶寬才能保證穩(wěn)定的收錄，訪問公網(wǎng)通過一條專用的500 Mb 網(wǎng)絡(luò)專線。系統(tǒng)每個通道收錄的碼率為10 Mb/s，極限上32 個通道同時收錄，總共需320 Mb 的網(wǎng)絡(luò)帶寬，因此配置500 Mb 的網(wǎng)絡(luò)專線帶寬能夠滿足收錄帶寬需求。

2.1.3 收錄任務(wù)安全性

為了保證收錄任務(wù)的順利完成，除了收錄時一個任務(wù)兩個服務(wù)器收錄的備份模式，本收錄系統(tǒng)還可以采用推流云端備份。會議活動推流是向索貝凌云云端推流，收錄服務(wù)器向云端拉流。推流時，在云端同時會收錄一份會議內(nèi)容當(dāng)做備份。如果收錄系統(tǒng)因故障沒有完成收錄任務(wù)，則提取云端保留的備份，保證收錄內(nèi)容不丟失。

2.2 媒資系統(tǒng)

媒資系統(tǒng)在網(wǎng)絡(luò)上對各媒體記者提供會議資料檢索和下載。系統(tǒng)的建設(shè)要求是一套安全可靠的專業(yè)媒資系統(tǒng)，注重數(shù)據(jù)安全和網(wǎng)絡(luò)安全。系統(tǒng)設(shè)計須充分考慮存儲的讀寫帶寬和外網(wǎng)網(wǎng)絡(luò)專線帶寬，保證訪問穩(wěn)定。

2.2.1 分布式集群服務(wù)

媒資系統(tǒng)服務(wù)采用全對等分布式后臺架構(gòu)，提供平臺服務(wù)的業(yè)務(wù)支撐服務(wù)器有3 個節(jié)點，采用集群化處理，各服務(wù)組件為多節(jié)點容器集群并行計算機制。一個系統(tǒng)節(jié)點故障只降低1/（≥3）的處理能力，損壞（-1）/2 個整數(shù)倍節(jié)點以內(nèi)不會造成系統(tǒng)崩潰。任意一個系統(tǒng)服務(wù)（包括數(shù)據(jù)庫）所處的虛擬服務(wù)設(shè)備宕機時，業(yè)務(wù)運行無縫接續(xù)，業(yè)務(wù)數(shù)據(jù)無損續(xù)寫。分布式系統(tǒng)服務(wù)隨時處于活躍狀態(tài)，隨時都是自動負載均衡和自動故障切換。系統(tǒng)的存儲采用3 節(jié)點的分布式存儲，采用2+2：1 保護模式，允許存儲集群最多支持1個節(jié)點或節(jié)點上2 塊磁盤故障而無數(shù)據(jù)丟失，充分保證數(shù)據(jù)安全。

完全對稱的分布式計算架構(gòu)、提供平臺程序、業(yè)務(wù)、硬件資源運行維護監(jiān)控、實現(xiàn)對各種媒資數(shù)據(jù)的組織管理，分布式系統(tǒng)多個節(jié)點保證了計算、數(shù)據(jù)庫和存儲的安全，使系統(tǒng)具備高可靠性。

2.2.2 媒資功能及資料上傳設(shè)計

本媒資系統(tǒng)實現(xiàn)會議資料入庫，在線提供檢索和下載，流程合理，界面使用簡單清晰。如圖3所示：引入上載或者收錄下的文件，通過媒體處理服務(wù)器智能處理服務(wù)進行轉(zhuǎn)碼和入庫，系統(tǒng)提供客戶端上載工具可打入出點進行上載，節(jié)省時間提高效率。入庫后的資料進行編目和審核后，就可在公網(wǎng)上登錄媒資平臺進行資料的檢索和下載。會議資料的下載可以采用打入出點進行片段導(dǎo)入導(dǎo)出。本媒資系統(tǒng)的編目具有一套完整的編目流程，實現(xiàn)編目的分配、認領(lǐng)和審核，可以提供廣電兩層編目功能：節(jié)目層編目和片段層編目。

圖3 媒資業(yè)務(wù)流程

媒資系統(tǒng)每天需上傳大量文件，須注意防范病毒。配備文件上載安全隔離盒和文件上載安全隔離網(wǎng)關(guān)來防范病毒。文件上載安全隔離盒配備在部分媒資工作站上，該隔離盒提供文件高級白名單過濾及文件格式和編碼格式等文件特征的深層次的檢測，有效杜絕假冒/偽裝文件的侵入；高達100 MB/s 的文件拷貝/遷移導(dǎo)入速度。文件安全隔離網(wǎng)關(guān)對文件上載工作站向媒資系統(tǒng)導(dǎo)入數(shù)據(jù)提供安全傳輸通道。該隔離網(wǎng)關(guān)每個通道具有100 MB/s 傳輸帶寬；提供不同網(wǎng)絡(luò)之間的文件安全傳輸；支持多個傳輸通道；每個通道2 任務(wù)并發(fā)傳輸；文件深度檢測支持對文件格式和編碼格式等進行深層次的檢測；內(nèi)嵌病毒檢測模塊。

2.2.3 存儲帶寬和外網(wǎng)專線帶寬

媒資系統(tǒng)最主要的業(yè)務(wù)是提供數(shù)據(jù)的入庫和訪問，因此必須考慮存儲帶寬和連接公網(wǎng)的網(wǎng)絡(luò)專線帶寬。

網(wǎng)絡(luò)專線帶寬的占用主要是媒資網(wǎng)頁顯示、預(yù)覽以及下載，網(wǎng)頁頁面大小和低碼率素材預(yù)覽對帶寬相對占用小，下載對專線帶寬的占用大。通過以下幾方面來考慮：

（1）首先，在保證畫面質(zhì)量下，把導(dǎo)出碼率固定為5 MB/s，文件大小就不會過大。其次，新聞單個素材的時長不會太長，采用片段導(dǎo)出，素材時長不會長。在這兩個前提下我們認為當(dāng)下載的時間為素材長度一半的效率是可接受的。以這效率算，單個任務(wù)導(dǎo)出碼率5 MB/s 的視頻文件，占用10 Mb 帶寬。用戶同時下載和預(yù)覽，不算網(wǎng)頁響應(yīng)時間，網(wǎng)頁頁面和低碼率素材預(yù)覽占用的網(wǎng)絡(luò)帶寬大概2 MB，那么每個用戶合計需12 MB 網(wǎng)絡(luò)帶寬。

（2）根據(jù)申請使用媒資系統(tǒng)的人數(shù)，最大并發(fā)使用不會超過80 個。

按以上兩方面測算需要的網(wǎng)絡(luò)帶寬大約為12×80=960 MB。在實際使用情況下不會達到最大并發(fā)數(shù)，因此配置1 GB 的網(wǎng)絡(luò)專線，可以滿足系統(tǒng)網(wǎng)絡(luò)帶寬需求。

存儲帶寬通過以下幾方面考慮：

（1）接入文件安全隔離網(wǎng)關(guān)的上載工作站有2 臺，按通道最高速度100 MB/s 并發(fā)傳輸需200 MB 帶寬。2 套文件上載安全隔離盒每個最高100 MB/s 速度并發(fā)需200 MB 帶寬。上載皆取最大值算（實際使用受限于接口等，如上載工作站網(wǎng)卡為千兆，因此速度達不到最大值），文件上載總共需400 MB 帶寬。

（2）收錄錄制一個通道碼率10 MB/s，32 路，總共需320 MB 相當(dāng)于40 MB 帶寬。

（3）4 臺媒體處理服務(wù)器視頻轉(zhuǎn)碼生成，經(jīng)測試轉(zhuǎn)碼生成時間大約為原視頻長度1/3，系統(tǒng)里的視頻文件為碼率10 MB/s 的收錄文件和碼率為30 MB/s 其他來源的視頻文件，碼率30 MB/s 文件轉(zhuǎn)碼為同碼率文件每臺服務(wù)器對存儲讀寫帶寬需30×3×2=180 MB，4 臺服務(wù)器合計需180×4=720 MB 相當(dāng)于90 MB 左右的帶寬。

（4）媒體工作區(qū)域的媒資站點交換機1 GB 接入?yún)R聚交換機，訪問媒資的外網(wǎng)專線帶寬1 GB，用戶對媒資主要是讀訪問，對存儲產(chǎn)生的帶寬需求最大2 GB 相當(dāng)于256 MB帶寬（媒資片段導(dǎo)出，需轉(zhuǎn)碼生成，對存儲的讀寫帶寬已計入媒體處理服務(wù)器的帶寬占用）。

綜上并發(fā)情況下總的存儲訪問帶寬大約為400+40+90+256=786 MB。因此媒資存儲選用的是3 節(jié)點分布式萬兆存儲，經(jīng)測試混合讀寫下可以提供1 200 MB 帶寬，本存儲的讀寫帶寬能夠滿足需求。

2.3 網(wǎng)絡(luò)安全防護及網(wǎng)絡(luò)結(jié)構(gòu)

系統(tǒng)采用以太網(wǎng)作為基礎(chǔ)網(wǎng)絡(luò)架構(gòu)，采用“萬兆匯聚、千兆接入”的方式。以太網(wǎng)交換機作為核心交換設(shè)備，負責(zé)完成各個系統(tǒng)之間的互聯(lián)互通。如圖4所示，通過在匯聚交換機邊上部署的網(wǎng)絡(luò)安全設(shè)備，配置相應(yīng)的安全策略，實現(xiàn)各區(qū)域之間的安全訪問，有效保證系統(tǒng)與外界的隔離，滿足高安全等級需求。

圖4 交換機匯聚

系統(tǒng)網(wǎng)絡(luò)訪問規(guī)則設(shè)計如下：

（1）在公網(wǎng)上訪問媒資系統(tǒng)須通過匯聚交換機上部署的網(wǎng)絡(luò)安全設(shè)備。

（2）內(nèi)部業(yè)務(wù)網(wǎng)絡(luò)，除了收錄服務(wù)器可以訪問公網(wǎng)其他都不能訪問公網(wǎng)。

（3）收錄網(wǎng)訪問公網(wǎng)須通過部署的網(wǎng)絡(luò)安全設(shè)備。

（4）接入媒體區(qū)媒資站點交換機的工作站不能直接訪問內(nèi)部媒資網(wǎng)，須通過部署的網(wǎng)絡(luò)安全設(shè)備。

為了實現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)功能需求、確保網(wǎng)絡(luò)安全，在匯聚交換機（三層交換機）和網(wǎng)絡(luò)安全設(shè)備上進行相應(yīng)功能配置：

（1）匯聚交換機上劃分多個VLAN，分別配置IP 地址連接各個區(qū)域。

（2）在匯聚交換機上配置策略路由，把收到的數(shù)據(jù)送往網(wǎng)絡(luò)安全設(shè)備進行地址轉(zhuǎn)換、病毒過濾、入侵檢測。

（3）在匯聚交換機上配置ACL（訪問控制列表），添加拒絕訪問策略，禁止媒體區(qū)媒資站點交換機上的工作站直接訪問媒資系統(tǒng)的真實IP 地址。

（4）通過配置網(wǎng)絡(luò)安全設(shè)備的防火墻模塊，在重要網(wǎng)絡(luò)區(qū)域與其他網(wǎng)絡(luò)區(qū)域之間采取可靠的技術(shù)隔離手段，實現(xiàn)邊界的訪問控制和業(yè)務(wù)應(yīng)用的安全轉(zhuǎn)換。外部區(qū)域?qū)γ劫Y系統(tǒng)的訪問，須通過防火墻進行地址轉(zhuǎn)換，隱藏媒資系統(tǒng)的真實網(wǎng)絡(luò)地址信息。限制內(nèi)部系統(tǒng)網(wǎng)絡(luò)連接公網(wǎng)，只允許收錄網(wǎng)訪問公網(wǎng)進行收錄，對外只開放媒資系統(tǒng)的服務(wù)端口，外部訪問只允許訪問該服務(wù)端口。

（5）配置網(wǎng)絡(luò)安全設(shè)備的入侵防御模塊，對應(yīng)用層面的攻擊進行有效的過濾和防護，保障內(nèi)網(wǎng)的業(yè)務(wù)應(yīng)用的正常運行。

（6）配置網(wǎng)絡(luò)安全設(shè)備的病毒過濾模塊，對于來自內(nèi)外部的訪問和文件傳輸進行病毒過濾，在媒資系統(tǒng)中主要存在基于HTTP 的文件傳輸應(yīng)用場景，因此開啟病毒過濾防護。

（7）配置網(wǎng)絡(luò)安全設(shè)備的Web 應(yīng)用防火墻模塊，對網(wǎng)站提供專業(yè)的安全防護手段，及時發(fā)現(xiàn)并攔截Web 訪問的攻擊行為，本次媒資系統(tǒng)對外開放的服務(wù)就是HTTP 網(wǎng)站。

3 結(jié) 論

媒資系統(tǒng)作為一個內(nèi)容管理平臺，對各種類型的視音頻資料、文字、圖片等資料數(shù)字化存儲，提供信息服務(wù)，行業(yè)應(yīng)用越來越廣泛，須結(jié)合實際應(yīng)用，設(shè)計相應(yīng)方案。本系統(tǒng)在搭建完成后，在實際運行環(huán)境下進行一系列的測試，如通過VMIX軟件推流測試，收錄系統(tǒng)多服務(wù)器多通道同時穩(wěn)定收錄；多用戶同時使用媒資檢索和下載測試，系統(tǒng)功能表現(xiàn)穩(wěn)定。系統(tǒng)在實際使用過程中，滿足設(shè)計要求，為全國各級媒體多層次多角度地報道世遺、展示世遺，提供了及時重要的素材。