王海歡 張小邨 江蘇省廣播電視總臺(tái)

1.平臺(tái)建設(shè)背景

江蘇省廣播電視總臺(tái)IPTV平臺(tái)系統(tǒng)2011年建設(shè)成功并上線運(yùn)行，2012年5月正式上線投入使用。整個(gè)業(yè)務(wù)平臺(tái)至2018年已運(yùn)行6個(gè)年頭，先后建設(shè)了集成播控央視1號(hào)平臺(tái)、聯(lián)通多運(yùn)營(yíng)商集成播控平臺(tái)、業(yè)務(wù)管理平臺(tái)、內(nèi)容制作服務(wù)平臺(tái)、C3統(tǒng)計(jì)分析平臺(tái)等多個(gè)平臺(tái)，對(duì)外與央視總平臺(tái)、電信、聯(lián)通及多家上游內(nèi)容提供商等單位的技術(shù)系統(tǒng)實(shí)現(xiàn)互聯(lián)。目前IPTV主體6F機(jī)房有服務(wù)器236臺(tái)，機(jī)房供電負(fù)荷容量接近飽和。為了滿足未來(lái)業(yè)務(wù)日益發(fā)展，充分挖掘物理服務(wù)器計(jì)算存儲(chǔ)資源的使用效率，簡(jiǎn)化服務(wù)器配置維護(hù)復(fù)雜度，優(yōu)化IPTV信息基礎(chǔ)架構(gòu)平臺(tái)的可靠性，江蘇省廣播電視總臺(tái)在建設(shè)多運(yùn)營(yíng)商IPTV業(yè)務(wù)平臺(tái)時(shí)，采用集群虛擬化技術(shù)構(gòu)建了高效IT信息基礎(chǔ)設(shè)施平臺(tái)（以下簡(jiǎn)稱虛擬化平臺(tái)）。

2.虛擬化平臺(tái)架構(gòu)

整個(gè)虛擬化平臺(tái)基于VMWARE VSphere產(chǎn)品包進(jìn)行構(gòu)建，包括宿主機(jī)群、虛擬化適配調(diào)度層、虛擬機(jī)層、業(yè)務(wù)應(yīng)用層及虛擬調(diào)度管理層。虛擬化平臺(tái)總體架構(gòu)見(jiàn)圖1。具體組件功能如下：

（1） 宿主機(jī)群

圖1 虛擬化平臺(tái)總體架構(gòu)

采用裝載固態(tài)盤及機(jī)械盤及多種用途的光纖、以太高速網(wǎng)卡的DELL 740R服務(wù)器，提供虛擬化平臺(tái)計(jì)算、存儲(chǔ)的物理化設(shè)備資源支持及實(shí)現(xiàn)高性能的網(wǎng)絡(luò)傳輸通道。

（2）資源虛擬化層

資源虛擬化層包括基礎(chǔ)設(shè)施子層和應(yīng)用服務(wù)子層，基礎(chǔ)設(shè)施層完成對(duì)物理宿主機(jī)上計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)組件進(jìn)行適配并抽象成標(biāo)準(zhǔn)計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)組件，供應(yīng)用服務(wù)層根據(jù)用戶需求構(gòu)建所需的虛擬機(jī)設(shè)備和應(yīng)用各種管理調(diào)度策略。虛擬化平臺(tái)資源虛擬化層基于VMware ESXi組件及VSAN插件，ESXi 直接安裝在物理服務(wù)器上，實(shí)現(xiàn)了基于裸機(jī) hypervisor，并將其劃分為多個(gè)虛擬機(jī)。

（3）虛擬機(jī)及虛擬設(shè)備層

平臺(tái)虛擬出的計(jì)算虛擬機(jī)、虛擬交換機(jī)、虛擬網(wǎng)卡及虛擬存儲(chǔ)資源的集合。本次項(xiàng)目根據(jù)IPTV業(yè)務(wù)需要，分別構(gòu)建了包含上述類型資源的集成播控、業(yè)務(wù)管理兩個(gè)虛擬化資源池。

（4）業(yè)務(wù)應(yīng)用層

運(yùn)行于虛擬機(jī)上集成播控平臺(tái)應(yīng)用、業(yè)務(wù)管理平臺(tái)應(yīng)用及應(yīng)用高可用組件。

（5）集中管理組件

整個(gè)虛擬化平臺(tái)采用VMWARE Vcenter集中管理組件作為配置和管理虛擬化 IT 環(huán)境的中央點(diǎn)。它提供基本的數(shù)據(jù)中心服務(wù)，如訪問(wèn)控制、性能監(jiān)控和警報(bào)管理功能, 提供資源調(diào)度策略的配置及根據(jù)虛擬機(jī)運(yùn)行狀態(tài)進(jìn)行集中調(diào)度控制。

（6）管理客戶端

管理客戶端包括窗口式和web網(wǎng)頁(yè)管理兩種模式，實(shí)現(xiàn)對(duì)宿主機(jī)、虛擬機(jī)資源管理及調(diào)度的展示和操作。

整個(gè)IPTV虛擬化平臺(tái)在系統(tǒng)選型和設(shè)計(jì)上具有高可靠、彈性可擴(kuò)展、高性能等特點(diǎn)。

3.虛擬化網(wǎng)絡(luò)架構(gòu)

IPTV虛擬化平臺(tái)包括四部分不同角色的網(wǎng)絡(luò)區(qū)域：

（1）虛擬化管理網(wǎng)絡(luò)

由兩臺(tái)千兆H3C 5500堆疊而成，每臺(tái)服務(wù)器同時(shí)與兩臺(tái)H3C 5500上聯(lián)，承擔(dān)vmware虛擬化vcenter 的管理和虛擬機(jī)運(yùn)行狀態(tài)數(shù)據(jù)傳輸，用于Vcenter 對(duì)集群管理池中虛擬機(jī)及資源的調(diào)度，同時(shí)還包括虛擬機(jī)間業(yè)務(wù)系統(tǒng)雙機(jī)高可用的心跳連接。

（2）虛擬機(jī)業(yè)務(wù)數(shù)據(jù)網(wǎng)絡(luò)

本次虛擬化規(guī)劃為集成播控平臺(tái)和業(yè)務(wù)管理平臺(tái)兩個(gè)獨(dú)立的虛擬機(jī)池，其中集成播控集群連接到IPTV兩臺(tái)Cisco 4500組成的集成播控服務(wù)器接入交換機(jī)。運(yùn)維管理集群的各EXSI宿主機(jī)連接到由兩臺(tái)Cisco 6800組成的業(yè)務(wù)管理平臺(tái)接入交換機(jī)。

（3）VSphere應(yīng)用數(shù)據(jù)虛擬交換網(wǎng)絡(luò)

用于連接一臺(tái)宿主機(jī)內(nèi)或跨多臺(tái)宿主機(jī)的多臺(tái)虛擬機(jī)之間數(shù)據(jù)交換的虛擬化交換網(wǎng)絡(luò)，包括vSwitch標(biāo)準(zhǔn)交換機(jī)和 vDSwitch分布式交換機(jī)及與之相連的宿主機(jī)物理網(wǎng)卡。

圖2 應(yīng)用數(shù)據(jù)虛擬交換機(jī)

圖3 虛擬化交換物理互聯(lián)網(wǎng)絡(luò)

（4）VSAN專用交換網(wǎng)絡(luò)

專用交換網(wǎng)絡(luò)在宿主機(jī)內(nèi)部配置基于VMkernal端口的分布式交換機(jī)，在宿主機(jī)之間由兩臺(tái)H3C 6600堆疊而成，通過(guò)全萬(wàn)兆端口與宿主機(jī)連接，承擔(dān)VSAN中宿主機(jī)間虛擬機(jī)遷移（vMotion）的狀態(tài)數(shù)據(jù)、卷信息同步及跨宿主機(jī)I/O交互、虛擬機(jī)管理程序管理流量的實(shí)時(shí)通信。虛擬化交換物理互聯(lián)網(wǎng)絡(luò)如圖3 所示。

4.高性能、彈性擴(kuò)展的分布式虛擬化存儲(chǔ)架構(gòu)

為了實(shí)現(xiàn)虛擬化平臺(tái)高性能、易擴(kuò)展的需要，項(xiàng)目組采用VMWARE Virtual SAN技術(shù)構(gòu)建了基于虛擬機(jī)映像文件的虛擬化SAN存儲(chǔ)系統(tǒng)。通過(guò)專用10G網(wǎng)絡(luò)提供EXSI宿主機(jī)節(jié)點(diǎn)間存儲(chǔ)狀態(tài)信息的同步，VSAN組件可將所有宿主機(jī)節(jié)點(diǎn)的本地存儲(chǔ)池化為一個(gè)集中的SAN數(shù)據(jù)存儲(chǔ)，供虛擬機(jī)及其虛擬機(jī)磁盤文件VMDK存儲(chǔ)使用，并可以基于共享數(shù)據(jù)存儲(chǔ)實(shí)施虛擬機(jī)數(shù)據(jù)冗余、虛擬機(jī)高可用等多種策略。本次IPTV業(yè)務(wù)系統(tǒng)虛擬化主要對(duì)大量非數(shù)據(jù)庫(kù)類實(shí)體服務(wù)器應(yīng)用遷移到虛擬機(jī)上，考慮性價(jià)比，宿主機(jī)本地存儲(chǔ)采用SSD+機(jī)械硬盤的物理存儲(chǔ)組件。每個(gè)服務(wù)器節(jié)點(diǎn)采用12塊硬盤，其中兩塊SSD作為數(shù)據(jù)讀寫緩存，十塊HDD硬盤作為永久數(shù)據(jù)存儲(chǔ)容量設(shè)備，兩塊HDD作RAID1安裝ESXI系統(tǒng)，整個(gè)虛擬化存儲(chǔ)擴(kuò)展包括下面兩個(gè)維度：

（1）本機(jī)存儲(chǔ)縱向擴(kuò)展

在單個(gè)宿主機(jī)中考慮到需要部署大量虛擬機(jī)，故進(jìn)行了本地存儲(chǔ)的擴(kuò)展，每一塊SSD硬盤和五塊HDD硬盤（最多支持七塊）組成一個(gè)磁盤組，每個(gè)磁盤組作為VSAN物理存儲(chǔ)的故障域，當(dāng)組內(nèi)的SSD硬盤或HDD硬盤出現(xiàn)故障時(shí)，故障只會(huì)限制在本磁盤組內(nèi)及相關(guān)的虛擬機(jī)文件存儲(chǔ)，不會(huì)影響到其它磁盤，每臺(tái)物理主機(jī)存儲(chǔ)縱向擴(kuò)充為兩個(gè)磁盤組，實(shí)現(xiàn)了容量主機(jī)內(nèi)容量擴(kuò)展。

（2）集群存儲(chǔ)橫向擴(kuò)展

10臺(tái)集成播控和業(yè)務(wù)管理兩個(gè)業(yè)務(wù)平臺(tái)資源池，對(duì)應(yīng)構(gòu)建了兩個(gè)各五臺(tái)的VSAN 集群，每個(gè)集群配置5 臺(tái)宿主機(jī)，每個(gè)業(yè)務(wù)系統(tǒng)的所有虛擬機(jī)可在集群內(nèi)共享計(jì)算存儲(chǔ)及虛擬網(wǎng)絡(luò)資源，并可根據(jù)業(yè)務(wù)發(fā)展需要擴(kuò)充集群內(nèi)主機(jī)節(jié)點(diǎn)數(shù)，實(shí)現(xiàn)橫向CPU計(jì)算資源和存儲(chǔ)資源的同時(shí)擴(kuò)展。

所有虛擬機(jī)的讀寫I/O均指向SSD，對(duì)于來(lái)自虛擬機(jī)的數(shù)據(jù)讀操作請(qǐng)求，與外部SAN一樣, VSAN是將SSD作為讀寫緩存使用。當(dāng)塊被寫入基礎(chǔ)數(shù)據(jù)存儲(chǔ)后，最先寫入SSD，如果是不經(jīng)常訪問(wèn)的數(shù)據(jù)，則會(huì)重新分配到(旋轉(zhuǎn)的) HDD中。在進(jìn)行讀操作時(shí)，如果數(shù)據(jù)在SSD緩存中，則只需對(duì)緩存中的數(shù)據(jù)進(jìn)行讀取，緩存中沒(méi)有命中的數(shù)據(jù)再到HDD數(shù)據(jù)盤中查找讀出。

圖4 基于SSD緩存磁盤組的讀寫操作

5.基于虛擬化和主備雙機(jī)的多層級(jí)高可用方案

本次IPTV虛擬化平臺(tái)上承載了集成播控、業(yè)務(wù)管理兩大基礎(chǔ)業(yè)務(wù)平臺(tái)，涉及IPTV新聞、綜藝點(diǎn)播節(jié)目的集成發(fā)布、終端用戶登錄認(rèn)證、EPG認(rèn)證鑒權(quán)、業(yè)務(wù)計(jì)費(fèi)等關(guān)鍵業(yè)務(wù)，任何平臺(tái)應(yīng)用的中斷都會(huì)導(dǎo)致嚴(yán)重的安全播出事故和用戶的投訴，為此在整個(gè)IPTV虛擬化系統(tǒng)中，我們規(guī)劃設(shè)計(jì)了多種層次的系統(tǒng)高可用策略，以保障業(yè)務(wù)應(yīng)用連續(xù)不中斷的健康運(yùn)行。

（1）虛擬化存儲(chǔ)系統(tǒng)存儲(chǔ)的高可用

VMWARE vSAN數(shù)據(jù)存儲(chǔ)上采用的vmfs文件系統(tǒng)是一種分布式對(duì)象集群文件系統(tǒng)，該系統(tǒng)允許多臺(tái)ESXI主機(jī)同時(shí)讀寫同一存儲(chǔ)設(shè)備，主要用作虛擬機(jī)文件的存儲(chǔ)庫(kù)。其上的虛擬機(jī)是由大量不同的存儲(chǔ)對(duì)象組成的，如VMDK、虛擬機(jī)交換文件、增量盤（快照）和虛擬機(jī)名字空間。這幾種對(duì)象按照相應(yīng)的VMFS對(duì)象采用VSAN的分布式RAID策略，可以采用鏡像、條帶化及上述組合方式存儲(chǔ)到后臺(tái)不同主機(jī)的不同磁盤里，以保證虛擬機(jī)文件存儲(chǔ)的高可用性和性能。VSAN分布式RAID提供了將虛擬磁盤散布到不同主機(jī)、磁盤組上。本次項(xiàng)目Virtual SAN設(shè)置了以5臺(tái)宿主機(jī)為一個(gè)集群組，配置主機(jī)之間使用RAID-1(非傳統(tǒng)RAID),基于虛擬機(jī)三副本策略，具備最多可以容忍2臺(tái)虛擬機(jī)存儲(chǔ)文件出現(xiàn)故障而不會(huì)丟失任何數(shù)據(jù)。

（2）宿主機(jī)、虛擬機(jī)高可用

虛擬化平臺(tái)通過(guò)將多臺(tái)主機(jī)組建成一個(gè)故障轉(zhuǎn)移集群，啟用vSphere HA服務(wù)，在集群虛擬機(jī)失效時(shí)自動(dòng)重啟備用虛擬機(jī)文件，保障運(yùn)行在集群上的服務(wù)（或VM）不會(huì)因?yàn)閱闻_(tái)主機(jī)的故障而停止。

在 vSphere HA 群集時(shí)，會(huì)自動(dòng)選擇一臺(tái)宿主機(jī)作為首選主機(jī)。首選主機(jī)可與 vCenter Server 進(jìn)行通信，并監(jiān)控所有受保護(hù)的虛擬機(jī)以及從屬主機(jī)的狀態(tài)。宿主機(jī)持續(xù)監(jiān)控其上的虛擬機(jī)運(yùn)行狀態(tài)(通過(guò)虛擬機(jī)中Vmware Tools實(shí)現(xiàn)主機(jī)向虛擬機(jī)發(fā)送檢測(cè)信號(hào)），并在檢測(cè)到故障時(shí)，通過(guò)在群集內(nèi)的其他主機(jī)上重新啟動(dòng)虛擬機(jī)的副本，防止服務(wù)器故障引起虛擬機(jī)無(wú)法繼續(xù)運(yùn)行，若故障虛擬機(jī)是首選主機(jī)，則宿主機(jī)服務(wù)器集群重新選舉首選主機(jī)，以保持vSphere HA的虛擬機(jī)健康狀態(tài)檢測(cè)機(jī)制的完整性。由于虛擬機(jī)可充當(dāng)應(yīng)用程序的移動(dòng)容器，出現(xiàn)故障時(shí)，應(yīng)用程序?qū)崿F(xiàn)了在宿主機(jī)之間遷移。

（3）系統(tǒng)檢修和資源調(diào)度的高可用

圖5 VSAN虛擬化RAID三副本

圖6 vMotion動(dòng)態(tài)遷移

整個(gè)虛擬化平臺(tái)啟用vMotion和動(dòng)態(tài)資源分配技術(shù)，vMotion技術(shù)可以在業(yè)務(wù)服務(wù)不中斷情況下，從一臺(tái)ESXI主機(jī)向另一臺(tái)ESXI主機(jī)執(zhí)行實(shí)時(shí)遷移。

vMotion的遷移需要集群內(nèi)的宿主機(jī)可以訪問(wèn)到集中存儲(chǔ)，虛擬機(jī)的存儲(chǔ)文件部署在共享VSAN存儲(chǔ)上，一臺(tái)虛擬機(jī)的計(jì)算資源可以位于某一臺(tái)ESXI主機(jī)上，而其虛擬機(jī)存儲(chǔ)文件可能在組成VSAN存儲(chǔ)的另外一臺(tái)ESXI主機(jī)上，基于VSAN存儲(chǔ)系統(tǒng)和VMFS集群對(duì)象文件系統(tǒng)保證了虛擬機(jī)文件存儲(chǔ)遷移的位置無(wú)關(guān)性。

vMotion的計(jì)算資源遷移包括CPU和內(nèi)存資源的遷移，當(dāng)發(fā)生遷移時(shí)，遷移源宿主機(jī)將虛擬機(jī)的內(nèi)存數(shù)據(jù)復(fù)制到內(nèi)存位圖文件，通過(guò)VMkernal接口及10G VSAN專用交換網(wǎng)絡(luò)進(jìn)行傳輸。傳輸完成后，在目標(biāo)宿主機(jī)上啟動(dòng)虛擬機(jī)應(yīng)用內(nèi)存位圖文件到目標(biāo)宿主機(jī)內(nèi)存，完成虛擬機(jī)計(jì)算資源的遷移。

由于vMotion具備虛擬機(jī)不中斷業(yè)務(wù)情況下在宿主服務(wù)器上進(jìn)行遷移的能力,結(jié)合動(dòng)態(tài)資源調(diào)度DRS服務(wù)，實(shí)現(xiàn)集群服務(wù)器組中虛擬機(jī)計(jì)算資源自動(dòng)負(fù)載均衡；也可用于簡(jiǎn)化宿主機(jī)硬件維護(hù)流程，通過(guò)將待維護(hù)的宿主機(jī)上活動(dòng)虛擬機(jī)進(jìn)行熱遷移到其它宿主機(jī)上，從而實(shí)現(xiàn)不停機(jī)、不中斷業(yè)務(wù)運(yùn)營(yíng)的情況下執(zhí)行硬件下線和其它檢修維護(hù)。

（4）業(yè)務(wù)應(yīng)用雙機(jī)高可用

由于vSphere HA只能對(duì)宿主機(jī)、虛擬機(jī)級(jí)組件的狀態(tài)和故障進(jìn)行監(jiān)測(cè)和故障切換，對(duì)于虛擬機(jī)內(nèi)的業(yè)務(wù)應(yīng)用級(jí)故障無(wú)法做到實(shí)時(shí)監(jiān)測(cè)和故障切換。整個(gè)VMware vSphere 的高可用策略在故障發(fā)生時(shí)，通過(guò)重啟備份虛擬機(jī)文件來(lái)恢復(fù)故障，故存在一定停機(jī)故障恢復(fù)時(shí)間。為此我們?cè)赩Mware的高可用方案基礎(chǔ)上繼續(xù)保留業(yè)務(wù)系統(tǒng)自身的雙機(jī)HA方案，通過(guò)設(shè)置同一業(yè)務(wù)的主備雙虛擬機(jī)不在同一宿主機(jī)上的資源分配策略，和連續(xù)堆疊管理交換機(jī)的網(wǎng)絡(luò)連接實(shí)現(xiàn)業(yè)務(wù)應(yīng)用狀態(tài)心跳的同步，保障出現(xiàn)業(yè)務(wù)應(yīng)用級(jí)故障時(shí)，業(yè)務(wù)應(yīng)用在不同物理宿主機(jī)上的虛擬機(jī)間切換。Vsphere中配置同一應(yīng)用的主備雙虛擬機(jī)不在同一宿主機(jī)策略見(jiàn)圖7。

圖7 Vsphere中配置同一應(yīng)用的主備雙虛擬機(jī)不在同一宿主機(jī)策略

6.系統(tǒng)管理與監(jiān)控

作為整個(gè)虛擬化平臺(tái)的系統(tǒng)管理中心，vCenter對(duì)整個(gè)虛擬化平臺(tái)的主機(jī)、網(wǎng)絡(luò)、存儲(chǔ)的實(shí)體和虛擬化資源進(jìn)行多種維度分層視圖展示，清楚地表明了主機(jī)、虛擬網(wǎng)絡(luò)、虛擬存儲(chǔ)資源的關(guān)系。集中管理EXSI宿主機(jī)、虛擬機(jī)及虛擬化存儲(chǔ)資源的運(yùn)行狀態(tài)，匯聚各虛擬機(jī)、宿主機(jī)的運(yùn)行數(shù)據(jù)，提供管理客戶端進(jìn)行數(shù)據(jù)展示、統(tǒng)計(jì)分析等。通過(guò)對(duì)上述運(yùn)行數(shù)據(jù)的分析判斷，vCenter Server為虛擬化平臺(tái)IT環(huán)境各存儲(chǔ)、高可用、安全防護(hù)組件提供操作自動(dòng)化、資源優(yōu)化、資源占用趨勢(shì)預(yù)測(cè)的數(shù)據(jù)支撐。配置安全的訪問(wèn)控制機(jī)制、強(qiáng)大的權(quán)限管理機(jī)制以及與Microsoft Active Directory 的集成，可以嚴(yán)格地限制對(duì)虛擬機(jī)的訪問(wèn)，可確保任何未經(jīng)授權(quán)的用戶都無(wú)法訪問(wèn)管理服務(wù)器及其虛擬機(jī)。