□ 趙嘉姝

隨著云計算、大數(shù)據(jù)、媒體融合等新型技術(shù)的廣泛應(yīng)用，媒體的技術(shù)系統(tǒng)規(guī)模日漸擴大，基本的設(shè)備運行已不能滿足現(xiàn)行的節(jié)目內(nèi)容生產(chǎn)和播出業(yè)務(wù)應(yīng)用場景。為保障業(yè)務(wù)、系統(tǒng)穩(wěn)定高效運行，可采用全局、集中、科學(xué)的監(jiān)控體系，通過直觀的監(jiān)控顯示頁面，實現(xiàn)對網(wǎng)絡(luò)架構(gòu)、業(yè)務(wù)狀況、基礎(chǔ)設(shè)備的實時監(jiān)控，及時掌握核心關(guān)鍵業(yè)務(wù)狀態(tài)，及時進行預(yù)警和精準定位故障，變被動式消障工作為主動式預(yù)防，提升技術(shù)支持服務(wù)能力和水平。

一、監(jiān)控體系分析

監(jiān)控體系一般由人工監(jiān)控和自動監(jiān)控組成。自動監(jiān)控平臺需要對網(wǎng)絡(luò)層安全、應(yīng)用層安全和設(shè)備安全幾個方面進行監(jiān)控。監(jiān)控范圍覆蓋所有播出頻道的在播情況、備播情況、播后情況、系統(tǒng)設(shè)備狀態(tài)、網(wǎng)絡(luò)通信狀態(tài)、信號編解碼狀態(tài)等，涉及服務(wù)器、工作站等信息終端、幾千條網(wǎng)絡(luò)線路、數(shù)百個業(yè)務(wù)和中間件應(yīng)用服務(wù)等，管理數(shù)據(jù)容量非常大，而且存在無法直接穿透訪問的網(wǎng)絡(luò)特殊性，以及因應(yīng)用系統(tǒng)來自多家廠商而導(dǎo)致的軟件版本眾多、日志格式差別大等問題，需要監(jiān)控平臺作為對全系統(tǒng)規(guī)范化、集中化、自動化管理的平臺，提供針對基礎(chǔ)服務(wù)器、存儲、網(wǎng)絡(luò)設(shè)備、業(yè)務(wù)應(yīng)用四方面實現(xiàn)完整準確收集全部日志數(shù)據(jù)、日志間的關(guān)聯(lián)分析、網(wǎng)絡(luò)狀態(tài)實時監(jiān)控等功能，并通過收集的多維異構(gòu)系統(tǒng)設(shè)備日志，經(jīng)過大數(shù)據(jù)技術(shù)和機器自動學(xué)習(xí)技術(shù)加工，實現(xiàn)告警/故障統(tǒng)計報表功能和軟硬件預(yù)警趨勢分析等功能。

監(jiān)控平臺的體系設(shè)計從管理角度提出了以下五個方面的需求。

一是統(tǒng)一管理。監(jiān)控平臺要實現(xiàn)從基礎(chǔ)架構(gòu)到業(yè)務(wù)服務(wù)、從性能分析到事件管理、從數(shù)據(jù)備份到配置管理的統(tǒng)一管理，結(jié)合送播系統(tǒng)、播緩系統(tǒng)和總控系統(tǒng)提供送播、上載、技審、總控、播出等相關(guān)軟件業(yè)務(wù)流程的監(jiān)控和報警功能，集中形成視圖和控制能力，并對運維效率和運維成果進行統(tǒng)一監(jiān)管和優(yōu)化。

二是精益管理。通過實時監(jiān)控業(yè)務(wù)運行狀態(tài)和設(shè)備的健康情況，如實時監(jiān)控各頻道播出切換業(yè)務(wù)的運行狀態(tài)、播出切換系統(tǒng)的主/備播出通道一致性對比監(jiān)測等，提供相關(guān)指導(dǎo)性數(shù)據(jù)，評估基礎(chǔ)設(shè)備的運行負荷量，協(xié)助制定合理的資源調(diào)配方案，幫助發(fā)現(xiàn)信號異常，為制播系統(tǒng)的運行維護工作提供全局且準確的相關(guān)數(shù)據(jù)，同時具備在出現(xiàn)故障時可依據(jù)相關(guān)數(shù)據(jù)，實現(xiàn)自恢復(fù)或一定程度上的自恢復(fù)能力。

三是閉環(huán)管理。通過事件管理，實現(xiàn)端到端的預(yù)警和瓶頸診斷，以及故障、隱患處理的閉環(huán)管理，從戰(zhàn)略上優(yōu)化制播系統(tǒng)。

四是易用性與實用性。監(jiān)控平臺應(yīng)具備操作便捷性、界面簡潔性、數(shù)據(jù)與設(shè)備高關(guān)聯(lián)性、可下鉆操作等特點。

五是分布式架構(gòu)。對分布在不同跨物理區(qū)域的多種系統(tǒng)，要支持分布式部署，彈性擴大監(jiān)控系統(tǒng)性能。監(jiān)控使用的管理單元、數(shù)據(jù)庫、采集器應(yīng)支持獨立部署在不同設(shè)備中，監(jiān)控數(shù)據(jù)應(yīng)使用便捷、安全的方式上傳到中心數(shù)據(jù)庫，可以使用同一套管理體系，實現(xiàn)異地集中監(jiān)控和集中管理，降低異地信號監(jiān)控運營成本。

平臺化的監(jiān)控體系不但可以最大程度實現(xiàn)所在系統(tǒng)的監(jiān)控需求，還能滿足系統(tǒng)的柔性擴展需求，實現(xiàn)跨系統(tǒng)、跨區(qū)域的集中管理，具備兼容多種廠家、業(yè)務(wù)軟件、通信方式的監(jiān)控能力，可在節(jié)省系統(tǒng)運營成本的基礎(chǔ)上，保證媒體制播系統(tǒng)業(yè)務(wù)的穩(wěn)定性和安全性。

二、監(jiān)控平臺設(shè)計

根據(jù)監(jiān)控平臺的體系需求，應(yīng)綜合考慮系統(tǒng)架構(gòu)管控和節(jié)約投入成本等因素，利用分布式處理、海量數(shù)據(jù)搜索及處理、數(shù)據(jù)流處理、機器自主學(xué)習(xí)等技術(shù)設(shè)計總控系統(tǒng)的監(jiān)控平臺，在各相關(guān)系統(tǒng)部署采集器，收集的數(shù)據(jù)使用加密方式上傳到制播平臺的監(jiān)控數(shù)據(jù)庫內(nèi)，并對數(shù)據(jù)做結(jié)構(gòu)化處理，為上層分析提供數(shù)據(jù)依據(jù)。

監(jiān)控平臺包含展現(xiàn)、功能、數(shù)據(jù)處理、數(shù)據(jù)源四層結(jié)構(gòu)。展現(xiàn)層主要為相關(guān)使用人員提供展示門戶和數(shù)據(jù)統(tǒng)計等功能。功能層是根據(jù)需要提供各種監(jiān)控、分析、預(yù)警、告警等應(yīng)用模塊。數(shù)據(jù)處理層是負責對各區(qū)域系統(tǒng)做數(shù)據(jù)采集和數(shù)據(jù)處理的工作。數(shù)據(jù)源層是指被監(jiān)控對象的集合。

根據(jù)監(jiān)控平臺機構(gòu)及筆者所在的深圳臺自身業(yè)務(wù)特點，監(jiān)控平臺設(shè)計整體架構(gòu)上采用多層分布式的J2EE架構(gòu)；頁面呈現(xiàn)方式上選擇純B/S架構(gòu)，支持https配置和Web界面顯示。其中展現(xiàn)層提供實時告警臺、服務(wù)臺、知識庫、業(yè)務(wù)流程狀態(tài)監(jiān)控、業(yè)務(wù)服務(wù)狀態(tài)監(jiān)控和數(shù)據(jù)統(tǒng)計臺六個功能模塊。功能層選擇資產(chǎn)管理、工作計劃、設(shè)計工具、事件管理、問題管理、變更管理、發(fā)布管理、配置管理、服務(wù)臺、排班管理、知識庫管理、服務(wù)目錄、服務(wù)水平管理、服務(wù)請求分析、運行管理及第三方產(chǎn)品調(diào)用等多項功能模塊。數(shù)據(jù)處理層主要針對告警數(shù)據(jù)、性能數(shù)據(jù)、配置數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)等設(shè)置硬件監(jiān)控管理平臺、機房管理平臺、虛擬環(huán)境管理平臺和業(yè)務(wù)監(jiān)控平臺，并通過同一個中心配置管理邏輯數(shù)據(jù)庫——CMDB進行數(shù)據(jù)采集和結(jié)構(gòu)處理操作。數(shù)據(jù)源層是數(shù)據(jù)采集對象的集合，包含網(wǎng)絡(luò)、服務(wù)器、數(shù)據(jù)庫、中間件、存儲、機房動力環(huán)境、特殊設(shè)備、虛擬資源、業(yè)務(wù)系統(tǒng)和業(yè)務(wù)數(shù)據(jù)等。

平臺利用分布式消息隊列管理采集原始數(shù)據(jù)和結(jié)構(gòu)化處理后數(shù)據(jù)，滿足擴展設(shè)備提升處理能力的柔性系統(tǒng)架構(gòu)需求。平臺支持分布式計算和存儲功能，選用基于Linux文件系統(tǒng)下的分布式存儲來存放日志索引文件，同時采用流處理技術(shù)，將收集到的不滿足結(jié)構(gòu)化要求的數(shù)據(jù)進行結(jié)構(gòu)化處理，并通過靈活設(shè)置結(jié)構(gòu)化數(shù)據(jù)提取字段，來對其進行統(tǒng)計和分析。平臺還采用交互性良好的Web頁面建立與用戶的連接，降低監(jiān)控平臺運維和使用難度的同時，還可以利用瀏覽器完成用戶管理、告警設(shè)置、數(shù)據(jù)結(jié)構(gòu)化配置、數(shù)據(jù)搜索、數(shù)據(jù)分析、數(shù)據(jù)導(dǎo)出等操作。

三、監(jiān)控平臺功能

監(jiān)控平臺主要針對系統(tǒng)網(wǎng)絡(luò)、服務(wù)器、數(shù)據(jù)庫、中間件、存儲、業(yè)務(wù)數(shù)據(jù)等數(shù)據(jù)進行實時性監(jiān)控，并對這些數(shù)據(jù)進行統(tǒng)計分析，從而實現(xiàn)排除系統(tǒng)隱患、快速定位故障點等功能。

一是平臺對網(wǎng)絡(luò)的監(jiān)控。主要支持網(wǎng)絡(luò)協(xié)議如NetStream、NetFlow、IPFIX的分析，通過采集網(wǎng)絡(luò)流量，收集每位用戶每個時間段內(nèi)的流量情況；還支持通過syslog日志收集，掌握交換機、防火墻等網(wǎng)絡(luò)設(shè)備的軟硬件信息，如硬件故障、配置變化、用戶連接信息、用戶登陸信息、端口狀態(tài)、安全威脅、策略應(yīng)用信息、網(wǎng)絡(luò)地址轉(zhuǎn)換等。

二是平臺對服務(wù)器的監(jiān)控。支持監(jiān)控Linux系列、Windows系列等多種系統(tǒng)類型服務(wù)器的主機服務(wù)監(jiān)測、進程、性能、事件日志、空間、目錄更改、風扇、CPU溫度、機箱溫度等健康狀況，及時發(fā)現(xiàn)并預(yù)警隱患。

三是平臺對數(shù)據(jù)庫的監(jiān)控。通過對訪問狀態(tài)、特定進程狀態(tài)和數(shù)量、連接數(shù)量、死鎖數(shù)量、讀寫命中率、回滾數(shù)量、表空間、碎片百分比、庫中每秒執(zhí)行事物量等數(shù)據(jù)的監(jiān)測和收集，實現(xiàn)對系統(tǒng)內(nèi)Oracle、MySQL、SQL Server、MangoDB等數(shù)據(jù)庫的監(jiān)控，同時支持自定義SQL語句進行監(jiān)測。

四是平臺對中間件的監(jiān)控。支持如Tomcat、Websphere、Apusic等各類應(yīng)用中間件的監(jiān)控。

五是平臺對存儲的監(jiān)控。通過存儲內(nèi)網(wǎng)絡(luò)狀態(tài)、I/O口流量和性能等信息的監(jiān)控實現(xiàn)對制播系統(tǒng)和相關(guān)系統(tǒng)內(nèi)的IBM、EMC、華為等多家廠商存儲帶庫和陣列進行監(jiān)控。

六是平臺對機房環(huán)境的監(jiān)控。通過SNMP采集器和傳感器實現(xiàn)對機房UPS電源、電壓、電流、溫度、濕度、煙感等信息進行監(jiān)控。

七是平臺對業(yè)務(wù)數(shù)據(jù)的監(jiān)控。通過連接業(yè)務(wù)數(shù)據(jù)庫監(jiān)測業(yè)務(wù)狀態(tài)和變化等信息，實時監(jiān)控業(yè)務(wù)狀態(tài)，同時圖形化業(yè)務(wù)服務(wù)監(jiān)控，并通過流程、設(shè)備、日志等設(shè)定關(guān)聯(lián)，支持下鉆查詢功能。

八是平臺的統(tǒng)計分析功能。支持歷史、實時等自定義時段分析、生產(chǎn)互動式報表，并通過Excel、PDF等格式輸出。

監(jiān)控平臺的體系設(shè)計宗旨在于“防患于未然”，它的功能與性能直接影響著制播系統(tǒng)的穩(wěn)定性和安全性。