廣電網絡公司大數(shù)據(jù)計算及分析系統(tǒng)建設方案

劉尊

【摘要】本文對公司項目進行了簡單的介紹，闡述了大數(shù)據(jù)計算及分析系統(tǒng)的建設目標，包括兩方面，一方面為建設目標，另一方面為功能目標，重點探討了這一系統(tǒng)的功能模塊，包括系統(tǒng)間接口能力、大數(shù)據(jù)計算平臺及數(shù)據(jù)應用，此外，論述了建設方案，包括系統(tǒng)安全、軟件與硬件方案、服務器配置及網絡交換機配置等方案，以期拋磚引玉，為相關人士提供參考與借鑒。

【關鍵詞】大數(shù)據(jù);系統(tǒng)建設;軟件;硬件;配置

中圖分類號：TN94 ? ? ? ? ? ? ? ? 文獻標識碼：A ? ? ? ? ? ? ? 文章編號：1673-0348（2020）016-087-03

Construction scheme of big data calculation and analysis system in radio and television network company

Liu Zun

（Shandong Radio and Television Network Co.， Ltd. Linyi Branch， Linyi， Shandong 276000）

Abstract： this paper briefly introduces the project of the company and expounds the construction objectives of big data computing and analysis system， including two aspects， on the one hand， for the construction goal， on the other hand， for the function goal， and focuses on the functional modules of the system， including inter-system interface capability， big data computing platform and data application. in addition， it discusses the construction scheme， including system security， software and hardware scheme， server configuration and network switch configuration， with a view to providing reference and reference for relevant people.

Keywords： big data; system construction; software; hardware; configuration

1.項目介紹

目前公司直播平臺、互動平臺、客服系統(tǒng)以及BOSS系統(tǒng)等不斷產生大量的用戶行為數(shù)據(jù)、客服數(shù)據(jù)及營業(yè)數(shù)據(jù)，在這些數(shù)據(jù)背后，隱藏著能帶動公司發(fā)展的大量有價值的信息，通過發(fā)掘這些有價值的信息，可以找到更符合用戶興趣的產品，進行更精確的營銷，建立更完善的客服體系，以及提供更精準、及時的決策依據(jù)，從而指導企業(yè)更良性發(fā)展。

公司通過業(yè)務生產系統(tǒng)的搭建，我們已經實現(xiàn)了基礎的生產經營數(shù)據(jù)分析，但是對于其他系統(tǒng)所產生的海量大數(shù)據(jù)的整合、分析和挖掘還仍未進行。

2.建設目標

2.1業(yè)務目標

面向公司的各級管理、市場、客服及數(shù)據(jù)分析人員，以現(xiàn)有業(yè)務系統(tǒng)產生的海量數(shù)據(jù)資源為基礎，利用大數(shù)據(jù)技術，實現(xiàn)對數(shù)據(jù)的深加工和智能化分析挖掘，為企業(yè)運營決策和精準營銷提供完整、及時、準確、科學的信息支撐與指導。

2.2功能目標

系統(tǒng)間接口能力。具備實時采集公司其他系統(tǒng)數(shù)據(jù)的接口，同時提供數(shù)據(jù)解析、計算、入庫的能力。計算結果可供公司其他系統(tǒng)或第三方分析應用實時調用，包括主動推送的接口功能。各功能模塊布局圖（圖1）

3.1系統(tǒng)間接口能力

南向接口是大數(shù)據(jù)計算及分析系統(tǒng)接收外部系統(tǒng)數(shù)據(jù)的接口，通過南向接口為大數(shù)據(jù)計算及分析系統(tǒng)提供數(shù)據(jù)源。

北向接口是大數(shù)據(jù)計算及分析系統(tǒng)提供給外部系統(tǒng)數(shù)據(jù)服務的接口，通過北向接口為各外部系統(tǒng)提供計算結果和所需數(shù)據(jù)。

3.2大數(shù)據(jù)計算平臺

數(shù)據(jù)分層：總體按照三層進行建設，接口層、整合層、匯總層，分層進行數(shù)據(jù)存儲和模型建設。

平臺組件：采用Hadoop，HDFS等分布式存儲技術，極大提高系統(tǒng)的存儲能力以及擴容、災備、海量數(shù)據(jù)運算能力。同時為了提高系統(tǒng)即時運算能力，將引入Spark等內存計算技術。為了降低開發(fā)門檻，將引入Hive等類SQL技術。

平臺組件穩(wěn)定，平臺關鍵組件不能存在單點隱患，平臺建成后全年連續(xù)運行性達到99.99%。

3.3數(shù)據(jù)應用

（1）收視行為分析（包含機頂盒、APP）

A.直播分析：

統(tǒng)計觀看各個直播頻道的收視次數(shù)、用戶總數(shù)量，并通過報表和圖表展示，統(tǒng)計的時間段可以是當前、當日，或某一指定時間段;統(tǒng)計各頻道收視率、市場占有率、排名;統(tǒng)計單個頻道的實時流入流出統(tǒng)計分析，并可以分析自定義時間段內單個頻道流入流出情況以及頻道組的用戶情況。

B.點播分析：

統(tǒng)計當前觀看點播節(jié)目的用戶數(shù);

統(tǒng)計當前時間各點播節(jié)目觀看總數(shù)量及排行。

C.互動、回看分析：

統(tǒng)計當前觀看互動、回看節(jié)目的用戶數(shù);

統(tǒng)計當前時間各互動、回看節(jié)目觀看總數(shù)量及排行，按頻道+EPG方式統(tǒng)計。

4.建設方案

4.1系統(tǒng)部署方案

大數(shù)據(jù)平臺采用開源組件進行設計，包括平臺層和應用層。平臺層將一些共性、核心的服務抽取出來，作為平臺服務提供，本期平臺層含數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)存儲、數(shù)據(jù)共享、數(shù)據(jù)服務開放;平臺層既可以實現(xiàn)高可用，同時也可以支持應用橫向擴展，當業(yè)務處理要求不高時，僅需少量線程處理，以節(jié)約服務器性能，當業(yè)務處理能力不足時，不需要升級版本，支持平臺層進行橫向擴展。橫向擴展支持技術為系統(tǒng)將來的拓展給予了技術上的保障，可根據(jù)實時需要進行容量和性能的擴展。應用層關注業(yè)務功能的實現(xiàn)、用戶交互和用戶體驗;應用和平臺服務之間通過服務治理互聯(lián)，保障服務的無縫銜接，實現(xiàn)平臺服務集群的容量管理。

4.2硬件方案

項目一期將采用10臺兩路服務器構建Hadoop大數(shù)據(jù)集群，其中2臺是管理節(jié)點，8臺為計算節(jié)點。大數(shù)據(jù)平臺總存儲容量為240T左右，在滿足大數(shù)據(jù)平臺存儲的同時解決目前經分系統(tǒng)的歷史數(shù)據(jù)備份問題。網絡側將采用萬兆光纖交換機，保證集群內部各服務器之間的良好通訊。

參考文獻：

[1]楊榮霞.河北廣電大數(shù)據(jù)分析系統(tǒng)設計與實踐[J].有線電視技術，2018，v.25;No.342（06）：104-105.

[2]方靜.淺談廣電新媒體大數(shù)據(jù)分析及應用系統(tǒng)[J].電視工程，2018，000（001）：P.21-22.

[3]李曉麗.基于大數(shù)據(jù)分析的數(shù)字電視智能終端精準消息推送系統(tǒng)[D].2019.