廣播電視監(jiān)測(cè)中開(kāi)放式數(shù)據(jù)整合與處理體系的構(gòu)建

張 超

（國(guó)家廣電總局 五五三臺(tái)，上海 201908）

一、前言

廣播電視監(jiān)測(cè)應(yīng)用大數(shù)據(jù)技術(shù)是大勢(shì)所趨，而傳統(tǒng)的數(shù)據(jù)接口技術(shù)手段已無(wú)法適應(yīng)大數(shù)據(jù)應(yīng)用的要求。通常，系統(tǒng)間的數(shù)據(jù)交換采用數(shù)據(jù)接口技術(shù)，接口是傳遞管理信息的協(xié)議、過(guò)程、消息格式和語(yǔ)義的集合。接口為系統(tǒng)內(nèi)和系統(tǒng)間的功能調(diào)用和數(shù)據(jù)共享與傳遞提供了統(tǒng)一的表達(dá)方式。接口不僅要遵循標(biāo)準(zhǔn)化和規(guī)范化的要求，同時(shí)要滿足用戶長(zhǎng)遠(yuǎn)建設(shè)和發(fā)展的需要。

然而，在廣播電視監(jiān)測(cè)工作中運(yùn)用接口技術(shù)進(jìn)行數(shù)據(jù)共享和分析時(shí)，產(chǎn)生了大量的問(wèn)題。

（一）接口標(biāo)準(zhǔn)化要求

數(shù)據(jù)傳輸?shù)臉?biāo)準(zhǔn)化和規(guī)范化是數(shù)據(jù)接口構(gòu)建的一個(gè)重要原則，然而現(xiàn)行的各種監(jiān)測(cè)系統(tǒng)數(shù)據(jù)相關(guān)性不強(qiáng)，無(wú)法實(shí)時(shí)聯(lián)動(dòng)所有的監(jiān)測(cè)信息，比如系統(tǒng)中信道層指標(biāo)測(cè)量、TR101290報(bào)警處理、碼流分析、頻譜監(jiān)測(cè)、節(jié)目?jī)?nèi)容分析等檢測(cè)指標(biāo)都是相對(duì)獨(dú)立的，缺少聯(lián)動(dòng)。

隨著對(duì)安全播出要求的提高，廣播電視監(jiān)測(cè)工作要提高異態(tài)響應(yīng)速度，降低誤報(bào)率，這就需要從外部引進(jìn)相關(guān)信息，例如節(jié)目傳輸狀態(tài)信息、節(jié)目上行信息、其他監(jiān)測(cè)臺(tái)站的監(jiān)測(cè)指標(biāo)以及本地天氣信息等。這些數(shù)據(jù)無(wú)法按照我們預(yù)先設(shè)計(jì)的數(shù)據(jù)接口進(jìn)行數(shù)據(jù)傳輸，而且這些數(shù)據(jù)隨著自身系統(tǒng)的變化而變化。

（二）數(shù)據(jù)源拓展

隨著廣播電視播出全鏈路各節(jié)點(diǎn)信息共享程度的加深，可利用的數(shù)據(jù)會(huì)逐步增加，每當(dāng)有新的數(shù)據(jù)源加入時(shí)，就需要重新定制數(shù)據(jù)接口服務(wù)，將其引入現(xiàn)有系統(tǒng)中。

（三）數(shù)據(jù)清洗要求

系統(tǒng)接收到的數(shù)據(jù)中會(huì)出現(xiàn)無(wú)效的或殘缺的數(shù)據(jù)，這些數(shù)據(jù)可能導(dǎo)致后期進(jìn)行的相關(guān)分析無(wú)法正常進(jìn)行，這就需要對(duì)提取到的數(shù)據(jù)進(jìn)行重新審查和校驗(yàn)，以便刪除重復(fù)信息、糾正存在的錯(cuò)誤，并保持?jǐn)?shù)據(jù)的一致性。

（四）多維數(shù)據(jù)模型的需求

為滿足從不同角度、不同層次進(jìn)行數(shù)據(jù)查詢和分析的需要，需要建立基于事實(shí)和維度的多維數(shù)據(jù)模型。接口僅實(shí)現(xiàn)事實(shí)數(shù)據(jù)的存取，維度的建立還需利用其他手段來(lái)完成。

有見(jiàn)于此，我們需要建立一種可由用戶實(shí)現(xiàn)定義的、開(kāi)放式的數(shù)據(jù)處理體系。

二、開(kāi)放式數(shù)據(jù)處理體系

（一）體系結(jié)構(gòu)

廣播電視監(jiān)測(cè)節(jié)點(diǎn)繁多，數(shù)據(jù)量龐大，為合理有效地利用數(shù)據(jù)，實(shí)現(xiàn)監(jiān)測(cè)目標(biāo)，我們?cè)O(shè)計(jì)了由兩個(gè)層次和三個(gè)應(yīng)用程序構(gòu)成數(shù)據(jù)處理體系。兩個(gè)層次又細(xì)分為服務(wù)器層次和客戶端層次。三個(gè)應(yīng)用程序細(xì)分為服務(wù)器程序、數(shù)據(jù)處理程序和用戶管理程序。其中服務(wù)器程序?qū)?yīng)兩個(gè)層次中的服務(wù)器層次，數(shù)據(jù)處理程序和用戶管理程序?qū)?yīng)兩個(gè)層次中客戶端層次。服務(wù)器層次是我們構(gòu)建的開(kāi)放式數(shù)據(jù)處理體系的所有作業(yè)實(shí)際進(jìn)行的層次，客戶端層次是對(duì)于要進(jìn)行的作業(yè)下指令的層次。客戶端層次的用戶管理程序管理用戶的權(quán)限政策。數(shù)據(jù)處理程序是構(gòu)想和下指令作業(yè)真正在進(jìn)行時(shí)的具體內(nèi)容設(shè)計(jì)。服務(wù)器層次的服務(wù)器執(zhí)行客戶端層次的作業(yè)構(gòu)想和指令。

（二）數(shù)據(jù)處理聯(lián)系和數(shù)據(jù)轉(zhuǎn)換服務(wù)

我們?cè)O(shè)計(jì)的開(kāi)放式數(shù)據(jù)處理體系中，不同數(shù)據(jù)間關(guān)系的處理和轉(zhuǎn)換服務(wù)，需要通過(guò)數(shù)據(jù)提取、處理和相關(guān)數(shù)據(jù)轉(zhuǎn)換等操作實(shí)現(xiàn)。

隨著廣播電視監(jiān)測(cè)流程的完善，我們可以從廣播電視傳輸?shù)母鱾€(gè)節(jié)點(diǎn)獲得監(jiān)測(cè)數(shù)據(jù)。開(kāi)放式數(shù)據(jù)處理體系采用標(biāo)準(zhǔn)化數(shù)據(jù)接口，可以隨時(shí)加入新的數(shù)據(jù)源。數(shù)據(jù)處理聯(lián)系對(duì)接入的各種數(shù)據(jù)源進(jìn)行提取，從各種不同形態(tài)的源數(shù)據(jù)中提取出需要的數(shù)據(jù)，或者是從擁有相同源數(shù)據(jù)的系統(tǒng)中提取出需要的全部或部分?jǐn)?shù)據(jù)。對(duì)已提取出的數(shù)據(jù)再通過(guò)數(shù)據(jù)轉(zhuǎn)換作業(yè)，制作出體系需要的目標(biāo)數(shù)據(jù)。面對(duì)隨時(shí)在產(chǎn)生的龐大的監(jiān)測(cè)數(shù)據(jù)，需要采取批量處理的方式對(duì)數(shù)據(jù)進(jìn)行處理。通過(guò)排序引擎和高速提取引擎對(duì)所有源數(shù)據(jù)進(jìn)行處理，并由本地?cái)?shù)據(jù)倉(cāng)庫(kù)進(jìn)行儲(chǔ)存和管理。實(shí)時(shí)數(shù)據(jù)處理是對(duì)提取出的數(shù)據(jù)進(jìn)行批量處理后，再對(duì)提取到的文件和數(shù)據(jù)進(jìn)行加工。相關(guān)數(shù)據(jù)轉(zhuǎn)換通過(guò)數(shù)據(jù)處理引擎，實(shí)現(xiàn)數(shù)據(jù)篩選和清洗，最終實(shí)現(xiàn)數(shù)據(jù)轉(zhuǎn)換。

（三）數(shù)據(jù)模型設(shè)計(jì)

隨著廣播電視監(jiān)測(cè)要求的提高，獲得的監(jiān)測(cè)數(shù)據(jù)不只是簡(jiǎn)單呈現(xiàn)，還要進(jìn)行多層次、多角度的分析，通過(guò)建立各種數(shù)據(jù)模型，對(duì)監(jiān)測(cè)數(shù)據(jù)進(jìn)行再加工和深度分析，從而得出全面的監(jiān)測(cè)結(jié)論。數(shù)據(jù)模型的建立過(guò)程就是對(duì)數(shù)據(jù)進(jìn)行加工設(shè)計(jì)的過(guò)程。為方便用戶實(shí)現(xiàn)對(duì)數(shù)據(jù)的提取與加工，我們采用一種圖形化的數(shù)據(jù)加工作業(yè)設(shè)計(jì)，即使用者通過(guò)這個(gè)設(shè)計(jì)，對(duì)數(shù)據(jù)處理聯(lián)系和數(shù)據(jù)轉(zhuǎn)換服務(wù)采用何種方式執(zhí)行任務(wù)進(jìn)行加工。這種圖形化的數(shù)據(jù)加工作業(yè)設(shè)計(jì)體系中引入了面向?qū)ο蟮母拍?，即將用戶的?gòu)思、設(shè)計(jì)過(guò)程抽象成項(xiàng)目、功能模塊、數(shù)據(jù)文件和腳本等組成部分。

項(xiàng)目是數(shù)據(jù)模型設(shè)計(jì)中的一部分，是設(shè)計(jì)器向服務(wù)器下達(dá)指令，告訴它要執(zhí)行什么工作的命令合集。項(xiàng)目由很多功能模塊組成，數(shù)據(jù)通過(guò)抽取模塊、轉(zhuǎn)換模塊、排序集合模塊、連接模塊和加載模塊的操作后，就完成整個(gè)數(shù)據(jù)加工的各個(gè)環(huán)節(jié)，最終達(dá)到使用者的要求。每完成一個(gè)功能模塊的操作，就是對(duì)數(shù)據(jù)進(jìn)行一次加工，加工又會(huì)產(chǎn)生新的數(shù)據(jù)，為了保證整個(gè)加工過(guò)程的可追溯性，這些加工過(guò)程產(chǎn)生的數(shù)據(jù)文件都要保存，并且可訪問(wèn)。在對(duì)數(shù)據(jù)進(jìn)行加工服務(wù)工作時(shí)，對(duì)于反復(fù)出現(xiàn)的數(shù)據(jù)，可以將其指定為變量，通過(guò)自定義函數(shù)的方式實(shí)現(xiàn)運(yùn)行的有效進(jìn)行。通過(guò)函數(shù)的方式使整個(gè)模型設(shè)計(jì)中，數(shù)據(jù)加工設(shè)計(jì)的整體變換和修改更加便捷。

通常情況下，項(xiàng)目是按用戶預(yù)先的設(shè)計(jì)運(yùn)行，設(shè)計(jì)器為用戶提供項(xiàng)目手動(dòng)運(yùn)行及按計(jì)劃任務(wù)運(yùn)行，然而廣播電視監(jiān)測(cè)工作有很多突發(fā)情況，有些時(shí)候用戶需要從某個(gè)特定的命令塊開(kāi)始運(yùn)行，這就要求我們建立的開(kāi)放式數(shù)據(jù)處理體系有對(duì)實(shí)時(shí)監(jiān)測(cè)數(shù)據(jù)進(jìn)行臨時(shí)性的事后分析功能。為實(shí)現(xiàn)這一功能，就需要在實(shí)時(shí)監(jiān)測(cè)數(shù)據(jù)分析項(xiàng)目中添加臨時(shí)性的分支任務(wù)模塊。實(shí)時(shí)數(shù)據(jù)因其實(shí)時(shí)性，在已超過(guò)其生命周期的任務(wù)模塊中無(wú)法使用，但用戶可以充分利用其他任務(wù)模塊產(chǎn)生的以往數(shù)據(jù)記錄執(zhí)行后續(xù)的作業(yè)。

（四）用戶管理

用戶管理就是對(duì)用戶按業(yè)務(wù)上的關(guān)聯(lián)與否或者按可使用的功能進(jìn)行管理的工具。廣播電視監(jiān)測(cè)工作按照使用功能區(qū)分不同用戶，使用設(shè)計(jì)器進(jìn)行數(shù)據(jù)處理的每個(gè)用戶與其他用戶一起執(zhí)行各種任務(wù)。有些用戶的業(yè)務(wù)類似，也有的互相關(guān)聯(lián)。還有些用戶需使用設(shè)計(jì)器的所有功能，但有些用戶只使用特定的功能執(zhí)行任務(wù)。

三、結(jié)語(yǔ)

隨著廣播電視監(jiān)測(cè)系統(tǒng)所涉及的領(lǐng)域逐步擴(kuò)大，在廣播電視監(jiān)測(cè)中，采用開(kāi)放式數(shù)據(jù)處理體系，制定了標(biāo)準(zhǔn)化數(shù)據(jù)接口，拓展了監(jiān)測(cè)數(shù)據(jù)來(lái)源，構(gòu)建了專業(yè)化的多維度模型，分析信息，發(fā)出相應(yīng)的預(yù)警?；陂_(kāi)放式數(shù)據(jù)處理體系的廣播電視監(jiān)測(cè)系統(tǒng)已成為提高工作效率、減少人為因素干擾、降低誤報(bào)率的重要技術(shù)手段和今后的技術(shù)發(fā)展方向。

[1]丁勇扎西.資源共享網(wǎng)絡(luò)互聯(lián)實(shí)現(xiàn)方法研究[J].廣播電視信息，2012（04）：106-109.

[2]秦琨琨.廣播電視監(jiān)測(cè)中信息化應(yīng)用及安全防護(hù)[J].數(shù)字傳媒研究，2016（04）：63-66.

[3]高茳.廣播電視監(jiān)測(cè)監(jiān)管中云技術(shù)的應(yīng)用探析[J].中國(guó)有線電視，2017（02）：145-147.

[5]蔡國(guó)賢.廣播電視監(jiān)測(cè)技術(shù)的研究[J].黑龍江科技信息，2015（31）：15-16.

[6]趙國(guó)強(qiáng).基于互聯(lián)網(wǎng)建立廣播電視監(jiān)測(cè)服務(wù)平臺(tái)的構(gòu)想[J].廣播電視信息，2014（03）：112-114.