□李丹

淺談對歷史頻譜數(shù)據(jù)的數(shù)據(jù)挖掘

□李丹

本文主要探討了如何利用數(shù)據(jù)挖掘技術(shù)來實現(xiàn)對頻譜資源的直觀展示和深入探索，進(jìn)而對我國目前的頻譜資源管理提供有價值的信息和解決方案。

頻譜資源；數(shù)據(jù)挖掘；大數(shù)據(jù)

一、基于大數(shù)據(jù)的數(shù)據(jù)挖掘技術(shù)

（一）大數(shù)據(jù)的定義

關(guān)于大數(shù)據(jù)的確切定義，目前尚無獲得統(tǒng)一公認(rèn)的說法。IBM用4V特性來描述大數(shù)據(jù)所擁有的特點：巨大的數(shù)據(jù)量（Volume）；高速率（Velocity），體現(xiàn)了大數(shù)據(jù)產(chǎn)生效率的實時性；多結(jié)構(gòu)化數(shù)據(jù)（Variety），則從數(shù)據(jù)類型的角度體現(xiàn)了大數(shù)據(jù)的多元化，除了傳統(tǒng)的文本數(shù)據(jù)外，圖片、影視頻數(shù)據(jù)也成為現(xiàn)階段大數(shù)據(jù)技術(shù)的熱門存儲對象；價值密度低（Value），意味著要從低價值的原始海量數(shù)據(jù)中進(jìn)行深度挖掘和計算，總結(jié)出具備高價值的數(shù)據(jù)。

（二）基于大數(shù)據(jù)的數(shù)據(jù)挖掘技術(shù)

數(shù)據(jù)挖掘的目的是從大數(shù)據(jù)中獲得知識，很多時候數(shù)據(jù)挖掘也被稱為KDD，即數(shù)據(jù)庫中的知識發(fā)現(xiàn)。顯然，一個數(shù)據(jù)挖掘項目所需要的知識涉及到各個層面：決策層面需要知道數(shù)據(jù)挖掘能干什么；設(shè)計層面需要掌握行業(yè)相關(guān)知識和數(shù)據(jù)挖掘相關(guān)知識；技術(shù)層面需要高等數(shù)學(xué)、概率學(xué)、統(tǒng)計學(xué)、數(shù)據(jù)庫原理、分布計算、編程語言、具體算法原理等知識；應(yīng)用層面則要知道數(shù)據(jù)挖掘怎樣結(jié)合行業(yè)領(lǐng)域的需求，以及如何應(yīng)用數(shù)據(jù)挖掘的結(jié)果來解決問題等等。許多軟件公司及開源機(jī)構(gòu)為了處理海量的信息，并對數(shù)據(jù)挖掘算法進(jìn)行普及，開發(fā)了眾多數(shù)據(jù)挖掘工具軟件，而Hadoop生態(tài)圈則是目前主流的分布式海量數(shù)據(jù)挖掘平臺。

二、對歷史頻譜數(shù)據(jù)的數(shù)據(jù)挖掘

（一）頻譜資源和頻譜資源管理

無線電頻譜是一種非常寶貴且有限的自然資源，是屬于國家的重要戰(zhàn)略性資源。近年來，無線電頻譜需求不斷增加，頻率沖突越來越嚴(yán)峻，給頻譜資源的監(jiān)測和管理帶來了新的困難與挑戰(zhàn)，對無線電頻譜的監(jiān)測與管理是有效使用無線電資源的前提，因此，如何開展對信道和頻段使用情況的有效監(jiān)測，記錄全頻段和全時段內(nèi)所有信號的基礎(chǔ)數(shù)據(jù)，掌握用頻變化，評估信道占用度和利用率，把握頻譜的整體使用情況，提高頻譜感知與管理能力成為亟需解決的問題。

頻譜資源管理是指對無線電頻譜資源的使用進(jìn)行規(guī)劃與控制的活動，而無線電頻率管理是無線電頻譜管理的核心。為了對頻譜資源進(jìn)行合理的管理，我們不但必須掌握現(xiàn)階段的用頻情況，也需要對以往的頻譜數(shù)據(jù)進(jìn)行分析，掌握一段時期內(nèi)的用頻變化，以此來對下個階段的無線電頻率劃分進(jìn)行決策。

漢日IT新詞的詞義表達(dá)，符合語言修辭理論中的明晰性原則(clarity principle)(leech 1983:67)。每個詞匯除了語音結(jié)構(gòu)和語義之間維系一種透明、直接的關(guān)系外，在詞義上也避免了歧義的出現(xiàn)。原因在于IT新詞所表達(dá)的是前所未有的新概念和新事物，新詞與新概念、新事物之間呈明確的對應(yīng)關(guān)系，因此詞義本身具有很強(qiáng)的明確性，很少有歧義發(fā)生的情況。

（二）歷史頻譜數(shù)據(jù)挖掘的過程模型

對于數(shù)據(jù)挖掘項目，首先要建立過程模型，這里運用美國SPSS公司提出的5A模型，即評價需求（Assess）、存取數(shù)據(jù)（Access）、完備分析（Analyze）、模型演示（Act）、結(jié)果展現(xiàn)（Automate），來對歷史頻譜數(shù)據(jù)挖掘進(jìn)行過程分析。

1.評價需求

通過對海量歷史頻譜監(jiān)測數(shù)據(jù)的深入挖掘與分析，采用形式多樣、豐富的統(tǒng)計方法，我們可以以文本、圖片等多種形式提供直觀、有效、全面的歷年頻譜資源展示，從而為目前的頻譜資源管理提供綜合性決策依據(jù)。我臺頻譜負(fù)荷收測主要涉及中短波廣播業(yè)務(wù)，故此項目主要針對中短波廣播頻段頻譜數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘。

2.存取數(shù)據(jù)

利用Hadoop數(shù)據(jù)挖掘構(gòu)架實現(xiàn)海量數(shù)據(jù)的快速存取，主要包括大規(guī)模數(shù)據(jù)分析工具Pig、數(shù)據(jù)倉庫工具Hive、分布式編程框架MapReduce、數(shù)據(jù)狀態(tài)存儲HCatalog、分布式數(shù)據(jù)庫Hbase以及分布式文件系統(tǒng)HDFS等。

3.對歷史頻譜數(shù)據(jù)的分析

（1）頻譜占用度分析

頻譜占用度分析是頻譜分析的一種主要方法，通過對頻譜的統(tǒng)計計算，能知曉一定頻段和時間范圍（一般是一個頻譜收測周期）內(nèi)廣播全頻段的頻譜占用情況，從而能夠幫助我們在橫向（同一年相比較）、縱向（在時間跨度上相比較）上了解收測點附近（上海寶山地區(qū)）近60年的頻譜占用度變化情況。一般以柱狀圖顯示一定頻段和時間范圍內(nèi)的頻譜占用情況，占用度高低由不同顏色加以區(qū)分，頻道帶寬可設(shè)定，占用度可在時間和頻段兩個不同維度進(jìn)行統(tǒng)計。

（2）已知電臺分析

已知電臺分析是以已知曉的各國際國內(nèi)電臺作為分類，在橫向、縱向上對該臺在我收測點附近的、可收測到的播音情況進(jìn)行統(tǒng)計分析。通過電臺分析，可以得知某一電臺的播音總體變化，包括用頻變化（點陣圖或柱狀圖顯示）、歷年頻時數(shù)變化（折線圖顯示）等。同時，按照國家、地區(qū)、使用語言（節(jié)目內(nèi)容）等對電臺進(jìn)行分類。建立數(shù)據(jù)字典，將某一臺曾使用過的臺名、歸屬、發(fā)射地進(jìn)行統(tǒng)一錄入，方便在統(tǒng)計分析數(shù)據(jù)時保持完整性。

（3）使用語言分析

使用語言分析是對已知電臺所播的語言種類進(jìn)行統(tǒng)計分析。通過對各臺各頻率使用語言的統(tǒng)計篩選，可以對以我國為主要播向區(qū)的電臺頻率做進(jìn)一步分析，包括用頻變化（點陣圖或柱狀圖顯示）、頻時總數(shù)變化（折線圖顯示）、發(fā)射方向圖展示等，對我們把握此類電臺頻率的整體變化趨勢有著重要的作用。

（4）未知電臺、語言分析

我臺的歷年頻譜數(shù)據(jù)中，包含一部分未知電臺以及未知語言的頻率。這一部分頻率在頻譜負(fù)荷表中以“？”表示，大多是能夠收聽到播音但無法通過播音內(nèi)容或國際資料確定電臺歸屬或播音語言的頻率。對該類頻率，可以通過對已知電臺頻率的數(shù)據(jù)分析，判斷其可能的歸屬及播音語言。

4.頻譜資源挖掘模型

數(shù)據(jù)挖掘的任務(wù)模式按照功能類型可以分成描述型和預(yù)測型兩類，描述型任務(wù)一般用來刻畫數(shù)據(jù)的常用特征，預(yù)測型任務(wù)則通過分析目標(biāo)對象的模式和規(guī)律，對未來趨勢做出合理判斷。在頻譜數(shù)據(jù)任務(wù)中，對歷史頻譜數(shù)據(jù)的分析可以歸為描述型，而通過對未來頻譜資源分配走向的分析則應(yīng)歸為預(yù)測型。

將任務(wù)進(jìn)行分類后，需要將各個任務(wù)歸納入某一模型類型中。數(shù)據(jù)挖掘模型可以概括為二大類：聚類、分類、關(guān)聯(lián)。聚類分析旨在發(fā)現(xiàn)不同簇間的差異性；分類是將歷史數(shù)據(jù)按照用戶的需求進(jìn)行區(qū)分；關(guān)聯(lián)分析則是重在挖掘兩個不同關(guān)鍵詞的內(nèi)在共性。對歷史頻譜數(shù)據(jù)的數(shù)據(jù)挖掘可以歸為分類模型。

5.數(shù)據(jù)結(jié)果可視化展現(xiàn)

項目最終能夠通過快捷全面的前端展示平臺，快速顯示歷史頻譜數(shù)據(jù)挖掘結(jié)果以及對未來各電臺頻率變化走勢的分析結(jié)果，讓數(shù)據(jù)以更為靈活、直觀、可視化的方式表達(dá)出來。展示平臺主要應(yīng)能實現(xiàn)：3D頻譜、頻譜數(shù)據(jù)地域性展示，統(tǒng)計數(shù)據(jù)多樣化展示等。

三、結(jié)語

無線廣播頻譜監(jiān)測與管理系統(tǒng)通過對大量實測數(shù)據(jù)的分析，能夠直觀地向用戶展示各項歷史數(shù)據(jù)、頻譜占用情況、非法電臺等大數(shù)據(jù)背后的信息，對頻譜資源的分析、合理利用，正是我們搭建無線廣播頻譜監(jiān)測與管理系統(tǒng)的最終目標(biāo)。而如何在龐大的數(shù)據(jù)中更高效地進(jìn)行對數(shù)據(jù)的甄別、挖掘，從而向用戶提出有用、合理的頻譜資源問題的解決方案，是我們亟待解決的問題。

1.周鴻順.頻譜監(jiān)測手冊[M].北京：人民郵電出版社, 2006.

2.張俊林.大數(shù)據(jù)日知錄：架構(gòu)與算法[M].北京：電子工業(yè)出版社,2014.

3.黃標(biāo),李景春,譚海峰.認(rèn)知無線電及頻譜管理[M].北京：人民郵電出版社,2014.

4.[加]洪松林,[中]莊映輝,李堃.數(shù)據(jù)挖掘技術(shù)與工程實踐[M].北京：機(jī)械工業(yè)出版社,2014.

（作者單位：國家新聞出版廣電總局五五三臺）