楊健章 關(guān)婷婷 曲婷婷 王璐

摘 要：針對(duì)當(dāng)前數(shù)據(jù)可視化工具的種類、質(zhì)量和靈活性上存在的不足，構(gòu)建一個(gè)數(shù)據(jù)挖掘可視化平臺(tái)。將獲取的數(shù)據(jù)集上傳到系統(tǒng)分布式數(shù)據(jù)庫中，對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理，利用Mahout提供的分類、聚類等挖掘算法對(duì)數(shù)據(jù)集進(jìn)行挖掘，使用ECharts將挖掘產(chǎn)生的結(jié)果進(jìn)行可視化展示。

關(guān)鍵詞：數(shù)據(jù)挖掘；可視化展示；數(shù)據(jù)預(yù)處理；挖掘算法

引言

在大數(shù)據(jù)時(shí)代，通過數(shù)據(jù)挖掘可以對(duì)數(shù)據(jù)庫中的大量業(yè)務(wù)數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、分析和其他模型化處理，從而提取輔助商業(yè)決策的關(guān)鍵性信息，幫助企業(yè)做出決策。豐富而靈活的數(shù)據(jù)挖掘結(jié)果可視化技術(shù)使抽象的信息以簡(jiǎn)明的形式呈現(xiàn)出來，加深用戶對(duì)數(shù)據(jù)含義的理解，更好地了解數(shù)據(jù)之間的相互關(guān)系和發(fā)展趨勢(shì)。然而當(dāng)前數(shù)據(jù)可視化工具的種類、質(zhì)量和靈活性較大的影響數(shù)據(jù)挖掘系統(tǒng)的使用、解釋能力和吸引力。

這就需要使用分布式大數(shù)據(jù)處理技術(shù)進(jìn)行數(shù)據(jù)的存儲(chǔ)和計(jì)算，構(gòu)建一個(gè)數(shù)據(jù)挖掘可視化平臺(tái)，通過多種挖掘算法實(shí)現(xiàn)對(duì)原始數(shù)據(jù)集進(jìn)行挖掘，從而發(fā)現(xiàn)數(shù)據(jù)中有用的信息。

1 關(guān)鍵技術(shù)

1.1 MapReduce離線計(jì)算框架

一種在YARN系統(tǒng)之上的大數(shù)集離線計(jì)算框架，使用MapReduce可以并行的對(duì)原始數(shù)據(jù)集進(jìn)行計(jì)算處理，從而高效的得出結(jié)果。

1.2 HBase分布式數(shù)據(jù)庫

一個(gè)構(gòu)建在Hadoop之上分布式的、面向列的開源數(shù)據(jù)庫。HBase不同于一般的關(guān)系數(shù)據(jù)庫，它是一個(gè)適合于非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)庫。

1.3 Mahout

Apache Software Foundation旗下的一個(gè)開源項(xiàng)目，提供一些可擴(kuò)展的機(jī)器學(xué)習(xí)領(lǐng)域經(jīng)典算法的實(shí)現(xiàn)，包括聚類、分類、推薦過濾、頻繁子項(xiàng)挖掘等。

1.4 ECharts

一種商業(yè)級(jí)報(bào)表，創(chuàng)建了坐標(biāo)系，圖例，提示，工具箱等基礎(chǔ)組件，并在此上構(gòu)建出折線圖、柱狀圖、散點(diǎn)圖、K線圖、餅圖、雷達(dá)圖、地圖、和弦圖、力導(dǎo)向布局圖、儀表盤以及漏斗圖，同時(shí)支持任意緯度的堆積和多圖表混合實(shí)現(xiàn)。

2 系統(tǒng)設(shè)計(jì)

數(shù)據(jù)挖掘可視化系統(tǒng)包括數(shù)據(jù)預(yù)處理、挖掘算法、可視化顯示三大核心模塊。

2.1 數(shù)據(jù)預(yù)處理

通過上傳接口將數(shù)據(jù)集上傳到分布式數(shù)據(jù)庫HBase中，對(duì)數(shù)據(jù)進(jìn)行預(yù)處理后，將處理后的的數(shù)據(jù)集存儲(chǔ)留待挖掘時(shí)使用。

2.2 挖掘算法

使用開源的數(shù)據(jù)挖掘框架Mahout，對(duì)所需挖掘的算法進(jìn)行相關(guān)的參數(shù)設(shè)定，完成相關(guān)算法的挖掘。

2.3 可視化顯示

挖掘之后的相關(guān)結(jié)果存放到MySql數(shù)據(jù)庫中，前臺(tái)從數(shù)據(jù)庫中獲取挖掘結(jié)果，并且使用ECharts進(jìn)行可視化顯示，用戶通過前臺(tái)提供的可視化結(jié)果進(jìn)行數(shù)據(jù)分析，從而獲取所需要的信息。

3 系統(tǒng)實(shí)現(xiàn)

本系統(tǒng)在操作系統(tǒng)之上構(gòu)造了HDFS分布式文件系統(tǒng)，本地文件系統(tǒng)與分布式文件系統(tǒng)共同存在。在本地文件系統(tǒng)之上組織了關(guān)系型數(shù)據(jù)庫MySql和分布式數(shù)據(jù)庫HBase集群，其中MySql用來存儲(chǔ)管理員賬戶信息和少量的數(shù)據(jù)信息，HBase用來存儲(chǔ)用戶上傳的數(shù)據(jù)集。文件系統(tǒng)和數(shù)據(jù)庫之上使用分布式計(jì)算框架MapReduce和Mahout數(shù)據(jù)挖掘包，對(duì)用戶的數(shù)據(jù)集進(jìn)行分類、聚類、關(guān)聯(lián)規(guī)則等挖掘。后臺(tái)管理員界面選擇數(shù)據(jù)集以及挖掘參數(shù)的設(shè)定，前臺(tái)用戶界面通過圖表形式展示挖掘結(jié)果，幫助用戶進(jìn)行數(shù)據(jù)分析。系統(tǒng)中用到的開發(fā)工具如表1所示。

4 結(jié)束語

現(xiàn)有的數(shù)據(jù)挖掘可視化工具種類在國內(nèi)相對(duì)較少，在質(zhì)量上對(duì)用戶的展示缺乏交互性，且對(duì)于數(shù)據(jù)集的挖掘靈活性上比較欠缺。采用了當(dāng)前在數(shù)據(jù)挖掘及其可視化領(lǐng)域相對(duì)比較成熟的技術(shù)，用戶可以對(duì)挖掘結(jié)果的展示進(jìn)行交互、下載、打印等操作。用戶只需將數(shù)據(jù)集上傳到系統(tǒng)中，設(shè)置相關(guān)挖掘參數(shù)即可實(shí)現(xiàn)對(duì)數(shù)據(jù)集的挖掘，提取有用的數(shù)據(jù)，通過直觀的圖表進(jìn)行分析。

參考文獻(xiàn)

[1]胡俊.數(shù)據(jù)挖掘可視化模型機(jī)器應(yīng)用[D].北京交通大學(xué)，2009.

[2]施惠娟，孫蕾，李由.關(guān)聯(lián)規(guī)則下數(shù)據(jù)挖掘可視化技術(shù)的探討與實(shí)現(xiàn)[D].華東師范大學(xué)，2010.

[3]李淵.基于K-means算法的數(shù)據(jù)挖掘可視化技術(shù)的應(yīng)用研究[D].北京交通大學(xué)，2008.

作者簡(jiǎn)介：楊健章（1991-），男，大四學(xué)生，專業(yè)：計(jì)算機(jī)科學(xué)與技術(shù)。

*通訊作者：王璐（1980-），女，碩士，講師，主要研究方向：計(jì)算機(jī)應(yīng)用。