云計算技術(shù)下數(shù)據(jù)挖掘平臺設(shè)計及技術(shù)

摘 要： 為了探討云計算技術(shù)下數(shù)據(jù)挖掘平臺設(shè)計及技術(shù)應用效益，通過研究設(shè)計云計算技術(shù)下數(shù)據(jù)挖掘平臺，在云計算技術(shù)支持下，優(yōu)化設(shè)計數(shù)據(jù)挖掘平臺，以改進當前數(shù)據(jù)挖掘技術(shù)質(zhì)量。結(jié)果表明，設(shè)計基于云計算技術(shù)的數(shù)據(jù)挖掘平臺，不僅可以確保提升技術(shù)應用效益，也可以提升數(shù)據(jù)挖掘質(zhì)量與平臺穩(wěn)定性。相比傳統(tǒng)數(shù)據(jù)挖掘方式，云計算機技術(shù)下數(shù)據(jù)挖掘的效率提高達到20.0%。

關(guān)鍵詞： 數(shù)據(jù)挖掘平臺； 云計算技術(shù)； 技術(shù)應用； 優(yōu)化設(shè)計

中圖分類號： TN911?34 文獻標識碼： A 文章編號： 1004?373X（2016）16?0061?03

Abstract： The purpose of this thesis is to discuss the design of data mining platform based on the cloud computing technology and its application. Through the research of the data mining platform based on the cloud computing technology， the design of the data mining platform was optimized under the support of cloud computing technology to guarantee the effect of the technology application， and improve the quality of the data mining technology and the stability of data mining platform. Compared with the traditional data mining methods， the data mining efficiency is increased by 20%.

Keywords： data mining platform； cloud computing technology； technology application； optimization design

0 引 言

對于數(shù)據(jù)挖掘平臺設(shè)計，可以基于當前云計算技術(shù)發(fā)展優(yōu)勢，而數(shù)據(jù)挖掘與數(shù)據(jù)是密不可分的，運用云計算技術(shù)，有助于優(yōu)化數(shù)據(jù)挖掘平臺設(shè)計工作，以提升數(shù)據(jù)挖掘平臺設(shè)計性能。數(shù)據(jù)挖掘（Data Mining）能夠從實際工作中的大量、不完全數(shù)據(jù)，以及有噪聲、模糊的實際應用數(shù)據(jù)[1]中有效提取出隱含的數(shù)據(jù)。這些數(shù)據(jù)均是人們事先不知道的數(shù)據(jù)，但是對于這些數(shù)據(jù)，又潛在存在有用的信息；而這個發(fā)現(xiàn)新數(shù)據(jù)、信息知識的過程就是數(shù)據(jù)挖掘的過程，即數(shù)據(jù)庫中的知識發(fā)現(xiàn)KDD（Knowledge Discovery in Databases）。與傳統(tǒng)數(shù)據(jù)挖掘相比，采用云計算技術(shù)設(shè)計實現(xiàn)的數(shù)據(jù)挖掘平臺，能夠通過“云”中的多個資源去完成數(shù)據(jù)挖掘的工作，可以使數(shù)據(jù)資源在該數(shù)據(jù)挖掘平臺中得到充分的利用，提高當前數(shù)據(jù)挖掘的效率[2]。同時，基于云計算技術(shù)的數(shù)據(jù)挖掘平臺，可以在提高數(shù)據(jù)挖掘效率的同時[3?6]，克服實際中網(wǎng)格環(huán)境下挖掘數(shù)據(jù)的弊端，實現(xiàn)面向商業(yè)應用的數(shù)據(jù)挖掘工作，現(xiàn)實中更具實用價值。

1 系統(tǒng)設(shè)計需求分析

本文基于通信資源數(shù)據(jù)挖掘設(shè)計挖掘平臺。數(shù)據(jù)挖掘總體可以分為數(shù)據(jù)準備、數(shù)據(jù)挖掘兩大階段[7]。在數(shù)據(jù)挖掘平臺設(shè)計中，根據(jù)數(shù)據(jù)特點運用云計算技術(shù)，對數(shù)據(jù)進行過濾、轉(zhuǎn)換等操作，有助于提升系統(tǒng)設(shè)計性能，滿足系統(tǒng)設(shè)計需求。該系統(tǒng)設(shè)計中，針對海量用戶數(shù)據(jù)信息，利用數(shù)據(jù)挖掘技術(shù)，可在計費數(shù)據(jù)、業(yè)務訂購數(shù)據(jù)、網(wǎng)管數(shù)據(jù)等海量用戶數(shù)據(jù)中發(fā)現(xiàn)商業(yè)信息，為通信市場的精準營銷打下基礎(chǔ)[8?12]。在系統(tǒng)設(shè)計中，運用云計算技術(shù)實現(xiàn)數(shù)據(jù)挖掘， 將云計算技術(shù)融入數(shù)據(jù)挖掘中，采用分布式計算（Map/Reduce）概念，能夠?qū)⒋髷?shù)據(jù)集和挖掘任務分解到多臺計算機上并行處理，以確保數(shù)據(jù)挖掘平臺設(shè)計符合實際需求。

2 云計算技術(shù)下數(shù)據(jù)挖掘平臺設(shè)計方案

2.1 系統(tǒng)總體設(shè)計

在云計算技術(shù)下設(shè)計數(shù)據(jù)挖掘平臺，采取三層結(jié)構(gòu)，以數(shù)據(jù)預處理、云計算以及數(shù)據(jù)挖掘平臺為分層，優(yōu)化提升該平臺實現(xiàn)數(shù)據(jù)挖掘的功能。系統(tǒng)設(shè)計結(jié)構(gòu)如圖1所示。

在該平臺設(shè)計中，數(shù)據(jù)預處理層能夠存儲分布式數(shù)據(jù)文件，實現(xiàn)對平臺的分布式系統(tǒng)管理；云計算層可以對各個數(shù)據(jù)挖掘步驟及模塊總控、調(diào)度[13]，對原始數(shù)據(jù)進行預處理以得到挖掘數(shù)據(jù)；數(shù)據(jù)挖掘平臺可以實現(xiàn)具體應用，以確保該平臺設(shè)計符合實際需求。

2.2 系統(tǒng)功能設(shè)計

該數(shù)據(jù)挖掘平臺具備多種數(shù)據(jù)挖掘功能，其由數(shù)據(jù)收集模塊、數(shù)據(jù)預處理模塊、模式規(guī)則選擇模塊及應用接口模塊四部分組成，如圖2所示。

數(shù)據(jù)收集模塊：其主要的功能是可以負責收集在該平臺服務器端中的數(shù)據(jù)，同時也包括客戶的一些登記資料，然后運用文本方式，返回這些收集的數(shù)據(jù)。

數(shù)據(jù)預處理模塊：其主要功能是預處理返回數(shù)據(jù)信息，去除信息中無用的、冗余數(shù)據(jù)，以便節(jié)約系統(tǒng)數(shù)據(jù)挖掘時間[14]。

模式規(guī)則選取模塊：可以獲取各個站點通用的模式，其是一種學習策略。

應用接口模塊：其功能是可以實現(xiàn)數(shù)據(jù)與該數(shù)據(jù)挖掘平臺的連接。

2.3 平臺數(shù)據(jù)庫設(shè)計

數(shù)據(jù)庫設(shè)計充分利用關(guān)系數(shù)據(jù)庫特征，減少數(shù)據(jù)冗余，數(shù)據(jù)只在一個地方存儲，通過主鍵和外鍵對應動態(tài)生成所需視圖，方便程序編寫查詢檢索代碼。部分表鍵對應關(guān)系如圖3所示。

2.4 數(shù)據(jù)挖掘平臺算法實現(xiàn)

將云計算融入數(shù)據(jù)挖掘，將計算擴展到無限規(guī)模的機器集群上進行。在Map/Reduce框架中，每一次計算請求，均是以此作業(yè)。數(shù)據(jù)挖掘中，可以將數(shù)據(jù)挖掘作業(yè)拆分為若干個不同的Map任務， 然后將其分配到數(shù)據(jù)挖掘平臺中不同的機器上執(zhí)行；當完成所有的Map任務后，則可以進入下一個數(shù)據(jù)挖掘步驟，將這些中間文件合并，輸出這些文件；同時，該數(shù)據(jù)挖掘平臺中，又將生成若干Reduce任務，循環(huán)以上算法，最后可生成所需的數(shù)據(jù)挖掘目標文件。運用該算法設(shè)計數(shù)據(jù)挖掘平臺，大大提高數(shù)據(jù)挖掘的靈活性，提升數(shù)據(jù)挖掘效率。明確數(shù)據(jù)挖掘的目標，并對挖掘目標建立恰當?shù)哪Ｐ汀?/p>

3 結(jié) 語

本文設(shè)計的基于云計算技術(shù)的數(shù)據(jù)挖掘平臺，不僅可以確保提升技術(shù)應用效益，也可以提升數(shù)據(jù)挖掘質(zhì)量與平臺穩(wěn)定性，相比傳統(tǒng)數(shù)據(jù)挖掘方式，提高數(shù)據(jù)挖掘效率達到20.0%。 綜上所述，設(shè)計基于云計算技術(shù)的數(shù)據(jù)挖掘平臺，不僅可以滿足當前系統(tǒng)設(shè)計需求，也可以滿足用戶規(guī)模的擴大、應用目標多樣等環(huán)境下數(shù)據(jù)挖掘的應用需求，提高數(shù)據(jù)挖掘的效率，具有實際應用價值。

參考文獻

[1] 杜艷綏.基于Hadoop云計算平臺的數(shù)據(jù)挖掘分析[J].信息技術(shù)與標準化，2013（4）：36?38.

[2] 程苗，陳華平.基于Hadoop的Web日志挖掘[J].計算機工程，2011（11）：37?39.

[3] 王德文.基于云計算的電力數(shù)據(jù)中心基礎(chǔ)架構(gòu)及其關(guān)鍵技術(shù)[J].電力系統(tǒng)自動化，2012，36（11）：67?71.

[4] 曹小春，曾安，潘丹.云計算環(huán)境下面向領(lǐng)域的數(shù)據(jù)挖掘服務平臺研究[J].自動化儀表，2014，35（9）：9?13.

[5] 黃章樹，劉晴晴.基于云計算服務模式的數(shù)據(jù)挖掘應用平臺的構(gòu)建[J].電信科學，2012，28（1）：53?57.

[6] 趙海東.關(guān)于流數(shù)據(jù)挖掘技術(shù)中有關(guān)云計算的應用設(shè)計分析[J].數(shù)字化用戶，2013（15）：142.

[7] 袁春園.基于Hadoop云計算平臺的數(shù)據(jù)挖掘分析[J].信息與電腦（理論版），2015（15）：58?59.

[8] 金龍.云計算環(huán)境中的數(shù)據(jù)挖掘存儲管理設(shè)計[J].軟件工程師，2012（12）：36?37.

[9] 郭鑫，董堅峰，周清平.自適應云端的大規(guī)模導出子圖提取算法[J].計算機科學，2014，41（6）：155?160.

[10] 郭鑫，顏一鳴，徐洪智，等.動態(tài)云平臺下的快速閉樹聚類并行算法[J].計算機工程，2013（9）：80?83.

[11] 王水萍，王方.一種基于云計算數(shù)據(jù)挖掘平臺架構(gòu)的設(shè)計與實現(xiàn)[J].信息安全與技術(shù)，2014（8）：64?66.

[12] 張大衛(wèi)，李海雁，李濤.云計算環(huán)境下多源遙感數(shù)據(jù)挖掘系統(tǒng)構(gòu)建[J].信息技術(shù)，2015（5）：187?191.

[13] 蔡江云.基于微軟云計算平臺的海量數(shù)據(jù)挖掘系統(tǒng)分析[J].才智，2015（5）：375.

[14] 穆俊.基于云平臺的并行關(guān)聯(lián)規(guī)則挖掘算法分析[J].現(xiàn)代電子技術(shù)，2015，38（11）：123?125.

[15] 王玨.基于關(guān)聯(lián)規(guī)則的醫(yī)生診療數(shù)據(jù)挖掘系統(tǒng)的實現(xiàn)[J].現(xiàn)代電子技術(shù)，2013，36（19）：124?126.