淺析大數(shù)據(jù)時代的數(shù)據(jù)挖掘技術與應用

周凌

【摘 要】隨著計算機、互聯(lián)網(wǎng)、移動終端產(chǎn)業(yè)的飛速發(fā)展，各行各業(yè)對數(shù)據(jù)的采集、傳輸、積累，數(shù)據(jù)逐漸成為最有價值的非物質(zhì)產(chǎn)物，標志著大數(shù)據(jù)時代的到來。然而，雖然大數(shù)據(jù)之中存在極有價值的數(shù)據(jù)，但也擁有大量無價值或者冗余數(shù)據(jù)，讓數(shù)據(jù)的價值大打折扣，這就衍生出了數(shù)據(jù)挖掘這一突破性的技術手段。數(shù)據(jù)挖掘技術一經(jīng)問世就受到各行業(yè)的廣泛關注，成為軟件行業(yè)時下最熱門的關鍵詞和發(fā)展方向，其意義之重大可想而知。論文淺略分析和介紹了大數(shù)據(jù)的含義、數(shù)據(jù)挖掘技術的基本原理，并著重分析數(shù)據(jù)挖掘技術在各企業(yè)中的應用和價值。

【Abstract】With the rapid development of computer， Internet and mobile terminal industry， and the collection， transmission and accumulation of data in various industries， the data has gradually become the most valuable nonmaterial product， which marks the arrival of the big data era. However， although there is very valuable data among big data， there is a lot of worthless or redundant data that greatly reduces the value of the data. This leads to the breakthrough technique of data mining. As soon as data mining technology comes out， it has attracted wide attention from various industries， and has become the hottest keyword and developing direction in the software industry， the significance of which can be imagined. This paper briefly analyzes and introduces the meaning of big data， the basic principle of data mining technology， and emphatically analyzes the application and value of data mining technology in various enterprises.

【關鍵詞】大數(shù)據(jù)；數(shù)據(jù)挖掘；應用

【Keywords】big data； data mining； application

【中圖分類號】TP311 【文獻標志碼】A 【文章編號】1673-1069（2018）05-0189-02

1 引言

大數(shù)據(jù)是數(shù)據(jù)集優(yōu)化、分配和管理發(fā)展的背景和平臺。在操作過程中，數(shù)據(jù)的潛在信息不易準確搜索，需要進一步挖掘和優(yōu)化數(shù)據(jù)挖掘技術?？梢?，數(shù)據(jù)挖掘技術在大數(shù)據(jù)時代占有重要地位。它的技術發(fā)展和應用表明，數(shù)據(jù)信息的編輯和處理功能影響重大，具有重要的發(fā)展意義和作用。

隨著我國各行業(yè)市場化進程的推動，以及互聯(lián)網(wǎng)、數(shù)據(jù)分析技術對傳統(tǒng)產(chǎn)業(yè)的顛覆，“大數(shù)據(jù)分析”遲早會成為中國企業(yè)界突破藩籬的關鍵手段，依靠單一信息進行分析的系統(tǒng)已經(jīng)無法滿足市場需求，建立以多種信息采集、分析、識別、研判、歸檔、展現(xiàn)的綜合性平臺成為發(fā)展趨勢。

2 數(shù)據(jù)挖掘技術的分析方法

2.1 聚類

聚類分析是將數(shù)據(jù)集劃分為多個類似的組，其目的是最大限度地提高識別相同的數(shù)據(jù)類型之間的關聯(lián)性。通過不同數(shù)據(jù)之間的關聯(lián)性，找到有用的數(shù)據(jù)集。這種分析方法可以應用在客戶群體、客戶分類、背景分析，以此事先分析客戶需求并提前進行準備，聚類分析廣泛存在于心理學、醫(yī)學、銷售等領域中的數(shù)據(jù)識別分析。

2.2 分類及事先推測

分類是對相同的數(shù)據(jù)庫里面的數(shù)據(jù)根據(jù)形式、特點進行對應分類，并針對不同的目的進行統(tǒng)計和劃分。這種方式的好處是可以通過數(shù)據(jù)的某一特點，反映該數(shù)據(jù)項的目的需求。該方式可用于客戶分類、客戶特征、滿意度、購買趨勢的分析，該方式對于單一行業(yè)來說數(shù)據(jù)積累越多價值越高，是一種連續(xù)積累的價值功能模型。

2.3 關聯(lián)分析

在自然界中，各事物之間存在一定的聯(lián)系。關聯(lián)分析利用這一特性，查找存在于本數(shù)據(jù)集合與對象集合之間的關聯(lián)、相關性或因果結構。該方式能發(fā)現(xiàn)交易數(shù)據(jù)中不同商品的關聯(lián)性，防止在交易過程中可能出現(xiàn)的問題，或者尋找市場的影響因素以不斷改良自身產(chǎn)品，使利益達到最大化。

2.4 特征分析方法

特征分析方法的特點是在數(shù)據(jù)庫內(nèi)部的一組數(shù)據(jù)中提取關于該組的數(shù)據(jù)，從而顯示整個數(shù)據(jù)的特征，作為營銷人員對客戶流失數(shù)據(jù)的提取，了解如何利用這些數(shù)據(jù)找到原因，有助于留住客戶。

3 數(shù)據(jù)挖掘技術的應用

3.1 數(shù)據(jù)挖掘的基本過程

挖掘技術是一個集數(shù)據(jù)集成、數(shù)據(jù)挖掘過程于一體的綜合分析系統(tǒng)，其需要依賴一個固定的工作流程來完成信息資源的整合和挖掘工作，一般分為三個步驟：一是數(shù)據(jù)的準備，從一開始就進行數(shù)據(jù)挖掘，必須明確需要挖掘的“目標數(shù)據(jù)”，也就是說進行數(shù)據(jù)挖掘時首先需要有數(shù)據(jù)基礎及挖掘目的，不能盲目進行分析工作。在數(shù)據(jù)準備過程中，系統(tǒng)將根據(jù)特定的操作和指令，檢索滿足需求和目標的信息資源，并進行分類、清理、編輯甚至預處理。二是數(shù)據(jù)挖掘。經(jīng)過處理后，需要對目標數(shù)據(jù)信息進行挖掘處理，使其能夠正確、高效地引入管理機制。因此，操作環(huán)節(jié)是整個程序的關鍵環(huán)節(jié)。例如在數(shù)據(jù)挖掘中，我們可以結合數(shù)據(jù)挖掘目標要求，針對性地選取科學而又合適的計算和分析方法，對數(shù)據(jù)信息特征與應用價值等進行尋找和歸納；當然，也可以結合程序應用的需要，對數(shù)據(jù)區(qū)域進行固定，并在固定的數(shù)據(jù)區(qū)域內(nèi)分類挖掘數(shù)據(jù)，從而得到更具深度和內(nèi)涵以及價值的數(shù)據(jù)信息資源，并就挖掘到的數(shù)據(jù)結果進行分析和解釋，從結果中將具有使用價值和意義的規(guī)律進行提取，并還原成便于理解的數(shù)據(jù)語言。最后是切實加強管理和計算等專業(yè)知識的應用，將數(shù)據(jù)挖掘技術實施中進行的總結和提取所獲得的數(shù)據(jù)信息與評估結果在現(xiàn)實之中應用，從而對某個思想、決策是否正確和科學進行判斷，最終體現(xiàn)出數(shù)據(jù)挖掘及時的應用價值。

3.2 技術應用的延展方向

在大數(shù)據(jù)時代，未來的幾年中，數(shù)據(jù)挖掘技術的應用領域?qū)⑦M一步擴大，現(xiàn)已廣泛應用于市場營銷、科研、生產(chǎn)、制造、電信、教育，將逐步擴展到其他行業(yè)如航空航天、生物醫(yī)藥、刑偵、技術應用的發(fā)展，數(shù)據(jù)挖掘的功能要求必須變得更加豐富，以滿足高新技術產(chǎn)業(yè)的發(fā)展[1]。

3.2.1 挖掘后數(shù)據(jù)信息資源的職能范圍和表現(xiàn)形式

依靠單一的轉(zhuǎn)型背景和環(huán)境促進數(shù)據(jù)挖掘技術是不科學不合理的，因此，在網(wǎng)絡信息環(huán)境下，我們將不得不考慮社會經(jīng)濟的變化，科學技術，文化和環(huán)境的發(fā)展趨勢等因素，這樣才能更好地促進數(shù)據(jù)挖掘技術職能的轉(zhuǎn)變，以最大化地發(fā)揮其應用成效。這主要是因為數(shù)據(jù)信息資源在挖掘后，其自身的職能作用將變得更加豐富，所以在信息技術環(huán)節(jié)下的數(shù)據(jù)挖掘技術將會隨著限定條件變化，而將數(shù)據(jù)挖掘信息應用于技術管理和決策管理之中，能夠更好地彰顯企業(yè)在經(jīng)濟活動中的物質(zhì)性質(zhì)與價值變化趨勢，并結合數(shù)據(jù)變化特點和具體的表現(xiàn)規(guī)律，將數(shù)據(jù)信息的基本要素、質(zhì)量特點、管理要求等展示出來，所以其表現(xiàn)形式十分豐富。數(shù)據(jù)挖掘之后的信息在職能范圍和表現(xiàn)形式方面均得到了豐富和拓展，而這也在一定程度上體現(xiàn)了網(wǎng)絡擬定目標服務具有較強的完整性，且屬于特殊的個體物品，同時也是對傳統(tǒng)數(shù)據(jù)挖掘技術的創(chuàng)新和發(fā)展，從而更好地滿足當前大數(shù)據(jù)時代對信息進行數(shù)據(jù)化的處理，并對不同種類業(yè)務進行整合和優(yōu)化，從而提高數(shù)據(jù)挖掘技術服務的一體化水平。

3.2.2 充分利用大數(shù)據(jù)背景，防止數(shù)據(jù)挖掘技術信息失真

數(shù)據(jù)挖掘技術源于社會信息，因此，在各行各業(yè)對數(shù)據(jù)挖掘技術有需要的人應該對社會、網(wǎng)絡等自身需要的信息資源進行總體規(guī)劃，使其成為具有公共屬性的產(chǎn)品，促進其個性化職能的發(fā)揮，主導、控制管理數(shù)據(jù)挖掘技術管理的各項工作 [2]。首先，大數(shù)據(jù)背景下的數(shù)據(jù)挖掘技術，信息技術程度要高，能被記錄，挖掘、管理，因此，要促進數(shù)據(jù)挖掘技術和信息資源應用的轉(zhuǎn)變，必須充分利用大數(shù)據(jù)背景，在業(yè)務和技術程序?qū)崿F(xiàn)一體化。業(yè)務和技術程序的一體化也意味著數(shù)據(jù)挖掘技術可以把帶來的資源消耗、變化及管理等進行科學有效的記憶，只要技術經(jīng)營者愿意，能夠獲得發(fā)生在資源消耗源頭的信息，這對評價數(shù)據(jù)信息資源消耗的效益是非常有意義的，有助于作業(yè)價值的評估，優(yōu)化業(yè)務流程。在大數(shù)據(jù)背景下，重新定義了數(shù)據(jù)挖掘技術職能，數(shù)據(jù)挖掘技術的信息有內(nèi)部和外部服務之間的差異，因此合理控制企業(yè)內(nèi)部各階段，各種類型的數(shù)據(jù)挖掘技術信息，以及輔助管理機制，提高了數(shù)據(jù)挖掘技術的相關功能。

4 結語

大數(shù)據(jù)時代給現(xiàn)在的社會發(fā)展帶來很大的幫助，各種挖掘技術不斷涌現(xiàn)，給數(shù)據(jù)的存儲、分析、解決帶來很大幫助，同時可以快速地將數(shù)據(jù)轉(zhuǎn)換成財富，成為企業(yè)發(fā)展的工具，應該理解數(shù)據(jù)挖掘和應用的基本方法，這是企業(yè)轉(zhuǎn)型發(fā)展的一個重要機遇，它可以幫助企業(yè)快速發(fā)展和生存，能最大限度對客戶需求進行深度分析以制定合理的發(fā)展規(guī)劃及產(chǎn)品定型，減少資金投入。

總之，大數(shù)據(jù)與深度挖掘技術不僅是一種新型技術形態(tài)，也是時代發(fā)展的必然趨勢，具備極大的研究價值以及市場前景，正等待著我們的發(fā)掘和應用。

【參考文獻】

【1】田志民，梁品超，任艷紅，等.大數(shù)據(jù)時代下數(shù)據(jù)挖掘技術與應用[J].當代教育實踐與教學研究，2017（10）：4.

【2】李文艷.大數(shù)據(jù)時代下數(shù)據(jù)挖掘技術的應用[J].數(shù)字技術與應用，2016（05）：74.