數(shù)據(jù)挖掘應(yīng)用研究前沿和發(fā)展趨勢(shì)

任冷

摘 要：互聯(lián)網(wǎng)催生了大數(shù)據(jù)，在互聯(lián)網(wǎng)滲透各個(gè)產(chǎn)業(yè)的過(guò)程中，同時(shí)也實(shí)現(xiàn)了數(shù)據(jù)電子化，使產(chǎn)生的大數(shù)據(jù)具備了前所未有的利用價(jià)值。大數(shù)據(jù)將通過(guò)自己的“智慧”，重塑了很多產(chǎn)業(yè)。因此，研究了數(shù)據(jù)挖掘在各行業(yè)的應(yīng)用，以及在這些應(yīng)用要求下面臨的技術(shù)挑戰(zhàn)和發(fā)展趨勢(shì)。

關(guān)鍵詞：數(shù)據(jù)挖掘；應(yīng)用研究；新的挑戰(zhàn)；發(fā)展趨勢(shì)

中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A DOI：10.15913/j.cnki.kjycx.2016.16.007

近年來(lái)，互聯(lián)網(wǎng)已經(jīng)融入我們生活中的方方面面，尤其是這幾年以來(lái)，在互聯(lián)網(wǎng)技術(shù)的推動(dòng)下，很多行業(yè)都已經(jīng)從傳統(tǒng)的模式轉(zhuǎn)變成了物聯(lián)網(wǎng)模式，又從物聯(lián)網(wǎng)變成了現(xiàn)在的“互聯(lián)網(wǎng)+”運(yùn)營(yíng)模式了。海量數(shù)據(jù)的分析就顯得尤為重要，那么數(shù)據(jù)挖掘技術(shù)的發(fā)展就會(huì)有了質(zhì)的飛躍，將來(lái)也會(huì)成為企業(yè)發(fā)展一個(gè)必需的依賴技術(shù)。數(shù)據(jù)挖掘典型的應(yīng)用領(lǐng)域包括金融、醫(yī)療、零售和電商、電信、交通等。另外，由于新的數(shù)據(jù)類型也隨著技術(shù)進(jìn)步不斷增加，因此本文指出了數(shù)據(jù)挖掘的發(fā)展趨勢(shì)和所面臨的挑戰(zhàn)。

1 數(shù)據(jù)挖掘的應(yīng)用

數(shù)據(jù)挖掘所要處理的問(wèn)題就是在龐大的數(shù)據(jù)中找出有價(jià)值的隱藏事件，并加以分析，獲取有意義的信息和模式，為決策提供依據(jù)。數(shù)據(jù)挖掘應(yīng)用的領(lǐng)域非常廣泛，只要有分析價(jià)值與需求的數(shù)據(jù)，都可以利用挖掘工具進(jìn)行發(fā)掘分析。目前，數(shù)據(jù)挖掘應(yīng)用最集中地領(lǐng)域包括金融、醫(yī)療、零售和電商、電信和交通等，而且每個(gè)領(lǐng)域都有特定的應(yīng)用問(wèn)題和應(yīng)用背景。

1.1 金融領(lǐng)域

不管是銀行，還是其他金融機(jī)構(gòu)，都存儲(chǔ)了海量的金融數(shù)據(jù)，比如信貸、儲(chǔ)蓄與投資等金融數(shù)據(jù)。對(duì)于這些數(shù)據(jù)，運(yùn)用數(shù)據(jù)挖掘技術(shù)進(jìn)行有針對(duì)性的處理，將會(huì)得到很多具有價(jià)值的知識(shí)。金融數(shù)據(jù)具有可靠性、完整性和高質(zhì)量等特點(diǎn)。這在很大程度上利于開(kāi)展數(shù)據(jù)挖掘工作以及挖掘技術(shù)的應(yīng)用。數(shù)據(jù)挖掘在金融領(lǐng)域中有許多具體的應(yīng)用，例如分析多維數(shù)據(jù)，以把握金融市場(chǎng)的變化趨勢(shì)；運(yùn)用孤立點(diǎn)分析等方法，研究洗黑錢(qián)等犯罪活動(dòng)；應(yīng)用分類技術(shù)，對(duì)顧客信用進(jìn)行分類，為維持與客戶的關(guān)系以及為客戶提供相關(guān)服務(wù)等決策提供參考。

1.2 醫(yī)療領(lǐng)域

在人類的遺傳密碼、遺傳史、疾病史以及醫(yī)療方法等醫(yī)療領(lǐng)域中，都隱藏著海量的數(shù)據(jù)信息。另外，對(duì)醫(yī)院內(nèi)部結(jié)構(gòu)、醫(yī)藥器具、病人檔案以及其他資料等的管理也產(chǎn)生了巨量的數(shù)據(jù)。對(duì)于這些巨量的數(shù)據(jù)，運(yùn)用數(shù)據(jù)挖掘相關(guān)技術(shù)處理，從而得到相關(guān)知識(shí)規(guī)律，將有利于相關(guān)人員工作的開(kāi)展。運(yùn)用數(shù)據(jù)挖掘技術(shù)，在很大程度上有助于醫(yī)療人員發(fā)現(xiàn)疾病的一些規(guī)律，從而提高診斷的準(zhǔn)確率和治療的有效性，不斷促進(jìn)人類健康醫(yī)療事業(yè)的發(fā)展。

1.3 零售和電商領(lǐng)域

由于零售業(yè)會(huì)產(chǎn)生龐大的數(shù)據(jù)，主要是銷售數(shù)據(jù)，比如商品的購(gòu)進(jìn)賣(mài)出記錄、客戶購(gòu)買(mǎi)、消費(fèi)記錄等。特別是隨著Web以及電子商務(wù)等商業(yè)方式日益普及流行，相應(yīng)的數(shù)據(jù)也以飛快的速度增長(zhǎng)著。運(yùn)用數(shù)據(jù)挖掘技術(shù)對(duì)這些海量的數(shù)據(jù)進(jìn)行針對(duì)性的處理分析，可以獲取很多極具價(jià)值的知識(shí)。例如可以有效地識(shí)別顧客的購(gòu)買(mǎi)行為，從而把握好顧客購(gòu)買(mǎi)的趨勢(shì)。這些關(guān)于顧客的有效信息是商家采取最佳決策的關(guān)鍵依據(jù)。商家可以根據(jù)數(shù)據(jù)挖掘結(jié)果有針對(duì)性地采取有效措施，比如如何改進(jìn)服務(wù)質(zhì)量，確保顧客的滿意度；如何提高商品的銷售量；如何設(shè)計(jì)較優(yōu)的運(yùn)輸路線以及采取怎樣的銷售策略等，從而提高企業(yè)效益。此外，由于數(shù)據(jù)挖掘的推薦系統(tǒng)已經(jīng)成為電子商務(wù)的關(guān)鍵技術(shù)，通過(guò)數(shù)據(jù)挖掘，再對(duì)網(wǎng)站進(jìn)行系統(tǒng)分析，對(duì)用戶的行為模式加以識(shí)別，在增加客戶黏性，提供個(gè)性化服務(wù)，優(yōu)化網(wǎng)站設(shè)計(jì)等方面也取得了很好的效果。

1.4 電信領(lǐng)域

電信運(yùn)營(yíng)商已逐漸發(fā)展為一個(gè)融合了語(yǔ)音、圖像、視頻等增值服務(wù)的全方位立體化的綜合電信服務(wù)商。三網(wǎng)融合，即電信網(wǎng)、因特網(wǎng)和有線電視網(wǎng)的“融合”，是未來(lái)的一種發(fā)展趨勢(shì)。這一現(xiàn)象將會(huì)產(chǎn)生巨量的數(shù)據(jù)。運(yùn)營(yíng)商要合理地分析商業(yè)形式和模式，運(yùn)用數(shù)據(jù)挖掘是非常有必要的。例如對(duì)用戶行為、利潤(rùn)率、通信速率和容量、系統(tǒng)負(fù)載等電信數(shù)據(jù)，可以運(yùn)用多維分析方法進(jìn)行分析；要發(fā)現(xiàn)異常模式，可以運(yùn)用聚類或孤立點(diǎn)分析等方法進(jìn)行數(shù)據(jù)挖掘；要得到電信發(fā)展的影響因素，可以運(yùn)用關(guān)聯(lián)或序列等模式進(jìn)行分析等?？傊瑪?shù)據(jù)挖掘技術(shù)對(duì)電信業(yè)的發(fā)展發(fā)揮著非常重要的作用，比如如何提高相關(guān)資源的利用率、更深入更充分地了解用戶行為、如何獲取更好的經(jīng)濟(jì)效益。

1.5 社交網(wǎng)絡(luò)分析

社交網(wǎng)絡(luò)分析是從關(guān)系和結(jié)構(gòu)兩個(gè)方面來(lái)了解、度量和預(yù)測(cè)行為的科學(xué)。結(jié)合圖論和非參數(shù)統(tǒng)計(jì)技術(shù)，研究人員利用數(shù)據(jù)，比如電話數(shù)據(jù)，或者表明人與人之間聯(lián)系的觀察數(shù)據(jù)，來(lái)識(shí)別網(wǎng)絡(luò)內(nèi)和跨網(wǎng)絡(luò)的關(guān)鍵人員和關(guān)鍵群體，或者特殊模式和重要途徑。現(xiàn)在，社交網(wǎng)絡(luò)分析呈現(xiàn)爆炸式增長(zhǎng)，數(shù)據(jù)一般是以元網(wǎng)絡(luò)的形式表示，即關(guān)于誰(shuí)（who）、什么（what）、哪里（where）、怎樣（how）和什么時(shí)候（when）的信息以多模態(tài)、多鏈接、多層次的網(wǎng)絡(luò)連接起來(lái)。數(shù)據(jù)通常是動(dòng)態(tài)的。這一動(dòng)態(tài)性正是我們感興趣的地方。我們可以通過(guò)這些數(shù)據(jù)來(lái)分析人們的活動(dòng)取向，為公司的營(yíng)銷提供有力的依據(jù)，也可以利用多個(gè)社交媒體來(lái)交叉驗(yàn)證同一個(gè)人，這對(duì)于追蹤犯罪行為、恐怖分子、戀童癖者尤為重要。

1.6 交通領(lǐng)域

交通問(wèn)題對(duì)城市的民生有很大影響。該領(lǐng)域積累了大量的數(shù)據(jù)，比如出租公司積累的乘客出行數(shù)據(jù)和公交公司的運(yùn)營(yíng)數(shù)據(jù)。通過(guò)對(duì)乘客數(shù)據(jù)和運(yùn)營(yíng)數(shù)據(jù)進(jìn)行分析和挖掘，能夠?yàn)楣?、出租公司科學(xué)的運(yùn)營(yíng)和交通部門(mén)的決策提供依據(jù)，比如合理規(guī)劃公交線路，實(shí)時(shí)為出租車(chē)的行駛線路提供建議等。這樣，不僅可以提升城市運(yùn)力和幸福指數(shù)，還可以有效減少因交通擁堵問(wèn)題造成的成本浪費(fèi)。另外，航空公司也可依據(jù)歷史記錄來(lái)尋找乘客的旅行模式，以便提供更加個(gè)性化的服務(wù)，合理設(shè)置航線等。

近年來(lái)，數(shù)據(jù)挖掘的應(yīng)用發(fā)展迅速，不僅在以上領(lǐng)域，在政府部門(mén)、軍事、制造業(yè)、科學(xué)研究等方面也都取得了一定的進(jìn)展。

2 數(shù)據(jù)挖掘中隱私問(wèn)題

隱私權(quán)是指?jìng)€(gè)體的私人信息部被他人非法收集、公開(kāi)和利用的權(quán)利。隱私保護(hù)就是保護(hù)個(gè)體的隱私權(quán)不被侵害，保護(hù)個(gè)體隱私在未經(jīng)授權(quán)的時(shí)候不被泄露和惡意利用?；陔[私的數(shù)據(jù)挖掘存在以下2個(gè)層面的問(wèn)題。

2.1 原始信息隱私保護(hù)

企業(yè)、醫(yī)院、政府部門(mén)通常收集了大量的個(gè)人原始信息，泄露這些信息可能識(shí)別出個(gè)人用戶的身份。為了防止個(gè)人隱私的泄露，這些原始數(shù)據(jù)均需要在進(jìn)行數(shù)據(jù)挖掘之前進(jìn)行修改和隱藏。這個(gè)層面主要解決的問(wèn)題是如何在原始數(shù)據(jù)不準(zhǔn)確的前提下得到正確的挖掘結(jié)果。

2.2 敏感規(guī)則隱私保護(hù)

企業(yè)、醫(yī)院、政府部門(mén)不僅存儲(chǔ)著大量的個(gè)人原始信息，通過(guò)對(duì)這些原始信息的挖掘，還可以得知某一群體的特征和行為規(guī)律。為了防止這些敏感規(guī)則被挖掘出來(lái)，通常事先改變?cè)紨?shù)據(jù)的統(tǒng)計(jì)特征，使這些敏感規(guī)則的生成概率大大降低。

我們既不能否認(rèn)通過(guò)數(shù)據(jù)挖掘產(chǎn)生的巨大利益，也不能因?yàn)榇嬖谟须[私保護(hù)技術(shù)正得到越來(lái)越多的關(guān)注，在保護(hù)隱私信息方面還需要更多的探索。更好的一個(gè)愿景是，將計(jì)算機(jī)科學(xué)、管理科學(xué)、社交網(wǎng)絡(luò)技術(shù)、政策法規(guī)等多個(gè)方面有效地結(jié)合在一起，共同來(lái)完成從數(shù)據(jù)中發(fā)現(xiàn)有效的知識(shí)。

3 數(shù)據(jù)挖掘的發(fā)展趨勢(shì)

3.1 數(shù)據(jù)挖掘與物聯(lián)網(wǎng)、云計(jì)算和大數(shù)據(jù)

簡(jiǎn)單來(lái)說(shuō)，物聯(lián)網(wǎng)就是物物相連的網(wǎng)絡(luò)，是數(shù)字世界和物理世界的高度融合。物聯(lián)網(wǎng)底層的大量傳感器為信息的獲取提供了一種新的方式。這些傳感器不斷地產(chǎn)生著新的數(shù)據(jù)，隨著各種各樣的異構(gòu)終端設(shè)備的接入，物聯(lián)網(wǎng)采集的數(shù)據(jù)量也就會(huì)越來(lái)越大，其數(shù)據(jù)類型和數(shù)據(jù)格式也會(huì)越來(lái)越復(fù)雜。這些數(shù)據(jù)與時(shí)間和空間相關(guān)聯(lián)，有著動(dòng)態(tài)、異構(gòu)和分布的特性，也為數(shù)據(jù)挖掘任務(wù)帶來(lái)了新的挑戰(zhàn)。

云計(jì)算是一種基于互聯(lián)網(wǎng)的相關(guān)服務(wù)的增加、使用和交付模式，通常涉及通過(guò)互聯(lián)網(wǎng)來(lái)提供動(dòng)態(tài)、易擴(kuò)展且經(jīng)常是虛擬化的資源（包括硬件、平臺(tái)和軟件），實(shí)現(xiàn)了設(shè)備之間的數(shù)據(jù)應(yīng)用和共享。隨著物聯(lián)網(wǎng)的發(fā)展，感知的信息不斷增加，需要不斷地增加服務(wù)器的數(shù)目來(lái)滿足需求。但由于服務(wù)器的承載能力是有限的，服務(wù)器在節(jié)點(diǎn)上出現(xiàn)混亂和錯(cuò)誤的概率大大增加。為了更好地提供服務(wù)，基于云計(jì)算的系統(tǒng)能有效地解決物聯(lián)網(wǎng)分布式數(shù)據(jù)挖掘中所遇到的問(wèn)題，在進(jìn)行相關(guān)數(shù)據(jù)挖掘時(shí)能夠顯著地提高性能。

目前，大數(shù)據(jù)已成為繼物聯(lián)網(wǎng)、云計(jì)算之后又一信息科技的新熱點(diǎn)。大數(shù)據(jù)在本質(zhì)上仍然是海量數(shù)據(jù)，但規(guī)模更大，實(shí)時(shí)性和多樣性特點(diǎn)更明顯，相應(yīng)的數(shù)據(jù)挖掘技術(shù)也需要有所改進(jìn)，研究如何處理半結(jié)構(gòu)化，甚至非結(jié)構(gòu)化的數(shù)據(jù)是目前大數(shù)據(jù)挖掘面臨的挑戰(zhàn)之一。

將物聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)與數(shù)據(jù)挖掘研究聯(lián)系起來(lái)，不僅具有深遠(yuǎn)的科學(xué)研究?jī)r(jià)值，而且將產(chǎn)生巨大的經(jīng)濟(jì)效益和社會(huì)價(jià)值。

3.2 數(shù)據(jù)挖掘研究和應(yīng)用面臨的挑戰(zhàn)

大數(shù)據(jù)時(shí)代的數(shù)據(jù)挖掘面臨著新的挑戰(zhàn)，主要表現(xiàn)在以下幾個(gè)方面。

3.2.1 數(shù)據(jù)類型的多樣性

不同的應(yīng)用、系統(tǒng)和終端，由于標(biāo)準(zhǔn)的差異性，會(huì)產(chǎn)生不同結(jié)構(gòu)的數(shù)據(jù)，其中包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)、對(duì)這些異構(gòu)化數(shù)據(jù)的抽取與集成將成為一大挑戰(zhàn)。

3.2.2 數(shù)據(jù)挖掘算法的改進(jìn)

大數(shù)據(jù)時(shí)代數(shù)據(jù)的量級(jí)達(dá)到了一個(gè)新的階段，而且還有其他新的特征，現(xiàn)有挖掘算法需要基于云計(jì)算進(jìn)行改進(jìn)，以適應(yīng)不同應(yīng)用對(duì)數(shù)據(jù)處理能力的需求。

3.2.3 數(shù)據(jù)噪聲太大

由于普適終端所處地理位置的復(fù)雜性，產(chǎn)生的數(shù)據(jù)具有很多噪聲。在進(jìn)行數(shù)據(jù)清洗時(shí)，不易把握清洗粒度——粒度太大，殘留的噪聲會(huì)干擾有價(jià)值的信息；粒度太小，可能會(huì)遺失有價(jià)值的信息。

3.2.4 數(shù)據(jù)的安全性與隱私保護(hù)

互聯(lián)網(wǎng)的交互性使得人們?cè)诓煌攸c(diǎn)產(chǎn)生的數(shù)據(jù)足跡得到積累和關(guān)聯(lián)，從而增加了隱私暴露的概率，且這種隱性的數(shù)據(jù)暴露往往是無(wú)法控制和預(yù)知的。隨著數(shù)據(jù)挖掘工具和電子產(chǎn)品的日益普及，保護(hù)隱私和信息安全是數(shù)據(jù)挖掘?qū)⒁鎸?duì)的一個(gè)重要問(wèn)題。這就需要進(jìn)一步地開(kāi)發(fā)，以便在適當(dāng)?shù)男畔⒃L問(wèn)和挖掘過(guò)程中保護(hù)隱私和信息安全。

3.3 數(shù)據(jù)挖掘的發(fā)展方向

3.3.1 應(yīng)用的探索

數(shù)據(jù)挖掘正在探索、擴(kuò)大其應(yīng)用范圍。通常，數(shù)據(jù)挖掘技術(shù)在處理特定應(yīng)用時(shí)存在著局限性。因此，目前存在一種針對(duì)特定應(yīng)用來(lái)開(kāi)發(fā)數(shù)據(jù)挖掘系統(tǒng)的趨勢(shì)。

3.3.2 可視化數(shù)據(jù)挖掘

可視化能更直觀地展示數(shù)據(jù)的特性，圖像展示更符合人的觀察習(xí)慣?？梢暬瘮?shù)據(jù)挖掘已成為從大量數(shù)據(jù)中發(fā)現(xiàn)知識(shí)的有效途徑，系統(tǒng)研究和開(kāi)發(fā)可視化數(shù)據(jù)挖掘技術(shù)將推進(jìn)數(shù)據(jù)挖掘作為數(shù)據(jù)分析的基本工具。

3.3.3 多種系統(tǒng)的集成

數(shù)據(jù)庫(kù)/數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)等已經(jīng)成為信息處理系統(tǒng)的主流，而且與數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的緊耦合方式正是數(shù)據(jù)挖掘系統(tǒng)的理想體系結(jié)構(gòu)。將不同的系統(tǒng)集成到統(tǒng)一的框架中，有利于保證數(shù)據(jù)的可獲得性和一致性，以及數(shù)據(jù)挖掘系統(tǒng)的可移植性、可伸縮性和高性能。

4 結(jié)束語(yǔ)

數(shù)據(jù)挖掘的應(yīng)用在很多領(lǐng)域取得了一定的成果，而且其廣闊的應(yīng)用前景已吸引了眾多的研究人員和商業(yè)公司的加入。但是，數(shù)據(jù)挖掘所帶來(lái)的有關(guān)隱私和信息安全的問(wèn)題需要著重考慮。數(shù)據(jù)挖掘技術(shù)發(fā)展的時(shí)間很短，屬新興科學(xué)，在技術(shù)和社會(huì)不斷發(fā)展的今天，還面臨著很多挑戰(zhàn)和值得重點(diǎn)研究的方向，相信數(shù)據(jù)挖掘技術(shù)的研究與應(yīng)用將會(huì)得到長(zhǎng)足的進(jìn)步，必將產(chǎn)生巨大的經(jīng)濟(jì)效益和社會(huì)效益。

參考文獻(xiàn)

[1]郭群.多媒體信息挖掘綜述[J].信息系統(tǒng)工程，2010（08）.

[2]Maciejewski T，Stefanowski J.Local neighbourhood extension of SMOTE for mining imbalanced data.IEEE Symposium on Computational Intelligence and Data Mining（CIDM），2011（01）.

[3]Knerr U.H..Pairwise classification and support vector machines.MA：MIT Press，1999.

[4]李明江，唐穎，周力軍.數(shù)據(jù)挖掘技術(shù)及應(yīng)用[J].中國(guó)新通信，2012（22）.

[5]徐振龍，郭崇慧.隱私保護(hù)數(shù)據(jù)挖掘研究的簡(jiǎn)要綜述[C]//第七屆中國(guó)管理學(xué)年會(huì)商務(wù)智能分會(huì)場(chǎng)論文集，2012.

[6]王惠中，彭安群.數(shù)據(jù)挖掘現(xiàn)狀及發(fā)展?fàn)顩r[J].工礦自動(dòng)化，2011，2（2）.

[7]梁志.基于數(shù)據(jù)關(guān)系的SVM多分類方法研究[D].山西大學(xué)計(jì)算機(jī)與信息學(xué)院，2013

[8]He H.B.，Garcia E.A.Learning from imbalanced data.IEEE Transaction Knowledge and Data Engineering，2009，21（9）.

[9]Xue Zhenxia，Liu Sanyang，Liu Wanli.Unbalanced squares support vector machines.System Simulation，2009（21）.

[10]Y. Tang，Y.-Q.Zhang，N. Chawla，et al.“SVMs modeling for highly imbalanced classification”Systems， Man and Cybernetics，Part B：Cybernetics.IEEE Transactions on，2009，39（1）.

〔編輯：劉曉芳〕