符傳健

摘 要：在這個時代里，從規(guī)模經(jīng)濟到范圍經(jīng)濟，從搜索經(jīng)濟再到推薦經(jīng)濟，數(shù)據(jù)挖掘經(jīng)營開啟了“智”領(lǐng)革新、“智”在發(fā)展的新征程。文章以大數(shù)據(jù)架構(gòu)體系下的數(shù)據(jù)挖掘模型為主線，從大數(shù)據(jù)環(huán)境自身的特點、當前典型企業(yè)對大數(shù)據(jù)技術(shù)的應(yīng)用戰(zhàn)略模式和數(shù)據(jù)挖掘模型等方面對大數(shù)據(jù)技術(shù)進行分析。

關(guān)鍵詞：大數(shù)據(jù)；數(shù)據(jù)挖掘；模型研究

中圖分類號：TP315 文獻標志碼：A 文章編號：2095-2945（2018）33-0071-02

Abstract： In this era， from economies of scale to economies of scope， from economies of search to economies of recommendation， data mining operations have started a new journey in which "wisdom" leads to innovation and "wisdom" is developing. This paper takes the data mining model of big data architecture as the main line， analyzes big data technology from the characteristics of big data environment， the application strategy pattern of current typical enterprises to the technology of big data and the data mining model and so on.

Keywords： big data； data mining； model research

1 研究背景

伴隨著互聯(lián)網(wǎng)、云計算、移動互聯(lián)網(wǎng)和物聯(lián)網(wǎng)等一系列ICT技術(shù)迅猛發(fā)展，用戶數(shù)以億計的互聯(lián)網(wǎng)服務(wù)時刻產(chǎn)生巨量的信息交互，類似Web數(shù)據(jù)、傳感數(shù)據(jù)流等個性化的非結(jié)構(gòu)數(shù)據(jù)在互聯(lián)網(wǎng)整個數(shù)據(jù)量中的比重逐步上升，數(shù)據(jù)的種類、復雜度都在大大增加，不再僅是處理企業(yè)內(nèi)部結(jié)構(gòu)化的數(shù)據(jù)，更多是無法用數(shù)字或統(tǒng)一的結(jié)構(gòu)標識的非結(jié)構(gòu)化數(shù)據(jù)，如文本、圖像、聲音、網(wǎng)頁等。諸如以上創(chuàng)新因素，大數(shù)據(jù)應(yīng)用與價值挖掘成為產(chǎn)業(yè)最為關(guān)注的熱點課題，“IT”與“經(jīng)營”的日趨融合，在大數(shù)據(jù)推動的商業(yè)革命與商業(yè)競爭暗涌中，要么學會應(yīng)用大數(shù)據(jù)杠桿創(chuàng)造商業(yè)價值，要么被大數(shù)據(jù)驅(qū)動的新生代商業(yè)系統(tǒng)所淘汰。

2 大數(shù)據(jù)的架構(gòu)體系與發(fā)展特征

大數(shù)據(jù)技術(shù)被稱為“地球的神經(jīng)系統(tǒng)”，它背后蘊藏價值堪比石油，業(yè)界將其特性歸納為4個“V”——Volume，Variety，Value，Velocity。其發(fā)展從其根本上是從傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)處理模式走向現(xiàn)代非結(jié)構(gòu)化的海量數(shù)據(jù)處理的一次根本性飛躍。目前，以大數(shù)據(jù)為核心的產(chǎn)業(yè)鏈正在形成，當前主要包括三層：第一層是企業(yè)內(nèi)部交易數(shù)據(jù)和企業(yè)外部的用戶行為數(shù)據(jù)、物聯(lián)網(wǎng)數(shù)據(jù)；第二層是信息層，產(chǎn)生如數(shù)據(jù)包銷售、租賃等業(yè)務(wù)模式；第三層是知識層，需要人工介入，提供融合行業(yè)信息。

大數(shù)據(jù)及其數(shù)據(jù)挖掘理論體系的創(chuàng)生發(fā)展賦予了產(chǎn)業(yè)更多的發(fā)展特征。（1）以人為中心的全方位需求滿足成為產(chǎn)業(yè)的價值訴求，互聯(lián)網(wǎng)生態(tài)結(jié)構(gòu)發(fā)生再生于重構(gòu)。全天候、全業(yè)務(wù)、全生態(tài)、全終端、全模式等以客戶為中心的全方位需求滿足，是大數(shù)據(jù)發(fā)展終始目標，大量智能移動設(shè)備接入網(wǎng)絡(luò)，移動應(yīng)用爆發(fā)性增長對數(shù)據(jù)進行深入挖掘的需求突顯。（2）數(shù)據(jù)世界技術(shù)發(fā)展的重點已不再是數(shù)據(jù)存儲，而是數(shù)據(jù)應(yīng)用，數(shù)據(jù)價值挖掘成為數(shù)據(jù)的應(yīng)用的關(guān)鍵和核心。從傳統(tǒng)互聯(lián)網(wǎng)到移動互聯(lián)網(wǎng)，數(shù)據(jù)時時刻刻、分分秒秒都在成幾何級的增長。而諸如twitte、facebook、google等也每天都在為數(shù)據(jù)的獲取與價值挖潛而勞碌奔波。（3）基于用戶行為分析，互聯(lián)網(wǎng)營銷趨向“開放-主動-整合”，“搜索+推薦”成為互聯(lián)網(wǎng)發(fā)展的新主導行為模式。

3 “平臺聚合+數(shù)據(jù)挖掘”的創(chuàng)新模式探討

3.1 以阿里巴巴為領(lǐng)銜的商務(wù)平臺大數(shù)據(jù)分享模式

阿里巴巴推出淘寶開放平臺，開展“數(shù)據(jù)分享平臺”戰(zhàn)略，大數(shù)據(jù)產(chǎn)生的價值已深入地影響了企業(yè)的經(jīng)營和管理，如何有效管理和應(yīng)用大數(shù)據(jù)也為企業(yè)提出了巨大的挑戰(zhàn)。天貓與阿里云、萬網(wǎng)宣布聯(lián)合推出淘寶開放平臺，是基于淘寶各類電子商務(wù)業(yè)務(wù)的開放平臺，提供外部合作伙伴參與服務(wù)淘寶用戶的原始數(shù)據(jù)分析。為天貓、淘寶平臺通過對全平臺內(nèi)的交易信息和用戶行為等信息進行分析，為商家提供推薦參考及其他個性化服務(wù)，以此進一步加強自身平臺和商家之間的粘性。

3.2 以Facebook為領(lǐng)銜的社交平臺大數(shù)據(jù)分析模式

“大數(shù)據(jù)”技術(shù)對于社交網(wǎng)站的核心價值在于數(shù)據(jù)的挖掘和應(yīng)用產(chǎn)生的多方位價值。Facebook構(gòu)筑了多系列化得開放平臺，除自身所具備的社交網(wǎng)絡(luò)屬性外，在功能設(shè)計和頁面更新上均注重獲取多維用戶信息，力求全程記錄和沉淀用戶的行為數(shù)據(jù)。由此獲取的大量數(shù)據(jù)將成為未來Facebook的核心資源與競爭優(yōu)勢。情感分析是近來社會媒體的大熱趨勢，其目的在于幫助公司了解消費者對于其產(chǎn)品的看法，是一個很有效的實時反饋系統(tǒng)，能夠監(jiān)測廣告的有效性進而預測廣告投放的結(jié)果。

3.3以 IBM為領(lǐng)銜的數(shù)據(jù)服務(wù)分析平臺大數(shù)據(jù)創(chuàng)新模式

大數(shù)據(jù)時代，如何對極大量的數(shù)據(jù)進行及時的處理、高效地存儲和管理，成為了擁有大量數(shù)據(jù)的企業(yè)所要面臨的主要問題。而相應(yīng)的，這也就為擁有豐富強大數(shù)據(jù)管理和計算能力的數(shù)據(jù)服務(wù)類企業(yè)帶來了機會。IBM推出了云計算平臺作為一個并行分布式系統(tǒng)，通過低成本和高擴展性的方案對現(xiàn)有數(shù)據(jù)倉庫系統(tǒng)進行增強和延伸，提升了倉庫存儲和商業(yè)決策分析能力，從而支持了大數(shù)據(jù)處理，為使用大數(shù)據(jù)的企業(yè)帶來了方便。

4 數(shù)據(jù)挖掘典型模型構(gòu)建：知識發(fā)現(xiàn)與價值挖掘的衍生

數(shù)據(jù)挖掘則將“大數(shù)據(jù)”轉(zhuǎn)化為“大洞察”的方法論體系，它是一種透過數(shù)理模式來分析企業(yè)內(nèi)儲存的大量數(shù)據(jù)資料，以找出不同的客戶或市場劃分，分析出消費者喜好和行為的方法，又名“數(shù)據(jù)庫中的知識發(fā)現(xiàn)”。通過數(shù)據(jù)挖掘整合和洞察數(shù)據(jù)，讓企業(yè)更全面、更深入、更準確地了解和把握客戶的需求特征，企業(yè)也就有更多的機會對潛在客興趣愛好、消費傾向及消費心理等，幫助企業(yè)提升運營管理能力和績效。硅谷的新寵，前有Google，后有Facebook，都是駕馭數(shù)據(jù)挖掘的大師。數(shù)據(jù)挖掘中的常用模型有：交叉銷售模型、關(guān)聯(lián)推薦匹配模型、互聯(lián)網(wǎng)信用模型、電商動態(tài)定價模型、信息聚合分類模型。

4.1 交叉銷售模型

利用關(guān)聯(lián)規(guī)則發(fā)現(xiàn)兩個產(chǎn)品間潛在的相關(guān)性，進而進行捆綁與推薦；關(guān)聯(lián)規(guī)則可用Apriori等算法實現(xiàn)。交叉銷售通過研究客戶的產(chǎn)品使用情況、消費行為特點，發(fā)現(xiàn)老客戶的潛在需求。一方面通過產(chǎn)品之間的關(guān)聯(lián)，尋找實現(xiàn)產(chǎn)品捆綁銷售的機會，另一方面，為新產(chǎn)品尋找已有用戶中的目標群體。

建立模型的具體步驟為：（1） 以個體用戶為單元，收集其訂購業(yè)務(wù)種類，計算其訂購比例；（2） 提取訂購比例較高的幾類業(yè)務(wù)，計算不同業(yè)務(wù)兩兩間的相關(guān)性，分組、篩選與分類；（3）針對相關(guān)性和替代性高的業(yè)務(wù)組合進行交叉銷售，如綁定銷售、精確推薦。

4.2 關(guān)聯(lián)推薦匹配模型

關(guān)聯(lián)推薦匹配模型著眼于用戶數(shù)據(jù)的基礎(chǔ)屬性、媒體屬性等，實現(xiàn)產(chǎn)品精準定位，在廣告的定向投放上效果顯著。建立該模型需要采集的用戶數(shù)據(jù)有基礎(chǔ)屬性數(shù)據(jù)如性別、年齡、收入、學歷；環(huán)境屬性數(shù)據(jù)如手機上網(wǎng)時間、城市，地點、系統(tǒng)平臺、語言環(huán)境；媒體屬性數(shù)據(jù)如瀏覽的媒體、瀏覽的內(nèi)容、興趣關(guān)注點、當前的需求；消費屬性數(shù)據(jù)如關(guān)注品牌、關(guān)注產(chǎn)品、消費水平、消費心態(tài)等。

大數(shù)據(jù)技術(shù)使得社交網(wǎng)絡(luò)數(shù)據(jù)深度挖掘成為可能，運用計算機智能，通過社交網(wǎng)絡(luò)API獲取用戶授權(quán)數(shù)據(jù)，進而對用戶數(shù)據(jù)進行學習和解析，再通過數(shù)據(jù)挖掘進行建模與推薦（數(shù)據(jù)量更大）；完全的個性化分析可以提供最有價值的產(chǎn)品。例如AppHero經(jīng)由社交網(wǎng)絡(luò)數(shù)據(jù)深挖掘，使用Facebook的數(shù)據(jù)，讓這些數(shù)據(jù)成為推薦的基準。

4.3 互聯(lián)網(wǎng)信用模型

傳統(tǒng)通用模型存在環(huán)境因素難確定、屬性單一等缺點，而賣家間的差異巨大；基于APRIORI算法建立互聯(lián)網(wǎng)信用模型，更準確，并可預測信用趨勢。

數(shù)據(jù)變換（文字評價轉(zhuǎn)變?yōu)閿?shù)字）， APRIORI算法挖掘關(guān)聯(lián)生成關(guān)聯(lián)規(guī)則，得出：信用值與好評率、行業(yè)、性別、違規(guī)操作數(shù)、婚否、地區(qū)、賣家級別、收入、逾期壞賬次數(shù)相關(guān)。按照淘寶網(wǎng)的交易模式來看，信用模型同樣可以用于買家，實現(xiàn)買賣雙方的公平對等；電信行業(yè)也可以參考信用卡模式度，對用戶進行信用監(jiān)管。移動的客戶中，曾經(jīng)有月貢獻1000元左右的全球通高端客戶因為欠費0.7元而被停機，導致其離網(wǎng)的先例。以信用卡模式建立的基于數(shù)據(jù)挖掘技術(shù)的電信行業(yè)用戶信用管理，仿照信用卡模式對客戶授予一定的話費透支額度，與用戶信用度相關(guān)聯(lián)；同時也可以對透支部分的消費加收額外費用。

4.4 電商動態(tài)定價模型

傳統(tǒng)動態(tài)定價方法以拍賣為主，很難收集客戶信息；基于數(shù)據(jù)挖掘的電商動態(tài)定價模型則可以充分收集交易交易數(shù)據(jù)，并能通過自學習對價格進行調(diào)整電子商務(wù)通用信用模型的缺點主要有：賣家很難搜集全面的客戶、競爭對手信息，不能對其進行深度挖掘；不能依據(jù)客戶特征進行差別化定價，也做不到對不同的商品做出及時、適當?shù)募觾r幅度的調(diào)整；當需求量具有隨機性和價格敏感性時，動態(tài)定價就成為使利潤最大化的有效方法。

4.5 信息聚合分類模型

信息雜志化是近年來的發(fā)展趨勢，雜志化閱讀一方面將社交網(wǎng)站集成一體，個性化定制界面使信息獲取更方便；但雜志化閱讀應(yīng)用諸如Flipboard并不具備個體社交網(wǎng)絡(luò)軟件的很多功能，因此其必須要主打方便和效率；但目前為止其模式知識簡單的“搬運”——但雜志化并不意味著信息大雜燴，對信息進行聚合分類可以大大提升閱讀效率。大數(shù)據(jù)與Flipboard模式的結(jié)合可以很好地解決這一問題。通過社交網(wǎng)站數(shù)據(jù)的采集并進行特征歸類，自動將每一條信息劃歸最合適的分類區(qū)，大大提高了閱讀效率。該模型還可以定期對數(shù)據(jù)進行自學習與更新，產(chǎn)生新的分類建議。大量數(shù)據(jù)不僅可以通過數(shù)據(jù)挖掘建立模型供企業(yè)/賣家進行內(nèi)部分析，也可以通過合法交易供其他企業(yè)/賣家使用，數(shù)據(jù)提供者不僅可以從中獲益，數(shù)據(jù)本身也能創(chuàng)造更多價值。在電視廣告領(lǐng)域，總部設(shè)在紐約的Nielsen已經(jīng)連續(xù)十多年為廣告主以及電視臺提供了相關(guān)數(shù)據(jù)。

5 結(jié)束語

毋庸置疑，大數(shù)據(jù)將徹底改變?nèi)祟愇拿鞯陌l(fā)展脈絡(luò)，重塑我們對于世界、對于生活的認知和價值挖潛。但任何事物都具有兩面性，大數(shù)據(jù)也相同，它的應(yīng)用與現(xiàn)存的倫理還有著不小的沖突，是誰賦予了數(shù)據(jù)采集者使用個人數(shù)據(jù)的權(quán)利？如何保證個人數(shù)據(jù)不被別有用心的人利用？“Big brother”和“Big data”可能只有一步之遙，如何讓用戶在監(jiān)控社會下尋找到內(nèi)心期待已久的安全感，或許是大數(shù)據(jù)在應(yīng)用時需要妥善解決的問題。

參考文獻：

[1]周紅紅.基于Apriori算法的Weka數(shù)據(jù)挖掘應(yīng)用[J].科技信息，2011（39）：17.

[2]王菲菲，李晶.基于數(shù)據(jù)挖掘的電子商務(wù)動態(tài)定價模型[J].中國信息界，2012（11）：179.

[3]漆晨曦.運營商大數(shù)據(jù)管理及應(yīng)用體系發(fā)展策略[J].通信企業(yè)管理，2012，30（3）：65-68.