一站式大數(shù)據(jù)平臺 助企業(yè)一臂之力

劉晶晶

近日，由經(jīng)管之家（原人大經(jīng)濟論壇）主辦的2016大數(shù)據(jù)生態(tài)縱覽峰會如期在京舉行。會上，業(yè)界同仁通過大數(shù)據(jù)的技術(shù)手段發(fā)現(xiàn)業(yè)務問題，推敲問題原因進而演變成可落地的解決方法，把大數(shù)據(jù)在實踐中的經(jīng)驗毫無保留地進行互動探討。其中永洪科技副總監(jiān)謝玲，為我們帶來了如何打造一站式大數(shù)據(jù)分析平臺的相關思考，表達了通過大數(shù)據(jù)平臺對企業(yè)分析和企業(yè)戰(zhàn)略幫助的殷切期望。

何為“一站式”

一站式大數(shù)據(jù)平臺包括三個階段，數(shù)據(jù)準備、探索式的數(shù)據(jù)分析以及深度分析。為什么將這三個方面歸總一起構(gòu)建大數(shù)據(jù)分析平臺呢？因為這與數(shù)據(jù)分析的三個階段相匹配?！拔覀冊诜治鲞^程中會對接到很多數(shù)據(jù)，這些數(shù)據(jù)來自企業(yè)各自的系統(tǒng)，包括外部的互聯(lián)網(wǎng)的數(shù)據(jù)或表格文本日志數(shù)據(jù)。這些數(shù)據(jù)可能相對原始，粗粒程度較高，距離最終的分析與處理還有一定過程。怎么把數(shù)據(jù)進行清理和整合，并完成一個輕度建模，這就需要自服的數(shù)據(jù)準備?！敝x玲表示。

接下來的數(shù)據(jù)清洗可以使用中間數(shù)據(jù)模型，隨后就可以進行探索式的分析。這個階段由業(yè)務人員或IT人員進行操作。拿到數(shù)據(jù)后，想做怎樣的組合進行指標和維度的匹配，然后選擇合適的計算方式和展現(xiàn)形式，最后通過符合個性的探索模式進行深度分析，這就需要可以靈活操作的分析階段。

下一個階段可能就會涉及針對一些組合分析不能滿足的場景做一些挖掘類的分析，其中包括對一些數(shù)據(jù)本身所涉及的一些未知、特征不明顯或維度不確定來進行分析，這就可能需要利用挖掘算法來支撐。

眾所周知，數(shù)據(jù)清洗的過程非常艱辛，需要將數(shù)據(jù)建成一個不策略的清洗架構(gòu)，建立后進行探索式分析。為什么提到這是一個探索式的過程？數(shù)據(jù)本身要進行什么樣的分析，才能達成一個靈活多變的過程。例如，針對銷售業(yè)績進行評估，如果看到一個銷售業(yè)績發(fā)生下降，常規(guī)來說可能會進行多維度的切換，分析到底哪個區(qū)域下降或者哪個時間范圍內(nèi)下降，呈現(xiàn)連續(xù)下降還是階段性的下降抑或是在人員方面可能會出現(xiàn)一些其它的特征……這些考量都不是一個固定的過程，需要隨時切入與切出的探索式過程才能夠發(fā)現(xiàn)其中的價值。

一站式大數(shù)據(jù)平臺包括幾個部分，分別是連接數(shù)據(jù)、編輯報表、查看報表等不同階段，如果從連接數(shù)據(jù)開始分析，一個企業(yè)數(shù)據(jù)可能會連接各種異構(gòu)的數(shù)據(jù)，其中可能會包括一些關系型數(shù)據(jù)庫或者表格數(shù)據(jù)以及第三方接口數(shù)據(jù)，把數(shù)據(jù)連接好后，通過平臺做可視化的組合。例如用戶畫像會涉及到一些數(shù)據(jù)群，包括從會員系統(tǒng)輸入的會員數(shù)據(jù)，其中包含名字、性別、年齡、收入水平等與會員相關的一些維度信息和指標信息等;從教育系統(tǒng)來的銷售數(shù)據(jù)，甚至還有某個家電的銷售數(shù)據(jù)，用來衡量產(chǎn)品的購買人群、購買地域以及產(chǎn)品類型，通過平臺把不同的系統(tǒng)數(shù)據(jù)進行整合，進一步可以把會員數(shù)據(jù)和家電數(shù)據(jù)進行并項拼接。謝玲認為：“如果數(shù)據(jù)是補充更多的維度，橫向的數(shù)據(jù)與維度有機融合，可以通過左右關聯(lián)著手去做;如果數(shù)據(jù)本身是一致的，就可以采用上下拼接的方式運行系統(tǒng)?！?/p>

談及將會員數(shù)據(jù)與家電數(shù)據(jù)進行關聯(lián)，整個關聯(lián)的過程可以通過選擇左關聯(lián)還是右關聯(lián)完成，其中關聯(lián)會有一個匹配的自斷。通過會員ID和銷售的記錄進行關聯(lián)，這樣就獲取了關聯(lián)好的表結(jié)構(gòu)，關聯(lián)的過程中并沒有進行任何維度的組合或指標的加工，但其中都是一些鑲嵌在系統(tǒng)中的細節(jié)數(shù)據(jù)，這樣保存起來就形成了可利用的模型。

升級改良傳統(tǒng)

眾所周知，探索式分析會有怎樣的最佳實踐，這需要在過程中建立模層與業(yè)務層進行隔離，才能得到一個探索式的效果。相比于傳統(tǒng)的做法，我們看到大體結(jié)構(gòu)確實有相似之處，但實際上卻有本質(zhì)的區(qū)別。作為傳統(tǒng)的BI工具，在連接數(shù)據(jù)源做處理時采用的是結(jié)構(gòu)化的關系型數(shù)據(jù)庫。例如，如果處理一億級別數(shù)據(jù)，可能運作起來會比較慢，在一定程度上甚至會喪失數(shù)據(jù)的靈活性?！爱斘铱吹戒N售組合發(fā)生變化時，就會想知道銷售的中位數(shù)是不是也在發(fā)生變化？它的趨勢是什么樣的情況？這時候如果需要IT人員回到系統(tǒng)中處理或者做各種調(diào)整，傳統(tǒng)情況可能會隔天或者隔周才能提交結(jié)果，這樣就大大喪失了靈活性。”謝玲強調(diào)。

面對在業(yè)務過程中越來越多的企業(yè)選擇敏捷性的工具使用的趨勢，兩種本質(zhì)上也會存在些許區(qū)別。傳統(tǒng)方式對企業(yè)洞察是有限的，探索式分析可以完全釋放價值。我們對于傳統(tǒng)工具只能做固定報表呈現(xiàn)，給領導者使用;當業(yè)務人員不能很好去使用的時候，它的價值是很難得到體現(xiàn)，只有少數(shù)人或者說只有IT人員才可以操作這個系統(tǒng)，其實大量的業(yè)務人員的很多需求是無法得到解答。

運用傳統(tǒng)方式處理數(shù)據(jù)量龐大的場景下，會做很多提前的預熱和處理，但如果運用新技術(shù)做海量數(shù)據(jù)的實施處理就不需要這樣的流程。從企業(yè)的長遠價值來看，通常只是局限看固定報表，固定報表呈現(xiàn)出怎樣的結(jié)果就是怎樣的結(jié)果，進而僵化了整個的思維模式。大家通過看固定結(jié)果逐漸忽視了大數(shù)據(jù)的價值。通常講求提高性能，傳統(tǒng)系統(tǒng)在同樣的機器環(huán)境下，只能處理大概三個月或者五個月的數(shù)據(jù)，用新型的系統(tǒng)可以著手處理五年以上的數(shù)據(jù)，提高整體視野，這個價值是有所區(qū)別的。

在一個業(yè)務型的企業(yè)中，IT技術(shù)人員本身偏少，只占整體企業(yè)人員的10%以下，在這種情況下對于具有深度挖掘能力的數(shù)據(jù)科學家自然又是少之又少。但企業(yè)在業(yè)務分析過程中可能會涉及到一些挖掘的算法來幫助解答問題。例如對于如此龐大數(shù)量的銷售數(shù)據(jù)以及用戶數(shù)據(jù)，哪些用戶屬于高價值的用戶還是低價值用戶，怎樣分類出高價值用戶然后提供一個高黏性的銷售策略，以及對于低價值用戶怎樣通過其它策略去觸動，促使其向中價值和高價值發(fā)展……不同的數(shù)據(jù)對應的銷售策略是不一樣的，這個目標非常明確，但如何通過業(yè)務員發(fā)現(xiàn)這樣的結(jié)果，這就需要一站式大數(shù)據(jù)分析平臺通過輸入一些少量的參數(shù)才能達到滿意的效果。

打造包括數(shù)據(jù)建模、數(shù)據(jù)制作與分析以及深度分析一站式大數(shù)據(jù)平臺，通過機器應用的前端挖掘價值是目前開發(fā)大數(shù)據(jù)價值的有效工作之一。我們認為大數(shù)據(jù)的價值開發(fā)是起點而不是終點，通過不斷地細分與比較得到大數(shù)據(jù)背后隱藏的利益點才最重要。

在大數(shù)據(jù)時代，個人、企業(yè)和機構(gòu)都會面臨大數(shù)據(jù)的問題，建設面向服務的大數(shù)據(jù)平臺，為眾多的中小企業(yè)和個人用戶提供大數(shù)據(jù)處理和分析的能力，將成為大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的重要方向之一。

相關鏈接

面向服務的大數(shù)據(jù)分析平臺以區(qū)域性智能數(shù)據(jù)中心及高速互聯(lián)網(wǎng)為基礎設施，以互聯(lián)網(wǎng)服務體系為架構(gòu)，以大數(shù)據(jù)存儲、處理、挖掘和交互式可視化分析等關鍵技術(shù)為支撐，通過多樣化移動智能終端及移動互聯(lián)網(wǎng)為用戶提供數(shù)據(jù)存儲、管理以及各種分析服務。

商業(yè)應用是大數(shù)據(jù)分析平臺的發(fā)展目標之一。隨著我國企業(yè)信息化程度和水平不斷提高，越來越多的企業(yè)需要用大數(shù)據(jù)分析能力來提高競爭力。

在互聯(lián)網(wǎng)、電子商務、金融、電信、物流等數(shù)據(jù)驅(qū)動型行業(yè)中，客戶分群、行為分析、關系管理、市場營銷、廣告投放、業(yè)務優(yōu)化、風險管理等企業(yè)核心業(yè)務越來越依賴于對數(shù)據(jù)的有效分析與挖掘。