馮曉娜 雷會鋒 王璐
摘要數(shù)據(jù)化轉(zhuǎn)型逐漸成為企業(yè)實現(xiàn)可持續(xù)經(jīng)營的必經(jīng)之路。本文在分析企業(yè)數(shù)字化轉(zhuǎn)型中的突出問題及原因的基礎(chǔ)上,梳理了企業(yè)創(chuàng)建數(shù)據(jù)中臺的前提、一般流程及注意事項,并基于阿里巴巴的數(shù)據(jù)中臺實踐案例,為企業(yè)構(gòu)建、實施數(shù)據(jù)中臺提供建議。
關(guān)鍵詞 數(shù)據(jù)中臺;大數(shù)據(jù);共享;復(fù)用
DOI: 10.19840/j.cnki.FA.2021.01.007
“中臺”一詞源于阿里巴巴的“大中臺、小前臺”戰(zhàn)略。就阿里巴巴而言,“前臺”就是直接服務(wù)于最終用戶或商家的業(yè)務(wù)部門,“中臺”則是強調(diào)資源整合、能力沉淀的平臺體系,旨在為“前臺”開展業(yè)務(wù)提供技術(shù)和數(shù)據(jù)支持?!爸信_”一詞還衍生出數(shù)據(jù)中臺、財務(wù)中臺、組織中臺、業(yè)務(wù)中臺、服務(wù)中臺等諸多概念,但影響最大的是“數(shù)據(jù)中臺”。自被稱為數(shù)據(jù)中臺元年的2019年起,華為、騰訊、萬科、京東、網(wǎng)易零售、字節(jié)跳動、360金融、國家電網(wǎng)等諸多知名企業(yè)均在積極探索、建設(shè)、應(yīng)用數(shù)據(jù)中臺。
但對于“數(shù)據(jù)中臺”的定義,目前尚未達(dá)成共識。國務(wù)院發(fā)展研究中心信息中心的李廣乾認(rèn)為,數(shù)據(jù)中臺是企業(yè)數(shù)據(jù)系統(tǒng)解決方案中的那些可共享、可通用的數(shù)據(jù)業(yè)務(wù)內(nèi)容,與數(shù)據(jù)參考模型聯(lián)系緊密。前阿里巴巴業(yè)務(wù)平臺負(fù)責(zé)人玄難認(rèn)為,數(shù)據(jù)中臺是一種整合基礎(chǔ)數(shù)據(jù)并提供數(shù)據(jù)產(chǎn)品供業(yè)務(wù)方使用的能力。網(wǎng)易大數(shù)據(jù)平臺負(fù)責(zé)人郭憶認(rèn)為,數(shù)據(jù)中臺是指面向不同的主題域,將分層的數(shù)據(jù)組織在一起,通過服務(wù)化的方式向外界提供可供決策的數(shù)據(jù),是一種統(tǒng)一共享的數(shù)據(jù)組織,核心是實現(xiàn)數(shù)據(jù)的復(fù)用,可解決與企業(yè)運營管理相關(guān)的效率、質(zhì)量和成本等三大問題。中國數(shù)據(jù)中臺行業(yè)研究報告(2019年)把數(shù)據(jù)中臺定義為“企業(yè)數(shù)字能力共享平臺,是平臺的平臺”。還有諸如,數(shù)據(jù)中臺是一套可持續(xù)“讓企業(yè)的數(shù)據(jù)用起來”的機制、“企業(yè)級能力復(fù)用平臺”“數(shù)據(jù)使用方法的集合體”等觀點。理論界對數(shù)據(jù)中臺的探索還處于概念討論的萌芽階段,涵蓋數(shù)據(jù)中臺的定義、定位、架構(gòu)及建設(shè)等[1-4]。數(shù)據(jù)中臺的簡框如圖1所示。
盡管對定義數(shù)據(jù)中臺還存在爭議,但對其作用,各界均認(rèn)為數(shù)據(jù)中臺旨在提高數(shù)據(jù)的使用效率,核心功能是基于海量數(shù)據(jù)(基于大數(shù)據(jù)平臺產(chǎn)生的)提高企業(yè)的運行效率,目標(biāo)是促進(jìn)企業(yè)更好地利用數(shù)據(jù),更快地讓數(shù)據(jù)產(chǎn)生價值。鮮有文獻(xiàn)梳理數(shù)據(jù)中臺背后的深層原因及企業(yè)是否及如何構(gòu)建數(shù)據(jù)中臺等方面的內(nèi)容。
本文在匯總數(shù)據(jù)中臺現(xiàn)有研究成果的基礎(chǔ)上,通過梳理數(shù)據(jù)中臺產(chǎn)生的背景、構(gòu)建數(shù)據(jù)中臺的一般流程,并結(jié)合阿里巴巴成功實施數(shù)據(jù)中臺的案例,為企業(yè)更好地開展數(shù)據(jù)中臺項目提供借鑒。對于準(zhǔn)備實施數(shù)據(jù)中臺的企業(yè)而言,須基于自身的行業(yè)發(fā)展特性和具體業(yè)務(wù)性質(zhì),進(jìn)行深入研究和規(guī)劃,繼而建設(shè)與自身發(fā)展相匹配的業(yè)務(wù)中臺和數(shù)據(jù)中臺。
一、企業(yè)數(shù)字化轉(zhuǎn)型中的突出問題及原因
(一)企業(yè)數(shù)據(jù)項目“煙囪式”建設(shè)
“煙囪式”的數(shù)據(jù)開發(fā)是企業(yè)數(shù)字化轉(zhuǎn)型中面臨的突出問題。由于企業(yè)的組織結(jié)構(gòu)多為直線式的職能型管理,各部門互為獨立,導(dǎo)致基于單個部門(項目)建設(shè)的數(shù)據(jù)項目多為垂直的體系結(jié)構(gòu)。每一個部門都有自己的存儲、設(shè)備、管理工具和數(shù)據(jù)庫,不同部門無法共享資源,形成了資源和信息孤島?!盁焽枋健钡臄?shù)據(jù)開發(fā),還引致企業(yè)多個部門之間數(shù)據(jù)的復(fù)用性較差,從數(shù)據(jù)開發(fā)、上線、再到使用的一系列環(huán)節(jié),缺少整體層面的規(guī)劃與控制。此外,諸如冗余數(shù)據(jù)不斷堆積導(dǎo)致存儲成本上升、數(shù)據(jù)回溯性差導(dǎo)致錯誤源很難發(fā)現(xiàn)等問題,也多與“煙囪式”的數(shù)據(jù)開發(fā)模式緊密相關(guān)。
以阿里巴巴集團(tuán)為例,在數(shù)據(jù)整合之前,淘寶、天貓、聚劃算三大平臺均需要在IT建設(shè)上投入大量資金,導(dǎo)致重復(fù)建設(shè)、資源利用率下降的問題。自2015年起,阿里集團(tuán)將淘寶、天貓、聚劃算進(jìn)行統(tǒng)一規(guī)劃管理,加強各平臺之間的資源整合,實施“萬能淘寶,品質(zhì)天貓,活力聚劃算”戰(zhàn)略,并以此為基礎(chǔ)構(gòu)建阿里的數(shù)據(jù)中臺建設(shè)。
(二)數(shù)據(jù)對業(yè)務(wù)部門的支持力度弱
數(shù)據(jù)源于業(yè)務(wù),更要服務(wù)于業(yè)務(wù)。但對于很多企業(yè)而言,數(shù)據(jù)對業(yè)務(wù)的支撐作用有限。表現(xiàn)為:(1)數(shù)據(jù)使用門檻較高。對非技術(shù)型的業(yè)務(wù)人員而言,由于計算機知識欠缺,數(shù)據(jù)使用普遍出現(xiàn)困難。比如,結(jié)構(gòu)化查詢語言(Structured Query Language,簡稱SQL),對技術(shù)人員容易,對非技術(shù)型的數(shù)據(jù)使用者而言可能就很困難。(2)全鏈路監(jiān)控缺失,數(shù)據(jù)質(zhì)量無法保證。一個數(shù)據(jù)的獲取需要上百個節(jié)點,任何一個節(jié)點出錯,都可能導(dǎo)致最終數(shù)據(jù)出錯,且不易定位問題的根源。(3)數(shù)據(jù)對業(yè)務(wù)的支撐作用弱。不同于匯集數(shù)據(jù)的數(shù)據(jù)平臺,數(shù)據(jù)中臺具有業(yè)務(wù)屬性,可以支撐多個前臺業(yè)務(wù),使得各前端業(yè)務(wù)部門不再獨立管理業(yè)務(wù)數(shù)據(jù),真正實現(xiàn)不同業(yè)務(wù)之間的互通互融。
總之,部分企業(yè)構(gòu)建的大數(shù)據(jù)中心或數(shù)據(jù)倉庫普遍出現(xiàn)重復(fù)建設(shè)、數(shù)據(jù)成本高、取數(shù)效率低、數(shù)據(jù)質(zhì)量差等問題。站在數(shù)據(jù)開發(fā)者視角,隨著數(shù)據(jù)量級的逐漸擴大,數(shù)據(jù)開發(fā)難度加大。站在數(shù)據(jù)使用者視角,數(shù)據(jù)查詢慢,需求響應(yīng)慢,數(shù)據(jù)經(jīng)常違反常規(guī)。站在企業(yè)管理者角度,花了那么多錢,還支撐不了業(yè)務(wù)。
(三)導(dǎo)致上述問題的原因分析
導(dǎo)致上述問題的原因主要有:(1)缺少規(guī)范的數(shù)據(jù)傳遞流程。很多數(shù)據(jù)中心缺少規(guī)范的數(shù)據(jù)開發(fā)、數(shù)據(jù)應(yīng)用及管理流程。(2)盡管有些企業(yè)制定了數(shù)據(jù)的開發(fā)、管理、使用等制度,但由于技術(shù)系統(tǒng)跟不上,導(dǎo)致功能模塊之間的數(shù)據(jù)接口復(fù)雜多樣,難以實現(xiàn)系統(tǒng)之間的協(xié)同。(3)組織架構(gòu)分散。傳統(tǒng)的部門結(jié)構(gòu)導(dǎo)致數(shù)據(jù)隔離,很多數(shù)據(jù)倉庫無法有效連接。(4)數(shù)據(jù)與業(yè)務(wù)分離,無法更好地促進(jìn)業(yè)務(wù)發(fā)展。
(四)是否需要構(gòu)建數(shù)據(jù)中臺的判斷
并非所有企業(yè)都適合構(gòu)建數(shù)據(jù)中臺,判斷標(biāo)準(zhǔn)有以下三方面:(1)是否存在數(shù)據(jù)傳遞阻隔問題。由于事業(yè)部制的組織結(jié)構(gòu),各部門之間形成了部門墻,存在煙囪式的數(shù)據(jù)系統(tǒng)。(2)是否存在數(shù)據(jù)重復(fù)建設(shè)問題。企業(yè)體量大時,業(yè)務(wù)復(fù)雜,可能自己開發(fā)建設(shè)或與第三方機構(gòu)合作共建數(shù)據(jù)倉庫,本企業(yè)內(nèi)部是否有多個部門在建設(shè)自己的數(shù)據(jù)倉庫。(3)企業(yè)規(guī)模巨大,業(yè)務(wù)復(fù)雜。
二、如何構(gòu)建數(shù)據(jù)中臺
數(shù)據(jù)中臺是信息化與大數(shù)據(jù)融合發(fā)展的產(chǎn)物,是構(gòu)建業(yè)務(wù)中臺的基礎(chǔ)。旨在從多個維度提高企業(yè)業(yè)務(wù)工作的效率,促進(jìn)企業(yè)的高效運行。關(guān)鍵在于有效融合現(xiàn)有的信息化資源,不是另起爐灶。
(一)搭建企業(yè)數(shù)據(jù)中臺的原則
構(gòu)建數(shù)據(jù)中臺應(yīng)遵守的原則:標(biāo)準(zhǔn)、統(tǒng)一、共享及安全。對于一般企業(yè)而言,應(yīng)首先理清業(yè)務(wù)與數(shù)據(jù)的關(guān)系,整合業(yè)務(wù)信息系統(tǒng)和會計信息系統(tǒng),建立標(biāo)準(zhǔn)和統(tǒng)一的數(shù)據(jù)采集、存儲和加工機制。只有企業(yè)規(guī)模達(dá)到一定的程度,業(yè)務(wù)信息化發(fā)展到一定的水平,才有必要構(gòu)建并從數(shù)據(jù)中臺獲得收益。不能為了趕時髦,倉促上馬數(shù)據(jù)中臺。其次,要確保數(shù)據(jù)共享與安全。諸如數(shù)據(jù)集中式的數(shù)據(jù)中心(數(shù)據(jù)倉庫),只是把大量數(shù)據(jù)集中起來,還應(yīng)與業(yè)務(wù)部門分享數(shù)據(jù)。數(shù)據(jù)中臺最終能否真正地產(chǎn)生業(yè)務(wù)價值,目前尚無定論(類似會計人員提供的報表,是否有用并產(chǎn)生價值受多種因素的影響)。對于尚未具備構(gòu)建數(shù)據(jù)中臺條件的企業(yè)而言,現(xiàn)階段可在人員儲備、技術(shù)能力、組織架構(gòu)、業(yè)務(wù)水平等方面夯實基礎(chǔ)。
(二)搭建數(shù)據(jù)中臺需要考慮的三個主要問題
1.從方法論的視角。如何采用主題域管理模式,實現(xiàn)“一個數(shù)據(jù)”,分層管理數(shù)據(jù);如何實現(xiàn)數(shù)據(jù)模型復(fù)用,被其他地方多次使用,比如橫向的覆蓋范圍和縱向的跨層引用等;如何提升數(shù)據(jù)服務(wù)化水平,打通全鏈路數(shù)據(jù)、加設(shè)數(shù)據(jù)網(wǎng)關(guān)、整合異構(gòu)數(shù)據(jù)源。
2.從技術(shù)的角度。如何構(gòu)建數(shù)據(jù)研發(fā)體系、數(shù)據(jù)建設(shè)體系、數(shù)據(jù)服務(wù)體系以及數(shù)據(jù)應(yīng)用體系。數(shù)據(jù)研發(fā)體系,基于現(xiàn)實問題和遠(yuǎn)景目標(biāo)的研究開發(fā)系統(tǒng);數(shù)據(jù)建設(shè)體系,基于元數(shù)據(jù)構(gòu)建的指標(biāo)體系、數(shù)據(jù)質(zhì)量、成本優(yōu)化、數(shù)據(jù)地圖、數(shù)倉設(shè)計等應(yīng)用場景;數(shù)據(jù)服務(wù)體系,搭建數(shù)據(jù)研發(fā)與數(shù)據(jù)應(yīng)用的橋梁;數(shù)據(jù)應(yīng)用體系,數(shù)據(jù)中臺實時化、云端化、自動化(代碼構(gòu)建)、智能元數(shù)據(jù)處理和增強分析、通用數(shù)據(jù)產(chǎn)品建設(shè),數(shù)據(jù)生產(chǎn)力能力顯著提升。
3.從組織架構(gòu)的角度。數(shù)據(jù)產(chǎn)品技術(shù)部包括數(shù)據(jù)產(chǎn)品團(tuán)隊、數(shù)據(jù)平臺團(tuán)隊、數(shù)據(jù)開發(fā)團(tuán)隊、數(shù)據(jù)應(yīng)用團(tuán)隊。數(shù)據(jù)中臺的建立一般會伴隨著企業(yè)組織架構(gòu)的調(diào)整。
總之,從建設(shè)數(shù)據(jù)中臺的步驟看,一般是首先建設(shè)業(yè)務(wù)中臺,基于一定的規(guī)則匯積大量的業(yè)務(wù)數(shù)據(jù)(即業(yè)務(wù)數(shù)據(jù)化);其次,基于業(yè)務(wù)對數(shù)據(jù)的需求愿景,制定中臺建設(shè)的整體規(guī)劃,確定數(shù)據(jù)中臺的分階段建設(shè)目標(biāo)。從數(shù)據(jù)中發(fā)現(xiàn)價值,反過來賦能業(yè)務(wù)。最后,根據(jù)業(yè)務(wù)部門的需求建設(shè)數(shù)據(jù)中臺,使數(shù)據(jù)服務(wù)于業(yè)務(wù),優(yōu)化業(yè)務(wù),驅(qū)動業(yè)務(wù)增長并提升業(yè)務(wù)工作的效率(即數(shù)據(jù)業(yè)務(wù)化)。
(三)構(gòu)建數(shù)據(jù)中臺的具體內(nèi)容
1.數(shù)據(jù)采集與存儲。數(shù)據(jù)中臺的數(shù)據(jù)源頭,應(yīng)能夠采集內(nèi)部數(shù)據(jù)和外部數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)、歷史數(shù)據(jù)和現(xiàn)時數(shù)據(jù),滿足多種類型的數(shù)據(jù)采集需要。此外,此環(huán)節(jié)還包括以一定的規(guī)則將數(shù)據(jù)有序存儲。
2.數(shù)據(jù)計算與分析。基于大數(shù)據(jù)和云計算,為數(shù)據(jù)中臺提供的快速、準(zhǔn)確的計算能力,滿足各個層次的數(shù)據(jù)計算需求。同時,提供可視化的數(shù)據(jù)ts分析。
3.數(shù)據(jù)管理與服務(wù)。數(shù)據(jù)管理的內(nèi)容包括數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)模型、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全等。數(shù)據(jù)標(biāo)準(zhǔn)包含數(shù)據(jù)編碼、目錄、標(biāo)簽、字段、庫表、視圖、數(shù)據(jù)口徑、術(shù)語、元數(shù)據(jù)等內(nèi)容。數(shù)據(jù)模型涉及一般算法模型和機器學(xué)習(xí)算法模型。數(shù)據(jù)質(zhì)量涵蓋及時性、準(zhǔn)確性、完整性、一致性等維度。數(shù)據(jù)安全主要是指數(shù)據(jù)的訪問、使用、披露、修改、銷毀等均需授權(quán)。在此基礎(chǔ)上,使數(shù)據(jù)盡可能快捷地支撐企業(yè)業(yè)務(wù)發(fā)展,服務(wù)于企業(yè)整體戰(zhàn)略。總之,標(biāo)準(zhǔn)、規(guī)范、統(tǒng)一的數(shù)據(jù)管理是提供較高質(zhì)量服務(wù)的前提。
三、案例分析
(一)阿里巴巴的數(shù)據(jù)中臺簡述
2015年,阿里巴巴集團(tuán)提出“大中臺、小前臺”的戰(zhàn)略,創(chuàng)建業(yè)務(wù)和數(shù)據(jù)兩個中臺,打通業(yè)務(wù)與數(shù)據(jù)之間的障礙,實現(xiàn)對數(shù)據(jù)的采集、管理、控制、使用等全流程管控。如圖2所示,數(shù)據(jù)中臺和業(yè)務(wù)中臺相輔相成,滿足多種場景的對內(nèi)對外數(shù)據(jù)應(yīng)用,共同支撐阿里巴巴總體戰(zhàn)略的實現(xiàn)。
(二)阿里巴巴的數(shù)據(jù)中臺應(yīng)用
1.數(shù)據(jù)管理。曾有觀點認(rèn)為,大數(shù)據(jù)就是大災(zāi)難,如果企業(yè)沒有很好的能力管理數(shù)據(jù),數(shù)據(jù)越大,災(zāi)難就越大。阿里數(shù)據(jù)管理主要圍繞“存、管、用”展開,“存”就是針對性地進(jìn)行數(shù)據(jù)收集和存儲;“管”就是積極處理收集過來的數(shù)據(jù);“用”就是要認(rèn)真思考數(shù)據(jù)的應(yīng)用場景,充分發(fā)揮數(shù)據(jù)的價值。
2.數(shù)據(jù)應(yīng)用。數(shù)據(jù)應(yīng)用方面,主要是站在用戶的角度考慮數(shù)據(jù)的應(yīng)用價值和應(yīng)用需要。通過全域數(shù)據(jù)收集(多終端的數(shù)據(jù)采集與連接)、全渠數(shù)據(jù)融合(阿里旗下所有平臺上用戶的行為數(shù)據(jù))、全鏈數(shù)據(jù)集成(縱向記錄某種產(chǎn)品或服務(wù)整個商業(yè)過程的數(shù)據(jù)),阿里為眾多商家提供數(shù)據(jù)分析、診斷、優(yōu)化、預(yù)測等一站式數(shù)據(jù)服務(wù),全面支撐業(yè)務(wù)發(fā)展。此外,阿里的全局?jǐn)?shù)據(jù)監(jiān)控可視化,將原有的報表、指標(biāo)全部可視化,利用折線圖、柱狀圖、餅形圖等工具展現(xiàn)出來。
比如阿里巴巴商家端統(tǒng)一數(shù)據(jù)產(chǎn)品平臺——生意參謀,基于數(shù)據(jù)中臺為不同行業(yè)的店主提供端到端的分析支撐,實現(xiàn)數(shù)據(jù)統(tǒng)一、服務(wù)統(tǒng)一和產(chǎn)品平臺統(tǒng)一。打通淘寶、天貓、螞蟻等業(yè)務(wù)中間層之間的隔閡。
(三)案例小結(jié)
阿里的數(shù)據(jù)中臺是一套持續(xù)“讓數(shù)據(jù)變成資產(chǎn)并服務(wù)于業(yè)務(wù)”的機制,是依據(jù)阿里自身的業(yè)務(wù)模式和組織架構(gòu)構(gòu)建起來的,不僅能降低數(shù)據(jù)項目的重復(fù)建設(shè)、減少部門間煙囪式協(xié)作的成本,也是阿里差異化競爭的優(yōu)勢所在。
四、結(jié)論與啟示
隨著數(shù)據(jù)時代的來臨,越來越多的企業(yè)想通過數(shù)據(jù)驅(qū)動來進(jìn)行精細(xì)化的運營和數(shù)據(jù)化轉(zhuǎn)型。從數(shù)據(jù)中心、數(shù)據(jù)倉庫、數(shù)據(jù)平臺一路發(fā)展而來的數(shù)據(jù)中臺,是大數(shù)據(jù)時代企業(yè)數(shù)據(jù)化轉(zhuǎn)型的關(guān)鍵路徑。企業(yè)是否需要建立數(shù)據(jù)中臺,要基于自身的業(yè)務(wù)及數(shù)據(jù)特征做出綜合判斷。需要具備扎實的基礎(chǔ)架構(gòu)尤其底層基礎(chǔ)架構(gòu)和相對完備的IT基礎(chǔ)設(shè)施,漸進(jìn)式地建立適合企業(yè)自身的數(shù)據(jù)管理機制和流程。構(gòu)建數(shù)據(jù)中臺時,一般要遵循標(biāo)準(zhǔn)、統(tǒng)一、共享、安全的原則。
當(dāng)前,企業(yè)建設(shè)數(shù)據(jù)中臺相對較優(yōu)的方式是,通過合理規(guī)劃、復(fù)用企業(yè)已具備的大數(shù)據(jù)基礎(chǔ)(平臺、工具)。充分借鑒業(yè)界數(shù)據(jù)中臺建設(shè)的成功實踐,從企業(yè)數(shù)據(jù)管理核心需求出發(fā),首先基于某一特定業(yè)務(wù),打通數(shù)據(jù)采集、存儲、計算、治理、服務(wù)的工作全流程,逐步擴展到全域數(shù)據(jù)的接入、加工和管理,建設(shè)起適合自身規(guī)模、業(yè)務(wù)特征的數(shù)據(jù)中臺。AFA
參考文獻(xiàn)
[1]李廣乾.什么是數(shù)據(jù)中臺[J].中國信息界,2019(6):72-75.
[2]王作敬,汪照輝.企業(yè)中臺建設(shè)思索[J].金融電子化,2019(6):72-75.
[3]繆翀鶯,譚華,易學(xué)明.數(shù)據(jù)中臺的定位和架構(gòu)分析[J].廣東通信技術(shù),2019(12):57-62+70.
[4]劉俊良.新時代數(shù)據(jù)中臺研究與設(shè)計[J].電子世界,2020(5):119.
(審稿:薛勝昔編輯:賈璐)