淺談大數(shù)據(jù)治理下的自助式BI應(yīng)用
——以金融行業(yè)為例

劉金憶 凌立剛

（江蘇經(jīng)貿(mào)職業(yè)技術(shù)學(xué)院，江蘇 南京 210000）

一、大數(shù)據(jù)行業(yè)現(xiàn)狀

“大數(shù)據(jù)”是2018年達(dá)沃斯世界經(jīng)濟(jì)論壇的熱點(diǎn)之一，與會(huì)各界都對(duì)云計(jì)算、大數(shù)據(jù)等驅(qū)動(dòng)經(jīng)濟(jì)數(shù)字化轉(zhuǎn)型因素進(jìn)行了討論和展望。相關(guān)專家認(rèn)為，隨著大數(shù)據(jù)基礎(chǔ)設(shè)施的不斷完善，數(shù)據(jù)分析和商業(yè)智能工具將逐漸成為大數(shù)據(jù)的主力軍，而2018年，產(chǎn)業(yè)應(yīng)用將是全球大數(shù)據(jù)產(chǎn)業(yè)的主旋律。

曾幾何時(shí)，大數(shù)據(jù)一度被神化，在很多普通人心目中都是高大上的技術(shù)，只有為數(shù)不多超強(qiáng)實(shí)力的公司才有能力駕馭。現(xiàn)如今自2013年“大數(shù)據(jù)元年”已將近六年，大數(shù)據(jù)技術(shù)日趨成熟，在各行各業(yè)的應(yīng)用也不斷深入，大數(shù)據(jù)不再是“陽春白雪”，已經(jīng)開始影響世界的每一個(gè)角落。

同大多數(shù)先進(jìn)技術(shù)發(fā)展過程相同，大數(shù)據(jù)最先在專業(yè)領(lǐng)域內(nèi)進(jìn)行討論與理論研究；具備初步實(shí)施可行性理論基礎(chǔ)后，在軍工，研究所等實(shí)力頂尖的包括企業(yè)在內(nèi)的機(jī)構(gòu)進(jìn)行小規(guī)模試點(diǎn)及應(yīng)用推廣；最后，當(dāng)核心技術(shù)與商業(yè)模式都慢慢成熟之時(shí)，既是大眾都可以享受大數(shù)據(jù)技術(shù)帶來便利之時(shí)了。

諸多行業(yè)應(yīng)用發(fā)展如火如荼：如國防行業(yè)，美國國防部和情報(bào)界使用大數(shù)據(jù)工具看到并指出罪犯與可能隱藏的恐怖分子之間的個(gè)人關(guān)系，甚至預(yù)測即將來臨的戰(zhàn)爭；醫(yī)療衛(wèi)生領(lǐng)域，2013年谷歌通過大數(shù)據(jù)提前預(yù)防全國大規(guī)模流感，比醫(yī)院病案反饋幾乎提前了2周；交通運(yùn)輸領(lǐng)域，我國市民現(xiàn)在出門可以幾乎完全依靠手機(jī)導(dǎo)航系統(tǒng)時(shí)間最短、路途最近地尋找到目的地；零售行業(yè)，一位顧客走到商場里，各商家即可立刻知道他個(gè)人及家庭情況，包括他的喜好、購買記錄及消費(fèi)能力。

圖1 大數(shù)據(jù)應(yīng)用成熟度與市場吸引力

目前全球大數(shù)據(jù)技術(shù)發(fā)展僅進(jìn)入了上文所述第二階段，何時(shí)進(jìn)入第三階段則需要大數(shù)據(jù)科學(xué)家們的辛苦鉆研，也需要一些行業(yè)的領(lǐng)先企業(yè)帶頭探索，帶動(dòng)整個(gè)社會(huì)共同發(fā)掘大數(shù)據(jù)的奧秘。

二、金融行業(yè)大數(shù)據(jù)應(yīng)用難題

目前金融行業(yè)的大數(shù)據(jù)應(yīng)用勢在必行，主要基于行業(yè)特征的五個(gè)方面造成：第一，行業(yè)內(nèi)的數(shù)據(jù)量龐大，數(shù)據(jù)類型多樣化，銀行業(yè)每創(chuàng)收100萬美元，平均就會(huì)產(chǎn)生820GB的數(shù)據(jù)，在各行業(yè)排名居首①；第二，金融數(shù)據(jù)蘊(yùn)含著巨大的潛在價(jià)值，不可估量；第三，金融行業(yè)信息化水平較高，換言之，數(shù)據(jù)相對(duì)容易獲?。坏谒?，金融行業(yè)具備豐富的處理數(shù)據(jù)的傳統(tǒng)經(jīng)驗(yàn)；第五，金融行業(yè)各機(jī)構(gòu)也有足夠的資金引進(jìn)人才及立項(xiàng)研發(fā)大數(shù)據(jù)系統(tǒng)。天時(shí)、地利、人和，促使金融行業(yè)成為了大數(shù)據(jù)在行業(yè)中應(yīng)用的前沿陣地。CCF大數(shù)據(jù)專家委員會(huì)2017年統(tǒng)計(jì)的最令人矚目的應(yīng)用領(lǐng)域，金融一直排名前三②。

歐美國家的跨國型金融機(jī)構(gòu)起步較早，經(jīng)過多年的實(shí)踐，已經(jīng)可以熟練的通過數(shù)據(jù)分析獲得有價(jià)值的商業(yè)洞察。而國內(nèi)金融機(jī)構(gòu)經(jīng)過多年信息化建設(shè)，也通過“先建設(shè)數(shù)據(jù)倉庫，后人力開發(fā)報(bào)表”的傳統(tǒng)解決方案積累了大量的數(shù)據(jù)，但是其產(chǎn)生的有限分析結(jié)果卻極其有限。如銀行最關(guān)注的業(yè)務(wù)問題比如實(shí)施欺詐檢測和預(yù)防、系統(tǒng)性風(fēng)險(xiǎn)分析、盤中流動(dòng)性分析等，業(yè)務(wù)部門在內(nèi)部討論的時(shí)候，部門領(lǐng)導(dǎo)和銀行CIO無法識(shí)別這些活動(dòng)的大數(shù)據(jù)性質(zhì)，也無法快速準(zhǔn)確地找出自己需要的數(shù)據(jù)。

兩個(gè)環(huán)節(jié)前者是技術(shù)人員主導(dǎo)，后者是業(yè)務(wù)人員主導(dǎo)，技術(shù)人員很有可能不知道“哪些數(shù)據(jù)有用”，而業(yè)務(wù)人員則不清楚“有用的數(shù)據(jù)在哪”。在數(shù)據(jù)運(yùn)營的時(shí)候，兩方面部門之間相互合作，難免會(huì)出現(xiàn)響應(yīng)慢，靈活差，共享難等問題。

具體總結(jié)有三方面問題：

(一)數(shù)據(jù)采集難

大數(shù)據(jù)全民化，首先也要有全民的數(shù)據(jù)。由于金融行業(yè)的特殊性，對(duì)顧客隱私的保護(hù)更為重要，采集數(shù)據(jù)的難度及存在的問題也更為繁瑣。

從現(xiàn)實(shí)情況看，金融數(shù)據(jù)收集面臨著四大問題。

1.金融業(yè)務(wù)中存在大量非結(jié)構(gòu)化的信息。金融行業(yè)的數(shù)據(jù)分析歷史悠久、經(jīng)驗(yàn)豐富，正因如此，積累了大量的以紙質(zhì)化存在的業(yè)務(wù)數(shù)據(jù)，如合同文本等信息。此外，還存在大量的企業(yè)軟信息，因?yàn)椴环仙虡I(yè)銀行的IT系統(tǒng)要求，客戶經(jīng)理無法將這些信息錄入系統(tǒng)，包括業(yè)務(wù)談判的過程、客戶在金融門店的交互行為等。如何將這些信息轉(zhuǎn)為數(shù)據(jù)并且存儲(chǔ)，是金融數(shù)據(jù)采集階段面臨的不小的挑戰(zhàn)。

2.金融數(shù)據(jù)分散度較廣。以商業(yè)銀行為例，大量的數(shù)據(jù)會(huì)分散在總行、分行、二級(jí)分行等不同的層級(jí)中，并不完全集中在總行層面，更不談不同機(jī)構(gòu)之間的數(shù)據(jù)共享。

3.信息孤島現(xiàn)象嚴(yán)重。首先各大金融機(jī)構(gòu)不會(huì)自愿將自己掌握數(shù)據(jù)共享；其次大部分P2P網(wǎng)貸、網(wǎng)絡(luò)小貸、消費(fèi)分期平臺(tái)并沒有規(guī)范的數(shù)據(jù)庫系統(tǒng)；再次隨著互聯(lián)網(wǎng)的發(fā)達(dá)，更多的互聯(lián)網(wǎng)企業(yè)也加入了金融業(yè)務(wù)。隨著金融市場的愈加復(fù)雜化，金融數(shù)據(jù)幾何倍增加，但是相互之間不連通，對(duì)于每一家金融機(jī)構(gòu)而言，他們擁有的仍然是不全面的、結(jié)構(gòu)簡單的“小數(shù)據(jù)”。

4.數(shù)據(jù)采集標(biāo)準(zhǔn)制定困難。以個(gè)人征信業(yè)務(wù)為例，8家試點(diǎn)機(jī)構(gòu)各自為政，在數(shù)據(jù)賬戶標(biāo)準(zhǔn)、數(shù)據(jù)編碼標(biāo)準(zhǔn)、數(shù)據(jù)接口標(biāo)準(zhǔn)、數(shù)據(jù)分級(jí)標(biāo)準(zhǔn)、數(shù)據(jù)安全標(biāo)準(zhǔn)等方面都存在較大不一致。

(二)數(shù)據(jù)平臺(tái)操作難

不僅金融行業(yè)，如今各行業(yè)都開始了大數(shù)據(jù)平臺(tái)的建設(shè)，希望利用大數(shù)據(jù)的能力，來實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型。大數(shù)據(jù)平臺(tái)的建設(shè)本質(zhì)上還是數(shù)據(jù)的建設(shè)，傳統(tǒng)數(shù)據(jù)平臺(tái)碰到的所有問題大數(shù)據(jù)平臺(tái)都有可能碰到，金融行業(yè)遇到的問題，其他行業(yè)也可能遇到。

1.數(shù)據(jù)不可知。機(jī)構(gòu)內(nèi)用戶不知道大數(shù)據(jù)平臺(tái)中有哪些數(shù)據(jù)，也不知道這些數(shù)據(jù)和業(yè)務(wù)的關(guān)系是什么，雖然意識(shí)到了大數(shù)據(jù)的重要性，但平臺(tái)中有沒有能解決自己所面臨業(yè)務(wù)問題的關(guān)鍵數(shù)據(jù)，該到哪里尋找這些數(shù)據(jù)？

2.數(shù)據(jù)不可控。數(shù)據(jù)不可控是從傳統(tǒng)數(shù)據(jù)平臺(tái)開始就一直存在的問題，在大數(shù)據(jù)時(shí)代表現(xiàn)得更為明顯。沒有統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)導(dǎo)致數(shù)據(jù)難以集成和統(tǒng)一，沒有質(zhì)量控制導(dǎo)致海量數(shù)據(jù)因質(zhì)量過低而難以被利用，沒有能有效管理整個(gè)大數(shù)據(jù)平臺(tái)的管理流程。

3.數(shù)據(jù)不可取。用戶即使知道自己業(yè)務(wù)所需要的是哪些數(shù)據(jù)，也不能便捷自助地拿到數(shù)據(jù)，相反，獲取數(shù)據(jù)需要很長的開發(fā)過程，導(dǎo)致業(yè)務(wù)分析的需求難以被快速滿足，而在大數(shù)據(jù)時(shí)代，尤其是金融行業(yè)，業(yè)務(wù)追求的是快速分析，極速響應(yīng)，這樣漫長的需求響應(yīng)時(shí)間是難以滿足行業(yè)需求的。

4.數(shù)據(jù)不可聯(lián)。大數(shù)據(jù)時(shí)代，企業(yè)擁有著海量數(shù)據(jù)，但企業(yè)數(shù)據(jù)知識(shí)之間的關(guān)聯(lián)還比較弱，沒有把數(shù)據(jù)和知識(shí)體系關(guān)聯(lián)起來，企業(yè)員工難以做到數(shù)據(jù)與知識(shí)之間的快速轉(zhuǎn)換，不能對(duì)數(shù)據(jù)進(jìn)行自助地探索和挖掘，數(shù)據(jù)的深層價(jià)值難以體現(xiàn)。

(三)大數(shù)據(jù)應(yīng)用難

金融行業(yè)大數(shù)據(jù)挖掘即大數(shù)據(jù)應(yīng)用的兩個(gè)核心目的，一是風(fēng)險(xiǎn)控制，二是精準(zhǔn)營銷。

1.風(fēng)險(xiǎn)不易控制。2017年8月3日，中國平安集團(tuán)董事長馬明哲在人民日?qǐng)?bào)刊發(fā)文章《金融的核心是風(fēng)險(xiǎn)管控》，風(fēng)險(xiǎn)識(shí)別與控制既是金融業(yè)運(yùn)營的核心，也是大數(shù)據(jù)在國內(nèi)外金融領(lǐng)域最主要的應(yīng)用部分。

金融風(fēng)險(xiǎn)大體可分為市場風(fēng)險(xiǎn)、法律風(fēng)險(xiǎn)、信用風(fēng)險(xiǎn)與操作風(fēng)險(xiǎn)。

以時(shí)下最熱門的互聯(lián)網(wǎng)金融為例，激烈的行業(yè)競爭促使一些互聯(lián)網(wǎng)消費(fèi)金融平臺(tái)在客戶還款意愿評(píng)估及反欺詐模型設(shè)計(jì)上較為粗放、客戶身份識(shí)別及信用共享機(jī)制還不夠完善的情況下，盲目擴(kuò)大業(yè)務(wù)規(guī)模，導(dǎo)致識(shí)別和有效定位目標(biāo)客群的難度加大，客戶畫像的精準(zhǔn)性降低。

并且傳統(tǒng)的信用評(píng)分模型主要使用金融領(lǐng)域的歷史借貸數(shù)據(jù)來預(yù)測和判斷借款人的違約風(fēng)險(xiǎn)，所以傳統(tǒng)模型無法給過去沒有發(fā)生過借貸交易的人進(jìn)行信用評(píng)分，造成“無記錄”的借款人風(fēng)險(xiǎn)無法評(píng)估。

操作風(fēng)險(xiǎn)指因?yàn)榭萍嫉难杆侔l(fā)展推動(dòng)了技術(shù)更新的速度，導(dǎo)致原先技術(shù)過時(shí)，在這種新舊技術(shù)交替的過程中容易出現(xiàn)技術(shù)摩擦風(fēng)險(xiǎn)。有一些不法分子可能利用新技術(shù)中存在的業(yè)務(wù)缺陷而展開非法詐騙以及盜取等活動(dòng)，極大地影響了金融機(jī)構(gòu)的運(yùn)行與發(fā)展的安全性。

2.營銷效率低。精準(zhǔn)營銷真正要做的就是了解客戶：客戶到底是什么樣的？客戶是誰？客戶需要什么產(chǎn)品？客戶有什么產(chǎn)品偏好？客戶喜歡哪些產(chǎn)品組合……還有就是如何進(jìn)行有效營銷、如何提升客戶價(jià)值、保持客戶忠誠度等。都需要海量的相關(guān)數(shù)據(jù)進(jìn)行分析挖掘。

銀行等傳統(tǒng)金融機(jī)構(gòu)都是以坐銷為主，無動(dòng)力也無方式收集并挖掘如此多的數(shù)據(jù)。每年金融機(jī)構(gòu)的數(shù)據(jù)增量中有百分之七十到八十的數(shù)據(jù)屬于非結(jié)構(gòu)化數(shù)據(jù)，傳統(tǒng)IT架構(gòu)已無法深入挖掘該海量數(shù)據(jù)的數(shù)據(jù)價(jià)值，造成了嚴(yán)重的浪費(fèi)。金融企業(yè)的分析人員不滿足于只看到數(shù)據(jù)呈現(xiàn)，還希望對(duì)數(shù)據(jù)進(jìn)行聚類、分類的算法來挖掘數(shù)據(jù)價(jià)值。通過復(fù)雜的模型，考量多個(gè)指標(biāo)來判斷，哪些屬于即將流失的客戶，哪些是高價(jià)值客戶。

三、金融行業(yè)嘗試自助式BI介入

隨著人工智能技術(shù)的發(fā)展，自助式服務(wù)逐漸興起。就大數(shù)據(jù)分析流程而言，數(shù)據(jù)采集、數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)分析等步驟都可以低技術(shù)門檻的自助式操作來進(jìn)行。目前市面上出現(xiàn)了“全自助”的數(shù)據(jù)分析平臺(tái)——自助式BI，可以讓業(yè)務(wù)用戶完成自動(dòng)數(shù)據(jù)抽取、自主數(shù)據(jù)分析、自助數(shù)據(jù)挖掘、自助數(shù)據(jù)可視化，甚至可以通過自然語言完成數(shù)據(jù)探索。

將金融行業(yè)雜亂無章的數(shù)據(jù)變成簡明扼要的分析結(jié)果及預(yù)測，除了在前段設(shè)計(jì)更優(yōu)化的UI布局邏輯，在后端搭建數(shù)據(jù)治理合作平臺(tái)同樣重要。其中的所有流程都需要技術(shù)人員與業(yè)務(wù)人員打破隔閡、親密無間、通力合作。

可以將其統(tǒng)稱為自助式數(shù)據(jù)分析，其不僅能夠勝任大量數(shù)據(jù)的快速處理，還有足夠的智能化，在軟件的設(shè)計(jì)上偏向人性化，其中有一些關(guān)鍵性技術(shù)：

(一)金融行業(yè)大數(shù)據(jù)治理體系構(gòu)建

我國最早意識(shí)到數(shù)據(jù)治理重要性的行業(yè)就是金融行業(yè)。金融行業(yè)一直非常重視數(shù)據(jù)平臺(tái)的建設(shè)，經(jīng)過幾代數(shù)據(jù)平臺(tái)的驗(yàn)證，發(fā)現(xiàn)數(shù)據(jù)治理是平臺(tái)建設(shè)的主要限制因素?？梢哉f，在大數(shù)據(jù)戰(zhàn)略從頂層設(shè)計(jì)到底層實(shí)現(xiàn)的“落地”過程中，治理是基礎(chǔ)，技術(shù)是承載，分析是手段，應(yīng)用是目的。如何利用大數(shù)據(jù)平臺(tái)優(yōu)化金融產(chǎn)品、流程和服務(wù)？如何利用大數(shù)據(jù)更科學(xué)地制定政策、甄別風(fēng)險(xiǎn)？所有這一切，都離不開大數(shù)據(jù)治理。

具體來講，大數(shù)據(jù)治理是企業(yè)數(shù)據(jù)可獲得性、可用性、完整性和安全性的部署和全面管理。目前主流的研究方向落實(shí)于組織層面，深遠(yuǎn)來看，大數(shù)據(jù)既然已經(jīng)作為我國國家的戰(zhàn)略資源，那么同樣，大數(shù)據(jù)的治理體系，不僅涉及到組織，同樣也涉及到行業(yè)，更涉及到國家。

國家宏觀層面本文暫不涉及，就金融業(yè)而言，從行業(yè)及企業(yè)層面還是有很多需要不斷完善的地方。

1.金融行業(yè)統(tǒng)一制定數(shù)據(jù)管理制度。在國家相關(guān)管理框架下，為了保證金融行業(yè)如銀行、證券、互聯(lián)網(wǎng)金融機(jī)構(gòu)等各個(gè)主體共同利益和平穩(wěn)快速發(fā)展，需要規(guī)范行業(yè)管理，相關(guān)的組織機(jī)構(gòu)（如銀監(jiān)會(huì)）制訂行業(yè)數(shù)據(jù)管理制度，制訂行業(yè)內(nèi)部數(shù)據(jù)共享與開放的規(guī)則，構(gòu)建數(shù)據(jù)共享交換平臺(tái)。

2.升級(jí)金融機(jī)構(gòu)數(shù)據(jù)管控理念。第一，資產(chǎn)地位的確定。組織層面需要企業(yè)通過規(guī)定將數(shù)據(jù)規(guī)定為核心資產(chǎn)。第二，面向用戶的轉(zhuǎn)變。傳統(tǒng)的數(shù)據(jù)平臺(tái)階段，數(shù)據(jù)治理面向用戶僅為數(shù)據(jù)部門，現(xiàn)在，用戶范圍已經(jīng)擴(kuò)展到全企業(yè)。需要成為面向全企業(yè)用戶的工作環(huán)境，以全企業(yè)用戶為中心，從給用戶提供服務(wù)的角度，管理好數(shù)據(jù)的同時(shí)為用戶提供自助獲得大數(shù)據(jù)的能力，幫助企業(yè)完成數(shù)字化轉(zhuǎn)型。

3.自服務(wù)大數(shù)據(jù)治理管理階段劃分。第一階段：全面梳理企業(yè)信息，自助化構(gòu)建企業(yè)數(shù)據(jù)資產(chǎn)庫，本階段主要是對(duì)企業(yè)大數(shù)據(jù)的梳理，從而全面掌握企業(yè)大數(shù)據(jù)的情況。第二階段：建立管理流程，落地?cái)?shù)據(jù)標(biāo)準(zhǔn)，提升數(shù)據(jù)質(zhì)量，從業(yè)務(wù)的角度梳理企業(yè)數(shù)據(jù)質(zhì)量問題，形成質(zhì)量控制能力，形成核心數(shù)據(jù)標(biāo)準(zhǔn)，并抓標(biāo)準(zhǔn)落地。第三階段：直接為用戶提供價(jià)值，向用戶提供數(shù)據(jù)微服務(wù)，這個(gè)階段的目標(biāo)是向用戶提供自助化的數(shù)據(jù)服務(wù)，使用戶能夠自助地獲取和使用數(shù)據(jù)，并且在用戶的使用過程中再反過去進(jìn)一步落地標(biāo)準(zhǔn)、控制質(zhì)量。第四階段：智能化企業(yè)知識(shí)圖譜，為全企業(yè)提供數(shù)據(jù)價(jià)值，最后一個(gè)階段是將數(shù)據(jù)沉淀成為知識(shí)，形成企業(yè)的知識(shí)圖譜，提供從“關(guān)系”的角度去分析問題的能力，從而使數(shù)據(jù)治理成為整個(gè)企業(yè)的數(shù)據(jù)工作環(huán)境，強(qiáng)化企業(yè)數(shù)據(jù)與知識(shí)體系之間的關(guān)聯(lián)，加快企業(yè)員工數(shù)據(jù)與知識(shí)之間的轉(zhuǎn)換效率，讓數(shù)據(jù)的深層價(jià)值得以體現(xiàn)。

通過這四個(gè)階段的建設(shè)，使數(shù)據(jù)治理平臺(tái)由數(shù)據(jù)部門的工作環(huán)境，轉(zhuǎn)變成為全金融企業(yè)及行業(yè)的數(shù)據(jù)工作環(huán)境，以用戶為中心，讓用戶能夠直接使用大數(shù)據(jù)，并通過用戶的使用來管理數(shù)據(jù)，持續(xù)優(yōu)化數(shù)據(jù)質(zhì)量，在達(dá)到治理數(shù)據(jù)目標(biāo)的同時(shí)，也最大限度發(fā)揮了數(shù)據(jù)的價(jià)值。

(二)金融行業(yè)數(shù)據(jù)采集

需要收集的數(shù)據(jù)有來自銀行內(nèi)部的和外部的、靜態(tài)的和動(dòng)態(tài)的各種金融數(shù)據(jù)。內(nèi)部數(shù)據(jù)來源是互聯(lián)網(wǎng)金融企業(yè)內(nèi)部數(shù)據(jù)庫，較易得到，可以較好地對(duì)客戶進(jìn)行細(xì)分、了解金融產(chǎn)品組合特點(diǎn)，預(yù)測金融產(chǎn)品發(fā)展趨勢，輔助進(jìn)行金融決策。但隨著互聯(lián)網(wǎng)的技術(shù)與商業(yè)模式成熟，網(wǎng)絡(luò)支付與互聯(lián)網(wǎng)金融成為人們?nèi)粘Ｉ畹闹髁鳎瑥恼麄€(gè)行業(yè)的發(fā)展角度來講，外部金融數(shù)據(jù)也異常重要。

外部金融數(shù)據(jù)的來源有多種形式：一是通過與數(shù)據(jù)擁有方簽署合作協(xié)議來獲取所需金融數(shù)據(jù)；二是購買金融數(shù)據(jù)庫等方式來獲取；三是通過數(shù)據(jù)采集工具來自行采集獲取。

所以在制定一套切實(shí)可行的數(shù)據(jù)采集流程規(guī)范以外，還需使用各類金融數(shù)據(jù)采集工具，如動(dòng)態(tài)采集SDK、日志提取分析工具、外部數(shù)據(jù)導(dǎo)入工具等。

1.流程優(yōu)化。該流程主要針對(duì)內(nèi)部金融數(shù)據(jù)。以客戶經(jīng)理為信息收集的前臺(tái)，對(duì)各層級(jí)客戶經(jīng)理在以前的信息收集范圍上進(jìn)行了無限擴(kuò)大，以前不能上傳系統(tǒng)，無法進(jìn)行量化的非結(jié)構(gòu)化數(shù)據(jù)，通過大數(shù)據(jù)手段也可直接上傳至銀行大數(shù)據(jù)倉庫。

第一階段，銀行客戶經(jīng)理通過收集客戶信息，包括結(jié)構(gòu)化信息與非機(jī)構(gòu)化信息。第二階段，通過銀行數(shù)據(jù)端口上傳至行內(nèi)大數(shù)據(jù)倉庫。第三階段，數(shù)據(jù)中心運(yùn)用大數(shù)據(jù)工具對(duì)數(shù)據(jù)進(jìn)行挖掘，得到用于指導(dǎo)工作的信息，為銀行管理層出正確的決策與經(jīng)營方案。

2.數(shù)據(jù)采集工具。爬蟲軟件是一種數(shù)據(jù)動(dòng)態(tài)采集工具，其按照一定的規(guī)則，自動(dòng)地抓取萬維網(wǎng)信息的程序或者腳本。主要采集外部金融數(shù)據(jù)，如包括股票、證券、債券、期貨等理財(cái)數(shù)據(jù)，P2P數(shù)據(jù)，眾籌數(shù)據(jù)，電子商務(wù)數(shù)據(jù)，微博、微信、貼吧等社交平臺(tái)互聯(lián)網(wǎng)金融評(píng)論數(shù)據(jù)，新聞財(cái)經(jīng)數(shù)據(jù)等。

部分金融公司設(shè)置了崗位數(shù)據(jù)采集員，即從事國內(nèi)外公司、基金、債券、外匯、期貨、宏觀、行業(yè)等各類金融相關(guān)數(shù)據(jù)的收集、整理、錄入、挖掘工作。提供全球準(zhǔn)確、及時(shí)的金融數(shù)據(jù)。該崗位在銀行等機(jī)構(gòu)設(shè)置不多，但是在證券、互聯(lián)網(wǎng)金融等機(jī)構(gòu)較常見。

(三)金融行業(yè)自助式數(shù)據(jù)準(zhǔn)備

數(shù)據(jù)準(zhǔn)備是大數(shù)據(jù)分析流程中非常重要的一環(huán)，其結(jié)果是數(shù)據(jù)分析和挖掘的基礎(chǔ)。在正式進(jìn)入數(shù)據(jù)分析之前，都需要對(duì)數(shù)據(jù)進(jìn)行數(shù)據(jù)抽取、數(shù)據(jù)清洗、數(shù)據(jù)融合等數(shù)據(jù)準(zhǔn)備工作。

大數(shù)據(jù)的3V特性在金融行業(yè)尤為突出，數(shù)量級(jí)大，多樣性強(qiáng)，時(shí)效性高，所以對(duì)數(shù)據(jù)準(zhǔn)備工作的專業(yè)性要求更高。有效的數(shù)據(jù)準(zhǔn)備能提高數(shù)據(jù)分析的效率和準(zhǔn)確性，更利于決策，同時(shí)也有利于梳理各業(yè)務(wù)規(guī)則的實(shí)現(xiàn)邏輯，便于后續(xù)搭建架構(gòu)，部署實(shí)施，分析處理等工作。

圖2 數(shù)據(jù)準(zhǔn)備邏輯圖

1.數(shù)據(jù)準(zhǔn)備的作用。數(shù)據(jù)準(zhǔn)備工作主要內(nèi)容包括：抽樣糾偏、抽樣過度、降維、清楚變量、處理分類自變量、處理時(shí)間變量、處理異常值、極值、缺失值、數(shù)據(jù)分箱、數(shù)據(jù)整合等等。

根據(jù)數(shù)據(jù)準(zhǔn)備的邏輯圖可以看出，數(shù)據(jù)準(zhǔn)備的最大作用是將清潔后的數(shù)據(jù)通過業(yè)務(wù)理解后建模，從而應(yīng)用在業(yè)務(wù)領(lǐng)域進(jìn)行數(shù)據(jù)分析及挖掘。

一個(gè)大數(shù)據(jù)分析系統(tǒng)的工作效率及預(yù)測準(zhǔn)確度取決于算法模型的優(yōu)化程度，也受數(shù)據(jù)質(zhì)量的制約。恰巧這兩個(gè)步驟都位于數(shù)據(jù)準(zhǔn)備階段。

2.自助式數(shù)據(jù)準(zhǔn)備。自助式數(shù)據(jù)準(zhǔn)備，即為自助式BI的一個(gè)環(huán)節(jié)。同樣是面向業(yè)務(wù)人員，在不需要業(yè)務(wù)人員較高IT技能要求時(shí)，也不需要公司IT人員的其他支持。只要IT人員將數(shù)據(jù)準(zhǔn)備好，業(yè)務(wù)人員就可以自由地、自助地通過可視化的ETL過程，實(shí)現(xiàn)數(shù)據(jù)的清洗、轉(zhuǎn)換，最終生成所需要的數(shù)據(jù)，然后進(jìn)行各種數(shù)據(jù)分析，制作各類報(bào)表，進(jìn)行相應(yīng)決策。

2017年，全球最具權(quán)威的IT研究與顧問咨詢公司Gartner發(fā)布的數(shù)據(jù)管理技術(shù)成熟度曲線，評(píng)估以及預(yù)測了數(shù)據(jù)管理技術(shù)的成熟度及生命周期，幫助各企業(yè)數(shù)據(jù)分析高管人員分析并構(gòu)建企業(yè)內(nèi)部數(shù)據(jù)管理生態(tài)系統(tǒng)。

圖3 2017年數(shù)據(jù)管理技術(shù)成熟度曲線③

其中，自助式數(shù)據(jù)準(zhǔn)備位于期望膨脹期的最高峰，且預(yù)測該技術(shù)在2-5年內(nèi)達(dá)到成熟狀態(tài)。可見該技術(shù)必將在短時(shí)間內(nèi)成為大數(shù)據(jù)分析領(lǐng)域的熱點(diǎn)。

我國金融行業(yè)800萬從業(yè)者，絕大多數(shù)是業(yè)務(wù)人員，面對(duì)紛雜的數(shù)據(jù)，為了準(zhǔn)確、及時(shí)的得出結(jié)論、做出決策，每一位業(yè)務(wù)人員親自上陣，低響應(yīng)時(shí)間，精準(zhǔn)的從系統(tǒng)中抽取一手?jǐn)?shù)據(jù)，可以更快的搶占市場，規(guī)避風(fēng)險(xiǎn)。

(四)金融行業(yè)數(shù)據(jù)挖掘

自助式BI，智能化不可少，這是大數(shù)據(jù)工具未來發(fā)展的一個(gè)重要指標(biāo)，面對(duì)海量的數(shù)據(jù)，除了需要高效的處理（前文已述），通過挖掘出數(shù)據(jù)深層次的價(jià)值，可以得出精準(zhǔn)的響應(yīng)也是科學(xué)家們不斷研究的話題。

1.用戶畫像。用戶畫像可以幫助金融機(jī)構(gòu)分析客戶，提高經(jīng)營效率，優(yōu)化運(yùn)營模式，有效規(guī)避風(fēng)險(xiǎn)。個(gè)人客戶畫像包括人口統(tǒng)計(jì)學(xué)特征數(shù)據(jù)、消費(fèi)能力數(shù)據(jù)、風(fēng)險(xiǎn)偏好數(shù)據(jù)等。從商業(yè)角度出發(fā)，用戶畫像目的有兩個(gè)。一個(gè)是在業(yè)務(wù)場景尋找目標(biāo)客戶，一個(gè)是參考用戶畫像的信息，為用戶設(shè)計(jì)產(chǎn)品或開展?fàn)I銷活動(dòng)。

各金融機(jī)構(gòu)已經(jīng)將用戶畫像作為了數(shù)據(jù)分析的一個(gè)主要應(yīng)用。但是由于數(shù)據(jù)庫中很多客戶的信息并不夠全面，數(shù)據(jù)挖掘的技術(shù)積累也不夠，所以對(duì)用戶的畫像只能停留在表面。

如果想全面分析這些客戶群體，除了引入更為豐富的數(shù)據(jù)源，如：上網(wǎng)瀏覽痕跡數(shù)據(jù)、運(yùn)營商數(shù)據(jù)、社交行為等數(shù)據(jù)外，用戶畫像繪制的流程同樣需要更新：①相關(guān)數(shù)據(jù)的整理與準(zhǔn)備；②找到同業(yè)務(wù)場景的強(qiáng)相關(guān)數(shù)據(jù)；③對(duì)數(shù)據(jù)進(jìn)行聚類和標(biāo)簽化；④依據(jù)業(yè)務(wù)需求引入外部數(shù)據(jù)；⑤按照需求進(jìn)行篩選客戶。

2.風(fēng)險(xiǎn)控制。金融的本質(zhì)是將風(fēng)險(xiǎn)偏好不同的資金供給方和風(fēng)險(xiǎn)不同的資金需求方匹配起來。而大數(shù)據(jù)風(fēng)控看兩個(gè)方面的能力，一個(gè)是數(shù)據(jù)積累，另一個(gè)就是技術(shù)能力。分析可知，大數(shù)據(jù)風(fēng)控模型的基本流程來主要分為四個(gè)部分：數(shù)據(jù)收集、數(shù)據(jù)建模、構(gòu)建數(shù)據(jù)畫像和風(fēng)險(xiǎn)定價(jià)。

根據(jù)數(shù)據(jù)來源不同，可分為場景內(nèi)數(shù)據(jù)，平臺(tái)自身數(shù)據(jù)與外部數(shù)據(jù)。場景內(nèi)數(shù)據(jù)為顧客在辦理業(yè)務(wù)時(shí)所提供的數(shù)據(jù)，平臺(tái)自身數(shù)據(jù)取決于金融機(jī)構(gòu)自身的積累，大多數(shù)數(shù)據(jù)系統(tǒng)不夠健全的機(jī)構(gòu)就要更多尋求外部數(shù)據(jù)了，第三方如反欺詐、信用評(píng)估、數(shù)據(jù)查詢、數(shù)據(jù)銀行等平臺(tái)。數(shù)據(jù)模型主要依據(jù)于統(tǒng)計(jì)學(xué)聚類、分類、離群點(diǎn)檢測、Logistic回歸等方法。建立出企業(yè)或個(gè)人畫像，然后可進(jìn)行信用評(píng)級(jí)。

針對(duì)于各類風(fēng)險(xiǎn)建立風(fēng)控策略體系。如信用風(fēng)險(xiǎn)在流程上分為貸前、貸中、貸后。貸前要信息核實(shí)、高危人群攔截和批量識(shí)別；貸中進(jìn)行實(shí)時(shí)交易監(jiān)控、額度動(dòng)態(tài)升降、盜用風(fēng)險(xiǎn)識(shí)別、欺詐風(fēng)險(xiǎn)識(shí)別；貸后也需結(jié)合人群特征、時(shí)間等因素進(jìn)行風(fēng)險(xiǎn)回顧。

(五)金融行業(yè)大數(shù)據(jù)可視化操作

繁雜難懂的軟件操作界面，只有經(jīng)過專業(yè)訓(xùn)練的IT人員可以掌握；眼花繚亂的相關(guān)數(shù)據(jù)陳列，只有常年與之共處的數(shù)據(jù)分析人員可以讀懂。

自助式BI工具，無論智能水平再高，人性化也大多得通過可視化來展現(xiàn)。從自助式數(shù)據(jù)準(zhǔn)備，到自助式數(shù)據(jù)分析的操作界面可視化，直至結(jié)論展示的數(shù)據(jù)可視化，都必須將可視化融入其中。

1.界面可視化。目的是改變IT人員和業(yè)務(wù)人員的需求響應(yīng)模式，將數(shù)據(jù)開放給業(yè)務(wù)人員，通過操作自己可以理解的、友好的可視化界面，自己在前段處理、加工、分析數(shù)據(jù)。

大大提升了分析效率的同時(shí)，減輕了IT部門的支持壓力，以致可以投入更多的研發(fā)資源在建模和數(shù)據(jù)挖掘的工作中。

2.數(shù)據(jù)可視化。數(shù)據(jù)可視化技術(shù)可以將所有數(shù)據(jù)的特性通過圖的方式呈現(xiàn)出來，數(shù)據(jù)的圖形化呈現(xiàn)可以幫助我們更有效地了解和深入理解數(shù)據(jù)。

數(shù)據(jù)可視化最早可起源于1960年計(jì)算機(jī)圖形學(xué)，發(fā)展至今，運(yùn)用范圍更為廣泛，形式更為多樣。為了更深入地理解數(shù)據(jù)，除了傳統(tǒng)的柱形圖、折線圖、餅圖、條形圖、面積圖和散點(diǎn)圖等呈現(xiàn)一些簡單的信息的原始統(tǒng)計(jì)圖表。而對(duì)于復(fù)雜的或較大規(guī)模的非結(jié)構(gòu)化數(shù)據(jù)，則不能完美地呈現(xiàn)出來。

借助各種圖像處理技術(shù)，網(wǎng)絡(luò)視頻技術(shù)，3D建模技術(shù)，AR/VR技術(shù)等，可將復(fù)雜的或較大規(guī)模的非結(jié)構(gòu)化數(shù)據(jù)以生動(dòng)形象的圖表、圖形、地圖、儀表板、標(biāo)簽云圖等方式對(duì)數(shù)據(jù)信息進(jìn)行高效地、直觀地、動(dòng)態(tài)演示且多維立體化地呈現(xiàn)給用戶，并可實(shí)時(shí)了解數(shù)據(jù)變化的情況。這種方式可以簡化目標(biāo)對(duì)象的復(fù)雜度，通過將對(duì)象可視化，增強(qiáng)研究分析過程中的視覺效果，更有利于各級(jí)別客戶經(jīng)理及管理人員對(duì)市場及顧客的思考。

四、前景展望

金融行業(yè)作為一個(gè)數(shù)據(jù)驅(qū)動(dòng)的行業(yè)，數(shù)據(jù)一直是金融信息化的主題詞。隨著智能化、人性化、可視化成為大數(shù)據(jù)科學(xué)發(fā)展的主流方向，金融行業(yè)對(duì)自助式BI的熟練運(yùn)用使得其在大數(shù)據(jù)應(yīng)用領(lǐng)域帶頭領(lǐng)跑，也必將帶動(dòng)整個(gè)社會(huì)進(jìn)入對(duì)大數(shù)據(jù)應(yīng)用的探索熱潮。

自助式BI正張開雙臂迎接全民大數(shù)據(jù)的到來。

注釋

①數(shù)據(jù)來源：SINIA，NextGen Storage，BDG 等，2015 年。

②CCF大數(shù)據(jù)專家委員會(huì)：2017年中國大數(shù)據(jù)發(fā)展趨勢預(yù)測及解讀https://wenku.baidu.com/view/91dffc0f59fb770bf78a6529647d 7284b7337ed.html。

③資料來源：Gartner（2017年9月）https://blog.csdn.net/dev_csdn/article/details/78296977?locationNum=4&fps=1。

④資料來源：Gartner（2017年9月）https://blog.csdn.net/dev_csdn/article/details/78296977?locationNum=4&fps=1。