大數(shù)據(jù)在金融行業(yè)的應(yīng)用與挑戰(zhàn)

盛瀚

DOI：10.16660/j.cnki.1674-098X.2017.25.117

摘 要：本文從對(duì)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展進(jìn)行分析，介紹大數(shù)據(jù)金融的相關(guān)應(yīng)用及場(chǎng)景案例，并闡述了大數(shù)據(jù)金融存在的挑戰(zhàn)。

關(guān)鍵詞：大數(shù)據(jù) 金融行業(yè) 應(yīng)用

中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1674-098X（2017）09（a）-0117-06

1 大數(shù)據(jù)概述

1.1 什么是大數(shù)據(jù)

大數(shù)據(jù)（Big Data）是一個(gè)寬泛的概念，業(yè)界沒有統(tǒng)一的定義，大數(shù)據(jù)概念的興起可以追溯到2000年前后，最初理解為一類海量數(shù)據(jù)的集合。2011年，美國麥肯錫在研究報(bào)告《大數(shù)據(jù)的下一個(gè)前沿：創(chuàng)新、競(jìng)爭(zhēng)和生產(chǎn)力》中給出了大數(shù)據(jù)的定義：大數(shù)據(jù)是指大小超出典型數(shù)據(jù)庫軟件工具收集、存儲(chǔ)、管理和分析能力的數(shù)據(jù)集。根據(jù)Gartner的定義，大數(shù)據(jù)是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。

大數(shù)據(jù)在通信、金融、教育等各個(gè)領(lǐng)域存在已有時(shí)日，近年來隨著互聯(lián)網(wǎng)和信息行業(yè)的發(fā)展進(jìn)入了快速推廣階段。

1.2 大數(shù)據(jù)的特征

大數(shù)據(jù)不僅有傳統(tǒng)數(shù)據(jù)定義的“三個(gè)V”，即數(shù)量（Volume）、速度（Velocity）和種類（Variety），還包含了更重要的第四個(gè)V，價(jià)值（Value）。

阿姆斯特丹大學(xué)提出了大數(shù)據(jù)體系架構(gòu)框架的5V特征，在原有4V基礎(chǔ)上增加了真實(shí)性（Veracity）特征，包括數(shù)據(jù)可信性、真?zhèn)涡?、來源和信譽(yù)、有效性和可審計(jì)性等特性，如圖1所示。

1.3 大數(shù)據(jù)的發(fā)展趨勢(shì)

隨著大數(shù)據(jù)產(chǎn)業(yè)的不斷發(fā)展，各行業(yè)的應(yīng)用解決方案不斷成熟，大數(shù)據(jù)產(chǎn)業(yè)迎來了井噴式發(fā)展。Wikibon數(shù)據(jù)顯示，2014年全球大數(shù)據(jù)市場(chǎng)規(guī)模達(dá)到285億美元，同比增長(zhǎng)53.2%。大數(shù)據(jù)成為全球IT支出新的增長(zhǎng)點(diǎn)，如圖2所示。Gartner數(shù)據(jù)顯示，2014年數(shù)據(jù)中心系統(tǒng)支出達(dá)1430億美元，比2013年增長(zhǎng)2.3%。大數(shù)據(jù)對(duì)全球IT開支的直接或間接推動(dòng)將達(dá)2320億美元，預(yù)計(jì)到2018年這一數(shù)據(jù)將增長(zhǎng)3倍。

全球大數(shù)據(jù)市場(chǎng)結(jié)構(gòu)從壟斷競(jìng)爭(zhēng)向完全競(jìng)爭(zhēng)格局演化。企業(yè)數(shù)量迅速增多，產(chǎn)品和服務(wù)的差異增大，技術(shù)門檻逐步降低，市場(chǎng)競(jìng)爭(zhēng)越發(fā)激烈。全球大數(shù)據(jù)市場(chǎng)中，行業(yè)解決方案、計(jì)算分析服務(wù)、存儲(chǔ)服務(wù)、數(shù)據(jù)庫服務(wù)和大數(shù)據(jù)應(yīng)用為市場(chǎng)份額排名最靠前的細(xì)分市場(chǎng)，如圖3所示。

2 大數(shù)據(jù)金融

隨著大數(shù)據(jù)技術(shù)的應(yīng)用，越來越多的金融企業(yè)也開始投身到大數(shù)據(jù)應(yīng)用實(shí)踐中。麥肯錫的一份研究顯示，金融業(yè)在大數(shù)據(jù)價(jià)值潛力指數(shù)中排名第一。以銀行業(yè)為例，中國銀聯(lián)涉及43億張銀行卡，超過9億持卡人，超過1000萬商戶，每天近7000萬條交易數(shù)據(jù)，核心交易數(shù)據(jù)都超過了TB級(jí)。

一直以來，金融企業(yè)對(duì)數(shù)據(jù)的重視程度非常高。隨著移動(dòng)互聯(lián)網(wǎng)發(fā)展各種務(wù)和服多樣化市場(chǎng)整體規(guī)模擴(kuò)大。對(duì)于數(shù)據(jù)分析帶來的主要業(yè)務(wù)價(jià)值，大量參加調(diào)研的金融企業(yè)表示，大數(shù)據(jù)分析的價(jià)值是可以根據(jù)商業(yè)分析實(shí)現(xiàn)更加智能的業(yè)務(wù)決策，讓企業(yè)戰(zhàn)略制定更加理性化。依靠有前瞻性的決策，實(shí)現(xiàn)生產(chǎn)過程中資源更優(yōu)化的分配，能夠根據(jù)市場(chǎng)變化迅速做出調(diào)整，提高用戶體驗(yàn)以及資金周轉(zhuǎn)率，降低庫存積壓的風(fēng)險(xiǎn)，從而獲取更高的利潤。

2.1 金融數(shù)據(jù)的類型

金融數(shù)據(jù)從數(shù)據(jù)類型上進(jìn)行劃分，大致可以分為結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)三大類。

（1）結(jié)構(gòu)化數(shù)據(jù)。結(jié)構(gòu)化的數(shù)據(jù)來源于金融企業(yè)運(yùn)營數(shù)據(jù)倉儲(chǔ)（ODS）和數(shù)據(jù)倉庫（EDW）。EDW為企業(yè)提供分析決策服務(wù)，ODS主要實(shí)現(xiàn)企業(yè)數(shù)據(jù)整合、共享和準(zhǔn)實(shí)時(shí)運(yùn)營監(jiān)控等功能。而通過Hadoop等組件的應(yīng)用可以將數(shù)月前甚至幾年前的歷史數(shù)據(jù)進(jìn)行遷移保存。在分布式存儲(chǔ)結(jié)構(gòu)下，結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)計(jì)算可以得到巨大的改善，可對(duì)海量離線數(shù)據(jù)進(jìn)行離線分析，將離線數(shù)據(jù)優(yōu)勢(shì)最大化，為金融企業(yè)用戶打造立體用戶畫像提供最全面的數(shù)據(jù)支撐。

（2）半結(jié)構(gòu)化數(shù)據(jù)。半結(jié)構(gòu)化數(shù)據(jù)的整合在數(shù)據(jù)整合中是最為復(fù)雜的。金融企業(yè)可對(duì)接來源于外部單位所提供的不同類型數(shù)據(jù)庫或Excel等的數(shù)據(jù)?！按蛲ā倍嘣串悩?gòu)的數(shù)據(jù)是項(xiàng)目中遇到的最困難的部分，數(shù)據(jù)整合完畢可快速進(jìn)行建模分析。

（3）非結(jié)構(gòu)化數(shù)據(jù)。金融行業(yè)對(duì)于非結(jié)構(gòu)化的處理的方法還是比較原始的。非結(jié)構(gòu)化數(shù)據(jù)涵蓋的范圍比較廣泛，有新聞、視頻、圖片以及社交網(wǎng)絡(luò)等數(shù)據(jù)。

2.2 大數(shù)據(jù)金融的技術(shù)實(shí)現(xiàn)

金融數(shù)據(jù)一般具有“流數(shù)據(jù)”的特征，需要在短時(shí)間內(nèi)快速處理。與其他行業(yè)相比，金融具有邏輯關(guān)系緊密、處理實(shí)時(shí)性要求高、可展示性需求強(qiáng)等特征，通常需要以下幾類關(guān)鍵技術(shù)。

（1）數(shù)據(jù)分析技術(shù)。包括數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)等人工智能技術(shù)，主要應(yīng)用在用戶信用分析、用戶聚類分析、用戶特征分析、產(chǎn)品關(guān)聯(lián)分析、營銷分析等方面。金融系統(tǒng)安全性、穩(wěn)定性和實(shí)時(shí)性要求比較高，對(duì)大數(shù)據(jù)計(jì)算處理能力也要求非常高。

（2）數(shù)據(jù)管理技術(shù)。包括關(guān)系型和非關(guān)系型數(shù)據(jù)管理技術(shù)、數(shù)據(jù)融合和集成技術(shù)、數(shù)據(jù)抽取技術(shù)、數(shù)據(jù)清洗和轉(zhuǎn)換等技術(shù)。金融行業(yè)對(duì)數(shù)據(jù)的實(shí)時(shí)處理能力要求非常高，需要靈活地進(jìn)行數(shù)據(jù)轉(zhuǎn)換配置和任務(wù)配置。

（3）數(shù)據(jù)處理技術(shù)。包括分布式計(jì)算、內(nèi)存計(jì)算技術(shù)、流處理技術(shù)等。通過新型數(shù)據(jù)處理技術(shù)更有效地利用軟硬件資源，在降低IT投入、維護(hù)成本和物理能耗的同時(shí)，提供更為穩(wěn)定、強(qiáng)大的數(shù)據(jù)處理能力。

（4）數(shù)據(jù)展現(xiàn)技術(shù)。包括可視化技術(shù)、歷史流展示技術(shù)、空間信息流展示技術(shù)等。主要用于金融產(chǎn)品健康度監(jiān)視、產(chǎn)品發(fā)展趨勢(shì)監(jiān)視、客戶價(jià)值監(jiān)視、反洗錢反欺預(yù)警等方面。

2.3 大數(shù)據(jù)金融的場(chǎng)景應(yīng)用

任何技術(shù)的應(yīng)用都是基于需求產(chǎn)生的，大數(shù)據(jù)金融的應(yīng)用也是由金融行業(yè)的業(yè)務(wù)驅(qū)動(dòng)而衍生出來的。具體的應(yīng)用分類也沒有統(tǒng)一的標(biāo)準(zhǔn)。以金融行業(yè)最具代表性的銀行為例，根據(jù)業(yè)務(wù)驅(qū)動(dòng)應(yīng)用場(chǎng)景大致可分為精準(zhǔn)營銷、風(fēng)險(xiǎn)控制、改善經(jīng)營、服務(wù)創(chuàng)新和產(chǎn)品創(chuàng)新等5個(gè)方面，如圖4所示。endprint

（1）精準(zhǔn)營銷：互聯(lián)網(wǎng)時(shí)代的銀行在互聯(lián)網(wǎng)的沖擊下，迫切地需要掌握更多用戶信息，繼而構(gòu)建用戶360度立體畫像，即可對(duì)細(xì)分的客戶進(jìn)行精準(zhǔn)營銷、實(shí)時(shí)營銷等個(gè)性化智慧營銷。

（2）風(fēng)險(xiǎn)控制：應(yīng)用大數(shù)據(jù)技術(shù)，可以統(tǒng)一管理金融企業(yè)內(nèi)部多源異構(gòu)數(shù)據(jù)與外部征信數(shù)據(jù)，可以更好地完善風(fēng)控體系。內(nèi)部可保障數(shù)據(jù)的完整性與安全性，外部可控制用戶風(fēng)險(xiǎn)。

（3）改善經(jīng)營：通過大數(shù)據(jù)分析方法改善經(jīng)營決策，為管理層提供可靠的數(shù)據(jù)支撐，使經(jīng)營決策更加高效、敏捷，精確性更高。

（4）服務(wù)創(chuàng)新：通過對(duì)大數(shù)據(jù)的應(yīng)用，改善與客戶之間的交互、增加用戶粘性，為個(gè)人與政府提供增值服務(wù)，不斷增強(qiáng)金融企業(yè)業(yè)務(wù)核心競(jìng)爭(zhēng)力。

（5）產(chǎn)品創(chuàng)新：通過高端數(shù)據(jù)分析和綜合化數(shù)據(jù)分享，有效對(duì)接銀行、保險(xiǎn)、信托、基金等各類金融產(chǎn)品，使金融企業(yè)能夠從其他領(lǐng)域借鑒并創(chuàng)造出新的金融產(chǎn)品。

2.4 場(chǎng)景實(shí)例

2.4.1 客戶全景畫像

客戶畫像應(yīng)用主要分為個(gè)人客戶畫像和企業(yè)客戶畫像。其中個(gè)人客戶畫像包括人口統(tǒng)計(jì)學(xué)特征、消費(fèi)能力數(shù)據(jù)、興趣數(shù)據(jù)、風(fēng)險(xiǎn)偏好等。以銀行為例，銀行擁有的客戶信息并不全面，基于銀行自身擁有的數(shù)據(jù)有時(shí)候難以得出理想的結(jié)果甚至可能得出錯(cuò)誤的結(jié)論，所以還需要引入外部數(shù)據(jù)源，包括：運(yùn)營商數(shù)據(jù)、主流電商網(wǎng)站數(shù)據(jù)、上網(wǎng)痕跡數(shù)據(jù)、SNS軟件、生活圈子、網(wǎng)絡(luò)應(yīng)用等，從而豐富用戶標(biāo)簽，構(gòu)建一起全面的客戶畫像，如圖5所示。

2.4.2 客戶服務(wù)優(yōu)化

通過大數(shù)據(jù)，金融企業(yè)可監(jiān)控各種市場(chǎng)推廣運(yùn)作情況，將客戶行為轉(zhuǎn)化為咨詢流，從中分析客戶的個(gè)性特征、風(fēng)險(xiǎn)偏好，了解客戶的金融往來習(xí)慣及使用行為，進(jìn)一步分析及預(yù)測(cè)客戶潛在的需求，將精準(zhǔn)行銷擴(kuò)展至服務(wù)的創(chuàng)新與優(yōu)化。

以銀行為例，通過大數(shù)據(jù)資料庫，可對(duì)下轄分子機(jī)構(gòu)服務(wù)柜臺(tái)及擺設(shè)、理財(cái)區(qū)裝飾，甚至座位的設(shè)計(jì)，依照資料庫中機(jī)構(gòu)所在地的人口特征、年齡及交易量復(fù)雜度等數(shù)據(jù)，以及客戶在網(wǎng)站、手機(jī)銀行、微信銀行等軟件的使用習(xí)慣進(jìn)行分析，為客戶提供個(gè)性化的服務(wù)。具體體現(xiàn)在以下幾方面。

（1）針對(duì)高齡客戶比例偏高的機(jī)構(gòu)，即考慮新增矮柜服務(wù)窗口并提供大屏幕顯示器提醒。

（2）面對(duì)顧客對(duì)網(wǎng)銀、手機(jī)銀行的使用習(xí)慣，將瀏覽率高的欄目與瀏覽率低的欄目進(jìn)行重新排版設(shè)計(jì)，以提升客戶使用率及忠誠度的目的。

（3）根據(jù)不同人群在網(wǎng)絡(luò)、手機(jī)APP訪問的記錄行為，分析其關(guān)注資訊的不同（頁面瀏覽時(shí)間、次數(shù)、頻率等），提供不同需求的咨詢和服務(wù)。

2.4.3 征信數(shù)據(jù)分析

大數(shù)據(jù)的分析對(duì)于風(fēng)險(xiǎn)控制有著重要意義，金融機(jī)構(gòu)可通過對(duì)工商、稅務(wù)、司法、公安、行政、運(yùn)營商、航旅、教育、銀聯(lián)、第三方等多方機(jī)構(gòu)信息進(jìn)行數(shù)據(jù)分析，加工碎片數(shù)據(jù)，形成整合視圖，進(jìn)行風(fēng)險(xiǎn)分析，量化企業(yè)的信用額度，更有效地開展金融業(yè)務(wù)。

同時(shí)，在交易欺詐防控中，可以利用銀行持卡人基本信息、卡基本信息、交易歷史、客戶歷史行為模式、正在發(fā)生行為模式（如轉(zhuǎn)賬）等，結(jié)合智能規(guī)則引擎（如從一個(gè)不經(jīng)常出現(xiàn)的國家為一個(gè)特有用戶轉(zhuǎn)賬或從一個(gè)不熟悉的位置進(jìn)行在線交易）進(jìn)行實(shí)時(shí)的交易反欺詐分析，如圖8所示。

通過使用各類數(shù)據(jù)項(xiàng)，進(jìn)行機(jī)器學(xué)習(xí)和集成學(xué)習(xí)，從而產(chǎn)生信用評(píng)分。

3 大數(shù)據(jù)金融存在的挑戰(zhàn)

3.1 數(shù)據(jù)的幾何級(jí)增長(zhǎng)，整合困難

目前，全球各行業(yè)數(shù)據(jù)量的增長(zhǎng)速度驚人，在我國尤其集中在金融、交通、電信、制造業(yè)等重點(diǎn)行業(yè)和醫(yī)保、社保、海關(guān)等重要領(lǐng)域，信息化的不斷深入正在進(jìn)一步催生更多新的海量數(shù)據(jù)。據(jù)統(tǒng)計(jì)，2015年中國的數(shù)據(jù)總量達(dá)到1700EB以上，同比增長(zhǎng)90%，預(yù)計(jì)到2020年這一數(shù)值將超過8000EB。以銀行業(yè)為例，每創(chuàng)收100萬元，銀行業(yè)平均產(chǎn)生130GB的數(shù)據(jù)，數(shù)據(jù)強(qiáng)度高踞各行業(yè)之首。但在金融企業(yè)內(nèi)部數(shù)據(jù)處于割裂狀態(tài)，業(yè)務(wù)條線、職能部門、渠道部門、風(fēng)險(xiǎn)部門等各個(gè)分支機(jī)構(gòu)往往是數(shù)據(jù)的真正擁有者，缺乏順暢的共享機(jī)制，導(dǎo)致海量數(shù)據(jù)往往處于分散和“睡眠”狀態(tài)，雖然金融行業(yè)擁有的數(shù)據(jù)量“富可敵國”，但真正利用時(shí)卻“捉襟見肘”。

3.2 數(shù)據(jù)安全的保障

安全與隱私問題是大數(shù)據(jù)發(fā)展過程中的一個(gè)關(guān)鍵問題，多項(xiàng)實(shí)際案例表明，即使無害的數(shù)據(jù)被大量收集后，也會(huì)暴露個(gè)人隱私。實(shí)際上，大數(shù)據(jù)安全含義更為廣泛，人們面臨的威脅并不僅限于個(gè)人隱私泄露，保護(hù)對(duì)象不僅包括大數(shù)據(jù)自身，也包含通過大數(shù)據(jù)分析得到的知識(shí)。

與當(dāng)前的其他信息一樣，大數(shù)據(jù)在存儲(chǔ)、處理、傳輸?shù)冗^程中面臨安全風(fēng)險(xiǎn)，主要包括數(shù)據(jù)管理風(fēng)險(xiǎn)和數(shù)據(jù)運(yùn)營風(fēng)險(xiǎn)。這里一方面需要技術(shù)手段的保護(hù)，同時(shí)需相關(guān)法律法規(guī)的完善和金融企業(yè)自身的自律。

3.3 大數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范的制定

要實(shí)現(xiàn)數(shù)據(jù)的互聯(lián)互通，必須包含兩個(gè)條件，其中互聯(lián)是技術(shù)體系標(biāo)準(zhǔn)，互通是數(shù)據(jù)體系標(biāo)準(zhǔn)。實(shí)現(xiàn)互聯(lián)可以要求系統(tǒng)使用標(biāo)準(zhǔn)化接口，而實(shí)現(xiàn)互通則需要圍繞產(chǎn)業(yè)鏈建立跨行業(yè)的數(shù)據(jù)標(biāo)準(zhǔn)結(jié)構(gòu)。目前，各行業(yè)的發(fā)展長(zhǎng)期各施其政，行業(yè)間存在較高的壁壘，即使金融行業(yè)內(nèi)部，如銀行、證券、保險(xiǎn)等行業(yè)也采用了不同的標(biāo)準(zhǔn)，遵守不同的行業(yè)規(guī)范。如何加快元數(shù)據(jù)、數(shù)據(jù)交換、數(shù)據(jù)交易、數(shù)據(jù)質(zhì)量、安全保密等重點(diǎn)共性標(biāo)準(zhǔn)的制定是大數(shù)據(jù)建設(shè)的關(guān)鍵。

3.4 人才梯隊(duì)的培養(yǎng)

與信息技術(shù)其他細(xì)分領(lǐng)域人才相比，大數(shù)據(jù)發(fā)展對(duì)人才的復(fù)合型能力要求更高，需要掌握計(jì)算機(jī)軟件技術(shù)，并具備數(shù)學(xué)、統(tǒng)計(jì)學(xué)等方面知識(shí)以及應(yīng)用領(lǐng)域的專業(yè)知識(shí)。目前金融行業(yè)在可承擔(dān)分析和挖掘的復(fù)合型人才、高端數(shù)據(jù)科學(xué)家以及管理人才方面都存在很大缺口。

4 結(jié)語

黨的十八屆五中全會(huì)“十三五”規(guī)劃建議提出：“實(shí)施國家大數(shù)據(jù)戰(zhàn)略，推進(jìn)數(shù)據(jù)資源開放共享”。2015年12月16日在第二屆世界互聯(lián)網(wǎng)大會(huì)開幕式上，習(xí)近平總書記提出：“十三五”時(shí)期，中國將大力實(shí)施網(wǎng)絡(luò)強(qiáng)國戰(zhàn)略、國家大數(shù)據(jù)戰(zhàn)略、“互聯(lián)網(wǎng)+”行動(dòng)計(jì)劃。大數(shù)據(jù)已成為驅(qū)動(dòng)經(jīng)濟(jì)發(fā)展的新引擎，大數(shù)據(jù)應(yīng)用范圍和應(yīng)用水平將加速我國經(jīng)濟(jì)結(jié)構(gòu)調(diào)整、深度改變我們的生產(chǎn)生活方式，大數(shù)據(jù)金融應(yīng)用正是改變金融業(yè)態(tài)，引發(fā)金融行業(yè)經(jīng)營模式創(chuàng)新的催化劑和助推器。

參考文獻(xiàn)

[1] 陳利強(qiáng)，梁如見，張新宇.金融大數(shù)據(jù)：戰(zhàn)略規(guī)劃與實(shí)踐指 南[M].北京：電子工業(yè)出版社，2015.

[2] 陳云.金融大數(shù)據(jù)[M].上海：上?？茖W(xué)技術(shù)出版社，2015.

[3] 中國電子信息產(chǎn)業(yè)發(fā)展研究院.工業(yè)和信息化部賽迪智庫 [Z].大數(shù)據(jù)發(fā)展白皮書，2015.endprint