互聯(lián)網(wǎng)金融的大數(shù)據(jù)分析處理研究

于司吉

互聯(lián)網(wǎng)金融的大數(shù)據(jù)分析處理研究

摘要：大數(shù)據(jù)采集與存儲(chǔ)是大數(shù)據(jù)研究領(lǐng)域的關(guān)鍵技術(shù)，也是大數(shù)據(jù)分析挖掘的基礎(chǔ)。隨著移動(dòng)互聯(lián)網(wǎng)、新型智能終端、新媒體、物聯(lián)網(wǎng)等技術(shù)和應(yīng)用的快速發(fā)展，傳統(tǒng)的數(shù)據(jù)采集與存儲(chǔ)已經(jīng)不能滿足海量、異構(gòu)、實(shí)施數(shù)據(jù)分析的需求，新的產(chǎn)品和技術(shù)方案應(yīng)運(yùn)而生，并在實(shí)踐中不斷地完善和發(fā)展。本文將圍繞大數(shù)據(jù)采集、預(yù)處理、存儲(chǔ)與管理等方面展開討論，重點(diǎn)探討數(shù)據(jù)采集的策略、原則和技術(shù)。其次，結(jié)合數(shù)據(jù)預(yù)處理的研究，探討數(shù)據(jù)清理、集成、變換和規(guī)約的過(guò)程;最后，分析數(shù)據(jù)的存儲(chǔ)和管理技術(shù)、產(chǎn)品和解決方案，為互聯(lián)網(wǎng)金融領(lǐng)域的大數(shù)據(jù)分析奠定基礎(chǔ)。

關(guān)鍵詞：互聯(lián)網(wǎng)? 金融? 大數(shù)據(jù)? 分析? 處理? 研究

一、大數(shù)據(jù)應(yīng)用概述

（一）大數(shù)據(jù)應(yīng)簡(jiǎn)介

隨著大數(shù)據(jù)技術(shù)的快速發(fā)展，大數(shù)據(jù)應(yīng)用已經(jīng)從探索階段進(jìn)入了市場(chǎng)化應(yīng)用層面?；ヂ?lián)網(wǎng)行業(yè)作為大數(shù)據(jù)的主要生產(chǎn)者，已成為大數(shù)據(jù)應(yīng)用的重要領(lǐng)域之一?；ヂ?lián)網(wǎng)企業(yè)都在用大數(shù)據(jù)優(yōu)化自身的業(yè)務(wù)運(yùn)營(yíng)，在大數(shù)據(jù)開放和合作方面，形成線上線下數(shù)據(jù)的協(xié)同，并從中拓展新的商業(yè)模式。大數(shù)據(jù)除了應(yīng)用在互聯(lián)網(wǎng)行業(yè)之外，隨著互聯(lián)網(wǎng)、通信等技術(shù)不斷發(fā)展，在其他領(lǐng)域也得到了重視和應(yīng)用。下面以智能工業(yè)、醫(yī)療衛(wèi)生、智慧交通、公共安全等方面為例進(jìn)行分析。

智能工業(yè)，在制造業(yè)智能化過(guò)程中，定制數(shù)據(jù)達(dá)到一定的數(shù)量級(jí)后，醫(yī)療衛(wèi)生，能夠建立疾病診斷和市場(chǎng)需求預(yù)測(cè)模改進(jìn)臨床實(shí)驗(yàn)統(tǒng)計(jì)和分析方法，對(duì)海量的臨床實(shí)驗(yàn)數(shù)據(jù)進(jìn)行挖掘分析和疾病分型研究，以及基于基因數(shù)據(jù)分析的個(gè)性化診療研究等。一些醫(yī)療軟件廠商也在挖掘、分析醫(yī)療大數(shù)據(jù)的價(jià)值，實(shí)現(xiàn)其市場(chǎng)競(jìng)爭(zhēng)核心從賣產(chǎn)品到賣服務(wù)的轉(zhuǎn)移，尤其是數(shù)據(jù)挖掘分析服務(wù)。智慧交通，大數(shù)據(jù)技術(shù)在智慧交通中的應(yīng)用主要通過(guò)在城市中部署監(jiān)控設(shè)施.

（二）互聯(lián)網(wǎng)金融大數(shù)據(jù)應(yīng)用研究

大數(shù)據(jù)應(yīng)用是金融業(yè)的主流方向，已經(jīng)開展了基于互聯(lián)網(wǎng)金融的新型業(yè)務(wù)拓展，積極發(fā)揮互聯(lián)網(wǎng)金融應(yīng)用。傅志華先生曾在他的“大數(shù)據(jù)在金融行業(yè)的應(yīng)用”中，針對(duì)對(duì)大數(shù)據(jù)的應(yīng)用進(jìn)行了分析，具體分析如下。

1.保險(xiǎn)大數(shù)據(jù)應(yīng)用，在如圖1所示。

客戶細(xì)分和精細(xì)化營(yíng)銷：利用風(fēng)險(xiǎn)偏好、客戶職業(yè)、消費(fèi)方式等數(shù)據(jù)的分析對(duì)客戶進(jìn)行細(xì)分，以實(shí)現(xiàn)不同客戶之間的差異化服務(wù);利用大數(shù)據(jù)整合客戶線上線下的行為數(shù)據(jù)，挖掘潛在客戶，細(xì)化銷售重點(diǎn)，預(yù)防客戶流失;在網(wǎng)絡(luò)營(yíng)銷中，精細(xì)化運(yùn)營(yíng)：通過(guò)對(duì)自有數(shù)據(jù)和客戶的社交數(shù)據(jù)分析，可以解決現(xiàn)有的風(fēng)險(xiǎn)問(wèn)題。

2.證券行業(yè)大數(shù)據(jù)應(yīng)用，進(jìn)而指導(dǎo)投資者投資?？蛻絷P(guān)系管理：通過(guò)分析客戶的賬戶狀態(tài)、賬戶價(jià)值、如圖2所示。

綜上所述，但大數(shù)據(jù)在金融領(lǐng)域的應(yīng)用深度和廣度尚具有較大的擴(kuò)展空間，大數(shù)據(jù)普惠互聯(lián)網(wǎng)金融，數(shù)據(jù)作為金融的命門，不斷驅(qū)使金融行業(yè)發(fā)展壯大。互聯(lián)網(wǎng)金融更是如此，它對(duì)數(shù)據(jù)的數(shù)量、質(zhì)量都有很高的要求，而大數(shù)據(jù)技術(shù)不僅可以提高數(shù)據(jù)的質(zhì)量和處理能力，更為其創(chuàng)造了新的商業(yè)機(jī)會(huì)和價(jià)值。因此，大數(shù)據(jù)被視為互聯(lián)網(wǎng)金融快速發(fā)展的重要驅(qū)動(dòng)之一，在互聯(lián)網(wǎng)金融領(lǐng)域中具有非常重要的作用。

二、大數(shù)據(jù)采集與存儲(chǔ)

（一）大數(shù)據(jù)采集

傳統(tǒng)的數(shù)據(jù)采集又稱數(shù)據(jù)獲取，是指從傳感器和其他待測(cè)設(shè)備中自動(dòng)采集非電量或者電量信號(hào)。在互聯(lián)網(wǎng)和大數(shù)據(jù)快速發(fā)展的今天，數(shù)據(jù)采集的內(nèi)涵、范圍和形式已經(jīng)發(fā)生了重要的變化。在大數(shù)據(jù)采集研究領(lǐng)域，數(shù)據(jù)采集的策略、采集原則及采集技術(shù)是研究的重點(diǎn)對(duì)象，數(shù)據(jù)采集策略，傳統(tǒng)數(shù)據(jù)采集的來(lái)源相對(duì)固定、數(shù)據(jù)類型較為單一，隨著企業(yè)信息化和大數(shù)據(jù)時(shí)代的到來(lái)，金融領(lǐng)域的數(shù)據(jù)采集正發(fā)生著本質(zhì)的改變，數(shù)據(jù)采集已經(jīng)從簡(jiǎn)單的業(yè)務(wù)電子化，逐步向管理數(shù)據(jù)化和數(shù)據(jù)化企業(yè)的方向發(fā)展。業(yè)務(wù)電子化主要實(shí)現(xiàn)對(duì)于手工單證的電子化存儲(chǔ)，并實(shí)現(xiàn)流程的電子化，確保業(yè)務(wù)的過(guò)程被真實(shí)記錄。在管理數(shù)據(jù)化階段，數(shù)據(jù)采集主要實(shí)現(xiàn)了企業(yè)內(nèi)部信息、客戶信息、供應(yīng)鏈上下游信息等全面采集，并通過(guò)數(shù)據(jù)集市、數(shù)據(jù)倉(cāng)庫(kù)等平臺(tái)的建立，實(shí)現(xiàn)數(shù)據(jù)的整合。數(shù)據(jù)化企業(yè)實(shí)現(xiàn)了數(shù)據(jù)采集向廣度和深度兩個(gè)方向發(fā)展：在廣度方面，企業(yè)不僅對(duì)每個(gè)流程的執(zhí)行結(jié)果進(jìn)行采集，也對(duì)流程中每個(gè)節(jié)點(diǎn)執(zhí)行的過(guò)程信息進(jìn)行采集。

對(duì)不同數(shù)據(jù)的采集層次分析可知，業(yè)務(wù)電子化主要關(guān)注數(shù)據(jù)采集的真實(shí)性和數(shù)據(jù)的質(zhì)量、管理數(shù)據(jù)化關(guān)注數(shù)據(jù)采集的全面性、數(shù)據(jù)化企業(yè)階段關(guān)注數(shù)據(jù)的價(jià)值。所以在互聯(lián)網(wǎng)金融領(lǐng)域，如何針對(duì)不同的數(shù)據(jù)采集層次，結(jié)合企業(yè)本身的戰(zhàn)略和業(yè)務(wù)目標(biāo)，以及大數(shù)據(jù)采集對(duì)象、范圍、方法和技術(shù)的特點(diǎn)，制定大數(shù)據(jù)的采集策略，是數(shù)據(jù)采集研究的基礎(chǔ)。當(dāng)前的數(shù)據(jù)采集策略一般有兩類。

（二）以數(shù)據(jù)為中心的采集策略

該策略的目標(biāo)是盡量多地采集數(shù)據(jù)，整合到統(tǒng)一平臺(tái)后分析使用。該策略一般需要兩個(gè)條件：較大的投入成本和較強(qiáng)的數(shù)據(jù)專家團(tuán)隊(duì)。內(nèi)外部的數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)和整合都需要較大的信息化基礎(chǔ)設(shè)施投入，快速有效地甄別數(shù)據(jù)并發(fā)現(xiàn)數(shù)據(jù)價(jià)值是可持續(xù)發(fā)展的有效支撐。

（三）以業(yè)務(wù)為導(dǎo)向的采集策略

當(dāng)業(yè)務(wù)或管理提出數(shù)據(jù)需求時(shí)，再進(jìn)行數(shù)據(jù)采集、分析和處理。該策略能夠有效避免投入成本過(guò)大的問(wèn)題，但完全以需求為導(dǎo)向的數(shù)據(jù)采集，往往無(wú)法發(fā)現(xiàn)大數(shù)據(jù)的真正價(jià)值，在目標(biāo)既定的情況下，數(shù)據(jù)的采集、分析都容易出現(xiàn)思維限制。因此，在互聯(lián)網(wǎng)金融領(lǐng)域，企業(yè)可以根據(jù)自身的定位和發(fā)展情況，制定不同的數(shù)據(jù)采集策略。對(duì)于完全數(shù)字化的互聯(lián)網(wǎng)金融企業(yè)，建議采用第一種采集策略;對(duì)于尚處于數(shù)字化過(guò)程中、數(shù)據(jù)能力成熟度較低的企業(yè)，建議采用第二種采集策略。

（四）大數(shù)據(jù)的預(yù)處理

現(xiàn)實(shí)世界中，一方面，數(shù)據(jù)常常因?yàn)椤芭K數(shù)據(jù)”、“雜數(shù)據(jù)”等原因，造成數(shù)據(jù)的不完整、不一致等問(wèn)題，從而為數(shù)據(jù)的決策和預(yù)測(cè)提供支撐。因此，大數(shù)據(jù)的預(yù)處理作為大數(shù)據(jù)分析挖掘的基礎(chǔ)，具有十分重要的意義和作用。

三、大數(shù)據(jù)的存儲(chǔ)與管理

（一）數(shù)據(jù)存儲(chǔ)的問(wèn)題和挑戰(zhàn)

傳統(tǒng)的數(shù)據(jù)存儲(chǔ)解決方案能提供數(shù)據(jù)的可靠性和安全性保障，但是大數(shù)據(jù)時(shí)代，面對(duì)海量的數(shù)據(jù)及其各種不同的需求，傳統(tǒng)的解決方案日益面臨越來(lái)越多的問(wèn)題，尤其當(dāng)數(shù)據(jù)量呈現(xiàn)出指數(shù)級(jí)增長(zhǎng)的情況下，對(duì)存儲(chǔ)空間的擴(kuò)容、存儲(chǔ)計(jì)算能力等提出了更高的要求。如何在傳統(tǒng)存儲(chǔ)解決方案的基礎(chǔ)上，研究提出多級(jí)存儲(chǔ)技術(shù)來(lái)不斷適應(yīng)大數(shù)據(jù)存儲(chǔ)管理或研究提出全新的存儲(chǔ)解決方案，是大數(shù)據(jù)存儲(chǔ)與管理需要解決的問(wèn)題。本節(jié)圍繞大數(shù)據(jù)的存儲(chǔ)技術(shù)展開，首先介紹大數(shù)據(jù)存儲(chǔ)的問(wèn)題和挑戰(zhàn)，然后介紹三種典型的大數(shù)據(jù)存儲(chǔ)方案分布式文件系統(tǒng)、分布式數(shù)據(jù)庫(kù)和云存儲(chǔ)。

隨著大數(shù)據(jù)及其應(yīng)用的爆發(fā)性增長(zhǎng)，大數(shù)據(jù)已經(jīng)衍生出了自己獨(dú)特的技術(shù)方案，直接推動(dòng)了存儲(chǔ)、網(wǎng)絡(luò)及計(jì)算技術(shù)的發(fā)展。數(shù)據(jù)存儲(chǔ)是大數(shù)據(jù)分析和處理的基礎(chǔ)。目前，數(shù)據(jù)存儲(chǔ)的問(wèn)題和挑戰(zhàn)主要表現(xiàn)在數(shù)據(jù)存儲(chǔ)系統(tǒng)性能、數(shù)據(jù)存儲(chǔ)的擴(kuò)容、數(shù)據(jù)存儲(chǔ)模式和數(shù)據(jù)兼容集成等方面。（1）數(shù)據(jù)存儲(chǔ)系統(tǒng)性能。數(shù)據(jù)存儲(chǔ)系統(tǒng)的性能主要從準(zhǔn)確性、可用性、可靠性和可擴(kuò)展性這幾個(gè)方面考慮。對(duì)于大數(shù)據(jù)的存儲(chǔ)來(lái)說(shuō)，其準(zhǔn)確性、可用性和可靠性主要通過(guò)較為簡(jiǎn)單的多副本（即冗余備份）方式實(shí)現(xiàn)?？蓴U(kuò)性關(guān)注的是容量規(guī)劃，同時(shí)滿足現(xiàn)有的存儲(chǔ)空間和帶寬的需求，更重要的是考慮到系統(tǒng)擴(kuò)張后的容量升級(jí)。

（二）數(shù)據(jù)存儲(chǔ)的擴(kuò)容

數(shù)據(jù)存儲(chǔ)的擴(kuò)容一般通過(guò)縱向擴(kuò)容和橫向擴(kuò)容兩種方式實(shí)現(xiàn)。縱向擴(kuò)容是指當(dāng)存儲(chǔ)容量不夠或者存儲(chǔ)磁盤帶寬不夠時(shí)，通過(guò)添加磁盤達(dá)到增加容量和帶寬的作用。在大數(shù)據(jù)環(huán)境下，縱向擴(kuò)容方式無(wú)法滿足其需求，主要是因?yàn)楹Ａ康臄?shù)據(jù)存儲(chǔ)規(guī)模是無(wú)法通過(guò)添加硬盤來(lái)實(shí)現(xiàn)的，即使通過(guò)縱向擴(kuò)容達(dá)到更大數(shù)據(jù)規(guī)模的需求，其高額的硬件及管理軟件成本也是數(shù)據(jù)存儲(chǔ)管理中心無(wú)法承擔(dān)的。橫向擴(kuò)容是指當(dāng)存儲(chǔ)容量或者帶寬不足以滿足現(xiàn)有要求時(shí)，添加存儲(chǔ)節(jié)點(diǎn)來(lái)達(dá)到擴(kuò)容的目的。橫向擴(kuò)容意味著數(shù)據(jù)管理軟件將要統(tǒng)籌更多的節(jié)點(diǎn)，面對(duì)更大的壓力。例如，如果采用集中式的主節(jié)點(diǎn)管理，主節(jié)點(diǎn)的能力可能成為整個(gè)大數(shù)據(jù)存儲(chǔ)系統(tǒng)的性能瓶頸，尤其是當(dāng)規(guī)模擴(kuò)大到成千上萬(wàn)個(gè)節(jié)點(diǎn)時(shí)，單管理節(jié)點(diǎn)的模式是不可靠的;如果采用分布式主節(jié)點(diǎn)群管理，軟件的開發(fā)成本和系統(tǒng)本身的復(fù)雜度也會(huì)相應(yīng)提高。

（三）數(shù)據(jù)存儲(chǔ)模式

傳統(tǒng)的存儲(chǔ)系統(tǒng)是依賴于SAN或者NAS的網(wǎng)絡(luò)存儲(chǔ)模式，在縱向擴(kuò)容方面存在一定的瓶頸，更重要的是，SAN和NAS的計(jì)算節(jié)點(diǎn)與存儲(chǔ)節(jié)點(diǎn)是分開的，數(shù)據(jù)的存取速度被限制在網(wǎng)絡(luò)的瓶頸上，即使通過(guò)縱向擴(kuò)容其存儲(chǔ)池容量，也受限于數(shù)據(jù)處理和存儲(chǔ)節(jié)點(diǎn)之間的網(wǎng)絡(luò)帶寬，無(wú)法滿足EB級(jí)別數(shù)據(jù)規(guī)模的需求。目前，大數(shù)據(jù)存儲(chǔ)系統(tǒng)普遍采用的是DAS的方式，將計(jì)算資源搬遷到存儲(chǔ)節(jié)點(diǎn)上。這種方式存儲(chǔ)管理系統(tǒng)的軟件層增加了許多的新問(wèn)題，例如，通過(guò)網(wǎng)絡(luò)的跨節(jié)點(diǎn)數(shù)據(jù)訪問(wèn)管理、存儲(chǔ)數(shù)據(jù)塊的管理等。

（四）數(shù)據(jù)兼容集成

大數(shù)據(jù)存儲(chǔ)系統(tǒng)的兼容集成特性涉及若干方面。大數(shù)據(jù)多樣性的特點(diǎn)決定了其存儲(chǔ)系統(tǒng)需要兼容各種種類的數(shù)據(jù)，大數(shù)據(jù)存儲(chǔ)需要整合集成各種數(shù)據(jù)源和數(shù)據(jù)存儲(chǔ)系統(tǒng)，數(shù)據(jù)交換接口需要兼容各種數(shù)據(jù)傳輸機(jī)制，大數(shù)據(jù)應(yīng)用和服務(wù)需要存儲(chǔ)系統(tǒng)支持各種上層應(yīng)用的需求、大數(shù)據(jù)存儲(chǔ)管理需要支持各種介質(zhì)的存儲(chǔ)設(shè)備來(lái)滿足上層各種應(yīng)用的需求。這些問(wèn)題都為數(shù)據(jù)的兼容和集成提出了新的挑戰(zhàn)。

（五）分布式文件系統(tǒng)

只需要像使用本地文件系統(tǒng)一樣管理和存儲(chǔ)文件系統(tǒng)中的數(shù)據(jù)。分布式文件系統(tǒng)所管理的數(shù)據(jù)，存儲(chǔ)在分散的設(shè)備或節(jié)點(diǎn)上，存儲(chǔ)資源通過(guò)網(wǎng)絡(luò)連接。分布式文件系統(tǒng)是解決當(dāng)前大數(shù)據(jù)存儲(chǔ)與管理的有效手段之一，分布式數(shù)據(jù)庫(kù)必須及時(shí)響應(yīng)大規(guī)模用戶的讀/寫請(qǐng)求，

大數(shù)據(jù)分析與挖掘，大數(shù)據(jù)分析是指對(duì)規(guī)模巨大的數(shù)據(jù)進(jìn)行分析。因此本節(jié)重點(diǎn)分析大數(shù)據(jù)挖掘。在本節(jié)中，我們首先深入研究傳統(tǒng)數(shù)據(jù)挖掘，然后結(jié)合大數(shù)據(jù)的特有特性，重點(diǎn)聚焦其復(fù)雜性，再進(jìn)一步學(xué)習(xí)和研究大數(shù)據(jù)環(huán)境下的數(shù)據(jù)挖掘技術(shù)。最后，結(jié)合經(jīng)典數(shù)據(jù)分析挖掘算法的研究，探討其在互聯(lián)網(wǎng)金融中的典型應(yīng)用大數(shù)據(jù)分析和挖掘概述.大數(shù)據(jù)的分析技術(shù)也以前所未有的速度快速發(fā)展。

四、SaaS與互聯(lián)網(wǎng)金融大數(shù)據(jù)

（一）資產(chǎn)大多數(shù)是非標(biāo)資產(chǎn)

金融大數(shù)據(jù)，目前有4個(gè)階段。第一階段是基于數(shù)據(jù)存儲(chǔ);第二階段是分布式計(jì)算;第三階段是大數(shù)據(jù)挖掘與分析;第四階段是數(shù)據(jù)服務(wù)。對(duì)于商業(yè)銀行，包括中、農(nóng)、工、建和交通這國(guó)有五大行來(lái)說(shuō)，都處于第一階段。其中，建行處于平臺(tái)選型階段。農(nóng)業(yè)銀行已經(jīng)完成數(shù)據(jù)存儲(chǔ)方面的工作，但還未上線。光大銀行項(xiàng)目，在2013年10月上線，是國(guó)內(nèi)第一家真正意義上將金融大數(shù)據(jù)應(yīng)用到銀行核心業(yè)務(wù)系統(tǒng)的案例。

無(wú)論是傳統(tǒng)銀行還是新興的互聯(lián)網(wǎng)金融企業(yè)都需要對(duì)現(xiàn)有的數(shù)據(jù)進(jìn)行增值挖掘。如果依靠傳統(tǒng)的挖掘方式，成本巨大。如果采用現(xiàn)有的大數(shù)據(jù)分析技術(shù)、采用分布式集成框架、采用開源框架，一方面可以降低成本，另外一方面運(yùn)算性能也有所提升?；ヂ?lián)網(wǎng)金融環(huán)境的大數(shù)據(jù)處理之所以難，是因?yàn)榛ヂ?lián)網(wǎng)金融企業(yè)的數(shù)據(jù)具有如下特點(diǎn)。

（二）數(shù)據(jù)是非結(jié)構(gòu)化數(shù)據(jù)

大家都知道，結(jié)構(gòu)化數(shù)據(jù)可以依賴數(shù)據(jù)庫(kù)進(jìn)行快速的分類統(tǒng)計(jì)和分析;如果是非結(jié)構(gòu)化的數(shù)據(jù)，就很難利用傳統(tǒng)的數(shù)據(jù)庫(kù)來(lái)進(jìn)行快速的分類統(tǒng)計(jì)了。另外一個(gè)挑戰(zhàn)就是金融大數(shù)據(jù)的安全性，需要提供實(shí)時(shí)的風(fēng)險(xiǎn)控制，這是很強(qiáng)的安全要求，如圖3所示。

圖3互聯(lián)網(wǎng)金融的實(shí)時(shí)風(fēng)險(xiǎn)控制SaaS即Software-as-a-Service（軟件即服務(wù)），是隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展和應(yīng)用軟件的成熟，提供的基于互聯(lián)網(wǎng)的全新軟件服務(wù)模式。處于初創(chuàng)階段的互聯(lián)網(wǎng)金融企業(yè)，很多都會(huì)選擇在云平臺(tái)（AWS，阿里云）上搭建自己的SaaS服務(wù)，從而節(jié)省了不少人力物力。用戶按月或者按請(qǐng)求購(gòu)買服務(wù)。當(dāng)用戶量急劇上升的時(shí)候，很多服務(wù)響應(yīng)就會(huì)變慢，甚至宕機(jī)，往往會(huì)造成某些大客戶無(wú)法容忍。我們?cè)诖罱ǘ嘧鈶鬝aaS金融服務(wù)的時(shí)候，由于數(shù)據(jù)庫(kù)往往是SaaS系統(tǒng)的瓶頸所在，所以我們通常會(huì)根據(jù)用戶的級(jí)別，提供不同水平的服務(wù)，一些微型的客戶就采用完全共享式的數(shù)據(jù)庫(kù)，一些高端的大客戶就采用完全隔離的數(shù)據(jù)模型。

多租戶SaaS平臺(tái)下的數(shù)據(jù)庫(kù)共享模式如圖4所示，在數(shù)據(jù)層中有三個(gè)級(jí)別的資源共享。完全隔離：每個(gè)租戶均使用單獨(dú)的數(shù)據(jù)庫(kù)。部分共享：共享數(shù)據(jù)庫(kù)，但是使用單獨(dú)的模式。完全共享：使用相同的數(shù)據(jù)庫(kù)和相同的模式。

多租戶平臺(tái)的SOA服務(wù)化及其功能當(dāng)用戶急劇上升，每天的調(diào)用量成指數(shù)上升的時(shí)候，某些核心服務(wù)每天的調(diào)用量達(dá)到上億的級(jí)別，服務(wù)開始變得不可控。這個(gè)時(shí)候，僅僅靠增加硬件已經(jīng)不能解決問(wèn)題了，從服務(wù)器到中間件，再到數(shù)據(jù)庫(kù)，任何一個(gè)環(huán)節(jié)都可能導(dǎo)致服務(wù)變慢甚至宕機(jī)。更有甚者，當(dāng)某一款新的金融產(chǎn)品上線的時(shí)候，海量用戶蜂擁而來(lái)?yè)屬?gòu)的時(shí)候，瞬間就會(huì)有數(shù)十萬(wàn)或者數(shù)百萬(wàn)的用戶進(jìn)來(lái)，頁(yè)面開始堵塞，已經(jīng)進(jìn)去的用戶無(wú)法投資，新來(lái)的用戶無(wú)法登錄，開始不停地刷新頁(yè)面……噩夢(mèng)開始了，數(shù)據(jù)庫(kù)開始死鎖，服務(wù)進(jìn)一步僵化，新來(lái)的用戶越聚越多，雪崩開始了，互聯(lián)網(wǎng)金融下的服務(wù)治理互聯(lián)網(wǎng)金融的高速發(fā)展，為企業(yè)帶來(lái)了諸多的機(jī)遇，還是移動(dòng)互聯(lián)網(wǎng)應(yīng)用帶來(lái)的惡意程序，都為互聯(lián)網(wǎng)金融應(yīng)用帶來(lái)了潛在的風(fēng)險(xiǎn)。另一方面，互聯(lián)網(wǎng)金融的監(jiān)管有待完善。

五、物聯(lián)網(wǎng)金融大數(shù)據(jù)

（一）物聯(lián)網(wǎng)金融的應(yīng)用分析

例如，可以利用豐富的傳感器系統(tǒng)與智能監(jiān)管分析系統(tǒng)相結(jié)合，對(duì)實(shí)物資產(chǎn)進(jìn)行數(shù)字化分析與管理，解決傳統(tǒng)動(dòng)產(chǎn)融資業(yè)務(wù)中雙方信息不對(duì)稱及誠(chéng)信的問(wèn)題，便于銀行對(duì)抵押物有更好、更全面的了解與監(jiān)控。在動(dòng)產(chǎn)質(zhì)押業(yè)務(wù)上把原有的人工防范變?yōu)槿轿坏募夹g(shù)防范，從主觀評(píng)價(jià)變?yōu)榭陀^評(píng)價(jià)。從銀行的角度來(lái)看，物聯(lián)網(wǎng)技術(shù)可以幫助銀行更好地控制風(fēng)險(xiǎn);從融資方的角度來(lái)看，數(shù)字化后可以

更容易量化實(shí)物本身的價(jià)值及安全監(jiān)管，變相提高了信用評(píng)價(jià)，可以更容易與銀行達(dá)成融資業(yè)務(wù)。

傳統(tǒng)互聯(lián)網(wǎng)對(duì)用戶信息的收集更多的是依賴于用戶自身在互聯(lián)網(wǎng)發(fā)布信息的收集，而物聯(lián)網(wǎng)則可以通過(guò)豐富的傳感器技術(shù)借用不同的實(shí)物載體對(duì)個(gè)體進(jìn)行主動(dòng)的全方位多元化的信息收集。保險(xiǎn)行業(yè)應(yīng)該是最早享受到物聯(lián)網(wǎng)金融益處的行業(yè)之一，以當(dāng)前流行的智能可穿戴設(shè)備為例，能夠做到全天候?qū)θ梭w的各項(xiàng)生理指標(biāo)和行為模式進(jìn)行全方位的監(jiān)控，獲取的大量數(shù)據(jù)可以為電子病歷及保險(xiǎn)行業(yè)帶來(lái)非常大的價(jià)值，例如，可以提前獲知個(gè)體發(fā)生潛在疾病的風(fēng)險(xiǎn)從而提供指導(dǎo)意見，判斷投保人可能發(fā)生意外情況的概率而對(duì)保單進(jìn)行調(diào)整等。同時(shí)，當(dāng)前保險(xiǎn)公司和個(gè)人的信息是完全不對(duì)等的（個(gè)人對(duì)自己身體狀況等信息的了解遠(yuǎn)多于保險(xiǎn)公司），基于分析數(shù)據(jù)對(duì)相關(guān)保險(xiǎn)進(jìn)行合理的定價(jià)，同時(shí)也更容易發(fā)現(xiàn)潛在的投保人，從而擴(kuò)展相關(guān)業(yè)務(wù)。

（二）物聯(lián)網(wǎng)金融的主要?jiǎng)?chuàng)新模式

在汽車領(lǐng)域，通過(guò)對(duì)高智能化汽車芯片的數(shù)據(jù)進(jìn)行分析并有效評(píng)估汽車的整體狀況，不僅可以為汽車廠商提供相應(yīng)的改進(jìn)修改方案與市場(chǎng)營(yíng)銷方案等，還能為保險(xiǎn)公司車險(xiǎn)價(jià)值評(píng)估提供有效的數(shù)據(jù)支持和指導(dǎo)意見。同時(shí)在對(duì)駕駛員駕駛行為習(xí)慣數(shù)據(jù)分析后，可以為駕駛員提供相應(yīng)的安全行車指導(dǎo)意見，從而有效降低道路事故發(fā)生率。

宏觀來(lái)講，物聯(lián)網(wǎng)技術(shù)帶給我們更豐富全方位立體化的，甚至傳統(tǒng)互聯(lián)網(wǎng)不能提供的海量數(shù)據(jù)，基于這些大數(shù)據(jù)，我們可以建立起更多的數(shù)據(jù)模型，實(shí)現(xiàn)更多的跨行業(yè)跨領(lǐng)域的交互與協(xié)作，從而在信息對(duì)等的基礎(chǔ)上建立起實(shí)體流、信息流、資金流三者合一的物聯(lián)網(wǎng)金融形態(tài)。

六、結(jié)論

大數(shù)據(jù)技術(shù)起源于互聯(lián)網(wǎng)行業(yè)，目前最成功的應(yīng)用也在互聯(lián)網(wǎng)行業(yè)，在其他行業(yè)的應(yīng)用還處于初級(jí)階段。我國(guó)的各級(jí)政府機(jī)關(guān)和各類傳統(tǒng)行業(yè)，在日常管理和業(yè)務(wù)運(yùn)行中也積累了大量的數(shù)據(jù)。大數(shù)據(jù)的真正價(jià)值所在是深度價(jià)值發(fā)現(xiàn)和行業(yè)應(yīng)用，如何推進(jìn)大數(shù)據(jù)技術(shù)應(yīng)用，喚醒這些沉睡的大數(shù)據(jù)資源，實(shí)現(xiàn)管理上的科學(xué)決策，開創(chuàng)新的業(yè)務(wù)模式，是這些數(shù)據(jù)擁有者所關(guān)心的問(wèn)題。

參考文獻(xiàn)：

[1]李珺.數(shù)據(jù)網(wǎng)格環(huán)境下的元數(shù)據(jù)管理技術(shù).武漢：華中科技大學(xué)，2017.

[2]尹文燕.元數(shù)據(jù)發(fā)展現(xiàn)狀及存在問(wèn)題研究.中國(guó)科學(xué)技術(shù)信息研究所，2013.

[3]趙慶峰，鞠英杰.國(guó)內(nèi)元數(shù)據(jù)研究綜述.現(xiàn)代情報(bào)，2013（11）：42-45.

[4]陳進(jìn).關(guān)于數(shù)據(jù)倉(cāng)庫(kù)元數(shù)據(jù)管理系統(tǒng)的研究與建立.青島：中國(guó)海洋大學(xué)，2014.

[5]趙輝，張英杰，彭潔.CWM技術(shù)研發(fā)決策支持平臺(tái)的元數(shù)據(jù)管理模型研究.中國(guó)科技資源導(dǎo)刊，2014，46（4）：14-19.

[6]靳麗娟.元數(shù)據(jù)及其在數(shù)字圖書館信息組織中的應(yīng)用.山西：山西大學(xué)，2014.

作者單位：南京理工大學(xué)紫金學(xué)院