大數(shù)據(jù)驅(qū)動(dòng)下的信貸風(fēng)險(xiǎn)預(yù)警系統(tǒng)研究

汪峰

（聚賢融資租賃(上海)有限公司 上海市 200131）

信貸風(fēng)險(xiǎn)問題是所有金融機(jī)構(gòu)發(fā)展期間必須面對(duì)的重點(diǎn)問題，如果信貸風(fēng)險(xiǎn)管理水平不足，便無法滿足金融機(jī)構(gòu)的發(fā)展需求，只有構(gòu)建一套切實(shí)可行，能夠滿足金融機(jī)構(gòu)發(fā)展需求的信貸風(fēng)險(xiǎn)預(yù)警系統(tǒng)，才能夠使金融機(jī)構(gòu)面對(duì)的信貸風(fēng)得到有效控制。因此，有必要對(duì)大數(shù)據(jù)驅(qū)動(dòng)下的信貸風(fēng)險(xiǎn)預(yù)警系統(tǒng)進(jìn)行分析。

1 信貸風(fēng)險(xiǎn)綜述

現(xiàn)如今，科技的發(fā)展令我國(guó)信貸行業(yè)獲得了長(zhǎng)足的進(jìn)步，各種信貸機(jī)構(gòu)相互之間的競(jìng)爭(zhēng)也變得愈發(fā)激烈，信貸風(fēng)險(xiǎn)的重要性得到了非常多的關(guān)注。信貸業(yè)務(wù)作為金融機(jī)構(gòu)的一項(xiàng)主要業(yè)務(wù)，其在開展過程中具有非常大的風(fēng)險(xiǎn)，而我國(guó)目前的信貸風(fēng)險(xiǎn)管理技術(shù)卻與國(guó)際理念的風(fēng)險(xiǎn)管理技術(shù)存在一定差距，無法滿足金融機(jī)構(gòu)的長(zhǎng)期發(fā)展。而且在金融機(jī)構(gòu)發(fā)展期間，信貸風(fēng)險(xiǎn)管理屬于一項(xiàng)綜合性較強(qiáng)的工作，風(fēng)險(xiǎn)貫穿在整個(gè)信貸業(yè)務(wù)的所有流程中，所以金融機(jī)構(gòu)需要從貸前分析、貸時(shí)控制、貸后監(jiān)管等多個(gè)環(huán)節(jié)入手，以此來保證貸款的正常收回。就目前而言，信貸部門在開展業(yè)務(wù)的過程中，通常會(huì)將內(nèi)部數(shù)據(jù)作為判斷信貸風(fēng)險(xiǎn)的主要參考，信貸部門也為此專門構(gòu)建了面向信貸業(yè)務(wù)數(shù)據(jù)信息的數(shù)據(jù)庫(kù)，但是因?yàn)閿?shù)據(jù)信息相對(duì)較為單一，很難全方位體現(xiàn)出信貸風(fēng)險(xiǎn)，所以應(yīng)該結(jié)合大數(shù)據(jù)技術(shù)完成信貸風(fēng)險(xiǎn)預(yù)警系統(tǒng)的構(gòu)建，以此來整合信貸業(yè)務(wù)中產(chǎn)生的所有數(shù)據(jù)，實(shí)現(xiàn)對(duì)信貸業(yè)務(wù)的全方位評(píng)估，為信貸業(yè)務(wù)中的風(fēng)險(xiǎn)情況做出預(yù)警，避免信貸風(fēng)險(xiǎn)的發(fā)生[1]。除此之外，通過構(gòu)建信貸風(fēng)險(xiǎn)預(yù)警系統(tǒng)還可以完成對(duì)信貸業(yè)務(wù)的全方位管理，有效降低信貸業(yè)務(wù)開展期間需要面對(duì)的風(fēng)險(xiǎn)。在預(yù)警系統(tǒng)構(gòu)建過程中，需要加強(qiáng)對(duì)大數(shù)據(jù)平臺(tái)的利用，以此來保證預(yù)警系統(tǒng)的使用效果。

2 信貸風(fēng)險(xiǎn)預(yù)警分析

基于大數(shù)據(jù)技術(shù)的風(fēng)險(xiǎn)預(yù)警系統(tǒng)可以分為源數(shù)據(jù)、數(shù)據(jù)交換、計(jì)算、應(yīng)用、訪問五個(gè)層級(jí)。其中源數(shù)據(jù)層是風(fēng)險(xiǎn)預(yù)警系統(tǒng)中的數(shù)據(jù)核心，其中包含了信貸行業(yè)內(nèi)部、外部的各種數(shù)據(jù)信息。而數(shù)據(jù)交換層則能夠完成對(duì)風(fēng)險(xiǎn)預(yù)警系統(tǒng)中數(shù)據(jù)源的控制與管理，完成對(duì)數(shù)據(jù)源數(shù)據(jù)的存儲(chǔ)、組織，確保數(shù)據(jù)計(jì)算層在工作期間擁有足夠的數(shù)據(jù)支撐。數(shù)據(jù)計(jì)算層可以完成對(duì)交換層數(shù)據(jù)的提取、整理、加工，從而形成信貸業(yè)務(wù)需要的各種基礎(chǔ)數(shù)據(jù)與指標(biāo)。而數(shù)據(jù)應(yīng)用層則能夠?qū)⒂?jì)算層處理后的數(shù)據(jù)傳輸至數(shù)據(jù)庫(kù)中，以便用戶訪問層對(duì)數(shù)據(jù)進(jìn)行調(diào)取。

在信貸風(fēng)險(xiǎn)預(yù)警系統(tǒng)中，源數(shù)據(jù)層屬于預(yù)警系統(tǒng)的重點(diǎn)數(shù)據(jù)來源，還是信貸風(fēng)險(xiǎn)系統(tǒng)得以完善的基礎(chǔ)，其中主要包括內(nèi)部數(shù)據(jù)源以及外部數(shù)據(jù)源兩個(gè)部分。數(shù)據(jù)交換層則屬于信貸風(fēng)險(xiǎn)預(yù)警系統(tǒng)中的數(shù)據(jù)信息交換平臺(tái)，能夠以信貸系統(tǒng)獲取到足夠的數(shù)據(jù)信息，其主要作用就是將數(shù)據(jù)源層中的各種數(shù)據(jù)信息以數(shù)據(jù)文件的形式存儲(chǔ)到數(shù)據(jù)交換平臺(tái)中。數(shù)據(jù)計(jì)算層是信貸風(fēng)險(xiǎn)預(yù)警系統(tǒng)中的重要組成部分，屬于整個(gè)系統(tǒng)的核心內(nèi)容。數(shù)據(jù)計(jì)算層能夠利用數(shù)據(jù)平臺(tái)交互技術(shù)將各種數(shù)據(jù)信息存放到分布式系統(tǒng)中，并通過數(shù)據(jù)加工將結(jié)構(gòu)、非結(jié)構(gòu)數(shù)據(jù)處理成符合信貸風(fēng)險(xiǎn)預(yù)警系統(tǒng)的基礎(chǔ)數(shù)據(jù)內(nèi)容，并合理利用計(jì)算規(guī)則完成數(shù)據(jù)信息的加工、篩選，從而生成信貸風(fēng)險(xiǎn)指標(biāo)[2]。在此期間，計(jì)算層會(huì)利用Hive 完成對(duì)關(guān)系型數(shù)據(jù)信息的存儲(chǔ)，利用Hbase 完成對(duì)半結(jié)構(gòu)、非結(jié)構(gòu)化數(shù)據(jù)信息的存儲(chǔ)，sqoop 將會(huì)用作數(shù)據(jù)信息的傳輸?shù)?。?shù)據(jù)應(yīng)用層可以完成對(duì)計(jì)算層數(shù)據(jù)的整理與匯總，并將整合后的數(shù)據(jù)傳輸至數(shù)據(jù)服務(wù)器中，保證數(shù)據(jù)訪問層具有足夠的使用數(shù)據(jù)。數(shù)據(jù)訪問層屬于信貸風(fēng)險(xiǎn)預(yù)警系統(tǒng)的訪問窗口，用以幫助用戶完成數(shù)據(jù)信息的訪問。信貸風(fēng)險(xiǎn)預(yù)警系統(tǒng)就是將信貸數(shù)據(jù)資料作為基礎(chǔ)，幫助金融機(jī)構(gòu)完成信貸風(fēng)險(xiǎn)判斷的系統(tǒng)。

3 預(yù)警系統(tǒng)關(guān)鍵技術(shù)

3.1 Hive

Hive 就是在Hadoop 上構(gòu)建出的數(shù)據(jù)倉(cāng)庫(kù)框架，在信貸風(fēng)險(xiǎn)預(yù)警系統(tǒng)中負(fù)責(zé)數(shù)據(jù)計(jì)算層貼源數(shù)據(jù)、數(shù)據(jù)匯總內(nèi)工作，在使用期間，不僅可以作為與ETL 相應(yīng)的數(shù)據(jù)庫(kù)，用來完成對(duì)內(nèi)部、外部結(jié)構(gòu)化數(shù)據(jù)信息的存儲(chǔ)，還能夠?qū)TL 加工處理后的數(shù)據(jù)信息與數(shù)據(jù)歷史記錄存儲(chǔ)在Hive 中。

3.2 Hbase

Hbase 屬于分布式面向列的一種開源數(shù)據(jù)。在預(yù)警系統(tǒng)中，Hbase 的主要作用就是完成對(duì)行外非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)，經(jīng)過存儲(chǔ)的非結(jié)構(gòu)數(shù)據(jù)能夠通過Hbase 轉(zhuǎn)化成為結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)至Hive。

3.3 Oozie

Oozie 工作流屬于DAG 中的一組動(dòng)作，動(dòng)作中指定了執(zhí)行順序。在預(yù)警系統(tǒng)中，通過Oozie 能夠完成對(duì)流程的合理調(diào)度，從而在流程調(diào)度區(qū)域中發(fā)揮出非常好的效果。Oozie 的主要任務(wù)就是在數(shù)據(jù)平臺(tái)ETL 中對(duì)加工作業(yè)開展調(diào)度管理。

3.4 Sqoop

Sqoop 屬于幫助Hadoop 與關(guān)系型數(shù)據(jù)庫(kù)兩者之間將內(nèi)部數(shù)據(jù)相互傳遞的一種數(shù)據(jù)傳輸工具。在預(yù)警系統(tǒng)中，Sqoop 可以在應(yīng)用層中使用，使用時(shí)能夠?qū)⒂?jì)算層中加工得出的各種基礎(chǔ)數(shù)據(jù)以及匯總數(shù)據(jù)傳輸至關(guān)系型數(shù)據(jù)庫(kù)中，從而將數(shù)據(jù)提供給Web 進(jìn)行查詢使用[3]。

3.5 Streaming

Hadoop Streaming 是一種能夠?yàn)镸apReduce 編程提供方便的工具包。在預(yù)警系統(tǒng)中，合理利用Streaming 就可以完成對(duì)數(shù)據(jù)的快速處理，并將貼源區(qū)的數(shù)據(jù)傳遞至關(guān)系型數(shù)據(jù)庫(kù)。

4 數(shù)據(jù)計(jì)算層架構(gòu)

在信貸風(fēng)險(xiǎn)預(yù)警系統(tǒng)中，如何實(shí)現(xiàn)數(shù)據(jù)信息的存儲(chǔ)加工正是預(yù)警系統(tǒng)中的關(guān)鍵內(nèi)容。預(yù)警系統(tǒng)中的數(shù)據(jù)計(jì)算層需要在大數(shù)據(jù)平臺(tái)上設(shè)計(jì)并實(shí)現(xiàn)。在設(shè)計(jì)過程中，需要優(yōu)先將數(shù)據(jù)交換區(qū)中的數(shù)據(jù)信息全部傳輸至大數(shù)據(jù)平臺(tái)中，這部分?jǐn)?shù)據(jù)信息將會(huì)存儲(chǔ)在數(shù)據(jù)計(jì)算層貼源數(shù)據(jù)區(qū)Hive 與Hbase 內(nèi)，數(shù)據(jù)標(biāo)準(zhǔn)區(qū)則會(huì)將這部分?jǐn)?shù)據(jù)信息進(jìn)行標(biāo)準(zhǔn)化操作并實(shí)現(xiàn)統(tǒng)一設(shè)計(jì)、管理，然后在計(jì)算層的匯總層內(nèi)部將標(biāo)準(zhǔn)化數(shù)據(jù)按照加工規(guī)定完成加工統(tǒng)計(jì)，當(dāng)前數(shù)據(jù)需要通過Sqoop 輸送至數(shù)據(jù)庫(kù)中使Web 端對(duì)其進(jìn)行展示。數(shù)據(jù)計(jì)算層架構(gòu)內(nèi)容如下：

（1）在數(shù)據(jù)計(jì)算層的整體架構(gòu)中，交換區(qū)域外部數(shù)據(jù)平臺(tái)共包含3 部分，即信貸業(yè)務(wù)數(shù)據(jù)、外部數(shù)據(jù)以及業(yè)務(wù)實(shí)時(shí)數(shù)據(jù)，這3部分?jǐn)?shù)據(jù)會(huì)通過數(shù)據(jù)傳輸、推送等方式把數(shù)據(jù)傳輸至數(shù)據(jù)平臺(tái)。

（2）在數(shù)據(jù)計(jì)算層中，還能通過YARN 對(duì)數(shù)據(jù)平臺(tái)中的數(shù)據(jù)開展統(tǒng)一管理。然后采用HDFS 完成對(duì)數(shù)據(jù)文件的存儲(chǔ)、集群創(chuàng)建管理。

（3）數(shù)據(jù)平臺(tái)中的數(shù)據(jù)信息文件可以通過Hive 傳輸至信貸業(yè)務(wù)數(shù)據(jù)表中，在此期間需要利用腳步封裝數(shù)命令完成對(duì)Oozie 的合理調(diào)度。

（4）數(shù)據(jù)平臺(tái)外部數(shù)據(jù)能夠利用Hbase 進(jìn)行轉(zhuǎn)換并進(jìn)入Hive中，此時(shí)需要通過Oozie 完成數(shù)據(jù)信息調(diào)度。

（5）數(shù)據(jù)平臺(tái)業(yè)務(wù)數(shù)據(jù)與外部數(shù)據(jù)將會(huì)利用Hive 與轉(zhuǎn)換腳本生成標(biāo)準(zhǔn)化數(shù)據(jù)，生成的數(shù)據(jù)將會(huì)經(jīng)過Oozie 調(diào)度存儲(chǔ)至Hive 中。

（6）利用Sqoop 與外部RDBMS 連接完成后，可以結(jié)合標(biāo)準(zhǔn)化數(shù)據(jù)按照匯總規(guī)則完成數(shù)據(jù)信息的匯總統(tǒng)計(jì)，方便Oozie 的后續(xù)調(diào)度。

（7）數(shù)據(jù)平臺(tái)中已有實(shí)時(shí)業(yè)務(wù)數(shù)據(jù)將會(huì)與標(biāo)準(zhǔn)化業(yè)務(wù)數(shù)據(jù)相結(jié)合，然后利用Streaming 完成數(shù)據(jù)加工。

（8）Sqoop 經(jīng)過腳本封裝將標(biāo)準(zhǔn)化基礎(chǔ)、匯總數(shù)據(jù)傳遞至RDBMS 中，這部分腳本需要由Oozie 進(jìn)行調(diào)度。

（9）BI 工具可以利用標(biāo)準(zhǔn)sql 對(duì)RDBMS 基礎(chǔ)、應(yīng)用、匯總數(shù)據(jù)進(jìn)行訪問，利用Spark Sql 完成對(duì)歷史區(qū)域中的數(shù)據(jù)、實(shí)時(shí)數(shù)據(jù)訪問。

5 預(yù)警系統(tǒng)數(shù)據(jù)組織

5.1 數(shù)據(jù)表組織

預(yù)警系統(tǒng)包括了貼源數(shù)據(jù)、歷史數(shù)據(jù)、標(biāo)準(zhǔn)數(shù)據(jù)、匯總數(shù)據(jù)四個(gè)不同的數(shù)據(jù)區(qū)域。為了能夠明確四個(gè)數(shù)據(jù)區(qū)域內(nèi)的業(yè)務(wù)數(shù)據(jù)，系統(tǒng)數(shù)據(jù)表組織可以劃分成為三級(jí)，其中第一級(jí)主要用作區(qū)分預(yù)警系統(tǒng)中各類數(shù)據(jù)應(yīng)該屬于哪一個(gè)區(qū)域，而第二級(jí)則主要用于區(qū)分?jǐn)?shù)據(jù)信息的業(yè)務(wù)類型。第三級(jí)便是具體的數(shù)據(jù)表內(nèi)容，數(shù)據(jù)分組需要結(jié)合具體含義來完成命名[4]。

5.2 數(shù)據(jù)文件組織

新店風(fēng)險(xiǎn)預(yù)警系統(tǒng)中的各類數(shù)據(jù)文件需要存儲(chǔ)到HDSF 中，為了對(duì)業(yè)務(wù)類型、文件類型進(jìn)行區(qū)分，需要對(duì)數(shù)據(jù)文件專門進(jìn)行組織。

5.3 N作業(yè)組織

作業(yè)可以利用一個(gè)作業(yè)同時(shí)處理多個(gè)數(shù)據(jù)邏輯，或是通過將一個(gè)業(yè)務(wù)邏輯拆分成為多個(gè)作業(yè)來完成處理。

6 信貸風(fēng)險(xiǎn)預(yù)警系統(tǒng)實(shí)現(xiàn)

6.1 貼源數(shù)據(jù)區(qū)

在信貸風(fēng)險(xiǎn)預(yù)警系統(tǒng)中，貼源數(shù)據(jù)區(qū)就是為了完成數(shù)據(jù)加載、轉(zhuǎn)換專門設(shè)計(jì)出的數(shù)據(jù)區(qū)，屬于純技術(shù)加工類型的數(shù)據(jù)區(qū)。將與源系統(tǒng)相同的數(shù)據(jù)結(jié)構(gòu)與內(nèi)容融入到貼源數(shù)據(jù)區(qū)需要經(jīng)過構(gòu)建數(shù)據(jù)表以及導(dǎo)入數(shù)據(jù)兩部分。第一部分為構(gòu)建數(shù)據(jù)表，購(gòu)進(jìn)過程中為了能夠保證數(shù)據(jù)完整性，需要將構(gòu)建的數(shù)據(jù)表結(jié)構(gòu)與原系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)保持一致性。

6.2 數(shù)據(jù)標(biāo)準(zhǔn)區(qū)

數(shù)據(jù)標(biāo)準(zhǔn)區(qū)的主要任務(wù)就是將貼源數(shù)據(jù)區(qū)域內(nèi)的數(shù)據(jù)信息，按照信貸業(yè)務(wù)的分類方式實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)化的過程。想要實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)區(qū)就需要同時(shí)完成代碼標(biāo)準(zhǔn)化以及碼值標(biāo)準(zhǔn)化。實(shí)現(xiàn)步驟包括構(gòu)建標(biāo)準(zhǔn)數(shù)據(jù)表以及構(gòu)建標(biāo)準(zhǔn)碼值數(shù)據(jù)兩個(gè)部分，其中構(gòu)建標(biāo)準(zhǔn)碼值數(shù)據(jù)就是實(shí)現(xiàn)碼值轉(zhuǎn)化，在數(shù)據(jù)標(biāo)準(zhǔn)化的過程中便可以完成碼值的轉(zhuǎn)換。

6.3 數(shù)據(jù)匯總區(qū)

在預(yù)警系統(tǒng)中，數(shù)據(jù)匯總區(qū)的主要作用就是標(biāo)準(zhǔn)區(qū)域內(nèi)的數(shù)據(jù)按照風(fēng)險(xiǎn)指標(biāo)加工規(guī)則完成匯總數(shù)據(jù)處理的整個(gè)流程。該部分包括構(gòu)建匯總數(shù)據(jù)表以及匯總數(shù)據(jù)加工兩個(gè)部分。

6.4 流程調(diào)度

預(yù)警系統(tǒng)能夠通過Sqoop 完成數(shù)據(jù)信息的傳遞，完成對(duì)Hive中的基礎(chǔ)數(shù)據(jù)與匯總數(shù)據(jù)的傳輸，關(guān)系型數(shù)據(jù)庫(kù)中數(shù)據(jù)信息可以提供給其他區(qū)域使用。流程調(diào)度即是完成作業(yè)調(diào)度管理，由于預(yù)警系統(tǒng)中需要通過腳本完成大部分操作的實(shí)現(xiàn)，所以調(diào)度作業(yè)類型需要選定shell 作業(yè)。在流程調(diào)度過程中，主要包含三個(gè)實(shí)現(xiàn)文件，三個(gè)文件分別代表作業(yè)流程、配置信息以及腳本信息。通過作業(yè)流程能夠完成對(duì)作業(yè)的調(diào)度管理，而利用配置信息則可以完成面向?qū)Χ喾N參數(shù)的有效說明，腳本信息則可以完成對(duì)實(shí)現(xiàn)過程的封裝處理。

7 結(jié)論

總而言之，時(shí)代的發(fā)展令信貸行業(yè)面對(duì)的風(fēng)險(xiǎn)越來越大。在大數(shù)據(jù)的驅(qū)動(dòng)下，通過將信貸業(yè)務(wù)數(shù)據(jù)與外部數(shù)據(jù)相結(jié)合，可以在數(shù)據(jù)平臺(tái)中完善信貸風(fēng)險(xiǎn)預(yù)警系統(tǒng)，在信貸業(yè)務(wù)開展期間完成風(fēng)險(xiǎn)評(píng)估。相信隨著更多人了解到信貸風(fēng)險(xiǎn)預(yù)警系統(tǒng)的重要性，預(yù)警系統(tǒng)將會(huì)變得更加完善。