基于HANA內(nèi)存數(shù)據(jù)庫(kù)的統(tǒng)信報(bào)表平臺(tái)

張光明

摘 要：HANA內(nèi)存數(shù)據(jù)庫(kù)，應(yīng)用多維分析引擎技術(shù)，構(gòu)建保險(xiǎn)統(tǒng)信報(bào)表平臺(tái)，對(duì)業(yè)務(wù)和財(cái)務(wù)數(shù)據(jù)中的40個(gè)維度和近萬(wàn)個(gè)指標(biāo)建模，實(shí)現(xiàn)了多維統(tǒng)計(jì)報(bào)表秒級(jí)響應(yīng)，提升了分析效率，更好地支持公司運(yùn)營(yíng)管理和分析，逐步推廣成為精細(xì)化的管理平臺(tái)。

關(guān)鍵詞：監(jiān)管報(bào)送；風(fēng)險(xiǎn)管理；報(bào)表分析

中圖分類(lèi)號(hào)：TP311.1 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：2095-2945（2019）01-0069-02

Abstract： Based on HANA memory database， by multi-dimensional analysis engine technology， the paper constructs the platform of the report form of the insurance corporation， models 40 dimensions and nearly ten thousand indexes in the business and financial data， realizes the response of multi-dimensional statistical report form at the second level. This improves the analysis efficiency， better supports the company's operation management and analysis， and is gradually promoted to be a refined management platform.

Keywords： regulatory submission； risk management； report analysis

1 應(yīng)用背景

浙商保險(xiǎn)的統(tǒng)信報(bào)送工作，從系統(tǒng)層面上，原先存在數(shù)據(jù)分散、運(yùn)算效率低、報(bào)送校驗(yàn)耗時(shí)長(zhǎng)等問(wèn)題。因此基于HANA內(nèi)存數(shù)據(jù)庫(kù)自主研發(fā)統(tǒng)信報(bào)表平臺(tái)，實(shí)現(xiàn)報(bào)送數(shù)據(jù)源統(tǒng)一歸集的目標(biāo)，提高報(bào)送數(shù)據(jù)的效率和準(zhǔn)確性，提高成本與效益平衡能力、提升公司核心競(jìng)爭(zhēng)力的內(nèi)在需求。

2 應(yīng)用要解決的痛點(diǎn)

2.1 數(shù)據(jù)分散，交叉取值

此前，系統(tǒng)主要建立在財(cái)務(wù)系統(tǒng)和核心系統(tǒng)的基礎(chǔ)上，形成的兩套獨(dú)立數(shù)據(jù)源，分別執(zhí)行數(shù)據(jù)清洗和運(yùn)算程序，取得財(cái)務(wù)類(lèi)指標(biāo)和業(yè)務(wù)類(lèi)指標(biāo)。同時(shí)，二者又有交叉取值的情況，部分財(cái)務(wù)指標(biāo)需從業(yè)務(wù)數(shù)據(jù)源中計(jì)算后，轉(zhuǎn)移到財(cái)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)內(nèi)進(jìn)行二次匯總計(jì)算。

2.2 數(shù)據(jù)清洗程序執(zhí)行效率低

原財(cái)務(wù)系統(tǒng)和核心系統(tǒng)所使用的Oracle 10g是屬于事務(wù)性關(guān)系數(shù)據(jù)庫(kù)，因內(nèi)存不夠IO讀寫(xiě)效率太低，在處理大數(shù)據(jù)量運(yùn)算方面性能有瓶頸。限于改進(jìn)優(yōu)化，提升空間有限。

2.3 報(bào)送校驗(yàn)流程嚴(yán)重依賴(lài)人工控制

因存在交叉取值的問(wèn)題，需人為控制業(yè)務(wù)和財(cái)務(wù)指標(biāo)計(jì)算的執(zhí)行順序；因指標(biāo)校驗(yàn)是一套獨(dú)立工具，需人工導(dǎo)入固定格式的Excel表格，一般耗時(shí)超過(guò)30分鐘。由于監(jiān)管指標(biāo)間有嚴(yán)密的邏輯校驗(yàn)關(guān)系，或有個(gè)別指標(biāo)取值異常導(dǎo)致需重提的情況，則需要反復(fù)提取再校驗(yàn)。

3 實(shí)現(xiàn)機(jī)理

HANA內(nèi)存數(shù)據(jù)庫(kù)的運(yùn)用，極大地提高了運(yùn)算效率。HANA在數(shù)據(jù)庫(kù)啟動(dòng)過(guò)程中把數(shù)據(jù)從磁盤(pán)上加載到內(nèi)存中，而對(duì)數(shù)據(jù)進(jìn)行操作也是數(shù)據(jù)先不存儲(chǔ)到磁盤(pán)上，而存儲(chǔ)在內(nèi)存中，用MVCC：（Multi Version Concurrency Control）來(lái)控制內(nèi)存數(shù)據(jù)的一致性，而后臺(tái)SavePoint定時(shí)的把內(nèi)存中數(shù)據(jù)的修改從內(nèi)存中寫(xiě)入磁盤(pán)。內(nèi)存數(shù)據(jù)庫(kù)并不實(shí)時(shí)的把數(shù)據(jù)更新到磁盤(pán)上，這樣就減少磁盤(pán)的IO操作。讀寫(xiě)操作都針對(duì)內(nèi)存進(jìn)行，不再直接與磁盤(pán)數(shù)據(jù)庫(kù)交互，是一種異步操作，異步操作使得前端的寫(xiě)操作更快。

4 解決方案

系統(tǒng)核心部分是在HANA內(nèi)存數(shù)據(jù)庫(kù)中的數(shù)據(jù)清洗、提取、校驗(yàn)的各種存儲(chǔ)過(guò)程，相關(guān)的基礎(chǔ)數(shù)據(jù)維護(hù)、提取和校驗(yàn)報(bào)送數(shù)據(jù)、查詢(xún)和導(dǎo)出報(bào)送文件等操作界面屬于功能程序。

4.1 數(shù)據(jù)清洗、提取、校驗(yàn)存儲(chǔ)過(guò)程

4.1.1 業(yè)務(wù)數(shù)據(jù)清洗程序

同步核心承保、理賠、再保、準(zhǔn)備金等源系統(tǒng)數(shù)據(jù)，按報(bào)送指標(biāo)的類(lèi)別分組，形成21個(gè)匯總數(shù)據(jù)表。

4.1.2 財(cái)務(wù)數(shù)據(jù)清洗程序

同步總帳余額表，依據(jù)定義的分?jǐn)傄?guī)則，依次完成公共部門(mén)分?jǐn)?、前后線(xiàn)部門(mén)分?jǐn)偂a(chǎn)品分?jǐn)?、總分分?jǐn)?、分支分?jǐn)偧败?chē)險(xiǎn)分?jǐn)?、?lái)源分?jǐn)?、使用性質(zhì)分?jǐn)偟冗^(guò)程，從而形成供報(bào)送指標(biāo)取數(shù)所需的數(shù)據(jù)表。

4.1.3 業(yè)務(wù)指標(biāo)提取程序

依據(jù)業(yè)務(wù)指標(biāo)配置表生成指標(biāo)查詢(xún)SQL腳本，存放于臨時(shí)表。按四級(jí)機(jī)構(gòu)代碼分組，批量執(zhí)行查詢(xún)腳本，生成明細(xì)指標(biāo)記錄。按機(jī)構(gòu)代碼和指標(biāo)層級(jí)匯總關(guān)系計(jì)算生成匯總類(lèi)指標(biāo)記錄。

4.1.4 財(cái)務(wù)指標(biāo)提取程序

依據(jù)財(cái)務(wù)指標(biāo)配置表和機(jī)構(gòu)映射表，依此按取值來(lái)源為總帳數(shù)據(jù)、分?jǐn)倲?shù)據(jù)、現(xiàn)金流量數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)分別獲取指標(biāo)記錄，最后獲取計(jì)算類(lèi)指標(biāo)記錄。

4.1.5 指標(biāo)校驗(yàn)程序

依據(jù)指標(biāo)間校驗(yàn)公式和機(jī)構(gòu)間校驗(yàn)公式，按序依此計(jì)算公式兩邊的匯總值，判斷是否一致。將有差異的結(jié)果輸出到日志表中。

4.2 基礎(chǔ)數(shù)據(jù)維護(hù)功能

4.2.1 指標(biāo)及取數(shù)規(guī)則定義

（1）財(cái)務(wù)指標(biāo)定義。定義財(cái)務(wù)指標(biāo)的分類(lèi)、數(shù)據(jù)源、幣種、報(bào)送頻度，以及取值范圍?？値ず头?jǐn)倎?lái)源取值按財(cái)務(wù)科目體系限定范圍；現(xiàn)金流量來(lái)源按表行次限定范圍；業(yè)務(wù)來(lái)源直接復(fù)制業(yè)務(wù)結(jié)果表；計(jì)算類(lèi)指標(biāo)維護(hù)運(yùn)算符及子項(xiàng)指標(biāo)名。（2）業(yè)務(wù)指標(biāo)定義。定義業(yè)務(wù)指標(biāo)的分類(lèi)、數(shù)據(jù)源表、報(bào)送頻度，以及取值范圍。業(yè)務(wù)取值范圍格式按查詢(xún)的SQL腳本拆分，依此定義取值字段和函數(shù)、數(shù)據(jù)源表、查詢(xún)條件所需字段名、條件值及關(guān)系符，特殊條件使用附加字符串字段?？砂磁渲闷囱b成完整的查詢(xún)SQL語(yǔ)句。

4.2.2 報(bào)送機(jī)構(gòu)和層級(jí)維護(hù)

（1）機(jī)構(gòu)定義。定義保監(jiān)會(huì)上報(bào)機(jī)構(gòu)代碼、機(jī)構(gòu)名稱(chēng)、區(qū)域編碼、機(jī)構(gòu)層級(jí)，關(guān)聯(lián)維護(hù)財(cái)務(wù)公司段、財(cái)務(wù)成本中心（四級(jí)單獨(dú)上報(bào)時(shí)需要）、業(yè)務(wù)機(jī)構(gòu)代碼以及上報(bào)類(lèi)型等。（2）機(jī)構(gòu)層級(jí)關(guān)系維護(hù)。定義保監(jiān)會(huì)上報(bào)機(jī)構(gòu)之間的層級(jí)關(guān)系，依次為全轄-省分-中支-四級(jí)獨(dú)立報(bào)送機(jī)構(gòu)。

4.2.3 財(cái)務(wù)科目體系

數(shù)據(jù)項(xiàng)包含8個(gè)核算維度，依次為公司段、成本中心、會(huì)計(jì)科目、明細(xì)科目（含再保公司）、產(chǎn)品代碼、渠道代碼、使用性質(zhì)、來(lái)源等。

4.2.4 業(yè)務(wù)數(shù)據(jù)字典

數(shù)據(jù)項(xiàng)包含產(chǎn)品代碼、險(xiǎn)別代碼、車(chē)輛類(lèi)型、使用性質(zhì)、渠道細(xì)分代碼、農(nóng)險(xiǎn)產(chǎn)品、健康險(xiǎn)標(biāo)記等，主要用于指標(biāo)定義的查詢(xún)條件字段時(shí)引用。

4.2.5 指標(biāo)校驗(yàn)公式

分指標(biāo)間校驗(yàn)、相同指標(biāo)按機(jī)構(gòu)間層級(jí)校驗(yàn)兩種公式，均從原校驗(yàn)工具庫(kù)里導(dǎo)出，后續(xù)按監(jiān)管發(fā)文進(jìn)行更新。

4.3 提取和校驗(yàn)報(bào)送操作界面

引用SAP Data Services任務(wù)管理界面，提交定制的Job請(qǐng)求。提供5組參數(shù)：（1）報(bào)送時(shí)間范圍，默認(rèn)年初至當(dāng)前日期前一個(gè)月末。（2）報(bào)送類(lèi)型：1-快報(bào)、2-月報(bào)、3-季報(bào)、4-半年報(bào)、5-年報(bào)、6-年度決算。（3）財(cái)務(wù)指標(biāo)執(zhí)行步驟，決定是否重抽財(cái)務(wù)數(shù)據(jù)、是否執(zhí)行數(shù)據(jù)清洗、是否執(zhí)行業(yè)務(wù)數(shù)據(jù)同步、是否執(zhí)行指標(biāo)提取。（4）業(yè)務(wù)指標(biāo)執(zhí)行步驟，決定是否重抽業(yè)務(wù)數(shù)據(jù)、是否執(zhí)行數(shù)據(jù)清洗、是否執(zhí)行數(shù)據(jù)提取、是否執(zhí)行數(shù)據(jù)匯總。（5）校驗(yàn)執(zhí)行步驟，決定是否執(zhí)行校驗(yàn)及校驗(yàn)類(lèi)別，1全部指標(biāo)、2僅限業(yè)務(wù)指標(biāo)、3僅限財(cái)務(wù)指標(biāo)。

請(qǐng)求提交后刷新頁(yè)面，狀態(tài)欄顯示 表示正常運(yùn)行完成。通過(guò)日志界面可查看當(dāng)次執(zhí)行結(jié)果是否有異常。

4.4 查詢(xún)和導(dǎo)出報(bào)送文件

在WEB應(yīng)用上開(kāi)發(fā)了指標(biāo)查詢(xún)頁(yè)面，可按期間、機(jī)構(gòu)、指標(biāo)、報(bào)送類(lèi)型查詢(xún)結(jié)果，用戶(hù)在線(xiàn)復(fù)核反饋數(shù)據(jù)。

5 技術(shù)方案

5.1 軟硬件配置

部署在企業(yè)內(nèi)網(wǎng)，軟硬件基本配置如下：

5.1.1 硬件服務(wù)器

使用Huawei solutions for SAP HANA-RH8100 V3，內(nèi)置HANA內(nèi)存數(shù)據(jù)庫(kù)，版本HANA 2.00.012。

CPU：英特爾至強(qiáng)E7-8880處理器*4

內(nèi)存：DDR4 RDIMM內(nèi)存-32GB-2400MT*96

硬盤(pán)：通用硬盤(pán)共10T

該硬件實(shí)際上多項(xiàng)目共享，占用資源僅約500G。

5.1.2 軟件配置

操作系統(tǒng)：Linux RedHat 6.4

中間件：Weblogic 12c

頁(yè)面應(yīng)用：基于Java語(yǔ)言，采用SpringMVC WEB框架開(kāi)發(fā)實(shí)現(xiàn)，MyEclipse 8.6開(kāi)發(fā)

數(shù)據(jù)抽取及任務(wù)調(diào)度：SAP Data Services 4.2

5.2 系統(tǒng)架構(gòu)

基于SAP HANA內(nèi)存數(shù)據(jù)庫(kù)為主體，通過(guò)SAP Data Services從核心系統(tǒng)、財(cái)務(wù)系統(tǒng)等企業(yè)生產(chǎn)環(huán)境定期同步源數(shù)據(jù)，按照監(jiān)管報(bào)送的頻度，每月執(zhí)行數(shù)據(jù)清洗、提取、校驗(yàn)等存儲(chǔ)過(guò)程。

前端應(yīng)用為WEB應(yīng)用和DS服務(wù)兩種形式，分別提供數(shù)據(jù)維護(hù)、指標(biāo)查詢(xún)和導(dǎo)出的功能頁(yè)面，及發(fā)起任務(wù)請(qǐng)求。

6 應(yīng)用成效

HANA內(nèi)存數(shù)據(jù)庫(kù)在報(bào)表系統(tǒng)改造取得突破。多年來(lái)，浙商保險(xiǎn)信息技術(shù)部為應(yīng)對(duì)日益增加的大量數(shù)據(jù)處理的需求，前瞻性地研究先進(jìn)技術(shù)。經(jīng)論證于2017年引入HANA內(nèi)存數(shù)據(jù)庫(kù)，并率先在公共報(bào)表系統(tǒng)上試點(diǎn)改造完成驗(yàn)證。從用戶(hù)體驗(yàn)結(jié)果看，原需1～2小時(shí)提取的報(bào)表，改造后105毫秒完成提取。依據(jù)項(xiàng)目前后整體對(duì)比，性能平均提升逾千倍，顯著提升了IT效率，具備推廣應(yīng)用的基礎(chǔ)。

7 結(jié)束語(yǔ)

（1）實(shí)現(xiàn)報(bào)送數(shù)據(jù)源統(tǒng)一歸集。大幅提高數(shù)據(jù)清洗和指標(biāo)運(yùn)算的速度，從而提高報(bào)送數(shù)據(jù)的效率和準(zhǔn)確性。（2）持續(xù)拓寬應(yīng)用領(lǐng)域。報(bào)表報(bào)送分析平臺(tái)支持全險(xiǎn)種主要維度指標(biāo)的展示與分析，集成全轄分析報(bào)表，拓寬業(yè)務(wù)融合范圍，形成企業(yè)級(jí)報(bào)表平臺(tái)體系。（3）提升快速響應(yīng)能力。進(jìn)一步提升分析報(bào)表運(yùn)行效率及更新頻率，有效助力經(jīng)營(yíng)管理駕駛艙或儀表盤(pán)的實(shí)現(xiàn)，提升平臺(tái)快速響應(yīng)能力。

參考文獻(xiàn)：

[1]陳建華.監(jiān)管有效性研究[M].北京：中國(guó)金融出版社，2012.

[2]魯素英，郭永強(qiáng).金融統(tǒng)計(jì)中的“全科目”上報(bào)與非現(xiàn)場(chǎng)監(jiān)管[J].中國(guó)統(tǒng)計(jì)，2011（10）.