文｜戴云飛，石明

分布式存儲與計算在銀行的實現(xiàn)與應(yīng)用

文｜戴云飛，石明

隨著我國市場經(jīng)濟體制的確立，經(jīng)濟全球化的表現(xiàn)愈加明顯，市場競爭日漸激烈，銀行業(yè)作為傳統(tǒng)的服務(wù)型行業(yè)，在新時代面臨的機遇和挑戰(zhàn)都是巨大的。對于信息時代的銀行業(yè)來說，信息數(shù)據(jù)的管理在日常運營中尤為重要。進而到21世紀，信息技術(shù)在飛速的提升，應(yīng)用系統(tǒng)的處理能力和應(yīng)用實踐已經(jīng)十分穩(wěn)定和成熟，作為這些系統(tǒng)的最終產(chǎn)品也就是海量增長的各類數(shù)據(jù)信息，這些信息的管理和應(yīng)用才是信息技術(shù)人員現(xiàn)在面臨的最為棘手的問題。在銀行日常的運行中，如何能夠以較低的成本實現(xiàn)對各類信息的管理、處理與應(yīng)用，已經(jīng)成為各級銀行在數(shù)據(jù)管理中最為關(guān)鍵的課題。

一、我國銀行業(yè)數(shù)據(jù)的分布式存儲與計算應(yīng)用的研究現(xiàn)狀

世界數(shù)據(jù)之父BILL INMOM在的專業(yè)書籍中提出了ODS的理論概念，該系統(tǒng)主要用于解決企業(yè)運行過程中的分析決策和管理的需求，隨著該理論模型的出現(xiàn)，逐漸形成了新的三層體系的數(shù)據(jù)結(jié)構(gòu)，即DB-ODS-DW，隨著系統(tǒng)應(yīng)用的加深和在管理過程中效益發(fā)揮的增強，這種體系結(jié)構(gòu)被廣泛的應(yīng)用在航空、零售、金融、保險等相關(guān)領(lǐng)域。

同西方國家的數(shù)據(jù)管理體系架構(gòu)相比，我國的ODS系統(tǒng)的建設(shè)要晚，近年來，隨著我國信息技術(shù)能力的不斷加深，政府和市場也越來越重視到ODS系統(tǒng)于企業(yè)管理中的意義，并逐漸將該系統(tǒng)應(yīng)用到企業(yè)管理中，在引用的初期，該系統(tǒng)也僅是作為數(shù)據(jù)的傳輸中樞；后來，隨著企業(yè)規(guī)模的增長和數(shù)據(jù)量的增加，逐漸發(fā)展成為及收集、存儲、處理為一體的用于決策支持的數(shù)據(jù)庫系統(tǒng)。

二、分布式架構(gòu)的分類和特點

（一）分布式架構(gòu)的分類

分布式架構(gòu)一般分為兩類，一是以垂直擴展為主的架構(gòu)，也就是在數(shù)據(jù)系統(tǒng)中增加單機，或者是更換系統(tǒng)中的設(shè)備，將低端設(shè)備進行升級，以提高系統(tǒng)的數(shù)據(jù)存儲和管理的能力，這種架構(gòu)方式也稱為集中式架構(gòu)，這類架構(gòu)的典型代表就是早期的啞終端主機架構(gòu)；第二類架構(gòu)形式是以水平擴展為主，通過在系統(tǒng)中橫向節(jié)點的擴充，將一個位置的節(jié)點提高到幾個節(jié)點，實現(xiàn)每一個節(jié)點可以在系統(tǒng)中獨立運行，每個節(jié)點可以通過網(wǎng)絡(luò)進行連接和傳輸，系統(tǒng)的擴充能力隨之提高。這種情況時，即便是系統(tǒng)中某一個節(jié)點出現(xiàn)故障，整個系統(tǒng)也還可以為操作員提供數(shù)據(jù)服務(wù)。水平架構(gòu)也被成為分布式架構(gòu)。

（二）集中式架構(gòu)的優(yōu)缺點

集中式架構(gòu)的系統(tǒng)底層多采用成熟的商業(yè)基礎(chǔ)軟件進行構(gòu)建，這種架構(gòu)的主要優(yōu)勢就是性能成熟、具有較強的穩(wěn)定性，在銀行業(yè)具體的應(yīng)用中，信息技術(shù)人員可以以穩(wěn)定的系統(tǒng)架構(gòu)為基礎(chǔ)，專注于業(yè)務(wù)功能的開發(fā)。以工商銀行個人信貸系統(tǒng)為例，在其實現(xiàn)了全國數(shù)據(jù)集中之后，其個人信貸業(yè)務(wù)的交易成功率和業(yè)務(wù)增長率都獲得了穩(wěn)步的提升，也擁有了更為高效的功能產(chǎn)品開發(fā)和推廣，其業(yè)務(wù)量的年增長率平均可以達到百分之三十。隨著核心業(yè)務(wù)的集中和業(yè)務(wù)量的急劇上漲，集中式架構(gòu)保持著穩(wěn)固的基層架構(gòu)，保證了系統(tǒng)運行的統(tǒng)一性和穩(wěn)定性，為業(yè)務(wù)的快速發(fā)展和系統(tǒng)的平穩(wěn)運行提供了保障。

集中式架構(gòu)在實踐應(yīng)用中的主要缺點有以下幾個方面：第一，系統(tǒng)的風險較為集中，因為產(chǎn)品整體的成熟和穩(wěn)定，所以一旦系統(tǒng)中的某一個軟件或者邏輯出現(xiàn)故障和異常，很可能導(dǎo)致整個集群都失去功能，引發(fā)銀行整體的停業(yè)；第二，由于我國過多的人口基數(shù)，銀行的業(yè)務(wù)量在未來會穩(wěn)步的增長，那么系統(tǒng)在運行過程中出現(xiàn)問題或者發(fā)生缺陷的概率就會增加；第三，系統(tǒng)建立的成本費用高，由于集中式架構(gòu)對基礎(chǔ)架構(gòu)有著嚴格的可靠性要求和高度的依賴性，而這些基礎(chǔ)架構(gòu)產(chǎn)品往往是被市場中少數(shù)的幾個公司壟斷，市場中缺乏有力的競爭對手，架構(gòu)成本居高不下；第四，由于架構(gòu)基礎(chǔ)是商業(yè)性軟件架構(gòu)，銀行自身不擁有這類核心技術(shù)，所以在系統(tǒng)維護中受制于人，同時受供貨商和整體供應(yīng)鏈的影響和風險較大。

（三）分布式架構(gòu)的優(yōu)缺點

分布式架構(gòu)的建立是按照一定的緯度將整個系統(tǒng)進行拆分，并通過一定的負載平衡原則，將銀行的各個業(yè)務(wù)在多個節(jié)點上進行分攤。這種架構(gòu)模式的主要優(yōu)點是：各個節(jié)點松耦合，架構(gòu)具有較強的開放型和兼容性、對架構(gòu)底層產(chǎn)品的依賴程度較低，整體架構(gòu)的成本低，同集中式架構(gòu)相比，可以使用更為廉價的基礎(chǔ)硬件和開源軟件，也不會受到來自供貨商的制約，在市場中建立更多供貨商的競爭，保證基礎(chǔ)成本的低廉。未來，隨著分布式架構(gòu)應(yīng)用規(guī)模的擴大，各類功能的成本將會逐漸壓縮。

分布式架構(gòu)在具體的應(yīng)用中最大的挑戰(zhàn)就是各個節(jié)點的協(xié)同處理，隨著系統(tǒng)的運轉(zhuǎn)，要保證各個節(jié)點數(shù)據(jù)處理的一致性和完整性。在分布式計算技術(shù)的應(yīng)用中，CPA理論是一個重要的指導(dǎo)原則，根據(jù)該原則的理論模型，在容錯性、可用性和一致性三者中間，系統(tǒng)只能同時保證兩個特點，例如，如果要保證數(shù)據(jù)的一致性和可用性，那么就要犧牲容錯性。目前，銀行業(yè)在分布式架構(gòu)處理過程中，根據(jù)業(yè)務(wù)的特點一般都是放棄一致性，通過后期的應(yīng)用設(shè)計，實現(xiàn)最終的一致性。分布式架構(gòu)在應(yīng)用中，設(shè)計和研發(fā)的難度增加，另外，隨著系統(tǒng)中各類節(jié)點數(shù)量的增加，對系統(tǒng)的運營管理和應(yīng)急突發(fā)處理技術(shù)也提出了更高的要求。

三、分布式架構(gòu)在銀行中的實現(xiàn)與應(yīng)用

近年來，隨著市場中信息技術(shù)能力的提升，眾多服務(wù)于數(shù)據(jù)信息的軟件也逐漸成熟。較為有代表性的是LINUX開源軟件，以X86服務(wù)器為例，具有較強的可靠性，能夠極大的促進系統(tǒng)的數(shù)據(jù)處理能力，并促進集群、大數(shù)據(jù)和網(wǎng)絡(luò)技術(shù)的廣泛應(yīng)用，為分布式架構(gòu)提供了有利的基礎(chǔ)條件。以下介紹了分布式架構(gòu)在商業(yè)銀行、建設(shè)銀行、中國銀行中的實現(xiàn)與應(yīng)用。

（一）分布式架構(gòu)在商業(yè)銀行中的實現(xiàn)與應(yīng)用

1. 主機領(lǐng)域

隨著新時代的到來，國家和政府也加大了對新型技術(shù)建設(shè)和投入的力度，各大銀行也都在不斷的推出新的銀行管理系統(tǒng)。農(nóng)業(yè)銀行以系統(tǒng)建設(shè)為機，進行對主機架構(gòu)的優(yōu)化。首先，分離出交易路由層，實現(xiàn)銀行系統(tǒng)交易的統(tǒng)一和均衡調(diào)度的負載，降低各系統(tǒng)對主機的依賴程度，減少系統(tǒng)運行過程中能源的消耗；第二，采用讀與寫的分離設(shè)計，實現(xiàn)主機最大程度的開放，提高主機的兼容性，將查詢類的應(yīng)用處理轉(zhuǎn)移到X86服務(wù)器上，并通過DRDA的訪問方式進行對主機數(shù)據(jù)庫的訪問，從新型系統(tǒng)的試點統(tǒng)計情況來看，查詢類交易下移之后可以比下移之前節(jié)省約一半的主機資源消耗，節(jié)約能源的效果十分明顯，可以有效的降低銀行日常運行的成本；第三，將明細數(shù)據(jù)轉(zhuǎn)移到銀行系統(tǒng)的開放性平臺中，利用HADOOP架構(gòu)實現(xiàn)對各類業(yè)務(wù)的明細查詢，分工明細，可以節(jié)約業(yè)務(wù)辦理的時間，提高系統(tǒng)使用效率；第四，將各類下移的業(yè)務(wù)系統(tǒng)統(tǒng)一轉(zhuǎn)移到系統(tǒng)的開放型平臺中，減少對核心主機的使用頻率，降低能源消耗。

2. 開放領(lǐng)域

農(nóng)業(yè)銀行實現(xiàn)了自己的全國數(shù)據(jù)和核心業(yè)務(wù)集中之后，在銀行中大力的推行集群架構(gòu)和信息技術(shù)的應(yīng)用，逐漸采用LINUX技術(shù)代替了UNIX技術(shù)，使用X86服務(wù)器代替了小型機設(shè)備，并將集群數(shù)據(jù)庫逐漸引進到系統(tǒng)架構(gòu)中，采取了存儲的云端應(yīng)用，建立了更加開放的分布式架構(gòu)，同時，加強了對系統(tǒng)的監(jiān)控和系統(tǒng)功能的研發(fā)，降低了傳統(tǒng)的分布式架構(gòu)中由于節(jié)點眾多而造成的運營管理壓力，提高了系統(tǒng)的管理效率和標準化運營水平。

目前，農(nóng)業(yè)銀行的開放式架構(gòu)已經(jīng)從應(yīng)用的接入層、服務(wù)層、數(shù)據(jù)服務(wù)層和存儲服務(wù)層多個層面實現(xiàn)了分布式管理和部署。其中，應(yīng)用接入層，也就是業(yè)務(wù)需求的接入層，負面對需求的接受和后續(xù)交易的分配，同時保證整個系統(tǒng)的負載平衡。通過接入層的應(yīng)用，實現(xiàn)了系統(tǒng)前端和后端的信息互通，系統(tǒng)的后端可以根據(jù)實際需求隨時進行自我性能和容量的拓展，具有較強的靈活性。

應(yīng)用服務(wù)層主要是對前端各類需求和指令的邏輯處理，主要平臺是.net和.java，由于分布式中各節(jié)點的平衡和相對獨立的運行狀態(tài)，所以系統(tǒng)中任何一個節(jié)點出現(xiàn)問題時，都可以通過系統(tǒng)前端的均衡負載集群及時的判斷和應(yīng)急處理，保證故障節(jié)點之外的整個系統(tǒng)還可以有效運行，服務(wù)層的硬件皆采用X86服務(wù)器，保證系統(tǒng)資源的靈活性。

3. 數(shù)據(jù)服務(wù)層數(shù)據(jù)的存取

數(shù)據(jù)服務(wù)層的主要功能是對數(shù)據(jù)的存儲，可以具體的分為聯(lián)機事物處理和聯(lián)機分析處理兩個方向。聯(lián)機事物處理一般采用較為成熟的供貨商的產(chǎn)品，在市場中同類企業(yè)一般有2～3家，保有一定市場競爭的同時降低了銀行業(yè)設(shè)備采購的集中風險。在具體的應(yīng)用中，如果是業(yè)務(wù)量較大的聯(lián)機事務(wù)處理，可以采用讀寫分離的設(shè)計，實現(xiàn)聯(lián)機與批量的分離，或者按照其它的特性對數(shù)據(jù)進行有規(guī)律的拆分，例如網(wǎng)銀系統(tǒng)，每天的交易使用量過億次，巨大的工作量如果采用單數(shù)據(jù)庫系統(tǒng)的壓力非常大，如果在運行中能夠按照地域、客戶種類、客戶級別等多個緯度進行數(shù)據(jù)庫的拆分，實現(xiàn)數(shù)據(jù)的橫向拓展，那么即便是有一個緯度的數(shù)據(jù)庫出現(xiàn)故障，對整個網(wǎng)銀數(shù)據(jù)庫的運行影響也是比較小的。目前，隨著我國X86服務(wù)器性能穩(wěn)定的提升和集群數(shù)據(jù)庫技術(shù)的逐漸成熟，銀行也加強了X86服務(wù)器在數(shù)據(jù)庫領(lǐng)取中的推廣和使用。近年來，我國的銀行信貸系統(tǒng)的數(shù)據(jù)庫設(shè)備已經(jīng)大多轉(zhuǎn)移到X86服務(wù)器上，每天的交易數(shù)量超過三千萬次。X86服務(wù)器也應(yīng)用在新一代的銀行卡辦理活動中，隨著新一代銀行卡的推出，新的數(shù)據(jù)庫計算環(huán)境隨之建立，服務(wù)器根據(jù)新型業(yè)務(wù)的類別和特點，進行了有針對性的保護設(shè)計，保證了架構(gòu)中單一節(jié)點出現(xiàn)故障之后其它節(jié)點的連續(xù)進行。對于業(yè)務(wù)量不是很大的情況，利用虛擬技術(shù)，構(gòu)建集中部署、有效隔離和彈性伸縮的數(shù)據(jù)庫資源池，為系統(tǒng)整合提供了支撐。

聯(lián)機分析處理領(lǐng)域，銀行內(nèi)部也較早的實現(xiàn)了分布式數(shù)據(jù)庫的集群架構(gòu)。早在2011年，銀行進行了審計系統(tǒng)的建設(shè)，基于分布式數(shù)據(jù)庫集群的建設(shè)，使用了X86服務(wù)器，全面的實現(xiàn)了銀行審計業(yè)務(wù)數(shù)據(jù)的集中，集中的數(shù)據(jù)量超過了30TB，滿足了大多是審計人員的工作需要。隨之銀行將分析型系統(tǒng)的數(shù)據(jù)全部架構(gòu)在X86服務(wù)器集群之上。在隨后的兩年時間里，伴隨著信息技術(shù)水平的不斷提升，銀行業(yè)在加強數(shù)據(jù)系統(tǒng)的同時積極的同社會廠商合作，系統(tǒng)運行中的各個難點也不斷的被攻破，分布式的MPP集群數(shù)據(jù)庫被逐步的建立，目前，銀行的聯(lián)機分析處理領(lǐng)域中最大的集群可以達到56個節(jié)點，數(shù)據(jù)總量達2PB，每天的作業(yè)量在四萬次以上。在數(shù)據(jù)處理過程中，遇到業(yè)務(wù)邏輯相對簡單的領(lǐng)域，多采用HADOOP的架構(gòu)形式。截至2013年年底，銀行的核心系統(tǒng)的查詢業(yè)務(wù)已經(jīng)都轉(zhuǎn)移到HADOOP平臺中，即滿足了客戶的查詢需求，也提高了系統(tǒng)使用的效率性，節(jié)約了系統(tǒng)運行的成本。

4. 存儲服務(wù)層

存儲層的主要功能是對各級數(shù)據(jù)的存儲和備份，目前，銀行系統(tǒng)使用較多的存儲是NAS和SAN兩類，并利用虛擬化、存儲復(fù)制等技術(shù)實現(xiàn)數(shù)據(jù)的存儲和利用。產(chǎn)品供應(yīng)方面市場中保有3家以上，競爭良好，近年來，隨著國有產(chǎn)品技術(shù)的提升，國產(chǎn)SAN和NSA在存儲方面的應(yīng)用也得到了廣泛的推廣。另外，我國的基礎(chǔ)服務(wù)器、固態(tài)盤和軟件的分布式存儲技術(shù)也都獲得了極為明顯的進步。

采用分布式架構(gòu)，可以降低系統(tǒng)中單個節(jié)點對系統(tǒng)基礎(chǔ)的依賴性，通過架構(gòu)來保證系統(tǒng)整體的穩(wěn)定性。但是，隨著分布式架構(gòu)應(yīng)用的逐漸擴大，系統(tǒng)的設(shè)備和數(shù)量也在快速的增長，所以在系統(tǒng)具體的運營管理中，還有很多需要完善的地方。在今后分布式架構(gòu)的管理中，應(yīng)大力加強對系統(tǒng)的監(jiān)控管理，同時堅持研發(fā)和推廣屬于銀行自己的自動化管理平臺，推廣統(tǒng)一的管理程序，統(tǒng)一系統(tǒng)的管理流程。

（二）分布式架構(gòu)在建設(shè)銀行中的實現(xiàn)與應(yīng)用

中國建設(shè)銀行基于X86分布式架構(gòu)，將大數(shù)據(jù)、查詢類以及渠道類業(yè)務(wù)逐漸轉(zhuǎn)變?yōu)榉植际郊軜?gòu)。該行經(jīng)過一定的業(yè)務(wù)分析，將可以從集中式架構(gòu)中分離出來的、對數(shù)據(jù)一致性要求較低的業(yè)務(wù)拆分開來。比方以前對客戶信息進行管理的這一功能主要集中于大型機上，并利用組件化設(shè)計、業(yè)務(wù)分析，對獨立客戶信息組件進行了定義。將客戶信息管理業(yè)務(wù)功能從大型機中轉(zhuǎn)移到分布式架構(gòu)中。

此外，建行還研究探索了客戶渠道中分庫分表的分布式架構(gòu)，分布式架構(gòu)可以對分庫分表進行相應(yīng)的改造，使其能夠更好的應(yīng)對不斷增長的電子渠道龐大的數(shù)據(jù)量與交易量。就客戶渠道而言，手機銀行、網(wǎng)銀擔負著的交易量非常大，就這一問題可以建立一個公共的數(shù)據(jù)庫，將其拓展成多個同構(gòu)的公共庫，進而促進數(shù)據(jù)分布存放的實現(xiàn)。結(jié)合客戶的ID取?？梢源怪辈鸱謹?shù)據(jù)庫，進而降低了高并訪問給數(shù)據(jù)量造成的壓力。經(jīng)過上述改造，可以將1個客戶的過程流水、限額以及緩存等儲存在1個數(shù)據(jù)庫中，以便降低跨庫失誤現(xiàn)象的產(chǎn)生，為客戶體驗提供有力的保障。在核心賬戶的交易上，建設(shè)銀行還對數(shù)據(jù)實現(xiàn)從強一致性轉(zhuǎn)變?yōu)樽罱K滿足一致性進行了相關(guān)的探索。并且利用失誤的分階段提交、補償機制以及異常錯誤的檢測等漸漸把銀行賬務(wù)系統(tǒng)也轉(zhuǎn)移至分布式架構(gòu)中。

（三）分布式架構(gòu)在中國銀行中的實現(xiàn)與應(yīng)用

中國銀行引入了一種低成本PC服務(wù)器(x86平臺)的分布式開源技術(shù)體系，在硬件上，采用了相對低廉的x86平臺，降低了IT投入成本。從交易量上看，微信“搖一搖、搶紅包”、支付寶“雙十一”秒殺等活動遠大于其他的商業(yè)銀行。這充分說明了利用橫向擴展，分布式架構(gòu)的處理能力非常強大。此外，也體現(xiàn)出分布式架構(gòu)已經(jīng)逐漸走向成熟，該技術(shù)具有一定的可靠性，能夠再一定程度上滿足傳統(tǒng)企業(yè)對穩(wěn)定性、應(yīng)用可用性的要求。

（四）分布式架構(gòu)在興業(yè)銀行中的實現(xiàn)與應(yīng)用

隨著業(yè)務(wù)規(guī)模地不斷擴大，以及相關(guān)產(chǎn)品和服務(wù)種類地迅速增加，銀行自身的數(shù)據(jù)總量在劇烈膨脹、數(shù)據(jù)類型也在不斷增多。與此同時，隨著我國金融市場的逐步開放，以互聯(lián)網(wǎng)為代表的現(xiàn)代信息科技，特別是，門戶網(wǎng)站、社區(qū)論壇、微博、微信等新型傳播方式的蓬勃發(fā)展，移動支付、搜索引擎和云計算的廣泛應(yīng)用，構(gòu)建起了全新的虛擬客戶信息體系，數(shù)據(jù)海量化、多樣化、快速化和價值化。銀行當前數(shù)據(jù)分析平臺體系（包含基礎(chǔ)平臺、分析集市、分析倉庫等）積累了豐富的數(shù)據(jù)，為信用卡各項業(yè)務(wù)發(fā)展提供穩(wěn)定高效的數(shù)據(jù)支持。然而，隨著大數(shù)據(jù)時代的到來，基礎(chǔ)數(shù)據(jù)正向著大量、多樣、高速、價值方向轉(zhuǎn)化，傳統(tǒng)數(shù)據(jù)處理技術(shù)已漸漸無法滿足未來數(shù)據(jù)的變化及發(fā)展趨勢，因此銀行搭建了互聯(lián)網(wǎng)渠道非結(jié)構(gòu)化數(shù)據(jù)采集、處理、存儲的大數(shù)據(jù)基礎(chǔ)平臺，本著“統(tǒng)一規(guī)劃，分步實施，循序漸進，迭代上升”的理念，項目以基礎(chǔ)平臺搭建為主，建立分布式處理框架，重點實現(xiàn)異構(gòu)數(shù)據(jù)采集、處理和存儲，并探索挖掘客戶互聯(lián)網(wǎng)行為標簽。

四、結(jié)語

隨著信息技術(shù)的提升和互聯(lián)玩+時代的到來，銀行業(yè)的信息交換和整合的需求越來越強。隨著銀行操作數(shù)據(jù)的存儲與計算能力的加強，各個系統(tǒng)之間也不在是過去信息零溝通的孤島局面，各個系統(tǒng)的數(shù)據(jù)都有了統(tǒng)一的標準和規(guī)劃，都為系統(tǒng)的整體提供保證和效用，也為銀行業(yè)在日益激烈的市場競爭中贏得有利的局勢，為銀行業(yè)今后的穩(wěn)定發(fā)展奠定了基礎(chǔ)。分布式存儲與計算系統(tǒng)架構(gòu)在銀行中應(yīng)用，即可以提高系統(tǒng)對數(shù)據(jù)的高效處理能力，也提高了信息系統(tǒng)的靈活性、兼容性、經(jīng)濟性和高效性。本文主要介紹了分布式數(shù)據(jù)架構(gòu)的發(fā)展背景、數(shù)據(jù)存儲的整體架構(gòu)，從網(wǎng)絡(luò)理論的基礎(chǔ)著手，對系統(tǒng)架構(gòu)在銀行運營管理中的具體應(yīng)用進行研析，希望能為分布式存儲與計算在銀行業(yè)的實現(xiàn)與應(yīng)用提供有價值的參考資料，以促進銀行服務(wù)的整體發(fā)展。

作者單位：戴云飛 ，四川大學軟件工程學院石明， 西南財經(jīng)大學