周永紅

為積極應(yīng)對(duì)金融與科技融合創(chuàng)新發(fā)展的新趨勢(shì)，更好地服務(wù)全行經(jīng)營(yíng)轉(zhuǎn)型，助力“智慧銀行”戰(zhàn)略實(shí)施，2017年，工商銀行制定了通過(guò)建設(shè)“新一代智慧銀行信息系統(tǒng)”推動(dòng)經(jīng)營(yíng)轉(zhuǎn)型的戰(zhàn)略目標(biāo)。工商銀行云計(jì)算創(chuàng)新實(shí)驗(yàn)室在這一過(guò)程中，充分利用云計(jì)算、分布式等新技術(shù)手段，對(duì)標(biāo)業(yè)界云計(jì)算技術(shù)發(fā)展及行業(yè)標(biāo)準(zhǔn)，結(jié)合工商銀行的管理、運(yùn)維和監(jiān)控需要，打造并正式發(fā)布“工銀星云”技術(shù)平臺(tái)，即工商銀行金融云兩大基礎(chǔ)平臺(tái)（基礎(chǔ)設(shè)施云IaaS和應(yīng)用平臺(tái)云PaaS）。同時(shí)，結(jié)合工商銀行實(shí)際情況，形成了適用于工商銀行的云計(jì)算技術(shù)規(guī)范要求，并貫標(biāo)落地。目前“工銀星云”技術(shù)平臺(tái)為工商銀行IT系統(tǒng)提供標(biāo)準(zhǔn)化、自動(dòng)化的IT基礎(chǔ)設(shè)施和公共技術(shù)服務(wù)，并有力支撐了主機(jī)+開(kāi)放平臺(tái)、集中式+分布式的雙核心架構(gòu)體系。

技術(shù)引領(lǐng) 打造“工銀星云”

工商銀行于1999年完成了全球數(shù)據(jù)大集中，2008年開(kāi)始全面部署服務(wù)器虛擬化，并在2014年緊隨業(yè)務(wù)發(fā)展趨勢(shì)全力啟動(dòng)云計(jì)算的研究工作。工商銀行從自身特點(diǎn)出發(fā)，始終堅(jiān)持“敢于創(chuàng)新、勇于實(shí)踐”的精神，通過(guò)對(duì)容器技術(shù)、軟負(fù)載技術(shù)、分布式服務(wù)、日志等業(yè)界主流云計(jì)算開(kāi)源技術(shù)的引入、消化、吸收、實(shí)踐、再創(chuàng)新，經(jīng)過(guò)近三年的努力，打造了自主可控的企業(yè)級(jí)云平臺(tái)“工銀星云”，推進(jìn)IT資源向快速響應(yīng)、彈性伸縮、高可用、低成本的云計(jì)算環(huán)境轉(zhuǎn)型，為客戶(hù)及交易規(guī)模高速發(fā)展提供有力支撐，為突發(fā)性業(yè)務(wù)峰值提供資源保障。

工商銀行基礎(chǔ)設(shè)施云IaaS基于開(kāi)放OpenStack、SDN之上自主研發(fā)云管平臺(tái)，實(shí)現(xiàn)了計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)資源的供應(yīng)，與應(yīng)用平臺(tái)云PaaS、流程管理等系統(tǒng)的聯(lián)動(dòng)以及資源的可視化管理。依托“兩地三中心”布局，設(shè)計(jì)實(shí)現(xiàn)了園區(qū)、資源池等多層次的高可用，支撐業(yè)務(wù)安全穩(wěn)定運(yùn)行。在開(kāi)源產(chǎn)品OpenStack基礎(chǔ)上，加強(qiáng)故障探測(cè)、自動(dòng)恢復(fù)、平滑升級(jí)等方面的技術(shù)創(chuàng)新，支撐業(yè)務(wù)連續(xù)運(yùn)作。通過(guò)Ceph提供了分布式塊存儲(chǔ)，具有易擴(kuò)展性，為上層虛擬機(jī)提供了更加經(jīng)濟(jì)的磁盤(pán)。通過(guò)SDN將網(wǎng)絡(luò)由“硬”變“軟”，提升了網(wǎng)絡(luò)的集中控制和集約化管理能力。通過(guò)云管平臺(tái)完成系統(tǒng)軟件安裝、用戶(hù)及安全配置、配置信息更新和監(jiān)控納管，實(shí)現(xiàn)全流程自動(dòng)供應(yīng)。提供服務(wù)化接口，上層平臺(tái)可自助申請(qǐng)資源，并實(shí)現(xiàn)對(duì)應(yīng)用透明的高可用部署。

工商銀行應(yīng)用平臺(tái)云PaaS采用輕量級(jí)容器技術(shù)，引入業(yè)界主流的容器集群編排及調(diào)度技術(shù)Kubernetes，在調(diào)度、負(fù)載均衡、彈性伸縮、集群管理、日志和監(jiān)控等方面實(shí)現(xiàn)了完整的企業(yè)級(jí)平臺(tái)能力。應(yīng)用平臺(tái)云PaaS可提升平臺(tái)集群容量，支持萬(wàn)級(jí)容器集群規(guī)模；實(shí)現(xiàn)應(yīng)用節(jié)點(diǎn)編排，支持復(fù)雜架構(gòu)應(yīng)用上云；提供容器自愈，實(shí)現(xiàn)應(yīng)用故障自動(dòng)恢復(fù)能力；提供多集群能力，實(shí)現(xiàn)應(yīng)用按需隔離；建立云上日志中心及診斷體系，提升云上應(yīng)用的精細(xì)化管理水平；提供負(fù)載均衡服務(wù)，為應(yīng)用提供更為豐富的軟負(fù)載能力；并基于Prometheus實(shí)現(xiàn)了多維度、多層級(jí)的一體化監(jiān)控體系以及云運(yùn)維體系，提升云上應(yīng)用的自動(dòng)化運(yùn)維水平。同時(shí)，實(shí)踐基于PaaS云的DevOps，使應(yīng)用的軟件構(gòu)建、測(cè)試、發(fā)布更加快捷，提供從開(kāi)發(fā)到生產(chǎn)快速交付的能力，為應(yīng)用快速迭代提供了技術(shù)支撐。

規(guī)范先行

推動(dòng)云計(jì)算金融標(biāo)準(zhǔn)化

在“工銀星云”的建設(shè)過(guò)程中，工商銀行結(jié)合云平臺(tái)建設(shè)及應(yīng)用入云推廣的實(shí)踐經(jīng)驗(yàn)，積累形成了適用于工商銀行的云計(jì)算技術(shù)規(guī)范要求。在云計(jì)算技術(shù)架構(gòu)、安全標(biāo)準(zhǔn)、非功能性及容災(zāi)應(yīng)急等方面形成一系列指導(dǎo)性的規(guī)劃、方案以及落地實(shí)施的標(biāo)準(zhǔn)和規(guī)范要求，使得“工銀星云”不僅在技術(shù)架構(gòu)上保持業(yè)界領(lǐng)先，而且形成了可落地實(shí)施的技術(shù)規(guī)范要求。此外，在落地過(guò)程中，工商銀行還提供了標(biāo)準(zhǔn)化的技術(shù)實(shí)現(xiàn)手段和流程。

云計(jì)算在引入新技術(shù)的同時(shí)，也會(huì)引入新的安全風(fēng)險(xiǎn)。在“工銀星云”建設(shè)過(guò)程中，為了確保工商銀行云平臺(tái)安全合規(guī)，針對(duì)云計(jì)算安全技術(shù)方面形成了《云平臺(tái)安全研究報(bào)告》，對(duì)云安全體系的總體架構(gòu)進(jìn)行了全面梳理，給出了云安全體系框架，并在云平臺(tái)建設(shè)過(guò)程中充分考慮了云平臺(tái)安全加固的解決方案。

在應(yīng)用入云實(shí)施方面，工商銀行注重應(yīng)用上云質(zhì)量及上云效果，充分根據(jù)云平臺(tái)價(jià)值，結(jié)合各自應(yīng)用特點(diǎn)及適云場(chǎng)景推動(dòng)適合上云的應(yīng)用入云，并形成了適用于工商銀行的《應(yīng)用適云技術(shù)評(píng)估》《基礎(chǔ)設(shè)施云技術(shù)指引》及《應(yīng)用平臺(tái)云技術(shù)指引》，明確了應(yīng)用入云的三種場(chǎng)景：滿(mǎn)足應(yīng)用彈性伸縮的需求、快速響應(yīng)需求變化、利用云平臺(tái)資源規(guī)模效應(yīng)。同時(shí)規(guī)范技術(shù)要點(diǎn)，形成了基于行內(nèi)金融云計(jì)算的開(kāi)發(fā)技術(shù)規(guī)范，明確了應(yīng)用入云場(chǎng)景及入云評(píng)估、應(yīng)用入云改造、應(yīng)用入云擴(kuò)展能力等技術(shù)要求及云計(jì)算環(huán)境下運(yùn)維要求等。

為貫徹標(biāo)準(zhǔn)落實(shí)以及標(biāo)準(zhǔn)化應(yīng)用入云實(shí)施，工商銀行充分借助社區(qū)化建設(shè)及推廣，提供完備的應(yīng)用入云工作流程、技術(shù)規(guī)范、用戶(hù)指引、最佳實(shí)踐及技術(shù)支持；并面向開(kāi)發(fā)中心、數(shù)據(jù)中心（上海）、數(shù)據(jù)中心（北京）以及分行組織云計(jì)算專(zhuān)題講座及技術(shù)指引宣講，為云計(jì)算實(shí)施布道，提升應(yīng)用入云的規(guī)范及標(biāo)準(zhǔn)化水平。目前，“工銀星云”已完成總行100余個(gè)關(guān)鍵應(yīng)用入云，并推廣至浙江分行、北京分行、青海分行、上海分行、山東分行以及工銀澳門(mén)等分行和境外分支機(jī)構(gòu)，有力地推動(dòng)了分行新技術(shù)的運(yùn)用及分行業(yè)務(wù)運(yùn)營(yíng)轉(zhuǎn)型。

此外，工商銀行還作為起草單位，參與編寫(xiě)中國(guó)人民銀行牽頭的云計(jì)算技術(shù)金融應(yīng)用規(guī)范中技術(shù)架構(gòu)、安全技術(shù)要求、容災(zāi)三方面內(nèi)容，提供工商銀行在云計(jì)算領(lǐng)域的應(yīng)用實(shí)踐、標(biāo)準(zhǔn)化規(guī)范等經(jīng)驗(yàn)，并持續(xù)推進(jìn)云計(jì)算技術(shù)金融應(yīng)用規(guī)范在工商銀行的落地實(shí)施。

發(fā)揮云計(jì)算價(jià)值

支撐互聯(lián)網(wǎng)金融業(yè)高速發(fā)展

“工銀星云”采用了業(yè)界最主流、最流行的技術(shù)，經(jīng)過(guò)近三年的建設(shè)及生產(chǎn)實(shí)踐考驗(yàn)，已具備企業(yè)級(jí)云平臺(tái)能力及技術(shù)標(biāo)準(zhǔn)，并在以互聯(lián)網(wǎng)金融為代表的業(yè)務(wù)突發(fā)高峰場(chǎng)景有了大規(guī)模使用及成功實(shí)踐。工商銀行基礎(chǔ)設(shè)施云被評(píng)為第二屆中國(guó)優(yōu)秀云計(jì)算開(kāi)源案例特等獎(jiǎng)，工商銀行應(yīng)用平臺(tái)云獲得2017年度中國(guó)金融科技創(chuàng)新獎(jiǎng)。

目前，“工銀星云”已平穩(wěn)運(yùn)行并在生產(chǎn)中發(fā)揮著重要作用。其中，工商銀行基礎(chǔ)實(shí)施云IaaS運(yùn)行規(guī)模超一萬(wàn)套虛擬機(jī)節(jié)點(diǎn)，應(yīng)用平臺(tái)云容器規(guī)模近5000個(gè)，云上日均服務(wù)調(diào)用量超6億筆，覆蓋個(gè)人網(wǎng)銀、企業(yè)網(wǎng)銀、手機(jī)銀行、快捷支付、紀(jì)念幣等100余個(gè)關(guān)鍵應(yīng)用，涉及互聯(lián)網(wǎng)金融、合作方、物聯(lián)網(wǎng)和主機(jī)業(yè)務(wù)下移等相關(guān)場(chǎng)景，有效承載了工商銀行生產(chǎn)交易負(fù)載。

尤其在以互聯(lián)網(wǎng)金融為代表的業(yè)務(wù)突發(fā)高峰場(chǎng)景下，“工銀星云”已在第三方快捷支付、紀(jì)念幣預(yù)約發(fā)行和主機(jī)業(yè)務(wù)下移場(chǎng)景有了較大范圍的使用和成功實(shí)踐的經(jīng)驗(yàn)。借助云平臺(tái)的彈性擴(kuò)展和高可用能力，“工銀星云”支撐了工商銀行2016～2018年紀(jì)念幣預(yù)約發(fā)行、春節(jié)紅包、“雙11”大促等互聯(lián)網(wǎng)高并發(fā)場(chǎng)景，在生產(chǎn)經(jīng)歷了上萬(wàn)TPS的瞬時(shí)高峰考驗(yàn)。尤其是2018年賀歲幣發(fā)行期間，紀(jì)念幣應(yīng)用單個(gè)容器啟動(dòng)可實(shí)現(xiàn)秒級(jí)部署，紀(jì)念幣整個(gè)容器集群（約300個(gè)容器節(jié)點(diǎn)）分鐘級(jí)啟動(dòng)并完成對(duì)外服務(wù)準(zhǔn)備。

此外，工商銀行借助云平臺(tái)快速環(huán)境供應(yīng)，提升了運(yùn)維自動(dòng)化能力。云環(huán)境下，工商銀行基礎(chǔ)設(shè)施資源利用效率提升2～3倍，資源供應(yīng)效率供應(yīng)時(shí)間由2～3周縮短至分鐘級(jí)；通過(guò)基礎(chǔ)設(shè)施云IaaS與應(yīng)用平臺(tái)云PaaS的聯(lián)動(dòng)，業(yè)務(wù)高峰擴(kuò)容可達(dá)秒級(jí)，管理流程提升超過(guò)60%的流程實(shí)現(xiàn)全自動(dòng)化；并通過(guò)超大規(guī)模資源池共享、彈性擴(kuò)展、錯(cuò)峰使用、動(dòng)態(tài)回收等方式，在業(yè)務(wù)高峰期可靈活動(dòng)態(tài)調(diào)整資源，大幅提高了資源的使用效率，顯著降低了運(yùn)維成本。