Rohan+Pearce著+Charles譯

對(duì)于在ASX上市的保險(xiǎn)集團(tuán)IAG而言，采用開源軟件和開源方法進(jìn)行開發(fā)和創(chuàng)新將在其未來發(fā)展中扮演越來越重要的角色。

IAG最近轉(zhuǎn)向開源OpenStack云平臺(tái)，幫助整合了20多個(gè)數(shù)據(jù)倉(cāng)庫，這一過程節(jié)省了數(shù)百萬美元的成本。

該公司在澳大利亞、新西蘭、泰國(guó)、越南和印度尼西亞都有業(yè)務(wù)，前段時(shí)間開展了一個(gè)宏偉的項(xiàng)目，旨在整合其核心保單和索賠平臺(tái)，把32個(gè)系統(tǒng)遷移到兩個(gè)系統(tǒng)中。

據(jù)該公司的數(shù)據(jù)工程和數(shù)據(jù)運(yùn)營(yíng)負(fù)責(zé)人Eddie Satterly講，在OpenStack推出之前，IAG自2000年成立之后，經(jīng)過一系列的收購(gòu)，造成了這一跨國(guó)保險(xiǎn)公司有23種不同數(shù)據(jù)倉(cāng)庫的局面，而且這些數(shù)據(jù)倉(cāng)庫采用了10種不同的技術(shù)。

Satterly說：“一些倉(cāng)庫是建立在IBM技術(shù)之上的，有些是Oracle，有些是Informix，有些則是MS SQL?！?/p>

情況“非常復(fù)雜”，需要加以簡(jiǎn)化，以確保該保險(xiǎn)公司能夠很好的使用其龐大的數(shù)據(jù)量。做出的決定是采用開源技術(shù)，著眼于利用社群驅(qū)動(dòng)的創(chuàng)新，而不是通過商業(yè)軟件供應(yīng)商或者完全自己去開發(fā)所有的一切。

Satterly說：“在此基礎(chǔ)上，我們開始研究他們有什么，有什么樣的資產(chǎn)，經(jīng)過驗(yàn)證的工作負(fù)載是什么，我們想要遷移的工作負(fù)載的基本情況怎樣——包括一些開源工具，例如，Apache Kafka、Solr和Cassandra，以及Apache Storm，等等。”

他還補(bǔ)充道：“數(shù)據(jù)和分析部門希望有一半平臺(tái)使用大量的開源產(chǎn)品，另一半真的是圍繞傳統(tǒng)的數(shù)據(jù)倉(cāng)庫，使用現(xiàn)有的在用Greenplum環(huán)境?！?/p>

IAG測(cè)試比較了幾個(gè)不同平臺(tái)的性能，以支持?jǐn)?shù)據(jù)倉(cāng)庫的整合，包括SAN和vSAN支持的SAN、VMware環(huán)境中的直接計(jì)算，還采用了兩種不同版本的OpenStack：HP Enterprise的Helion和RedHat的OpenStack發(fā)行版。

Satterly說：“我們?cè)谒协h(huán)境中對(duì)工作負(fù)載進(jìn)行了實(shí)際測(cè)試，以發(fā)現(xiàn)哪些最適合我們，在數(shù)據(jù)移動(dòng)的所有過程中，哪些最擅長(zhǎng)處理我們非常高的IO工作負(fù)載?！?/p>

新的私有云是基于Red Hat OpenStack平臺(tái)，由Dell R730xd機(jī)架服務(wù)器和EMC ScaleIO提供支持。Satterly說，這一設(shè)置為IAG的數(shù)據(jù)工作負(fù)載提供了“極好的性能”。

這一舉措在財(cái)務(wù)上也得到了回報(bào)：上一財(cái)年，IAG通過把數(shù)據(jù)工作負(fù)載遷移到OpenStack，硬件和軟件成本降低了270萬美元。

Satterly說：“我們能夠取消一個(gè)價(jià)值100萬美元的SAN，轉(zhuǎn)而采用一個(gè)價(jià)值2萬美元的超融合節(jié)點(diǎn)。最初是一個(gè)雙機(jī)架系統(tǒng)——而我們現(xiàn)在有6個(gè)機(jī)架，我們已經(jīng)把大部分?jǐn)?shù)據(jù)工作負(fù)載遷移到了它上面，還遷移了一些對(duì)于處理工作非常重要的核心工作負(fù)載?！?/p>

該公司已經(jīng)整合到了11個(gè)數(shù)據(jù)倉(cāng)庫，最終目標(biāo)只有3個(gè)。IAG還縮短了部署時(shí)間，該公司最近將交付新數(shù)據(jù)服務(wù)的時(shí)間從3個(gè)月減少到5天。

IAG最初于2016年6月開始使用Helion測(cè)試OpenStack。Satterly說：“大概在10月份左右開始使用Red Hat套件。”今年1月，該保險(xiǎn)公司采用OpenStack開始了現(xiàn)場(chǎng)工作。

他說：“這是一個(gè)為期半年的試用過程，采用了不同的配置，不同的工作負(fù)載，以及不同的后端存儲(chǔ)，真的是要找到最終指標(biāo)，使我們更加敏捷，能夠快速開發(fā)新東西，測(cè)試新東西，實(shí)現(xiàn)的IO能夠滿足在我們環(huán)境中經(jīng)常要移動(dòng)40到80TB數(shù)據(jù)的要求?！?/p>

OpenStack環(huán)境被用作IAG原型，采用了一系列新技術(shù)進(jìn)行開發(fā)，包括利用Solr和Cassandra為客戶提供單一視圖。

Satterly說：“這樣，我們能夠開發(fā)新應(yīng)用，嘗試新東西，現(xiàn)在，我們可以在IAG內(nèi)部開發(fā)一些開源技術(shù)，并在外部共享這些技術(shù)。”

不久前，IAG開源了數(shù)據(jù)管道：一款基于Python的應(yīng)用程序，能夠把數(shù)據(jù)從源數(shù)據(jù)庫復(fù)制到目標(biāo)數(shù)據(jù)庫，以幫助實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)分析，同時(shí)對(duì)原始數(shù)據(jù)庫的影響最小。

一些保險(xiǎn)相關(guān)的核心工具現(xiàn)在運(yùn)行在IAG的OpenStack上，該公司有可能將其核心索賠平臺(tái)的部分工作遷移到該平臺(tái)上。Satterly說，不過，該保險(xiǎn)公司采取了謹(jǐn)慎的態(tài)度。

他說：“在這方面，我們肯定要努力進(jìn)行測(cè)試，看看他們是否能做到這一點(diǎn)，至少?gòu)漠a(chǎn)品準(zhǔn)備投產(chǎn)前開始，直到最終的生產(chǎn)?！?/p>

Satterly補(bǔ)充說，使用OpenStack是打造“開源文化”大量工作中的一部分。在首席客戶官Julie Batch的領(lǐng)導(dǎo)下，目前已經(jīng)在IAG客戶實(shí)驗(yàn)室展開了這項(xiàng)工作，開發(fā)一種“內(nèi)部源”方法，基于新興的開源功能快速進(jìn)行原型設(shè)計(jì)，然后，在其上進(jìn)行開發(fā)，最后再回到開源項(xiàng)目上。endprint