Hadoop構(gòu)建的銀行海量數(shù)據(jù)存儲系統(tǒng)研究

李德有+趙立波+解晨光

摘要：針對目前國內(nèi)銀行的OLAP（Online Analytical Processing）技術(shù)滯后于海量數(shù)據(jù)處理需求的情況，研究了海量數(shù)據(jù)存儲、處理的關(guān)鍵技術(shù)，設(shè)計并實現(xiàn)了用Hadoop平臺和關(guān)系型數(shù)據(jù)庫架構(gòu)的銀行海量數(shù)據(jù)處理系統(tǒng)，介紹了系統(tǒng)架構(gòu)、文件存儲層次設(shè)計、數(shù)據(jù)遷移方案、任務(wù)調(diào)度算法等關(guān)鍵技術(shù)的實現(xiàn)，通過實驗驗證，系統(tǒng)能夠?qū)崿F(xiàn)數(shù)據(jù)的高可靠性與數(shù)據(jù)的高可用性目標，既能滿足業(yè)務(wù)數(shù)據(jù)實時處理的需求，也能滿足海量數(shù)據(jù)統(tǒng)計分析的需求。endprint