海量設(shè)計文檔分布式存儲及負載均衡的研究與實現(xiàn)

蘇李亮，王云福，侯 斌

（中廣核工程有限公司 深圳 518052）

1 引言

信息化是核電工程設(shè)計單位實現(xiàn)發(fā)展與創(chuàng)新的重要手段，隨著核電工程設(shè)計信息化建設(shè)的逐步深入，海量的非結(jié)構(gòu)化、半結(jié)構(gòu)化的工程文件信息給網(wǎng)絡(luò)帶寬和服務(wù)器響應(yīng)速度帶來了巨大的挑戰(zhàn)。海量信息的分布式存儲以及由負載均衡系統(tǒng)構(gòu)建的Web服務(wù)器集群正是為滿足這一需求而設(shè)計的，對企業(yè)應(yīng)用的數(shù)據(jù)進行分布式存儲，同時在現(xiàn)有網(wǎng)絡(luò)結(jié)構(gòu)上實現(xiàn)負載均衡，是一種能夠提高網(wǎng)絡(luò)帶寬利用率、解決網(wǎng)絡(luò)擁塞問題、提供空閑服務(wù)器響應(yīng)、提高用戶請求響應(yīng)速度和避免單點故障的廉價的有效方法。

2 研究背景和現(xiàn)狀

設(shè)計文檔管理平臺是中廣核工程有限公司設(shè)計院建立的企業(yè)內(nèi)容管理平臺，其目標是實現(xiàn)設(shè)計文檔的海量存儲與管理，包括對各類結(jié)構(gòu)化、半結(jié)構(gòu)化工程文件的收集、分解、分類權(quán)限、審核、轉(zhuǎn)換、發(fā)布、更新、刪除、存儲、版本控制等過程，并保證數(shù)據(jù)的準確性、可復(fù)用性、安全性。

設(shè)計文檔管理平臺的系統(tǒng)架構(gòu)由Web應(yīng)用服務(wù)器層、內(nèi)容管理服務(wù)器（Documentum content server）層、存儲庫層以及由文件存儲系統(tǒng)（file storage system）、數(shù)據(jù)庫組成的數(shù)據(jù)存儲層共4層組成。設(shè)計文檔管理平臺采用的分層架構(gòu)模式使得系統(tǒng)具有靈活的可擴展性，每一層均可以進行多個節(jié)點的部署，如圖1所示。

圖 1 設(shè)計文檔管理平臺系統(tǒng)架構(gòu)

從圖1可以得知，平臺架構(gòu)上的Web應(yīng)用層以及數(shù)據(jù)存儲層均以集中部署方式應(yīng)用于整個企業(yè)。但隨著企業(yè)的迅猛發(fā)展，用戶規(guī)模大幅增長，設(shè)計平臺最初的架構(gòu)已很難適應(yīng)公司業(yè)務(wù)多項目、多基地格局的要求，為此，本文提出對平臺底層存儲采用分布式技術(shù)，同時結(jié)合前端Web應(yīng)用層的負載均衡對平臺系統(tǒng)架構(gòu)進行重構(gòu)，以實現(xiàn)平臺的高性能、高可用、可伸縮性。

3 分布式存儲技術(shù)方案的比較與選擇

分布式文件系統(tǒng)是分布式系統(tǒng)的重要組成部分，主要任務(wù)是統(tǒng)一管理所有分布式節(jié)點計算機上的文件資源，對一般用戶和應(yīng)用程序而言，它屏蔽了各個節(jié)點計算機底層文件系統(tǒng)的差異，對外提供統(tǒng)一的訪問接口。分布式文件系統(tǒng)通常要考慮并解決以下3個關(guān)鍵問題。

第一，透明性問題，分布式文件系統(tǒng)一般由多個節(jié)點組成，需要集體協(xié)作才能對外提供服務(wù)，分布式文件系統(tǒng)的透明性是指通過統(tǒng)一管理分布在局域網(wǎng) （或廣域網(wǎng)）中的所有節(jié)點服務(wù)器，使其對用戶和應(yīng)用程序的感覺好像只是一個高可用性的文件系統(tǒng)。

第二，一致性問題，即在各個應(yīng)用服務(wù)器訪問分布式文件系統(tǒng)時，它們所訪問的文件和目錄內(nèi)容之間的一致性關(guān)系。

第三，可擴展性問題，由于分布式系統(tǒng)的節(jié)點數(shù)量可能隨時隨地變化，因而分布式文件系統(tǒng)管理的文件對象也是隨時變化的，應(yīng)用對分布式文件系統(tǒng)在性能和容量方面的要求也在不斷地增長。

基于設(shè)計文檔管理平臺的體系架構(gòu)，采用分層模式，首先提出從存儲層上實現(xiàn)分布式技術(shù)的應(yīng)用，對系統(tǒng)進行重構(gòu)與擴展。

3.1 基于內(nèi)容復(fù)制的分布式存儲庫

在基于內(nèi)容復(fù)制的分布式存儲庫模式下，內(nèi)容管理服務(wù)器負責(zé)每一個內(nèi)容對象，包括文件實體和元數(shù)據(jù)的內(nèi)部復(fù)制。內(nèi)容管理服務(wù)器提供透明的服務(wù)，用戶可以在與一個存儲庫建立會話后，實現(xiàn)對該存儲庫內(nèi)容對象的操作，并相應(yīng)更新至其他多個節(jié)點的存儲庫上。

用戶可以訪問來自不同節(jié)點存儲庫的數(shù)據(jù)，并可以通過聯(lián)邦制的架構(gòu)方式，使統(tǒng)治節(jié)點與各聯(lián)邦成員的節(jié)點自動保持同步，解決不同節(jié)點之間用戶、群組和訪問控制列表的一致性問題。系統(tǒng)架構(gòu)如圖2所示。

圖 2 基于內(nèi)容復(fù)制的分布式架構(gòu)

基于內(nèi)容復(fù)制的分布式存儲庫方案具有遠程節(jié)點訪問數(shù)據(jù)速度快，同時支持Web和客戶端形式的應(yīng)用程序訪問以及內(nèi)容冗余增強系統(tǒng)數(shù)據(jù)安全等優(yōu)點。但硬件成本及軟件維護成本較高，各節(jié)點之間的數(shù)據(jù)復(fù)制以及一致性的保證需消耗大量系統(tǒng)資源，也是容易發(fā)生錯誤的地方，是該模式的不足之處。該模式比較適合節(jié)點產(chǎn)生大量需要納入內(nèi)容管理的數(shù)據(jù)，并且需要與系統(tǒng)配套的維護人員。

3.2 基于內(nèi)容分布式存儲的存儲庫

在基于內(nèi)容分布式存儲的存儲庫模式下，內(nèi)容對象分散地存儲于主節(jié)點與各分支節(jié)點服務(wù)器上，內(nèi)容管理服務(wù)器通過部署中間件實現(xiàn)對內(nèi)容對象的存儲與復(fù)制。在主節(jié)點內(nèi)容管理服務(wù)器上部署DMS（document messaging service）中間件，處理遠程用戶的異步寫操作。而在每個遠程節(jié)點都需完全部署一個內(nèi)容管理服務(wù)器，僅負責(zé)處理內(nèi)容對象的實體文件部分，同時需要部署ACS（accelerated content service）中間件，負責(zé)處理用戶請求的實體文件內(nèi)容。當(dāng)遠程用戶訪問內(nèi)容數(shù)據(jù)時，主節(jié)點負責(zé)處理用戶請求內(nèi)容數(shù)據(jù)的元數(shù)據(jù)，遠程節(jié)點負責(zé)處理用戶請求內(nèi)容數(shù)據(jù)的實體文件，整個過程由部署在主節(jié)點與遠程節(jié)點的中間件處理，解決了分布式系統(tǒng)的透明性問題。

內(nèi)容對象的元數(shù)據(jù)由主節(jié)點內(nèi)容管理服務(wù)器進行存儲與維護，遠程節(jié)點不包含內(nèi)容對象的元數(shù)據(jù)，數(shù)據(jù)的一致性由主節(jié)點唯一處理，從而保證了所有節(jié)點內(nèi)容對象的數(shù)據(jù)一致性。系統(tǒng)架構(gòu)如圖3所示。

圖3 基于內(nèi)容分布式存儲的系統(tǒng)架構(gòu)

基于內(nèi)容分布式存儲的存儲庫方案與前一方案相比，遠程節(jié)點不維護內(nèi)容對象的元數(shù)據(jù)，因此無法獨立應(yīng)用，數(shù)據(jù)的有效冗余度下降，硬件成本一致，但軟件的維護成本則減少。該模式比較適合遠程節(jié)點需要通過客戶端形式的應(yīng)用程序訪問大量實體文件數(shù)據(jù)的情況。

3.3 分布式存儲技術(shù)方案的實現(xiàn)

在現(xiàn)實生產(chǎn)環(huán)境中，設(shè)計文檔管理平臺僅采用B/S的模式，而上述兩種技術(shù)方案所支持的C/S模式?jīng)]有在遠程節(jié)點應(yīng)用的需求。因此，本文提出采用基于內(nèi)容緩存分布式存儲的存儲庫模式。

基于內(nèi)容緩存分布式存儲的存儲庫模式，內(nèi)容對象以緩存的方式分散地存儲于各個節(jié)點中間件服務(wù)器上，通過中間件的通信實現(xiàn)對內(nèi)容對象緩存的存儲與復(fù)制。每個遠程節(jié)點僅需部署一個輕量級的BOCS（branch office caching service，分支辦公緩存服務(wù)）中間件服務(wù)器，負責(zé)對被請求內(nèi)容對象的實體文件進行緩存。在主節(jié)點內(nèi)容管理服務(wù)器上部署DMS中間件，負責(zé)處理遠程用戶的異步寫操作。

當(dāng)遠程用戶訪問內(nèi)容數(shù)據(jù)時，主節(jié)點負責(zé)處理用戶請求內(nèi)容數(shù)據(jù)的元數(shù)據(jù)，遠程節(jié)點負責(zé)緩存并返回用戶請求內(nèi)容數(shù)據(jù)的實體文件內(nèi)容。第一次處理時，BOCS中間件對該內(nèi)容對象的實體文件部分進行緩存，當(dāng)再次請求已緩存的內(nèi)容對象時則直接返回，從而提高了用戶訪問數(shù)據(jù)的性能。整個過程由部署在主節(jié)點與遠程節(jié)點中間件的服務(wù)器處理，解決了分布式系統(tǒng)的透明性問題。

內(nèi)容對象的元數(shù)據(jù)及實體文件內(nèi)容均在主節(jié)點內(nèi)容管理服務(wù)器進行存儲與維護，遠程中間件節(jié)點僅處理對象的緩存數(shù)據(jù)，數(shù)據(jù)的一致性由主節(jié)點唯一處理，保證了內(nèi)容對象數(shù)據(jù)的一致性。系統(tǒng)架構(gòu)如圖4所示。

圖4 基于內(nèi)容緩存分布式的系統(tǒng)架構(gòu)

基于內(nèi)容緩存分布式存儲的存儲庫技術(shù)與上述兩種技術(shù)方案相比，遠程節(jié)點為不維護內(nèi)容對象的元數(shù)據(jù)，僅是一個輕量級的緩存中間件服務(wù)器，無法獨立應(yīng)用，并且只可以處理HTTP或HTTPS方式的請求，不支持客戶端應(yīng)用程序。但在硬件成本上則大大節(jié)省，同時軟件的維護成本也大大減少。該模式比較適合遠程節(jié)點僅需要通過Web形式的應(yīng)用程序訪問大量實體文件數(shù)據(jù)的情況。

4 負載均衡技術(shù)方案的選擇

常見的負載均衡技術(shù)按其實現(xiàn)方法進行區(qū)分，主要有3種：基于DNS的負載均衡、基于反向代理的負載均衡和基于NAT的負載均衡。

·基于DNS的負載均衡技術(shù)：為一個域名配置多個IP地址，用戶在訪問同一域名時會得到其中一個IP地址，不同的用戶會得到不同的IP地址，從而訪問不同的服務(wù)器，以達到負載均衡的目的。

·基于反向代理的負載均衡技術(shù)：使用代理服務(wù)器將用戶請求均勻地轉(zhuǎn)發(fā)給多臺內(nèi)部服務(wù)器之一，從而達到負載均衡的目的。

· 基于NAT的負載均衡技術(shù)：設(shè)置一個外部地址，當(dāng)用戶訪問該外部地址時，地址轉(zhuǎn)換網(wǎng)關(guān)會把用戶請求轉(zhuǎn)發(fā)給多臺內(nèi)部服務(wù)器之一，并且把請求的源地址改為自己的內(nèi)部IP地址；當(dāng)內(nèi)部服務(wù)器把響應(yīng)發(fā)給地址轉(zhuǎn)換網(wǎng)關(guān)時，地址轉(zhuǎn)換網(wǎng)關(guān)又把內(nèi)部服務(wù)器的響應(yīng)發(fā)給用戶，并且把響應(yīng)的源地址改為外部地址。

從上述介紹與分析中可以得出，基于DNS的負載均衡、基于反向代理的負載均衡，均無法滿足會話保持的要求，而設(shè)計文檔管理平臺是基于J2EE體系的Web企業(yè)應(yīng)用，實現(xiàn)內(nèi)容管理等復(fù)雜業(yè)務(wù)邏輯，不是簡單的靜態(tài)內(nèi)容，用戶訪問與操作應(yīng)用系統(tǒng)時必須與同一臺前端Web應(yīng)用服務(wù)器建立并保持會話。因此，本文提出采用業(yè)界較為先進的負載均衡器F5 BIG-IP提供的解決方案。

F5 BIG-IP是基于NAT的負載均衡技術(shù)的擴展，實現(xiàn)了L4/L7交換。F5 BIG-IP負載均衡處理主要包括以下幾個過程。

（1）截獲和檢查分析流量：保證只有合適的數(shù)據(jù)分組才能通過。

（2）服務(wù)器監(jiān)控和健康檢查：隨時了解服務(wù)器群的可用性狀態(tài)。

（3）負載均衡和應(yīng)用交換功能：通過各種策略或負載均衡算法將訪問請求導(dǎo)向到合適的服務(wù)器，這一過程包括目標服務(wù)器的選擇及NAT過程。

（4）會話保持：通過會話保持，保證一系列相關(guān)聯(lián)的會話不會被負載均衡到不同的服務(wù)器上。

在設(shè)計文檔管理平臺架構(gòu)，采用F5 BIG-IP負載均衡的iRule策略將遠程節(jié)點的訪問通過IP規(guī)則分配至遠端的Web應(yīng)用服務(wù)器，并用lesat connection策略對Web應(yīng)用服務(wù)器集群進行監(jiān)控與健康檢測。例如，上海的用戶訪問時，對請求進行截獲并應(yīng)用iRule規(guī)則檢查，發(fā)現(xiàn)符合IP規(guī)則，則將請求發(fā)送到上海的Web服務(wù)器，再采用least connection策略對所有Web服務(wù)器進行監(jiān)控和健康檢查，如果Web服務(wù)器SH1、SH2均為健康狀態(tài)，并且SH2的當(dāng)前連接數(shù)小于SH1，則負載均衡器將請求發(fā)送至SH2，并維持用戶與Web服務(wù)器SH2的會話直至用戶的會話結(jié)束。在設(shè)計文檔管理平臺上，負載均衡應(yīng)用方案如圖5所示。

圖5 F5負載均衡應(yīng)用方案

5 解決方案的應(yīng)用

綜合上述分布式存儲與負載均衡技術(shù)的分析與研究，提出將兩者結(jié)合到設(shè)計文檔管理平臺的系統(tǒng)架構(gòu)上，實現(xiàn)系統(tǒng)架構(gòu)從前端的負載均衡到后端內(nèi)容數(shù)據(jù)分布式存儲的統(tǒng)一。目前采用新的系統(tǒng)架構(gòu)方案已經(jīng)在企業(yè)的生產(chǎn)環(huán)境中進行應(yīng)用。改進后的設(shè)計文檔管理平臺的系統(tǒng)架構(gòu)如圖6所示。

圖6 改進后的設(shè)計文檔管理平臺系統(tǒng)架構(gòu)

6 結(jié)束語

本文所研究的分布式存儲與負載均衡技術(shù)，從解決大型企業(yè)局域網(wǎng)中分支機構(gòu)訪問與存儲非結(jié)構(gòu)化內(nèi)容數(shù)據(jù)資源問題的角度出發(fā)，提出了輕量級的內(nèi)容緩存分布式存儲技術(shù)方案，同時，結(jié)合負載均衡技術(shù)實現(xiàn)了系統(tǒng)的全局負載均衡，提高了系統(tǒng)的可用性與可靠性。目前系統(tǒng)已經(jīng)在提供設(shè)計文檔相關(guān)的應(yīng)用服務(wù)，運行效果良好。

隨著系統(tǒng)規(guī)模的增長，存儲服務(wù)器有可能成為系統(tǒng)性能的瓶頸和失效點，然而，虛擬化和云計算技術(shù)的結(jié)合帶來了全新的資源整合和使用模式，資源的按需分配和動態(tài)流動對于提高資源利用率、降低用戶總體擁有成本具有十分重要的意義?；诒疚默F(xiàn)在的工作，未來的一個研究方向?qū)⑹抢锰摂M化和云計算技術(shù)探索更加高效、高可用、低成本的系統(tǒng)架構(gòu)方案。

1 吳思寧，賀勁，熊勁等.DCFS機群文件系統(tǒng)服務(wù)器組的設(shè)計與實現(xiàn).2002全國開放式分布與并行計算學(xué)術(shù)會（DPCS2002），武漢，中國，2002

2 王云嵐，李增智，薛軍等.基于DNS的負載均衡算法研究．計算機工程與應(yīng)用，2002，38(4)：11～13

3 高國柱，將東興，金磊．一種基于反向代理的Web資源訪問控制系統(tǒng)的設(shè)計．計算機工程，2002，28(12)：244～246

4 戶現(xiàn)鋒，張大陸．NAT技術(shù)及其在防火墻中的應(yīng)用．微型機及應(yīng)用，2000，19(6)：32～33