白巧花

摘要：在新的業(yè)務(wù)變化發(fā)展和信息化建設(shè)轉(zhuǎn)型時期，傳統(tǒng)的集中式建設(shè)模式在資源共享、靈活調(diào)配等方面的不足逐步凸顯，無法實現(xiàn)對資源的快速、持續(xù)供給，不能較好地適應(yīng)未來業(yè)務(wù)的發(fā)展需要?；诖?，結(jié)合當前主流的IT技術(shù)發(fā)展趨勢、實際的建設(shè)要求和存儲建設(shè)應(yīng)實現(xiàn)的關(guān)鍵目標等，探索集中存儲高可用改造的實現(xiàn)和應(yīng)用，為企業(yè)業(yè)務(wù)網(wǎng)集中存儲高可用改造提供參考。

關(guān)鍵詞：存儲高可用；架構(gòu)改造；雙活

一、數(shù)據(jù)中心業(yè)務(wù)網(wǎng)存儲現(xiàn)狀分析

隨著近年來應(yīng)用系統(tǒng)的不斷發(fā)展，集中式存儲系統(tǒng)較好地滿足了系統(tǒng)上線所需的空間資源，并針對少數(shù)業(yè)務(wù)連續(xù)性等級較高的應(yīng)用系統(tǒng)實施了不同數(shù)據(jù)中心之間的數(shù)據(jù)實時復(fù)制，還通過磁帶備份等多種手段，有效增強了系統(tǒng)和數(shù)據(jù)的安全性。但業(yè)務(wù)網(wǎng)存儲系統(tǒng)也存在以下一些問題：

（一）數(shù)量多，均為單點，處在更新周期

業(yè)務(wù)網(wǎng)存儲系統(tǒng)以日立、華為品牌的高端磁盤陣列為核心設(shè)備，以及各品牌光纖交換機、NAS設(shè)備、磁帶庫、PC服務(wù)器等硬件設(shè)備和數(shù)據(jù)同異步復(fù)制管理、備份管理等軟件設(shè)備，涉及十余個品牌的中高端軟硬件設(shè)備，設(shè)備數(shù)量和種類多、相關(guān)廠商多；同時，各系統(tǒng)數(shù)據(jù)直接存放于磁盤陣列中，雖然都是高端存儲，但均為單點運行，存在單點故障隱患；最后，少數(shù)老舊集中存儲的磁盤陣列和光纖交換機等配套設(shè)備已使用多年，已經(jīng)或即將EOS，正處在更新周期。

（二）無統(tǒng)一規(guī)劃，沒有根據(jù)業(yè)務(wù)重要性及需求劃分

此前數(shù)據(jù)中心存儲系統(tǒng)沒有統(tǒng)一的規(guī)劃，沒有一套根據(jù)應(yīng)用分類分級和特點制定的存儲資源池建設(shè)標準。受系統(tǒng)上線時間要求、存儲容量及可擴容容量等多重因素限制，重要系統(tǒng)和非重要系統(tǒng)的數(shù)據(jù)“集中”存放于一臺或幾臺存儲中，沒有根據(jù)系統(tǒng)重要程度和性能需求進行區(qū)分。同時，新購存儲設(shè)備均采用公開招標，采購周期常，采購設(shè)備多樣，提高了管理和運維的復(fù)雜度。

（三）容量不足與空間利用率低并存

每年都有要新上線的系統(tǒng)，所需要的存儲空間較大，剩余存儲資源有限而只能通過不斷擴容解決容量不足的問題。與此同時，因無法準確預(yù)計未來空間的實際需要，當前存儲空間多采用靜態(tài)分配，而存儲空間一旦被分配后即無法收回，同時為滿足數(shù)據(jù)安全、可靠性（采用RAID技術(shù)）以及未來擴展的要求，很多系統(tǒng)都預(yù)分配大量容量，卻長期處于閑置狀態(tài)，實際利用率低（很多情況不足30%）[1]。

（四）軟硬件緊耦合

當前應(yīng)用系統(tǒng)仍主要采用集中式架構(gòu)，存儲層與數(shù)據(jù)庫層、中間件層及應(yīng)用層等架構(gòu)耦合度高，存儲軟件依賴于相應(yīng)的存儲硬件，選擇范圍集中在少數(shù)幾個存儲廠商，不論是硬件層面的存儲擴容還是軟件層面的高可用改造、數(shù)據(jù)復(fù)制等均只能通過購買該原廠商的產(chǎn)品或服務(wù)來實施。

二、規(guī)劃目標和原則

（一）技術(shù)方向

傳統(tǒng)的集中式系統(tǒng)建設(shè)模式下，計算、存儲等資源根據(jù)不同應(yīng)用各自建設(shè)，在有效支撐業(yè)務(wù)開展的同時也形成了資源專有化配置的特點。在新的業(yè)務(wù)變化發(fā)展和信息化建設(shè)轉(zhuǎn)型的時期，傳統(tǒng)的集中式建設(shè)模式在資源共享、靈活調(diào)配等方面的不足逐步凸顯，無法實現(xiàn)對資源的快速、持續(xù)供給，不能較好地適應(yīng)未來業(yè)務(wù)的發(fā)展需要。實施架構(gòu)轉(zhuǎn)型，存儲層面要結(jié)合自身業(yè)務(wù)特點和不同應(yīng)用場景，結(jié)合現(xiàn)有的技術(shù)資源，做好技術(shù)架構(gòu)研究，做好轉(zhuǎn)型規(guī)劃。通過架構(gòu)改造與實施，實現(xiàn)系統(tǒng)快速交付、動態(tài)調(diào)整、彈性部署，提高IT資源共享效率，降低總體成本，保證業(yè)務(wù)連續(xù)性。

（二）規(guī)劃目標

通過對存儲系統(tǒng)的現(xiàn)狀進行詳細分析，結(jié)合當前主流的IT技術(shù)發(fā)展趨勢和實際的建設(shè)要求，存儲建設(shè)應(yīng)實現(xiàn)的關(guān)鍵目標包括：

1.資源池規(guī)劃和建設(shè)

根據(jù)業(yè)務(wù)分類分級及特點，進行資源池的統(tǒng)一規(guī)劃，對存儲的實現(xiàn)方式，例如集中式、分布式等進行統(tǒng)籌考慮和規(guī)劃；統(tǒng)一資源池的標準，抽象資源池的服務(wù)能力。

2.統(tǒng)一規(guī)劃、分布部署

存儲架構(gòu)及資源池建設(shè)按照“兩地三中心”進行整體規(guī)劃，單數(shù)據(jù)中心高可用、雙數(shù)據(jù)中心存儲部署以及未來的“兩地三中心”進行分步部署。

3.架構(gòu)的延續(xù)性和擴展性

單數(shù)據(jù)中心內(nèi)的高可用架構(gòu)能擴展為雙數(shù)據(jù)中心內(nèi)的存儲架構(gòu)，進而從雙數(shù)據(jù)中心的存儲架構(gòu)能擴展為“兩地三中心”或多中心架構(gòu)。

4.完善的容災(zāi)能力

存儲架構(gòu)不僅具備解決物理故障的能力，包括設(shè)備級故障，還可以解決站點級故障。單數(shù)據(jù)中心高可用建設(shè)完成后，存儲架構(gòu)具備設(shè)備級物理故障容災(zāi)能力；雙數(shù)據(jù)中心存儲體系建設(shè)完成后，存儲架構(gòu)具備站點級物理故障容災(zāi)能力

5.架構(gòu)先進性

結(jié)合數(shù)據(jù)中心基礎(chǔ)設(shè)施云建設(shè)，面向IaaS云平臺的存儲標準化設(shè)計，從傳統(tǒng)的“SACLE-UP”縱向擴展方式轉(zhuǎn)向“SCALE-OUT”橫向擴展，有能力通過資源池和架構(gòu)擴展方式保持其先進性。

（三）實施原則

1.對系統(tǒng)影響小，平滑遷移

參考此前存儲規(guī)劃及各應(yīng)用系統(tǒng)實際，結(jié)合系統(tǒng)業(yè)務(wù)連續(xù)性和重要程度以及現(xiàn)有設(shè)備的實際情況，統(tǒng)籌開展存儲系統(tǒng)規(guī)劃。通過詳細規(guī)劃設(shè)計，穩(wěn)步地實施和測試，使得應(yīng)用系統(tǒng)安全穩(wěn)定地運行在此存儲平臺上。需要遷移的應(yīng)用系統(tǒng)，應(yīng)對應(yīng)用系統(tǒng)的影響降至最低，同時需確保應(yīng)用系統(tǒng)遷移前后數(shù)據(jù)的一致性、用戶訪問的一致性，應(yīng)在遷移過程中保證其文件存儲位置、路徑、內(nèi)容等不變，實現(xiàn)平滑遷移。

2.實現(xiàn)軟硬件松耦合

通過存儲虛擬化的方式將邏輯卷與硬件“解耦”，打破孤島之間的疆界，讓存儲資源能夠共享，數(shù)據(jù)能在各個存儲的硬件組件間自由流動。軟硬件逐漸“解耦”的過程，就是將同類硬件的不同細節(jié)部分隱藏起來，并與上層隔離開。這樣，上層就不必因為下層硬件的不同而修改，增加了可移植性和靈活性[2]。同時，管理方式應(yīng)當簡單明了，根據(jù)標準化的運維流程，采用統(tǒng)一的IT自動化的運維工具，減輕運維人員的壓力，避免人為操作過程當中的失誤。

3. 根據(jù)業(yè)務(wù)重要性及需求實現(xiàn)分級分類

根據(jù)應(yīng)用分類分級和特點制定的存儲資源池建設(shè)標準，根據(jù)系統(tǒng)的業(yè)務(wù)連續(xù)性等級進行分級分類。先規(guī)劃資源池和抽象資源池的能力，標準化資源申請流程，提高效率，降低管理和運維的復(fù)雜度。

4.擴展性好，適合未來發(fā)展需求

在“解耦”的基礎(chǔ)之上，才能進一步做資源的池化。因為池化就意味著資源不受硬件的限制，能被自由地分配、使用和調(diào)度。在數(shù)據(jù)中心內(nèi)，能夠跨越異構(gòu)的磁盤陣列，形成一個大的存儲資源池，統(tǒng)一管理和分配來自不同存儲廠商的存儲資源。具有較好的可擴展性，適應(yīng)未來業(yè)務(wù)發(fā)展需求。

三、實施路線

（一）總體路線圖

綜合上述規(guī)劃目標和實施原則，結(jié)合存儲設(shè)施現(xiàn)狀，業(yè)務(wù)網(wǎng)存儲系統(tǒng)的建設(shè)可大體分為三個階段：

1.第一階段

根據(jù)規(guī)劃，第一階段的建設(shè)內(nèi)容如下：

（1）根據(jù)系統(tǒng)的業(yè)務(wù)連續(xù)性等級進行分級分類，完成“中心內(nèi)高可用、中心間容災(zāi)”的存儲高可用架構(gòu)改造；

（2）結(jié)合數(shù)據(jù)中心基礎(chǔ)設(shè)施云項目，通過存儲虛擬化網(wǎng)關(guān)構(gòu)建一套更加靈活，可用性更高的存儲架構(gòu)，支撐現(xiàn)有系統(tǒng)遷移和未來系統(tǒng)建設(shè)發(fā)展要求；

（3）結(jié)合基礎(chǔ)設(shè)施云項目的進展，研究制定存儲資源池標準，符合IaaS云平臺對存儲資源池的要求；

（4）逐步完善與IaaS云平臺標準化接口管理層的對接，完成單數(shù)據(jù)中心內(nèi)存儲資源池服務(wù)能力的抽象。

2.第二階段

（1）根據(jù)各應(yīng)用系統(tǒng)的實際，研究從單數(shù)據(jù)中心存儲高可用擴展為雙數(shù)據(jù)中心存儲體系；

（2）結(jié)合數(shù)據(jù)中心云基礎(chǔ)設(shè)施項目，完善IaaS云平臺的存儲資源池和豐富標準化接口，探索雙中心數(shù)據(jù)歸檔和備份機制建設(shè)；

（3）完善資源池服務(wù)能力的抽象，增加雙數(shù)據(jù)中心存儲資源的服務(wù)化。

3.第三階段

（1）探索存儲架構(gòu)從雙數(shù)據(jù)中心雙活擴展為“兩地三中心”或多中心，實現(xiàn)數(shù)據(jù)級容災(zāi)；

（2）進一步完善IaaS云平臺的存儲資源池和豐富標準化接口，增加具備異地容災(zāi)的資源池；探索“兩地三中心”或多中心數(shù)據(jù)歸檔和備份機制建設(shè)；

（3）完善資源池服務(wù)能力的抽象，增加容災(zāi)的服務(wù)化。

（二）實施效果

1.實施存儲高可用改造，能夠解決現(xiàn)有存儲系統(tǒng)中單點故障隱患，使業(yè)務(wù)連續(xù)性等級為三級和四級的應(yīng)用系統(tǒng)達到或超過相應(yīng)的時間要求，整個應(yīng)用系統(tǒng)的可靠性顯著提升。

2.實施存儲高可用改造，能夠有效對接基礎(chǔ)設(shè)施云平臺的建設(shè)需求，初步探索實現(xiàn)了存儲資源的“池化”和“解耦”，有效提升了存儲設(shè)備的兼容性，提高了資源擴展能力?；诖鎯μ摂M化的動態(tài)存儲分配，能夠不斷整合存儲資源以及釋放閑置空間，而不需要預(yù)先分配專用的物理存儲，結(jié)合系統(tǒng)實際運行情況以及資源使用情況動態(tài)調(diào)整分配的虛擬存儲空間，減少預(yù)配置資源的浪費[1]。

3.實施存儲高可用改造，能進一步完善容災(zāi)建設(shè)。在災(zāi)備中心可通過數(shù)據(jù)復(fù)制的方式完善同城容災(zāi)建設(shè)，實施相對簡單，容災(zāi)能力較之前有大幅提升。

（三）實施風險

分別以日立、華為設(shè)備形成的存儲高可用方案，其實施對上層應(yīng)用無影響，因分別以在用設(shè)備為基礎(chǔ)改造，也不存在多路徑軟件、OS軟件和相關(guān)硬件的兼容性問題，無需再進行兼容性測試和驗證等，實施復(fù)雜度較小，實施風險也較小。如在現(xiàn)有日立和華為存儲之間做異構(gòu)高可用，通常有新購網(wǎng)關(guān)和存儲兩種方式。因現(xiàn)有存儲數(shù)量多且均為高端存儲，如采用網(wǎng)關(guān)的方式，由于網(wǎng)關(guān)的處理性能和可靠性較高端存儲有差距，可能會造成“小馬拉大車”；如采用高端存儲的方式，則容易固化于某存儲品牌，且存儲廠商也不建議兼容其他品牌存儲長期運行。此外，異構(gòu)高端存儲的高可用，從規(guī)劃角度也不清晰，無大規(guī)模應(yīng)用案例，實施復(fù)雜風險較高，還可能由軟件微碼升級等導致兼容性問題，不利于系統(tǒng)長期穩(wěn)定運行。

四、技術(shù)細節(jié)及實施難點

（一）雙活原理

1.基于存儲設(shè)備的雙活

基于存儲設(shè)備的高可用，不同于存儲間的數(shù)據(jù)同步復(fù)制技術(shù)，存儲“雙活”要求兩臺存儲設(shè)備同時對同一個業(yè)務(wù)提供讀寫訪問的內(nèi)容，當其中任何一個存儲設(shè)備故障時，業(yè)務(wù)的讀寫訪問不受影響。這種技術(shù)，要求兩臺存儲設(shè)備之間能夠?qū)崟r地進行數(shù)據(jù)通訊，能夠采用分布式鎖機制避免寫邏輯錯誤，能夠通過第三方仲裁避免腦分裂。同時，能夠利用存儲設(shè)備對自身狀態(tài)的檢測進行故障隔離與恢復(fù)，使數(shù)據(jù)訪問總是處于良好運行狀態(tài)。

2.基于存儲網(wǎng)關(guān)的雙活

通過存儲虛擬化網(wǎng)關(guān)提供的分布式聯(lián)合能力，擴展了同步距離內(nèi)兩個位置間的訪問能力。存儲虛擬化網(wǎng)關(guān)通過緩存一致性技術(shù)支持跨遠距離共享、訪問單個數(shù)據(jù)拷貝。實現(xiàn)主備主機同時訪問同一套卷的愿望[3]。

（二）數(shù)據(jù)遷移

存儲虛擬化改造對于應(yīng)用服務(wù)器主機而言，相當于更換硬盤，因此必然涉及文件系統(tǒng)的變動。有些OS可以實現(xiàn)變更文件系統(tǒng)的同時不影響頂層的數(shù)據(jù)，例如基于LVM的AIX、HP-UX和Linux，而對于未使用LVM建立文件系統(tǒng)的Linux以及低版本的Windows server，就需要停止業(yè)務(wù)進行文件級遷移。對于Vmware虛擬化平臺，則可以通過Storage vmotion技術(shù)，利用一個臨時卷實現(xiàn)熱遷移。因此，需要根據(jù)應(yīng)用系統(tǒng)的具體情況來設(shè)計具體的改造流程。

進行數(shù)據(jù)遷移時，不建議采用直接將原物理卷映射給存儲網(wǎng)關(guān)，封裝成虛擬卷后再映射給服務(wù)器主機的操作方式。一方面，映射過程中一旦發(fā)生誤操作將導致數(shù)據(jù)損壞，很不安全，另一方面，原先的LUN配置是為主機直連存儲而設(shè)計的劃分方案，不一定適用于存儲網(wǎng)關(guān)架構(gòu)。因此，建議在保持原物理卷不變的基礎(chǔ)上，利用剩余空間和擴充的存儲資源組織虛擬卷，然后對業(yè)務(wù)系統(tǒng)進行逐個遷移。

（三）對數(shù)據(jù)備份方案和容災(zāi)的影響

存儲虛擬化對于備份方案來講主要是滿足規(guī)劃時考慮存儲虛擬化平臺數(shù)據(jù)吞吐帶寬的規(guī)劃，虛擬化平臺通常采用集群橫向擴展方式，每增加一對虛擬化控制器，也就是橫向增加了處理能力、數(shù)據(jù)緩存和被管理存儲空間能力。對于容災(zāi)而言有兩種改變：一種是采用虛擬化存儲平臺實現(xiàn)容災(zāi)方案，這就需要刪除原有的存儲復(fù)制關(guān)系，并通過虛擬化存儲平臺重建容災(zāi)架構(gòu)，存在一定的工作量，優(yōu)點是后期管理和切換方便；還有一種是保留原有容災(zāi)架構(gòu)，虛擬化存儲平臺采用影像模式，關(guān)閉寫緩存，修改工作量較小，但后期切換時步驟相對復(fù)雜。

（四）仲裁機制

在兩個存儲虛擬化網(wǎng)關(guān)群集相互失去聯(lián)系后，生效中的一致性組分離規(guī)則將定義哪個群集繼續(xù)操作以及哪個暫停I/O，但僅使用分離規(guī)則來控制哪個站點是優(yōu)勝者時，優(yōu)勝者仍可能會在出現(xiàn)故障站點，可能需要手動干預(yù)才能恢復(fù)仍正常運行的站點I/O。高端存儲和存儲虛擬化網(wǎng)關(guān)仲裁會動態(tài)地自動處理此類事件，建議在第三個數(shù)據(jù)中心設(shè)置仲裁[4]。

五、結(jié)語

本文通過對數(shù)據(jù)中心業(yè)務(wù)網(wǎng)存儲系統(tǒng)的現(xiàn)狀分析，結(jié)合當前主流的IT技術(shù)發(fā)展趨勢、現(xiàn)有的技術(shù)資源、自身業(yè)務(wù)特點、實際的建設(shè)要求和存儲建設(shè)應(yīng)實現(xiàn)的關(guān)鍵目標等，探索集中存儲高可用改造的實現(xiàn)和應(yīng)用。通過架構(gòu)改造與實施，有效提升了存儲設(shè)備的兼容性，提高了資源擴展能力，保證了業(yè)務(wù)連續(xù)性，容災(zāi)能力較之前有大幅提升，為企業(yè)業(yè)務(wù)網(wǎng)集中存儲高可用改造提供參考。

參考文獻

[1]董軍.數(shù)據(jù)中心網(wǎng)絡(luò)存儲管理發(fā)展趨勢探析[J].中國金融電腦，2014（8）：63-65.

[2]韓吉義.數(shù)據(jù)資源存儲高可用建設(shè)研究與實踐[J]，內(nèi)蒙古林業(yè)調(diào)查設(shè)計，2021，44（3）：75-78.

[3]馬強.鐵路客票系統(tǒng)異地災(zāi)備中心方案設(shè)計[D].北京：中國鐵道科學研究院，2015.

[4]mob604756f19185.Exadata里裝了些什么？[EB/OL].[2021-04-24].https：//blog.51cto.com/u_15127572/2728859.

作者單位：北京信息職業(yè)技術(shù)學院