基于“自然資源云”的數(shù)據(jù)災備系統(tǒng)設計與實現(xiàn)

徐世亮 操 屹 計國興

1(江西省自然資源事業(yè)發(fā)展中心 南昌 330025) 2(九江市自然資源檔案館 江西九江 332005)

根據(jù)原國土資源部出臺的《國土資源部關于做好不動產(chǎn)登記信息管理基礎平臺建設工作的通知》和《國土資源部信息化工作辦公室關于印發(fā)“國土資源云”建設總體框架的通知》，某省自然資源廳在2017年開展了“自然資源云”支撐平臺和省級不動產(chǎn)登記信息管理基礎平臺建設項目，建設了“自然資源云”和省級不動產(chǎn)登記信息管理平臺，實現(xiàn)了將省級不動產(chǎn)登記信息管理平臺作為“自然資源云”的首個應用.隨著該省“自然資源云”的不斷應用，實現(xiàn)了自然資源“一張圖”等應用系統(tǒng)和數(shù)據(jù)上云.隨著省級不動產(chǎn)登記信息管理平臺和自然資源“一張圖”等系統(tǒng)的深度應用，積累了海量數(shù)據(jù)，對數(shù)據(jù)存儲和數(shù)據(jù)安全的要求更加凸顯.因此迫切需要升級一套高性能、高容量、高安全性、高可靠性、可擴展性的集中式存儲系統(tǒng)，并對重要數(shù)據(jù)進行有效保護，同時開展數(shù)據(jù)備份和異地數(shù)據(jù)災備建設[1-2].

1 現(xiàn)狀分析

根據(jù)某省廳數(shù)據(jù)災備系統(tǒng)建設的相關要求，首先梳理省廳的各類數(shù)據(jù)和存儲介質，掌握當前正在運行的數(shù)據(jù)類型、數(shù)據(jù)大小、數(shù)據(jù)存儲空間等情況，為制定技術方案奠定基礎.

從數(shù)據(jù)內(nèi)容看，省廳數(shù)據(jù)中心的數(shù)據(jù)主要包括現(xiàn)狀類數(shù)據(jù)、規(guī)劃類數(shù)據(jù)、管理類數(shù)據(jù)、社會經(jīng)濟類數(shù)據(jù).其中，現(xiàn)狀類數(shù)據(jù)主要包括基礎地理、基礎地質、資源調(diào)查、自然保護地等數(shù)據(jù).規(guī)劃類數(shù)據(jù)包括基本農(nóng)田紅線、生態(tài)保護紅線、城鎮(zhèn)開發(fā)邊界、土地利用總體規(guī)劃、礦產(chǎn)資源總體規(guī)劃等數(shù)據(jù).管理類數(shù)據(jù)主要包括建設用地審批、建設項目用地預審、采礦權、探礦權等數(shù)據(jù).社會經(jīng)濟類數(shù)據(jù)包括人口數(shù)據(jù)、社會數(shù)據(jù)、經(jīng)濟數(shù)據(jù)等數(shù)據(jù).

從存儲形式看，省廳存儲數(shù)據(jù)類型包括結構化數(shù)據(jù)和非結構化數(shù)據(jù)2種數(shù)據(jù).其中結構化數(shù)據(jù)采用Oracle 11g數(shù)據(jù)管理系統(tǒng)進行存儲，服務器全部使用Oracle RAC的方式進行部署，數(shù)據(jù)主要包括現(xiàn)狀數(shù)據(jù)、規(guī)劃數(shù)據(jù)、管理數(shù)據(jù)、不動產(chǎn)登記數(shù)據(jù).非結構化數(shù)據(jù)采用NFS文件系統(tǒng)進行存儲，主要包括瓦片、業(yè)務審批系統(tǒng)附件、辦公自動化系統(tǒng)附件、檔案文件、不動產(chǎn)登記附件等.

省廳存儲各類數(shù)據(jù)總量約33 TB，分別存儲在2臺EMC存儲設備中.其中1臺為EMC VNX 5700，存儲容量10 TB；另外1臺為EMC VNX 5300，存儲容量23 TB.上述2臺EMC存儲設備使用時間已超過5年，硬件性能下降、訪問速度較慢，不能實現(xiàn)存儲自動切換.

2 技術方案

2.1 基本思路

根據(jù)某省廳數(shù)據(jù)災備系統(tǒng)建設的現(xiàn)狀分析，數(shù)據(jù)災備系統(tǒng)需要建設的內(nèi)容包括數(shù)據(jù)中心雙活存儲、數(shù)據(jù)中心本地災備和該省下轄市級(異地)數(shù)據(jù)備份中心.基本思路是在本地數(shù)據(jù)中心新增2臺高性能的存儲設備配置雙活，將原有2臺EMC存儲設備的數(shù)據(jù)遷移整合至新購的本地數(shù)據(jù)中心主存儲中[3-4].本地數(shù)據(jù)中心新增1臺備份一體機，定期對本地雙活存儲中的業(yè)務系統(tǒng)和數(shù)據(jù)庫進行備份.市級(異地)數(shù)據(jù)備份中心新增1臺容災存儲設備和1套容災軟件，通過遠程復制技術實現(xiàn)從本地數(shù)據(jù)中心的數(shù)據(jù)通過專線復制到市級(異地)數(shù)據(jù)備份中心的容災存儲設備中，通過容災軟件每天2次定時發(fā)起遠程復制任務，以及每天定時發(fā)起快照任務，實現(xiàn)數(shù)據(jù)的異地備份.通過容災軟件可實現(xiàn)業(yè)務系統(tǒng)和數(shù)據(jù)庫的快速恢復.按照上述思路，在本地數(shù)據(jù)中心實現(xiàn)了存儲雙活，通過備份一體機實現(xiàn)了數(shù)據(jù)的邏輯備份和恢復；在異地實現(xiàn)了與本地存儲數(shù)據(jù)的異步復制.當本地數(shù)據(jù)中心任意1臺存儲設備物理損壞時，雙活存儲中的另1臺存儲設備接管并承載業(yè)務.當本地數(shù)據(jù)邏輯受到破壞時，既可以采用本地備份一體機恢復，也可以將異地容災中心的數(shù)據(jù)通過專線網(wǎng)絡進行恢復.

2.2 技術實現(xiàn)

按照省廳數(shù)據(jù)災備系統(tǒng)建設的基本思路，結合省廳數(shù)據(jù)中心的運行環(huán)境(主機和存儲系統(tǒng))以及該省自然資源專網(wǎng)建設的實際情況，提出了某省廳數(shù)據(jù)災備系統(tǒng)的技術方案.采用2臺華為OceanStor 18500 V3存儲設備配置雙活作為新存儲設備，采用數(shù)據(jù)遷移技術將原EMC VNX 5700，EMC VNX 5300 存儲的所有數(shù)據(jù)平滑無縫地遷移至雙活存儲設備中.此次存儲遷移涉及的服務器約40臺，包括Linux數(shù)據(jù)庫服務器、Windows應用服務器、虛擬化服務器等.由于各個系統(tǒng)遷移的數(shù)據(jù)量和數(shù)據(jù)文件格式不同，某省“自然資源云”的結構化數(shù)據(jù)采用Oracle 12c數(shù)據(jù)管理系統(tǒng)進行存儲，非結構化數(shù)據(jù)采用雙活存儲的文件存儲服務進行存儲[5-6]，因此數(shù)據(jù)遷移采用以下4種方式進行:一是數(shù)據(jù)庫邏輯導入導出；二是P2V遷移技術；三是VMware主機遷移、存儲遷移技術；四是文件復制.后2種方式都需要將新購存儲和原使用的存儲映射到相應的服務器上.“自然資源云”本地數(shù)據(jù)災備和異地數(shù)據(jù)容災系統(tǒng)拓撲圖如圖1所示.

圖1 某省“自然資源云”本地數(shù)據(jù)災備和異地數(shù)據(jù)容災系統(tǒng)拓撲圖

通過2臺光纖交換機使用光纖線連接2臺華為OceanStor 18500 V3存儲設備的8 GB FC接口，各連接4路，提供FC業(yè)務鏈路.通過2臺萬兆網(wǎng)絡交換機使用光纖線連接2臺華為OceanStor 18500 V3存儲設備的10 GB ISCSI接口，各連接4路，提供NAS業(yè)務鏈路.通過華為存儲設備自帶的雙活功能實現(xiàn)本地數(shù)據(jù)中心2臺華為OceanStor 18500 V3主存儲數(shù)據(jù)的實時同步.數(shù)據(jù)傳輸全部通過2臺存儲設備直連的4路光纖通道實現(xiàn)存儲底層的LUN到LUN或文件系統(tǒng)到文件系統(tǒng)的同步.存儲仲裁通過2臺千兆網(wǎng)絡交換機連接2臺華為OceanStor 18500 V3存儲設備的1 GB數(shù)據(jù)接口，各連接4路，并與仲裁服務器網(wǎng)絡互通.2臺華為仲裁服務器正常運行時同時掛載2臺華為OceanStor 18500 V3存儲設備的LUN，2端的LUN數(shù)據(jù)實時同步，且都能提供主機讀寫訪問.當任何一端存儲系統(tǒng)發(fā)生故障主機將切換訪問路徑到正常的一端繼續(xù)業(yè)務訪問[7].

以上本地數(shù)據(jù)雙活存儲可以在物理上實現(xiàn)數(shù)據(jù)的一致性，邏輯數(shù)據(jù)備份則需要數(shù)據(jù)備份設備來實現(xiàn).為預防用戶邏輯操作錯誤或系統(tǒng)邏輯故障，在本地數(shù)據(jù)中心新購了1臺愛數(shù)VX2400備份一體機，通過光纖線連接到2臺光纖交換機，將華為OceanStor 18500 V3存儲設備中的LUN映射到備份一體機.通過光纖線連接到2臺萬兆網(wǎng)絡交換機，設置備份一體機的備份策略任務，通過LAN或LAN-Free的方式將數(shù)據(jù)庫服務器和云平臺上的虛擬服務器中的數(shù)據(jù)定時備份至備份一體機[8]，在技術上保障了數(shù)據(jù)的邏輯錯誤的備份和還原.某省廳數(shù)據(jù)中心本地數(shù)據(jù)備份系統(tǒng)拓撲圖如圖2所示:

圖2 某省廳數(shù)據(jù)中心本地數(shù)據(jù)備份系統(tǒng)拓撲圖

如圖3所示，市級(異地)數(shù)據(jù)備份中心新購1臺容災存儲設備，通過存儲設備自帶的遠程復制功能將該省省廳華為OceanStor 18500 V3存儲設備中的重要數(shù)據(jù)異步定時復制到市級(異地)數(shù)據(jù)備份中心的華為OceanStor 6800 V5存儲設備中，遠程復制網(wǎng)絡采用100 Mbps的專線[9].通過華為BCManager容災軟件，定時發(fā)起遠程復制和市級(異地)容災端存儲快照任務.在市級(異地)數(shù)據(jù)備份中心搭建了數(shù)據(jù)庫服務器和虛擬化平臺，可通過華為BCManager容災軟件發(fā)起數(shù)據(jù)庫恢復任務，將數(shù)據(jù)庫的LUN通過快照的形式映射到數(shù)據(jù)庫服務器，執(zhí)行數(shù)據(jù)庫啟動腳本啟動數(shù)據(jù)庫.通過華為BCManager容災軟件發(fā)起虛擬化恢復任務，虛擬化平臺的LUN通過快照的形式映射到虛擬化服務器，并修改虛擬機配置啟動虛擬機，實現(xiàn)業(yè)務系統(tǒng)的快速恢復.

圖3 市級(異地)數(shù)據(jù)備份中心拓撲圖

在數(shù)據(jù)災備系統(tǒng)建設過程中，采用了基于存儲系統(tǒng)的雙活技術、基于存儲系統(tǒng)的異步遠程復制技術、基于容災軟件的業(yè)務系統(tǒng)快速恢復等關鍵技術[10].

1)基于存儲系統(tǒng)的雙活技術.雙活特性中的2臺存儲設備互為備份，且都處于運行狀態(tài).當1臺存儲設備發(fā)生故障時，業(yè)務自動切換到另1臺存儲設備，解決了傳統(tǒng)存儲架構不能同時承載業(yè)務和業(yè)務無法自動切換的問題.該省省廳本地數(shù)據(jù)中心2臺存儲設備實現(xiàn)了SAN和NAS存儲設備的雙活功能，且NAS存儲設備雙活功能在行業(yè)內(nèi)屬于較先使用，在保障數(shù)據(jù)可靠性以及業(yè)務連續(xù)性的同時，提高了存儲系統(tǒng)的資源利用率.

2)基于存儲系統(tǒng)的遠程復制技術.異步遠程復制是指將主端存儲系統(tǒng)上的數(shù)據(jù)周期性地復制到從端存儲系統(tǒng)上.通過華為存儲系統(tǒng)自帶的遠程復制功能，定時發(fā)起遠程復制任務，實現(xiàn)主端存儲LUN到從端存儲LUN的異步遠程復制.遠程復制依賴于快照技術，快照是指源數(shù)據(jù)在某個時間點的一致性數(shù)據(jù)副本.該省省廳本地數(shù)據(jù)中心通過ISCSI鏈路將數(shù)據(jù)遠程復制到市級(異地)數(shù)據(jù)備份中心采用了該技術[11]，實現(xiàn)了基于存儲系統(tǒng)的異步遠程復制.

3)基于容災軟件的業(yè)務系統(tǒng)快速恢復.華為BCManager容災軟件配置虛擬化和數(shù)據(jù)庫保護和恢復任務，選擇業(yè)務對應的數(shù)據(jù)庫和虛擬化恢復任務進行恢復.數(shù)據(jù)庫恢復是通過華為BCManager容災軟件發(fā)起任務，對市級(異地)數(shù)據(jù)備份中心容災存儲設備中數(shù)據(jù)庫的LUN創(chuàng)建快照，映射給市級(異地)數(shù)據(jù)備份中心的數(shù)據(jù)庫服務器，通過數(shù)據(jù)庫啟動腳本啟動數(shù)據(jù)庫.業(yè)務系統(tǒng)恢復通過華為BCManager容災軟件發(fā)起任務，對市級(異地)數(shù)據(jù)備份中心容災存儲中業(yè)務系統(tǒng)的LUN創(chuàng)建快照，映射給市級(異地)數(shù)據(jù)備份中心的虛擬化平臺，選擇恢復的虛擬機，配置虛擬機網(wǎng)絡，修改虛擬機配置文件，啟動虛擬機完成業(yè)務系統(tǒng)恢復.通過BCManager容災軟件實現(xiàn)業(yè)務系統(tǒng)的自動化配置恢復操作可大大降低恢復時間，實現(xiàn)該省省廳本地數(shù)據(jù)中心業(yè)務系統(tǒng)在市級(異地)數(shù)據(jù)備份中心的快速恢復.

2.3 恢復測試

為了驗證“自然資源云”本地災備和異地容災數(shù)據(jù)的完整性、可靠性、正確性，我們在系統(tǒng)建設完成后進行了恢復測試.測試主要分為2個部分：一是本地數(shù)據(jù)中心存儲LUN的優(yōu)先站點切換；二是市級(異地)數(shù)據(jù)備份中心的數(shù)據(jù)恢復.

本地數(shù)據(jù)中心存儲LUN的優(yōu)先站點切換主要包括雙活存儲中的LUN從優(yōu)先站點切換至非優(yōu)先站點及回切.服務器主機在生產(chǎn)環(huán)境下同時與2臺華為OceanStor 18500 V3存儲設備相對應的LUN建立了映射關系，當需要切換至非優(yōu)先站點時，在任意1臺雙活存儲中選中對應的LUN，按照優(yōu)先級進行切換，回切操作相同.如果關閉某臺存儲設備，雙活存儲中另1臺存儲設備正常提供訪問.

市級(異地)數(shù)據(jù)備份中心數(shù)據(jù)恢復測試主要包括數(shù)據(jù)庫恢復、業(yè)務系統(tǒng)恢復.市級(異地)數(shù)據(jù)備份中心部署了數(shù)據(jù)庫服務器和虛擬化平臺[12].當進行測試時，通過華為BCManager容災軟件選擇對應的LUN進行恢復，選擇需要恢復的時間點后，BCManager自動進行數(shù)據(jù)恢復并啟動虛擬機，通過啟動腳本啟動數(shù)據(jù)庫，待數(shù)據(jù)庫啟動后訪問業(yè)務系統(tǒng)，進行系統(tǒng)訪問和數(shù)據(jù)驗證.經(jīng)過測試，恢復的數(shù)據(jù)與省廳數(shù)據(jù)中心在該時間點前的數(shù)據(jù)完全一致.

測試結果表明，切換操作簡便，技術風險小，達到預期效果.

3 結束語

通過本文方案的實施，實現(xiàn)了某省廳自然資源數(shù)據(jù)集中統(tǒng)一存儲，大大提升了存儲性能和前端運算能力.基于華為高端存儲設備實現(xiàn)了該省省廳自然資源數(shù)據(jù)雙活，并為核心數(shù)據(jù)提供了在線數(shù)據(jù)備份服務，從物理上保證了數(shù)據(jù)冗余，從邏輯上保證了業(yè)務連續(xù)性[13]，避免存儲故障影響業(yè)務的穩(wěn)定運行.同時，該省省廳在市級(異地)建設了異地數(shù)據(jù)備份中心，實現(xiàn)了該省廳自然資源重要數(shù)據(jù)的異地備份，當本地出現(xiàn)不可預料的災難時，通過市級(異地)數(shù)據(jù)備份中心實現(xiàn)數(shù)據(jù)恢復，全面提升了數(shù)據(jù)保護級別和數(shù)據(jù)恢復能力，保障了數(shù)據(jù)安全.