陳奕飛

（福建省教育管理信息中心，福建 福州 350003）

一、引言

為推動電子政務資源的統(tǒng)籌建設和整合共享，福建省委省政府決定建設“數(shù)字福建云計算中心”。凡是能安全共享的，都不再分散運行應用；能依托云平臺建設的，都不再單獨建設承載環(huán)境；能從云平臺獲取的資源，都不再重復開發(fā)。 2017年福建省直部門數(shù)據(jù)中心信息系統(tǒng)（除涉密系統(tǒng)外）將全部遷移部署至數(shù)字福建云計算中心，在全國率先實現(xiàn)省直部門政務數(shù)據(jù)統(tǒng)建共享、匯聚開發(fā)。

二、數(shù)據(jù)中心基本情況

1.省級教育數(shù)據(jù)中心

省級教育數(shù)據(jù)中心2012年根據(jù)教育部 《省級數(shù)據(jù)中心建設指南》規(guī)劃建設，2015年10月通過教育部專家組評估。數(shù)據(jù)中心采用虛擬化技術對計算資源、存儲資源進行池化管理，配置相應網(wǎng)絡安全設備，開通了多個運營商千兆網(wǎng)絡出口，現(xiàn)部署信息系統(tǒng)47個。

計算資源池由17臺高性能服務器（DELL R920，4顆12核，512G）組成。其中：6臺服務器搭建3套Oracle RAC（2套版本為 11.2.0.3，1套版本為 10.2.0.4）作為數(shù)據(jù)服務器；11臺服務器通過VMware虛擬化平臺（vSphere版本5.0）進行虛擬化動態(tài)管理，現(xiàn)有虛擬服務器219臺。

存儲資源池由一套IBM V7000存儲（容量為80T）構(gòu)成，主要作為虛擬服務器的磁盤空間（55T）、數(shù)據(jù)庫存儲空間（15T）及 NAS共享存儲空間（10T）。

數(shù)據(jù)中心內(nèi)部采用雙核心萬兆三層交換機設備，所有匯聚層交換機設備采用雙上聯(lián)方式分別與兩臺核心交換機連接。存儲系統(tǒng)采用SAN技術，同時配置NAS網(wǎng)關對需要訪問NAS存儲的服務器提供服務。不同的業(yè)務通過安全分區(qū)及VLAN隔離，同時在網(wǎng)絡邊界部署防火墻、堡壘機、IPS、負載均衡、DNS、CA認證等設備。

2.數(shù)字福建云計算中心

數(shù)字福建云計算中心以X86架構(gòu)為主構(gòu)建IAAS云平臺。在服務提供方面主要以計算資源、存儲資源、網(wǎng)絡和安全資源提供為主，為新建系統(tǒng)分配虛擬服務器，為職能部門分配存儲空間，以盤活閑置的資源。另外，在資源使用與管理上通過云計算管理平臺，以流程和工單的方式申請、審核，以規(guī)范云資源的使用，并通過云計算運營管理平臺對云資源進行開通、監(jiān)控、維護、優(yōu)化等，平臺通過并符合等保三級保護要求的安全保障。目前提供給省教育廳使用環(huán)境：虛擬化平臺為VMware（vSphere版本 6.0），數(shù)據(jù)庫為 Oracle（版本為 11.2.0.4）。

三、省級教育數(shù)據(jù)中心整合遷移的實施方案

在梳理各信息系統(tǒng)資源的基礎上，制定省級教育數(shù)據(jù)中心遷移方案。遷移工作主要有以下幾項內(nèi)容：臨時過渡設備部署、遷移前設備IP變更、vsphere平臺升級及虛擬機遷移、Oracle數(shù)據(jù)庫升級及遷移、NAS共享存儲遷移、IPSEC VPN設備托管。

1.臨時過渡設備部署

為了滿足數(shù)據(jù)庫和虛擬機遷移的需要，同時提高遷移效率，將在省級教育數(shù)據(jù)中心部署臨時過渡設備：DELL服務器 2臺（4CPU/128G內(nèi)存/6×2T磁盤），安裝ESXI 6.0操作系統(tǒng)，接入省級教育數(shù)據(jù)中心SAN網(wǎng)絡，加入原有的vcenter，進行統(tǒng)一管理；EMC存儲1套（雙控制器/3個磁盤柜/30T），接入省級教育數(shù)據(jù)中心SAN網(wǎng)絡，并將lun映射給所有ESXI服務器。臨時過渡設備部署拓撲圖如圖1所示。

圖1 臨時過渡設備部署拓撲圖

2.遷移前設備IP變更

根據(jù)數(shù)字福建云計算中心規(guī)劃，目前省級教育數(shù)據(jù)中心的服務器IP遷移后需要全部進行變更。由于國家教育管理信息系統(tǒng)架構(gòu)復雜，為了確保遷移后系統(tǒng)快速恢復運行，遷移前將根據(jù)數(shù)字福建云計算中心提供的IP規(guī)劃對省級數(shù)據(jù)中心各信息系統(tǒng)的服務器IP及相關配置進行變更，待變更后信息系統(tǒng)運行穩(wěn)定再進行整體遷移。

3.虛擬服務器遷移

目前省級教育數(shù)據(jù)中心和數(shù)字福建云計算中心之間尚未建設專用的光纖線路，受傳輸速率的影響，虛擬機服務器的遷移無法通過vSphere提供的跨主機vMotion與跨存儲Storage vMotion在線遷移功能實現(xiàn)。因此，省級數(shù)據(jù)中心的虛擬服務器遷移將采用離線方式。

（1）VMware虛擬化平臺升級

省級教育數(shù)據(jù)中心和數(shù)字福建云計算中心目前使用的VMware虛擬化平臺vsphere版本不一致，為確保遷移后虛擬服務器平穩(wěn)運行，將對省級教育數(shù)據(jù)中心的VMware虛擬化平臺進行升級。先升級vCenter和Client，然后升級ESXI，最后升級VMware Tools。升級前需備份相應數(shù)據(jù)，以備升級失敗時可回退。

（2）虛擬服務器導出

關閉虛擬機電源進行虛擬機遷移。為避免虛擬機MAC地址更改，先將需要遷移的虛擬機使用vMotion和Stroage vMotion遷移至臨時過渡設備，再將遷移好的虛擬機（過渡設備上）克隆回原存儲存檔備份，保證原服務器上的數(shù)據(jù)完整性。

（3）虛擬服務器導入

將臨時過渡設備搬運至數(shù)字福建云計算中心并接入VMware虛擬化平臺，在云計算中心技術員配合下將所有過渡設備上虛擬機使用的vMotion和Stroage vMotion遷移至數(shù)字福建云計算中心的VMware虛擬化平臺上。

4.數(shù)據(jù)遷移

數(shù)據(jù)遷移是省級數(shù)據(jù)中心整合遷移的重點和難點。在綜合考慮了數(shù)據(jù)庫規(guī)模、停機時間、升級風險后，省級教育數(shù)據(jù)中心3套Oracle數(shù)據(jù)庫采用RMAN遷移，遷移前先將其中1套低版本Oracle數(shù)據(jù)庫進行升級。為確保數(shù)據(jù)安全性，數(shù)據(jù)庫RMAN備份的數(shù)據(jù)將拷貝到移動硬盤由專人送至數(shù)字福建云計算中心進行數(shù)據(jù)恢復。

（1）低版本數(shù)據(jù)庫升級

省級教育數(shù)據(jù)中心現(xiàn)有1套Oracle 10g數(shù)據(jù)庫需在遷移前升級至11g，待試運行穩(wěn)定后再進行遷移。數(shù)據(jù)庫升級步驟如下：搜集原數(shù)據(jù)庫配置信息；備份原數(shù)據(jù)庫到異機；數(shù)據(jù)庫停機，安裝11G軟件程序；本地進行軟件升級；執(zhí)行腳本進行庫文件升級；測試業(yè)務運行情況，檢查數(shù)據(jù)庫一致性。

（2）數(shù)據(jù)庫 RMAN備份

RMAN備份時關閉數(shù)據(jù)庫實例服務，切換到歸檔模式，利用前期準備的腳本進行數(shù)據(jù)庫全量備份，導出備份文件。備份腳本如下：

（3）數(shù)據(jù)庫 RMAN恢復

將RMAN備份文件拷貝到數(shù)字福建云計算中心數(shù)據(jù)庫服務器上。RMAN數(shù)據(jù)恢復的步驟如下：使用備份文件恢復spfile，用spfile創(chuàng)建pfile，并修改pfile文件；從 pfile啟動到 nomount，并使用 pfile創(chuàng)建 spfile；進入rman，恢復控制文件；將數(shù)據(jù)庫啟動到mount，注冊原數(shù)據(jù)庫備份集；恢復數(shù)據(jù)庫，Recover數(shù)據(jù)庫；啟動數(shù)據(jù)庫，完成數(shù)據(jù)庫遷移。

（4）NAS共享存儲數(shù)據(jù)遷移

省級教育數(shù)據(jù)中心的NAS共享存儲容量有6T，主要存放學生和教師的照片、業(yè)務辦理的佐證材料圖片、校舍照片和視頻等非結(jié)構(gòu)化數(shù)據(jù)和部分業(yè)務系統(tǒng)運行需要的文件。這些非結(jié)構(gòu)化數(shù)據(jù)文件容量小、數(shù)量多，對設備的I/O性能要求高，數(shù)據(jù)遷移時間較長。為縮短遷移時間，按某個時間點先將數(shù)據(jù)全量備份到遷移過渡設備，待正式遷移關停業(yè)務系統(tǒng)后再進行增量更新。更新完成后，將遷移臨時設備運送至數(shù)字福建云計算中心并接入SAN網(wǎng)絡進行數(shù)據(jù)復制 （應先對與業(yè)務系統(tǒng)運行相關的文件進行復制，后復制相關的非結(jié)構(gòu)化數(shù)據(jù)，以確保業(yè)務系統(tǒng)能在最短時間內(nèi)恢復對外服務）。同時各業(yè)務系統(tǒng)應用服務器需重新進行映射，以確保文件能被正確讀取。

5.IPSEC VPN網(wǎng)關設備托管

教育部IPSEC VPN網(wǎng)關與省級數(shù)據(jù)中心IPSEC VPN網(wǎng)關組建IPSEC VPN隧道，承擔著國家教育管理信息系統(tǒng)部省之間數(shù)據(jù)交換的任務。為確保數(shù)據(jù)中心遷移后與教育部間數(shù)據(jù)交換不中斷，遷移前需建設好IPSEC VPN隧道。

目前各省級教育數(shù)據(jù)中心都部署主備2臺IPSEC VPN網(wǎng)關設備，正式遷移前先將備用IPSEC VPN網(wǎng)關設備托管在數(shù)字福建云計算中心，并申請2個內(nèi)網(wǎng)C類IP 段（?。?0.249.*.* ，部：10.250.*.*）供 IPSEC VPN 網(wǎng)關設備與服務器照射使用，申請3個外網(wǎng)IP（電信、聯(lián)通、移動各1個）分配給防火墻映射出IPSEC VPN網(wǎng)關設備IP和端口，并利用臨時賬號（預先向教育部申請）進行IPSEC VPN隧道測試。數(shù)字福建云計算中心要進行路由配置，遷移后信息系統(tǒng)服務器訪問10.249.*.*及10.250.*.*兩段IP的需求轉(zhuǎn)向訪問IPSEC VPN網(wǎng)關。主IPSEC VPN網(wǎng)關設備隨信息系統(tǒng)同時遷移托管。

四、省級教育數(shù)據(jù)中心整合遷移的幾點思考

截至2017年10月，省級教育數(shù)據(jù)中心47個信息系統(tǒng)按照制定方案分批次遷移至數(shù)字福建云計算中心，遷移過程中信息系統(tǒng)和托管設備均未出現(xiàn)重大故障，遷移后信息系統(tǒng)運行穩(wěn)定，以下是關于省級教育數(shù)據(jù)中心遷移整合的幾點思考。

1.高度重視遷移前設備IP調(diào)整工作

省級數(shù)據(jù)中心設備IP的變更將對網(wǎng)絡環(huán)境、業(yè)務系統(tǒng)的正常運行產(chǎn)生重大影響，要高度重視并制定詳細的方案，變更前備份設備相關參數(shù)，變更后修改業(yè)務系統(tǒng)配置文件。協(xié)調(diào)各業(yè)務系統(tǒng)集成商進行技術支持，盡快啟動服務恢復系統(tǒng)正常運行，同時還要做好突發(fā)情況的應急預案。

2.正確評估遷移需要的時間

遷移需要的時間受數(shù)據(jù)容量、網(wǎng)絡環(huán)境、設備性能的影響，時間評估時要充分考慮各方面因素。NAS共享存儲部分，有條件的可通過測試遷移來評估實際遷移時間。由于部分業(yè)務系統(tǒng)需實時辦理學生轉(zhuǎn)學、教師調(diào)動等業(yè)務，系統(tǒng)遷移的最佳時間點為寒假期間或暑假8月10日學生年級升級操作完成后。

3.科學制定遷移后教科網(wǎng)建設規(guī)劃

目前數(shù)字福建云計算中心僅提供電信、聯(lián)通、移動三家運營商互聯(lián)網(wǎng)出口帶寬，為解決省內(nèi)教科網(wǎng)用戶訪問省級信息系統(tǒng)速度慢的問題，擬建設一條VPN線路（從省教育廳至數(shù)字福建云計算中心）作為教科網(wǎng)出口帶寬。為降低建設費用，VPN線路采用分段建設、共享使用的模式：省教育廳建設從本單位至省經(jīng)濟信息中心光纖線路；省經(jīng)濟信息中心負責建設從本單位至數(shù)字福建云計算中心光纖線路，供省直各部門共享使用。教科網(wǎng)VPN線路建設拓撲圖如圖2所示。

圖2 教科網(wǎng)VPN線路建設拓撲圖

五、結(jié)束語

省直部門數(shù)據(jù)中心整合是政務信息化建設模式的創(chuàng)新，通過實施整合將健全政務信息化推進和保障機制，顯著提高應用保障水平，為下一階段開展全省政務信息系統(tǒng)整合共享打下堅實基礎。