馬 騰

（福建省建設(shè)信息中心，福建 福州 350001）

0 引言

福建省自1994年起實(shí)施住房公積金制度以來，住房公積金在健全城鎮(zhèn)住房供應(yīng)和保障體系、加快解決中低收入家庭住房問題、促進(jìn)住房消費(fèi)、推動(dòng)房地產(chǎn)市場(chǎng)持續(xù)健康發(fā)展等方面發(fā)揮了重要作用。

為了推動(dòng)全省住房公積金管理的標(biāo)準(zhǔn)化、規(guī)范化和信息化，提高全省住房公積金管理的服務(wù)水平，2002年，省住建廳牽頭開發(fā)建設(shè)了福建省住房公積金業(yè)務(wù)處理信息系統(tǒng)，并在全省9個(gè)設(shè)區(qū)城市住房公積金管理中心和省直、鐵路、能源集團(tuán)等3個(gè)行業(yè)住房公積金管理機(jī)構(gòu)中推廣應(yīng)用，大大提高了我省住房公積金管理信息化水平。

隨著住房公積金業(yè)務(wù)的快速發(fā)展和信息系統(tǒng)的推廣應(yīng)用，住房公積金數(shù)據(jù)量越來越大，截止2011年10月底，全省住房公積金繳存人數(shù)230多萬人，繳存金額突破1200億元，數(shù)據(jù)安全已經(jīng)成為亟待解決的重大問題。

為此，省住建廳決定建立全省住房公積金災(zāi)備中心。數(shù)據(jù)庫遠(yuǎn)程復(fù)制是災(zāi)備中心建設(shè)的關(guān)鍵技術(shù)，由于全省住房公積金業(yè)務(wù)處理信息系統(tǒng)統(tǒng)一采用Informix數(shù)據(jù)庫，因此，基于Informix的數(shù)據(jù)庫復(fù)制技術(shù)是本文研究的重點(diǎn)。

1 Informix數(shù)據(jù)復(fù)制技術(shù)概述

數(shù)據(jù)庫遠(yuǎn)程復(fù)制通常是指把數(shù)據(jù)從生產(chǎn)數(shù)據(jù)庫服務(wù)器復(fù)制到備份數(shù)據(jù)庫服務(wù)器，生產(chǎn)服務(wù)器和備份服務(wù)器分別位于不同的地點(diǎn)，二者通過TCP/IP建立連接，提供一種可靠、即時(shí)的容災(zāi)備份機(jī)制。另外，由于生產(chǎn)服務(wù)器和備份服務(wù)器處于“雙活”狀態(tài)，因此用于備份的備份服務(wù)器可被用于進(jìn)行一些查詢、統(tǒng)計(jì)等操作，提高數(shù)據(jù)的利用率，分擔(dān)生產(chǎn)服務(wù)器的負(fù)載。

Informix是IBM公司出品的關(guān)系數(shù)據(jù)庫管理系統(tǒng)（RDBMS）家族，作為一個(gè)集成解決方案，它被定位為作為IBM在線事務(wù)處理 （OLTP）旗艦級(jí)數(shù)據(jù)服務(wù)系統(tǒng)，在金融、電信、零售等行業(yè)廣泛使用。在數(shù)據(jù)復(fù)制方面，Informix數(shù)據(jù)庫系統(tǒng)提供了包括企業(yè)復(fù)制（Enterprise Replication，ER）和高可用性數(shù)據(jù)復(fù)制（High-Availability Data Replication，HDR）在內(nèi)的強(qiáng)大數(shù)據(jù)復(fù)制解決方案。

*HDR （High-Availability Data Replication）高可用性數(shù)據(jù)復(fù)制技術(shù)

HDR是通過讀取數(shù)據(jù)庫事務(wù)日志的方式實(shí)現(xiàn)主、備機(jī)互相接管的功能，當(dāng)主機(jī)工作時(shí)，備機(jī)提供只讀功能，因此，備機(jī)可以提供查詢、報(bào)表等功能，實(shí)現(xiàn)負(fù)載分擔(dān)的功能，當(dāng)主機(jī)發(fā)生故障，備機(jī)會(huì)自動(dòng)接管，實(shí)現(xiàn)主機(jī)及備機(jī)的接管功能。

*ER(Enterprise Replication)企業(yè)復(fù)制技術(shù)

ER也是通過讀取數(shù)據(jù)庫日志的方式實(shí)現(xiàn)數(shù)據(jù)同步功能，當(dāng)源數(shù)據(jù)庫數(shù)據(jù)發(fā)生變化后，Informix數(shù)據(jù)庫通過讀取數(shù)據(jù)庫日志，將變化的數(shù)據(jù)及時(shí)同步到目標(biāo)數(shù)據(jù)庫。

ER方式和HDR方式的不同在于HDR數(shù)據(jù)庫的接管是基于數(shù)據(jù)庫服務(wù)器的，也就是HDR的作用范圍是基于整個(gè)實(shí)例的，而ER的作用范圍是作用于一個(gè)表，ER方式可以靈活定義需要復(fù)制哪些數(shù)據(jù)列及數(shù)據(jù)行，而且可以靈活定義數(shù)據(jù)復(fù)制的方式，是采用主從方式、匯總方式還是雙向復(fù)制方式。

同時(shí)，HDR還要求主服務(wù)器和備份服務(wù)器的操作系統(tǒng)和硬件相同，添加到每個(gè)服務(wù)器的塊的磁盤布局必須相同，主服務(wù)器和備份服務(wù)器上的IDS的版本必須一樣，而ER就沒有上述要求。

因此，在遠(yuǎn)程數(shù)據(jù)容災(zāi)方式下，ER數(shù)據(jù)庫復(fù)制技術(shù)是更為主流的選擇，本文主要針對(duì)ER的研究。

2 Informix ER工作原理

IBM Informix Enterprise Replication是基于日志的異步工具，用在數(shù)據(jù)庫服務(wù)器之間復(fù)制數(shù)據(jù)，它可以跨平臺(tái)、跨IBM Informix Dynamic Server的各個(gè)版本使用，Enterprise Replication不需要在實(shí)例之間定義相同的儲(chǔ)存，甚至不需要使用相同的表結(jié)構(gòu)和名稱。生產(chǎn)服務(wù)器上的Enterprise Replication通過讀取邏輯日志、存儲(chǔ)事務(wù)并將每個(gè)事務(wù)作為復(fù)制數(shù)據(jù)可靠傳輸至備份服務(wù)器來捕獲要復(fù)制的事務(wù)，備份數(shù)據(jù)庫服務(wù)器的Enterprise Replication接收復(fù)制數(shù)據(jù)中所包含的每個(gè)事務(wù)，并將其應(yīng)用到對(duì)應(yīng)的數(shù)據(jù)庫和表中，成為正常的已記錄事務(wù)。

生產(chǎn)數(shù)據(jù)庫服務(wù)器在把邏輯日志緩沖區(qū)中的內(nèi)容寫往磁盤之前，先將其拷貝至數(shù)據(jù)復(fù)制緩沖區(qū)，數(shù)據(jù)復(fù)制緩沖區(qū)的內(nèi)容通過TCP/IP經(jīng)由網(wǎng)絡(luò)傳到備份數(shù)據(jù)庫服務(wù)器的數(shù)據(jù)復(fù)制緩沖區(qū)中，備份數(shù)據(jù)庫服務(wù)器中的數(shù)據(jù)接收線程接收數(shù)據(jù)復(fù)制緩沖區(qū)的內(nèi)容并將其放入恢復(fù)緩沖區(qū)，數(shù)據(jù)復(fù)制線程根據(jù)這些上傳的邏輯日志記錄進(jìn)行數(shù)據(jù)庫寫入操作，從而使備份服務(wù)器起到了對(duì)生產(chǎn)服務(wù)器進(jìn)行數(shù)據(jù)備份的作用。

上述數(shù)據(jù)復(fù)制過程在異步方式下工作，生產(chǎn)數(shù)據(jù)庫的數(shù)據(jù)處理無需等待備份服務(wù)器的數(shù)據(jù)復(fù)制，因此，ER數(shù)據(jù)復(fù)制基本不影響生產(chǎn)服務(wù)器的業(yè)務(wù)處理性能。

ER支持兩種類型的復(fù)制系統(tǒng)：主-目標(biāo)復(fù)制系統(tǒng)、隨處更新復(fù)制系統(tǒng)。在主-目標(biāo)復(fù)制系統(tǒng)中，數(shù)據(jù)的復(fù)制是單向的，始終由生產(chǎn)服務(wù)器向備份服務(wù)器發(fā)送數(shù)據(jù)。在隨處更新復(fù)制系統(tǒng)中，在任何參與的數(shù)據(jù)庫服務(wù)器上進(jìn)行的更改都被復(fù)制到所有其它參與的數(shù)據(jù)庫服務(wù)器。

ER靈活支持多種拓?fù)浣Y(jié)構(gòu)，適應(yīng)多種數(shù)據(jù)復(fù)制方式。

3 Informix ER應(yīng)用實(shí)例

福建省住房公積金業(yè)務(wù)處理信息系統(tǒng)采用分布式架構(gòu)，在全省9個(gè)設(shè)區(qū)市住房公積金管理中心和省直、鐵路、能源集團(tuán)等3個(gè)行業(yè)住房公積金管理機(jī)構(gòu)進(jìn)行部署，配置獨(dú)立的Informix數(shù)據(jù)庫服務(wù)器。福建省住房公積金數(shù)據(jù)災(zāi)備中心采用基于Informix ER的數(shù)據(jù)庫遠(yuǎn)程復(fù)制方式。

3.1 采用多對(duì)一的數(shù)據(jù)庫復(fù)制方式

福建省住房公積金數(shù)據(jù)災(zāi)備中心為全省12個(gè)住房公積金管理中心業(yè)務(wù)處理信息系統(tǒng)提供數(shù)據(jù)遠(yuǎn)程災(zāi)備。Informix ER支持多對(duì)一的數(shù)據(jù)庫復(fù)制，并可實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)復(fù)制，系統(tǒng)架構(gòu)如下：

數(shù)據(jù)災(zāi)備中心的數(shù)據(jù)庫復(fù)制拓?fù)洳捎眉行切停╤ub-spoke）拓?fù)洌?/p>

數(shù)據(jù)復(fù)制采用主-目標(biāo)復(fù)制模式，在該模式下，數(shù)據(jù)的復(fù)制是單向的，由各住房公積金管理中心的數(shù)據(jù)庫服務(wù)器發(fā)送數(shù)據(jù)，數(shù)據(jù)災(zāi)備中心服務(wù)器只接收并寫入數(shù)據(jù)庫，如果數(shù)據(jù)災(zāi)備中心服務(wù)器停止運(yùn)行或網(wǎng)絡(luò)連接出現(xiàn)故障，各住房公積金管理中心服務(wù)器上的ER將持續(xù)記錄數(shù)據(jù)庫日志，一旦與數(shù)據(jù)災(zāi)備中心數(shù)據(jù)庫連接恢復(fù)，將繼續(xù)進(jìn)行數(shù)據(jù)復(fù)制。

數(shù)據(jù)災(zāi)備中心Informix數(shù)據(jù)庫一直處于OPEN狀態(tài)，Informix ER通過接口將復(fù)制的數(shù)據(jù)實(shí)時(shí)寫入數(shù)據(jù)災(zāi)備中心數(shù)據(jù)庫。當(dāng)生產(chǎn)中心出現(xiàn)災(zāi)難時(shí)，可由數(shù)據(jù)災(zāi)備中心在短時(shí)間內(nèi)恢復(fù)數(shù)據(jù)。

3.2 Informix ER應(yīng)用部署

Informix ER數(shù)據(jù)復(fù)制操作只是讀取數(shù)據(jù)庫系統(tǒng)的日志文件，同時(shí)通過TCP/IP方式傳輸發(fā)生改變的數(shù)據(jù)，使得網(wǎng)絡(luò)負(fù)載降至最低，實(shí)際每小時(shí)傳輸?shù)臄?shù)據(jù)量不大于每小時(shí)日志文件的大小。

文件備份：

實(shí)施過程需要修改生產(chǎn)服務(wù)器（fz_refms）中部分參數(shù)或配置文件，故在修改這些參數(shù)前做需要做好下列文件的備份工作，以root登錄生產(chǎn)服務(wù)器。

cp /home/informix/etc/onconfig.refms /home/informix/etc/onconfig.refms.bak

cp/home/Informix/etc/sqlhost/home/Informix/etc/sqlhosts.bak

cp/etc/hosts/etc/hosts.bak

cp/etc/services/etc/services.bak

cp/etc/fstab/etc/fstab.bak

修改HOSTS文件：

在生產(chǎn)服務(wù)器上的/etc/hosts文件上添加：1.1.1.1 fjst

在備份服務(wù)器 （fjst）上的/etc/hosts文件上添加：

2.2.2.2 fz_refms

校準(zhǔn)服務(wù)器時(shí)間：

采用NTP協(xié)議保證復(fù)制雙方時(shí)間的一致性。

設(shè)置可信環(huán)境：

在生產(chǎn)服務(wù)器上的/etc/hosts.equiv文件上添加：fjst informix；fz_refms informix

在備份服務(wù)器上的/etc/hosts.equiv文件上添加：fjst informix；fz_refms informix

設(shè)置服務(wù)端口：

在生產(chǎn)服務(wù)器上的/etc/services文件上添加：st2_service 1527/tcp

設(shè)置SQLHOSTS文件：

以informix登錄，在生產(chǎn)服務(wù)器上的$INFORMIXDIR/etc/sqlhosts文件上添加：

g_fz group - - i=6

refms onsoctcp fz_refms informix_ser g=g_fz

g_fjst group - - i=2

fjst onsoctcp fjst st2_service g=g_fjst

設(shè)置生產(chǎn)服器上的發(fā)送隊(duì)列緩沖空間：

以informix登錄

建立CDR_QHDR_DBSPACE（2G）

touch/informix/er_dbs/cdr_qhdr_dbspace

chmod 660/informix/er_dbs/cdr_qhdr_dbspace

onspaces-c-d cdr_qhdr_dbspace-p/informix/er_dbs/cdr_qhdr_dbspace-o 0-s 2000000

建立CDR_DBSPACE（2G）

touch/informix/er_dbs/cdr_dbspace

chmod 660/informix/er_dbs/cdr_dbspace

onspaces-c-d cdr_dbspace-p/informix/er_dbs/cdr_dbspace-o 0-s 2000000

建立 cdr_qdata_sbspace（53G）

touch/informix/er_dbs/cdr_qdata_sbspace

chmod 660/informix/er_dbs/cdr_qdata_sbspace

onspaces-c-S cdr_qdata_sbspace-p/informix/er_dbs/cdr_qdata_sbspace -s 53000000 -o 0 -Df"AVG_LO_SIZE=2,LOGGING=OFF"

建立異常事務(wù)文件位置：

以informix登錄，在生產(chǎn)服務(wù)器上建立ATS目錄和RTS目錄：

mkdir/informix/er_dbs/ats

mkdir/informix/er_dbs/rts

設(shè)置onconfig配置參數(shù)：

以informix登錄，在生產(chǎn)服務(wù)器上修改參數(shù)文件onconfig.refms，添加以下幾行：

CDR_DBSPACE cdr_dbspace

CDR_QHDR_DBSPACE cdr_qhdr_dbspace

CDR_QDATA_SBSPACE cdr_qdata_sbspace

重啟生產(chǎn)數(shù)據(jù)庫：

以informix登錄，在生產(chǎn)服務(wù)器上運(yùn)行如下命令重啟數(shù)據(jù)庫：

onmode-ky

oninit-vy

初始化數(shù)據(jù)：

生產(chǎn)服務(wù)器通過dbexport命令導(dǎo)出數(shù)據(jù)，上傳備份服務(wù)器，通過dbimport導(dǎo)入

建立復(fù)制：

通過cdr define replicate創(chuàng)建表復(fù)制

驗(yàn)證復(fù)制是否建立成功：cdr list repl

通過cdr change replicateset創(chuàng)建復(fù)制集合

驗(yàn)證是否建立成功：cdr list replset replset_fzdb

啟動(dòng)復(fù)制：cdr start replset replset_fzdb

檢查復(fù)制：cdr list server

3.3 ER數(shù)據(jù)復(fù)制的日常維護(hù)

在Informix ER的運(yùn)行過程中，可查看生產(chǎn)服務(wù)器和備份服務(wù)器的運(yùn)行狀態(tài)，監(jiān)控ER發(fā)送隊(duì)列和接收隊(duì)列緩沖區(qū)的使用情況，防止ER發(fā)送隊(duì)列和接收隊(duì)列從內(nèi)存溢出，并且可以添加、刪除數(shù)據(jù)表的復(fù)制，Informix ER主要的日常監(jiān)控和維護(hù)命令包括：

*cdr list server，查看本地服務(wù)器和已知的每個(gè)服務(wù)器的狀態(tài)。這個(gè)命令還可輸出服務(wù)器組的隊(duì)列的大小。

*cdr list replcate，查看復(fù)制的屬性。如果未在命令行指定所定義的復(fù)制名稱，ER列出當(dāng)前服務(wù)器上定義的所有復(fù)制的詳細(xì)信息。

*數(shù)據(jù)庫日志文件online.log，可以查看數(shù)據(jù)庫運(yùn)行情況，記錄online系統(tǒng)的啟動(dòng)信息、ER的狀態(tài)信息、參數(shù)調(diào)整信息、檢查點(diǎn)信息、錯(cuò)誤信息和關(guān)閉系統(tǒng)信息等。

*onstat-d，監(jiān)控ER緩沖區(qū)使用情況，正常情況下，ER發(fā)送隊(duì)列和接收隊(duì)列不應(yīng)當(dāng)從內(nèi)存溢出到磁盤中，但是當(dāng)發(fā)生異常情況時(shí)ER發(fā)送隊(duì)列和接收隊(duì)列將可能從內(nèi)存溢出到磁盤中，為防止內(nèi)存隊(duì)列溢出，應(yīng)定期監(jiān)控發(fā)送和接收隊(duì)列的磁盤空間使用情況。

*onstat-g rqm，查看暫留在本地的數(shù)據(jù)量。

*cdr stop命令停止 ER線程。在使用cdr stop時(shí)，ER停止讀取邏輯日志和尋找要復(fù)制的數(shù)據(jù)。在ER停止時(shí)，要確保當(dāng)時(shí)沒有數(shù)據(jù)庫活動(dòng)發(fā)生，否則這個(gè)生產(chǎn)服務(wù)器就會(huì)與備份服務(wù)器上的數(shù)據(jù)不同步。

*要想重新啟動(dòng)已經(jīng)停止的ER服務(wù)器，應(yīng)該使用cdr start。在重新啟動(dòng)服務(wù)器時(shí)，ER線程啟動(dòng)并從重放位置（原來停止的位置）繼續(xù)計(jì)算邏輯日志。如果重放的位置指向的邏輯日志不再存在，那么重新啟動(dòng)失敗，在服務(wù)器上ER不處于活躍狀態(tài)。

*cdr change replicateset-add，將新表添加到ER復(fù)制。

*drop table，刪除已加入ER復(fù)制的表。

3.4 備份數(shù)據(jù)恢復(fù)

當(dāng)某一個(gè)或多個(gè)住房公積金管理中心發(fā)生數(shù)據(jù)災(zāi)難時(shí)，可以通過數(shù)據(jù)災(zāi)備中心的備份數(shù)據(jù)進(jìn)行恢復(fù)。

在數(shù)據(jù)恢復(fù)前，首先停止生產(chǎn)中心的應(yīng)用，將災(zāi)備中心的數(shù)據(jù)以全庫或個(gè)別庫的方式導(dǎo)出，生成導(dǎo)出文件，將導(dǎo)出文件通過傳輸網(wǎng)絡(luò)復(fù)制回生產(chǎn)中心，導(dǎo)入生產(chǎn)中心數(shù)據(jù)庫中，并經(jīng)過嚴(yán)格的數(shù)據(jù)一致性檢查，確認(rèn)恢復(fù)數(shù)據(jù)與業(yè)務(wù)的一致性后，恢復(fù)生產(chǎn)中心的運(yùn)行狀態(tài)。

數(shù)據(jù)恢復(fù)時(shí)間與備份數(shù)據(jù)量大小相關(guān)，影響的主要因素在于網(wǎng)絡(luò)傳輸?shù)臅r(shí)間，以恢復(fù)1GB數(shù)據(jù)為例，生產(chǎn)中心備份與災(zāi)備中心之間的傳輸網(wǎng)絡(luò)帶寬為10Mbps，約為每秒1～1.2M字節(jié)，傳輸1GB數(shù)據(jù)所需時(shí)間=1000M/（1—1.2）=833— 1000S，約為 16 分鐘左右。

根據(jù)上述估算，全省各住房公積金管理中心備份數(shù)據(jù)均可在24小時(shí)內(nèi)完成全庫恢復(fù)。

3.5 Informix ER實(shí)施約束

基于Informix ER的數(shù)據(jù)復(fù)制實(shí)現(xiàn)方式靈活，支持實(shí)時(shí)復(fù)制，對(duì)主機(jī)、存儲(chǔ)平臺(tái)無一致性要求，并且能夠?qū)崿F(xiàn)跨平臺(tái)、跨版本復(fù)制，但也存在以下約束因素：

數(shù)據(jù)庫系統(tǒng)：生產(chǎn)服務(wù)器和備份服務(wù)器必須采用Informix數(shù)據(jù)庫系統(tǒng)，并且盡量采用相同的版本。

日志記錄：在ER復(fù)制所涉及的所有服務(wù)器實(shí)例上創(chuàng)建數(shù)據(jù)庫時(shí)，必須帶有日志記錄，為了使對(duì)數(shù)據(jù)庫系統(tǒng)的影響最小，盡可能使用已緩沖的日志記錄。

臨時(shí)表：由于數(shù)據(jù)庫服務(wù)器在應(yīng)用程序終止或關(guān)閉數(shù)據(jù)庫時(shí)會(huì)刪除臨時(shí)表，所以不應(yīng)將這些表包含在復(fù)制環(huán)境中。

主鍵約束：需要復(fù)制的所有表必須在至少一列上定義Primary Key約束，ER需要使用主鍵提高性能和解決沖突，盡管最新的Informix 11.7版本能夠支持無主鍵表復(fù)制，但為了提高ER性能，應(yīng)盡量建立主鍵。

大事務(wù)處理：雖然ER能夠處理大事務(wù)，但它是為小事務(wù)優(yōu)化的，為了獲得最佳性能，應(yīng)盡量避免大事務(wù)。

SQL語句：在表加入復(fù)制后，不能執(zhí)行任何更改表結(jié)構(gòu)的操作，必須操作時(shí)，需先停止復(fù)制。禁用的SQL 語句包括：drop table、rename table、alter fragment。

時(shí)鐘同步：ER使用時(shí)間戳標(biāo)記、解決復(fù)制沖突，因此參與復(fù)制的數(shù)據(jù)庫服務(wù)器時(shí)間須進(jìn)行同步，應(yīng)使用NTP保證時(shí)鐘同步。

避免頻繁啟停ER：在實(shí)際實(shí)施過程中，筆者發(fā)現(xiàn)，如果ER頻繁啟停，容易導(dǎo)致數(shù)據(jù)庫系統(tǒng)的異常，導(dǎo)致需要重啟數(shù)據(jù)庫，因此應(yīng)盡量避免。

4 結(jié)語

本文采用基于Informix ER機(jī)制的遠(yuǎn)程數(shù)據(jù)庫復(fù)制技術(shù)很好地適應(yīng)了全省12個(gè)住房公積金管理中心的軟硬件現(xiàn)狀，滿足了全省住房公積金數(shù)據(jù)災(zāi)備中心的建設(shè)要求，通過數(shù)據(jù)集中備份和共享硬件平臺(tái)的方式，建立全省住房公積金數(shù)據(jù)災(zāi)備中心，對(duì)于建立全省統(tǒng)一的住房公積金數(shù)據(jù)安全管理應(yīng)急處置機(jī)制，確保全省住房公積金數(shù)據(jù)安全，實(shí)現(xiàn)對(duì)全省住房公積金管理全過程實(shí)施動(dòng)態(tài)監(jiān)管，提高全省住房公積金數(shù)據(jù)綜合利用水平，促進(jìn)全省住房公積金信息共享和業(yè)務(wù)協(xié)調(diào)，避免各地重復(fù)建設(shè)，降低建設(shè)與維護(hù)成本具有重要意義。