王亮 魯曉帆 郭邦圣 劉鑫 高曉佳

摘 ?要：高可用集群環(huán)境構(gòu)建中，部署應(yīng)用的流程，主要由管理進(jìn)程資源組中的帶入和帶出任務(wù)，修改資源刪除資源測(cè)試資源。當(dāng)客戶(hù)端訪問(wèn)時(shí)，支持手動(dòng)切換資源調(diào)集。應(yīng)用過(guò)程中，支持魯棒測(cè)試，如熱插拔、關(guān)機(jī)、進(jìn)程殺掉;測(cè)試過(guò)程中支持分布式和單元測(cè)試。經(jīng)過(guò)一系列的部署、安裝和測(cè)試，發(fā)現(xiàn)不當(dāng)配置與應(yīng)用效果，需進(jìn)一步完善機(jī)制與策略控制，再次進(jìn)行大規(guī)模應(yīng)用與監(jiān)測(cè)。

關(guān)鍵詞：高可用 ? 安全存儲(chǔ) ? 集群構(gòu)建 ? 應(yīng)用研究

中圖分類(lèi)號(hào)：P209 ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1672-3791（2021）08（c）-0011-03

Application Research on the Construction of High Available Secure Storage Cluster

WANG Liang ?LU Xiaofan ?GUO Bangsheng ?LIU Xin ?GAO Xiaojia

（Jilin University of Architecture and Technology， Changchun， Jilin Province， 130114 China）

Abstract： In the construction of high availability cluster environment， the process of deploying applications is mainly carried in and out by the tasks in the management process resource group， modify resources， delete resources and test resources. When the client accesses， it supports manual switching of resource mobilization. During the application process， it supports robust testing， such as hot plug， shutdown， process kill， and distributed and unit testing. After a series of deployment in the test， found the improper configuration and application effect need to further improve the mechanism and strategy control， and carry out large-scale application and monitoring again.

Key Words： High availability; Secure storage; Cluster construction; Application research

在大數(shù)據(jù)、人工智能領(lǐng)域開(kāi)展深入研究，實(shí)現(xiàn)高校服務(wù)器采用HA（High Available）高可用及高可用安全存儲(chǔ)集群構(gòu)建，一旦發(fā)生服務(wù)器陣列故障，則面臨多個(gè)單點(diǎn)服務(wù)故障或校園多樣服務(wù)大數(shù)據(jù)（教務(wù)系統(tǒng)數(shù)據(jù)、網(wǎng)站系統(tǒng)數(shù)據(jù)、監(jiān)控系統(tǒng)數(shù)據(jù)、學(xué)科平臺(tái)科研建設(shè)數(shù)據(jù)等）損毀及停頓。因此，要實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)的高可靠性，必然要保證存儲(chǔ)高可用性，針對(duì)這類(lèi)情況，提出高可用安全存儲(chǔ)集群構(gòu)建應(yīng)用研究[1]。

1 ?高可用集群系統(tǒng)

當(dāng)前，大學(xué)校園或中小企業(yè)對(duì)信息化高度重視，大都建立了計(jì)算機(jī)應(yīng)用系統(tǒng)，支持其自身的環(huán)境、運(yùn)營(yíng)和管理工作。然而不論是校園還是企業(yè)，最重視的核心問(wèn)題是如何建立并維護(hù)其系統(tǒng)的運(yùn)行持續(xù)性及穩(wěn)定性。由此，高可用對(duì)于計(jì)算機(jī)應(yīng)用系統(tǒng)極其重要。在正常的業(yè)務(wù)運(yùn)行過(guò)程當(dāng)中，軟硬件系統(tǒng)不可避免地會(huì)發(fā)生故障，可能還會(huì)導(dǎo)致系統(tǒng)的整體癱瘓，這樣會(huì)影響用戶(hù)的響應(yīng)請(qǐng)求及用戶(hù)的信任，損失會(huì)難以估計(jì)，所以采取必要的防范和應(yīng)用措施來(lái)保證計(jì)算機(jī)系統(tǒng)的高可用和不間斷業(yè)務(wù)服務(wù)等，來(lái)保障系統(tǒng)的安全性、穩(wěn)定性[2]。

2 ?RoseHA概述

RoseHA高可用系統(tǒng)是實(shí)現(xiàn)兩節(jié)點(diǎn)的集群構(gòu)建環(huán)境，用戶(hù)只需在原有系統(tǒng)上附加同類(lèi)服務(wù)器及IP-SAN即可，通過(guò)監(jiān)控系統(tǒng)的卷資源、別名資源、繪畫(huà)資源、存儲(chǔ)資源及應(yīng)用程序和操作系統(tǒng)，各類(lèi)計(jì)算機(jī)硬件和軟件資源的運(yùn)行狀態(tài)，實(shí)現(xiàn)某個(gè)關(guān)鍵核心業(yè)務(wù)的高可用性。當(dāng)某個(gè)活動(dòng)節(jié)點(diǎn)不工作或宕機(jī)，RoseHA將活動(dòng)業(yè)務(wù)的系統(tǒng)主機(jī)遷移至備援主機(jī)，有效地降低計(jì)劃內(nèi)外的主機(jī)非正常運(yùn)轉(zhuǎn)時(shí)間，提高業(yè)務(wù)系統(tǒng)穩(wěn)定性和高可用性[3]。

3 ?RoseHA的產(chǎn)品結(jié)構(gòu)與工作原理

支持動(dòng)態(tài)卷切換，增強(qiáng)卷切換的工作效率及支持LINUX系統(tǒng)平臺(tái)下的邏輯卷設(shè)備切換。針對(duì)不同的特定應(yīng)用代理程序，將服務(wù)監(jiān)控按照實(shí)際有效的方式切換，提供API用戶(hù)開(kāi)發(fā)代理程序，針對(duì)企業(yè)編寫(xiě)特定專(zhuān)用的代理程序，指定與專(zhuān)用服務(wù)相關(guān)的狀態(tài)診斷與錯(cuò)誤恢復(fù)機(jī)制。集群具有容錯(cuò)可靠，具有兩個(gè)或多個(gè)核心進(jìn)程，互相監(jiān)控，如果其中一個(gè)失敗，另一個(gè)進(jìn)程自動(dòng)執(zhí)行恢復(fù)，避免單點(diǎn)故障發(fā)生在自身服務(wù)。支持多心跳路徑，避免心跳故障單點(diǎn)產(chǎn)生，支持仲裁資源，使集群節(jié)點(diǎn)全部通信斷開(kāi)，通過(guò)仲裁確定集群運(yùn)行狀態(tài)，避免節(jié)點(diǎn)競(jìng)爭(zhēng)[4]。

4 ?基于ORACLE+RoseHA的高可用安全存儲(chǔ)集群構(gòu)建

4.1 ORACLE的構(gòu)建部署

啟動(dòng)實(shí)例的過(guò)程是加載內(nèi)存的過(guò)程，將主服務(wù)部署聯(lián)機(jī)共享，部署后刪除主實(shí)例后部署的備用服務(wù)器，常規(guī)劃于RAID磁盤(pán)陣列中，磁盤(pán)陣列隸屬于當(dāng)前某個(gè)活動(dòng)的基于ISCSI映射連接的磁盤(pán)空間中，啟動(dòng)數(shù)據(jù)庫(kù)：startup nomount：?jiǎn)?dòng)實(shí)例;startup mount：只允許本地操作;startup open：打開(kāi)數(shù)據(jù)庫(kù)，所有用戶(hù)可使用;startup restrict：以受限模式打開(kāi)數(shù)據(jù)庫(kù)。Alter database db01 mount轉(zhuǎn)換數(shù)據(jù)庫(kù)狀態(tài)Alter database db01 only read把數(shù)據(jù)庫(kù)轉(zhuǎn)換成只讀的Start database restrict數(shù)據(jù)庫(kù)受限狀態(tài)。構(gòu)建集群狀態(tài)下的核心數(shù)據(jù)庫(kù)，具體情況如圖1所示。

4.2 RoseHA的構(gòu)建部署

服務(wù)器主備均需安裝RHA，可無(wú)序安裝，部署向?qū)е校鶕?jù)實(shí)際需要進(jìn)行路徑和模塊選擇。在配置上，首先訪問(wèn)RHA的控制中心，通過(guò)默認(rèn)密碼webadmin訪問(wèn)，創(chuàng)建方案選擇活動(dòng)SERVER，根據(jù)活動(dòng)服務(wù)器的狀態(tài)及網(wǎng)絡(luò)虛擬指定的IP，作為指定服務(wù)器的IP地址，根據(jù)登錄界面輸入ROSE的內(nèi)置密碼，設(shè)置注冊(cè)碼，復(fù)制主備server的ID，通過(guò)注冊(cè)碼將授權(quán)導(dǎo)入。

配置鏈路，添加鏈路，選擇心跳IP，根據(jù)經(jīng)驗(yàn)需要兩組心跳效果最好。結(jié)合需求，選擇數(shù)據(jù)庫(kù)的應(yīng)用類(lèi)型，添加數(shù)據(jù)庫(kù)后，根據(jù)“磁盤(pán)列表”選擇磁盤(pán)ID，確認(rèn)并格式化磁盤(pán)。若安裝lvm或multi-path，需手動(dòng)輸入仲裁設(shè)備名，IP-SAN網(wǎng)絡(luò)存儲(chǔ)需要ISCSI連接成為本地磁盤(pán)后格式化磁盤(pán)，進(jìn)行仲裁加入。卷資源添加后磁盤(pán)ID要保持一直，在掛載和驅(qū)動(dòng)器號(hào)上，指定分區(qū)盤(pán)符。IP資源處選擇添加，網(wǎng)卡處掛在活動(dòng)的網(wǎng)卡，在資源處輸入activety的IP地址和掩碼。根據(jù)應(yīng)用類(lèi)型，RHA自動(dòng)添加系統(tǒng)服務(wù)，進(jìn)程資源是根據(jù)配置需要添加的.exe程序，默認(rèn)無(wú)監(jiān)控端口[5]。

集群環(huán)境部署應(yīng)用設(shè)計(jì)過(guò)程。（1）帶入：需主機(jī)開(kāi)啟活動(dòng)IP，啟動(dòng)每個(gè)業(yè)務(wù)服務(wù)系統(tǒng)，數(shù)據(jù)實(shí)現(xiàn)實(shí)時(shí)同步，集群中的備機(jī)會(huì)自動(dòng)停止。（2）帶出：當(dāng)前Active主機(jī)會(huì)休眠所有同步業(yè)務(wù)系統(tǒng)，實(shí)時(shí)監(jiān)聽(tīng)同步數(shù)據(jù)，暫停全部活動(dòng)數(shù)據(jù)及業(yè)務(wù)，屬于對(duì)等層業(yè)務(wù)的暫停執(zhí)行。（3）資源切換：處于正常與非正常狀態(tài)的切換資源方式，主機(jī)業(yè)務(wù)正常，但主機(jī)資源需要硬件維護(hù)或其他使用目的，則強(qiáng)制切換資源給備機(jī)使用，同步會(huì)通過(guò)心跳線(xiàn)路將IP資源、別名資源、會(huì)話(huà)資源、RAID卷資源及所有服務(wù)資源切換給備機(jī)運(yùn)行。當(dāng)主機(jī)出現(xiàn)異常宕機(jī)或其他非正常運(yùn)行狀況，則主機(jī)自動(dòng)實(shí)現(xiàn)帶出全部資源，將主動(dòng)權(quán)資源切換給備機(jī)，主機(jī)離線(xiàn)狀態(tài)，也會(huì)把所有資源權(quán)限全部帶出交付給備機(jī)，使其處于活動(dòng)狀態(tài)。主機(jī)關(guān)機(jī)及主機(jī)心跳或鏈路被拔掉及主機(jī)進(jìn)程被KILL掉，則全部資源自動(dòng)被帶出，交付備機(jī)接管，備機(jī)接收后按照RoseHA的自定向下服務(wù)執(zhí)行模式，將資源接管，繼續(xù)為用戶(hù)提供連續(xù)不間斷服務(wù)業(yè)務(wù)[6]。

4.3 單元與分布式測(cè)試

4.3.1 單元測(cè)試

（1）結(jié)合該項(xiàng)目實(shí)例，根據(jù)集群關(guān)鍵業(yè)務(wù)，通過(guò)RoseHA啟動(dòng)，JOB是否被正常運(yùn)行、停止。

（2）通過(guò)RoseHA進(jìn)行Take Over測(cè)試是否正常。

（3）通過(guò)RoseHA進(jìn)行Fail Over測(cè)試是否正常。

（4）通過(guò)RoseHA進(jìn)行Agent功能保護(hù)測(cè)試是否正常。

（5）網(wǎng)卡保護(hù)功能測(cè)試，拔除AS心跳線(xiàn)路測(cè)試是否提示出現(xiàn)Fail Over，并進(jìn)行遷出操作，立即插上后，AS是否恢復(fù)主機(jī)關(guān)鍵服務(wù)業(yè)務(wù)。

4.3.2 分布式測(cè)試

（1）修改活動(dòng)IP，選中配置好的RESOURCES池，執(zhí)行帶出操作，停止整個(gè)業(yè)務(wù)集群幾桶，在RESOURCES lists里，選中IP資源，操作屬性中修改IP地址，修改后保存執(zhí)行代入資源測(cè)試。

（2）新增監(jiān)控資源，在資源列表里如新增NT服務(wù)，依賴(lài)關(guān)系處選擇依賴(lài)資源配置后執(zhí)行帶入，然后立即監(jiān)控。

（3）刪除部分資源，在選中配置好的資源組中帶出并停止真?zhèn)€集群服務(wù)業(yè)務(wù)，在資源列表中刪除某個(gè)測(cè)試資源，操作-刪除，刪除后，選中資源組，執(zhí)行帶入。

4.4 故障排錯(cuò)與解決方案

主機(jī)狀態(tài)顯示主機(jī)離線(xiàn)，備機(jī)心跳紅色，確認(rèn)備機(jī)take in成功，此時(shí)故障情況為服務(wù)器網(wǎng)絡(luò)中斷或主機(jī)宕機(jī)，解決網(wǎng)絡(luò)中斷或服務(wù)器宕機(jī)問(wèn)題即可。

卷資源顯示故障，則OS提示無(wú)法連接本地RAID，檢測(cè)RAID指示燈是否異常，RAID是否解散，RAID成員是否故障，連接服務(wù)器的RAID光纖鏈路狀態(tài)及操作系統(tǒng)是否正常。

應(yīng)用服務(wù)主題資源顯示故障，部分資源無(wú)法正常使用與運(yùn)行，在資源列表中查看無(wú)法與運(yùn)行的主體應(yīng)用服務(wù)。

心跳故障顯示為紅色或者黃色標(biāo)識(shí)，心跳無(wú)法正常通信在接管與遞交資源過(guò)程中是無(wú)法實(shí)現(xiàn)實(shí)時(shí)通信的，選擇某個(gè)心跳查看具體故障。

如果為L(zhǎng)inux系統(tǒng)，則采取日志收集方式，在RoseHA的INFO文件中，默認(rèn)路徑為/opt/HA/info，如果是windows系統(tǒng)則路徑為c：＼Program Files＼HA＼info，執(zhí)行g(shù)atherinfo，運(yùn)行需要一段時(shí)間。在info目錄下生成host.rar的日志和配置壓縮包文件。分別在RoseHA集群的服務(wù)器上執(zhí)行相同操作，獲取這2臺(tái)服務(wù)器的配置和日志信息。

5 ?結(jié)語(yǔ)

通過(guò)高可用安全存儲(chǔ)集群的構(gòu)建實(shí)現(xiàn)各類(lèi)高校及中小企業(yè)的集群服務(wù)，保障業(yè)務(wù)的連續(xù)性迫在眉睫，目前對(duì)高可用集群與安全存儲(chǔ)這類(lèi)信息化建設(shè)較薄弱，原因在于意識(shí)不夠和構(gòu)建成本較高，因此需要把高可用及安全存儲(chǔ)列入常規(guī)運(yùn)維中，這樣不僅可以加強(qiáng)信息化的建設(shè)，而且對(duì)后期維護(hù)與安全性會(huì)起到重要的保護(hù)作用。

參考文獻(xiàn)

[1] 冷迪.基于集群架構(gòu)的物聯(lián)網(wǎng)動(dòng)態(tài)數(shù)據(jù)安全存儲(chǔ)方法[J].中國(guó)新通信，2020，22（6）：136.

[2] 吳俊鵬，劉曉東.一種基于集群的動(dòng)態(tài)負(fù)載均衡算法研究[J].電子設(shè)計(jì)工程，2021，29（16）：75-78.

[3] 鄭增乾，王錕，趙濤，等.帶寬和時(shí)延受限的流媒體服務(wù)器集群負(fù)載均衡機(jī)制[J].計(jì)算機(jī)科學(xué)，2021，48（6）：261-267.

[4] 吳天宇，馮蕊，楊翠.Oracle數(shù)據(jù)庫(kù)批量數(shù)據(jù)無(wú)損遷移技術(shù)[J].電子技術(shù)與軟件工程，2021（8）：204-205.

[5] 葛鈺，李洪赭，李賽飛.一種web服務(wù)器集群自適應(yīng)動(dòng)態(tài)負(fù)載均衡設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)與數(shù)字工程，2020，48（12）：3002-3007.

[6] 張鳳瓊.基于云計(jì)算技術(shù)的計(jì)算機(jī)網(wǎng)絡(luò)安全存儲(chǔ)技術(shù)[J].數(shù)字技術(shù)與應(yīng)用，2021，39（8）：176-178.

基金項(xiàng)目：吉林省教育廳“十三五”科學(xué)技術(shù)研究項(xiàng)目《高可用安全存儲(chǔ)集群構(gòu)建應(yīng)用研究》階段成果（項(xiàng)目編 ? ? ? ? ? ? ? ?號(hào)：JJKH20201232KJ）。

作者簡(jiǎn)介：王亮（1986—），男，碩士，實(shí)驗(yàn)師，研究方向?yàn)楦呖捎眉?、網(wǎng)絡(luò)工程。