羅世雄

（湖南省郵電規(guī)劃設(shè)計(jì)院有限公司，長沙 410126）

1 引言

存儲資源池的規(guī)劃和設(shè)計(jì)遵從穩(wěn)定可靠、易擴(kuò)展、高性能、管理靈活的原則，按照分級存儲的理念，為應(yīng)用提供更多的存儲及數(shù)據(jù)服務(wù)，如數(shù)據(jù)共享、數(shù)據(jù)容災(zāi)、備份恢復(fù)等，滿足不同業(yè)務(wù)的服務(wù)水平要求[1]。按照ITIL管理域功能要素，提升應(yīng)用服務(wù)水平質(zhì)量和系統(tǒng)管理水平，建立合理分級存儲和存儲服務(wù)的架構(gòu)，提供多種數(shù)據(jù)支撐服務(wù)[2]。

作為整個數(shù)據(jù)中心數(shù)據(jù)承載的核心架構(gòu)，存儲云平臺應(yīng)具備高可靠、高性能、易擴(kuò)展、易管理的特點(diǎn)[3]。存儲資源池的規(guī)劃和設(shè)計(jì)應(yīng)借助存儲自動化平臺，實(shí)現(xiàn)存儲的資源自動智能供給等控制服務(wù)，改變傳統(tǒng)存儲管理手工操作的模式，實(shí)現(xiàn)存儲的自動化運(yùn)維管理，實(shí)現(xiàn)存儲資源即服務(wù)（Storage as a Service)[4]。

2 業(yè)務(wù)應(yīng)用場景分析

為滿足存儲的不同要求，根據(jù)存儲設(shè)備性能建立分區(qū)存儲策略，提供統(tǒng)一的高可用數(shù)據(jù)存儲服務(wù)和存儲管理服務(wù)。

各種應(yīng)用類型對應(yīng)的適用存儲選擇，見表1所示。

表1 存儲選型表

3 業(yè)務(wù)數(shù)據(jù)類型分析

數(shù)據(jù)中心不同業(yè)務(wù)系統(tǒng)產(chǎn)生數(shù)據(jù)的類型不同，需采用不同的技術(shù)滿足不同要求，以達(dá)到高可靠、高性能、高可擴(kuò)展性和管理靈活的特點(diǎn)。

3.1 結(jié)構(gòu)化數(shù)據(jù)

結(jié)構(gòu)化數(shù)據(jù)是以行和列為組織形式，數(shù)據(jù)的I/O通常與一個事務(wù)相關(guān)，每個I/O的數(shù)據(jù)量相對較小，但是I/O的頻率很高，故要求存儲系統(tǒng)具有較高IOPS性能。結(jié)構(gòu)化數(shù)據(jù)典型的是數(shù)據(jù)庫數(shù)據(jù)，包括Oracle等商用數(shù)據(jù)庫。

3.2 非結(jié)構(gòu)化數(shù)據(jù)

非結(jié)構(gòu)化數(shù)據(jù)是以文件為組織形式存放在存儲設(shè)備上的數(shù)據(jù)。前端應(yīng)用系統(tǒng)對非結(jié)構(gòu)化數(shù)據(jù)I/O通常采用大數(shù)據(jù)塊順序讀寫，但I(xiàn)/O次數(shù)較少，故要求存儲系統(tǒng)提供大I/O帶寬和存儲擴(kuò)展。非結(jié)構(gòu)化數(shù)據(jù)典型的是多媒體文件等。

4 存儲資源池選型設(shè)計(jì)

目前較主流存儲方式，主要有FC-SAN、IP-SAN、NAS、分布式存儲等方式[4,5]，詳見表2所示。

5 存儲資源池服務(wù)分級設(shè)計(jì)

5.1 存儲服務(wù)目錄

對數(shù)據(jù)中心各業(yè)務(wù)的服務(wù)級別需求分析，產(chǎn)生出服務(wù)目錄、服務(wù)級別協(xié)議，建立數(shù)據(jù)中心統(tǒng)一的數(shù)據(jù)存儲管理和服務(wù)規(guī)范及標(biāo)準(zhǔn)，設(shè)計(jì)和實(shí)施符合不同服務(wù)級別的數(shù)據(jù)保護(hù)和恢復(fù)解決方案，定義符合業(yè)務(wù)需求的IT服務(wù)及其相關(guān)的服務(wù)內(nèi)容和服務(wù)級別，根據(jù)服務(wù)級別設(shè)計(jì)出合理的存儲資源池架構(gòu)。存儲服務(wù)目錄定義如表3所示。

5.2 存儲服務(wù)級別

由于應(yīng)用業(yè)務(wù)需求、成本考量等因素的不同，不同應(yīng)用對同一存儲服務(wù)相同服務(wù)指標(biāo)的要求和服務(wù)級別是有偏差的，所以對存儲服務(wù)的每一個服務(wù)指標(biāo)都定義了不同的服務(wù)級別。

存儲服務(wù)級別是以業(yè)界存儲服務(wù)的最佳實(shí)踐為基準(zhǔn)，以主流存儲廠家知識和經(jīng)驗(yàn)作為校正，以訪談不同業(yè)務(wù)需求及目前存儲服務(wù)情況和搜集現(xiàn)狀數(shù)據(jù)來完善服務(wù)級別，根據(jù)運(yùn)行效果不斷校正偏差，得出存儲資源池服務(wù)級別分類如表4所示。

5.3 數(shù)據(jù)保護(hù)服務(wù)級別

根據(jù)數(shù)據(jù)中心應(yīng)用系統(tǒng)數(shù)據(jù)保護(hù)和恢復(fù)的實(shí)際需求，結(jié)合業(yè)界數(shù)據(jù)保護(hù)和恢復(fù)方面的最佳實(shí)踐，提出分級的數(shù)據(jù)保護(hù)恢復(fù)服務(wù)，確定數(shù)據(jù)保護(hù)服務(wù)各級別的定義。數(shù)據(jù)保護(hù)服務(wù)采用恢復(fù)時間點(diǎn)目標(biāo)(RPO)、恢復(fù)時間目標(biāo)(RTO)、可恢復(fù)性3個關(guān)鍵性能指標(biāo)對其量化。數(shù)據(jù)保護(hù)級別分類如表5所示。

5.3.1 級別1

數(shù)據(jù)保護(hù)的最高級別，必須實(shí)現(xiàn)數(shù)據(jù)0丟失與0停機(jī)，確保數(shù)據(jù)完整性、有效性，且發(fā)生故障后，無需恢復(fù)數(shù)據(jù)即可100%恢復(fù)且正常提供業(yè)務(wù)服務(wù)。

表2 存儲類型分類表

表3 存儲服務(wù)目錄定義

表4 存儲資源池服務(wù)級別分類表

表5 數(shù)據(jù)服務(wù)級別分類表

要求數(shù)據(jù)有完整的備份和容災(zāi)措施，能夠防止物理和邏輯災(zāi)難，實(shí)現(xiàn)數(shù)據(jù)RPO=0。建設(shè)有完整的本地可用副本，在物理災(zāi)難發(fā)生時，無切換時間完成生產(chǎn)數(shù)據(jù)到副本數(shù)據(jù)切換；必須防止物理站點(diǎn)災(zāi)難，建有異地?cái)?shù)據(jù)副本，當(dāng)本地所有副本不可用時，數(shù)據(jù)切換到異地副本；有效防止邏輯錯誤，能恢復(fù)一個月內(nèi)任意時間點(diǎn)狀態(tài)數(shù)據(jù)，滿足業(yè)務(wù)任意時間點(diǎn)回滾，保證數(shù)據(jù)的0丟失。

適用核心業(yè)務(wù)系統(tǒng)，此類業(yè)務(wù)系統(tǒng)發(fā)生災(zāi)難，將嚴(yán)重影響業(yè)務(wù)開展。

5.3.2 級別2

必須實(shí)現(xiàn)數(shù)據(jù)的0丟失，確保數(shù)據(jù)的完整性、有效性，且發(fā)生故障后，能夠在4 h內(nèi)100%恢復(fù)且正常提供業(yè)務(wù)服務(wù)。

要求數(shù)據(jù)有完整的備份和容災(zāi)措施，具有100%數(shù)據(jù)可恢復(fù)性。要求有完整的本地備份，能夠防止物理和邏輯災(zāi)難，能通過數(shù)據(jù)保護(hù)方案保證業(yè)務(wù)連續(xù)性，在4 h內(nèi)完成生產(chǎn)數(shù)據(jù)切換到副本數(shù)據(jù)；建有異地的數(shù)據(jù)副本，當(dāng)本地副本不可用時，數(shù)據(jù)切換到異地副本，數(shù)據(jù)要求RP0=0，RTO≤4 h。

適用重要業(yè)務(wù)系統(tǒng)，此類業(yè)務(wù)系統(tǒng)發(fā)生災(zāi)難，將局部影響業(yè)務(wù)效率。

5.3.3 級別3

一般服務(wù)級別，確保數(shù)據(jù)的完整性、有效性，RPO和RTO≤24 h，必須實(shí)現(xiàn)數(shù)據(jù)100%恢復(fù)。

要求數(shù)據(jù)有完整的備份措施，具有100%數(shù)據(jù)可恢復(fù)性，必須建有完整的本地備份，能夠防止物理和邏輯災(zāi)難，實(shí)現(xiàn)數(shù)據(jù)RPO≤24 h。

適用一般業(yè)務(wù)系統(tǒng)，此類業(yè)務(wù)系統(tǒng)發(fā)生災(zāi)難，不會對業(yè)務(wù)造成較大影響。

5.4 確定系統(tǒng)數(shù)據(jù)服務(wù)級別

對數(shù)據(jù)中心應(yīng)用系統(tǒng)業(yè)務(wù)重要性分類：核心業(yè)務(wù)、重要業(yè)務(wù)、一般業(yè)務(wù)，結(jié)合對數(shù)據(jù)保護(hù)服務(wù)級別的要求，核心業(yè)務(wù)系統(tǒng)數(shù)據(jù)保護(hù)為級別1，重要業(yè)務(wù)系統(tǒng)為級別2，一般業(yè)務(wù)為級別3。

6 存儲資源池功能設(shè)計(jì)

6.1 全自動分層設(shè)計(jì)

存儲自動分級技術(shù)利用不同存儲介質(zhì)（SSD、SATA盤等）在成本和性能方面的差異性，通過性能統(tǒng)計(jì)、分析后，自動將熱點(diǎn)數(shù)據(jù)遷入高性能存儲層（SSD盤），非熱點(diǎn)數(shù)據(jù)遷入普通存儲層（SATA盤），保證業(yè)務(wù)系統(tǒng)性能持續(xù)自動優(yōu)化，同時避免了人工調(diào)優(yōu)的繁瑣和誤操作，也減少了購置、電力等成本，實(shí)現(xiàn)成本和性能的最優(yōu)比例。

6.2 存儲性能分析設(shè)計(jì)

6.2.1 CPU計(jì)算能力

處理器需要完成I/O處理、數(shù)據(jù)傳輸控制等軟件功能，陣列中CPU是核心數(shù)據(jù)處理單元，也是支持大容量數(shù)據(jù)讀寫計(jì)算的關(guān)鍵。存儲控制器主頻、核數(shù)與其性能呈正比，故盡可能配置處理能力更強(qiáng)的CPU以滿足大量計(jì)算I/O性能需求。

6.2.2 Cache緩存

對于數(shù)據(jù)庫和虛擬機(jī)等大量數(shù)據(jù)訪問應(yīng)用，為提高I/O能力，應(yīng)盡可能讓I/O在CPU和Cache之間發(fā)生，降低對物理磁盤讀寫，因此緩存越大、算法越好，緩存命中率越高，隨機(jī)I/O的處理性能就越好，存儲容量與Cache容量成正比例配置。

6.2.3 前端端口主機(jī)端HBA卡端口數(shù)≥2-3，再考慮到為未來系統(tǒng)預(yù)留，共配置16個8 Gb前端端口。

6.3 存儲高可用設(shè)計(jì)

6.3.1 存儲設(shè)備冗余設(shè)計(jì)

構(gòu)架設(shè)計(jì)采用冗余的體系構(gòu)架，實(shí)現(xiàn)電源、磁盤等關(guān)鍵部件冗余保護(hù)。

（1）采用雙交換機(jī)、雙主機(jī)HBA卡搭建存儲與主機(jī)之間的多條訪問路徑；

（2）全面在線升級能力：所有硬件部件、功能性軟件及存儲系統(tǒng)的內(nèi)部微碼均具有在線升級能力；

（3）系統(tǒng)中硬件部件為可熱插拔且能不間斷修復(fù)，微碼可在不影響用戶操作和應(yīng)用運(yùn)行的情況下重新裝入；

（4）不間斷電源系統(tǒng)，具有電池備份系統(tǒng)。當(dāng)AC電源失敗時，電池備份系統(tǒng)提供對Cache中數(shù)據(jù)的保護(hù)，保證Cache中的數(shù)據(jù)能全部寫到硬盤中。

6.3.2 數(shù)據(jù)保護(hù)高可用

在數(shù)據(jù)可靠性方面提供RAID0、1、01、10、5等多種RAID保護(hù)；

動態(tài)備盤——非RAID的數(shù)據(jù)保護(hù)方式，降低磁盤重建時間；

存儲電源配置冗余，防止意外斷電而失去Cache內(nèi)容。

6.3.3 存儲架構(gòu)高可用對于核心存儲系統(tǒng)，利用高端存儲系統(tǒng)的數(shù)據(jù)同步復(fù)制功能、持續(xù)數(shù)據(jù)保護(hù)功能，有效防范存儲設(shè)備的單點(diǎn)故障。

6.4 關(guān)鍵技術(shù)應(yīng)用設(shè)計(jì)

6.4.1 服務(wù)質(zhì)量（QoS）技術(shù)

對存儲系統(tǒng)中的計(jì)算、緩存及硬盤資源等進(jìn)行智能分配和調(diào)節(jié)，在整個存儲路徑上進(jìn)行端到端的細(xì)粒度控制，從而滿足不同重要性業(yè)務(wù)在同一臺存儲設(shè)備上的不同QoS要求。主要通過三方面來保障：

（1） 按業(yè)務(wù)重要性來劃分業(yè)務(wù)響應(yīng)優(yōu)先級，先保證高優(yōu)先級業(yè)務(wù)；

（2） 通過I/O流控機(jī)制，限制某些業(yè)務(wù)由于流量過大而影響其它業(yè)務(wù)；

（3） 允許用戶為高優(yōu)先級業(yè)務(wù)指定最低性能目標(biāo)（最小IOPS或最大時延）。

6.4.2 緩存分區(qū)技術(shù)

不同應(yīng)用配置不同大小的緩存分區(qū)，該分區(qū)的緩存資源被該應(yīng)用獨(dú)占，根據(jù)業(yè)務(wù)實(shí)際情況動態(tài)調(diào)配不同分區(qū)中的前后端并發(fā)。主要通過對以下三類資源劃分隔離區(qū)確保性能：

（1）在存儲內(nèi)并行執(zhí)行主機(jī)I/O數(shù)量；

（2）業(yè)務(wù)占有的緩存大小；

（3）并發(fā)訪問后端硬盤的I/O數(shù)量。

6.4.3 端到端的數(shù)據(jù)完整性校驗(yàn)技術(shù)

數(shù)據(jù)在讀、寫、存儲過程中，出現(xiàn)了錯誤，沒被立即檢測出來，此現(xiàn)象叫靜默數(shù)據(jù)破壞(Silent Data Corruption)，產(chǎn)生靜默數(shù)據(jù)破壞原因主要有Firmware錯誤等。為防止靜默數(shù)據(jù)的產(chǎn)生，DIF數(shù)據(jù)校驗(yàn)技術(shù)通過在存儲每個扇區(qū)數(shù)據(jù)后加DIF字段，在后續(xù)數(shù)據(jù)流過的關(guān)鍵通道上設(shè)置校驗(yàn)點(diǎn)，實(shí)現(xiàn)數(shù)據(jù)完整性檢查。

7 存儲管理平臺設(shè)計(jì)

7.1 系統(tǒng)邏輯架構(gòu)

存儲管理平臺具有全面先進(jìn)的自我監(jiān)測、自我診斷和自我修復(fù)算法。存儲管理平臺為三層系統(tǒng)架構(gòu)，分別為接口層、管理邏輯層、存儲管控層。

7.1.1 接口層

通過存儲管理平臺的建設(shè)，實(shí)現(xiàn)存儲資源池的虛擬化、抽象化、自動化和可視化，存儲云平臺提供主流的API接口（如Rest），使存儲服務(wù)能無縫的納入到已有的云管理平臺，提供完整的資源服務(wù)。

7.1.2 管理邏輯層

“軟件定義存儲系統(tǒng)”為平臺核心技術(shù)，通過該系統(tǒng)將物理存儲資源池化、抽象化、標(biāo)準(zhǔn)化，并提供基于資源池預(yù)定義的存儲自動化服務(wù)。存儲資源的池化和抽象化可根據(jù)數(shù)據(jù)中心的存儲服務(wù)目錄進(jìn)行配置，存儲自動化服務(wù)由基于抽象的資源池封裝提供，存儲資源標(biāo)準(zhǔn)化在自動化服務(wù)策略中配置，使存儲自動化服務(wù)符合數(shù)據(jù)中心的存儲規(guī)劃和運(yùn)維規(guī)范。另該系統(tǒng)還支持多租戶、計(jì)量、自服務(wù)等云計(jì)算特性。

“存儲資源管理系統(tǒng)”從物理存儲和“軟件定義存儲系統(tǒng)”中抽取信息，以提供多維度（指物理存儲、存儲資源池等）詳細(xì)的配置管理等。

“統(tǒng)一存儲管理門戶”基于軟件定義存儲系統(tǒng)和存儲資源管理系統(tǒng)。該門戶是存儲管理平臺對外的統(tǒng)一接口，根據(jù)不同用戶的不同運(yùn)維管理任務(wù)進(jìn)行客戶優(yōu)化，以一個界面完成一項(xiàng)任務(wù)的方式整合零散的存儲管理信息。

7.1.3 存儲管控層

存儲管控層即與底層存儲的接口層，主要包括獲取存儲管理所需的存儲信息、發(fā)布存儲自動化控制命令。管控層支持多種主流面向云的接口協(xié)議，包括SMI-S接口和OpenStack Cinder。

7.2 存儲資源端到端自動化調(diào)配

實(shí)現(xiàn)從存儲、SAN交換機(jī)、服務(wù)器端到端的存儲自動化調(diào)配。實(shí)現(xiàn)基于策略的存儲資源自動化，設(shè)定不同的存儲供給策略來滿足規(guī)劃和標(biāo)準(zhǔn)化要求，使得配置符合存儲最佳實(shí)踐，同時通過自動化消除由于手工操作給整個存儲資源的穩(wěn)定性帶來的風(fēng)險。

7.3 存儲資源的自助式申請

支持多租戶設(shè)計(jì)和存儲服務(wù)的定制化，可為不同部門指定不同租戶，設(shè)定不同的存儲服務(wù)和存儲配額。可在用戶界面中查看各自的存儲服務(wù)內(nèi)容，并根據(jù)需要申請相應(yīng)的存儲服務(wù)。內(nèi)置審批流程，管理員在收到存儲服務(wù)請求時，可進(jìn)行審批操作。

7.4 異構(gòu)存儲陣列的統(tǒng)一管理

對不同存儲陣列采用相應(yīng)的接口程序來保證異構(gòu)存儲陣列接入，優(yōu)先采用行業(yè)標(biāo)準(zhǔn)接口。通過將異構(gòu)存儲資源抽象化，將設(shè)備級的操作封裝成面向存儲資源的操作，并能自動執(zhí)行從創(chuàng)建、變更到回收的整個存儲生命周期流程。管理員也可以從平臺中添加、調(diào)配、管理和共享存儲資源。

7.5 存儲資源統(tǒng)一監(jiān)控管理

通過SMI-S等標(biāo)準(zhǔn)接口來實(shí)現(xiàn)異構(gòu)存儲陣列的監(jiān)控，實(shí)現(xiàn)從主機(jī)到存儲端到端的可視性，快速了解主機(jī)相關(guān)存儲資源的使用情況。通過周期性數(shù)據(jù)采集，自動展現(xiàn)最新存儲資源性能、健康狀態(tài)等，協(xié)助管理人員定位分析問題。

8 設(shè)備利舊原則規(guī)劃

(1) 保護(hù)原有投資原則：未到設(shè)備報廢年限，滿足虛擬化條件存儲設(shè)備應(yīng)盡量利舊。

(2) 性能匹配原則：對未到設(shè)備保護(hù)年限，但性能較低，在利舊虛擬化后，可能導(dǎo)致平臺整體性能降低、影響應(yīng)用效果的設(shè)備，應(yīng)單獨(dú)利舊，規(guī)劃承載對性能要求不高、非關(guān)鍵性的業(yè)務(wù)系統(tǒng)。

9 結(jié)束語

新技術(shù)的規(guī)?；瘧?yīng)用，數(shù)據(jù)海量增長的態(tài)勢，存儲不僅會在容量上提升，同時也要滿足新興業(yè)務(wù)的性能要求及數(shù)據(jù)服務(wù)等要求[6]。本文從數(shù)據(jù)中心角度出發(fā)，提出存儲服務(wù)分級設(shè)計(jì)以滿足不同的存儲服務(wù)要求，通過存儲管理平臺實(shí)現(xiàn)數(shù)據(jù)中心存儲的全自動化，為存儲資源池規(guī)劃部署提供有價值的參考。