羅文兵 楊婷婷 徐海波

（北京賽迪軟件測評工程技術(shù)中心有限公司 北京市 100048）

云平臺是云計算共性基礎資源統(tǒng)籌調(diào)度的核心，其統(tǒng)籌系統(tǒng)的所有共性基礎資源，實現(xiàn)虛擬計算、存儲、網(wǎng)絡等多類共性軟硬件資源的集中管理和統(tǒng)一調(diào)度，支撐上層應用基礎資源的統(tǒng)一運營、獨立運維，實現(xiàn)各業(yè)務節(jié)點服務資源和數(shù)據(jù)產(chǎn)品均衡分布，支撐數(shù)據(jù)、軟件、服務等各類資源對各業(yè)務節(jié)點的共享共用，為各業(yè)務節(jié)點提供計算資源保障、數(shù)據(jù)備份保障、軟件容災備份、資源遠程調(diào)用等服務和支撐。

1 云平臺系統(tǒng)

云平臺整體架構(gòu)是基于底層硬件設施，包括服務器、終端機、磁盤陣列、路由器、交換機等，并通過虛擬化技術(shù)、分布式并行技術(shù)整合形成虛擬化資源池，為上層業(yè)務應用統(tǒng)一提供計算資源、存儲資源和網(wǎng)絡資源。

一般而言，通用云平臺技術(shù)架構(gòu)如圖1所示，分為以下五個層次。

圖1：通用云平臺技術(shù)架構(gòu)

（1）物理層，是搭建、部署云基礎架構(gòu)所需的物理設備和配套環(huán)境，為云基礎架構(gòu)提供基本的物理資源。

（2）云操作系統(tǒng)層，是構(gòu)架于服務器、存儲、網(wǎng)絡等基礎硬件資源和單機操作系統(tǒng)、中間件、數(shù)據(jù)庫等基礎軟件之上的、管理海量的基礎硬件、軟件資源的云平臺綜合管理系統(tǒng)。

（3）基礎云資源服務層，將各類虛擬化資源封裝成對外提供的服務，如虛擬主機服務、裸金屬服務、容器服務、對象存儲服務、文件存儲服務等。

（4）服務支撐層，是指為上層云計算應用調(diào)用云基礎架構(gòu)計算、存儲資源預留的接口和對用戶使用云基礎架構(gòu)計算、存儲資源提供的交互界面。服務支撐層主要由數(shù)據(jù)庫服務、大數(shù)據(jù)引擎服務、中間件服務、管理監(jiān)控服務、云安全防護服務等組成。

（5）應用層，用戶部署的云計算應用。

2 云平臺測試重點分析

基于以上分析，針對云平臺的測試內(nèi)容主要包括2個方面，即云平臺基礎能力測試和云平臺對業(yè)務應用系統(tǒng)的支撐能力測試。其中，云平臺對業(yè)務應用系統(tǒng)的支撐能力測試需結(jié)合不同業(yè)務系統(tǒng)的具體應用需求進行測試設計，不同業(yè)務系統(tǒng)對應測試需求差異性較大，本文不對此展開論述，而重點針對云平臺基礎能力測試進行分析。

如圖2所示，云平臺軟件基礎能力包括云操作系統(tǒng)能力、基礎云資源服務能力、數(shù)據(jù)庫服務能力、中間件服務能力、大數(shù)據(jù)引擎服務能力、管理監(jiān)控服務能力、云安全防護服務能力等方面，下面逐一針對上述服務能力分析其測試重點。

圖2：云平臺基礎能力組成圖

2.1 云操作系統(tǒng)測試重點

云操作系統(tǒng)處于云平臺底層，支持基于虛擬化資源池的云架構(gòu)，提供統(tǒng)一的云操作系統(tǒng)和開發(fā)環(huán)境，可整合、管理和調(diào)度云平臺所需的計算、存儲、網(wǎng)絡等硬件資源，形成統(tǒng)一資源池，并能夠?qū)崿F(xiàn)網(wǎng)絡的靈活管理和安全控制，提供分布式任務協(xié)調(diào)與遠端調(diào)用能力，實現(xiàn)資源的按需動態(tài)分配和統(tǒng)一管理調(diào)度。云操作系統(tǒng)的測試重點包括：

（1）硬件資源調(diào)度能力：主要測試云操作系統(tǒng)是否支持基于虛擬化資源池的云架構(gòu)；能否根據(jù)任務規(guī)劃、數(shù)據(jù)處理等任務需要，在統(tǒng)一的資源池分配、調(diào)度、使用計算資源；是否具有計算、存儲、網(wǎng)絡等資源統(tǒng)一調(diào)度和快速服務響應的能力。

（2）網(wǎng)絡管理能力：主要測試云操作系統(tǒng)是否可以基于軟件定義網(wǎng)絡的機制等實現(xiàn)網(wǎng)絡的管理和控制。

（3）按需擴容能力：主要測試云操作系統(tǒng)是否能夠根據(jù)業(yè)務應用系統(tǒng)擴展需求，對計算、存儲能力進行水平擴展，在分布式架構(gòu)下支持上萬臺服務器、EB量級等文件存儲擴展；是否能夠根據(jù)需要進行在線擴容和縮容，并實現(xiàn)上層業(yè)務應用無感知。

（4）服務運維管理能力：主要測試云操作系統(tǒng)是否支持應用系統(tǒng)進行服務注冊、服務發(fā)布、服務調(diào)度和服務監(jiān)控等操作。

2.2 基礎云資源服務測試重點

基礎云資源服務針對業(yè)務系統(tǒng)使用需求，在對物理資源和虛擬資源進行有效監(jiān)控管理的基礎上，通過對服務模型的抽取，屏蔽底層基礎設施的差異，將云操作系統(tǒng)管理的計算、存儲、網(wǎng)絡資源封裝成各種服務，如計算資源按需可封裝為云虛擬主機服務、高性能計算服務、裸金屬服務、容器服務等；存儲資源可封裝為高速存儲、對象存儲、塊存儲、文件存儲等，為上層應用提供通用的虛擬資源服務?；A云資源服務測試的重點包括如下：

（1）虛擬主機服務能力：主要驗證虛擬主機基礎資源服務的基本功能、管理與監(jiān)控接口，以及并發(fā)創(chuàng)建和熱遷移性能等。

（2）裸金屬服務能力：主要測試彈性裸金屬服務是否可以滿足高性能計算場景下實時數(shù)據(jù)存儲以及歷史數(shù)據(jù)存儲需求，是否提供基于并行文件系統(tǒng)的高速文件存儲服務等。

（3）容器服務能力：主要驗證容器創(chuàng)建、容器應用、容器集群等相關(guān)功能，以及容器啟動、容器鏡像容量等性能。

（4）存儲服務能力：主要針對對象存儲、文件存儲和塊存儲等基本管理功能、接口管理功能和數(shù)據(jù)存儲性能等進行測試。

其中，在高性能計算場景下量化裸金屬的性能損耗，重點從CPU、內(nèi)存兩個方面考察裸金屬服務的性能損耗。

（1）關(guān)于CPU性能損耗測試。一般普通計算機用指令運算速度衡量CPU計算性能，而高性能計算服務器則都是用萬億次浮點運算的性能來表示服務器的峰值速度。浮點計算峰值是指計算機每秒鐘能完成的浮點計算最大次數(shù)，通常用FLOPS來表示。選用浮點運算速度作為超算運算能力的評價標準，是因為高性計算服務器主要用于科學計算領域，在科學工程計算軟件中包含了大量的浮點數(shù)運算，浮點運算速度快的計算機通常也能夠更快運行相關(guān)的科學工程計算軟件。而預處理等地面系統(tǒng)是典型的高性能并行計算場景，其計算過程包含大量的浮點運算。因此，為了更好的評價裸金屬服務器的計算性能，本項目采用開源HPL測試工具（國際上著名的TOP500超級計算機排名就是采用HPL測試值作為標準，它對公正、全面、系統(tǒng)的評價機器的浮點性能具有重要意義），通過對裸金屬實例采用高斯消元法求解一元N次稠密線性代數(shù)方程組的測試，來評價高性能計算機的浮點性能。

（2）關(guān)于內(nèi)存性能損耗測試。內(nèi)存帶寬是內(nèi)存總線所能提供的數(shù)據(jù)傳輸能力，隨著處理器核心數(shù)量的增多，內(nèi)存帶寬對于提升整個系統(tǒng)性能的作用越發(fā)重要。如果某個系統(tǒng)不能快速降內(nèi)存中的數(shù)據(jù)傳輸?shù)教幚砥髦?，若干處理核心就會處于等待?shù)據(jù)的限制狀態(tài)，從而導致服務器性能的降低。為了更好的評價裸金屬服務的內(nèi)存帶寬性能，本項目采用標準內(nèi)存測試工具Stream（STREAM是一套綜合性能測試程序集，通過fortran和C兩種高級且高效的語言編寫完成，由于這兩種語言在數(shù)學計算方面的高效率，使得STREAM測試例程可以充分發(fā)揮出內(nèi)存的能力）來對裸金屬服務的內(nèi)存性能損耗進行測試。

浮點運算能力和內(nèi)存帶寬都存在理論性能，結(jié)合上述測試工具測試的結(jié)果，通過理論性能值和實測性能值的對比，我們就能計算出服務器的性能損耗。

2.3 數(shù)據(jù)庫服務測試重點

數(shù)據(jù)庫服務針對業(yè)務系統(tǒng)不同類型、不同特性數(shù)據(jù)的存儲、管理及查詢需求，提供多種容量動態(tài)可擴展的數(shù)據(jù)庫存儲服務，實現(xiàn)多種類型及特性數(shù)據(jù)的按需存儲及管理。數(shù)據(jù)庫服務一般包括關(guān)系型數(shù)據(jù)庫、時空型數(shù)據(jù)庫、時序型數(shù)據(jù)庫等服務，因此，其測試重點包括：

（1）關(guān)系型數(shù)據(jù)庫服務能力，主要測試關(guān)系型數(shù)據(jù)庫支持能力，包括讀寫分離、讀節(jié)點間負載均衡等功能測試，IOPS與連接數(shù)等性能測試、相關(guān)管理接口測試及安全能力測試。

（2）時空型數(shù)據(jù)庫服務能力，測試時空型數(shù)據(jù)庫支持能力，包括空間幾何對象、空間柵格對象、時空移動對象等時空數(shù)據(jù)類型支撐能力測試等。

（3）時序型數(shù)據(jù)庫服務能力，測試時間序列數(shù)據(jù)庫支持能力，包括數(shù)據(jù)庫讀寫功能測試等。

2.4 中間件服務測試重點

中間件服務為業(yè)務應用系統(tǒng)在研發(fā)、部署、運行、管理、維護各環(huán)節(jié)提供一系列基于分布式架構(gòu)的中間件服務，構(gòu)建包括分布式應用服務、消息隊列、API網(wǎng)關(guān)、云服務總線等服務在內(nèi)的通用中間件服務體系，能夠為業(yè)務應用系統(tǒng)提供統(tǒng)一的中間件通用支撐平臺，并實現(xiàn)通用中間件服務的統(tǒng)一管理和維護。其中，消息隊列是目前應用最廣泛的中間件之一，其優(yōu)點是可以提高系統(tǒng)的吞吐量、并發(fā)能力，同時消息傳遞實時性也被廣為關(guān)注，因此，中間件服務的測試重點內(nèi)容主要圍繞消息中間件的消息傳遞實時性能進行闡述。

首先，我們對影響消息隊列性能的因素進行分析，經(jīng)分析可以得出消息隊列性能取決于網(wǎng)絡條件和消息中間件本身發(fā)布、同步消息等多個環(huán)節(jié)，假定在通信網(wǎng)絡條件及網(wǎng)絡請求開銷基本一致的前提下，則消息隊列性能主要和消息發(fā)送時間、消息同步時間、消息消費時間等相關(guān)。綜上，測試時需要對消息隊列全鏈路進行測試，包括端到端總體延遲和分階段延遲兩部分測算內(nèi)容。

2.4.1 端到端總體延遲測試

端到端總體延遲是從消息發(fā)送端發(fā)布消息到接收端收到消息推送的整個過程的耗時。綜合考慮業(yè)務系統(tǒng)的典型業(yè)務處理場景，在測試中設計相應的測試數(shù)據(jù)包，進行針對性測試。

2.4.2 分階段延遲測試

將整個消息隊列消息鏈路拆分為多個階段，首先是消息發(fā)送端、消息隊列服務、消息消費端，再進一步將這幾個端進行內(nèi)部拆解，消息發(fā)送端拆解為編碼階段、發(fā)送階段，消息接收端又可拆解為接收階段、解碼階段。分階段統(tǒng)計相應的延遲，從而了解消息發(fā)送的總體情況。

在測試數(shù)據(jù)準備方面，時鐘頻率偏差是時鐘長期計時累積誤差的主要原因，為了模擬真實的業(yè)務場景，發(fā)送端到接收端分布在不同的虛擬主機實例中，因此發(fā)送端和接收端會存在一定的時間偏差，為了要提高時鐘長期計時精度，必須補償時鐘頻率偏差，可采用NTP方式校準時鐘頻率偏差。由于NTP時間同步服務器進行同步的授時精度是毫秒級，因此還需要進一步減少操作系統(tǒng)內(nèi)核處理延時的影響，從而提高NTP授時精度，發(fā)/收時間戳應盡量接近主機真實發(fā)/收包時刻。在不改變硬件的條件下，一個可行的辦法是修改網(wǎng)卡驅(qū)動程序，將記錄NTP包發(fā)/收時間戳從應用程序移至網(wǎng)卡驅(qū)動程序處，可消除操作系統(tǒng)內(nèi)核處理延時不確定而引入的誤差。這種方法可大幅提高NTP授時精度至μs級，以滿足μs級時間精度要求。

2.5 大數(shù)據(jù)引擎服務測試重點

大數(shù)據(jù)引擎服務通過提供基于分布式數(shù)據(jù)倉庫的離線計算、實時計算等服務，實現(xiàn)海量大數(shù)據(jù)的分布式存儲、計算、分析挖掘、建模等需求；通過構(gòu)建大數(shù)據(jù)倉庫，實現(xiàn)全系統(tǒng)設備狀態(tài)信息、系統(tǒng)運行數(shù)據(jù)、數(shù)據(jù)產(chǎn)品等數(shù)據(jù)的匯集和統(tǒng)一管理，同時提供基礎數(shù)據(jù)庫、數(shù)據(jù)遷移、數(shù)據(jù)分析、數(shù)據(jù)處理等共用數(shù)據(jù)軟件工具服務。大數(shù)據(jù)引擎服務測試重點包括：

（1）大規(guī)模離線數(shù)據(jù)處理能力，測試離線計算框架是否支持超大規(guī)模計算集群擴展和單集群TB量級離線數(shù)據(jù)處理，為開展大規(guī)模離線數(shù)據(jù)分析挖掘提供支撐。

（2）實時計算處理能力，測試實時計算框架是否支持多維度實時數(shù)據(jù)的統(tǒng)一接入和流式數(shù)據(jù)處理，為提高實時數(shù)據(jù)處理分析業(yè)務提供支撐。

（3）實時數(shù)據(jù)分發(fā)服務能力，測試是否提供實時數(shù)據(jù)接入和實時數(shù)據(jù)分發(fā)能力。

2.6 管理監(jiān)控服務測試重點

管理監(jiān)控服務針對云平臺及各業(yè)務系統(tǒng)的實時監(jiān)控管理和預警處理需求，通過對運行狀態(tài)、資源使用情況、訪問情況等信息的收集、管理、分析和統(tǒng)計，構(gòu)建包括日志監(jiān)控、應用監(jiān)控、平臺監(jiān)控等服務在內(nèi)的統(tǒng)一監(jiān)控管理體系，全面支撐云平臺、數(shù)據(jù)、應用、安全等各方面的運維服務，確保系統(tǒng)安全可靠運行，實現(xiàn)對云平臺及業(yè)務應用的運行時狀態(tài)、資源和訪問等情況的監(jiān)控和告警管理。管理監(jiān)控服務的測試重點包括：

（1）平臺監(jiān)控服務功能，測試云平臺是否支持服務器節(jié)點的接入和擴展等行為數(shù)據(jù)的采集和告警。

（2）用戶管理監(jiān)控功能，測試云平臺是否支持對云平臺用戶的監(jiān)控和管理。

（3）應用監(jiān)控服務功能，測試云平臺是否提供對業(yè)務應用的運行時狀態(tài)與健康情況進行實時監(jiān)控。

（4）日志監(jiān)控服務能力，測試大規(guī)模計算集群管理監(jiān)控日志查詢響應能力，以及海量日志實時接入與處理能力。

2.7 云安全防護服務測試重點

云安全防護構(gòu)建覆蓋主機安全防護、網(wǎng)絡安全防護、數(shù)據(jù)安全防護、應用安全防護等各個方面的全方位安全保障體系，通過各類安全技術(shù)實現(xiàn)信息系統(tǒng)的邊界防護、網(wǎng)絡監(jiān)測、計算機防護；為全網(wǎng)提供統(tǒng)一的安全態(tài)勢監(jiān)控、安全設備管理、安全策略制定、安全應急響應、安全公共服務、安全審計分析等管理與服務功能。云安全防護的測試重點包括：

（1）訪問控制能力：主要驗證云平臺是否提供集中式訪問控制功能；是否支持統(tǒng)一的身份管理與權(quán)限認證；是否具備不同策略的用戶和用戶組管理功能等。

（2）云安全防護能力：主要測試云平臺對典型網(wǎng)絡攻擊的檢測與防護能力，應能對SQL注入、跨站腳本、目錄遍歷等常見攻擊行為進行檢測與防護。

（3）網(wǎng)絡監(jiān)控能力：主要測試云平臺能否對網(wǎng)絡流量進行監(jiān)控，主動識別網(wǎng)絡異常行為等。

3 應用實踐分析

基于以上對云平臺測試重點的分析，項目組針對某云平臺進行了第三方測試，共設計91組測試用例，其中云操作系統(tǒng)測試用例11組，基礎云資源服務測試用例28組，數(shù)據(jù)庫服務測試用例11組，中間件服務測試用例12組，大數(shù)據(jù)引擎服務測試用例12組，管理監(jiān)控服務測試用例7組，云安全防護測試用例10組，測試用例全面覆蓋了上述重點測試內(nèi)容。其中限于篇幅，結(jié)合平臺具體需求設計的部分測試內(nèi)容如表1所示。

表1：部分測試內(nèi)容示例

同時，項目組搭建了完整的測試環(huán)境，包括控制節(jié)點、計算節(jié)點、存儲陣列、網(wǎng)絡設備、終端設備等。其中，控制節(jié)點對計算資源池、存儲資源池、網(wǎng)絡資源進行統(tǒng)一管理及配置，完成云平臺虛擬機、云桌面虛擬機的創(chuàng)建及動態(tài)調(diào)整；計算節(jié)點是云計算系統(tǒng)的核心，通過云平臺對計算節(jié)點服務器實現(xiàn)虛擬化處理，將計算資源池化，按照環(huán)境實際需要分配出每臺云平臺虛擬服務器、云桌面虛擬服務器計算資源，包括CPU資源、內(nèi)存資源；分布式存儲系統(tǒng)存儲介質(zhì)采用控制節(jié)點與計算節(jié)點服務器本地硬盤，為云平臺、云桌面分配系統(tǒng)運行和數(shù)據(jù)存儲空間。為了實現(xiàn)云計算系統(tǒng)的統(tǒng)一便捷管理，避免數(shù)據(jù)之間的相互干擾和提高網(wǎng)絡性能，將網(wǎng)絡分為業(yè)務網(wǎng)絡、管理網(wǎng)絡兩部分。測試環(huán)境網(wǎng)絡拓撲圖如圖3所示。

圖3：測試環(huán)境拓撲圖

經(jīng)測試，項目組共發(fā)現(xiàn)軟件問題近30個，主要問題表現(xiàn)在平臺部分功能實現(xiàn)錯誤、性能不達標等，經(jīng)研制單位修改和回歸測試，所有缺陷最終實現(xiàn)歸零，軟件質(zhì)量得到明顯提升。

4 結(jié)束語

本文提出針對云平臺基礎能力測試的重點測試內(nèi)容，能夠較好的指導云服務廠商優(yōu)化云平臺產(chǎn)品，同時指導測試人員開展云平臺測試工作。目前本文的測試需求分析重點圍繞云平臺基礎能力進行，后續(xù)將結(jié)合實際項目開展云平臺對業(yè)務支撐能力測試需求分析的研究。