摘 要：為解決多租用者應(yīng)用程序所面臨的經(jīng)營(yíng)規(guī)模和運(yùn)行特性等最佳配置策略問(wèn)題，創(chuàng)建了名為S-BM基準(zhǔn)的模擬供應(yīng)商關(guān)系管理應(yīng)用程序。S-BM基準(zhǔn)作為代表基準(zhǔn)測(cè)量的一種方式，可以用來(lái)評(píng)估多租用者應(yīng)用程序和資源利用配置問(wèn)題。通過(guò)兩組設(shè)備對(duì)定制的負(fù)載生成器進(jìn)行評(píng)測(cè)，包括在12個(gè)從小到大商業(yè)規(guī)模的代表負(fù)載中測(cè)量系統(tǒng)應(yīng)用程序性能，以及在多樣基礎(chǔ)設(shè)施配置基礎(chǔ)上對(duì)比其性能和不同負(fù)載成本等。實(shí)驗(yàn)研究負(fù)載與性能之間的關(guān)系，幫助找到用于多租用者應(yīng)用程序的最優(yōu)配置策略，結(jié)果表明，通過(guò)在共享環(huán)境下重新配置大和小交易應(yīng)用程序，負(fù)載性能在同樣資源成本情況下增長(zhǎng)了30%。

關(guān)鍵詞：SRM;SaaS;負(fù)載

DOI：10. 11907/rjdk. 191496

中圖分類號(hào)：TP393

文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1672-7800（2019）006-0188-04

Abstract：To address the optimal configuration policy issues faced by multi-tenant applications， such as scale of operations and operational characteristics， we created a simulated vendor relationship management application called the S-BM benchmark which serves as a way of representing benchmark measurements that can be used to evaluate multi-tenant applications and resource utilization configuration issues. We measured the custom load generator across two sets of devices， including measuring the application performance of the system in 12 small to large commercial scale representative loads and comparing its performance against the cost of different loads based on a variety of infrastructure configurations. The results of these experiments which examined the relationship between load and performance helped us find the optimal configuration strategy for multi-tenant applications. In the end， we found that by reconfiguring large and small transactions applications in a shared environment， the performance of the load was increased by 30 percent at the same resource cost.

Key Words：SRM;SaaS;workload

0 引言

SaaS（軟件即服務(wù)）作為一種軟件服務(wù)交付方式，已經(jīng)得到中小企業(yè)廣泛認(rèn)同。SaaS模式可幫助廠商增強(qiáng)差異化競(jìng)爭(zhēng)優(yōu)勢(shì)，降低開發(fā)成本和維護(hù)成本，加快產(chǎn)品或服務(wù)進(jìn)入市場(chǎng)的節(jié)奏，有效降低營(yíng)銷成本，改變自身收入模式，改善與客戶之間關(guān)系[1]。作為SaaS模式提供的供應(yīng)商關(guān)系管理（Supplier Relationship Management，SRM）應(yīng)用具有多租戶特征[2]。SRM最顯著的特征是多個(gè)企業(yè)租戶之間可以共享一個(gè)應(yīng)用實(shí)例、基礎(chǔ)設(shè)施及其軟硬件資源，達(dá)到多種資源復(fù)用目的。同時(shí)，針對(duì)企業(yè)用戶數(shù)量以及業(yè)務(wù)數(shù)據(jù)規(guī)模各不相同的情況，每個(gè)租戶作為一個(gè)單獨(dú)對(duì)象，擁有不同業(yè)務(wù)規(guī)模。在租用服務(wù)過(guò)程中，服務(wù)供應(yīng)商給每個(gè)租戶配置的系統(tǒng)資源也不一樣[3]。目前國(guó)內(nèi)外研究中，保證租用者滿意度和供應(yīng)者可負(fù)擔(dān)成本是發(fā)展SaaS一個(gè)不可避免的問(wèn)題，同時(shí)也是研究者孜孜不倦尋找解決方案的問(wèn)題。目前面臨的瓶頸是，從供應(yīng)者角度出發(fā)，他們必須能發(fā)現(xiàn)過(guò)度預(yù)分配的和未充分使用的資源，這個(gè)問(wèn)題包括在可擴(kuò)展性、未被使用資源和演化代價(jià)之間的權(quán)衡。因此，多租用者應(yīng)用程序的最優(yōu)配置成為完善服務(wù)性能資源利用率的關(guān)鍵。

通常情況下，研究者一般用benchmark基準(zhǔn)評(píng)估與對(duì)比應(yīng)用程序和系統(tǒng)性能。該類評(píng)估的準(zhǔn)確翻譯需要有綜合負(fù)載基本知識(shí)，基準(zhǔn)用于判定它怎么表現(xiàn)多樣電子商務(wù)應(yīng)用程序在現(xiàn)實(shí)生活中的負(fù)載[4]。

在眾多可行的評(píng)測(cè)電商服務(wù)器性能基準(zhǔn)中，有些采用之前的應(yīng)用程序如TPC-W事務(wù)Web基準(zhǔn)，模仿自易趣網(wǎng)的RUBiS拍賣基準(zhǔn)和RUBBoS布告欄基準(zhǔn)，以評(píng)測(cè)與對(duì)比電腦系統(tǒng)性能[5-7]。但是，傳統(tǒng)基準(zhǔn)并不能全部適用于具有不同特點(diǎn)的應(yīng)用程序。與此同時(shí)，國(guó)內(nèi)外很多普通用途的負(fù)載生成工具已被研發(fā)出來(lái)，例如UC伯克利為云計(jì)算應(yīng)用程序研發(fā)了一種負(fù)載生成工作包——Rain，允許描述在3種主要符合規(guī)格下的概率分布使用，架構(gòu)支持多種負(fù)載生產(chǎn)策略（開環(huán)、閉環(huán)、半開環(huán)），具有將新系統(tǒng)或新應(yīng)用程序作為目標(biāo)客戶定制需求生成器的易用性和可拓展性[8]。Diwakar等[9]提出一種基于互助請(qǐng)求會(huì)話特征的合作生成工作負(fù)載理論，特點(diǎn)是可以自主生成具有某種特性的負(fù)載，并且能夠維持正確的相互請(qǐng)求依賴關(guān)系[10]。為了動(dòng)態(tài)地改變一個(gè)處理器的架構(gòu)，使其更好地適應(yīng)負(fù)載特征，Hashem等[11]提出一種建筑爭(zhēng)奪方式，即在一種領(lǐng)導(dǎo)者追隨者配置中基于很多不同建筑處理器的代碼冗余執(zhí)行（針對(duì)不同負(fù)載特點(diǎn)的單獨(dú)定制）。不可否認(rèn)的是，互聯(lián)網(wǎng)負(fù)載生成遠(yuǎn)比它看起來(lái)復(fù)雜，一個(gè)關(guān)于RUBiS客戶生成器的實(shí)驗(yàn)證明，由JVM和Java網(wǎng)絡(luò)庫(kù)使用生成器報(bào)告的響應(yīng)時(shí)間可能很不準(zhǔn)確[12]。由于模擬此類程序所面臨的技術(shù)挑戰(zhàn)，推崇一種能夠?qū)崿F(xiàn)客戶服務(wù)質(zhì)量滿意度與供應(yīng)者系統(tǒng)資源利用率水平之間的平衡測(cè)量方式[13]。該測(cè)量基于一種用于模擬n層SaaS應(yīng)用程序的具體基準(zhǔn)。本文運(yùn)用一種針對(duì)SRM的基準(zhǔn)，稱為S-BM（基于供應(yīng)商管理系統(tǒng)的Benchmark）。SRM應(yīng)用程序被廣泛用于制造商供應(yīng)連鎖管理，有助于供應(yīng)商選擇和增加制造商的競(jìng)爭(zhēng)優(yōu)勢(shì)，例如其已被奧鈴、雷沃等多個(gè)汽車生產(chǎn)商使用。所以，S-BM是專為SRM型應(yīng)用軟件設(shè)計(jì)的，同時(shí)能很好地反映多租用者SaaS應(yīng)用程序的特點(diǎn)[14]。

本文主要貢獻(xiàn)在于為特定租用者以一種可配置方式提供負(fù)載私人定制。整個(gè)設(shè)計(jì)和開發(fā)過(guò)程遵照現(xiàn)代軟件工程過(guò)程及面向?qū)ο笤O(shè)計(jì)的要求[15-16]。自動(dòng)化負(fù)載生成器能從描述設(shè)置的配置文件創(chuàng)建自定義工作負(fù)載工作流。實(shí)驗(yàn)測(cè)評(píng)基于數(shù)據(jù)生成負(fù)載在400 000～4 250 000行數(shù)據(jù)兩組數(shù)據(jù)庫(kù)中得出。

1 S-BM基準(zhǔn)測(cè)試系統(tǒng)

同所有電商基準(zhǔn)一樣，S-BM基準(zhǔn)測(cè)試系統(tǒng)包括測(cè)試系統(tǒng)（SUT）、數(shù)據(jù)生成器、模擬器生成器、監(jiān)視器和分析器等客戶服務(wù)器架構(gòu)。每一個(gè)SUT里至少包括一個(gè)Web應(yīng)用服務(wù)器（WAS）和一個(gè)數(shù)據(jù)庫(kù)服務(wù)器（DS），用來(lái)與客戶進(jìn)行溝通和處理通過(guò)專用網(wǎng)傳來(lái)的客戶請(qǐng)求。根據(jù)具體的SLA（Service-Level Agreement）要求和商業(yè)規(guī)模，一個(gè)或多個(gè)租用者應(yīng)用程序可以被配置到SUT里。

數(shù)據(jù)生成器被用來(lái)生成一個(gè)租用者的工作負(fù)載數(shù)據(jù)，其中包括基本數(shù)據(jù)和基于特定租用者商業(yè)特征的數(shù)據(jù)。

為了刺激現(xiàn)實(shí)中供應(yīng)商將執(zhí)行的工作量，模擬器生成器被用來(lái)生成模擬瀏覽器，比如給SUT發(fā)送HTTP請(qǐng)求。所以，模擬瀏覽器對(duì)負(fù)載生成起直接作用。

在S-BM中，效仿顧客行為用HTTP會(huì)話連接SUT。每個(gè)會(huì)話包括18個(gè)基于SRM應(yīng)用程序的網(wǎng)絡(luò)交互：登陸、指令處理、計(jì)劃詢問(wèn)、存貨詢問(wèn)、計(jì)算詢問(wèn)和賬單詢問(wèn)等。將該18個(gè)網(wǎng)絡(luò)會(huì)話交互分為只讀類型和可讀寫類型，而后者更占資源。

S-BM衡量?jī)蓚€(gè)主要測(cè)度：第一個(gè)主要是關(guān)于網(wǎng)頁(yè)交互響應(yīng)時(shí)間的服務(wù)性能測(cè)度;第二個(gè)是資源利用，其中包括CPU利用率、儲(chǔ)存卡利用率、輸入輸出操作和網(wǎng)絡(luò)利用率。

2 S-BM工作量定制

具有普遍適用性的基準(zhǔn)需要產(chǎn)生至少一種類型應(yīng)用程序工作量。S-BM是在基于分析和評(píng)測(cè)租用者特點(diǎn)的SRM應(yīng)用中交易的電子商務(wù)工作量。

2.1 工作量數(shù)據(jù)模型

S-BM工作量數(shù)據(jù)是租用者特有的。它由兩方面組成：針對(duì)特定租用者的基礎(chǔ)數(shù)據(jù)和商業(yè)數(shù)據(jù)。兩者都在不同方面影響工作量，基礎(chǔ)數(shù)據(jù)范圍在一定程度上反映了一個(gè)特定租用者的生產(chǎn)能力，而商務(wù)數(shù)據(jù)則反映了生產(chǎn)者的訂單頻率。

2.1.1 特定租用者基礎(chǔ)數(shù)據(jù)

在S-BM中有3個(gè)因素影響每個(gè)租用者舉出數(shù)據(jù)的范圍，這些因素的關(guān)系如圖1所示[17]。一個(gè)制造商可能生產(chǎn)很多不同產(chǎn)品;每個(gè)產(chǎn)品由不同類型部件組成;每一個(gè)部件又由不同供應(yīng)商提供;同時(shí)，一個(gè)部件供給比例的總和為1。

2.1.2 商業(yè)數(shù)據(jù)

在數(shù)據(jù)產(chǎn)生過(guò)程中，提供兩種參數(shù)按比例放大商業(yè)數(shù)據(jù)：一個(gè)是FOO（訂單頻率），另一個(gè)是日增長(zhǎng)率。這兩個(gè)參數(shù)反映了訂單密度和供應(yīng)商繁忙度。

除了工作量數(shù)據(jù)外，仿真瀏覽器用于給SUT發(fā)送HTTP請(qǐng)求，所以其數(shù)量是影響工作量的又一重要因素。在S-BM中，可以通過(guò)設(shè)定不同轉(zhuǎn)移概率矩陣給用戶安裝交互文件。轉(zhuǎn)移矩陣反映了在SRM應(yīng)用程序中實(shí)際交互的轉(zhuǎn)移概率特征，可以通過(guò)分析該應(yīng)用程序在實(shí)際操作中的日志獲得。

2.2 工作量定制

在S-BM中，可以用一種可配置方式為特定租用者定制工作量。配置包含基礎(chǔ)數(shù)據(jù)、商業(yè)數(shù)據(jù)、仿真瀏覽器文件和包含租用者SLA定制信息的xml格式文件。

（1）NUM_PRODUCTS，MAX_SUP_QUA_PER_PART， AVE_SUP_QUA_PER_PART和AVE_PART_QUA_PER_SUP是用來(lái)定義基礎(chǔ)數(shù)據(jù)的。因?yàn)樯a(chǎn)商經(jīng)常從外包零件起家，所以可以利用這些參數(shù)計(jì)算作為基礎(chǔ)數(shù)據(jù)指標(biāo)的部件和供應(yīng)商數(shù)量。

（2）FOO的參數(shù)和增長(zhǎng)率被用來(lái)定義商業(yè)數(shù)據(jù)范圍。FOO由租用者繁忙度決定。很顯然，越多訂單就意味著越繁重的工作量，增長(zhǎng)率主要與每日訂單增長(zhǎng)率有關(guān)。

（3）NUM_EB、EB_ROLE 和USER_MODE 被用來(lái)定義仿真瀏覽器文件。NUM_EB、EB_ROLE用于描述有多少不同作用的仿真瀏覽器在單次測(cè)試中形成客戶瀏覽工作量。不同模式有不同讀寫運(yùn)算比率，USER_MODE則用于定義瀏覽器模式。

最后，由于不同租用者可能有不同商業(yè)規(guī)模和需要不同水平的系統(tǒng)性能，根據(jù)租用者的SLA需求生產(chǎn)工作量，同時(shí)用MAX_WIRT 和 AVE_WIRT 兩個(gè)參數(shù)給予支持。

2.3 工作量生成

在定制完工作量之后，可以用包含定制信息的xml文件生成工作量數(shù)據(jù)。工作量生成器首先需要從文件中提取一些信息，如產(chǎn)品數(shù)量和限制參數(shù)，然后生成記錄詳細(xì)基礎(chǔ)信息的表格文件。在此基礎(chǔ)上，再生成已經(jīng)插入到數(shù)據(jù)庫(kù)服務(wù)器中的商業(yè)數(shù)據(jù)。另外，還要保證這些數(shù)據(jù)都能用到SRM應(yīng)用程序里。

仿真生成器用來(lái)生成能刺激實(shí)體客戶行為的仿真瀏覽器。它被用作多線程程序，而每個(gè)線程代表一個(gè)瀏覽器。因此，為了形成工作量，也被用于刺激客戶瀏覽正在進(jìn)行試驗(yàn)的系統(tǒng)。

3 性能測(cè)評(píng)

為了得到支持優(yōu)化部署策略的有用結(jié)論，通過(guò)評(píng)估定制的工作負(fù)載生成工具和S-BM綜合性能，設(shè)計(jì)了兩組實(shí)驗(yàn)。第一個(gè)是根據(jù)不同規(guī)模驗(yàn)證性能變化，第二個(gè)是驗(yàn)證度量標(biāo)準(zhǔn)的敏感性。

3.1 不同工作負(fù)載下的性能分析

為搜索關(guān)于不同工作負(fù)載組合下性能的詳細(xì)信息，根據(jù)基本數(shù)據(jù)（5個(gè)產(chǎn)品、10個(gè)產(chǎn)品、15個(gè)產(chǎn)品、20個(gè)產(chǎn)品）和商業(yè)數(shù)據(jù)期限（10天、20天、30天）的不同組合，將其分成12個(gè)小組。這些小組實(shí)驗(yàn)涵蓋4種類型工作量規(guī)模，分別是低訂單率的小型企業(yè)（5個(gè)產(chǎn)品和10天）、高訂單率的小型企業(yè)（5個(gè)產(chǎn)品和30天）、低訂單率的大型企業(yè)（20個(gè)產(chǎn)品和10天）以及高訂單率的大型企業(yè)（20個(gè)產(chǎn)品和30天）。

在不同類型組合下，數(shù)據(jù)規(guī)模也不盡相同。事實(shí)上，最小數(shù)據(jù)規(guī)?？蛇_(dá)400 000行，最大則是4 250 000行?；谝唤M固定的基礎(chǔ)數(shù)據(jù)和商業(yè)數(shù)據(jù)，逐步增加EB（仿真瀏覽器）的數(shù)量，直到它達(dá)到供應(yīng)商最大數(shù)量或者報(bào)錯(cuò)“閱讀超時(shí)”，將此錯(cuò)誤視為系統(tǒng)在該配置下達(dá)到瓶頸的標(biāo)志。

實(shí)驗(yàn)結(jié)果如圖2所示。由于空間限制，只用CPU利用率舉例說(shuō)明。

圖2中，上左、上右、下左、下右分別有5、10、15、20個(gè)產(chǎn)品的基礎(chǔ)數(shù)據(jù)。從實(shí)驗(yàn)中得出以下結(jié)論：

（1）CPU資源利用率隨著經(jīng)營(yíng)指數(shù)的增長(zhǎng)而增長(zhǎng)，而應(yīng)用系統(tǒng)能容納的仿真瀏覽器數(shù)量則越來(lái)越少。

（2）當(dāng)系統(tǒng)達(dá)到瓶頸時(shí)會(huì)出現(xiàn)一個(gè)明顯的指標(biāo)響應(yīng)時(shí)間轉(zhuǎn)折點(diǎn)，該點(diǎn)在不同基礎(chǔ)數(shù)據(jù)規(guī)模下不同。

（3）在多數(shù)情況下，數(shù)據(jù)庫(kù)服務(wù)器性能限制了仿真瀏覽器的最多數(shù)量。

3.2 指數(shù)靈敏性分析

為評(píng)估系統(tǒng)性能在WIRT上基礎(chǔ)數(shù)據(jù)和商業(yè)數(shù)據(jù)的靈敏性，做了兩組實(shí)驗(yàn)。第一組分析業(yè)務(wù)數(shù)據(jù)，第二組分析基礎(chǔ)數(shù)據(jù)。在實(shí)驗(yàn)中固定一個(gè)因素，然后觀察另一個(gè)因素的變化。實(shí)驗(yàn)結(jié)果如圖3、圖4所示。

從圖3、圖4中可以看出，業(yè)務(wù)數(shù)據(jù)變化導(dǎo)致CPU利用率、內(nèi)存利用率和TPS變化較大。相反，改變基本數(shù)據(jù)導(dǎo)致資源利用率變化較小。雖然增加FOO和供應(yīng)商數(shù)量時(shí)，平均響應(yīng)時(shí)間都會(huì)增加，但是圖4中的值遠(yuǎn)遠(yuǎn)高于圖3。因此，業(yè)務(wù)數(shù)據(jù)對(duì)系統(tǒng)性能影響較大，基礎(chǔ)數(shù)據(jù)對(duì)響應(yīng)時(shí)間影響較大。

圖3 峰值數(shù)據(jù)影響

[Average Response Time（ms）]

圖4 基礎(chǔ)數(shù)據(jù)影響

4 結(jié)語(yǔ)

本文展示了基于SRM應(yīng)用基準(zhǔn)的私人定制方式——一種自動(dòng)化負(fù)載生成器用于從配置文件中制作私人定制的負(fù)載。通過(guò)兩組實(shí)驗(yàn)對(duì)私人定制負(fù)載生成器進(jìn)行評(píng)測(cè)，實(shí)驗(yàn)結(jié)果能夠幫助找到用于多租用者應(yīng)用程序的最優(yōu)配置策略。在相同資源成本下，通過(guò)在共享環(huán)境中重新部署小型和大型業(yè)務(wù)的應(yīng)用程序，工作負(fù)載能力可以提高30%。S-BM是基于私人SRM系統(tǒng)開發(fā)的，所以目前不具有普遍性，下一步需通過(guò)不斷優(yōu)化，使之具有更好的通用性。

參考文獻(xiàn)：

[1] 楊建新. SAAS現(xiàn)狀分析與前景展望[J]. 軟件導(dǎo)刊，2012，11（1）：1-2.

[2] 郝曉寧. 面向客戶定制多租戶SaaS應(yīng)用的Benchmark系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 濟(jì)南：山東大學(xué)，2014.

[3] 許世網(wǎng). SAAS的優(yōu)缺點(diǎn)辨析[EB/OL]. http：//www.ccw.com.cn/cio/research/info/htm2007/20070314_245311.asp.

[4] GARCíA D F，GARCíA J. TPC-W E-commerce benchmark evaluation[C]. Computer， 2003： 36-42.

[5] RUBIS.Rice university bidding system[EB/OL]. http：//rubis.ow2.org/.

[6] RUBBOS.Bulletin boardbenchmark[EB/OL]. ?http：//jmob.objectweb.org/rubbos.html.

[7] CECCHET E，MARGUERITE J，ZWAENEPOEL W. Performance and scalability of EJB applications[J]. SIGPLAN，2002，37： 246-261.

[8] BEITCH A， LIU B， YUNG T， et al. Rain： a workload generation toolkit for cloud computing applications[C]. California：Technical Report UCB/EECS-2010-14， 2010.

[9] DIWAKAR K. A synthetic workload generation technique for stress testing session-based systems[J]. IEEE Transactions on Software Engineering，2006，32（11）：868-882.

[10] HASHEM H N，ERIC R. Architectural contesting： exposing and exploiting temperamental behavior[J]. ?SIGARCH Computer Architecture News，2007，35（3）： 28-35 .

[11] DIWAKAR K. A Synthetic workload generation technique for stress testing session-based systems[J]. IEEE Transactions on Software Engineering，2006，32（11）：868-882.

[12] RAOUFEHSADAT H， DIWAKAR K， MARTIN F. Arlitt： web workload generation challenges-an empirical investigation[J]. Software-Practice and Experience，2012，42（5）： 629-647.

[13] GUEYOUNG J， KAUSTUBH J， MATTI H， et al. A cost-sensitive adaptation engine for server consolidation of multi-tier applications[C]. Illinois：ACM/IFIP/USENIX 10th International Middleware Conference （Middleware 2009）， 2009.

[14] WIKIPEDIA. Supplier relationship management[EB/OL]. http：//en.wikipedia.org/wiki/Supplier_relationship_management.

[15] SHARI L P. 軟件工程理論與實(shí)踐（第2版） [M]. 吳丹，譯. 北京：清華大學(xué)出版社，2003.

[16] STEPHEN R. Scnach面向?qū)ο笈c傳統(tǒng)軟件工程[M]. 北京：機(jī)械工業(yè)出版社，2003.

[17] ZEYU D. S-BM： a benchmark suite for multi-tenant supplier relationship management service[C]. Service Systems and Service Management （ICSSSM）， 2013：4-5.

（責(zé)任編輯：何 麗）