張學(xué)川,胡斌
(四川省建筑設(shè)計(jì)研究院有限公司)
智慧城市云平臺(tái)利用云技術(shù),將計(jì)算、存儲(chǔ)等資源進(jìn)行虛擬化整合,形成云資源池。根據(jù)業(yè)務(wù)應(yīng)用的需求,以云資源作為服務(wù),提供給各類智慧城市應(yīng)用,集約分配調(diào)度計(jì)算、存儲(chǔ)等資源,同時(shí)也減少了應(yīng)用和平臺(tái)軟件的重復(fù)開發(fā)時(shí)間和經(jīng)濟(jì)成本。
在智慧城市平臺(tái)建設(shè)中,計(jì)算與存儲(chǔ)資源層為智慧城市提供數(shù)據(jù)存儲(chǔ)和計(jì)算及相關(guān)軟件資源,從而保障上層對(duì)數(shù)據(jù)的相關(guān)需求[1]。因此,對(duì)平臺(tái)計(jì)算資源的測(cè)算是合理規(guī)劃、準(zhǔn)確配置和正確選型設(shè)備及硬件設(shè)備投資測(cè)算的核心。本文以某市智慧綠道為例,結(jié)合項(xiàng)目特性,在對(duì)各個(gè)智慧應(yīng)用子系統(tǒng)業(yè)務(wù)規(guī)模分析的基礎(chǔ)上,基于TPC-C基準(zhǔn)測(cè)試的服務(wù)器性能需求計(jì)算模型,測(cè)算智慧綠道應(yīng)用系統(tǒng)的計(jì)算資源需求,為項(xiàng)目的實(shí)施規(guī)模、硬件架構(gòu)、硬件選型及投資測(cè)算提供有力支持。
某市智慧綠道項(xiàng)目為“一主六次”的綠道體系,規(guī)劃接入物聯(lián)網(wǎng)應(yīng)用設(shè)備六十余萬臺(tái),橫跨城市多個(gè)區(qū)域,社會(huì)影響力較大。結(jié)合該項(xiàng)目特點(diǎn)及運(yùn)營(yíng)管理需要,項(xiàng)目采用私有云與公有云相結(jié)合的混合云架構(gòu),既能保證本地系統(tǒng)服務(wù)的快速響應(yīng),又能實(shí)現(xiàn)異地容災(zāi)、業(yè)務(wù)擴(kuò)展的彈性伸縮。
1)公有云部署
根據(jù)服務(wù)對(duì)象的特點(diǎn),面向公眾服務(wù)、大數(shù)據(jù)存儲(chǔ)和計(jì)算平臺(tái)應(yīng)用等存在彈性需求的系統(tǒng),以及需要使用公有云基礎(chǔ)資源系統(tǒng)部署在公有云。
2)私有云部署
綜合使用者和安全性特點(diǎn),綠道運(yùn)營(yíng)公司內(nèi)部、政府監(jiān)管部門、商家內(nèi)部管理及綠道自身基礎(chǔ)設(shè)施管理系統(tǒng)部署在私有云。
3)公有、私有云兩地部署
基于安全性考慮,聯(lián)動(dòng)控制平臺(tái)和GIS服務(wù)平臺(tái)為本案例的核心平臺(tái),采用兩地部署以實(shí)現(xiàn)冗余。
計(jì)算資源由服務(wù)器提供,用戶需要一種簡(jiǎn)單、高效的度量標(biāo)準(zhǔn)量化評(píng)價(jià)服務(wù)器系統(tǒng)。包括TPC、SPEC、SAPSD、Linpack和HPCC在內(nèi)的眾多服務(wù)器評(píng)測(cè)體系,從處理器性能、服務(wù)器系統(tǒng)性能、商業(yè)應(yīng)用性能、高性能計(jì)算機(jī)的性能等方面都給出了量化評(píng)價(jià)指標(biāo)[2]。
在智慧城市云平臺(tái)中,智慧應(yīng)用系統(tǒng)的業(yè)務(wù)過程屬于面向交易的處理過程,基本特征在于用戶通過終端進(jìn)行訪問時(shí),由服務(wù)層計(jì)算中心完成處理,并在系統(tǒng)規(guī)定的響應(yīng)時(shí)間內(nèi)返回處理結(jié)果,屬于典型的聯(lián)機(jī)事物處理應(yīng)用范疇,更適合采用TPC-C基準(zhǔn)測(cè)試系統(tǒng)。
在智慧綠道的規(guī)劃設(shè)計(jì)中,度量應(yīng)用系統(tǒng)服務(wù)器業(yè)務(wù)處理能力時(shí),采用TPC-C基準(zhǔn)測(cè)試流量指標(biāo)TPM值為依據(jù);而平臺(tái)中的AI服務(wù)器、物聯(lián)網(wǎng)平臺(tái)和大數(shù)據(jù)平臺(tái)的計(jì)算資源,由于其業(yè)務(wù)特征,不適合采用TPM值測(cè)算。因此,在項(xiàng)目測(cè)算中,給出計(jì)算資源估算數(shù)據(jù)的方式,本文中估算統(tǒng)一以Intel(R)Xeon(R)CPU(E5-2680V4)為計(jì)算基準(zhǔn)。
在明確系統(tǒng)業(yè)務(wù)需求和業(yè)務(wù)規(guī)模的情況下,把這些工程滿足期內(nèi)必須要完成的宏觀業(yè)務(wù)需求轉(zhuǎn)換成一個(gè)特定時(shí)間范圍內(nèi)的真實(shí)業(yè)務(wù)需求;把真實(shí)業(yè)務(wù)處理請(qǐng)求在其系統(tǒng)中換算成一定數(shù)量的具體服務(wù)器業(yè)務(wù)處理事務(wù)。把這些事務(wù)按照不同的復(fù)雜度和TPC-C基準(zhǔn)測(cè)試進(jìn)行對(duì)比,進(jìn)一步換算成一定數(shù)量的TPC-C基準(zhǔn)測(cè)試基本單元,即該項(xiàng)業(yè)務(wù)操作相較于標(biāo)準(zhǔn)TPC-C測(cè)試基準(zhǔn)環(huán)境交易的復(fù)雜程度比例[3]。把整個(gè)系統(tǒng)需要處理的各類事務(wù)所對(duì)應(yīng)的基準(zhǔn)測(cè)試基本單元分別相加起來,最后得到服務(wù)器處理這些真實(shí)事務(wù)請(qǐng)求所需的業(yè)務(wù)處理能力。
為方便智慧綠道應(yīng)用系統(tǒng)TPM值計(jì)算,將應(yīng)用分為3大類:面向游客、商家和綠道管理者。
假設(shè)某智慧應(yīng)用系統(tǒng)中用戶數(shù)量為U,在系統(tǒng)業(yè)務(wù)處理峰值時(shí),一分鐘內(nèi)用戶同時(shí)向服務(wù)器發(fā)出事務(wù)處理請(qǐng)求次數(shù)為K。若這些事務(wù)處理請(qǐng)求有N種,每種事務(wù)請(qǐng)求次數(shù)為N1,N2,…,且所有并發(fā)用戶中提出這N種事務(wù)處理請(qǐng)求的比例分別為P1,P2,…,PN,因?yàn)樗胁l(fā)用戶都可能在一分鐘內(nèi)發(fā)送N種事務(wù)請(qǐng)求。服務(wù)器處理業(yè)務(wù)處理請(qǐng)求所執(zhí)行的業(yè)務(wù)操作,相較于標(biāo)準(zhǔn)TPC-C測(cè)試基準(zhǔn)環(huán)境交易的復(fù)雜程度比例即該操作所占的TPC-C事務(wù)數(shù)量分別為T1,T2,…,TN??紤]服務(wù)器自身開銷F和一定的冗余量R[4],則該智慧應(yīng)用系統(tǒng)在訪問用戶數(shù)量為峰值的情況下,對(duì)服務(wù)器的處理能力需求計(jì)算基本模型為:
本案例中為簡(jiǎn)化計(jì)算將服務(wù)器開銷及其他損耗占用采用經(jīng)驗(yàn)系數(shù)方式取代,公式簡(jiǎn)化為TPM=
①按實(shí)際工程經(jīng)驗(yàn),經(jīng)驗(yàn)系數(shù)1.6。
②考慮服務(wù)器保留30%的冗余系數(shù)(R)。
3.2.1 面向游客系統(tǒng)
①日高峰游客為16.5萬人,高峰時(shí)期同時(shí)在綠道人數(shù)按5萬游客計(jì),根據(jù)運(yùn)營(yíng)商資料估算10%的游客會(huì)訪問綠道應(yīng)用,則同時(shí)在線用戶數(shù)為5000人(U)。
②平均每個(gè)在線用戶發(fā)出2次/min業(yè)務(wù),高峰時(shí)處理量為平均值的5倍即10次/min(K)。
③每次請(qǐng)求復(fù)雜度相當(dāng)于15個(gè)事務(wù)(T)。
應(yīng)用服務(wù)器TPM=U·K·T·經(jīng)驗(yàn)系數(shù)/(1-R)=5000×10×15×1.6/(1-0.3)=1714286tpmC
根據(jù)經(jīng)驗(yàn)值,數(shù)據(jù)庫服務(wù)器的處理能力為應(yīng)用服務(wù)器的1.5倍,所以數(shù)據(jù)庫服務(wù)器的處理性能估算為:TPM=1714286×1.5=2571429tpmC。
面向游客應(yīng)用的總TPM=4285715tpmC。
3.2.2 面向商家系統(tǒng)
①按年游客1200萬人,人均交易1筆/年計(jì)算,平均每分鐘交易次數(shù)=1200萬/365d/1440min=23次/min,考慮高峰期人流增長(zhǎng)5倍,交易額也增加5倍為115次/mi(nK)。
②根據(jù)電商交易的統(tǒng)計(jì)數(shù)據(jù),每次交易會(huì)觸發(fā)30次各類請(qǐng)求(N)。
③每次請(qǐng)求復(fù)雜度相當(dāng)于20個(gè)事務(wù)(T)。
應(yīng)用服務(wù)器TPM=K·N·T·經(jīng)驗(yàn)系數(shù)(/1-R)=115×30×20×1.6(/1-0.3)=157715tpmC。
根據(jù)經(jīng)驗(yàn)值,數(shù)據(jù)庫服務(wù)器的處理能力為應(yīng)用服務(wù)器的1.5倍,所以數(shù)據(jù)庫服務(wù)器的處理性能估算為:TPM=157715×1.5=236573tpmC。
面向商家應(yīng)用的總TPM=394288tpmC。
3.2.3 面向綠道管理者系統(tǒng)
①面向綠道管理者的應(yīng)用,少量請(qǐng)求是管理人員手動(dòng)觸發(fā)的,大量請(qǐng)求是系統(tǒng)內(nèi)部自動(dòng)觸發(fā)的,根據(jù)智慧綠道配置的系統(tǒng),估算每分鐘請(qǐng)求量為6000,忙時(shí)的處理量為平均值的5倍30000次/min(K)。
②每次請(qǐng)求復(fù)雜度相當(dāng)于20個(gè)事務(wù)(T)。
應(yīng)用服務(wù)器TPM=K·N·T·經(jīng)驗(yàn)系數(shù)/(1-R)=30000×20×1.6/(1-0.3)=1371428tpmC。
根據(jù)經(jīng)驗(yàn)值,數(shù)據(jù)庫服務(wù)器的處理能力為應(yīng)用服務(wù)器的1.5倍,所以數(shù)據(jù)庫服務(wù)器的處理性能估算為:TPM=2468571×1.5=2057143tpmC。
面向綠道管理者應(yīng)用總TPM=3428571tpmC。
3.2.4 應(yīng)用系統(tǒng)計(jì)算資源估算匯總(見表1)
表1 應(yīng)用系統(tǒng)計(jì)算資源估算匯總表
AI服務(wù)器用于對(duì)攝像機(jī)上傳的視頻進(jìn)行AI計(jì)算。包括人群聚集、人頭數(shù)檢測(cè)和人臉識(shí)別等,部署在公有云。本案例根據(jù)建設(shè)規(guī)模17000路攝像機(jī)的20%進(jìn)行AI分析,共3400個(gè),考慮余量按3500個(gè)計(jì)算。
AI服務(wù)器計(jì)算資源估算約定如下:
①需要進(jìn)行人臉識(shí)別AI計(jì)算的攝像機(jī)數(shù)占AI分析攝像機(jī)的20%為700個(gè)(N1);
③人群聚集、人數(shù)統(tǒng)計(jì)、軌跡分析、絆線檢測(cè)攝像機(jī)總數(shù)2800個(gè)(N2);
④一個(gè)TeslaP40GPU可以支持以上算法12.5個(gè)攝像機(jī);
⑤考慮服務(wù)器保留30%的冗余;
AI服務(wù)器資源計(jì)算為:(N1/P1+N2/P2+N3/P3)/(1-冗余系數(shù))=424個(gè)TeslaP40GPU。
單臺(tái)AI服務(wù)器采用4個(gè)TeslaP40GPU、2個(gè)14核CPU(E5-2680v4)、224GB內(nèi)存的配置,需要106臺(tái)AI服務(wù)器。
接入物聯(lián)網(wǎng)平臺(tái)的設(shè)備包括攝像機(jī)設(shè)備和非攝像機(jī)設(shè)備。對(duì)攝像機(jī)設(shè)備,需要支持設(shè)備管理和數(shù)據(jù)上報(bào)、推流、web播放格式轉(zhuǎn)碼、視頻存儲(chǔ)。對(duì)非攝像機(jī)設(shè)備,例如智能照明的燈控設(shè)備,需要支持設(shè)備管理和數(shù)據(jù)上報(bào)。
本案例部署17000個(gè)攝像機(jī),按基準(zhǔn)進(jìn)行性能估算,物聯(lián)網(wǎng)平臺(tái)處理推流、web轉(zhuǎn)碼和視頻數(shù)據(jù)存儲(chǔ),需要的計(jì)算資源計(jì)算如表2所示。
表2 私有云物聯(lián)網(wǎng)平臺(tái)計(jì)算資源估算匯總表
1)攝像機(jī)推流所需計(jì)算資源
不僅要將攝像機(jī)將視頻流推給流媒體服務(wù)器,還要考慮到物聯(lián)網(wǎng)平臺(tái)內(nèi)部的處理邏輯,例如推流的調(diào)度,將視頻流從私有云轉(zhuǎn)發(fā)到公有云,將視頻流轉(zhuǎn)發(fā)到存儲(chǔ)服務(wù)器等開銷,這些計(jì)算能力都要折算到推流功能中。
攝像機(jī)數(shù)/單核可處理推流的攝像機(jī)數(shù)/服務(wù)器冗余系數(shù)=17000/15/(1-30%)=1620個(gè)CPU核
2)攝像機(jī)視頻數(shù)據(jù)存儲(chǔ)所需計(jì)算資源
將一路視頻流寫到存儲(chǔ)服務(wù)器中也需要消耗計(jì)算資源。
攝像機(jī)數(shù)/單核可處理存儲(chǔ)的攝像機(jī)數(shù)/服務(wù)器冗余系數(shù)=17000/150/(1-30%)=162個(gè)CPU核
3)攝像機(jī)web轉(zhuǎn)碼所需計(jì)算資源
CPU采用Intel(R)Xeon(R)E5-2680v4實(shí)測(cè),單核只能完成1路視頻的web轉(zhuǎn)碼。考慮到分控坐席不超過150個(gè),限制web轉(zhuǎn)碼最大流數(shù)為150。web轉(zhuǎn)碼最大流數(shù)/單核可處理web轉(zhuǎn)碼的攝像機(jī)數(shù)/服務(wù)器冗余系數(shù)=150/1/(1-30%)=215個(gè)CPU核
4)設(shè)備管理和數(shù)據(jù)上報(bào)所需計(jì)算
非視頻設(shè)備數(shù)/單核可處理非視頻設(shè)備的個(gè)數(shù)/服務(wù)器冗余系數(shù)=670000/500/(1-30%)=1915個(gè)CPU核
公有云需要的物聯(lián)網(wǎng)平臺(tái)計(jì)算資源估算與上表相同,采用4核CPU、8GB內(nèi)存虛擬機(jī)測(cè)算。
智能化設(shè)施部署在私有云,包含以下多個(gè)子系統(tǒng)。根據(jù)建設(shè)經(jīng)驗(yàn),結(jié)合智慧綠道的用戶規(guī)模,建議本期工程的服務(wù)器配置如表3所示。
表3 智能化設(shè)施計(jì)算資源估算匯總表
大數(shù)據(jù)平臺(tái)部署在公有云。根據(jù)前面估算的數(shù)據(jù)存儲(chǔ)量,500TB規(guī)模的大數(shù)據(jù)平臺(tái)可以滿足需求,按大數(shù)據(jù)平臺(tái)建設(shè)經(jīng)驗(yàn)配置6臺(tái)×控制節(jié)點(diǎn)服務(wù)器;數(shù)據(jù)存儲(chǔ)按3副本存儲(chǔ),需32臺(tái)×存儲(chǔ)節(jié)點(diǎn)服務(wù)器。
物聯(lián)網(wǎng)平臺(tái)和綠道應(yīng)用系統(tǒng)采用CPU(E5-2680V4)作為計(jì)算基準(zhǔn),在計(jì)算機(jī)器數(shù)時(shí),仍采用單機(jī)2個(gè)14核CPU(E5-2680V4)的配置作為機(jī)器數(shù)的估算基準(zhǔn),由于E5-2680V4具備超線程能力,實(shí)際可作為2×14×2=56個(gè)CPU核,虛擬化后性能損失在5%~30%,取中間值15%,可作為48個(gè)CPU核。
混合云部署時(shí)應(yīng)保證在私有云互聯(lián)網(wǎng)出口和專線斷開情況下,私有云仍能提供基本的服務(wù)能力,包括安防監(jiān)控、物聯(lián)網(wǎng)設(shè)備控制和信息推送等服務(wù)。公有云和私有云的計(jì)算資源匯總?cè)绫?-5所示。
表4 私有云計(jì)算資源匯總表
續(xù)表
表5 公有云計(jì)算資源匯總表
本文在智慧云平臺(tái)建設(shè)的背景下,通過對(duì)具備典型性的某市智慧綠道云平臺(tái)為案例,對(duì)云平臺(tái)計(jì)算資源需求做出分析和測(cè)算,提供一種可供參考的云計(jì)算資源的計(jì)算方法?;赥PC-C基準(zhǔn)測(cè)試的服務(wù)器性能需求計(jì)算模型,雖然是一種針對(duì)平臺(tái)性能很好的測(cè)算模型,但在實(shí)際的云平臺(tái)項(xiàng)目中受推進(jìn)過程階段的限制,不一定能在項(xiàng)目前期獲得足夠的參數(shù)條件。在測(cè)算過程中,要通過靈活使用,不拘泥于模型,并靈活地輔以其他測(cè)算、估算方式,甚至是經(jīng)驗(yàn)配置方式。
本文在實(shí)踐中靈活地應(yīng)用了不同的測(cè)算方式組合,雖然可能導(dǎo)致了一定的計(jì)算偏差,但卻將偏差控制在工程可接受的范圍內(nèi),確保測(cè)算時(shí)項(xiàng)目所在階段順利推進(jìn),并為平臺(tái)建設(shè)硬件需求規(guī)模和投資規(guī)模測(cè)算以及項(xiàng)目投資測(cè)算提供了有力參考。