李 原,姜 恒,王 剛
(中國移動通信集團吉林有限公司業(yè)務(wù)支撐中心,長春130012)
互聯(lián)網(wǎng)數(shù)據(jù)中心(IDC:Internet Data Center),是基于Internet網(wǎng)絡(luò)的,電信部門利用已有的互聯(lián)網(wǎng)通信線路、帶寬資源,建立標(biāo)準(zhǔn)化的電信專業(yè)級機房環(huán)境,為企業(yè)、政府提供服務(wù)器托管、租用以及相關(guān)增值等方面的全方位服務(wù)。IDC不僅是數(shù)據(jù)存儲中心,而且是數(shù)據(jù)流通中心,應(yīng)用于Internet網(wǎng)絡(luò)中數(shù)據(jù)交換最集中的地方[1]。它是伴隨著人們對主機托管和虛擬主機服務(wù)提出了更高要求的狀況而產(chǎn)生的,從某種意義上說,它是由ISP的服務(wù)器托管機房演變而來的,企業(yè)將主機、平臺和系統(tǒng)托管等服務(wù)相關(guān)的一切事物交給專門提供網(wǎng)絡(luò)服務(wù)的IDC去完成,而將精力集中在增強核心競爭力的實際業(yè)務(wù)中??梢?,IDC是Internet企業(yè)分工更加細(xì)化的產(chǎn)物。
IDC可提供的具體服務(wù)分為基礎(chǔ)服務(wù)、增值服務(wù)和應(yīng)用服務(wù)?;A(chǔ)服務(wù)是指直接提供機房空間、網(wǎng)絡(luò)資源、供電和空調(diào)等基礎(chǔ)資源的服務(wù),包括機房空間出租、主機托管和虛擬主機等服務(wù);增值服務(wù)是指客戶根據(jù)自己的需求,在IDC的基礎(chǔ)服務(wù)之外選購的附加服務(wù),包括網(wǎng)絡(luò)監(jiān)控、統(tǒng)計分析、數(shù)據(jù)存儲備份和網(wǎng)絡(luò)安全等服務(wù);應(yīng)用服務(wù)是指網(wǎng)絡(luò)系統(tǒng)和用戶信息系統(tǒng)的應(yīng)用開發(fā)服務(wù),其中包括企業(yè)電子郵箱服務(wù)、電子商務(wù)加速服務(wù)和專業(yè)咨詢等服務(wù)。
目前建設(shè)IDC面臨的主要問題。
1)外部環(huán)境條件。在IDC構(gòu)建以及運營過程中,機房將不斷產(chǎn)生很多熱量,做好相應(yīng)的冷卻恒溫工作至關(guān)重要;同時在系統(tǒng)運行過程中,平穩(wěn)的數(shù)據(jù)流通交互不容忽視,具備穩(wěn)定的電源系統(tǒng)同樣重要。處理好上述問題,是未來建設(shè)IDC的先決條件。
2)服務(wù)器配置。預(yù)估IDC每臺服務(wù)器,最優(yōu)可承載的業(yè)務(wù)量和數(shù)據(jù)量,合理配置服務(wù)器的中央處理器性能、內(nèi)存容量和硬盤大小等因素尤為重要。這不僅有利于提高服務(wù)器的使用壽命,還可有效降低資源耗費,提高服務(wù)器的使用效率。
3)數(shù)據(jù)中心建設(shè)的虛擬化。大數(shù)據(jù)時代虛擬化主機和中間件的能力,可滿足信息化建設(shè)不斷發(fā)展的要求,虛擬化技術(shù)能有效整合IT資源,減少數(shù)據(jù)中心空間不足的問題,極大改善資源的利用率和靈活度。
目前我國移動通信業(yè)務(wù)支撐系統(tǒng)在擴容升級過程中面臨的問題。
1)樞紐樓基礎(chǔ)服務(wù)設(shè)施存在瓶頸。目前,我國移動通信樞紐現(xiàn)有電力機房,接近滿負(fù)荷,無法滿足業(yè)務(wù)分析支撐系統(tǒng)(BASS:Business Analysis Support System)、業(yè)務(wù)運營支撐系統(tǒng)(BOSS:Business&Operation Support System)和客戶關(guān)系管理系統(tǒng)(CRM:Customer Relationship Management)擴容升級。存在生產(chǎn)資源用電缺口。
2)樞紐樓機房設(shè)備陳舊老化,無法滿足日益增長的業(yè)務(wù)量。目前,我國移動通信生產(chǎn)機房服務(wù)器等設(shè)備,大部分為2004年以前采購使用,相對于如今移動通信飛速增長的業(yè)務(wù)量和數(shù)據(jù)量,較為落后,業(yè)務(wù)支撐系統(tǒng)的承載能力與服務(wù)器等設(shè)備陳舊老化的矛盾日顯突出,嚴(yán)重制約著移動通信業(yè)務(wù)發(fā)展。
1)云計算與IDC關(guān)系。云計算是IDC的一個應(yīng)用方向,云計算模式能以按需方式,通過網(wǎng)絡(luò),方便訪問IDC的可配置計算資源共享池(如:網(wǎng)絡(luò),存儲,服務(wù)器和應(yīng)用程序)[2]。在運營過程中,它以合理的管理開銷和最短的時間與供應(yīng)商進行交互,同時迅速配置提供或釋放資源[3]。
采用云計算的IDC網(wǎng)絡(luò)架構(gòu)建設(shè)實現(xiàn)云計算,必須實現(xiàn)以下3種關(guān)鍵技術(shù):虛擬化技術(shù)、數(shù)據(jù)存儲與數(shù)據(jù)管理技術(shù)、開放式編程模型。借助以上3種技術(shù)和其他相關(guān)的彈性計算、數(shù)據(jù)傳輸?shù)燃夹g(shù),云計算能完成PC和一般服務(wù)器無法完成的大批量任務(wù),同時其實現(xiàn)的工作量成本低于巨型計算機[4]。雖然,云計算目前仍然無法實現(xiàn)大規(guī)模緊耦合的任務(wù)處理,但對于大批量、松耦合、可分解的中型任務(wù),云計算具有其他方式無法比擬的效能[5]。
2)降低投資成本,提高運營效率。云計算應(yīng)用于IDC中,可減少企業(yè)前期投資,降低投資風(fēng)險,企業(yè)不必再進行硬件和操作系統(tǒng)軟件的采購,只需根據(jù)業(yè)務(wù)需求動態(tài)調(diào)整計算的空間和存儲資源,通過云計算技術(shù),實現(xiàn)IDC業(yè)務(wù)的服務(wù)多元化,可以提高服務(wù)器等硬件資源的利用率[6]。以低成本高效率的方式,完成企業(yè)各種IT類業(yè)務(wù)需求,并改變了傳統(tǒng)的IT業(yè)務(wù)的交付方式[7]。通過IDC建設(shè)與云計算技術(shù)相結(jié)合,解決移動通信電力系統(tǒng)所遇瓶頸,進行改善轉(zhuǎn)型,提高了移動通信的核心競爭力[8]。
3)基于IDC的云計算應(yīng)用,實現(xiàn)遷移BASS系統(tǒng)的建設(shè)。由于目前我國移動通信樞紐電力機房接近滿負(fù)荷,無法繼續(xù)實現(xiàn)BASS系統(tǒng)升級改造等建設(shè),BASS、BOSS、CRM等系統(tǒng)需要足夠電源供應(yīng),樞紐電力機房服務(wù)器等設(shè)備陳舊老化,無法滿足日益飛速增長的業(yè)務(wù)量和數(shù)據(jù)量。根據(jù)某市業(yè)務(wù)支撐網(wǎng)各系統(tǒng)占用基礎(chǔ)資源情況,綜合分析,樞紐機房內(nèi)使用空間有限,BASS和BOSS系統(tǒng)是耗電大戶,若各系統(tǒng)同時遷移,風(fēng)險多、周期長、投資成本高,通過云計算的分布式計算和虛擬機技術(shù),可完成數(shù)據(jù)集市云架構(gòu)應(yīng)用改造,建設(shè)新節(jié)能高效的BASS系統(tǒng)[9]。
某市業(yè)務(wù)支撐網(wǎng)BASS系統(tǒng)數(shù)據(jù)集市系統(tǒng)目前采用小機+存儲架構(gòu),涉及2對集群數(shù)據(jù)庫,有4個主機分區(qū)。分別承載著數(shù)據(jù)集市,同時還包含數(shù)據(jù)挖掘以及原深運平臺部分應(yīng)用(前端應(yīng)用已納入VGOP(Value-add Service General Operation Platform)系統(tǒng));改造前BASS系統(tǒng)數(shù)據(jù)集市主要通過數(shù)據(jù)庫鏈接方式獲取數(shù)據(jù)倉庫數(shù)據(jù)源[10]。其工作原理如圖1所示。
圖1 改造前BASS系統(tǒng)數(shù)據(jù)集市功能架構(gòu)Fig.1 Functional structure of the data mart in BASS system before the migration
IDC云計算系統(tǒng)是向用戶提供各種業(yè)務(wù)的分布式計算系統(tǒng),系統(tǒng)對用戶是透明的,其過程先把整體業(yè)務(wù)數(shù)據(jù)量分布式計算,再對每個分布式計算的數(shù)據(jù)量進行虛擬化計算。服務(wù)器和存儲等資源進行動態(tài)部署、動態(tài)分配,以最合理的資源開銷和最短的時間進行各種業(yè)務(wù)數(shù)據(jù)交互,同時迅速配置提供或釋放資源。從而向用戶提供滿足QoS要求的業(yè)務(wù)服務(wù)、數(shù)據(jù)存儲服務(wù)以及各種平臺服務(wù)。云計算平臺是運行在一個多層虛擬化協(xié)議棧上的高度抽象系統(tǒng),虛擬化技術(shù)是云計算平臺的核心基礎(chǔ)技術(shù)。IDC云平臺系統(tǒng)架構(gòu)見圖2。
如圖2所示,IDC云計算平臺系統(tǒng),在底層業(yè)務(wù)支撐網(wǎng)IDC基礎(chǔ)上,先對業(yè)務(wù)支撐系統(tǒng)進行分布式計算,把整體業(yè)務(wù)數(shù)據(jù)量分成若干部分業(yè)務(wù)數(shù)據(jù)量,再對每部分業(yè)務(wù)數(shù)據(jù)量進行虛擬化計算。即將虛擬化網(wǎng)絡(luò)、虛擬化服務(wù)器、虛擬化存儲等資源,通過云計算的分布式計算和虛擬化技術(shù)抽象形成的一個復(fù)合化的平臺架構(gòu),使業(yè)務(wù)支撐網(wǎng)各系統(tǒng)在運營過程中,具有降低電力能源消耗,提高資源使用效率的作用。
圖2 IDC云平臺系統(tǒng)架構(gòu)圖Fig.2 The system architecture on IDC Cloud platform
圖3 改造后BASS系統(tǒng)數(shù)據(jù)集市功能架構(gòu)Fig.3 Functional structure of the data mart in BASS system after the migration
綜合考慮改造風(fēng)險、改造周期、投資成本等因素,BASS系統(tǒng)遷移改造后新數(shù)據(jù)集市架構(gòu),是在底層IDC基礎(chǔ)上,對原數(shù)據(jù)集市系統(tǒng)進行分布式計算。原數(shù)據(jù)集市獲取數(shù)據(jù)源采用DB-LINK方式,改造后數(shù)據(jù)集市采用ETL(Extraction-Transformation-Loading)方式獲取數(shù)據(jù)倉庫數(shù)據(jù)源,不同的數(shù)據(jù)源需要經(jīng)過數(shù)據(jù)提取、轉(zhuǎn)換和加載,到達存放的指定位置。改造數(shù)據(jù)集市的同時,也對外圍的增值業(yè)務(wù)綜合運營平臺(VGOP:Value-added Service General Operation Platform)系統(tǒng)和經(jīng)分Portal系統(tǒng)進行了修改,使平臺系統(tǒng)數(shù)據(jù)源交互,通過ETL方式對不同的數(shù)據(jù)源進行處理[11]。新數(shù)據(jù)集市系統(tǒng),在生產(chǎn)中心底層IDC基礎(chǔ)上,通過云計算的分布式計算、虛擬化技術(shù)和ETL工具形成一個復(fù)合化的平臺架構(gòu)(見圖3)。
在實際系統(tǒng)運行中,基于IDC云化后數(shù)據(jù)集市系統(tǒng)架構(gòu)比原數(shù)據(jù)集市架構(gòu),在數(shù)據(jù)提取、轉(zhuǎn)換和加載方面,更加精細(xì)化;在業(yè)務(wù)數(shù)據(jù)量交互計算方面,更具有均衡性、高效性和穩(wěn)定性。在IDC基礎(chǔ)上,通過云計算的分布式計算、虛擬化技術(shù)和ETL工具等方法改造,解決了樞紐電力機房接近滿負(fù)荷運行狀態(tài);服務(wù)器等設(shè)備陳舊老化,滿足不了日益飛速增長的業(yè)務(wù)量和數(shù)據(jù)量等問題,還減少了BASS系統(tǒng)改造后運營成本,節(jié)約了電力能源,提高了基礎(chǔ)資源利用率。
筆者通過云計算的分布式計算、虛擬化技術(shù)和ETL工具等方法,對BASS系統(tǒng)中數(shù)據(jù)集市云架構(gòu)進行升級改造,不僅緩解了移動通信樞紐電力資源緊張,設(shè)備資源陳舊老化,滿足不了日益增長業(yè)務(wù)量和數(shù)據(jù)量問題,而且還通過BASS系統(tǒng)數(shù)據(jù)集市云架構(gòu)的改造升級,在實際數(shù)據(jù)處理方面,更加精細(xì)化;數(shù)據(jù)量交互計算方面,更加均衡、穩(wěn)定、高效;同時,也降低了BASS系統(tǒng)遷移改造后整體運營成本,提高了基礎(chǔ)資源利用率。
[1]鐘景華.《電子信息系統(tǒng)機房設(shè)計規(guī)范》中的節(jié)能問題[J].智能建筑與城市信息,2008,140(7):10-12.ZHONG Jinghua.Energy Saving in《Electronic Information System Design Specification》[J].Intelligent Building and City Information,2008,140(7):10-12.
[2]陳全,鄧倩妮.云計算及其關(guān)鍵技術(shù)[J].計算機應(yīng)用,2009,29(9):2562-2567.CHEN Quan,DENG Qianni.Cloud Computing and Its Key Techniques[J].Computer Application,2009,29(9):2562-2567.
[3]劉曉樂.計算機云計算及其實現(xiàn)技術(shù)分析[J].電子科技,2009,22(12):100-103.LIU Xiaole.Analysis of Implementation Technique in Computer Cloud Computing [J].Electronic Science and Technology,2009,22(12):100-103.
[4]吳勁松,陳孚.云計算發(fā)展及應(yīng)用研究[J].廣西通信技術(shù),2011(2):9-13.WU Jinsong,CHEN Fu.Research on Cloud Development and Application [J].Guangxi Communication Technology,2011(2):9-13.
[5]張耀祥.云計算和虛擬化技術(shù)[J].計算機安全,2011,123(5):80-82.ZHANG Yaoxiang.Cloud Computing and the Virtualization[J].Computer Safety,2011,123(5):80-82.
[6]黃哲學(xué),曹付元,李俊杰,等.面向大數(shù)據(jù)的海云數(shù)據(jù)系統(tǒng)關(guān)鍵技術(shù)研究[J].網(wǎng)絡(luò)新媒體技術(shù),2012,1(6):20-26.HUANG Zhexue,CAO Fuyuan,LI Junjie,et al.Developing Sea Cloud Data System Key Technologies for Large Data Analysis and Mining[J].Internet New Media Technology,2012,1(6):20-26.
[7]張晨.云計算在IDC中的應(yīng)用與實現(xiàn)[D].北京:北京郵電大學(xué)電子工程學(xué)院,2012.ZHANG Chen.Applications and Implementation of IDC Cloud Computing[D].Beijing:School of Electronic Engineering,Beijing University of Posts and Telecommunications,2012.
[8]啟言.IDC能否逢云化雨[J].互聯(lián)網(wǎng)周刊,2011(6):30-33.QI Yan.Can IDC Turn Better[J].Internet Week,2011(6):30-33.
[9]李青春.基于開源架構(gòu)的小規(guī)模私有云中虛擬化關(guān)鍵技術(shù)研究[D].昆明:云南大學(xué)信息學(xué)院,2013.LI Qingchun.Key Technology Research of Virtualization Based on Open Source Architecture in Small-Scale Private Cloud[D].Kunming:School of Information Science and Engineering,Yunnan University,2013.
[10]李艷,楊永健,李樹秋.基于數(shù)據(jù)集市的電信經(jīng)營分析系統(tǒng)模型[J].山東大學(xué)學(xué)報:理學(xué)版,2007,42(11):62-65.LI Yan,YANG Yongjian,LI Shuqiu.Model of Telecommunications Management Analysis System Based on Data Mart[J].Journal of Shandong University:Science Edition,2007,42(11):62-65.
[11]張旭峰.ETL若干關(guān)鍵技術(shù)研究[D].上海:復(fù)旦大學(xué)計算機科學(xué)技術(shù)學(xué)院,2006.ZHANG Xufeng.Research of Several ETL Key Technologies[D].Shanghai:School of Computer Science,F(xiàn)udan University,2006.