馬俊
(海警一支隊司令部信息化科,廣東廣州510000)
基于云架構的海警云數(shù)據(jù)中心建設研究
馬俊
(海警一支隊司令部信息化科,廣東廣州510000)
該文通過分析云計算、大數(shù)據(jù)發(fā)展的趨勢入手,引入云計算、大數(shù)據(jù)基本概念,分析海警數(shù)據(jù)應用過程中存在的問題和數(shù)據(jù)管理中遇到的挑戰(zhàn),立足海警業(yè)務需求,突出整體規(guī)劃概念,保證安全可控為目標,從設計原則、技術需求、功能設計等幾個方面對建設海警云數(shù)據(jù)中心進行了分析和研究,力圖找出建設海警云數(shù)據(jù)中心的思路和方法。
云架構;海警;數(shù)據(jù)中心;建設研究
1.1 云計算、大數(shù)據(jù)基本概念
1.1.1 基本概念
云計算是基于互聯(lián)網(wǎng)的相關服務的增加、使用和交付模式,通常涉及通過互聯(lián)網(wǎng)來提供動態(tài)易擴展且經(jīng)常是虛擬化的資源。
大數(shù)據(jù)通常定義為:超出了常用硬件環(huán)境和軟件工具在可接受的時間內為其收集、管理和處理能力的數(shù)據(jù)。大數(shù)據(jù)不僅體現(xiàn)在容量上,還體現(xiàn)在多樣性、速度及復雜度等方面。超出了典型數(shù)據(jù)庫軟件工具收集、存儲、管理和分析能力的數(shù)據(jù)集。
云數(shù)據(jù)中心是一種基于云計算架構的,計算、存儲及網(wǎng)絡資源松耦合,完全虛擬化各種IT設備,模塊化程度較高,自動化程度較高,具備較高綠色節(jié)能程度的新型數(shù)據(jù)中心。
1.1.2 集中云與分散云的區(qū)別與聯(lián)系
從技術上講云計算就是計算虛擬化,簡單來說就是多虛一和一虛多。多虛一是集中云的概念,通過集中多臺性能一般的設備完成一臺超級設備才能完成的計算任務;一虛多是分散云的概念,最主要目的就是提高效率和節(jié)省費用,可以分為操作系統(tǒng)虛擬化、主機虛擬化、裸金屬虛擬化三種。
1.1.3 公有云和私有云的區(qū)別與聯(lián)系
公有云通常指第三方為用戶提供的能夠使用的云,公有云一般可通過internet使用。
私有云是為一個客戶單獨使用而構建的,因而提供對數(shù)據(jù)、安全性和服務質量的最有效控制,客戶擁有基礎設施,并可以控制在此基礎上部署應用程序的方式。
混合云融合了公有云和私有云,是近年來云計算的主要模式和發(fā)展方向。私有云的安全性是超越公有云的,而公有云的計算資源又是私有云無法企及的,混合云完美地解決了這個問題,它既可以利用私有云的安全,將內部重要保存在本地數(shù)據(jù)中心,同時也可以使用公有云的計算資源,更高效快捷地完成工作。
1.2 云計算、大數(shù)據(jù)在我國的發(fā)展和應用情況
1.2.1 云計算在我國的發(fā)展
未來云計算發(fā)展呈現(xiàn)三大趨勢:一是信息處理的集中化、云化、網(wǎng)隨云動;二是大數(shù)據(jù)的發(fā)展對云計算提出了更高的要求,云計算需要具備擴展性、彈性、資源池化、自助服務、可度量、低成本、按需支付和故障容錯能力;三是混合云的發(fā)展受到重視,云端的整合成為一種必然的趨勢。
1.2.2 云計算在我國的應用
2015年1月31日,國務院印發(fā)了《關于促進云計算創(chuàng)新發(fā)展培育信息產(chǎn)業(yè)新業(yè)態(tài)的意見》,充分發(fā)揮云計算對數(shù)據(jù)資源的集聚作用,實現(xiàn)數(shù)據(jù)資源的融合共享,推動大數(shù)據(jù)挖掘、分析、應用和服務。開展公共數(shù)據(jù)開放利用改革試點,出臺政府機構數(shù)據(jù)開放管理規(guī)定,在保障信息安全和個人隱私的前提下,積極探索地理、人口、知識產(chǎn)權及其他有關管理機構數(shù)據(jù)資源向社會開放,推動政府部門間數(shù)據(jù)共享,提升社會管理和公共服務能力。
1.2.3 云計算在國家部委的建設和應用
公安部、海關總署、國家稅務總局等信息化發(fā)展和應用領先的國家部委都非常重視云計算概念在本部門的應用,這幾年都專門成立大數(shù)據(jù)處等相關業(yè)務部門負責本單位傳統(tǒng)數(shù)據(jù)中心的升級和云數(shù)據(jù)中心的建設工作。
1.3 海警信息化數(shù)據(jù)管理遇到的挑戰(zhàn)
1.3.1 數(shù)據(jù)難以利用
現(xiàn)有業(yè)務應用系統(tǒng)的數(shù)據(jù)只是對一種業(yè)務數(shù)據(jù)記錄的簡單保存,對數(shù)據(jù)的使用也僅限于瀏覽、查詢和拷貝等基本功能,不能對這些業(yè)務數(shù)據(jù)進行進一步的基礎分析和深度挖掘工作。
1.3.2 系統(tǒng)孤立形成信息孤島
現(xiàn)有業(yè)務應用系統(tǒng)都由本部門負責管理,有自己的數(shù)據(jù)庫、自己的操作系統(tǒng)、自己開發(fā)的應用軟件和用戶界面,完全是獨立的體系。
1.3.3 缺乏公共服務與決策信息無法共享和交換
現(xiàn)有業(yè)務應用系統(tǒng)間缺乏共享和交換平臺,無法進行公共服務與決策信息共享和交換。
1.3.4 統(tǒng)計口徑不一致
現(xiàn)有業(yè)務應用系統(tǒng)的設計缺乏統(tǒng)一的標準,數(shù)據(jù)格式不統(tǒng)一,數(shù)據(jù)庫之間沒有建立實時更新的途徑,無法進行有效的統(tǒng)計。
1.3.5 數(shù)據(jù)價值難以體現(xiàn)
只對數(shù)據(jù)進行原始保存,缺乏必要的分析功能,無法體現(xiàn)數(shù)據(jù)的價值。
1.3.6 缺乏監(jiān)控與預測
沒有建立數(shù)據(jù)庫監(jiān)控與預警系統(tǒng),無法對數(shù)據(jù)庫的運行狀態(tài)進行有效的監(jiān)控和預測,安全性和穩(wěn)定性受到很大挑戰(zhàn)。
海警云數(shù)據(jù)中心是支撐云服務要求的數(shù)據(jù)中心,包括場地、供配電、空調取暖、服務器、存儲、網(wǎng)絡、管理系統(tǒng)、安全等相關設施,可以有效解決各部門間信息共享,實現(xiàn)業(yè)務部門之間的數(shù)據(jù)交換、數(shù)據(jù)共享與數(shù)據(jù)備份,促進海警信息化的發(fā)展。
2.1 技術上要體現(xiàn)先進
2.1.1 虛擬化技術
服務器虛擬化對服務器資源進行快速劃分和動態(tài)部署,從而降低了復雜度,消除了設備無序蔓延,并達到減少運營成本、提高資產(chǎn)利用率的目的;存儲虛擬化將存儲資源集中到一個大容量的資源池并進行統(tǒng)一管理,實現(xiàn)無需中斷應用即可改變存儲系統(tǒng)和數(shù)據(jù)遷移,提高了整個系統(tǒng)的動態(tài)適應能力;網(wǎng)絡虛擬化是通過將一個物理網(wǎng)絡節(jié)點虛擬成多個節(jié)點以及將多臺交換機整合成一臺虛擬的交換機來增加連接數(shù)量并降低網(wǎng)絡復雜度,實現(xiàn)網(wǎng)絡的容量優(yōu)化。
2.1.2 SOA基于業(yè)務的數(shù)據(jù)中心架構
SOA體系架構帶來的主要觀點是業(yè)務驅動IT,即業(yè)務驅動和業(yè)務更加緊密地聯(lián)系在一起。SOA是一種進行企業(yè)級系統(tǒng)開發(fā)的新的體系架構,在基于SOA體系的系統(tǒng)中,應用程序的具體功能是由一些松耦合和具有統(tǒng)一接口方式的組件等組合而建立起來的。
2.1.3 彈性伸縮和動態(tài)調配
彈性伸縮可以從縱向和橫向兩個方面考慮,縱向伸縮性是指在同一個邏輯單元內增加資源來提高處理能力;橫向伸縮性是指增加更多邏輯單元的資源,并整合成如同一個單元在工作;動態(tài)調配是根據(jù)需求的變化,對計算資源自動地進行分配和管理,實現(xiàn)高度“彈性”的縮放和優(yōu)化使用,而使用者不介入具體操作流程。
2.1.4 高效、可靠的數(shù)據(jù)傳輸交換和事件處理
數(shù)據(jù)傳輸交換和事件處理系統(tǒng)是云計算中心的消息和數(shù)據(jù)傳輸交換樞紐,不能僅采用組播協(xié)議來追求速度,也不能僅采用TCP來追求可靠性,而需要結合多種協(xié)議的優(yōu)勢,有效控制分布在網(wǎng)絡上的眾多組件之間的數(shù)據(jù)流向,保證數(shù)據(jù)通道的暢通性、信息交換的可靠性和安全性。
2.2 架構上要符合標準
參照國家標準GB/T 32399-2015《信息技術云計算數(shù)據(jù)中心參考架構》和GB/T 32400-2015《信息技術云計算概覽與詞匯》(2015年12月31日頒布,2017年1月1日開始實施)標準、安全管理及運維管理標準均要參照相關國際標準,符合GB/T 32915-2015《信息技術彈性計算應用接口》、GB/T 32916.1-2015《信息技術云數(shù)據(jù)存儲和管理第1部分:總則》、GB/T 32916.2-2015《信息技術云數(shù)據(jù)存儲和管理第2部分:基于對象的云存儲應用接口》、GB/T 32916.3-2015《信息技術基于鍵值(Key-Value)的云數(shù)據(jù)管理應用接口》等標準。
2.3 功能上要逐步完善
2.3.1 超級計算能力
云數(shù)據(jù)中心將成千上萬臺服務器整合成資源池,提供的計算、存儲、應用是很多大型機、巨型機無法比擬的,在云端甚至可以進行每秒超過10萬億次的運算能力,存儲的空間更是恐怖,PB(1024TB)級、EB(1024PB)級的海量數(shù)據(jù)也可通過聯(lián)合計算,予以應對。
2.3.2 高度可靠與安全
數(shù)據(jù)的安全和可靠受到服務器、存儲等設備的制約,也需要UPS、冷卻系統(tǒng)的支持,即便數(shù)據(jù)中心內部建立了可靠的應用環(huán)境,還要面對地震、海嘯等自然災害的潛在威脅。在云環(huán)境這樣的風險指標會逐步降低,云部署在不同的地理環(huán)境,跨越多地,單點故障不會對服務、應用造成太大影響。在云端,數(shù)據(jù)的多副本容錯、計算各節(jié)點同構可互換等措施也保證了高度安全性和可靠性,相比傳統(tǒng)數(shù)據(jù)中心的計算模式,云計算在安全、可靠方面的表現(xiàn)卓眾。
2.3.3 按需使用
用戶獲得云計算資源的行為和獲得電力、自來水、天然氣一樣簡單,按照自己的需求使用。
2.3.4 彈性擴展
當某個業(yè)務系統(tǒng)突發(fā)大量使用需求時,云計算會動態(tài)調整分配給它的資源,保證業(yè)務系統(tǒng)的正常運行。當使用完成后再收回發(fā)放的資源。
海警云數(shù)據(jù)中心要建設亞太地區(qū)領先的海上維權執(zhí)法信息化系統(tǒng)的基礎數(shù)據(jù)中心,提供持續(xù)服務計算、存儲虛擬化,資源快速分配,數(shù)據(jù)共享、操作系統(tǒng)虛擬化、終端統(tǒng)一管理、雙活災備、虛擬PC等功能,為海警業(yè)務提供持續(xù)不斷的數(shù)據(jù)服務。
3.1 海警云數(shù)據(jù)中心建設原則
3.2 海警云數(shù)據(jù)中心建設思路
建立統(tǒng)一的數(shù)據(jù)交換平臺,通過交換平臺實現(xiàn)各異構數(shù)據(jù)庫之間的數(shù)據(jù)集成,實現(xiàn)原有各業(yè)務系統(tǒng)在數(shù)據(jù)級集成,保證異構數(shù)據(jù)庫之間的數(shù)據(jù)交換與共享。
在建立的數(shù)據(jù)交換平臺基礎上,針對各業(yè)務系統(tǒng)的技術和體系結構,配置各業(yè)務系統(tǒng)的數(shù)據(jù)交換映射關系,形成各業(yè)務系統(tǒng)的應用,當平臺建立好以后,業(yè)務應用可以任意擴展,添加新的共享數(shù)據(jù)。
3.3 海警云數(shù)據(jù)中心建設項目需求
隨著海警整合的深入和維權執(zhí)法任務的需求,現(xiàn)有的IT支撐系統(tǒng)已不能滿足業(yè)務快速發(fā)展的需要,迫切需要建設基于云計算技術的數(shù)據(jù)中心,重新構建IT基礎設施,以滿足未來業(yè)務增長對IT支撐的需求。
3.4 海警云數(shù)據(jù)中心建設規(guī)劃
3.4.1 分布式數(shù)據(jù)中心結構
建立單一的數(shù)據(jù)中心不能提供最好的服務,需采用分布式數(shù)據(jù)中心架構??傟牎⒅ш犗蛏霞壜?lián)到區(qū)域數(shù)據(jù)中心,核心數(shù)據(jù)保留在區(qū)域以上數(shù)據(jù)中心。區(qū)域數(shù)據(jù)中心備份到北京數(shù)據(jù)中心,北京數(shù)據(jù)中心備份到備份中心。核心業(yè)務做災備,全部業(yè)務可做備份。
業(yè)務分布式部署:任意一個數(shù)據(jù)中心出現(xiàn)問題,其他三個數(shù)據(jù)中心均可接管業(yè)務。需要部署在數(shù)據(jù)中心上的應用軟件支持分布式部署。
3.4.2 云OS
云OS主要用于承載業(yè)務系統(tǒng)的虛擬服務器和虛擬桌面,實現(xiàn)資源池化和彈性伸縮,自動調度,按需使用。實現(xiàn)對虛擬化資源池和硬件設備的管理。通過插件的方式,云OS可以實現(xiàn)多個同構/異構虛擬化資源池的管理。對數(shù)據(jù)中心的服務器、存儲、網(wǎng)絡等基礎設施進行虛擬化,并向上對云平臺提供接口。每套虛擬資源池由管理節(jié)點與計算節(jié)點組成,管理節(jié)點實現(xiàn)對基礎設施(計算節(jié)點、網(wǎng)絡設備、存儲設備)的管理、調度以及監(jiān)控;計算資源池以集群為管理維度(或者站點)。一個物理集群中可以把多臺服務器劃分成一個邏輯集群(又叫HA資源池),支持虛擬機熱遷移和HA(high available,高可用性集群)功能。一個物理集群中可以包含多個邏輯集群。云OS還用于實現(xiàn)云平臺的統(tǒng)一監(jiān)控、告警和運維管理等。
海警云數(shù)據(jù)中心建設是一項全新的課題,這符合海警部隊信息化建設“需求牽引、技術驅動”的總原則,我們立足海警業(yè)務實際,海警維權執(zhí)法數(shù)據(jù)涉及語音、圖像、視頻、傳真等內容,業(yè)務種類多,數(shù)據(jù)量大,傳輸實時性要求高,傳輸帶寬要求大,這樣就給數(shù)據(jù)傳輸和共享帶來很大困難,這就要求我們從滿足業(yè)務需求角度出發(fā),以需求牽引數(shù)據(jù)中心建設,本文通過對云計算、大數(shù)據(jù)概念以及如何建設云數(shù)據(jù)中心進行分析,從而提出建設規(guī)劃和思路,為建設海警云數(shù)據(jù)中心提供支持。
[1]楊歡.云數(shù)據(jù)中心構建實戰(zhàn)-核心技術、運維管理、安全與高可用[M].北京:機械工業(yè)出版社,2016.
[2]Viktor Mayer-Schonberger、Kenneth Cukier.大數(shù)據(jù)時代-生活、工作與思維的大變革[M].盛楊燕,周濤,譯.浙江人民出版社,2016.
[3]Gary Lee.云數(shù)據(jù)中心網(wǎng)絡技術[M].唐富年,譯.人民郵電出版社,2015.
TP311
A
1009-3044(2017)19-0232-03
2017-05-15