基于云計(jì)算的流數(shù)據(jù)集成與服務(wù)分析

王慧

關(guān)鍵詞 云計(jì)算技術(shù) 流數(shù)據(jù)集成 云服務(wù) 資源分配

1引言

在科技水平不斷提升的情況下，多種新型的技術(shù)被研發(fā)和應(yīng)用，并且網(wǎng)絡(luò)規(guī)模也在不斷擴(kuò)大，使得社交和視頻等應(yīng)用程序持續(xù)生成流數(shù)據(jù)。云計(jì)算技術(shù)具有諸多應(yīng)用優(yōu)勢，其是一種新型的計(jì)算范式，即在虛擬化技術(shù)、動(dòng)態(tài)可配置技術(shù)的支持下，可以使計(jì)算等服務(wù)按照具體需求，通過互聯(lián)網(wǎng)直接交付給客戶。在實(shí)際處理流數(shù)據(jù)期間，充分應(yīng)用云計(jì)算技術(shù)可以搭建符合要求的平臺(tái)。本文從流數(shù)據(jù)的基本概念入手，結(jié)合基于云計(jì)算技術(shù)設(shè)計(jì)的流數(shù)據(jù)集成與服務(wù)框架展開闡述，重點(diǎn)介紹了流數(shù)據(jù)集成和資源分配模塊，為后續(xù)設(shè)計(jì)出科學(xué)合理的資源分配算法創(chuàng)造了條件。

2流數(shù)據(jù)的基本概念

細(xì)致分析“流數(shù)據(jù)”，可知其概念主要來源于數(shù)據(jù)庫領(lǐng)域。通常情況下，我們將流數(shù)據(jù)看作是具有無邊界、瞬時(shí)特征的數(shù)據(jù)項(xiàng)序列，并且同源流數(shù)據(jù)中的數(shù)據(jù)項(xiàng)也具有相同的模式。數(shù)據(jù)流是指帶有時(shí)間戳、按照具體達(dá)到時(shí)間的序列表示的數(shù)據(jù)，并且會(huì)將時(shí)間序列模型作為主要形式進(jìn)行表示，具體的數(shù)據(jù)格式包括元組、鍵值對(duì)記錄等。在明確流數(shù)據(jù)的基本概念之后，可以將流數(shù)據(jù)集成與處理工作看作是由執(zhí)行數(shù)據(jù)操作的“算子”，或是“處理單位”集合互相之間通過數(shù)據(jù)流連接形成的有向無環(huán)圖。在此基礎(chǔ)上，算子在獲取輸入的數(shù)據(jù)流之后，就能夠及時(shí)觸發(fā)相應(yīng)操作[1] 。實(shí)際上，算子操作流程比較復(fù)雜，如包括數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)處理、產(chǎn)生輸出數(shù)據(jù)等。數(shù)據(jù)源接收算子的主要功能是收集來自多個(gè)數(shù)據(jù)源的數(shù)據(jù)，并及時(shí)將這些數(shù)據(jù)發(fā)送到下一個(gè)數(shù)據(jù)處理算子中;目的接收算子的主要功能是將完成處理的流數(shù)據(jù)結(jié)果傳遞到外部應(yīng)用和服務(wù)單元。

處理流數(shù)據(jù)具有轉(zhuǎn)換規(guī)則和檢測規(guī)則。轉(zhuǎn)換規(guī)定義了一個(gè)由基本的算子運(yùn)算符構(gòu)成的執(zhí)行計(jì)劃，并且這些運(yùn)算符對(duì)算子執(zhí)行的過濾、連接、聚集等多項(xiàng)操作數(shù)據(jù)進(jìn)行描述。檢測規(guī)則由條件、活動(dòng)兩部分構(gòu)成，其被廣泛應(yīng)用在事件流處理系統(tǒng)中。

3應(yīng)用云計(jì)算技術(shù)構(gòu)建的流數(shù)據(jù)集成與服務(wù)框架

在網(wǎng)絡(luò)規(guī)模不斷擴(kuò)大的背景下，各個(gè)應(yīng)用領(lǐng)域的感知類數(shù)據(jù)數(shù)量逐步增多，加之系統(tǒng)規(guī)模擴(kuò)大、數(shù)據(jù)多元異構(gòu)復(fù)雜性增強(qiáng)、流數(shù)據(jù)并發(fā)速度不斷加快，對(duì)流數(shù)據(jù)處理工作提出了嚴(yán)格要求，即不僅要具備流數(shù)據(jù)處理能力，也要具備較強(qiáng)的可伸縮性和容錯(cuò)性。在這些要求下，為了提高流數(shù)據(jù)處理效率和質(zhì)量，需要充分應(yīng)用云計(jì)算技術(shù)，構(gòu)建符合標(biāo)準(zhǔn)的流數(shù)據(jù)集成和服務(wù)框架，在其運(yùn)行期間主要將云計(jì)算基礎(chǔ)設(shè)施、云計(jì)算技術(shù)作為核心保障處理流數(shù)據(jù)，同時(shí)也要高效開展過濾、關(guān)聯(lián)、聚合等處理工作。此后，流數(shù)據(jù)以Web應(yīng)用程序編程接口作為主要形式提供給開發(fā)者，為后續(xù)高效開展定制化開發(fā)工作創(chuàng)造了條件，從而節(jié)省了開發(fā)資金。

3.1框架結(jié)構(gòu)

基于云計(jì)算技術(shù)構(gòu)建的流數(shù)據(jù)集成與服務(wù)框架主要由云基礎(chǔ)設(shè)施層、云數(shù)據(jù)管理層、云服務(wù)層、性質(zhì)保障四個(gè)部分組成。

“云基礎(chǔ)設(shè)施層”提供對(duì)CPU、網(wǎng)絡(luò)和存儲(chǔ)等云基礎(chǔ)設(shè)施資源的虛擬化抽象、資源監(jiān)控、資源部署等功能[2] 。“云數(shù)據(jù)管理層”的主要依據(jù)是緩沖區(qū)，接收不同消息系統(tǒng)、數(shù)據(jù)源的流數(shù)據(jù)，之后順利進(jìn)入到流數(shù)據(jù)引擎，能夠?qū)崿F(xiàn)實(shí)時(shí)處理流數(shù)據(jù)的目標(biāo)。以云計(jì)算技術(shù)為核心依據(jù)的流數(shù)據(jù)處理引擎在實(shí)際運(yùn)行期間，主要將分布式的部署架構(gòu)、并行處理模式等作為保障。云數(shù)據(jù)管理層在云計(jì)算技術(shù)的支持下，可以提供符合要求的流數(shù)據(jù)查詢操作接口，具體包括基本、聚集、連接等查詢操作。“云服務(wù)層”將云數(shù)據(jù)管理層提供的流數(shù)據(jù)操作接口作為基礎(chǔ)條件，主要功能是提供流數(shù)據(jù)服務(wù)的建模、發(fā)現(xiàn)、編程、提供、托管等服務(wù)，可以在滿足不同應(yīng)用要求的基礎(chǔ)上，制定具有個(gè)性化特征的服務(wù)方案。為了避免在大規(guī)模的云計(jì)算環(huán)境中產(chǎn)生故障問題，就要做好流數(shù)據(jù)服務(wù)的可靠性保障工作，同時(shí)也要使流數(shù)據(jù)的可伸縮性保障功能在最大程度上發(fā)揮出應(yīng)用價(jià)值。

3.2框架特征

目前，云計(jì)算技術(shù)被廣泛應(yīng)用在流數(shù)據(jù)處理工作中，其逐步成為數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)管理、計(jì)算等多項(xiàng)操作的技術(shù)支持。傳統(tǒng)形勢下的流數(shù)據(jù)處理系統(tǒng)存在諸多不足，為了提高流數(shù)據(jù)處理效果，應(yīng)構(gòu)建基于云計(jì)算技術(shù)的流數(shù)據(jù)集成和服務(wù)框架。

流數(shù)據(jù)處理系統(tǒng)的發(fā)展歷經(jīng)了三代，即第一代是將單機(jī)版作為流數(shù)據(jù)處理系統(tǒng)，在具體應(yīng)用期間其功能無法滿足標(biāo)準(zhǔn);第二代是以分布式體系結(jié)構(gòu)為主，以完善流數(shù)據(jù)處理系統(tǒng)為目標(biāo)，其具有容錯(cuò)性、支持適應(yīng)性的查詢等特征;第三代是將云計(jì)算技術(shù)作為技術(shù)保障，顯著特征是具有較強(qiáng)的可伸縮性和容錯(cuò)能力。

如今，云計(jì)算技術(shù)構(gòu)建的數(shù)據(jù)流集成和服務(wù)框架的應(yīng)用率不斷提高，其在實(shí)際運(yùn)行期間具有以下特征。

（ 1）支持服務(wù)交付、使用模式的功能。在該特征的作用下，多租戶可以共享流數(shù)據(jù)，并且支持“即取即用”的服務(wù)使用模式，在提供充足資源同時(shí)，具備較強(qiáng)的服務(wù)能力。在云計(jì)算技術(shù)發(fā)揮作用之后，流數(shù)據(jù)的各項(xiàng)操作能夠以服務(wù)形式為主進(jìn)行交付使用。

（2）較強(qiáng)的實(shí)時(shí)性[3] 。在實(shí)現(xiàn)高吞吐量這一目標(biāo)之后，能夠及時(shí)高效地處理流數(shù)據(jù)?？紤]到每一秒都會(huì)迸發(fā)大量數(shù)據(jù)，在實(shí)際開展處理工作時(shí)具有較大難度，這就要適當(dāng)?shù)乜s短響應(yīng)時(shí)間，在滿足實(shí)時(shí)處理要求之后，提高流數(shù)據(jù)處理效率。

（3）動(dòng)態(tài)可伸縮性。負(fù)載不斷變化，需要保證基于云計(jì)算技術(shù)構(gòu)建的流數(shù)據(jù)集成和服務(wù)框架具有較強(qiáng)的動(dòng)態(tài)可伸縮性，如從理論角度進(jìn)行分析，不難發(fā)現(xiàn)在云計(jì)算環(huán)境中，應(yīng)用和服務(wù)可以隨意伸縮，但是在負(fù)載逐步上升或是不斷降低的情況下，存在荷載缺乏均衡性的問題。這就要突出動(dòng)態(tài)可伸縮性，進(jìn)而保證在不同的負(fù)載狀況下仍然能夠具備一樣的性能。

（4）容錯(cuò)性。在充分利用這一特征之后，可以更加高效地處理存在缺陷的數(shù)據(jù)，如即使存在故障數(shù)據(jù)流，處理系統(tǒng)仍然可以正常運(yùn)行。這樣既能提供可靠性保障服務(wù)，也能防止引發(fā)更加嚴(yán)重的問題。

4基于云計(jì)算的流數(shù)據(jù)集成與服務(wù)

4.1流數(shù)據(jù)集成

深入研究流數(shù)據(jù)集成問題后，可以將其總結(jié)為多個(gè)流數(shù)據(jù)源的集成、流處理引擎間的集成、流處理引擎、傳統(tǒng)數(shù)據(jù)庫集成等問題。gzslib202204022152

在充分應(yīng)用云計(jì)算技術(shù)的情況下，用戶的查詢請(qǐng)求涉及多個(gè)流數(shù)據(jù)源，并且其也具有不同類型的數(shù)據(jù)模型和訪問接口。在明確這項(xiàng)內(nèi)容之后，輸出流處理引擎會(huì)產(chǎn)生流數(shù)據(jù)處理結(jié)果輸出到不同目的系統(tǒng)的現(xiàn)象[4] 。在實(shí)際處理該問題時(shí)，非常關(guān)鍵的一項(xiàng)操作是提供適用于不同數(shù)據(jù)類型的適配器，雖然一些適配器的集成仍然需要人工操作，但是其具有支持流數(shù)據(jù)輸入和輸出集成的功能。

考慮到中介模式和與數(shù)據(jù)源模式之間存在語義映射關(guān)系，可以利用視圖回答查詢進(jìn)行數(shù)據(jù)集成，即將其應(yīng)用在多個(gè)流數(shù)據(jù)源的集成系統(tǒng)中。多個(gè)流數(shù)據(jù)源的模式存在差異，通過充分利用中介模式集成數(shù)據(jù)，在重寫之后查詢步驟會(huì)變得非常煩瑣。為了解決該問題，可以直接將得到的流數(shù)據(jù)格式、模式等映射到連續(xù)查詢上，同時(shí)將查詢重寫推遲到運(yùn)行時(shí)，從而讓MDQ 技術(shù)能夠充分發(fā)揮作用，高效靈活的開展異構(gòu)模式流數(shù)據(jù)集成工作。

在解決流數(shù)據(jù)模式異構(gòu)造成的問題之后，還要將流數(shù)據(jù)集成操作與傳統(tǒng)形勢下的數(shù)據(jù)集成操作進(jìn)行比較，為此不難發(fā)現(xiàn)流數(shù)據(jù)無法在前期階段進(jìn)行存儲(chǔ)，并且數(shù)據(jù)也不屬于某一個(gè)流處理引擎，甚至?xí)诰W(wǎng)絡(luò)的作用下連續(xù)到達(dá)，從而使需要集成的數(shù)據(jù)源不可預(yù)測性、不可靠性變得非常顯著。在此情況下，利用云計(jì)算技術(shù)構(gòu)建完善的流數(shù)據(jù)集成體系，可以有效解決相關(guān)問題，但是這對(duì)流數(shù)據(jù)負(fù)載變化的可伸縮性保障技術(shù)等提出了嚴(yán)格要求。

4.2流數(shù)據(jù)查詢

在云計(jì)算技術(shù)最大程度上發(fā)揮作用的狀況下，保證高效完成流數(shù)據(jù)查詢操作，可以為后續(xù)提供定制化服務(wù)創(chuàng)造條件。在進(jìn)行該操作期間，會(huì)涉及兩個(gè)方面的內(nèi)容，即單個(gè)查詢操作、互相連接多個(gè)流數(shù)據(jù)操作算子的執(zhí)行和優(yōu)化。前者包括連接查詢、聚集查詢等。后者包括算子重新排序、算子去重等。

將基于云計(jì)算的流數(shù)據(jù)查詢操作與傳統(tǒng)形勢下的數(shù)據(jù)庫進(jìn)行對(duì)比可知：二者具有較強(qiáng)的相似性，可以將流數(shù)據(jù)查詢的操作步驟分為選擇、投影、連接、聚集等。在實(shí)際開展選擇和投影工作時(shí)，流程非常簡單，但是連接和聚集環(huán)節(jié)的操作程序比較復(fù)雜，甚至?xí)妮^多時(shí)間。在傳統(tǒng)數(shù)據(jù)庫研究中，我們將連接和聚集查詢作為主要研究內(nèi)容;而在流數(shù)據(jù)研究中，因?yàn)榇笠?guī)模的流數(shù)據(jù)具有較強(qiáng)的實(shí)時(shí)性和不間斷性，所以為了做好連接和聚集查詢工作，既要使用流數(shù)據(jù)基本查詢方法，也要使用應(yīng)用率較高的流數(shù)據(jù)高級(jí)查詢操作方法，從而滿足云計(jì)算環(huán)境下流數(shù)據(jù)查詢操作要求。

4.3流數(shù)據(jù)定制化服務(wù)

應(yīng)用云計(jì)算技術(shù)構(gòu)建的流數(shù)據(jù)服務(wù)體系，需要保證具備流數(shù)據(jù)定制化服務(wù)功能，主要目的是面向不同類型應(yīng)用的需求，以服務(wù)方式為主，提供科學(xué)合理地流數(shù)據(jù)連續(xù)查詢、事件檢測、實(shí)時(shí)分析等能力。此后，可以支持用戶對(duì)大規(guī)模流數(shù)據(jù)集成、處理結(jié)果進(jìn)行充分應(yīng)用。在達(dá)到共享目的之后， 完成服務(wù)定制工作[5] 。

一般情況下，將云計(jì)算環(huán)境下的流數(shù)據(jù)定制化服務(wù)工作內(nèi)容分為建模、發(fā)現(xiàn)、編程、提供、托管等，既要保證面向流數(shù)據(jù)進(jìn)行訪問和獲取，也要充分考慮服務(wù)的抽象和建模等方面的問題。流數(shù)據(jù)使用者還要明確需要訪問的流數(shù)據(jù)、具體格式、語義、集成方式等。在保證流數(shù)據(jù)定制服務(wù)具有針對(duì)性和合理性之后，其不僅可以向服務(wù)消費(fèi)者提供表達(dá)語言、豐富的元數(shù)據(jù)，消費(fèi)者也可以利用相關(guān)服務(wù)，將訪問和查詢請(qǐng)求發(fā)送給服務(wù)提供者，從而及時(shí)有效地獲取數(shù)據(jù)。流數(shù)據(jù)定制化服務(wù)是云數(shù)據(jù)服務(wù)的重要組成部分，在將流數(shù)據(jù)的管理、部署、運(yùn)營等多項(xiàng)任務(wù)托管給網(wǎng)絡(luò)之后，可以高效開展數(shù)據(jù)采集、查詢、分析等工作，形成新的服務(wù)模式，進(jìn)而滿足用戶需求。

5結(jié)束語