基于QVT的流式大數(shù)據(jù)轉(zhuǎn)換研究

李 丹，李丹寧，張 順

（貴州科學(xué)院，貴州 貴陽 550001）

基于QVT的流式大數(shù)據(jù)轉(zhuǎn)換研究

李 丹，李丹寧，張 順

（貴州科學(xué)院，貴州 貴陽 550001）

流式大數(shù)據(jù)呈現(xiàn)出實(shí)時、連續(xù)、無限等特征，類型繁雜，只能一次性順序處理。研究流式大數(shù)據(jù)的提取、變換、分析，具有較強(qiáng)的理論和應(yīng)用價值。流式模型轉(zhuǎn)換利用模型驅(qū)動開發(fā)積累的方法、技術(shù)、標(biāo)準(zhǔn)和工具，從更高的抽象層次處理大數(shù)據(jù)流，是一個正在浮現(xiàn)的研究熱點(diǎn)領(lǐng)域。結(jié)合前期在模型轉(zhuǎn)換方面的工作，提出將OMG標(biāo)準(zhǔn)模型轉(zhuǎn)換語言QVT-R應(yīng)用于流模型轉(zhuǎn)換，為流式大數(shù)據(jù)處理提供一個直觀簡潔、表達(dá)力強(qiáng)的全新方法，滿足大數(shù)據(jù)和物聯(lián)網(wǎng)產(chǎn)業(yè)發(fā)展的實(shí)際需要。

大數(shù)據(jù)；流式大數(shù)據(jù)處理；模型轉(zhuǎn)換；QVT

前言

大數(shù)據(jù)呈現(xiàn)出規(guī)模性（Volume）、多樣性（Variety）、高速性（Velocity） 和價值（Value）的特點(diǎn)。很多大數(shù)據(jù)源，如網(wǎng)絡(luò)監(jiān)控、物聯(lián)網(wǎng)上各種傳感器產(chǎn)生的實(shí)時數(shù)據(jù)等，呈現(xiàn)出鮮明的流式特征，數(shù)據(jù)量密集、實(shí)時性強(qiáng)、價值密度低，往往無法完全儲存起來，需要實(shí)時、高效地提取出有價值的信息。同時，大數(shù)據(jù)的多樣性意味著數(shù)據(jù)來源廣泛，類型繁雜。存在多層次、多方面的差異性，查詢處理時可能涉及到時間、地理坐標(biāo)等，實(shí)時性要求高，且只能以“不落地”（on-the-fly）的方式處理。這種復(fù)雜的數(shù)據(jù)環(huán)境和處理要求給流式大數(shù)據(jù)的處理帶來極大的挑戰(zhàn)。構(gòu)建高吞吐且持續(xù)可靠運(yùn)行的大數(shù)據(jù)流式計算系統(tǒng)是當(dāng)前亟待解決的問題，但目前研究成果和實(shí)踐經(jīng)驗(yàn)相對較少[1]。

理想的大數(shù)據(jù)流式處理系統(tǒng)應(yīng)該表現(xiàn)出低延遲、高吞吐、持續(xù)穩(wěn)定運(yùn)行、動態(tài)負(fù)載均衡、彈性可伸縮及故障恢復(fù)等特性，需要對系統(tǒng)架構(gòu)、數(shù)據(jù)傳輸、編程接口、數(shù)據(jù)處理及變換、高可用技術(shù)等關(guān)鍵技術(shù)的進(jìn)行研究[1，2]。目前，在大數(shù)據(jù)流式計算架構(gòu)方面已有一些工作，如Twitter的Storm系統(tǒng)、Berkeley的Spark Streaming、Yahoo的S4等。和傳統(tǒng)的集中式數(shù)據(jù)流管理系統(tǒng)不同，這些平臺都采用分布式架構(gòu)，其處理能力可以隨節(jié)點(diǎn)數(shù)目的增長而擴(kuò)展，具有良好的伸縮性、負(fù)載均衡、故障恢復(fù)、高可用性等。同時，平臺的基礎(chǔ)模塊與計算邏輯分離，平臺自身只完成底層數(shù)據(jù)傳輸、任務(wù)分配等工作，并不提供查詢、處理的語言支持，用戶需要自行完成處理流程和計算單元的定義。

因此，在形式化方法、模型驅(qū)動開發(fā)和模型轉(zhuǎn)換方法的基礎(chǔ)上，從更高的層次抽象大數(shù)據(jù)流，研究復(fù)雜流式大數(shù)據(jù)的數(shù)據(jù)模型、連續(xù)流處理語義、系統(tǒng)處理模式，開發(fā)相應(yīng)的處理語言和算子，以用戶自定義計算單元的方式嵌入這些分布式流數(shù)據(jù)處理平臺中，即能利用框架在延遲性、吞吐量、動態(tài)負(fù)載均衡、彈性可伸縮等方面的優(yōu)勢有效地處理復(fù)雜流式大數(shù)據(jù)。

1 研究背景及相關(guān)工作

數(shù)據(jù)流（data streams）是實(shí)時的、連續(xù)的、無限的海量數(shù)據(jù)序列，數(shù)據(jù)或其摘要信息只能按順序存取并被讀取一次或有限次[2]。而相應(yīng)的流式計算（stream computing）指當(dāng)數(shù)據(jù)流到來后在內(nèi)存中直接進(jìn)行數(shù)據(jù)的實(shí)時處理，增量式地返回結(jié)果。流式計算中，無法確定數(shù)據(jù)的到來時刻和到來順序，也無法將全部數(shù)據(jù)存儲起來[1]。

1.1 數(shù)據(jù)流處理技術(shù)

現(xiàn)有的數(shù)據(jù)流管理系統(tǒng)（Data Stream Management Systems，DSMSs）通常只提供簡單的查詢語言和算子，并提供帶有滑動時間窗口的類似于SQL的查詢語句，難以滿足對實(shí)時數(shù)據(jù)處理復(fù)雜度和實(shí)時性的要求，同時在語句豐富程度、查詢優(yōu)化和調(diào)度方面也存在不足[1，2]。近年來，在語義流（Semantic Streams）、流推理（stream reasoning）、復(fù)雜事件處理（complex event processing，CEP）等方面的研究也取得了很大的進(jìn)展，但仍然難以滿足對流式大數(shù)據(jù)處理的實(shí)際需要[3]。工業(yè)界和學(xué)術(shù)界提出的幾種CEP方法，定義復(fù)雜模式匹配規(guī)則過于簡單，不能明確地表達(dá)對于輸入事件的處理步驟，而是由模式本身隱含的決定[3]。同樣，CEP不能將數(shù)據(jù)流和背景數(shù)據(jù)集結(jié)合起來處理，對于處理現(xiàn)實(shí)中的復(fù)雜大數(shù)據(jù)流存在困難。

1.2 XML數(shù)據(jù)流處理技術(shù)

XML已成為互聯(lián)網(wǎng)上信息表示和數(shù)據(jù)交換的重要標(biāo)準(zhǔn)，不同種類的數(shù)據(jù)，如RDF數(shù)據(jù)，都可以用XML格式來表示，特別是類型繁雜、來源廣泛、極具多樣性的大數(shù)據(jù)。因此越來越多的數(shù)據(jù)源把它們產(chǎn)生的流式大數(shù)據(jù)進(jìn)行包裝，以XML的格式通過網(wǎng)絡(luò)發(fā)布和交換，稱為XML數(shù)據(jù)流（XML data streams）。當(dāng)前，對XML大數(shù)據(jù)流的處理需求急劇增長，如何高效、安全地處理XML數(shù)據(jù)流，成為大數(shù)據(jù)流式計算研究的重要部分[4]。目前對XML數(shù)據(jù)流的處理方法抽象程度低，使用復(fù)雜。而對如何從源數(shù)據(jù)流轉(zhuǎn)換生成不同結(jié)構(gòu)和內(nèi)容的目標(biāo)數(shù)據(jù)流，特別是在涉及應(yīng)用模型驅(qū)動開發(fā)和模型轉(zhuǎn)換技術(shù)方面，所做研究工作較少。

XML文檔轉(zhuǎn)換的標(biāo)準(zhǔn)語言XSLT在定義規(guī)則，模式匹配和處理結(jié)構(gòu)化數(shù)據(jù)方面具備強(qiáng)大功能，得到廣泛的支持。2014年發(fā)布的XSLT 3.0標(biāo)準(zhǔn)草案[5]中，重點(diǎn)關(guān)注了XML文檔的流式轉(zhuǎn)換，為此引入了一系列新的構(gòu)造子（constructs），提供了對流式轉(zhuǎn)換的良好支持，且目前已有處理器（processor），如Saxon 9.6、Exselt等，實(shí)現(xiàn)了XSLT 3.0流式轉(zhuǎn)換功能并支持多核、多線程。

1.3 流模型轉(zhuǎn)換技術(shù)

模型轉(zhuǎn)換（model transformations）是模型驅(qū)動開發(fā)的核心。數(shù)據(jù)轉(zhuǎn)換（data transformations）也是模型轉(zhuǎn)換的重要應(yīng)用領(lǐng)域。數(shù)據(jù)集用元數(shù)據(jù)描述，而元數(shù)據(jù)可直接定義為數(shù)據(jù)模型，因此模型轉(zhuǎn)換技術(shù)可以用于數(shù)據(jù)轉(zhuǎn)換的工作。用戶為復(fù)雜的數(shù)據(jù)結(jié)構(gòu)建模，定義轉(zhuǎn)換規(guī)則轉(zhuǎn)換到目標(biāo)數(shù)據(jù)類型。但傳統(tǒng)的模型轉(zhuǎn)換技術(shù)將以批處理的方式進(jìn)行，將模型作為一個整體讀入計算機(jī)內(nèi)存，再進(jìn)行處理和轉(zhuǎn)換，對流式模型（數(shù)據(jù)）的模型轉(zhuǎn)換技術(shù)研究較少。相關(guān)的技術(shù)，如增量式模型轉(zhuǎn)換（incremental model transformation）及變化驅(qū)動轉(zhuǎn)換（change-driven transformations），主要考慮當(dāng)源模型發(fā)生少量變化時，如何只轉(zhuǎn)換變化部分，并將轉(zhuǎn)換結(jié)果合并到原有的目標(biāo)模型，不能滿足轉(zhuǎn)換流式模型的要求。

由于流模型具有以下特點(diǎn)，現(xiàn)有的模型轉(zhuǎn)換方法并不能有效地處理流模型轉(zhuǎn)換[6]：

●無限模型（Infinite model）：流模型轉(zhuǎn)換處理持續(xù)到來的模型片段。流模型轉(zhuǎn)換的輸入、輸出模型原則上都是無限的。

●處理引用（references）：模型元素可能引用（通過標(biāo)識或鍵值）已經(jīng)被流式處理的模型片段，或可能指向?qū)碓俦惶幚淼钠巍?/p>

●轉(zhuǎn)換調(diào)度（scheduling）：模型元素抵達(dá)時觸發(fā)并運(yùn)行相應(yīng)規(guī)則，但模型元素抵達(dá)的順序是未知的。需要某種機(jī)制來避免轉(zhuǎn)換的整個停止執(zhí)行，并且當(dāng)預(yù)期的元素到達(dá)后恢復(fù)規(guī)則的執(zhí)行。

流模型轉(zhuǎn)換作為一種新型的模型轉(zhuǎn)換技術(shù)已經(jīng)開始吸引研究者的注意。文獻(xiàn)[6]提出了流模型轉(zhuǎn)換（streaming model transformations）， 將其定義為“一種特殊的模型轉(zhuǎn)換，在轉(zhuǎn)換開始時無法得到完整的輸入模型，而是在轉(zhuǎn)換過程中連續(xù)獲得”。同時實(shí)現(xiàn)了一個概念性的流模型轉(zhuǎn)換引擎，并進(jìn)行了一些實(shí)驗(yàn)性的流模型轉(zhuǎn)換工作。

2 基于QVT的流模型轉(zhuǎn)換

2.1 QVT-R及XSLT技術(shù)

為滿足對通用模型轉(zhuǎn)換語言的需要，OMG提出模型轉(zhuǎn)換語言QVT （Query/View /Transformation）[7]標(biāo)準(zhǔn)。其中的QVT Relations （以下簡稱 QVT-R）是一種高級的聲明式（declarative）語言，是QVT 的核心。QVT-R的語言中，數(shù)據(jù)模型可以用UML類圖定義。復(fù)雜的查詢要求，涉及到模型導(dǎo)航（navigation）、集合操作、以及邏輯、數(shù)學(xué)、字符串操作等，可直觀地用QVT-R的模式表達(dá)，通過模式匹配尋找到相應(yīng)的部分，滿足數(shù)據(jù)轉(zhuǎn)換中復(fù)雜的轉(zhuǎn)換要求，實(shí)現(xiàn)對模型結(jié)構(gòu)變化的快速反應(yīng)。而OMG發(fā)布的各項(xiàng)相關(guān)標(biāo)準(zhǔn)及眾多的開源、商用軟件，也為數(shù)據(jù)模型的建模、操縱提供了便利。當(dāng)然，現(xiàn)有的QVT標(biāo)準(zhǔn)[7]并沒有涉及到流模型轉(zhuǎn)換，也不能處理無限模型。

為了支持QVT-R，我們提出了QVTR-XSLT方法[8，9]，并開發(fā)出了原型支持工具。QVTR-XSLT支持QVT-R的圖形語法，通過映射到XSLT，支持QVT-R一個子集的運(yùn)行。

XSLT 3.0 標(biāo)準(zhǔn)為支持XML文檔的流式轉(zhuǎn)換引入了一系列新的構(gòu)造子（constructs）。其中，新的xsl:mode指令和xsl:stream指令可以將模版規(guī)則申明為對XML文檔進(jìn)行流式處理。fn:snapshot指令復(fù)制節(jié)點(diǎn)及其祖先和后代，用于建立快照。而xsl:fork和xsl:merge能充分利用大規(guī)模計算機(jī)系統(tǒng)的并行能力高效地處理XML數(shù)據(jù)流。

2.2 基于QVT-XSLT的流模型轉(zhuǎn)換

我們對復(fù)雜大數(shù)據(jù)流進(jìn)行抽象模型研究，并針對流模型轉(zhuǎn)換的特點(diǎn)對QVT-R的圖形語法進(jìn)行擴(kuò)展，包括定義無限模型的概念和對應(yīng)操作，引入新的構(gòu)造子（constructs）并定義其語法和語義，提出流轉(zhuǎn)換中規(guī)則調(diào)度的新算法等，使得QVT-R能夠用于流模型轉(zhuǎn)換。

我們還將擴(kuò)展的QVT-R流轉(zhuǎn)換功能語義映射到XSLT 3.0的相應(yīng)功能，通過引入并行計算、滑動窗口、二級儲存等手段提高流轉(zhuǎn)換的效率。進(jìn)一步改進(jìn)QVTR-XSLT方法，從方法和架構(gòu)上實(shí)現(xiàn)對擴(kuò)展的QVT-R流模型轉(zhuǎn)換的支持。

具體的技術(shù)路線如下：

（1）在擴(kuò)展QVT-R支持流模型轉(zhuǎn)換中采用如下技術(shù)方案：

a）XML流模型以模型片段（fragments）為基本單位。片段可視為有根節(jié)點(diǎn)一顆獨(dú)立XML樹，包含有限元素，具有有限深度，大小適合調(diào)入內(nèi)存，可對片段建立快照及緩存。

b）引入新QVT-R的構(gòu)造子，包括將QVT-R轉(zhuǎn)換聲明為流轉(zhuǎn)換，將規(guī)則的源域模式聲明為片段匹配模式，跨片段引用的注明，當(dāng)前片段的條件緩存等，并給出其語義。片段以流方式進(jìn)行處理，但片段內(nèi)的操作按正常方式進(jìn)行。

c）為改進(jìn)QVT-R的實(shí)用性對QVT-R進(jìn)行擴(kuò)展，包括增加轉(zhuǎn)換調(diào)用參數(shù)（parameters）使得同一個轉(zhuǎn)換能夠適用于不同的使用環(huán)境，增加規(guī)則別名及權(quán)重，以及增加條件規(guī)則調(diào)用等。

d）提出流轉(zhuǎn)換規(guī)則調(diào)度（rule scheduling）及緩存機(jī)制。QVT-R的規(guī)則調(diào)度通過when、where條款（clauses）進(jìn)行，在where中顯式調(diào)用其它規(guī)則，而在when中給定的條件滿足后本條規(guī)則才能被觸發(fā)。規(guī)則中如果有跨片段引用，可作為規(guī)則的一種特殊when條件。規(guī)則執(zhí)行中檢查緩存，如有不能滿足的跨片段引用，則將當(dāng)前片段置入緩存，當(dāng)前規(guī)則的運(yùn)行放入等候列表（wait list），暫緩執(zhí)行。當(dāng)新的數(shù)據(jù)片段到達(dá)時，檢查等候列表，滿足條件的恢復(fù)執(zhí)行。

e）提出QVT-R并行處理機(jī)制，將某些規(guī)則聲明為可并行處理，在執(zhí)行時，根據(jù)需要自動擴(kuò)展到多條線程，再將多線程的處理結(jié)果歸并。

（2）以現(xiàn)有的QVTR-XSLT方法和工具為基礎(chǔ)提出支持流轉(zhuǎn)換的方法，實(shí)現(xiàn)對QVT-R流模型轉(zhuǎn)換的支持。具體技術(shù)線路如下：

a）根據(jù)W3C XSLT 3.0 標(biāo)準(zhǔn)支持流式轉(zhuǎn)換的功能及其它新特征，設(shè)計將QVT-R流式轉(zhuǎn)換命令語義映射到XSLT流式轉(zhuǎn)換指令的方法；

b）將流QVT-R的并行處理用XSLT xsl:fork 及 xsl:merge實(shí)現(xiàn)；

c）用XSLT fn:snapshot和deep-skip等指令實(shí)現(xiàn)滑動窗口（slice windowing）、二級緩存和延遲加載（lazy loading）；

d）實(shí)現(xiàn)對流QVT-R規(guī)則調(diào)度機(jī)制的支持。流QVT-R中跨片段訪問設(shè)定為規(guī)則的一種特殊when條件，在實(shí)現(xiàn)中，我們將其轉(zhuǎn)化為“反向”where 條件，根據(jù)QVT-R規(guī)則生成相應(yīng)的檢驗(yàn)函數(shù)，檢查是否能發(fā)現(xiàn)要引用的數(shù)據(jù)片段，在其它when條件也滿足時，再調(diào)用該規(guī)則。

e）開發(fā)流QVT-R圖形編輯器和代碼生成器。改進(jìn)現(xiàn)有的QVTR-XSLT工具，加入對流轉(zhuǎn)換指令的支持，生成可進(jìn)行流模型轉(zhuǎn)換的XSLT程序。

（3）探討模型驅(qū)動架構(gòu)下以模型轉(zhuǎn)換技術(shù)開發(fā)實(shí)現(xiàn)大數(shù)據(jù)流處理系統(tǒng)的開發(fā)方法，以QVT-R的圖形語法及工具作為大數(shù)據(jù)流處理系統(tǒng)開發(fā)界面。當(dāng)前，大多數(shù)大數(shù)據(jù)流式計算系統(tǒng)均提供了類似于 MapReduce 的類用戶編程接口，用戶必須編程實(shí)現(xiàn)任務(wù)中各節(jié)點(diǎn)的處理功能，需要復(fù)雜的專業(yè)技能分解要解決的問題，調(diào)試、優(yōu)化、編碼、部署。同時暴露出來的編程接口仍然比較低級，編寫復(fù)雜處理程序或Ad-hoc查詢?nèi)匀皇趾臅r，并且代碼很難復(fù)用。用XPath等語言直接處理復(fù)雜的數(shù)據(jù)結(jié)構(gòu)更加困難。我們希望流式QVT-R能為流式大數(shù)據(jù)的處理提供一個更直觀、用戶友好的接口，可以直接生成在開源分布式流數(shù)據(jù)處理框架下運(yùn)行的計算單元、調(diào)度和配置代碼。目前更傾向于采用S4系統(tǒng)。

3 結(jié)論

將模型驅(qū)動開發(fā)，特別是模型轉(zhuǎn)換技術(shù)用于流式大數(shù)據(jù)的轉(zhuǎn)換處理中，可將模型的方式從更高的抽象層次直觀地描述數(shù)據(jù)格式和要進(jìn)行的處理工作，充分利用MDA長期積累下已成熟的方法、標(biāo)準(zhǔn)、工具和開發(fā)經(jīng)驗(yàn)，大幅提高數(shù)據(jù)處理系統(tǒng)開發(fā)的效率。

本研究根據(jù)流模型的特點(diǎn)，提出復(fù)雜流式大數(shù)據(jù)的抽象模型，擴(kuò)展標(biāo)準(zhǔn)模型轉(zhuǎn)換語言QVT-R支持流式模型轉(zhuǎn)換的方法。同時提出一種流式QVT-R到XSLT 3.0 的語義映射方法。給出流式QVT-R的實(shí)現(xiàn)途徑，研究其轉(zhuǎn)換處理的語義及規(guī)則調(diào)度、緩存策略及并行處理算法，有效地應(yīng)用于XML大數(shù)據(jù)流的變換，為流式大數(shù)據(jù)處理提供一個直觀簡潔、表達(dá)力強(qiáng)的方法，并形成相應(yīng)的處理語言及算子，可配合已有的分布式流數(shù)據(jù)處理框架有效運(yùn)行。

[1]孫大為，張廣艷，鄭緯民.大數(shù)據(jù)流式計算:關(guān)鍵技術(shù)及系統(tǒng)實(shí)例[J].軟件學(xué)報，2014，25（4）:839-862，2014.

[2]崔星燦，禹曉輝,劉洋，等.分布式流處理技術(shù)綜述[J].計算機(jī)研究與發(fā)展，2015，52（2）：318-332，2015.

[3]Anicic D，Rudolph S，F(xiàn)odor P，et al.Stream reasoning and complex event processing in ETALIS[C].Semantic Web，2012，3（4）：397-407.

[4]Muath Alrammal and Gaetan Hains，A Research Survey on Large XML Data：Streaming，Selectivity Estimation and Parallelism[M].Inter-cooperative Collective Intelligence：Techniques and Applications，Studies in Computational Intelligence 495，Springer，2014.

[5]WWW Consortium.XSL Transformations（XSLT）Version 3.0[EB/OL].Oct.2014.http://www.w3.org/TR/xslt-30/.

[6]Jesús Sánchez Cuadrado and Juan de Lara，Streaming Model Transformations：Scenarios[C].Challenges and Initial Solutions，6th International Conference on the Theory and Practice of Model Transformations（ICMT 2013）,Vol.7909 of LNCS，pp.1-16，Springer，2013.

[7]OMGMeta Object Facility （MOF） 2.0 Query/View/Transformation（QVT）[EB/OL].v 1.2，F(xiàn)eb.2015.http://www.omg.org/spec/QVT/1.2/.

[8]Dan Li，Xiaoshan Li，Volker Stolz.QVT-Based Model Transformation Using XSLT[J].ACM SIGSOFT Software Engineering Notes，2011，36（1）:1-8.

[9]Dan Li，Xiaoshan Li，Volker Stolz.Model Querying with Graphical Notation of QVT Relations[J].ACM SIGSOFT Software Engineering Notes，2012，37（4）：1-8.

[責(zé)任編輯：黃 梅]

Research on QVT-based model transformation for big data stream processing

LI Dan, LI Dan-ning, ZHANG Shun

（Guizhou Academy of Sciences, Guiyang, Guizhou, 550001）

Big data stream, with the characteristics of being real-time, continuous, unlimited, complex and various, must be processed in one pass.The study on the extraction, transformations and analysis of big data streams has both theoretical and practical values.Combined with our previous work on model transformations, we propose to apply the graphical notation of QVT-R, the OMG’s standard model transformation language, to streaming transformations.It will provide a concise, intuitive, and yet effective way to deal with big data streams.However, the work of the paper provides a novel approach for streaming model transformations and also meets the needs of big data and IoT industry.

Big data; Data stream process; Model transformation; QVT

2016-07-04

貴州省應(yīng)用基礎(chǔ)研究計劃重大項(xiàng)目“大數(shù)據(jù)聚合機(jī)制及分析與交易機(jī)理研究（大數(shù)據(jù)共享交換及大數(shù)據(jù)接口技術(shù)）”（黔科合JZ字[2014]2001-04）；貴州省科技廳院省合作項(xiàng)目“貴州省赤水河流域數(shù)字生態(tài)系統(tǒng)研究”（黔科合計省合[2014]7010）。

李 丹（1964-），男，貴州興義人，博士，貴州科學(xué)院副研究員，研究方向：形式化方法、模型驅(qū)動開發(fā)。

TP311

A

1674-7798（2016）12-0028-04