• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看

      ?

      面向大數(shù)據(jù)系統(tǒng)的檢測器快速篩選算法

      2015-01-02 07:38:36倪曉蓉王偉生牛德姣
      計算機工程 2015年9期
      關鍵詞:數(shù)據(jù)系統(tǒng)海量檢測器

      蔡 濤,倪曉蓉,王偉生,牛德姣

      (江蘇大學計算機科學與通信工程學院,江蘇鎮(zhèn)江212013)

      1 概述

      檢測器生成算法是影響人工免疫系統(tǒng)(Artificial Immune System,AIS)檢測性能和效率的重要因素之一。檢測器生成算法的主要工作是從初始檢測器中篩選成熟檢測器,使用匹配算法檢查初始檢測器與自體是否匹配,選擇與所有自體均不匹配的初始檢測器作為成熟檢測器。Forrest等研究者給出了經(jīng)典的檢測器生成算法,并不斷有研究者進行各種改進。為保證所選擇成熟檢測器對非自體的覆蓋率,需要計算全部初始檢測器與自體的匹配度后進行篩選,這使得篩選檢測器的時間和空間開銷與初始檢測器的數(shù)量密切相關,在初始檢測器數(shù)量較少的情況下,檢測器生成算法能較快地完成篩選檢測器的工作。而將人工免疫算法用于大數(shù)據(jù)系統(tǒng)時,初始檢測器的數(shù)量會達到幾十萬、甚至上億的規(guī)模,篩選檢測器所需的時間與空間開銷將非常巨大,導致無法使用現(xiàn)有的人工免疫算法。在現(xiàn)有檢測器生成算法的研究中,主要是針對如何提高對非自體的識別率、優(yōu)化自體和檢測器的匹配規(guī)則,缺乏針對海量初始檢測器時可計算性的考慮。因此,在大數(shù)據(jù)系統(tǒng)中應用人工免疫算法時,如何提高篩選檢測器的效率是急需解決的重要問題。

      并行化是提高算法執(zhí)行速度的常用手段,通過將復雜的計算過程分解為多個可以并行執(zhí)行的部分,并分布到在多個處理核心上運行以提高執(zhí)行的速度。但檢測器生成算法中匹配規(guī)則的計算復雜度較低,傳統(tǒng)并行計算方法所提高的計算效率很有限。而在初始檢測器數(shù)量龐大時,影響篩選檢測器時間和空間開銷的主要因素是海量初始檢測器所導致的巨大匹配檢查次數(shù),這是很典型的大數(shù)據(jù)應用。因此通過構(gòu)建分布式的海量初始檢測器存儲系統(tǒng),引入Map/Reduce模型設計新型的檢測器快速篩選算法,利用分布存儲節(jié)點的并行計算能力提高篩選海量初始檢測器的效率是良好的選擇。

      本文分析初始檢測器數(shù)量巨大時,影響檢測器生成算法執(zhí)行速度的因素,在此基礎上構(gòu)建混合式的海量初始檢測器快速篩選架構(gòu),設計海量初始檢測器分區(qū)檢查策略和成熟檢測器集優(yōu)化策略,從而對海量初始檢測器進行快速篩選。本文同時實現(xiàn)了面向大數(shù)據(jù)系統(tǒng)檢測器快速篩選算法的原型系統(tǒng),并使用通用數(shù)據(jù)集進行測試與分析。

      2 相關工作

      文獻[1-2]給出了人工免疫系統(tǒng)中經(jīng)典的否定選擇算法、貪心檢測器生成算法、r連續(xù)位匹配規(guī)則等;文獻[3]引入多種群遺傳算法,提高所生成檢測器對非自體的覆蓋率,雖然提高了非自體的覆蓋率,但是隨著問題規(guī)模的不斷擴大和搜索空間的更加復雜,遺傳算法在實際應用中有一定的局限性,不能表現(xiàn)出算法的優(yōu)越性,易出現(xiàn)迭代次數(shù)多、收斂速度慢、易陷入局部最優(yōu)值和過早收斂等問題;文獻[4-5]給出了檢測器克隆選擇算法;文獻[6]設計了動態(tài)的克隆選擇算法,這些算法都能提高動態(tài)環(huán)境下克隆選擇算法的適應能力,但未考慮檢測器和自體數(shù)量對檢測器生成效率的影響;文獻[7-8]給出了抗獨特型克隆選擇算法,提高了生成檢測器的效率;文獻[9]引入聚類算法提高檢測器的生成速度;文獻[10]針對基于海明距離的匹配規(guī)則,給出了啟發(fā)式檢測器生成算法;文獻[11]通過改變初始檢測器的生成方法,提高了生成成熟監(jiān)測器的效率及其檢測非自體的效率和準確性。此外還有大量對現(xiàn)有檢測器生成算法的改進,但均集中在提高識別非自體準確性和少量數(shù)據(jù)環(huán)境下提高效率等方面,沒有考慮人工免疫算法用于大數(shù)據(jù)環(huán)境時會出現(xiàn)的問題以及相應的優(yōu)化方法。

      文獻[12]設計了 Map/Reduce計算模型,用于解決分布式存儲系統(tǒng)中海量數(shù)據(jù)的計算問題;文獻[13]給出了大數(shù)據(jù)系統(tǒng)的特征,針對流式計算系統(tǒng),分析了目前大數(shù)據(jù)流式計算在低延遲、高吞吐、持續(xù)可靠運行方面存在的技術挑戰(zhàn);文獻[14-16]給出了大數(shù)據(jù)流式計算系統(tǒng)的架構(gòu),以及大數(shù)據(jù)流式計算與復雜事件處理的關鍵技術;文獻[17]介紹了Map/Reduce和傳統(tǒng)數(shù)據(jù)庫技術的融合。當前主要利用Map/Reduce提高數(shù)據(jù)分析的效率、對大數(shù)據(jù)流進行處理、提高數(shù)據(jù)處理的準確度、以及與傳統(tǒng)數(shù)據(jù)庫技術的融合等方面,較少有關于利用MapReduce模型提高大數(shù)據(jù)環(huán)境下人工免疫系統(tǒng)檢測器生成算法效率方面的研究。

      3 海量初始檢測器快速篩選算法

      檢測器生成算法中需要使用匹配規(guī)則檢查每個自體和每個初始檢測器,才能選擇出成熟的檢測器,因此篩選檢測器的效率與初始檢測器和自體數(shù)量密切相關,所需進行匹配檢查的次數(shù)與初始檢測器和自體數(shù)量之間呈指數(shù)級遞增關系。在大數(shù)據(jù)環(huán)境下,必然出現(xiàn)海量的初始檢測器或自體,現(xiàn)有檢測器生成算法無法在有限時間內(nèi)完成篩選初始檢測器的任務。因此,在大數(shù)據(jù)環(huán)境下提高篩選檢測器的效率是急需解決的關鍵問題。

      在人工免疫算法中,自體與初始檢測器是2個互補的集合,因此,在大數(shù)據(jù)環(huán)境下,當自體的數(shù)量較少時,初始檢測器必然非常巨大,反之亦然。本文針對初始檢測器數(shù)量巨大的情況,設計快速初始檢查器篩選算法,利用多個節(jié)點的分布式計算能力提高與自體匹配檢查的速度,再進行匯總,從而快速構(gòu)建成熟監(jiān)測器集。

      本文首先給出海量初始檢測器快速篩選算法的結(jié)構(gòu),再給出各階段的具體流程。

      3.1 混合式海量初始檢測器快速篩選架構(gòu)

      本文針對大數(shù)據(jù)環(huán)境下海量初始檢測器和有限自體的特點,根據(jù)初始檢測器篩選算法的要求,通過初始檢測器和自體的合理冗余與分布,構(gòu)建適合快速篩選海量初始檢測器的環(huán)境。首先改變現(xiàn)有檢測器生成算法中集中存儲初始檢測器的方式,將海量初始檢測器分散存儲到Hadoop集群中的各個存儲與計算節(jié)點中,為快速篩選初始檢測器奠定基礎。同時改變自體的存儲方式,在每個存儲與計算節(jié)點中均存儲數(shù)量較小的自體集,為篩選初始檢測器提供依據(jù)。由此本文設計的混合式的海量初始檢測器快速篩選架構(gòu)如圖1所示。

      圖1 混合式海量初始檢測器快速篩選架構(gòu)

      在Hadoop集群中分散存儲海量的初始檢測器,能利用存儲與計算節(jié)點的并行計算能力提高檢查初始檢測器與自體匹配的效率;而在各個存儲與計算節(jié)點中冗余保存數(shù)量相對較少的自體,能使得各個存儲與計算節(jié)點都能分擔檢查初始檢測器的任務。

      使用Map/Reduce模型,能將海量初始檢測器篩選算法分為分區(qū)檢查和匯總優(yōu)化2個階段,首先利用Hadoop集群中的存儲與計算節(jié)點分布式檢查海量初始檢測器是否與自體匹配,并將相應結(jié)果提交給優(yōu)化節(jié)點,優(yōu)化節(jié)點再根據(jù)檢查結(jié)果挑選最優(yōu)的若干初始檢測器構(gòu)成成熟檢測器集。

      3.2 海量初始檢測器分區(qū)檢查策略

      本文利用Map/Reduce模型中Map階段在各存儲與計算節(jié)點中分布式并發(fā)執(zhí)行的特點,在將海量初始檢測器子集保存到各存儲與計算節(jié)點的基礎上,設計海量初始檢測器分區(qū)監(jiān)測策略。

      首先將數(shù)量有限的自體保存到存儲與計算節(jié)點的內(nèi)存中,依據(jù)匹配規(guī)則,與該存儲與計算節(jié)點海量初始檢測器子集中的檢測器進行匹配檢查,判斷該海量初始檢測器子集中的那些初始檢測器能成為候選成熟檢測器,同時將候選成熟檢測器以及與自體之間的最大匹配值發(fā)送給優(yōu)化節(jié)點,具體步驟如下述算法所示。其中,detector_subset表示某個存儲與計算節(jié)點中保存的海量初始檢測器子集;self_set表示自體集。

      算法通過循環(huán)取出未檢測的初始檢測器對其進行初始設置,最大匹配度為0、候選成熟檢測器的初始標志位1;然后循環(huán)與系統(tǒng)中未檢測的自體進行匹配,如果匹配度小于系統(tǒng)設定的閾值且大于最大匹配度則設置該初始檢測器的候選成熟標志為1,反之則設置非成熟標志為0;確定了檢測器為候選的成熟的檢測器之后,向優(yōu)化節(jié)點輸出該候選成熟檢測器、以及與自體之間的最大匹配度max_match,進行下一步的優(yōu)化;該算法的計算量主要依賴于該大數(shù)據(jù)系統(tǒng)中初始檢測器的數(shù)量,隨著初始檢測器數(shù)量的增長呈線性增長趨勢;算法的復雜度為小于O(n2)。

      海量初始檢測器分區(qū)檢查策略利用了Map/Reduce模型中Map階段分布式執(zhí)行的特點,在將海量初始檢測器分區(qū)分布存儲到集群中不同存儲與計算節(jié)點的基礎上,每個存儲與計算節(jié)點中分別檢查對應分區(qū)中初始檢測器是否能成為候選成熟檢測器,能利用大量存儲與計算節(jié)點的分布式并行計算能力提高檢查初始檢測器效率;同時各存儲與計算節(jié)點僅將候選成熟檢測器提交給優(yōu)化節(jié)點,能有效減少網(wǎng)絡通信量。

      3.3 成熟檢測器集優(yōu)化策略

      人工免疫系統(tǒng)中一般僅使用一定數(shù)量的成熟檢測器檢測非自體,各存儲與計算節(jié)點篩選的候選成熟檢測器通常遠多與檢測非自體所需的成熟檢測器,但各個候選成熟檢測器在檢測非自體能力等方面存在差異,因此,需要合理選擇部分候選成熟檢測器用于人工免疫系統(tǒng)檢測非自體。

      集群中各存儲與計算節(jié)點在反饋候選成熟檢測器的同時也反饋了與自體之間的最大匹配度,這反映了候選成熟檢測器與自體之間的相識程度,而候選成熟檢測器對非自體的覆蓋能力則與之相反。本文設計成熟檢測器優(yōu)化策略,在優(yōu)化節(jié)點中利用Reduce階段對候選成熟檢測器進行整理和優(yōu)化,挑選最適合的候選成熟檢測器用于檢測非自體,具體步驟如下述算法所示。其中,detector_set表示候選成熟檢測器集,保存全部存儲與計算節(jié)點發(fā)送給優(yōu)化節(jié)點的候選成熟檢測器;detector_mature表示成熟檢測器集,保存優(yōu)化后用于檢測非自體的成熟檢測器。

      算法對海量初始檢測器分區(qū)監(jiān)測策略的結(jié)果進行統(tǒng)計優(yōu)化,對海量候選的成熟的檢測器按照最大匹配度從小到大進行排序并構(gòu)建集合,然后循環(huán)取出這些候選成熟的檢測器并同時判斷是否檢測器數(shù)量達到系統(tǒng)的設定值,如果未達到則取出集合中第一個候選成熟檢測器放入優(yōu)化的集合中;該算法主要依賴于分區(qū)檢查策略的產(chǎn)生的候選成熟檢測器的數(shù)量,并且隨著該數(shù)量的增長呈線性增長趨勢;該算法的時間復雜度小于O(n)。

      成熟檢測器集優(yōu)化策略能依據(jù)候選成熟檢測器與自體的匹配度,優(yōu)先選擇與自體匹配度小的檢測器構(gòu)建成熟檢測器集,從而提高所構(gòu)建的成熟檢測器集對非自體的檢測率和檢測效率;集群中各存儲與計算節(jié)點使用海量初始檢測器分區(qū)檢查策略時僅將候選成熟檢測器提交給了優(yōu)化節(jié)點,因此,優(yōu)化節(jié)點中所需處理的候選成熟檢測器數(shù)量非常有限,保證了從候選成熟檢測器集中選擇成熟檢測器時的效率。

      4 原型系統(tǒng)的測試與分析

      本文構(gòu)建了擁有4個節(jié)點的Hadoop集群,采用二進制字符串的形式表示自體、初始檢測器和成熟檢測器,使用r連續(xù)位匹配規(guī)則判斷初始檢測器與自體是否匹配,在存儲和計算節(jié)點增加海量初始檢測器分區(qū)檢查子模塊,主控節(jié)點增加成熟檢測器優(yōu)化子模塊構(gòu)成優(yōu)化節(jié)點,實現(xiàn)面向大數(shù)據(jù)系統(tǒng)檢測器快速篩選算法的原型系統(tǒng)。在原型系統(tǒng)中,包括一個主控節(jié)點和3個存儲和計算節(jié)點,配置如表1所示。

      表1 原型系統(tǒng)的配置

      使用用于E-mail安全檢測的標準數(shù)據(jù)集CERT synthethic sendmail data作為測試數(shù)據(jù)集,通過抽取CERT synthethic sendmail data中的記錄,解析成24位二進制字符串構(gòu)建自體集。

      4.1 生成檢測器所需的時間開銷

      本文同時也實現(xiàn)了傳統(tǒng)檢測器生成算法的原型系統(tǒng),用于比較。設置初始檢測器的數(shù)量分別為5×104,10 × 104,2 × 105,5 × 105,1 × 106,自體數(shù)據(jù)為5 000,測試傳統(tǒng)檢測器生成算法和面向大數(shù)據(jù)系統(tǒng)檢測器快速篩選算法的時間開銷,結(jié)果如圖2所示。

      圖2 不同檢測器生成算法的時間開銷

      從圖2可知,在初始檢測器的數(shù)量分別從5×104增加到1×106,相比傳統(tǒng)的檢測器生成算法,面向大數(shù)據(jù)系統(tǒng)檢測器快速篩選算法均能明顯減少生成檢測器所需的時間開銷,所減少的時間開銷在58.87% ~83.17%之間;同時隨著初始檢測器數(shù)量的大幅度增加,面向大數(shù)據(jù)系統(tǒng)檢測器快速篩選算法所減少的時間開銷呈現(xiàn)緩慢上升,這是由于存儲和計算節(jié)點的數(shù)量沒有增加,而每個存儲和計算節(jié)點中需要處理的初始檢測器數(shù)量上升,從而導致了總時間開銷的增加;但相比傳統(tǒng)檢測器生成算法,時間開銷的增加幅度明顯減少;這驗證了面向大數(shù)據(jù)系統(tǒng)檢測器快速篩選算法具有顯著減低生成檢測器所需時間開銷的能力。

      4.2 初始檢測器數(shù)量變化時分區(qū)檢查的時間開銷

      設置初始檢測器的數(shù)量分別為5×104,1×105,2 ×105,5 ×105,1 ×106,5 ×106,1 ×107,自體數(shù)據(jù)為5 000,測試海量初始檢測器分區(qū)檢查所需的時間開銷,與面向大數(shù)據(jù)系統(tǒng)檢測器快速篩選算法總時間開銷進行比較,結(jié)果如圖3所示。

      圖3 初始檢測器數(shù)量變化時的時間開銷

      從圖3中可知,海量初始檢測器分區(qū)檢查所需的時間開銷隨著初始檢測器數(shù)量的增加而上升,上升幅度與面向大數(shù)據(jù)系統(tǒng)檢測器快速篩選算法總的時間開銷基本一致;同時海量初始檢測器分區(qū)檢查所需的時間開銷占據(jù)了生成檢測器總時間開銷的75%以上;因此海量初始檢測器的分區(qū)檢查是影響面向大數(shù)據(jù)系統(tǒng)檢測器篩選算法效率的主要因素。當前Hadoop集群中僅有3個節(jié)點執(zhí)行海量初始檢測器分區(qū)檢查子模塊,在增加節(jié)點數(shù)量后可有效的減低海量初始檢測器分區(qū)檢查所需的時間開銷,進而提高面向大數(shù)據(jù)系統(tǒng)檢測器快速篩選算法的效率。

      4.3 節(jié)點數(shù)量變化時分區(qū)檢查的時間開銷

      設置初始檢測器的數(shù)量為100萬,增加集群中存儲和計算節(jié)點的數(shù)量,分別為3個、4個、5個和6個,測試海量初始檢測器分區(qū)檢查的時間開銷,并與檢測器快速篩選算法的總時間開銷進行比較。結(jié)果如圖4所示。

      圖4 存儲和計算節(jié)點數(shù)量變化時的時間開銷

      從圖4中可以發(fā)現(xiàn),通過增加集群的存儲和計算節(jié)點數(shù)量,海量初始檢測器分區(qū)檢查所需的時間開銷明顯減少,當節(jié)點數(shù)從3增加到6后時間開銷減少了接近一半,同時面向大數(shù)據(jù)系統(tǒng)檢測器快速篩選算法的時間開銷也呈現(xiàn)明顯下降趨勢;這是由于增加存儲和計算節(jié)點,能有效地減少每個存儲和計算節(jié)點需要檢查的初始檢測器數(shù)量,從而減少了檢查海量初始檢測器所需的時間開銷。以上結(jié)論驗證了:雖然海量初始檢測器分區(qū)檢查所需的時間開銷占生成檢測器總時間開銷的75%以上,但通過增加集群節(jié)點數(shù)量能明顯減少所需的時間開銷,從而在初始檢測器數(shù)量不斷增加時,仍然能快速生成檢測器。

      4.4 優(yōu)化成熟檢測器集的時間開銷

      采用同樣的設置參數(shù),測試成熟檢測器集優(yōu)化所需的時間開銷,并與面向大數(shù)據(jù)系統(tǒng)檢測器快速篩選算法總時間開銷進行比較,結(jié)果如圖5所示。

      圖5 分區(qū)檢查階段和成熟檢測器優(yōu)化階段的時間開銷

      從圖5中可以發(fā)現(xiàn),優(yōu)化成熟檢測器集所需的時間開銷同樣也隨著初始檢測器數(shù)量的增加而上升,但增加幅度明顯小于初始檢測器數(shù)量增加的幅度,這是由于海量初始檢測器分區(qū)檢查之后所產(chǎn)生的候選成熟檢測器數(shù)量已非常有限;同時優(yōu)化成熟檢測器集所需的時間開銷僅占生成檢測器總時間開銷的25%以內(nèi),對面向大數(shù)據(jù)系統(tǒng)檢測器篩選算法效率的影響很小;因此,集群中一個節(jié)點足以完成優(yōu)化成熟檢測器集的任務。

      5 結(jié)束語

      檢測器生成算法是人工免疫系統(tǒng)的重要組成部分,也是決定人工免疫系統(tǒng)準確性和效率的關鍵因素。在大數(shù)據(jù)環(huán)境下,現(xiàn)有檢測器生成算法難以在有限的時間內(nèi)完成對數(shù)量龐大的初始檢測器的篩選。本文針對初始檢測器數(shù)量龐大的情況,給出了混合式的初始檢測器快速篩選架構(gòu),通過將海量初始檢測器分布存儲,為快速篩選檢測器奠定基礎。設計了海量初始檢測器分區(qū)檢查策略和成熟檢測器集優(yōu)化策略,利用 Map/Reduce模型中 Map和Reduce階段的不同特性,提高篩選初始檢測器的效率,優(yōu)化成熟檢測器;并在Hadoop集群中實現(xiàn)了原型系統(tǒng),使用CERT synthethic sendmail data數(shù)據(jù)集進行了測試與分析,結(jié)果表明,面向大數(shù)據(jù)系統(tǒng)的檢測器快速篩選算法能減少58.87%的時間開銷,并能在初始檢測器數(shù)量不斷增加時保持時間開銷的穩(wěn)定。

      目前面向大數(shù)據(jù)系統(tǒng)的檢測器快速篩選算法的研究主要是針對如何提高篩選成熟檢測器時效率和保證算法在大數(shù)據(jù)環(huán)境下的可用性方面。下一步將針對大數(shù)據(jù)環(huán)境特點,對檢測器表示方法、匹配規(guī)則、檢測率和對非自體的覆蓋率等方面展開研究。

      [1] Forrest S,Helman P.An ImmunologicalApproach to Change Detection:Algorithms,Analysis,and Implications[C]//Proceedings of IEEE Symposium on Computer Security and Privacy.Washington D.C.,USA:IEEE Press,1996:192-211.

      [2] Forrest S,Perelson A S,Allen S,et al.Self-nonself Discrimination in a Computer[C]//Proceedings of IEEE Symposium on Research in Security and Privacy.Washington D.C.,USA:IEEE Press,1994:202-212.

      [3] 楊東勇,陳晉因.基于多種群遺傳算法的檢測器生成算法研究[J].自動化學報,2009,35(4):425-432.

      [4] de Castro L N,von Zuben F J.The Clonal Selection Algorithm with Engineering Applications[C]//Proceedings of GECCO’00.San Francisco,USA:Morgan Kaufmann Publishers,2000:36-37.

      [5] de Castro L N,von Zuben F J.Learning and Optimization Using the Clonal Selection Principle[J].IEEE Transactions on Evolutionary Computation,2002,6(3):239-251.

      [6] Kim J,Bentley P J.Towards an Artificial Immune System for Network Intrusion Detection:An Investigation of Clonal Selection with a Negative Selection Operator[C]//Proceedings ofCongress on Evolutionary Computation.Piscataway,USA:IEEE Press,2001:1244-1252.

      [7] 焦李成,杜海峰,劉 芳,等.免疫優(yōu)化計算、學習與識別[M].北京:科學出版社,2006.

      [8] 張立寧,公茂果,焦李成,等.抗獨特型克隆選擇算法[J].軟件學報,2009,20(5):1269-1281.

      [9] Agrawal R,Srikant R.Fast Algorithms for Mining Association Rules[C]//Proceedings of the 20th VLDB Conference.Santiago,USA:Morgan Kaufmann,1994:487-499.

      [10] Luo Wenjian,Zhang Zeming,Wang Xufa.A Heuristic Detector Generation Algorithm for Negative Selection Algorithm with Hamming Distance Partial Matching Rule[C]//Proceedings of the 5th International Conference on Artificial Immune Systems.Oeiras,Portugal:[s.n.],2006:229-243.

      [11] Jiang Hua,Wang Xin,F(xiàn)an Xiaofeng.Research on Linear Time Detector Generating Algorithm Based on Negative Selection Model[C]//Proceedings of CCDC’09.Washington D.C.,USA:IEEE Press,2009:3058-3061.

      [12] Dean J,GhemawatS.MapReduce:Simplified Data Processing on Large Clusters[J].Communications of the ACM,2008,51(1):107-113.

      [13] 孫大為,張廣艷,鄭緯民.大數(shù)據(jù)流式計算:關鍵技術及系統(tǒng)實例[J].軟件學報,2014,25(4):839-862.

      [14] Scalosub G,Marbach P,Liebeherr J.Buffer Management for Aggregated Streaming Data with Packet Depen-dencies[J].IEEE Transactions on Parallel and Distributed Systems,2013,24(3):439-449.

      [15] Malensek M,Pallickara S L,Pallickara S.Exploiting Geospatial and ChronologicalCharacteristicsin Data Streams to Enable Efficient Storage and Retrievals[J].Future Generation Computer Systems,2013,29(4):1049-1061.

      [16] Cugola G,Margara A.Processing Flows of Information:From Data Stream to Complex Event Processing[J].ACM Computing Surveys,2012,44(3):151-162.

      [17] 覃雄派,王會舉,杜小勇,等.大數(shù)據(jù)分析——RDBMS與MapReduce的競爭與共生[J].軟件學報,2012,23(1):32-45.

      猜你喜歡
      數(shù)據(jù)系統(tǒng)海量檢測器
      一種傅里葉域海量數(shù)據(jù)高速譜聚類方法
      海量快遞垃圾正在“圍城”——“綠色快遞”勢在必行
      當代陜西(2019年14期)2019-08-26 09:42:00
      基于Spark的高速收費站大數(shù)據(jù)系統(tǒng)的設計與實現(xiàn)
      基于計算機軟件開發(fā)技術的物聯(lián)網(wǎng)數(shù)據(jù)系統(tǒng)
      車道微波車輛檢測器的應用
      非均勻采樣數(shù)據(jù)系統(tǒng)的新型模型描述方法
      自動化學報(2017年5期)2017-05-14 06:20:51
      一個圖形所蘊含的“海量”巧題
      一種霧霾檢測器的研究與設計
      一體化火焰檢測器常見故障分析
      河南科技(2014年22期)2014-02-27 14:18:12
      基于文件系統(tǒng)的分布式海量空間數(shù)據(jù)高效存儲與組織研究
      阜新| 安顺市| 界首市| 望城县| 武穴市| 瓦房店市| 安国市| 乡宁县| 桦川县| 宁蒗| 红河县| 宜春市| 金华市| 江城| 罗甸县| 上思县| 城市| 左权县| 施秉县| 苍溪县| 贞丰县| 五原县| 合阳县| 通化市| 延长县| 梅州市| 甘肃省| 平罗县| 焉耆| 边坝县| 磐安县| 保靖县| 永福县| 彭州市| 来安县| 临西县| 尚义县| 永州市| 远安县| 宜丰县| 共和县|