基于內(nèi)存計算的數(shù)據(jù)預(yù)測分析研究

吳 珺，鄒承明

(1.湖北工業(yè)大學(xué) 計算機學(xué)院，湖北 武漢 430068；2.武漢理工大學(xué) 交通物聯(lián)網(wǎng)湖北省重點實驗室，湖北 武漢 430070)

?

基于內(nèi)存計算的數(shù)據(jù)預(yù)測分析研究

吳 珺1,2，鄒承明2

(1.湖北工業(yè)大學(xué) 計算機學(xué)院，湖北 武漢 430068；2.武漢理工大學(xué) 交通物聯(lián)網(wǎng)湖北省重點實驗室，湖北 武漢 430070)

針對大數(shù)據(jù)的實時、高效數(shù)據(jù)挖掘方法進行研究。首先分析了內(nèi)存計算及流式分析模式；其次討論了基于內(nèi)存計算的大數(shù)據(jù)主要特性；最后通過以上相關(guān)研究為基礎(chǔ)，提出了基于內(nèi)存計算的預(yù)測分析模型及相關(guān)算法。通過實驗應(yīng)用分析驗證了所提出的基于內(nèi)存計算的預(yù)測分析方法的可行性，實現(xiàn)了大數(shù)據(jù)的數(shù)據(jù)分析的實時性和高效性。

智慧城市；智慧交通；大數(shù)據(jù)；預(yù)測分析；內(nèi)存計算

目前世界已經(jīng)轉(zhuǎn)移到以數(shù)據(jù)為中心的范式上，即“大數(shù)據(jù)”時代，在這一時代，數(shù)以億計的計算機和智能移動設(shè)備正在持續(xù)不斷地創(chuàng)造出數(shù)量驚人的數(shù)據(jù)，這些數(shù)據(jù)既包括人類自身的，也包括道路、環(huán)境、建筑等其他各種事物的。如此之大的變化，以至于過去十年中所使用過的數(shù)據(jù)挖掘方法已經(jīng)沒有能力迎接這些新的挑戰(zhàn)了。因此需要盡快研發(fā)出針對大數(shù)據(jù)的實時、高效數(shù)據(jù)挖掘方法。

在一個數(shù)字化的城市交通體里，智慧城市為人們提供安全便捷的交通環(huán)境及海量動態(tài)的環(huán)境數(shù)據(jù)；同時智慧城市作為一個每時每刻不斷產(chǎn)生大數(shù)據(jù)的系統(tǒng)也需要實時、準(zhǔn)確地分析幾十億數(shù)據(jù)。雖然通過傳統(tǒng)的數(shù)據(jù)分析方式可以獲得一些有效信息，但是隨著物聯(lián)網(wǎng)的不斷發(fā)展，智慧城市用戶的應(yīng)用環(huán)境越來越復(fù)雜，數(shù)據(jù)變得越來越龐大，智慧城市大數(shù)據(jù)不能完全實時、高效地被利用，從而無法獲得更全面真實的信息[1]。因此如何充分挖掘大數(shù)據(jù)給社會帶來更大的價值，正成為目前大數(shù)據(jù)及數(shù)據(jù)挖掘領(lǐng)域面臨的一個新的挑戰(zhàn)和機遇。筆者針對智慧城市交通流大數(shù)據(jù)進行特性分析和相關(guān)數(shù)據(jù)分析方法的研究，提出一種基于內(nèi)存計算的智慧交通流預(yù)測方法，以滿足大數(shù)據(jù)實時、高效計算分析的需求。

1 智慧交通大數(shù)據(jù)

多源交通數(shù)據(jù)的處理是大數(shù)據(jù)在智能交通領(lǐng)域的應(yīng)用基礎(chǔ)。通過多源數(shù)據(jù)融合技術(shù)，能形成更加豐富的交通信息，在一定準(zhǔn)則下進行自動分析，能有效完成所需的交通決策和評估。城市智能交通監(jiān)控信息主要是針對交通大數(shù)據(jù)進行融合處理的研究，目前在一些發(fā)達國家如美國、日本、歐盟等已經(jīng)取得了深入的進展，其在智能交通的研究和項目實施過程中，對于交通流信息采集、分析及融合處理、發(fā)布系統(tǒng)等越來越重視。一方面大量采用先進的磁感線圈檢測、GPS探測車檢測、雷達檢測、微波檢測、激光檢測、視頻檢測等技術(shù)，提高所采集信息的質(zhì)量及精度，豐富信息采集手段及信息來源；另一方面更加強調(diào)各個信息采集子系統(tǒng)的協(xié)同工作及多源信息之間的融合。另外，在信息處理方面大力推廣當(dāng)前數(shù)字信號處理、圖像處理、視頻處理、語音處理、數(shù)據(jù)挖掘、人工智能等領(lǐng)域的前沿成果，充分實現(xiàn)信息的深度發(fā)掘、集成和應(yīng)用，提高交通指揮、管理和服務(wù)的信息化水平，使交通系統(tǒng)的信息采集、處理與發(fā)布能力提升到新的層次[2]。在21世紀(jì)的信息化進程中，大數(shù)據(jù)技術(shù)的推廣和應(yīng)用為智慧交通的發(fā)展提供了良好的技術(shù)平臺，如圖1所示為智慧交通大數(shù)據(jù)的數(shù)據(jù)價值與執(zhí)行時間之間的反比關(guān)系。

圖1 數(shù)據(jù)價值與執(zhí)行時間的關(guān)系圖

2 內(nèi)存計算

內(nèi)存計算是指數(shù)據(jù)放在內(nèi)存中直接操作。相對于磁盤，內(nèi)存的數(shù)據(jù)讀寫速度要高出幾個數(shù)量級；將數(shù)據(jù)保存在內(nèi)存中直接讀取，相對于傳統(tǒng)的從磁盤上訪問，可以極大地提高應(yīng)用的性能[3]。內(nèi)存計算，一方面可以在突發(fā)高數(shù)據(jù)流速的情況下，保證不丟棄數(shù)據(jù)，或者識別并選擇性地丟棄部分不重要的數(shù)據(jù)；另一方面可以在低數(shù)據(jù)速率的情況下，保證不會太久或過多地占用系統(tǒng)資源。內(nèi)存計算的大數(shù)據(jù)呈現(xiàn)出以下3種數(shù)據(jù)特征[4-7]：①實時性，即大部分數(shù)據(jù)到來后直接在內(nèi)存中進行計算并丟棄,只有少量數(shù)據(jù)被長久保存到硬盤中，但是對于具有高潛在價值數(shù)據(jù)做出實時決策進入內(nèi)存計算范圍，實施優(yōu)先計算。②并行性，即要求內(nèi)存計算的平臺應(yīng)該具有一定的容錯能力，盡可能全面、準(zhǔn)確地從數(shù)據(jù)流中得出有價值的信息。③動態(tài)性，由于海量大數(shù)據(jù)在前一時刻數(shù)據(jù)速率和后一時刻數(shù)據(jù)速率可能會有巨大的差異，內(nèi)存計算具有很好的可伸縮性能夠動態(tài)適應(yīng)不確定流入的數(shù)據(jù)流，并且具有很強的系統(tǒng)計算能力和大數(shù)據(jù)流量動態(tài)匹配能力。

在大數(shù)據(jù)時代，將內(nèi)存計算思想應(yīng)用到不同領(lǐng)域的各界人士紛紛表示：通過內(nèi)存計算可以實現(xiàn)許多以前無法進行的大數(shù)據(jù)應(yīng)用分析及實踐。在當(dāng)今日新月異的商業(yè)環(huán)境中，內(nèi)存計算這一實時、高效的數(shù)據(jù)處理性能的提升對廣大用戶具有很大的吸引力。在大數(shù)據(jù)時代，內(nèi)存計算技術(shù)不僅可以應(yīng)用于商業(yè)領(lǐng)域，還可以改變?nèi)藗兊纳?，如國家的人口政策、臨床醫(yī)學(xué)的科研，乃至民生工程中，都要牽扯到復(fù)雜計算和數(shù)據(jù)挖掘，而內(nèi)存計算技術(shù)可以為這些行業(yè)和事業(yè)做出更大的貢獻。內(nèi)存計算能夠使得數(shù)據(jù)計算的速度呈幾何級增長，帶來了充滿想象的應(yīng)用，如圖2所示為基于內(nèi)存計算的大數(shù)據(jù)應(yīng)用框圖。

圖2 大數(shù)據(jù)相關(guān)技術(shù)趨勢及應(yīng)用結(jié)構(gòu)框圖

3 基于內(nèi)存計算的預(yù)測分析模型

在基于內(nèi)存計算的大數(shù)據(jù)環(huán)境中，數(shù)據(jù)流往往是到達后立即被計算、使用并丟棄，只有極少數(shù)數(shù)據(jù)被持久保存下來。數(shù)據(jù)的使用是一次性的、易失的，即使重放，得到的數(shù)據(jù)流也與之前的數(shù)據(jù)流往往不同。因此這就需要系統(tǒng)具備一定的容錯能力，要充分地利用好僅有的一次數(shù)據(jù)計算機會，盡可能全面、準(zhǔn)確、有效地從數(shù)據(jù)流中得出有價值的信息[8-9]。一方面，由于各個數(shù)據(jù)源之間是相互獨立的，所處的時空環(huán)境不盡相同；另一方面，即使是同一個數(shù)據(jù)流，也會隨著時間和環(huán)境動態(tài)變化。這就需要系統(tǒng)在數(shù)據(jù)計算過程中具有很好的數(shù)據(jù)分析和發(fā)現(xiàn)規(guī)律的能力，不能過多地依賴數(shù)據(jù)流間的內(nèi)在邏輯或者數(shù)據(jù)流內(nèi)部的內(nèi)在邏輯。

針對具有實時性、并行性和動態(tài)性的基于內(nèi)存計算的大數(shù)據(jù)，建立相關(guān)層次分析模型。因此理想的基于內(nèi)存計算的大數(shù)據(jù)的環(huán)境系統(tǒng)應(yīng)表現(xiàn)出低延遲、高吞吐、持續(xù)穩(wěn)定運行和彈性可伸縮等特性，這離不開系統(tǒng)架構(gòu)、數(shù)據(jù)傳輸、編程接口、高可用技術(shù)等關(guān)鍵技術(shù)的合理規(guī)劃和良好設(shè)計[10]。如圖3所示為基于內(nèi)存計算的預(yù)測分析模型。

圖3 基于內(nèi)存計算的預(yù)測分析模型

4 實驗分析

4.1 實驗環(huán)境及數(shù)據(jù)

實驗環(huán)境為：高性能服務(wù)器Xeon E5-2609×2，內(nèi)存為16 GB，硬盤容量為1TB×3；操作系統(tǒng)為Windows sever2008。實驗數(shù)據(jù)集是來自武漢市智慧城市交通平臺，如表1所示。

4.2 實驗結(jié)果與分析

將實驗數(shù)據(jù)分別進行一般的回歸預(yù)測[11-14]和筆者所提出的基于內(nèi)存計算的預(yù)測分析方法實驗，再對兩種方法進行結(jié)果分析與比較，對比情況如表2所示。可以看出基于內(nèi)存計算的預(yù)測分析方法可以在較短的時間內(nèi)完成多個不同交通流數(shù)據(jù)集上的預(yù)測分析工作。同時通過比較兩種方法的均方誤差MSE，可以得出基于內(nèi)存計算的預(yù)測分析方法的預(yù)測準(zhǔn)確率相較回歸預(yù)測方法要高。因此筆者提出的基于內(nèi)存計算的預(yù)測分析方法具有一定的運行高效性和預(yù)測準(zhǔn)確率。

表1 實驗數(shù)據(jù)集表

表2 實驗結(jié)果對比

5 結(jié)論

筆者針對智慧城市交通數(shù)據(jù)流的特性提出了一種基于內(nèi)存計算的預(yù)測分析方法，以滿足大數(shù)據(jù)的實時、高效計算分析需求。通過分析內(nèi)存計算及流式分析模式，提出了基于內(nèi)存計算的交通流預(yù)測分析模型及相關(guān)預(yù)測算法。通過對比分析實驗結(jié)果，驗證了筆者提出的基于內(nèi)存計算的交通流預(yù)測方法的可行性、穩(wěn)定性和準(zhǔn)確性，實現(xiàn)了大數(shù)據(jù)的數(shù)據(jù)分析實時性和高效性。

[1] FRAMLING K, HOLMSTROOM J, LOUKKOLA J, et al. Sustainable PLM through intelligent products[J]. Engineering Applications of Artificial Intelligence,2013,26(2):789-799.

[2] 吳珺.隧聯(lián)網(wǎng)結(jié)構(gòu)及智能監(jiān)控數(shù)據(jù)分析[D].武漢:武漢理工大學(xué),2013.

[3] 何清.物聯(lián)網(wǎng)與數(shù)據(jù)挖掘云服務(wù)[J].智能系統(tǒng)學(xué)報,2012,7(3):1-5.

[4] 程學(xué)旗,靳小龍,王元卓,等.大數(shù)據(jù)系統(tǒng)和分析技術(shù)綜述[J].軟件學(xué)報,2014,25(9):1889-1908.

[5] 孫大為,張廣艷,鄭緯民.大數(shù)據(jù)流式計算:關(guān)鍵技術(shù)及系統(tǒng)實例[J].軟件學(xué)報,2014,25(4):839-862.

[6] 朱靖翔,張濱,樂嘉錦.基于內(nèi)存計算的鋼鐵價格預(yù)測算法研究[J].計算機科學(xué),2014,41(B11):432-435.

[7] 李明冬.基于內(nèi)存計算的文本聚類算法的研究與實現(xiàn)[D].南京：東南大學(xué),2015.

[8] 黃嵐,孫珂,陳曉竹,等.內(nèi)存集群計算:交互式數(shù)據(jù)分析[J].華東師范大學(xué)學(xué)報,2014(5):216-227.

[9] 劉勇,雒江濤,鄧生雄.基于Hadoop的網(wǎng)絡(luò)分流和流特征計算[J].電信科學(xué),2014,30(12):76-81.

[10] 劉小洋,伍民友.車聯(lián)網(wǎng):物聯(lián)網(wǎng)在城市交通網(wǎng)絡(luò)中的應(yīng)用[J].計算機應(yīng)用,2012,32(4):900-904.

[11] SCHANTZ R, LOYALL J, ATIGHETCHI M，et al. Packaging quality of service control behaviors for reuse[C]∥IEEE International Symposium on Object-oriented Real-time Distributed Computing.[S.l.]:IEEE，2002:375-385.

[12] GILES C L, LAWRENCE S, TSOI A C. Noisy time series prediction using recurrent neural networks and grammatical inference[J].Machine Learning,2001,44(1):161-184.

[13] HILDEBRAND M S,DAHL H H M, DAMIANO J A, et al. Recent advances in the molecular genetics of epilepsy[J]. Journal of Medical Genetics,2013,50(5):271-279.

[14] VIACHOS M, YU P S, CASTELLI V,et al. Structural periodic measures for time-series data[J].Data Mining and Knowledge Discovery,2006,12(1):1-28.

WU Jun:Lect.; School of Computer Science, Hubei University of Technology,Wuhan 430068,China.

Research on Data Prediction Analysis Based on In-memory Computing

WUJun,ZOUChengming

This paper focuses on data-mining in the real-time big data area. Firstly, it gives a brief introduction about in-memory computing and stream computing model. Secondly, it analyzes the main characteristics of big data. Finally, above all related research works as the foundation, it proposes the stream prediction model based on in-memory computing. The feasibility of the proposed method based on memory computation is verified by the experimental application,and it achieved real-time and high efficiency of the large data analysis .

smart city;intelligent transportation;big data; prediction analysis; in-memory computing

2095-3852(2017)02-0236-03

A

2016-10-23.

吳珺 (1984-)，女，湖北武漢人，湖北工業(yè)大學(xué)計算機學(xué)院講師，主要研究方向為物聯(lián)網(wǎng)技術(shù)、智能方法及應(yīng)用、數(shù)據(jù)挖掘.

湖北省自然科學(xué)基金項目(2014CFB590)；交通物聯(lián)網(wǎng)湖北省重點實驗室開放基金項目(2015Ⅲ015-A03).

TP18

10.3963/j.issn.2095-3852.2017.02.024