環(huán)境監(jiān)測中數(shù)據(jù)流處理技術(shù)的應用分析

黃善邦

【摘要】環(huán)境監(jiān)測是對影響環(huán)境的各種因素進行分析研究的措施，是一種利用和保護環(huán)境資源的有力舉措。在環(huán)境監(jiān)測中使用數(shù)據(jù)流處理技術(shù)可以有效提升環(huán)境監(jiān)測的科學性和技術(shù)性，本文通過對數(shù)據(jù)流技術(shù)進行分析，探討一下其在環(huán)境監(jiān)測中的應用。

【關(guān)鍵詞】環(huán)境保護；監(jiān)測技術(shù)；數(shù)據(jù)算法

引言

在環(huán)境監(jiān)測中往往使用多種技術(shù)手段，這些技術(shù)手段都是為環(huán)境監(jiān)測做貢獻的，環(huán)境監(jiān)測的目的是通過對影響環(huán)境變化的不利因素進行監(jiān)測和分析，再采取積極性措施去保護環(huán)境，保護我們生存的環(huán)境不因破壞性因素而導致?lián)p壞和發(fā)生巨大變化。

1、環(huán)境保護的積極意義

環(huán)境保護是一項專門服務于自然環(huán)境和生存環(huán)境的職業(yè)，環(huán)境監(jiān)測是通過對環(huán)境中對環(huán)境造成污染和破壞的值進行測定和計算，得出環(huán)境污染和破壞的程度。造成環(huán)境污染和破壞的因素有很多，其中大部分來源自人類活動。環(huán)境監(jiān)測的監(jiān)測內(nèi)容主要有各種生活物質(zhì)的排放、工業(yè)活動造成的廢氣廢水排放。根據(jù)環(huán)境監(jiān)測得出的數(shù)據(jù)，來測定環(huán)境變化的實時性以及造成環(huán)境變化的原因。再根據(jù)造成環(huán)境變化的原因，進而分析出環(huán)境污染治理的措施和方案，為環(huán)境的保護提供科學的數(shù)據(jù)資料。隨著我們生活環(huán)境的不斷變化，在變化趨勢上呈現(xiàn)出破壞與保護并存的局面，環(huán)境的破壞導致我們生活環(huán)境的惡化，這種惡化已造成我們的生活出現(xiàn)了困擾，環(huán)境監(jiān)測通過監(jiān)測技術(shù)手段為環(huán)境保護的開展打下了基礎(chǔ)。

2、環(huán)境監(jiān)測的主要內(nèi)容

環(huán)境監(jiān)測在分類上分為環(huán)境質(zhì)量監(jiān)測和環(huán)境污染監(jiān)測。其中環(huán)境質(zhì)量監(jiān)測是對生態(tài)環(huán)境的一種監(jiān)測措施，污染源監(jiān)測是對人類生活環(huán)境的監(jiān)測。在環(huán)境監(jiān)測上主要運用到的技術(shù)手段有物理理論、化學理論、光學理論、生物理論等。在早期的環(huán)境監(jiān)測手段中，化學手段是最常用的技術(shù)措施，這是因為污染物往往與化學物質(zhì)易發(fā)生反應。隨著導致環(huán)境污染因素的復雜化，不僅僅化學物質(zhì)導致環(huán)境污染，噪聲、空氣、光波等污染因素的加入，使環(huán)境監(jiān)測的監(jiān)測范圍進一步的擴大，監(jiān)測難度的增加，都大大促進了環(huán)境監(jiān)測技術(shù)措施的發(fā)展。這期間隨著計算機技術(shù)、信息化技術(shù)、生物學的發(fā)展，環(huán)境監(jiān)測的技術(shù)手段在發(fā)展上呈現(xiàn)出自動化、智能化的趨勢。在我國環(huán)境監(jiān)測的主要內(nèi)容有：自然因素、污染因素、人類活動因素。環(huán)境監(jiān)測通過監(jiān)測環(huán)境的變化、收集變化的數(shù)據(jù)、分析環(huán)境變化的因素、研究保護環(huán)境的措施，可以有效的為環(huán)境的保護提供技術(shù)支撐。

3、數(shù)據(jù)流處理技術(shù)的原理

3.1 數(shù)據(jù)流技術(shù)基本特點

數(shù)據(jù)流處理技術(shù)是通過數(shù)據(jù)流技術(shù)，建立一個數(shù)據(jù)模型，再通過這個模型進行數(shù)據(jù)的分析、比對，進而得出詳細的研究結(jié)果。在環(huán)境監(jiān)測中的數(shù)據(jù)流可以使無序的，也可以是無界的，基本上數(shù)據(jù)流呈現(xiàn)出流動性和不固定性。在數(shù)據(jù)流中，各項數(shù)據(jù)可以是各種狀態(tài)，但是它一定要符合某一個數(shù)據(jù)項的基本組合。在環(huán)境監(jiān)測中的數(shù)據(jù)項都是抽象的實例，都是有存在依據(jù)的。所謂數(shù)據(jù)流就是一個隨著時間的發(fā)展而發(fā)展變化的數(shù)據(jù)元祖，且這個元祖由時間順序而有先后順序。數(shù)據(jù)流具有以下幾個特征：1.無限性.在數(shù)據(jù)流中無論數(shù)據(jù)怎么增加都是沒有上限的，且隨著數(shù)據(jù)的增加，管理員往往采用數(shù)據(jù)壓縮的方式儲存數(shù)據(jù)。2.動態(tài)性.數(shù)據(jù)流中的數(shù)據(jù)隨著時間和環(huán)境的變化呈現(xiàn)出動態(tài)性的特征，具有非固定性和不可知性。3.瞬間性.數(shù)據(jù)流中的數(shù)據(jù)往往發(fā)生于一瞬之間，雖然導致這一瞬間的因素有多種，除非進行了數(shù)據(jù)記錄。

3.2 分布式數(shù)據(jù)流技術(shù)

在數(shù)據(jù)流的架構(gòu)上有集中式和分布式之分。集中式數(shù)據(jù)流處理方式是在計算機系統(tǒng)軟硬件的支持下進行的，對計算機的硬件和軟件要求要高，在處理大數(shù)據(jù)時往往變得很慢，不利于環(huán)境監(jiān)測工作的開展。在環(huán)境監(jiān)測中使用分布式數(shù)據(jù)流技術(shù)是有著優(yōu)勢的。首先環(huán)境監(jiān)測的范圍廣，涉及到的技術(shù)手段眾多，若采用集中式架構(gòu)，往往在處理時出現(xiàn)延時性，不利于數(shù)據(jù)流瞬時性特征的收集和保存。采用分布式數(shù)據(jù)流系統(tǒng)，既可以在架構(gòu)時，為環(huán)境監(jiān)測系統(tǒng)的鋪設(shè)節(jié)省一些設(shè)備，又可以大大優(yōu)化環(huán)境監(jiān)測的工作效率。分布式數(shù)據(jù)架構(gòu)方式具有操作簡單、系統(tǒng)過載保護上具有更好的優(yōu)勢。

3.3 數(shù)據(jù)流處理方式的算法

在數(shù)據(jù)流處理方式中需要使用J&ACOUNT和J&AMAX算法。其中J&ACOUNT算法是J-A算法的一種，在計算方式上采用增量的方式，使用COUNT方式進行數(shù)據(jù)的查詢和選擇，具有直接性和間接性，在計算方式上較傳統(tǒng)計算方式具有先進性優(yōu)勢，傳統(tǒng)的計算方式較為繁瑣，且查詢方式復雜。在滑動窗口中有著重復性操作，大大增加了數(shù)據(jù)流處理系統(tǒng)的計算壓力和儲存壓力。

使用J&ACOUNT計算方式，在滑動窗口式可以使用COUNT直接定義到關(guān)鍵部分，直接運算并得出結(jié)果，大大提高了系統(tǒng)的工作效率。其中在編輯運算程序中能夠?qū)γ芏染W(wǎng)格進行調(diào)整，編寫應用程序算法為：

Procedure D-Stream

t；

Initialize an empty hash table grid_list；

While data stream is active do

Read record x=（x1，x2，x3.....xd）；

If（g not in grid_list）insert g to grid_list；

Update the characteristic vector of g；

If t=gap then

Call initial_clustering（grid_list）；

End if

在數(shù)據(jù)流每一個計算流程中，J&ACOUNT計算方式便會將數(shù)據(jù)放置對應多維空間中的離散密度網(wǎng)格，然后更新密度網(wǎng)格中的特征向量。離線部分在每間隔gap時間參數(shù)段內(nèi)，自動調(diào)整時間動態(tài)參數(shù)，使其最后計算結(jié)果滿足周期調(diào)整簇。

4、結(jié)語

環(huán)境監(jiān)測是環(huán)境保護中所必要的一個環(huán)節(jié)，環(huán)境監(jiān)測為環(huán)境保護提供了必要的數(shù)據(jù)資料和分析結(jié)果，為環(huán)境保護的開展提供了保護方向。在環(huán)境監(jiān)測上，使用數(shù)據(jù)流分析技術(shù)，可以使環(huán)境監(jiān)測的結(jié)果更為準確和科學，使環(huán)境監(jiān)測工作真正的在環(huán)境保護中發(fā)揮出應有的必要性作用。