淺析供水調(diào)度大數(shù)據(jù)挖掘與應(yīng)用

陳松

供水調(diào)度大數(shù)據(jù)來源于供水?dāng)?shù)據(jù)監(jiān)測和供水調(diào)度業(yè)務(wù)管理，通過對這些海量數(shù)據(jù)的分析與挖掘，能發(fā)現(xiàn)很多有價值的信息與規(guī)律，可應(yīng)用于供水設(shè)備運(yùn)行的精細(xì)化管理、供水管網(wǎng)管損預(yù)警、分析歷史數(shù)據(jù)與優(yōu)化管網(wǎng)系統(tǒng)、進(jìn)行供水管網(wǎng)狀態(tài)評估與維護(hù)、實施供水優(yōu)化調(diào)度研究，對城市供水安全保障具有重要的意義。

一、供水調(diào)度數(shù)據(jù)監(jiān)測

通過收集供水信息監(jiān)測數(shù)據(jù)以及調(diào)度業(yè)務(wù)管理數(shù)據(jù)，將獲得大量與供水安全運(yùn)行數(shù)據(jù)和供水設(shè)施運(yùn)行能耗、設(shè)備運(yùn)行性能有關(guān)的數(shù)據(jù)。目前信息技術(shù)和通信技術(shù)發(fā)展迅速，采集儀器設(shè)備已逐步智能化，通信技術(shù)已經(jīng)比較成熟，為此，通過對供水?dāng)?shù)據(jù)的長期監(jiān)測，已形成大數(shù)據(jù)的集合，奠定了供水調(diào)度大數(shù)據(jù)的基礎(chǔ)。

1.數(shù)據(jù)采集

最常見的供水?dāng)?shù)據(jù)采集是供水SCADA系統(tǒng)的數(shù)據(jù)采集，主要包括壓力、瞬時流量、水量、濁度、余氯、機(jī)泵開停、電量等，采用的設(shè)備主要是通過儀器儀表的模擬或者數(shù)字輸出信號傳輸至PLC設(shè)備，這些數(shù)據(jù)都是實時在線的。此外還有檢測數(shù)據(jù)和審批管理數(shù)據(jù)，如人工水質(zhì)采樣點(diǎn)的水質(zhì)樣本在采樣后，通過專業(yè)的水質(zhì)化驗分析儀表進(jìn)行檢測后，形成的水質(zhì)化驗報告數(shù)據(jù)，各供水設(shè)施在工況狀況下對供水規(guī)模和供水能力的影響評估數(shù)據(jù)等。這些都是構(gòu)成供水調(diào)度運(yùn)行和管理的數(shù)據(jù)的集合。

2.數(shù)據(jù)傳輸

供水調(diào)度數(shù)據(jù)的傳輸目前已比較成熟，一般分為無線方式傳輸和有線方式傳輸兩種。對于水廠、泵站的重要供水?dāng)?shù)據(jù)多采用有線方式傳輸。對于管網(wǎng)監(jiān)測點(diǎn)數(shù)據(jù)，如管網(wǎng)壓力、管網(wǎng)流量、水量、水質(zhì)數(shù)據(jù)以及二次供水?dāng)?shù)據(jù)多用無線傳輸。這些供水調(diào)度數(shù)據(jù)在經(jīng)過數(shù)據(jù)預(yù)處理之后，將按照一定的形式導(dǎo)入數(shù)據(jù)庫。對于海量的監(jiān)測數(shù)據(jù)宜采用分布式數(shù)據(jù)庫，并注意數(shù)據(jù)庫優(yōu)化設(shè)計以及同步策略。

3.數(shù)據(jù)預(yù)處理

無論是在數(shù)據(jù)采集過程中采用多么高精度的儀器，還是在數(shù)據(jù)傳輸過程中采用多么好的傳輸方式，數(shù)據(jù)誤差（即噪聲）總是不可避免的。這種誤差包括各種客觀條件的影響，如測量過程、測量條件和測量儀器。由于在線監(jiān)測數(shù)據(jù)的變化性，即可從觀測數(shù)據(jù)之間變化量判斷造成變形的原因。但對于變化 很小的數(shù)據(jù)，很難辨別兩次監(jiān)測獲得的變化量究竟是變形造成的，還是受客觀條件影響造成的，以致不能發(fā)現(xiàn)變形信息或出現(xiàn)假的信息，從而造成漏報或虛報。因此，在變形分析和預(yù)報之前進(jìn)行觀測數(shù)據(jù)的預(yù)處理工作，來識別干擾、排除干擾和突出信息。

對于采集和傳輸過程中缺失和失真的數(shù)據(jù)需要進(jìn)行數(shù)據(jù)清洗。數(shù)據(jù)清洗（Data Cleaning或者Data Scrubbing）的目的是檢測數(shù)據(jù)中存在的錯誤和不一致，剔除或者改正它們，以提高數(shù)據(jù)的質(zhì)量。萊茵達(dá)準(zhǔn)則可將數(shù)值過高或過低的數(shù)據(jù)剔除，可提高處理主流程獲取到的數(shù)據(jù)的可利用度。萊茵達(dá)準(zhǔn)則認(rèn)為，在測量中若已采用措施消除系統(tǒng)誤差，或已將其減至微小量，測量數(shù)據(jù)中只含隨機(jī)誤差，且服從正態(tài)分布，則可認(rèn)為殘差是以0.9973的概率出現(xiàn)在正常范圍之內(nèi)，出現(xiàn)在正常范圍以外的概率僅為0.0027，相當(dāng)微小，可以認(rèn)為是不可能事件，這就有理由判定它是含有粗差的觀測值，可將該觀測值剔除。

對于供水調(diào)度監(jiān)測數(shù)據(jù)缺失，視缺失情況可采用不同的方法，如借鑒交通流量數(shù)據(jù)缺失值的插補(bǔ)方法。若某時刻僅一兩個信號無數(shù)據(jù)，可采用數(shù)據(jù)趨勢進(jìn)行臨近插補(bǔ)或其他信號的相關(guān)性進(jìn)行填補(bǔ)；如果一段時間所有信號都沒有數(shù)據(jù)，為了后續(xù)的數(shù)據(jù)分析而又不便舍去該時間段的值，那么采用基于前后時間段的數(shù)據(jù)樣本進(jìn)行隨機(jī)插補(bǔ)，并實現(xiàn)各相關(guān)信號的一致與統(tǒng)一。

此外對于信號失真的數(shù)據(jù)，還需要采用數(shù)據(jù)賦值進(jìn)行預(yù)處理。如對殘差數(shù)據(jù)、毛刺數(shù)據(jù)需要采用滑動開窗的方法對其賦值。即通過建立一個長度為5的滑動窗口，對監(jiān)測數(shù)據(jù)的序列滑動處理后可得到一個長度為IV的序列，對序列進(jìn)行處理后的新序列即為賦值結(jié)果。

二、淺析供水調(diào)度數(shù)據(jù)的挖掘與應(yīng)用

供水調(diào)度數(shù)據(jù)挖掘是從大量的、不完全的、有噪聲的、模糊的數(shù)據(jù)中提取隱含的、未知的，但也是具有潛在價值的知識和信息，其方法是統(tǒng)計分析方法學(xué)的延伸和拓展，可包含分類統(tǒng)計、關(guān)聯(lián)分析、可視化描述、預(yù)測、再驗證的迭代與逼近等過程。

通過收集和對供水調(diào)度獲取的數(shù)據(jù)進(jìn)行統(tǒng)計分析以及價值挖掘，可以獲得很多有價值的數(shù)據(jù)信息，如管網(wǎng)的壓力的功率與流量、機(jī)泵能耗數(shù)據(jù)、水壓、水量對供水區(qū)域的影響、各種節(jié)能措施的節(jié)能效果、氣象資料數(shù)據(jù)和各類設(shè)備運(yùn)行狀態(tài)等數(shù)據(jù)，具有廣泛的用途。

1.設(shè)備運(yùn)行狀態(tài)數(shù)據(jù)

通過不間斷對供水調(diào)度數(shù)據(jù)監(jiān)測和數(shù)據(jù)收集，對主要監(jiān)測設(shè)備的運(yùn)行數(shù)據(jù)進(jìn)行挖掘，可判斷設(shè)備的運(yùn)行狀態(tài)，結(jié)合設(shè)備的運(yùn)行特性，判別設(shè)備的故障前兆，確定必要的維護(hù)措施等，為設(shè)備日常維護(hù)、安全管理以及成本管理提供支持。

2.水壓與水量以及管損分析

對于管網(wǎng)水壓、流量的數(shù)據(jù)以及機(jī)泵運(yùn)行狀態(tài)等大量數(shù)據(jù)的監(jiān)測和采集，可以得知大的數(shù)據(jù)波動，通過對管網(wǎng)系統(tǒng)進(jìn)行全面的檢查，尋找出現(xiàn)數(shù)據(jù)波動的原因，一般情況下，造成壓力和流量發(fā)生變化的主要原因為管道的爆裂和漏損，這樣就可以通過模擬分析技術(shù)，對管損情況進(jìn)行預(yù)警預(yù)報，并在對管道漏損的地方進(jìn)行確定，并且對漏損的范圍進(jìn)行估算。

3.歷史數(shù)據(jù)分析與系統(tǒng)優(yōu)化

通過分析最小夜流量等數(shù)據(jù)，從而對當(dāng)?shù)赜脩舻挠盟窟M(jìn)行確定，另外結(jié)合當(dāng)?shù)鼐用竦恼w用水方式，可以對居民的用水習(xí)慣進(jìn)行分析，其主要包括用水高峰期和主要用水區(qū)域。在得出用戶的用水習(xí)慣之后，可以對部分區(qū)域的用水量結(jié)構(gòu)進(jìn)行適當(dāng)?shù)恼{(diào)整，以此來優(yōu)化供水系統(tǒng)，提高供水企業(yè)的經(jīng)濟(jì)效益。

4.供水管網(wǎng)狀態(tài)評估

利用對大量的歷史數(shù)據(jù)進(jìn)行分析和排列，可以對管道壓力、流量和水質(zhì)的變化情況進(jìn)行確定，并且能夠根據(jù)最終結(jié)果，建立相應(yīng)的變化模型，在其中的數(shù)據(jù)發(fā)生較大波動的情況下，可以結(jié)合管網(wǎng)水力、水質(zhì)模擬，來發(fā)現(xiàn)管網(wǎng)中管道老化、閥門破損等問題，并且對其進(jìn)行及時的修復(fù)。

5.優(yōu)化調(diào)度研究

結(jié)合通過調(diào)度管理系統(tǒng)收集的日常調(diào)度方案和供水監(jiān)測系統(tǒng)收集的管網(wǎng)中水力數(shù)據(jù)、水質(zhì)數(shù)據(jù)的實時狀態(tài)，建立管網(wǎng)的實時優(yōu)化調(diào)度模式，以此來保證供水管網(wǎng)系統(tǒng)管理運(yùn)行的節(jié)能性和安全性，提高供水公司的整體經(jīng)濟(jì)效益。

在這個信息技術(shù)飛速發(fā)展的時代，大數(shù)據(jù)和數(shù)據(jù)挖掘技術(shù)具有無限的潛能，并且已經(jīng)被各個行業(yè)所認(rèn)可，通過供水調(diào)度大數(shù)據(jù)挖掘，可以發(fā)現(xiàn)非常有價值的供水調(diào)度與安全保障方面的知識和信息。在未來，供水行業(yè)借助于對數(shù)據(jù)統(tǒng)計分析和挖掘，將實現(xiàn)管理的智能化，對城市供水安全保障具有重要的意義。

參考文獻(xiàn)：

[1]（美）維克托·邁爾·舍恩伯格，（英） 肯尼思·庫克耶.大數(shù)據(jù)時代[M].盛楊燕，周 濤，譯.杭州：浙江人民出版社，2013.

[2]秦 蕭，甄 峰，熊麗芳，等.大數(shù)據(jù)時代城市時空間行為研究方法[J].地理科學(xué)進(jìn)展，2013（9）.