數(shù)字化控制系統(tǒng)數(shù)據壓縮方法分析

（中核控制系統(tǒng)工程有限公司，北京 100176）

數(shù)字化控制系統(tǒng)數(shù)據壓縮方法分析

馬曉宇

（中核控制系統(tǒng)工程有限公司，北京 100176）

隨著核電儀控技術水平的提高，全數(shù)字化儀控技術在核電系統(tǒng)中得到了廣泛地應用和推廣。核電DCS控制系統(tǒng)由傳統(tǒng)的模擬技術正朝著全數(shù)字化技術急速推進。在我國在建核電站中，全部采用了數(shù)字化控制系統(tǒng)技術，但大都為國外產品。為了實現(xiàn)國產化的要求，多家單位都針對核電站數(shù)字化控制系統(tǒng)展開了研究。本文主要針對常規(guī)的數(shù)字化控制系統(tǒng)中的數(shù)據庫所采用的數(shù)據壓縮方法進行論述。

核電儀控系統(tǒng)；實時歷史數(shù)據庫；數(shù)據壓縮

0 引言

數(shù)據壓縮是指在不丟失信息的前提下，縮減數(shù)據量以減少存儲空間，提高其傳輸、存儲和處理效率的一種技術方法?；虬凑找欢ǖ乃惴▽?shù)據進行重新組織，減少數(shù)據的冗余和存儲的空間。該方法的研究和應用，將直接有效減少工業(yè)應用中，海量數(shù)據存儲問題。

1 數(shù)據壓縮的意義

核電DCS控制系統(tǒng)中的實時歷史數(shù)據庫需要具備較高實時性、海量數(shù)據吞吐量的特點，一般實際應用的DCS系統(tǒng)測點數(shù)量較多，且部分測點的刷新頻率較高，隨著系統(tǒng)長時間運行，歷史數(shù)據量會變的巨大，如將數(shù)據直接存儲，不但會浪費大量的存儲空間，而且還會使數(shù)據查詢和傳輸變得復雜和困難。因此，如果將數(shù)據壓縮技術引入到DCS系統(tǒng)的歷史數(shù)據處理中，可起到增加庫容量、節(jié)省存儲空間及提升系統(tǒng)運行效率等優(yōu)勢。

首先，一般一套核電DCS系統(tǒng)從投入到更新?lián)Q代，需要幾年至數(shù)10年的時間，此期間，實時歷史數(shù)據庫系統(tǒng)需不斷記錄各個測點所產生的歷史數(shù)據，以為系統(tǒng)運行及維護提供重要參考。在此期間所形成的系統(tǒng)處理數(shù)據量是十分巨大的，例如在一個擁有10000測點的系統(tǒng)中，以1s的時鐘刷新頻率來計算，系統(tǒng)運行一年所產生的原始數(shù)據量可以到達：3600×24×365×10000=315360000000個數(shù)據，假設每個數(shù)據用8個字節(jié)來表示（包括數(shù)據值、數(shù)據時刻和數(shù)據質量），那么這些數(shù)據所占的磁盤空間為2350GB，這對于任何系統(tǒng)都是一個海量的數(shù)據吞吐量[1]。

其次，引入數(shù)據壓縮機制不僅可以有效地剔除原始沒有必要存儲的歷史數(shù)據，降低歷史數(shù)據的磁盤占用量，還能提升系統(tǒng)的運行效率。在計算機系統(tǒng)中，磁盤的讀寫速度是一般計算機存儲介質中最慢的單元，歷史數(shù)據量減少了，就可以減少系統(tǒng)在響應數(shù)據查詢時與磁盤的交互次數(shù)，提升系統(tǒng)的響應速度和整體性能。

最后，基于以上兩點的實現(xiàn)，可以增加歷史庫系統(tǒng)的測點容量。磁盤空間占用量的減少、系統(tǒng)性能的提升分別在空間和時間上為測點容量的增加提供可能性，測點容量的增加又可以擴大實時歷史庫的應用范圍，為大容量測點系統(tǒng)提供可能實施的解決方案。

綜上，引入數(shù)據壓縮技術對整個實時歷史數(shù)據庫的功能擴展和性能提升都是有必要的。

2 數(shù)據壓縮技術介紹

作為傳統(tǒng)數(shù)據壓縮技術在DCS儀控領域的特殊應用，歷史數(shù)據庫的數(shù)據壓縮類似于日常的音頻或圖像壓縮處

理，數(shù)據壓縮技術從定義層面來講是以最少的數(shù)碼來表示信息源的信號，減少容納給定消息集合或數(shù)據采樣集合的信號空間。從計算機應用及實現(xiàn)領域來看是通過減少計算機中存儲數(shù)據或通信中數(shù)據冗余度，達到增大數(shù)據密度，最終減少數(shù)據存儲空間的技術，在文件存儲及分布式系統(tǒng)領域有著十分廣泛的應用。

一般的數(shù)據壓縮算法從數(shù)據壓縮的效果方面可分為無損壓縮和有損壓縮兩種技術：

1）典型的無損壓縮算法可以歸結為兩種類型的算法模型的實現(xiàn)，它們分別是基于統(tǒng)計模型的壓縮算法和基于字典模型的壓縮算法。前者是根據字符在待壓縮字符群中出現(xiàn)的概率進行的編碼，早期的壓縮算法，如Huffman編碼和算術編碼都是屬于這一類型的算法；而基于字典模型的壓縮算法是在算法計算過程中產生一個具有壓縮關鍵字定義的壓縮字典，在對信息進行壓縮和解壓縮過程中都對其進行查詢操作，最典型的字典模型壓縮算法是LZ系統(tǒng)算法，例如LZ77和LZ78等。

2）有損壓縮技術依靠特定的應用領域發(fā)展起來，其基本原理是通過在數(shù)據壓縮過程中損失一定的信息而達到較高的壓縮比，由于壓縮過程不可逆，壓縮后數(shù)據無法完全恢復到初始狀態(tài)，因此需確保損失的數(shù)據對于理解原始數(shù)據特點的影響足夠小。我們日常使用的諸如JPEG圖像文件、MP3音頻文件等的多媒體文件都使用了此類型的壓縮算法。而較多應用到工控行業(yè)的具體壓縮算法包括矩形波串法（Box Car）和后向斜率發(fā)（Backward Slope），以及在工控領域應用最為廣泛的OSIsoft公司提出的“旋轉門數(shù)據壓縮算法（Swing Door）”[2]。

無損壓縮技術和有損壓縮技術都在工控領域的歷史數(shù)據處理中得到了應用，例如美國的Instep公司開發(fā)的實時歷史數(shù)據庫系統(tǒng)eDNA就實現(xiàn)了以Huffman為基本的無損數(shù)據壓縮程序，它首先對數(shù)據集合進行統(tǒng)計分析，將數(shù)據添加到Huffman樹中進行編碼，最后保存生成編碼，完成對數(shù)據群的壓縮；而OSIsoft公司的PI實時歷史數(shù)據庫產品采用了“旋轉門數(shù)據壓縮算法”以及獨到的二次過濾技術。

而具體到本文闡述的系統(tǒng)的歷史庫壓縮模塊，則綜合了兩種壓縮算法的優(yōu)劣，設計出一套“二次數(shù)據壓縮”機制，通過對無損壓縮和有損壓縮算法應用的統(tǒng)一，來進行歷史庫模擬量數(shù)據的壓縮。

3 數(shù)據壓縮模塊的設計

常規(guī)的數(shù)字化控制系統(tǒng)的數(shù)據庫支持的數(shù)據類型含開關量數(shù)據及模擬量數(shù)據。因不同的數(shù)據類型所顯現(xiàn)出的數(shù)據特點的不同，需制定有針對性的壓縮策略來滿足各種數(shù)據的壓縮要求。軟件通過以下數(shù)據結構的定義來表示壓縮類型和壓縮參數(shù)描述。

//壓縮類型定義

typedef enum

{

HISD_UNCOMP = 0x00,

HISD_SWINGDOORCOMP, //模擬量數(shù)據壓縮

HISD_SIGNALCOMP//信號量數(shù)據壓縮

}HisdCompType;

//壓縮系統(tǒng)參數(shù)，每一個標簽點對應一個此結構

typedef struct

{

/*壓縮配置參數(shù)*/

HisdCompType comptype;//壓縮類型

/*壓縮狀態(tài)監(jiān)測參數(shù)*/

hisdInt64 total_remainpoints;//測點壓縮算法中總共剩余點數(shù)

hisdInt64 total_comppoints;//測點壓縮算法中總共丟棄的點數(shù)

hisdInt32 remainpoints;//最近一次壓縮算法中剩余點數(shù)

hisdInt32 comppoints;//最近一次壓縮算法中丟棄的點數(shù)

hisdInt64 comptime;//最近一次壓縮算法用時

/*各種壓縮類型獨有參數(shù)*/

union

{

CompSwingDoorInfo swingdoorinfo;

CompSignalInfo signalinfo;

};

3.1開關量數(shù)據壓縮

開關量數(shù)據采用“變化壓縮算法”，其基本設計思路是：當測點的數(shù)值有變化時才會保存，否則丟棄當前的數(shù)據。這是因為開關量測點的狀態(tài)通常由特定的若干數(shù)值來表示（大多數(shù)為0和1），在DCS生產現(xiàn)場很多開關量測點的狀態(tài)在特定甚至較長的時間內是不會變化的，因此“變化壓縮算法”很適合對歷史庫開關量數(shù)據的壓縮處理。

如圖1所示，將某開關量測點設置為每1s進行一個數(shù)據采集，以時刻點t點為基準的后8秒里，其測點值分別為0、0、0、1、1、0、0、1。根據“變化壓縮算法”的計算，剔除其在2s、3s、5s和7s的數(shù)據，只保存1s、4s、6s和8s的數(shù)據值。在進行數(shù)據還原時，空缺時刻的數(shù)據值取前一保存時刻的數(shù)據值，例如，2s和3s的數(shù)值均等于1s數(shù)值0。這樣完整保存了測點在時間軸上的數(shù)據特征，同時也達到了節(jié)省存儲空間的目的。

圖1 開關量數(shù)據的變化壓縮算法Fig.1 Switch changes in volume data compression algorithm

以下是軟件中對開關量壓縮參數(shù)的結構化表示：

//信號量壓縮控制參數(shù)

typedef struct

{

hisdUInt32 compinterval;//壓縮時間最大間隔，超過這一時間間隔的數(shù)直接保存；

//如果設置為負值，此功能無效

HisdData lastpoint;//最近處理的上一點

}CompSignalInfo;

3.2模擬量數(shù)據壓縮

工業(yè)DCS系統(tǒng)中的模擬量測點數(shù)據通常會遵循一定的漸變規(guī)律，例如某些時間段會呈現(xiàn)較為一致的線性變化，某些時間段的數(shù)據則呈現(xiàn)拋物線特征等。這些數(shù)據特征就給定了進行歷史數(shù)據邏輯壓縮的前提。

在常規(guī)的控制系統(tǒng)的數(shù)據庫中的歷史庫系統(tǒng)中，本文采用雙重的歷史數(shù)據壓縮機制，即“二次數(shù)據壓縮”，實現(xiàn)流行的“旋轉門”壓縮算法為第一層邏輯壓縮，實現(xiàn)無損的Huffman壓縮算法為第二層物理壓縮。首先來討論下傳統(tǒng)的“旋轉門”壓縮算法的內容。

3.2.1 傳統(tǒng)的“旋轉門”壓縮算法

如圖2所示，對于基本的“旋轉門壓縮算法”進行描述：在進行數(shù)據壓縮時，算法將在新的即時數(shù)據點和前一個被保留的數(shù)據點之間做一個平行四邊形的偏移覆蓋區(qū)，如果這個平行四邊形可覆蓋保留數(shù)據點之后出現(xiàn)的所有數(shù)據點，則將不會保存新的實時數(shù)據點。反之，如果有任何一個數(shù)據點落在壓縮偏移覆蓋區(qū)外，則新數(shù)據點的前一個點將被保留，同時整個壓縮偏移覆蓋區(qū)將被重置，以新的被保留點作為新的起點，進入下一輪的旋轉門判斷[3]。

圖2 傳統(tǒng)的“旋轉門”壓縮算法Fig.2 Of the traditional "revolving door" compression algorithm

傳統(tǒng)的“旋轉門”壓縮算法雖然可以較好的完成對實時歷史數(shù)據的壓縮，但是在算法的實現(xiàn)和執(zhí)行過程中會出現(xiàn)一些問題，主要體現(xiàn)在以下兩點：

1）算法實現(xiàn)時需要一個臨時緩沖區(qū)來存儲待判定點集，但是在代碼實現(xiàn)時，這一緩沖區(qū)的大小缺失無法事先確定的。

2）如果待判定點過多，緩沖區(qū)里的數(shù)據點數(shù)過大，那么在進行覆蓋區(qū)判定時會耗去系統(tǒng)過多的業(yè)務執(zhí)行時間，造成系統(tǒng)運行的瓶頸。

因此，在以上算法的基礎上，本文采用了改進的“旋轉門”壓縮算法，即“斜率比較旋轉門”算法[4]。

3.2.2 改進的“斜率比較旋轉門”壓縮算法

如圖3所示，當新點a到來時，系統(tǒng)會比較a與原點o（即上已存儲的點）的時間差t_time，如果t_time不小于壓縮間隔上限nic_compinterval或者a點質量戳與o點不同，則直接保存lastpoint點，進入下一輪旋轉門算法運算；否則以點a和o以及設定好的nic_comprate構建平行四邊形Ω，計算最大斜率點maxkpoint和最小斜率點minkpoint是否均在Ω內，計算結果有兩種：

圖3 “斜率比較旋轉門”壓縮算法Fig.3 "Slope comparison revolving door" compression algorithm

1）都落在了Ω內部，則說明a點通過了旋轉門，成為最新的lastpoint，最后再分別比較a點斜率與最大、最小斜率的關系，大于最大斜率值或者小于最小斜率值則替換相應的斜率點和斜率值，進入下一輪旋轉門算法進行運算。

2）如果有一個斜率點落在了Ω外部，則說明a點沒有通過旋轉門，則就保存此時的lastpoint，并將lastpoint設定為下一輪旋轉門算法的o點，a點設定為最大和最小斜率點，進入下一輪旋轉門算法運算。

改進的“旋轉門”算法的具體流程如圖4所示。

軟件中對于“斜率比較旋轉門”算法的壓縮參數(shù)的結構化。

//旋轉門壓縮參數(shù)

typedef struct

{

/*旋轉門壓縮配置參數(shù)*/

hisdInt8 compoffset_type;//偏移量設定方式

hisdDouble compoffset;//壓縮偏移量

hisdUInt32 compinterval;//壓縮時間最大間隔，超過這一時間間隔的數(shù)直接保存；

//如果設置為負值，此功能無效

/*旋轉門壓縮過程參數(shù)*/

HisdData pointO;//壓縮原點

HisdData lastpoint;//最近處理的上一點

HisdData maxkpoint;//最大斜率點

HisdData minkpoint;//最小斜率點

}CompSwingDoorInfo;

圖4 “斜率比較旋轉門”算法流程圖Fig.4 "Slope comparison revolving door" algorithm flow chart

上述的“旋轉門”壓縮算法是系統(tǒng)第一次對歷史數(shù)據的邏輯壓縮，當經過邏輯壓縮后的保留數(shù)據累積到一定的數(shù)量（例如1k）時，再對其進行第二次物理壓縮，采用的是Huffman無損壓縮算法，其基本原理是，構建一個Huffman二叉樹用于字符編碼，依據待壓縮數(shù)據二進制子串出現(xiàn)的頻率對其進行排列，出現(xiàn)頻率大的串用較少的位來表示，而較小的串用較多的編碼來表示，以此既達到數(shù)據壓縮的目的，又完整保留了邏輯壓縮后的數(shù)據信息[5]。

4 結束語

本文主要介紹數(shù)字化控制系統(tǒng)中的歷史庫系統(tǒng)中壓縮模塊的設計和實現(xiàn)。通過介紹數(shù)據壓縮對于數(shù)字化控制系統(tǒng)運行的作用和意義，以及對當今壓縮算法發(fā)展的簡要介紹，引出了可以提高系統(tǒng)性能的壓縮算法設計。其中“二次壓縮”的設計理念是當前實時歷史數(shù)據庫產品中比較先進的技術手段。

[1]高寧波,金宏,王宏安．歷史數(shù)據實時壓縮方法研究[J]．計算機功能與應用,2004,28：167-171．

[2]高寧波,金宏,王宏安．歷史數(shù)據實時壓縮方法研究[J]．計算機功能與應用,2004,28：167-171．

[3]蔣鵬,黃清波,王智,等．一種新的化工過程歷史數(shù)據壓縮方法研究[J]．浙江大學學報，2005,39(6)：814-515．

[4]徐慧,實時數(shù)據庫中數(shù)據壓縮算法的研究[D]．杭州：浙江大學,2006．

[5]曲奕霖．流程工業(yè)歷史數(shù)據的壓縮策略與壓縮方法研究[D]．杭州：浙江大學,2006．

Instrument Control System Application in Natural gas Treating Plant

Ma Xiaoyu
（China Nuclear Control System Engineering Co., Ltd. , Beijing 100176,China）

With the improvement of technical level of Nuclear Power Instrumentation & Control, digital control technology has been widely used and promoted in the Nuclear power system, nuclear DCS system rapidly change from traditional analog technology to fully digital technology. Nuclear power plants under construction in China all adopt the technology of digital control system, but most are foreign products. In order to achieve the requirements of localization, many units have carried out the research on nuclear digital control system。In this paper, the digital control system in a conventional database data compression method.

nuclear control system; historian subsystem of Real-time database; data compress

G250.74

A

Doi：10.3969/j.issn.1671-1041.2014.03.022

2014-04-28

馬曉宇（ 1981-）, 女，碩士研究生，從事核電儀控系統(tǒng)研發(fā)工作。