甄景燕 尹國強
(唐山鋼鐵集團有限責任公司,河北唐山 063016)
鋼鐵廠智能數(shù)據(jù)分析系統(tǒng)
甄景燕 尹國強
(唐山鋼鐵集團有限責任公司,河北唐山 063016)
介紹了鋼鐵廠智能質(zhì)量數(shù)據(jù)分析系統(tǒng)的分析處理數(shù)據(jù)的功能和用途;詳細敘述了智能數(shù)據(jù)分析系統(tǒng)實現(xiàn)方法即如何實現(xiàn)采集生產(chǎn)過程中的所有數(shù)據(jù),對數(shù)據(jù)進行標準化,建立多維數(shù)據(jù)庫,使用戶可以多角度分析大量數(shù)據(jù),等到有價值的寶貴分析結(jié)果,對提高鋼鐵廠的產(chǎn)品質(zhì)量具有指導意義;以及建立此系統(tǒng)涉及的相關(guān)理論知識,如OLAP,信息立方體,多維數(shù)據(jù)庫等。
OLAP 多維數(shù)據(jù)庫 信息立方體 靜態(tài)分析 動態(tài)分析
面對日益嚴峻的鋼鐵形勢,只有質(zhì)量優(yōu)良才能贏得市場。為了使在生產(chǎn)過程中,質(zhì)量達到最優(yōu)狀態(tài),建立了質(zhì)量智能分析系統(tǒng),它離線分析大量生產(chǎn)實際數(shù)據(jù),從中得出提高質(zhì)量的寶貴參數(shù)值,來指導生產(chǎn),使產(chǎn)品質(zhì)量大幅度提高。
2.1智能系統(tǒng)介紹
智能系統(tǒng)是一個采集現(xiàn)代鋼廠可得到的所有自動化數(shù)據(jù)的系統(tǒng)。它可以采集的數(shù)據(jù)很廣泛,如:一級,二級,已存在的數(shù)據(jù)庫,辦公應用,文本文檔等。這個智能系統(tǒng)包含用于數(shù)據(jù)采集,數(shù)據(jù)標準化和可視化的不同工具。數(shù)據(jù)轉(zhuǎn)化和分析是完全自動的,所以操作者能直接查看其結(jié)果。智能系統(tǒng)是唯一的和強大的工具,可用于鋼鐵廠的數(shù)據(jù)分析,具有靈活性和定制用戶性。
2.2涉及的知識介紹
2.2.1OLAP(Online Analytical Processing)介紹
開始介紹智能系統(tǒng)結(jié)構(gòu)之前,先介紹一下OLAP的兩個流行的定義,OLAP(Online Analytical Processing)是在線分析過程的首字母。以下簡稱OLAP。
OLAP(流行定義):一個盒子里的無數(shù)電子數(shù)據(jù)表。這是我們能告訴從來不知道OLAP的人們的解釋。OLAP是基本的電子數(shù)據(jù)表工具,很強大的,靈活的,但是基本的目的是顯示電子數(shù)據(jù)表。OLAP的關(guān)鍵是操縱數(shù)據(jù)的不同視圖。每次你想用新方法看你的數(shù)據(jù),不必再問你的技術(shù)人員。你的OLAP工具允許你很快很容易地從一個透視圖移到另一個。用OLAP你能從一個具體的透視圖查看你感興趣的數(shù)據(jù)。
OLAP(其他的流行定義):特別的報告。一個標準的基于紙的報告顯示兩維的:例如x軸是日期,y軸時生產(chǎn)鋼的噸數(shù)。這就是全部。一個OLAP立方體添加了特殊的維-時間,顯示不同的物理區(qū)域或不同的產(chǎn)品。你能容易地在不同的透視圖之間移動,就想一下什么你想分析,然后就點這個數(shù)據(jù),你就能看見你需要的。
2.2.2立方體介紹
立方體-一個多維查看數(shù)據(jù)的方法,是用于查看數(shù)據(jù)的主要OLAP結(jié)構(gòu)。它和關(guān)系數(shù)據(jù)庫中的數(shù)據(jù)表是類似的。
2.2.3維的概念
維(定義1)用于觀察數(shù)據(jù)的透視圖維就是你想如何查看數(shù)據(jù)。在智能系統(tǒng)中,維可以由下列組成:爐號,日期,化學元素。
維(定義2)表單中可以使用的行和列類別如果你想查看不同時期,產(chǎn)品有何不同,放不同產(chǎn)品在列,不同的時期放行。
在智能系統(tǒng)中,例如我們能選擇分析不同月份的不同鋼種,我們只需要X軸放鋼種,Y軸放時間。維是有基準線的,是能夠向下向上拖拽的??梢钥赐ㄓ玫男畔⒑驮敿毿畔ⅰ?/p>
這個數(shù)字叫做尺寸或者實際。在OLAP電子數(shù)據(jù)表中的數(shù)字被叫做尺寸。當設定OLAP立方體,這些值也被叫做實際。典型的實際將是:設定的數(shù)據(jù)包的數(shù)值,最后訪問的日期。立方體將顯示這些數(shù)值。
2.3智能質(zhì)量系統(tǒng)的處理流程
主要處理流程:
(1)收集的數(shù)據(jù)源的數(shù)據(jù)。
(2)數(shù)據(jù)收集和標準化。
(3)多維數(shù)據(jù)庫創(chuàng)建和更新。
(4)客戶端的可視化數(shù)據(jù)界面,其中數(shù)據(jù)包括靜態(tài)數(shù)據(jù)和動態(tài)數(shù)據(jù)。
2.3.1數(shù)據(jù)源
在現(xiàn)代化的鋼鐵廠,收集一系列的數(shù)據(jù)。例如:PLC,SCADA,其他應用(如電子表格,文本文件,數(shù)據(jù)庫)。
2.3.2數(shù)據(jù)收集和標準化
智能系統(tǒng)從不同的數(shù)據(jù)源收集數(shù)據(jù),然后將這些數(shù)據(jù)標準化,這個進程就是ETL。
在ETL進程,從OLTP(Online Transaction Process在線事務處理)中把數(shù)據(jù)提取出來,把它轉(zhuǎn)化成和數(shù)據(jù)倉庫匹配的形式,然后把這些數(shù)據(jù)加載到這個數(shù)據(jù)倉庫的數(shù)據(jù)庫中。這個數(shù)據(jù)倉庫也能導入非OLTP系統(tǒng)數(shù)據(jù),例如文本文件,電子表格等,這些數(shù)據(jù)也可以被提取,轉(zhuǎn)化,加載。
新數(shù)據(jù)被定期地添加到數(shù)據(jù)倉庫中,ETL不是一個一次性的事件。依據(jù)所處理事務的類型和數(shù)據(jù)倉庫的目的,典型的時間可能是一個月,一周,一天,甚至是一小時。因為ETL是一個完整的,不間斷的,循環(huán)的對數(shù)據(jù)倉庫進行處理。ETL必須是自動的,可操作的過程。ETL也可以變化和優(yōu)化。
第二部分這些操作通過數(shù)據(jù)收集功能塊來執(zhí)行,數(shù)據(jù)收集功能塊是一個簡單的工具,它能日常的從數(shù)據(jù)源中提取數(shù)據(jù),它知道讀取哪個數(shù)據(jù)源的數(shù)據(jù)。
2.3.3多維數(shù)據(jù)庫的創(chuàng)建和更新
一旦數(shù)據(jù)被收集和標準化,智能服務器就準備好OLAP數(shù)據(jù)庫。第一次建立的信息立方體可能和之后建立的不一樣。第一次建立只需要將尺寸建立和移入數(shù)據(jù)。在下一次可能在此基礎上增加維度,還有新數(shù)據(jù)也被更新。
在圖中的第三部分,數(shù)據(jù)是由微軟的OLAP技術(shù)工具處理之后,很方便的存儲在多維數(shù)據(jù)庫中。
2.3.4在操作工工作站數(shù)據(jù)可視化
用戶可以通過兩種方式讀取數(shù)據(jù):一種方式是:使用簡單的瀏覽器(例如:IE瀏覽器),可以快速直接的讀取數(shù)據(jù)。
第二種方式是:是根據(jù)用戶的需求,允許分析數(shù)據(jù)。這個工具是OLAP瀏覽器,它是一可以用戶界面友好,靈活訪問OLAP服務器立方體分析。
其他的工具像Excel一樣的電子表單,可以導入數(shù)據(jù)到立方體中。
這個工具用于數(shù)據(jù)可視化,可分析的數(shù)據(jù)是:打開IE可以在網(wǎng)頁上訪問數(shù)據(jù);OLAP瀏覽器直接連接數(shù)據(jù)。
2.4智能服務器數(shù)據(jù)分析方法
智能系統(tǒng)用兩種方式可視化數(shù)據(jù)。
(1)靜態(tài)分析。用戶能快速,容易的,有效的訪問數(shù)據(jù)。
(2)動態(tài)分析。用戶能自己建立視圖和透視圖,允許復雜的,靈活的訪問立方體。
質(zhì)量智能分析系統(tǒng)從投入使用以來,經(jīng)過一段時間地使用,分析已生產(chǎn)過的大量生產(chǎn)數(shù)據(jù),得出了寶貴的經(jīng)驗值,不斷優(yōu)化影響鑄坯質(zhì)量的工藝參數(shù),使鑄坯的質(zhì)量不斷提高,使企業(yè)更具有競爭力。
[1]田燕翔.《現(xiàn)代連鑄新工藝新技術(shù)與鑄坯質(zhì)量控制》.