于志強 王齊興

摘 要：針對上海市食品安全相關(guān)規(guī)定，安裝在餐飲企業(yè)的油水分離裝置的各類數(shù)據(jù)必須進行實時監(jiān)控與處理。為了實現(xiàn)監(jiān)管部門的自動化數(shù)據(jù)監(jiān)測處理要求，從總體系統(tǒng)架構(gòu)、網(wǎng)絡(luò)拓撲、數(shù)據(jù)流向、數(shù)據(jù)生命周期方面進行了研究，探討基于大數(shù)據(jù)挖掘的餐飲業(yè)油水分離器監(jiān)測系統(tǒng)的軟件設(shè)計，實現(xiàn)在線監(jiān)測與報警等功能，依托大數(shù)據(jù)挖掘技術(shù)解決傳統(tǒng)管理監(jiān)測中的數(shù)據(jù)定位搜尋處理費時費力、成本高效率低等問題，為環(huán)保部門對餐飲企業(yè)的長效管理提供平臺支持及執(zhí)法依據(jù)。

關(guān)鍵詞：油水分離器；在線監(jiān)測；大數(shù)據(jù)；軟件設(shè)計

中圖分類號：TP277 文獻標(biāo)識碼：A

Based on the Big Data Mining Technology for the Design of Catering

Oil Water Separator Monitoring System

YU Zhiqiang1，WANG Qixing2

（1.Shanghai Institute of Measurement and Testing Technology，Shanghai 200233，China；

2.Industrial and Commercial Bank of China Ltd.Software Development Center，Shanghai 201206，China）

Abstract：According to the relevant Shanghai Food Safety provisions，various types of data of the Oil-water separators in the catering companies must be real-timely monitored and processed.In order to realize the auto data monitoring and processing requirement of the regulatory authorities，the system architecture，system network topology， system data flow and data lifecycle management have been studied to design the catering oil water separator monitoring system based on the big data mining technology and realize the online monitoring and alarm function.Relying on big data technologythis system could solve the problem of traditional data processing such as time consuming in data searching and locating，high cost and low efficiency and also could provide the environmental protection department with a platform which can supervise those catering companies and provide law enforcement basis.

Keywords：oil water separator；online monitoring；big data；software design

1 引言（Introduction）

隨著日益加劇的環(huán)境污染，以及預(yù)防“地溝油”回流餐桌問題，上海市于2012年底頒布了97號令《上海市餐廚廢棄油脂處理管理辦法》，規(guī)定了在本市經(jīng)營的餐飲企業(yè)必須安裝使用油水分離器，截止2015年初，上海地區(qū)的相關(guān)餐飲單位幾乎都安裝了油水分離設(shè)備。但由于油水分離設(shè)備數(shù)量龐大、覆蓋面廣，各地對餐飲油水的環(huán)境監(jiān)測又停留在手工階段。監(jiān)測范圍有限，難以達到實時超標(biāo)報警的要求，故近期上海市食品安全相關(guān)職能部門已對油水分離器的使用情況提出了在線監(jiān)管要求，急需設(shè)計一套軟件系統(tǒng)能實時監(jiān)測查詢及處理數(shù)據(jù)，以解決當(dāng)年餐飲油水監(jiān)管中面臨的問題。

本文設(shè)計構(gòu)建的餐飲企業(yè)油水分離器實時監(jiān)測系統(tǒng)，可以實時獲取各家餐飲企業(yè)的油水分離器的使用情況等相關(guān)數(shù)據(jù)，同時依托大數(shù)據(jù)挖掘技術(shù)，對相關(guān)數(shù)據(jù)進行數(shù)據(jù)挖掘分析，提供以下各類功能供相關(guān)政府職能部門使用[1]：

（1）企業(yè)油水分離器實時監(jiān)控數(shù)據(jù)、歷史監(jiān)控數(shù)據(jù)查詢功能。

（2）提供監(jiān)控數(shù)據(jù)閥值的設(shè)定，對于高于閥值的情況提供報警功能。

（3）提供基于歷史數(shù)據(jù)趨勢分析的預(yù)報警功能。

（4）提供不同地域、不同餐飲類別、不同餐飲規(guī)模企業(yè)間的數(shù)據(jù)比較分析功能[2]。

（5）提供新增餐飲企業(yè)油水分離器選型推薦功能。

（6）針對多方職能部門個性化聯(lián)合執(zhí)法的定制功能。

2 系統(tǒng)總體架構(gòu)（System architecture）

圖1 系統(tǒng)總體構(gòu)架圖

Fig.1 System overall architecture diagram

2.1 系統(tǒng)主要構(gòu)件

系統(tǒng)主要構(gòu)件分為智能傳感器、前置機、系統(tǒng)主機、WEB服務(wù)器，如圖1所示。

（1）智能傳感器：安裝于餐飲企業(yè)的油水分離器；主要功能為實時獲取并傳輸該油水分離器的型號編號、實時油污處理水中含油率、水中懸浮物SS、COD、BOD等[3]。

（2）前置機：接受智能傳感器傳輸過來的模擬信號，并將之轉(zhuǎn)換為數(shù)據(jù)信號，并經(jīng)過系統(tǒng)處理后形成數(shù)據(jù)文件形式傳輸給系統(tǒng)主機。

（3）其他相關(guān)系統(tǒng)：政府內(nèi)部網(wǎng)絡(luò)中的其他系統(tǒng)的主機數(shù)據(jù)，例如餐飲企業(yè)的營業(yè)額、客流量、法人代表、公司地址等數(shù)據(jù)[4]?？梢院捅鞠到y(tǒng)進行數(shù)據(jù)交換。

（4）系統(tǒng)主機：為該系統(tǒng)核心數(shù)據(jù)處理部分。主要接受前置機傳輸過來的油水分離器的實時數(shù)據(jù)、并可以和其他內(nèi)部網(wǎng)絡(luò)中相關(guān)系統(tǒng)的進行數(shù)據(jù)交換等，同時可以接受用戶從WEB服務(wù)器傳輸過來的相關(guān)數(shù)據(jù)的錄入，例如用戶手工錄入的餐飲企業(yè)規(guī)模、油水分離器不達標(biāo)閥值等相關(guān)信息[5]。系統(tǒng)主機將這些數(shù)據(jù)分門別類進行存儲、加工、分析。

（5）WEB服務(wù)器：負責(zé)在用戶和系統(tǒng)主機之間進行數(shù)據(jù)交換。

（6）用戶：本系統(tǒng)采用B/S架構(gòu)，用戶可以通過任何一臺PC電腦端IE接入系統(tǒng)。

2.2 業(yè)務(wù)架構(gòu)風(fēng)險控制策略

（1）通過系統(tǒng)內(nèi)提供的統(tǒng)一的用戶認證機制控制用戶的合法性。

（2）系統(tǒng)對每個用戶開設(shè)不同的訪問權(quán)限。

（3）對于用戶查詢的內(nèi)容、手工錄入的內(nèi)容、時間以及其他系統(tǒng)管理的操作行為等記錄日志。

3 系統(tǒng)網(wǎng)絡(luò)拓撲結(jié)構(gòu)（System network topology）

圖2 系統(tǒng)網(wǎng)絡(luò)拓撲圖

Fig.2 System network topology

本系統(tǒng)在網(wǎng)絡(luò)拓撲結(jié)果方面分為三層，第一層：外部網(wǎng)絡(luò)；第二層：內(nèi)部網(wǎng)絡(luò)；第三層：辦公網(wǎng)絡(luò)。如圖2所示。

外部網(wǎng)絡(luò)和內(nèi)部網(wǎng)絡(luò)、辦公網(wǎng)絡(luò)之前依靠防火墻進行隔離；內(nèi)部網(wǎng)絡(luò)和辦公網(wǎng)絡(luò)之間依靠網(wǎng)絡(luò)策略配置進行隔離，即內(nèi)部網(wǎng)絡(luò)可以修改系統(tǒng)程序等而辦公網(wǎng)絡(luò)不能修改程序，只能通過IE端訪問系統(tǒng)。

智能傳感器位于外部網(wǎng)絡(luò)，通過電信加密網(wǎng)絡(luò)連接前置機。

前置機、系統(tǒng)主機、WEB服務(wù)器等位于內(nèi)部網(wǎng)絡(luò)，通過內(nèi)網(wǎng)進行數(shù)據(jù)交換。

客戶位于辦公網(wǎng)絡(luò)，通過PC端IE接入內(nèi)部網(wǎng)絡(luò)中的統(tǒng)一用戶認證機制，認證通過后，進入系統(tǒng)訪問，無法變更系統(tǒng)程序。

4 系統(tǒng)數(shù)據(jù)流介紹（Introduction of system data

flow）

本系統(tǒng)數(shù)據(jù)流向主要分為數(shù)據(jù)源、數(shù)據(jù)挖掘、數(shù)據(jù)獲取三個部分，如圖3所示。

圖3 系統(tǒng)數(shù)據(jù)流向圖

Fig.3 System data flow diagram

4.1 數(shù)據(jù)源

數(shù)據(jù)源為本系統(tǒng)獲取數(shù)據(jù)的主要來源，分為三大部分。

第一部分為油水分離器側(cè)的智能傳感器獲取的關(guān)于該油水分離器的型號、油污處理等方面的數(shù)據(jù)，該數(shù)據(jù)由前置機將模擬信號轉(zhuǎn)換為數(shù)字信號，并經(jīng)過系統(tǒng)處理后，形成數(shù)據(jù)文件形式傳輸給系統(tǒng)數(shù)據(jù)挖掘?qū)印?/p>

第二部分為內(nèi)部網(wǎng)絡(luò)中其他相關(guān)系統(tǒng)和本系統(tǒng)交互的數(shù)據(jù)，例如餐飲企業(yè)的營業(yè)額、客流量、法人代表、公司地址等數(shù)據(jù)。該數(shù)據(jù)也以數(shù)據(jù)文件形式傳輸給系統(tǒng)數(shù)據(jù)挖掘?qū)印?/p>

第三部分為用戶通過IE界面手工輸入系統(tǒng)的相關(guān)數(shù)據(jù)，該部分數(shù)據(jù)直接進入數(shù)據(jù)挖掘?qū)拥臄?shù)據(jù)庫表中。

4.2 數(shù)據(jù)挖掘

數(shù)據(jù)挖掘是本系統(tǒng)的核心處理層。主要分為數(shù)據(jù)清理層（ODS）、數(shù)據(jù)轉(zhuǎn)換層（STG）、數(shù)據(jù)存儲層（DW）、數(shù)據(jù)集市以及數(shù)據(jù)展示層（DM）。主要采用ETL（清洗、轉(zhuǎn)換、加載）的模式對數(shù)據(jù)進行抽取處理。

數(shù)據(jù)清理層（ODS）主要是對源數(shù)據(jù)進行初步判斷，剔除垃圾數(shù)據(jù)。智能傳感器的相關(guān)數(shù)據(jù)以及內(nèi)部網(wǎng)絡(luò)中其他系統(tǒng)的數(shù)據(jù)都是通過數(shù)據(jù)文件形式提供，相關(guān)數(shù)據(jù)在格式、閾值等方面有可能存在各種各樣的誤差，也有可能出現(xiàn)一些系統(tǒng)不需要的垃圾數(shù)據(jù)。系統(tǒng)通過在數(shù)據(jù)清理層提前設(shè)置數(shù)據(jù)校驗規(guī)則的方式，在數(shù)據(jù)進入數(shù)據(jù)庫之前，對存在誤差的數(shù)據(jù)進行甑別，符合校驗規(guī)則的數(shù)據(jù)進入數(shù)據(jù)轉(zhuǎn)換層（STG），不符合校驗規(guī)則的數(shù)據(jù)進入錯誤數(shù)據(jù)表。錯誤數(shù)據(jù)表提供管理員用戶通過IE界面前臺進行查詢，對于實際正確但是又進入錯誤數(shù)據(jù)表的數(shù)據(jù)，管理員用戶可以在前臺通過手工觸發(fā)，使這些數(shù)據(jù)直接進入數(shù)據(jù)轉(zhuǎn)換層（STG）。

對于用戶通過IE界面手工輸入系統(tǒng)的相關(guān)數(shù)據(jù)，在IE界面輸入框處即設(shè)定相關(guān)校驗規(guī)則，使不符合校驗規(guī)則的內(nèi)容無法輸入。這部分數(shù)據(jù)將直接進入數(shù)據(jù)轉(zhuǎn)換層（STG）。

數(shù)據(jù)轉(zhuǎn)換層（STG）主要是對經(jīng)過清洗后的相關(guān)數(shù)據(jù)進行數(shù)據(jù)轉(zhuǎn)換操作。從不同渠道獲取的數(shù)據(jù)可能存在著相同意義，但是計量單位不同的情況，或者不同的系統(tǒng)對于某些分類信息擁有獨特的字典值信息，在跨系統(tǒng)使用時，需要根據(jù)不同的字典值表先進行數(shù)據(jù)還原，再進行根據(jù)統(tǒng)一的規(guī)則進行轉(zhuǎn)換，以上等等各類不同的情況都需要通過在數(shù)據(jù)轉(zhuǎn)換層（STG）設(shè)置轉(zhuǎn)換法則，通過不同的轉(zhuǎn)換法則，將跨系統(tǒng)的數(shù)據(jù)進行轉(zhuǎn)換梳理，最終形成統(tǒng)一的標(biāo)準(zhǔn)和規(guī)范，再進入數(shù)據(jù)存儲層（DW）。

數(shù)據(jù)存儲層（DW）主要是存儲已經(jīng)經(jīng)過清理和轉(zhuǎn)換的數(shù)據(jù)。例如油水分離器性能DW表，可以存儲油水分離器ID，型號，性能指標(biāo)1，性能指標(biāo)2，等等不同維度的數(shù)據(jù)，油水分離器實時監(jiān)測數(shù)據(jù)DW表，可以存儲油水分離器ID，使用企業(yè)，使用年限，性能指標(biāo)1，性能指標(biāo)2，等等不同維度的數(shù)據(jù)。對于本系統(tǒng)實時監(jiān)測功能所需要的數(shù)據(jù)表的表結(jié)構(gòu)主要參考源系統(tǒng)的表結(jié)構(gòu)進行數(shù)據(jù)的存儲，并且根據(jù)各數(shù)據(jù)表主鍵，以及IE界面的展現(xiàn)要求，進行初步的數(shù)據(jù)表之間的合并，以加快IE界面顯示的速度。對于所有在數(shù)據(jù)存儲層（DW）的數(shù)據(jù)表都進行按主題的初步分類后，進入數(shù)據(jù)集市存儲。

數(shù)據(jù)集市是本系統(tǒng)的核心數(shù)據(jù)存儲模塊，支持所有本系統(tǒng)數(shù)據(jù)挖掘，在線分析等功能，主要存儲按主題分類后的數(shù)據(jù)模型，每個數(shù)據(jù)模型按照日期、地區(qū)、代碼、維度1，維度2，維度3，數(shù)值1，數(shù)值2，數(shù)值3等，進行相關(guān)數(shù)據(jù)的存儲。數(shù)據(jù)集市中的數(shù)據(jù)可以看做是一個專門存儲數(shù)據(jù)的倉庫，且不同的數(shù)據(jù)按照不同的主題分門別類的放置在不同的容器中，每個容器中存儲最基礎(chǔ)的數(shù)據(jù)信息，容器和容器之間可以通過主鍵信息相關(guān)聯(lián)，以形成進一步詳細的數(shù)據(jù)信息供數(shù)據(jù)挖掘、分析使用。數(shù)據(jù)集市中的數(shù)據(jù)按時間進行分區(qū)存儲，以便于更迅速的實現(xiàn)數(shù)據(jù)的讀取。

數(shù)據(jù)展示層（DM）是連接用戶請求和數(shù)據(jù)集市之間的橋梁[6]。根據(jù)用戶查詢的條件，數(shù)據(jù)集市負責(zé)對原始數(shù)據(jù)進行分析、處理后，進入數(shù)據(jù)展示層（DM），供用戶展現(xiàn)使用。可以將數(shù)據(jù)展示層看成是一個視圖的形式，作為一個緩沖帶，這樣可以避免用戶直接查詢數(shù)據(jù)集市中的數(shù)據(jù)，對數(shù)據(jù)集市中的數(shù)據(jù)造成無意的篡改、鎖表等行為，同時，數(shù)據(jù)展示層還能起到緩存的作用，即如果不同的用戶先后提交相同的查詢條件，后一次查詢可以不再讀取數(shù)據(jù)集市的數(shù)據(jù)，不再需要數(shù)據(jù)集市再次進行分析處理，可以直接從數(shù)據(jù)展示層讀取數(shù)據(jù)展現(xiàn)給用戶，這樣進一步提高了系統(tǒng)的負荷和使用效率。

4.3 數(shù)據(jù)獲取

數(shù)據(jù)獲取這部分內(nèi)容主要是由用戶在IE前臺發(fā)起數(shù)據(jù)查詢，用戶可以根據(jù)前臺提供的各個功能模塊的菜單，各個菜單底下不同的篩選條件選取不同的數(shù)據(jù)進行查詢。主要通過數(shù)據(jù)挖掘?qū)拥臄?shù)據(jù)展示層（DM）進行數(shù)據(jù)緩沖作用，用戶不直接與數(shù)據(jù)庫底層的數(shù)據(jù)集市進行數(shù)據(jù)交互，而通過數(shù)據(jù)展示層（DM）進行數(shù)據(jù)交互，可以起到隔離、緩存記憶、提交查詢效率等作用。

4.4 本系統(tǒng)數(shù)據(jù)流向的設(shè)計優(yōu)勢

（1）將數(shù)據(jù)分層次進行處理。數(shù)據(jù)清理層（ODS）、數(shù)據(jù)轉(zhuǎn)換層（STG）每一層都有各自的功能，將數(shù)據(jù)的分析處理分層次進行，層與層之間互不干擾，將數(shù)據(jù)一步一步深入的進行分析處理后，最終進入到數(shù)據(jù)集市進行集中存儲保存。

（2）使用數(shù)據(jù)集市的概念，在數(shù)據(jù)集市中將數(shù)據(jù)分類保存，按時間分區(qū)，形成大數(shù)據(jù)存儲的數(shù)據(jù)資產(chǎn)。

（3）使用數(shù)據(jù)展示層（DM）作為緩存帶，隔離用戶使用和數(shù)據(jù)集市，保護數(shù)據(jù)集市中的數(shù)據(jù)的完整性，同時緩存相同查詢條件的數(shù)據(jù)，提高數(shù)據(jù)查詢速度，提升用戶體驗。

5 數(shù)據(jù)生命周期管理（Data lifecycle management）

對于本系統(tǒng)中各個層次的數(shù)據(jù)采用不同的數(shù)據(jù)生命周期管理策略。詳見表1。

對于數(shù)據(jù)清理表（ODS）的數(shù)據(jù)不進行保留，即在每一張數(shù)據(jù)表每次清洗完成相關(guān)數(shù)據(jù)之后，立即做清空數(shù)據(jù)表的操作。

對于錯誤數(shù)據(jù)表的數(shù)據(jù)保留1個月。超過保留期限的數(shù)據(jù)，由系統(tǒng)主動清理。

對于數(shù)據(jù)轉(zhuǎn)換表（STG）的數(shù)據(jù)不進行保留，即在完成當(dāng)天的數(shù)據(jù)轉(zhuǎn)換任務(wù)后，立即對數(shù)據(jù)表進行清空操作。

對于數(shù)據(jù)集市的數(shù)據(jù)保留5年。超過保留期限的數(shù)據(jù)，由系統(tǒng)維護人員將數(shù)據(jù)備份到磁帶。

對于數(shù)據(jù)展示層（DM）根據(jù)實際情況進行保留，通過前臺設(shè)置‘清空臨時表的功能[7]，由系統(tǒng)管理員觸發(fā)對數(shù)據(jù)展示層的數(shù)據(jù)的清空，日常不安排系統(tǒng)做主動清理[8]。

6 結(jié)論（Conclusion）

通過本系統(tǒng)的建設(shè)和使用，可以實現(xiàn)對餐飲企業(yè)油水分離器現(xiàn)狀的實時監(jiān)控功能，且通過報警功能，減少相關(guān)職能部門全面檢查產(chǎn)生的繁重的工作量以及隨機抽檢帶來的隨機性較高的現(xiàn)象[9]，進一步優(yōu)化政府職能部門的人員配置，高效解決環(huán)境污染的在線監(jiān)管問題。而且，系統(tǒng)通過大數(shù)據(jù)的挖掘技術(shù)，提供行業(yè)的發(fā)展趨勢，對于將要但還未出現(xiàn)問題的企業(yè)提供預(yù)先報警功能，使問題可以被提前發(fā)現(xiàn)，并進行干預(yù)，達到防患于未然的目的，更進一步提高相關(guān)部門的有效監(jiān)管的能力。同時系統(tǒng)提供的分析報表，可以供相關(guān)負責(zé)人更便捷的進行戰(zhàn)略分析和判斷。系統(tǒng)可移植性好，可方便用作其他對象的監(jiān)測。

參考文獻（References）

[1] 李暢，溫貽芳.基于人才培養(yǎng)狀態(tài)數(shù)據(jù)平臺智能化動態(tài)儀表盤的開發(fā)與應(yīng)用研究[J].軟件工程師，2014，3：40-43.

[2] 田雪詠，等.一類通用的裝甲裝備自動測試系統(tǒng)體系結(jié)構(gòu)[J].計算機測量與控制，2011，19（7）：1647-1649.

[3] 周發(fā)武，鮑建國.環(huán)境自動監(jiān)控系統(tǒng)技術(shù)與管理[M].北京：中國環(huán)境出版社，2007，9：18-36.

[4] 黃鑫，等.數(shù)字電路板自動測試與故障診斷系統(tǒng)的設(shè)計與實現(xiàn)[J].計算機測量與控制，2010，18（7）：1512-1514.

[5] 孫福生，朱英存，張俊強.環(huán)境監(jiān)測[M].北京：化學(xué)工業(yè)出版社，2007（7）：309-312.

[6] 張海藩.軟件工程導(dǎo)論（第5版）[M].北京：清華大學(xué)出版社，2008.

[7] 王珊.數(shù)據(jù)庫系統(tǒng)概論[M].北京：高等教育出版社，2006.

[8] 葉小杰，等.自動測試系統(tǒng)中的儀器設(shè)備驅(qū)動通用封裝研究[J].計算機測量與控制，2011，19（4）：975-977.

[9] 張姁，等.雷達電路板自動測試診斷平臺的研制[J].計算機測量與控制，2008，16（8）：1136-1137；1168.