王華偉,史天運,蔣 薈,朱 槿
WANG Hua-wei, SHI Tian-yun, JIANG Hui, ZHU Jin
(中國鐵道科學(xué)研究院?電子計算技術(shù)研究所,北京?100081)
(Institute of Computing Technology, China Academy of Railway Sciences, Beijing 100081, China)
近年來,大量現(xiàn)代化鐵路運輸設(shè)備的應(yīng)用為保障我國鐵路運輸安全有序發(fā)揮了重要作用。目前,對運輸設(shè)備狀態(tài)的管理是分專業(yè)獨立開展的,還沒有實現(xiàn)對各類運輸設(shè)備技術(shù)狀態(tài)數(shù)據(jù)統(tǒng)一采集、處理、存儲、分析和綜合應(yīng)用。因此,為實現(xiàn)鐵路運輸設(shè)備技術(shù)狀態(tài)的全面掌控和精益化管理,更好地支撐我國鐵路安全運營和智能檢修,迫切需要基于大數(shù)據(jù)技術(shù)開展鐵路運輸設(shè)備技術(shù)狀態(tài)相關(guān)技術(shù)研究,實現(xiàn)設(shè)備履歷化管理[1],提供鐵路運輸設(shè)備的全壽命周期管理、故障預(yù)測、健康管理、狀態(tài)評價等應(yīng)用服務(wù)。
大數(shù)據(jù)目前已經(jīng)成為繼網(wǎng)格計算、云計算之后最流行的 IT 行業(yè)術(shù)語。伴隨大數(shù)據(jù)技術(shù)的發(fā)展和國家政策的支持[2],圍繞大數(shù)據(jù)的技術(shù)研究及應(yīng)用研究層出不窮,涵蓋了社會中的諸多領(lǐng)域,如互聯(lián)網(wǎng)行業(yè)、電子商務(wù)、電力行業(yè)、物流行業(yè)、醫(yī)療行業(yè)、地質(zhì)行業(yè)等[3-5]。此外,我國許多學(xué)者也積極開展大數(shù)據(jù)技術(shù)在鐵路行業(yè)的應(yīng)用探索[6-7],對于推動大數(shù)據(jù)技術(shù)在鐵路領(lǐng)域的應(yīng)用具有重要價值。鐵路運輸設(shè)備按應(yīng)用特點可以分為移動設(shè)備、固定設(shè)備設(shè)施、安全監(jiān)測設(shè)備等,具體分類如表1所示。
鐵路運輸設(shè)備技術(shù)狀態(tài)數(shù)據(jù)集涵蓋了運輸設(shè)備全壽命周期內(nèi)的所有動靜態(tài)技術(shù)狀態(tài)相關(guān)信息,涉及文本、圖片、視頻、日志等各種數(shù)據(jù)類型,并隨著時間的推移,其數(shù)據(jù)量呈指數(shù)增長,這些數(shù)據(jù)具有顯著的“海量數(shù)據(jù)+復(fù)雜類型數(shù)據(jù)”的特點,符合大數(shù)據(jù)大體量 (Volume)、多樣性 (Variety)、時效性 (Velocity)、大價值 (Value) 的 4V 特征。
鐵路運輸設(shè)備技術(shù)狀態(tài)大數(shù)據(jù)平臺的設(shè)計思路概括為:基于鐵路計算機網(wǎng)絡(luò)集中搭建運輸設(shè)備技術(shù)狀態(tài)大數(shù)據(jù)平臺,將全路各專業(yè)運輸設(shè)備的動、靜態(tài)技術(shù)狀態(tài)信息 (包括履歷、檢修運用和監(jiān)測報警信息等),經(jīng)過采集、加工和規(guī)范化處理后接入平臺,從而為各級相關(guān)用戶提供運輸設(shè)備技術(shù)狀態(tài)管理大數(shù)據(jù)應(yīng)用服務(wù)。
鐵路運輸設(shè)備技術(shù)狀態(tài)大數(shù)據(jù)平臺總體架構(gòu)主要是由基礎(chǔ)設(shè)施層、數(shù)據(jù)源層、數(shù)據(jù)采集層、數(shù)據(jù)存儲層、數(shù)據(jù)分析層、數(shù)據(jù)管理層、應(yīng)用展示層、大數(shù)據(jù)標準及安全保障體系等8個部分組成,實現(xiàn)運輸設(shè)備技術(shù)狀態(tài)大數(shù)據(jù)的產(chǎn)生、聚集、分析和應(yīng)用各個階段的串聯(lián)。鐵路運輸設(shè)備技術(shù)狀態(tài)大數(shù)據(jù)平臺總體架構(gòu)如圖1所示。
(1)基礎(chǔ)設(shè)施層。主要提供大數(shù)據(jù)平臺所需的基礎(chǔ)軟硬件支撐,包括各類服務(wù)器設(shè)備、存儲設(shè)備、網(wǎng)絡(luò)設(shè)備、虛擬化設(shè)備及相關(guān)軟件等。
(2)數(shù)據(jù)源層。鐵路機務(wù)、供電、工務(wù)、電務(wù)、車輛等各專業(yè)運輸設(shè)備相關(guān)系統(tǒng)共同構(gòu)成運輸設(shè)備數(shù)據(jù)源體系,包含運輸設(shè)備技術(shù)狀態(tài)全壽命周期內(nèi)的動靜態(tài)數(shù)據(jù)。
(3)數(shù)據(jù)采集層。該層利用網(wǎng)絡(luò)技術(shù)將運輸設(shè)備技術(shù)狀態(tài)相關(guān)數(shù)據(jù)進行傳輸,并對數(shù)據(jù)進行集成、抽取、清洗及適配,實現(xiàn)對結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的全面采集及預(yù)處理。
(4)數(shù)據(jù)存儲層。通過構(gòu)建適應(yīng)不同應(yīng)用場景的大數(shù)據(jù)存儲架構(gòu),支撐對數(shù)據(jù)采集層采集到的運輸設(shè)備技術(shù)狀態(tài)數(shù)據(jù)進行融合,并進行分塊存儲。
(5)數(shù)據(jù)分析層。建立運輸設(shè)備技術(shù)狀態(tài)大數(shù)據(jù)分析計算策略,利用工作流、分析算法和模型工具等數(shù)據(jù)分析引擎組件來實現(xiàn)大數(shù)據(jù)的處理和分析,完成對運輸設(shè)計技術(shù)狀態(tài)海量數(shù)據(jù)潛在價值的挖掘分析。
表1 鐵路運輸設(shè)備按應(yīng)用特點分類表Tab.1 Classification of railway transport equipment by its application features
(6)數(shù)據(jù)管理層。主要完成對元數(shù)據(jù)、主數(shù)據(jù)、業(yè)務(wù)模型及數(shù)據(jù)質(zhì)量的管理和監(jiān)控,為平臺的數(shù)據(jù)管理及運維提供支撐。
圖1 鐵路運輸設(shè)備技術(shù)狀態(tài)大數(shù)據(jù)平臺總體架構(gòu)Fig.1 Overall architecture of big data platform for monitoring the status of railway transportation equipment
(7)應(yīng)用展示層。結(jié)合實際應(yīng)用需求,利用分析層提供的服務(wù),為用戶提供基于大數(shù)據(jù)的各類應(yīng)用展示服務(wù)。
(8)大數(shù)據(jù)標準及安全保障體系。大數(shù)據(jù)標準體系主要為相關(guān)系統(tǒng)的網(wǎng)絡(luò)互聯(lián)、信息集成、數(shù)據(jù)共享提供支撐,保證各異構(gòu)系統(tǒng)之間按統(tǒng)一的標準進行信息整合;安全保障體系主要為大數(shù)據(jù)平臺的數(shù)據(jù)安全提供可靠保障。
鐵路運輸設(shè)備技術(shù)狀態(tài)大數(shù)據(jù)平臺的主要應(yīng)用功能分為全壽命周期電子履歷、故障診斷與預(yù)測、健康評估、壽命預(yù)測、風(fēng)險識別、綜合考核評價、維修輔助決策7個功能模塊,功能說明如下[8]。
(1)全壽命周期電子履歷。按照“一單元一檔案”的管理原則,對運輸設(shè)備壽命周期內(nèi)的所有信息按照單元編碼進行有效串聯(lián),形成完整的運輸設(shè)備技術(shù)狀態(tài)電子履歷檔案。
(2)故障診斷及預(yù)測。構(gòu)建運輸設(shè)備故障診斷、故障預(yù)測模型,結(jié)合各類設(shè)備技術(shù)狀態(tài)指標參數(shù)及實時狀態(tài)數(shù)據(jù),對運輸設(shè)備故障進行及時診斷及預(yù)測。
(3)健康評估。利用大數(shù)據(jù)分析技術(shù),剖析設(shè)備狀態(tài)的關(guān)聯(lián)影響因素,綜合評價設(shè)備的健康狀態(tài)。
(4)壽命預(yù)測。綜合分析運輸設(shè)備的整體性能,進行設(shè)備壽命趨勢分析,完成對設(shè)備壽命的預(yù)測,為設(shè)備更新改造提供輔助決策支持。
(5)風(fēng)險識別。根據(jù)積累的各項指標數(shù)據(jù),挖掘分析運輸設(shè)備的安全風(fēng)險,識別安全風(fēng)險源,為風(fēng)險管理提供可靠支撐。
(6)狀態(tài)維修輔助決策。分析鐵路運輸設(shè)施設(shè)備狀態(tài)變化規(guī)律,優(yōu)化檢修維護計劃,為“計劃修”向“狀態(tài)修”的模式轉(zhuǎn)變提供決策支持。
(7)綜合考核評價。建立運輸設(shè)備綜合考核評價體系,可以按設(shè)備分類、產(chǎn)權(quán)單位、維護單位、生產(chǎn)廠家等對設(shè)備運用質(zhì)量、可靠性、穩(wěn)定性等進行綜合考核評價,運用多種可視化展示方式,為設(shè)備運用管理提供數(shù)據(jù)支撐。
1.4.1 運輸設(shè)備全壽命周期電子履歷管理流程
基于大數(shù)據(jù)的鐵路運輸設(shè)備全壽命周期電子履歷管理,需要將各類運輸設(shè)備從安裝建設(shè)時的基本信息和靜態(tài)信息,設(shè)備運用過程中的狀態(tài)動態(tài)監(jiān)測信息、檢修信息、維修養(yǎng)護信息,設(shè)備使用終止時的廢止信息等合理地采集、加工及集成,形成貫穿設(shè)備全壽命周期的電子履歷檔案信息,從而為各級部門提供運輸設(shè)備單元化電子履歷的查詢、統(tǒng)計和分析等功能。鐵路運輸設(shè)備全壽命周期電子履歷管理流程如圖2所示。
1.4.2 運輸設(shè)備狀態(tài)檢測監(jiān)控管理流程
鐵路運輸設(shè)備狀態(tài)檢測監(jiān)控管理流程的總體思路:實時檢測監(jiān)控設(shè)備關(guān)鍵技術(shù)參數(shù),綜合利用各項指標參數(shù)及相關(guān)專業(yè)檢測數(shù)據(jù)對設(shè)備故障進行分析評判,達到告警級別的設(shè)備故障給予提示,基層設(shè)備維護人員將根據(jù)提示進行故障處理及反饋,同時,設(shè)備故障處理信息將作為運輸設(shè)備技術(shù)狀態(tài)大數(shù)據(jù)中的重要內(nèi)容,為后期的故障預(yù)測及風(fēng)險分析提供信息支撐,從而形成設(shè)備狀態(tài)檢測監(jiān)控管理的閉環(huán)處置。鐵路運輸設(shè)備狀態(tài)檢測監(jiān)控管理流程如圖3所示。
圖2 鐵路運輸設(shè)備全壽命周期電子履歷管理流程圖Fig.2 Electronic management of railway transportation equipment in its whole life cycle
圖3 鐵路運輸設(shè)備狀態(tài)檢測監(jiān)控管理流程圖Fig.3 Monitoring and managing the status of railway transportation equipment
鐵路設(shè)備技術(shù)狀態(tài)大數(shù)據(jù)平臺建設(shè)的基礎(chǔ)工作之一是要確定合理的設(shè)備技術(shù)狀態(tài)管理單元,研究適應(yīng)運用、管理、維修需要的設(shè)備單元劃分方法,以保證技術(shù)狀態(tài)數(shù)據(jù)按單元化劃分進行有效集成。對于運輸設(shè)備單元劃分,采用 K 均值 (K-Means) 聚類法,現(xiàn)以電務(wù)通信設(shè)備為例進行簡要說明。假設(shè)所有要納入大數(shù)據(jù)平臺管理的通信設(shè)備的集合為 S,S1,S2,…,Sn分別表示其中各類通信設(shè)備及組件,若用 Pi1,Pi2,…,Pim表示某一通信設(shè)備技術(shù)狀態(tài)屬性,則有 S = {S1,S2,…,Si,…,Sn},其中 Si= {Pi1,Pi2,…,Pim}。
記初始化需要聚類的個數(shù)為 K,從 S 隨機選取 K 個設(shè)備作為初始的 K 個聚類的中心,設(shè)算法迭代次數(shù)為 I。S 中每個對象分配給距離它最近的聚類中心,聚類中心及分配給它們的對象就代表一個聚類。當(dāng)全部設(shè)備都完成了一次聚類,該次形成的聚類中心會根據(jù)聚類中現(xiàn)有的對象被重新計算,直到達到設(shè)定的迭代次數(shù) I。
利用該算法,可將第一次得到的聚類中心作為單元一級分類,若需要再細化分類,則利用該算法再次進行聚類,形成二級單元分類,最終完成通信設(shè)備284類通信設(shè)備的單元劃分。鐵路通信設(shè)備部分單元劃分結(jié)果如表2所示。
鐵路運輸設(shè)備大數(shù)據(jù)平臺的數(shù)據(jù)集成主要利用 ETL、文件適配器等技術(shù),融合分布式高速高可靠數(shù)據(jù)爬取技術(shù),完成運輸設(shè)備技術(shù)狀態(tài)海量的多樣化的數(shù)據(jù)采集、轉(zhuǎn)換與加載[9]。通過實時數(shù)據(jù)采集、文件數(shù)據(jù)采集、關(guān)系數(shù)據(jù)庫數(shù)據(jù)抽取、數(shù)據(jù)庫實時復(fù)制、分布式 ETL 等多個功能的封裝,實現(xiàn)平臺的數(shù)據(jù)集成,具備對實時、非實時數(shù)據(jù)的采集處理能力,為實現(xiàn)后期的數(shù)據(jù)存儲和分析奠定基礎(chǔ)。大數(shù)據(jù)采集技術(shù)示意圖如圖4所示。
表2 鐵路通信設(shè)備部分單元劃分結(jié)果Tab.2 Classification of railway communication equipment units
圖4 大數(shù)據(jù)集成技術(shù)示意圖Fig.4 Sketch map of big data integration
平臺的數(shù)據(jù)存儲面向各類型數(shù)據(jù) (結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化),以海量規(guī)模存儲、快速查詢讀取為目的,在低成本硬件 (X86)、磁盤的基礎(chǔ)上,采用分布式文件系統(tǒng)、分布式關(guān)系型數(shù)據(jù)庫、NoSQL 數(shù)據(jù)庫、關(guān)系型數(shù)據(jù)庫、內(nèi)存數(shù)據(jù)庫等目前主流技術(shù),支撐運輸設(shè)備大數(shù)據(jù)的存儲[10]。原則上,結(jié)構(gòu)化數(shù)據(jù)利用行式存儲數(shù)據(jù)庫存儲,半結(jié)構(gòu)化數(shù)據(jù)采用列式數(shù)據(jù)庫或鍵值數(shù)據(jù)庫存儲,非結(jié)構(gòu)化數(shù)據(jù)利用分布式文件系統(tǒng)存儲。數(shù)據(jù)存儲技術(shù)示意圖如圖5所示。
圖5 數(shù)據(jù)存儲技術(shù)示意圖Fig.5 Sketch map of data storage
大數(shù)據(jù)時代的到來讓海量數(shù)據(jù)變成了巨大的潛在財富,結(jié)合大數(shù)據(jù)技術(shù)開展鐵路運輸設(shè)備精細化管理與分析具有重要的現(xiàn)實意義。研究提出的平臺總體架構(gòu)、應(yīng)用功能、業(yè)務(wù)流程及關(guān)鍵技術(shù)為鐵路運輸設(shè)備技術(shù)狀態(tài)大數(shù)據(jù)平臺的搭建提供了理論指導(dǎo),鐵路運輸設(shè)計技術(shù)狀態(tài)大數(shù)據(jù)平臺的建設(shè)與應(yīng)用,將提升鐵路運輸設(shè)備管理的信息化水平,推動鐵路生產(chǎn)作業(yè)方式變革,促進鐵路運輸裝備的創(chuàng)新發(fā)展。
[1] 王華偉. 鐵路運輸設(shè)備技術(shù)狀態(tài)大數(shù)據(jù)平臺架構(gòu)研究[J]. 鐵道運輸與經(jīng)濟,2017,39(8):59-65.WANG Hua-wei. Study on Big Data Platform Framework for Technical Status of Railway Transport Equipment[J]. Railway Transport and Economy,2017,39(8):59-65.
[2] 中華人民共和國國務(wù)院. 促進大數(shù)據(jù)發(fā)展行動綱要:國發(fā)(2015)50號[A]. 北京:中華人民共和國國務(wù)院,2015.
[3] 彭小圣,鄧迪元,程時杰,等. 面向智能電網(wǎng)應(yīng)用的電力大數(shù)據(jù)關(guān)鍵技術(shù)[J]. 中國電機工程學(xué)報,2015(3):503-511.PENG Xiao-sheng,DENG Di-yuan,CHENG Shi-jie,et a1. Key Technologies of Electric Power Big Data and Its Application Prospects in Smart Grid[J]. Proceedings of the CSEE,2015(3):503-511.
[4] 武方方. 基于大數(shù)據(jù)的物流配送中心選址優(yōu)化研究[D]. 合肥:合肥工業(yè)大學(xué),2015.
[5] 湯 煬. 基于大數(shù)據(jù)的醫(yī)院財務(wù)管理與決策系統(tǒng)的設(shè)計與開發(fā)[D]. 西安:第四軍醫(yī)大學(xué),2013.
[6] 史天運,劉 軍,李 平,等. 鐵路大數(shù)據(jù)平臺總體方案及關(guān)鍵技術(shù)研究[J]. 鐵路計算機應(yīng)用,2016,25(9):1-6.SHI Tian-yun,LIU Jun,LI Ping,et al. Overall Scheme and Key Technologies of Big Data Platform for China Railway[J].Railway Computer Application,2016,25(9):1-6.
[7] 馬小寧,李 平,史天運. 鐵路大數(shù)據(jù)應(yīng)用體系架構(gòu)研究[J]. 鐵路計算機應(yīng)用,2016,25(9):7-13.MA Xiao-ning,LI Ping,SHI Tian-yun et a1. System Framework of Railway Big Data Application Platform for China Railway[J]. Railway Computer Application,2016,25(9):7-13.
[8] 王華偉. 鐵路批量零散快運計量安全檢測應(yīng)用技術(shù)方案研究[J]. 鐵道貨運,2016,36(7):42-47.WANG Hua-wei. Study on Technical Program of Measurement and Load Monitoring Application for Railway Batch Bulk Cargo Express[J]. Railway Freight Transport,2016,36(7):42-47.
[9] 張少敏,毛 冬,王保義. 大數(shù)據(jù)處理技術(shù)在風(fēng)電機組齒輪箱故障診斷與預(yù)警中的應(yīng)用[J]. 電力系統(tǒng)自動化,2016,40(14):129-134.ZHANG Shao-min,MAO Dong,WANG Bao-yi. Application of Big Data Processing Technology in Fault Diagnosis and Early Warning of Wind Turbine Gearbox[J]. Automation of Electric Power Systems,2016,40(14):129-134.
[10] 李 婧,陳建平,王 翔. 地質(zhì)大數(shù)據(jù)存儲技術(shù)[J]. 地質(zhì)通報,2015(8):1589-1594.LI Jing,CHEN Jian-ping,WANG Xiang. A Study of The Storage Technology of Geological Big Data[J]. Geological Bulletin of China,2015(8):1589-1594.