基于大數(shù)據(jù)的鐵路基礎設施檢測監(jiān)測數(shù)據(jù)管理分析服務平臺設計與實現(xiàn)

陶凱 郭奇園 代春平

1.中國鐵道科學研究院集團有限公司基礎設施檢測研究所，北京100081；2.北京鐵科英邁技術有限公司，北京100081

世界各國鐵路系統(tǒng)正積極探索利用大數(shù)據(jù)、人工智能等新一代信息技術，期望大幅提升鐵路運輸組織效率效益、優(yōu)化客貨運輸服務品質(zhì)和提高鐵路運輸安全水平。德國提出鐵路數(shù)字化戰(zhàn)略（鐵路4.0），以提升乘客滿意度為目標，通過建設統(tǒng)一的數(shù)據(jù)服務平臺實現(xiàn)對經(jīng)營狀況和設備故障的精準分析。瑞士提出SmartRail4.0戰(zhàn)略，意圖進一步提高鐵路系統(tǒng)運輸能力和安全性，有效維護和利用基礎設施，長期保持瑞士鐵路的競爭力［1］。荷蘭利用物聯(lián)網(wǎng)技術監(jiān)測鐵路基礎設施運營狀況，綜合運用大數(shù)據(jù)和人工智能技術預測基礎設施服役狀態(tài)的變化趨勢，提出預防和修理建議［2-3］。提高檢測監(jiān)測數(shù)據(jù)的資產(chǎn)管理和深度挖掘能力，持續(xù)優(yōu)化基礎設施運營維護管理體系，實現(xiàn)基礎設施運營安全和維護成本可控，已成為世界各國鐵路基礎設施運營維護可持續(xù)發(fā)展的共識和必由之路。

隨著我國鐵路運營維護技術的快速發(fā)展，逐漸構建了移動周期檢測、固定在線監(jiān)測、現(xiàn)場人工檢查等方式于一體的鐵路基礎設施檢測監(jiān)測技術體系。近十年積累了海量的基礎設施運營狀態(tài)檢測監(jiān)測數(shù)據(jù)，涵蓋軌道、鋼軌、橋梁、路基、隧道、接觸網(wǎng)、通信、信號等專業(yè)，包括非結構化原始數(shù)據(jù)和結構化數(shù)據(jù)。這些數(shù)據(jù)對于鐵路基礎設施健康管理具有很高的應用價值，但其存儲管理和分析應用的技術不夠完善，導致無法完全發(fā)揮出其應用價值［4］。因此，有必要面向鐵路基礎設施綜合一體化檢測監(jiān)測體系構建統(tǒng)一的檢測監(jiān)測數(shù)據(jù)管理分析服務平臺，提供檢測監(jiān)測數(shù)據(jù)的統(tǒng)一接入（傳輸）、存儲、治理、共享等數(shù)據(jù)管理業(yè)務，同時基于標準化算法的注冊管理和調(diào)度應用支持檢測監(jiān)測數(shù)據(jù)的自動化處理和智能化分析，為檢測監(jiān)測數(shù)據(jù)分析技術創(chuàng)新提供開放的孵化生態(tài)環(huán)境。

1 技術架構

在數(shù)據(jù)存儲管理方面，既有業(yè)務系統(tǒng)相對獨立，形成了專業(yè)范圍的信息孤島，且傳統(tǒng)采用文件傳輸協(xié)議（File Transfer Protocol，F(xiàn)TP）的文件管理模式不能適應海量數(shù)據(jù)高效、安全的共享服務，導致數(shù)據(jù)資源難以共享，綜合應用難以展開，整體效益難以發(fā)揮。

在數(shù)據(jù)分析效率方面，各專業(yè)管理信息系統(tǒng)眾多且相互獨立，數(shù)據(jù)訪問接口、分析算法、結果展示功能重復開發(fā)；數(shù)據(jù)處理分析算法版本管理困難，針對不同系統(tǒng)業(yè)務需求的算法接口不一致；非結構化數(shù)據(jù)缺少批量處理能力，數(shù)據(jù)分析時效性難以保證；不能有效支持非結構化數(shù)據(jù)的共享開放，權限及數(shù)據(jù)安全無法得到保障［5-6］。

鑒于以上問題，以模塊化、標準化、服務化、平臺化、架構易擴展為指導方針，以構建共享服務生態(tài)為中心思想，采用分層設計，堅持高內(nèi)聚、低耦合、漸進性原則，設計了鐵路基礎設施檢測監(jiān)測數(shù)據(jù)管理分析服務平臺（簡稱平臺）。平臺包括數(shù)據(jù)層和服務層，技術架構如圖1所示。

圖1 平臺技術架構

數(shù)據(jù)層對接各專業(yè)檢測監(jiān)測數(shù)據(jù)系統(tǒng)，具備靈活、可伸縮拓展的數(shù)據(jù)接收能力；將各專業(yè)信息系統(tǒng)數(shù)據(jù)和外部相關數(shù)據(jù)進行分類存儲和有效組織，完成多渠道數(shù)據(jù)信息整合；不僅存儲管理時序數(shù)據(jù)、圖像數(shù)據(jù)、結構化數(shù)據(jù)等各類檢測監(jiān)測數(shù)據(jù)，還引入基礎臺賬數(shù)據(jù)、外部數(shù)據(jù)（維修數(shù)據(jù)、運輸數(shù)據(jù)、環(huán)境數(shù)據(jù)等），為數(shù)據(jù)集成分析提供全業(yè)務、全類型的數(shù)據(jù)信息資源。服務層為各業(yè)務應用提供數(shù)據(jù)批量處理、智能化數(shù)據(jù)處理、算法模型管理、標準化數(shù)據(jù)服務接口等能力，全面支撐基礎設施檢測監(jiān)測數(shù)據(jù)統(tǒng)計、故障診斷、趨勢預警、狀態(tài)評價、維修決策等工作。

2 關鍵技術

在數(shù)據(jù)分類存儲、高效檢索、大數(shù)據(jù)組件整合、平臺界面優(yōu)化、資源利用與部署等方面采用高新且成熟穩(wěn)定的信息技術，構建新一代數(shù)據(jù)管理平臺，便于日后進行平臺升級改造，保證平臺的長久運轉。平臺關鍵技術如圖2所示。

圖2 平臺關鍵技術

2.1 數(shù)據(jù)分類存儲技術

平臺支持多源異構的數(shù)據(jù)存儲。采用關系型數(shù)據(jù)庫（OracleDB）存儲結構化原始數(shù)據(jù)；采用分布式文件存儲非結構化原始數(shù)據(jù)；采用NoSQL數(shù)據(jù)庫（MongoDB）存儲非結構化分析結果文件；采用基于Hadoop分布式文件系統(tǒng)（Hadoop Distributed File System，HDFS）的數(shù)據(jù)倉庫（Hive）存儲面向主題的結構化分析結果數(shù)據(jù)；采用關系型數(shù)據(jù)庫（MySQL）存儲面向分析的結構化分析結果數(shù)據(jù)；采用時序數(shù)據(jù)庫（InfluxDB）存儲時間序列的高頻分析結果數(shù)據(jù)［7-8］。

2.2 數(shù)據(jù)高效檢索技術

通過Elasticsearch解決分布式、高擴展、高實時的搜索與數(shù)據(jù)分析需求，使大量檢測監(jiān)測數(shù)據(jù)具有搜索、分析、探索能力，實現(xiàn)平臺檢測監(jiān)測數(shù)據(jù)全生命周期管理及高效全文檢索。充分利用Elasticsearch的水平伸縮性，提高數(shù)據(jù)的價值。Elasticsearch的實現(xiàn)原理為：首先用戶將數(shù)據(jù)提交到Elasticsearch數(shù)據(jù)庫中，再通過分詞控制器將對應的語句分詞，將其權重和分詞結果一并存入數(shù)據(jù)庫；用戶搜索數(shù)據(jù)時，再根據(jù)權重將結果排名、打分；最后將返回結果呈現(xiàn)給用戶［9］。

2.3 大數(shù)據(jù)組件整合技術

通過Spring Cloud對平臺開發(fā)過程中使用的大數(shù)據(jù)相關組件進行有效整合，實現(xiàn)服務的高可用性，提高平臺穩(wěn)定性。Spring Cloud為平臺提供了微服務開發(fā)所需的配置管理、服務發(fā)現(xiàn)、斷路器、智能路由、微代理、控制總線、全局鎖、決策競選、分布式會話、集群狀態(tài)管理等組件。與Spring Boot框架一同使用可以使開發(fā)微服務架構的云服務非常便捷［10］。

2.4 平臺界面優(yōu)化技術

通過Vue構建用戶界面的漸進式框架，優(yōu)化平臺界面展示效果，提升用戶體驗。與其他重量級框架不同，Vue作為漸進式框架，采用自底向上增量開發(fā)的設計。Vue的核心庫只關注視圖層，易學習，易與其他庫或已有項目整合；Vue完全有能力驅動采用單文件組件和Vue生態(tài)系統(tǒng)支持的庫開發(fā)的復雜單頁應用，通過簡單的API（Application Programming Interface）實現(xiàn)響應的數(shù)據(jù)綁定和組合視圖組件［11］。

2.5 平臺資源利用與部署技術

采用K8S+Docker的容器化管理策略和基于YARN（Yet Another Resource Negotiator）的資源調(diào)度管理器實現(xiàn)應用負載及平臺資源調(diào)度管理，實現(xiàn)更高效的平臺資源利用、更便捷的可持續(xù)部署工作。Docker在容器的基礎上進行了平臺功能組件的進一步封裝，從文件系統(tǒng)、網(wǎng)絡互聯(lián)到進程隔離等，極大地簡化了容器的創(chuàng)建和維護［12］。

3 主要功能

平臺支持多源異構數(shù)據(jù)歸集、存儲、治理和共享能力，以及數(shù)據(jù)處理分析算法的注冊管理和調(diào)度應用，為故障診斷、趨勢預測、狀態(tài)評價等智能分析業(yè)務提供平臺支撐。平臺功能架構如圖3所示。

圖3 平臺功能架構

3.1 數(shù)據(jù)匯聚

平臺支持多源異構數(shù)據(jù)、多類型的數(shù)據(jù)接入及多種協(xié)議的數(shù)據(jù)接入；支持數(shù)據(jù)匯聚過程的日志管理，對日志進行可視化展示，以便監(jiān)控采集的整個過程。數(shù)據(jù)歸集涵蓋基礎設施臺賬（主數(shù)據(jù)）和檢測監(jiān)測數(shù)據(jù)，后者按照數(shù)據(jù)來源可分為移動檢測數(shù)據(jù)、固定在線監(jiān)測數(shù)據(jù)、現(xiàn)場小型儀器檢查或人工觀測數(shù)據(jù)。

3.2 數(shù)據(jù)存儲

對于結構化數(shù)據(jù)（結構化檢測監(jiān)測數(shù)據(jù)、偏差數(shù)據(jù)、臺賬數(shù)據(jù)、元數(shù)據(jù)等），其中結構化檢測監(jiān)測數(shù)據(jù)、偏差數(shù)據(jù)、元數(shù)據(jù)等通常會有修改要求，要具備事務處理能力，采用關系型數(shù)據(jù)庫（如Oracle、MySQL）進行數(shù)據(jù)存儲。對于半結構化二進制文件，如各類檢測車檢測的原始波形文件，會有高頻處理分析需求，采用時序數(shù)據(jù)庫（InfluxDB）進行數(shù)據(jù)存儲。對于圖像、視頻、文檔類非結構化數(shù)據(jù)，由于數(shù)據(jù)量較大，采用分布式文件存儲和NoSQL數(shù)據(jù)庫（MongoDB）進行存儲。

3.3 數(shù)據(jù)治理

通過匯聚各類型檢測監(jiān)測數(shù)據(jù)生成元數(shù)據(jù)信息，形成檢測監(jiān)測數(shù)據(jù)資產(chǎn)目錄。根據(jù)不同數(shù)據(jù)源的特點，規(guī)范化數(shù)據(jù)文件格式、編碼規(guī)則，配合元數(shù)據(jù)實現(xiàn)數(shù)據(jù)標準化治理。以后續(xù)自動化分析能夠使用質(zhì)量良好的數(shù)據(jù)源為最終目標進行數(shù)據(jù)治理和質(zhì)量評價，主要包括完整性、規(guī)范性、有效性和可用性等［13］。

3.4 數(shù)據(jù)共享

基于對檢測監(jiān)測數(shù)據(jù)的權限控制、設置檢測監(jiān)測數(shù)據(jù)的更新策略和頻次，實現(xiàn)信息資源同步。通過數(shù)據(jù)的訪問、下載和標準化API服務接口等方式為各部門間信息共享交換和業(yè)務協(xié)同提供數(shù)據(jù)支撐服務。

3.5 算法注冊

提供數(shù)據(jù)處理分析算法的封裝、配置、發(fā)布的統(tǒng)一管理。封裝帶有業(yè)務邏輯的組合算法、獨立算法和數(shù)據(jù)服務接口；基于算法的最小單位提供注冊、創(chuàng)建、配置算法運行所需資源環(huán)境；變更、發(fā)布、監(jiān)控算法全生命周期管理。保存算法組件的元數(shù)據(jù)，包括調(diào)用方式、請求協(xié)議、功能介紹、參數(shù)配置、版本、算法倉庫地址等信息。各部門根據(jù)不同業(yè)務需求在權限范圍內(nèi)調(diào)用平臺上已注冊算法，實現(xiàn)靈活可控的算法共享。

3.6 任務調(diào)度

對數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)分析等大量任務單元執(zhí)行順序進行配置，并完成各任務的調(diào)度執(zhí)行。

3.7 資源監(jiān)控

實現(xiàn)對數(shù)據(jù)接入、數(shù)據(jù)存儲和數(shù)據(jù)服務全面監(jiān)控，同時對CPU、內(nèi)存、磁盤、網(wǎng)絡等狀況進行底層服務集群的主機級監(jiān)控。

3.8 安全服務

使 用HTTPS（Hyper Text Transfer Protocol over Secure Socket Layer）安 全 協(xié) 議 和SFTP（Secret File Transfer Protocol）進行業(yè)務信息的安全傳輸與文件機密性保護；對數(shù)據(jù)進行完整性驗證，對缺失和異常數(shù)據(jù)進行記錄跟蹤與恢復，對敏感數(shù)據(jù)進行加密與脫敏；通過WebService接口和XML文件，與第三方系統(tǒng)進行集成和數(shù)據(jù)交互，同時保存收發(fā)數(shù)據(jù)的消息日志，禁止第三方系統(tǒng)直接訪問數(shù)據(jù)庫［14］；采用雙機部署拓撲，確保關鍵節(jié)點發(fā)生故障時能迅速進行服務節(jié)點切換及故障節(jié)點恢復；審核并記錄針對平臺數(shù)據(jù)進行的業(yè)務邏輯操作及事件的詳細描述；通過單點登錄、密碼強口令等方式控制用戶登錄，按照業(yè)務職能進行角色劃分，對于平臺功能細化至菜單級，控制用戶權限粒度。

3.9 應用服務

通過對數(shù)據(jù)“入-存-管-出”全過程管理和數(shù)據(jù)處理分析算法管理，為業(yè)務應用提供檢測監(jiān)測數(shù)據(jù)與數(shù)據(jù)分析算法方面的支撐，支持各業(yè)務應用實現(xiàn)數(shù)據(jù)展示、故障診斷、趨勢預警、狀態(tài)評價和綜合展示，為檢測監(jiān)測數(shù)據(jù)分析技術創(chuàng)新提供開放的孵化生態(tài)環(huán)境。

4 結語

本文面向鐵路基礎設施檢測監(jiān)測數(shù)據(jù)資產(chǎn)化管理、自動化和智能化分析要求，設計并實現(xiàn)了鐵路基礎設施檢測監(jiān)測數(shù)據(jù)管理分析服務平臺。平臺提供檢測監(jiān)測數(shù)據(jù)的接入、存儲、治理、共享等專業(yè)化管理服務；整合檢測監(jiān)測數(shù)據(jù)資源，打破各專業(yè)、各應用系統(tǒng)間的數(shù)據(jù)壁壘，形成檢測監(jiān)測數(shù)據(jù)資源的全景視圖；支持數(shù)據(jù)資產(chǎn)的精細加工和價值管理，為檢測監(jiān)測數(shù)據(jù)融合分析、深度挖掘等智能化分析提供平臺支撐和數(shù)據(jù)服務。

平臺在成都鐵路局正式投入使用，已完成2019—2020年度軌道幾何檢測數(shù)據(jù)的資產(chǎn)化管理和檢測里程校正自動化處理，充分驗證了平臺的可行性與實用性。

后續(xù)將利用5G無線通信技術，將檢測監(jiān)測數(shù)據(jù)自動接入數(shù)據(jù)管理服務平臺，逐步形成數(shù)據(jù)驅動的基礎設施故障診斷與健康管理分析能力；同時完善檢測監(jiān)測數(shù)據(jù)管理分析服務平臺的兼容性，為算法研發(fā)提供開放的測試驗證和應用孵化生態(tài)環(huán)境。