陳穎 李奇穎 趙陽 陳潔 王祥

（1.北京易華錄信息技術股份有限公司 北京市 100043 2.國電龍源電氣有限公司 北京市 100039）

1 前言

在5G時代到來后，數(shù)據(jù)爆發(fā)式增長，從PB到ZB的裂變，人類社會已步入海量數(shù)據(jù)新時代，全球的數(shù)據(jù)量以超過50%的平均年增速增長，IDC咨詢公司在數(shù)字宇宙研究報告中預測全球的數(shù)據(jù)總量到2020年將超過40ZB。

在數(shù)據(jù)成為關鍵生產(chǎn)要素和重要的戰(zhàn)略資源的數(shù)字經(jīng)濟時代，傳統(tǒng)的磁存儲解決方案已經(jīng)無法適應海量數(shù)據(jù)長效存儲、數(shù)據(jù)價值挖掘、數(shù)據(jù)安全性、綠色化發(fā)展等需求。首先，磁存儲運行環(huán)境建設和運行成本、能耗成本、設備更換成本和數(shù)據(jù)遷移成本等總體擁有成本(Total Cost of Ownership, TCO)高昂。這直接導致數(shù)據(jù)不能長期保存且很多數(shù)據(jù)不能保存，數(shù)據(jù)蘊藏的價值無法傳承下來，數(shù)據(jù)共享、盤活、開發(fā)利用率太低。其次，數(shù)據(jù)安全性和可靠性低。磁性介質易受病毒攻擊篡改，可靠性不高，數(shù)據(jù)遷移時存在損壞風險，同時，我國在傳統(tǒng)的存儲技術方面沒有話語權，縱觀全球存儲市場，磁盤、磁帶存儲的設備、介質、技術被希捷、西部數(shù)據(jù)、東芝、日立等西方發(fā)達國家壟斷，國內廠商幾乎沒有任何話語權，尤其是在美國嚴重打壓華為的形式下，數(shù)據(jù)安全保障的重要性和急迫性凸顯。最后，2020年3月的中共中央政治局常務委員會議中首次將數(shù)據(jù)中心納入到新型基礎設施建設范圍中，但目前的數(shù)據(jù)中心能耗過大，綠色數(shù)據(jù)中心建設已經(jīng)成為了社會各界共同關注的焦點問題。

在工業(yè)領域，工業(yè)大數(shù)據(jù)是制造業(yè)數(shù)字化、網(wǎng)絡化、智能化發(fā)展的基礎性戰(zhàn)略資源，是提升企業(yè)生產(chǎn)力、競爭力和創(chuàng)新力的關鍵要素，對于支撐智能制造和工業(yè)轉型升級方面有著舉足輕重的作用。目前各國都在如火如荼發(fā)展工業(yè)互聯(lián)網(wǎng)，作為工業(yè)全要素、全產(chǎn)業(yè)鏈、全價值鏈連接的樞紐，工業(yè)互聯(lián)網(wǎng)平臺通過工業(yè)互聯(lián)網(wǎng)網(wǎng)絡全面采集產(chǎn)品設計、生產(chǎn)工藝、設備運行、運營管理等海量工業(yè)數(shù)據(jù)資源，很多工業(yè)現(xiàn)場采集到的數(shù)據(jù)由于存儲成本過高且數(shù)據(jù)量過大導致無法有效存儲。另一方面，工業(yè)數(shù)據(jù)通常具有數(shù)據(jù)生命周期特征，初始訪問頻度很高的熱數(shù)據(jù)，經(jīng)過一段時間就會變?yōu)槔鋽?shù)據(jù)，累積的冷數(shù)據(jù)一般占據(jù)總數(shù)據(jù)量的80%以上，冷數(shù)據(jù)并非失去價值，冷數(shù)據(jù)占據(jù)了存儲設備的絕大部分空間，用熱數(shù)據(jù)的存儲方式保存冷數(shù)據(jù)必將消耗大量資源。

隨著5G、VR等技術的應用，視頻、圖片、音頻等非結構化數(shù)據(jù)越來越多，目前的關系型數(shù)據(jù)庫對非結構化數(shù)據(jù)的支持較差。在信息安全級別要求較高的金融、電力等行業(yè)，數(shù)據(jù)的丟失將帶來不可估量的損失，數(shù)據(jù)災備顯得尤為重要。因此，如何降低工業(yè)大數(shù)據(jù)的存儲成本、提高N次挖掘利用率、保障數(shù)據(jù)安全性也是當前工業(yè)大數(shù)據(jù)存儲領域亟待解決的問題。為激發(fā)工業(yè)數(shù)據(jù)資源要素潛力，工業(yè)和信息化部2020年5月出臺了《關于工業(yè)大數(shù)據(jù)發(fā)展的指導意見》，支持企業(yè)建設工業(yè)大數(shù)據(jù)中心，引導工業(yè)企業(yè)開展數(shù)據(jù)資源編目工作，實現(xiàn)工業(yè)大數(shù)據(jù)大范圍、深層次、高質量集成匯聚，實現(xiàn)多源異構數(shù)據(jù)的融合和存儲。目前，企業(yè)級數(shù)據(jù)中心、行業(yè)級數(shù)據(jù)中心缺乏對存儲的數(shù)據(jù)計算處理，淡化了數(shù)據(jù)中心的平臺作用，同時，工業(yè)大數(shù)據(jù)中心能耗問題一直是學術界和企業(yè)廣泛關注和研究的熱點，為了進一步降低數(shù)據(jù)中心能耗，冷數(shù)據(jù)存儲正成為時下的“熱”點問題。

相比磁盤、磁帶存儲，藍光存儲技術對運行環(huán)境要求不高，在常溫條件即可運行，無需空凋制冷恒溫恒濕環(huán)境，不需要高標準的機房環(huán)境，環(huán)境建設和運行成本低，能耗低，防電磁干擾強，在長期存儲周期內無需倒換介質，避免了介質倒換的成本和風險，具有低功耗、低成本、耐用性強、安全可靠等優(yōu)點，并且新一代藍光存儲技術采用藍色激光進行讀寫操作，在存儲密度、讀寫速度、容量等方面都有突破性進展。光磁關鍵指標對比如表1所示。

表1：光磁關鍵指標對比

如何安全、可靠、低成本的長期存儲海量數(shù)據(jù)已成為新數(shù)據(jù)時代工業(yè)、金融等很多領域面臨的難題。本文結合光、磁（包括電）存儲的不同特點，把光存儲的長壽命、低功耗、高存儲密度、高數(shù)據(jù)安全性優(yōu)勢與磁存儲的高性能相結合，提出一種工業(yè)大數(shù)據(jù)光磁電一體化智能存儲技術，可以低成本實現(xiàn)工業(yè)大數(shù)據(jù)的災備、歸檔以及海量非結構化數(shù)據(jù)云存儲，助力企業(yè)級、行業(yè)級綠色數(shù)據(jù)中心的建設。

2 光磁電一體化智能存儲技術架構

2.1 藍光存儲技術

本文所采用的藍光存儲技術創(chuàng)單張光盤存儲容量世界紀錄，以波長為405nm的藍色激光讀寫，采用無機相變材料作為物理記錄層，用材料的晶態(tài)/非晶態(tài)記錄數(shù)據(jù)0/1，采用碼間干擾消除技術，軌道密度225nm/軌道，線密度47.9nm/bit，從物理介質層面保障數(shù)據(jù)的安全存儲，單個光盤容量可達500GB，讀取速度可達375MB/s。為了對比區(qū)別，也給出了500GB容量與100GB容量、300GB容量的軌道布局。

藍光光驅采用耐腐蝕性的鋁合金光學基臺，以玻璃鏡片代替?zhèn)鹘y(tǒng)的樹脂鏡片，傳動部分采用耐磨的樹脂材料，驅動器具備故障自診斷功能。每個光盤匣由12張光盤組成，每個光盤匣容量可達6TB，每個藍光存儲單元包含76個光盤匣，每個光盤庫可包含7個存儲單元，單光盤庫可包含532張光盤，容量可達3.19PB，單光盤庫工作功耗約160W，待機功耗僅為7W，能耗是同等存儲力磁存儲機柜的22.6%，默認提供3副本功能，支持RAID0/5/6，可以提供高達19N數(shù)據(jù)可靠性保證，數(shù)據(jù)壽命可達100年以上。在不中斷業(yè)務的情況下，可在現(xiàn)有節(jié)點或增加新節(jié)點實來現(xiàn)存儲空間的大規(guī)模在線擴展，分布式的光盤庫通過集群可實現(xiàn)EB級海量數(shù)據(jù)存儲，把文件以對象方式進行切片存儲，向單臺光盤庫刻錄數(shù)據(jù)的速率可達375MB/s以上的高吞吐量。采用扁平結構，無單節(jié)點瓶頸，任何類型節(jié)點都可平滑擴容，提供高并發(fā)訪問能力，以支撐更多數(shù)量用戶訪問。

2.2 技術架構

該基于藍光存儲技術的工業(yè)大數(shù)據(jù)光磁電一體化智能存儲技術以光盤庫技術為核心，利用了社會生活中普適的“二八定律”，20%的溫熱數(shù)據(jù)采用電存儲和磁存儲的方式，80%的冷數(shù)據(jù)采用藍光存儲的方式，通過合理利用存儲資源、分級存儲、冷熱轉換提供安全可靠高效的存儲方式，有效解決了全部采用電磁存儲成本高、能耗大、安全性差的問題，技術架構如圖1所示，主要由藍光存儲層、熱磁存儲層、調度管理層、訪問接口層組成。

圖1：工業(yè)大數(shù)據(jù)光磁電一體化智能存儲技術架構

藍光存儲層用于海量冷數(shù)據(jù)的長期可靠存儲，主要由藍光光盤庫和管理服務器DAM組成，管理系統(tǒng)自主研發(fā)自主可控，管理系統(tǒng)具有刻錄、查詢、備份和恢復等功能。光盤庫與管理服務器DAM通過SAS接口一對一連接，光盤庫的所有操作指令都通過管理服務器DAM來發(fā)出。光盤庫是對象存儲方式，因此管理服務器DAM存放著光盤庫對象存儲數(shù)據(jù)的索引信息。光盤庫存儲資源的使用由上層數(shù)據(jù)調度管理軟件進行統(tǒng)一分配。

熱磁存儲層用來存儲熱數(shù)據(jù)的磁盤（包括閃盤）存儲。在分布式系統(tǒng)架構下，熱磁存儲通常是存儲節(jié)點服務器本地的磁盤，在要求熱磁存儲容量較大或集中存儲環(huán)境下，也可以采用外置的磁盤陣列。熱磁存儲主要面向對前端應用的即時響應，需要較高的I/O性能，因此通常采用高轉速SAS磁盤或閃盤。熱磁存儲容量沒有統(tǒng)一規(guī)格，需要根據(jù)實際應用需求進行配置，一般可用容量至少為所需存儲的熱磁數(shù)據(jù)量的2倍。各熱磁節(jié)點配置的存儲容量應該相同，節(jié)點服務器配置和磁盤或閃盤配置的類型、規(guī)格也應該相同，以保證性能的均衡。

調度管理層是在分布式文件系統(tǒng)之上建立的對象數(shù)據(jù)分級存儲管理機制，包括整合存儲資源、用戶數(shù)據(jù)分片處理、數(shù)據(jù)保護策略設定、數(shù)據(jù)糾刪碼生成或多副本分布存儲管理、熱磁讀寫緩存區(qū)創(chuàng)建/監(jiān)測/撤銷、數(shù)據(jù)生命周期管理、光盤庫存儲資源劃分和使用、數(shù)據(jù)冷熱區(qū)轉存等。同時，在本層還會在節(jié)點間進行讀寫負載均衡調度以及節(jié)點或存儲資源失效后的業(yè)務調度與數(shù)據(jù)重建恢復等，以便始終提供高性能、高可用的存儲服務。

訪問接口層提供S3、Glacier、NFS、CIFS等存儲服務協(xié)議，是業(yè)務應用系統(tǒng)和光磁電一體化智能存儲系統(tǒng)聯(lián)接的接口，提供面向對象存儲的RESTful API和專用的SDK，支持Java、C++、GO等。業(yè)務應用系統(tǒng)通過存儲網(wǎng)關可直接調用S3、Swift或Glacier API進行讀寫訪問，通過Swift 接口提供對象存儲，將數(shù)據(jù)首先寫入上層的磁存儲層，然后按照數(shù)據(jù)生命周期管理策略把冷數(shù)據(jù)遷移到下層的藍光存儲層，通過Glacier接口提供歸檔存儲，將數(shù)據(jù)直接歸檔到藍光存儲層中，如圖2所示。針對既有的業(yè)務應用系統(tǒng)，該光磁電一體化存儲技術也提供NFS/CIFS的訪問方式，在業(yè)務適配方面具有良好的靈活性。

圖2：數(shù)據(jù)訪問接口

2.2.1 拓撲結構設計

該存儲技術架構在具體實現(xiàn)上采用一個主管理節(jié)點多代理節(jié)點的拓撲架構，主管理節(jié)點負責管理數(shù)據(jù)庫，單進程掃描數(shù)據(jù)庫并生成任務，然后把生產(chǎn)的相關任務放入Rabbit MQ 隊列。代理節(jié)點向下對接磁存儲資源池和藍光存儲資源池，從Rabbit MQ隊列上獲取任務，根據(jù)任務內容對磁存儲資源池和藍光存儲資源池進行操作，代理節(jié)點單進程執(zhí)行任務，每次必須執(zhí)行完成當前任務之后才去Rabbit MQ 隊列嘗試獲取新任務消息。

2.2.2 數(shù)據(jù)庫設計

通過部署在存儲網(wǎng)關上的磁存儲數(shù)據(jù)庫和藍光存儲數(shù)據(jù)庫對不同介質中的數(shù)據(jù)進行管理，讀取藍光存儲層中的數(shù)據(jù)時，訪問的數(shù)據(jù)會暫存在熱磁存儲的讀緩存區(qū)，然后根據(jù)數(shù)據(jù)生命周期管理規(guī)則判斷是否需要從緩存區(qū)刪除，使用歸檔存儲的應用數(shù)據(jù)不再以磁存儲作為緩存，不使用數(shù)據(jù)生命周期管理策略，不使用熱磁空間中轉或緩存。

針對光磁電不同的存儲介質，對磁存儲資源池和藍光存儲資源池分別搭建管理數(shù)據(jù)庫，用于對資源池內的數(shù)據(jù)進行管理，磁存儲資源池基于Openstack Swift對象存儲開源架構進行數(shù)據(jù)庫設計，對象存儲層次結構分為account/container/object，在每個account下通過用戶名對用戶的磁存儲資源池數(shù)據(jù)庫進行劃分和管理，用戶可通過增加container用于存儲數(shù)據(jù)對象（object）?；赟wift的一致性哈希算法，為確保數(shù)據(jù)的尋址和管理，數(shù)據(jù)對象(object)的管理表中已具備相關內容。

藍光存儲資源池數(shù)據(jù)庫同樣基于account/container/object的邏輯架構進行設計，由于藍光存儲與磁盤存儲在數(shù)據(jù)管理上存在邏輯和技術上的區(qū)別，磁存儲基于Openstack Swift架構的一致性哈希算法將數(shù)據(jù)對象（object）與磁盤虛擬存儲空間進行關聯(lián)，藍光存儲是將數(shù)據(jù)對象（object）存儲在光盤中，光盤匣是藍光光盤庫的基本存儲單元，機械臂將光盤匣（magazine）放入光驅進行數(shù)據(jù)刻錄、讀取，因此，藍光存儲在數(shù)據(jù)對象（object）描述上不同于磁盤存儲，藍光存儲數(shù)據(jù)庫中應該描述數(shù)據(jù)對象（object）與光盤匣（magazine）之間的關系。藍光存儲數(shù)據(jù)庫設計架構如圖3所示。

圖3：藍光存儲數(shù)據(jù)庫設計架構

如2.2中所述，每臺藍光光盤庫都有各自的管理服務器DAM，因此，數(shù)據(jù)對象(object)所在的藍光光盤庫可以通過管理服務器DAM的編號和IP地址定位到，然后通過藍光光盤庫各自的光盤匣（magazine）位置編排模式定位數(shù)據(jù)對象(object)存儲的具體光盤匣，最后通過數(shù)據(jù)對象在光盤匣存儲中的名稱實現(xiàn)藍光存儲資源池中數(shù)據(jù)對象(object)的尋址，3組藍光存儲單元的企業(yè)級藍光光盤庫中光盤匣的定位編號示意圖如圖4所示。

圖4：企業(yè)級藍光光盤庫中光盤匣的定位編號示意圖

磁存儲資源池和藍光存儲資源池之間會產(chǎn)生冷數(shù)據(jù)歸檔存儲業(yè)務，當代理節(jié)點執(zhí)行了冷數(shù)據(jù)歸檔任務之后，為了明確原來磁存儲資源池存儲該冷數(shù)據(jù)的空間被刪除了還是被回收了，在磁存儲數(shù)據(jù)表和藍光存儲數(shù)據(jù)表中增加“status”項以明確數(shù)據(jù)對象(object)的具體存儲位置。如表2所示。

表2：數(shù)據(jù)表中status值

2.2.3 冷熱數(shù)據(jù)轉換

為實現(xiàn)海量數(shù)據(jù)低成本存儲的目的，將“冷數(shù)據(jù)”從磁存儲資源池存入藍光存儲資源池中。

主管理節(jié)點接收到用戶請求或通過設定的自定義條件進行智能判斷，形成對于某一個數(shù)據(jù)對象的冷數(shù)據(jù)歸檔或冷數(shù)據(jù)調用操作命令，然后將該操作命令發(fā)送到命令隊列中，由空閑的代理節(jié)點接受任務。當命令為冷數(shù)據(jù)歸檔時，調用Swift協(xié)議調取磁存儲資源池的數(shù)據(jù)，通過HTTP Restful API 接口向管理服務器DAM進行請求，由管理服務器DAM執(zhí)行數(shù)據(jù)錄入藍光存儲資源池的操作。當接收到冷數(shù)據(jù)調用請求時，或者調用Glacier 協(xié)議調取藍光存儲資源池的數(shù)據(jù)，采用Glacier提供的Glacier API 接口向管理服務器DAM進行請求，由管理服務器DAM處理后直接由業(yè)務系統(tǒng)調用，或通過Swift提供的HTTP Restful API接口向管理服務器DAM進行請求，由管理服務器DAM執(zhí)行數(shù)據(jù)錄入熱存儲資源池的操作。

為盡可能減少機械臂和光驅的使用頻度以延長工作壽命，在執(zhí)行歸檔操作中，將從同一個順序查詢空閑的光盤匣，在保證當前使用的光盤匣存儲空間不足以存儲當前歸檔冷數(shù)據(jù)時再申請使用下一個空光盤匣，同時，自定義設定歸檔數(shù)據(jù)容量和歸檔執(zhí)行周期，并進行智能判斷，從而有效避免因個別閑歇性的小存儲量歸檔任務造成光驅的頻繁使用和大批小存儲量的“冷數(shù)據(jù)”不能歸檔。歸檔任務結束之后，釋放管理服務器DAM資源并更改表2 中status值。

3 TCO對比結果

總擁有成本TCO包括建設成本、維護成本、運營成本、數(shù)據(jù)遷移成本、介質保管成本。

按照100PB數(shù)據(jù)分別存儲10年、100年計算，藍光存儲3.6TB光盤匣、硬盤存儲8TBHDD與磁帶存儲LTO7（6TB）的按年累計的單GB數(shù)據(jù)量的總體擁有成本TCO對比，從第一年開始藍光存儲的TCO就要低于硬盤存儲和磁帶存儲，在第1年，藍光存儲的TCO分別是硬盤存儲和磁帶存儲的0.777和0.999倍。在第10年，藍光存儲的TCO分別是硬盤存儲和磁帶存儲的0.451和0.462倍。隨著存儲年限的增長，藍光存儲低TCO優(yōu)勢愈加明顯。

按照100PB數(shù)據(jù)存儲20年計算，藍光存儲與騰訊云存儲的按年累計的單GB數(shù)據(jù)量的TCO對比，在初始運行的前6年，藍光存儲的TCO高于云存儲的TCO，由于云存儲每年的持續(xù)投入非常高，云存儲TCO在第7年超過藍光存儲TCO，并且持續(xù)走高，在第20年藍光存儲的TCO僅是騰訊云存儲TCO的1/4。

4 電力行業(yè)應用

電力企業(yè)大數(shù)據(jù)來源于電力生產(chǎn)和電能使用的發(fā)、輸、變、配、用、調各個環(huán)節(jié)，包含了資產(chǎn)數(shù)據(jù)、電網(wǎng)運行和設備監(jiān)測數(shù)據(jù)、電力營銷數(shù)據(jù)、電力企業(yè)管理數(shù)據(jù)等。隨著電力信息化的深入發(fā)展以及智能電網(wǎng)的普及，關系型數(shù)據(jù)、文本型數(shù)據(jù)、實時數(shù)據(jù)和非結構化的圖像、聲音、視頻數(shù)據(jù)等各種類型的電力企業(yè)業(yè)務數(shù)據(jù)呈海量增長，這些數(shù)據(jù)大多分散保存在本地系統(tǒng)中，存在數(shù)據(jù)信息孤島，難以共享，不易被檢索分析，安全維護性差，浪費系統(tǒng)資源，運維費用高等諸多問題。

智能生產(chǎn)控制和智能管理是智慧電廠建設的兩個工作重心，基于光磁電一體化智能存儲技術實現(xiàn)對電力生產(chǎn)系統(tǒng)與管理系統(tǒng)數(shù)據(jù)進行長期安全歸檔與備份，拓撲結構如圖5所示。

圖5：基于光磁電一體化智能存儲技術的數(shù)據(jù)歸檔與備份拓撲結構

同時，基于該光磁電一體化智能存儲技術的智慧電廠智能管理平臺(Intelligent Management System, IMS)技術架構如圖6所示。

圖6：基于光磁電一體化智能存儲技術的智慧電廠IMS平臺技術架構

該IMS平臺對實施工程現(xiàn)場與車間進行實時監(jiān)控，提升了電廠在安全、運行、經(jīng)營、營銷等方面的智能管控和智能決策水平，實現(xiàn)了主動安全管控、設備故障預警、售電輔助決策，實現(xiàn)高效一體化管理，提升了市場的競爭力和適應性。如圖7所示。

圖7：IMS平臺部分成效——智慧燃料

隨著電力系統(tǒng)數(shù)據(jù)日益龐大，數(shù)據(jù)中心成為了電力系統(tǒng)信息化的核心。下一步將研究基于光磁電一體化智能存儲技術的電力行業(yè)綠色數(shù)據(jù)中心的建設。

5 結論

新技術、新應用驅動了以數(shù)據(jù)作為最重要的資源的新數(shù)據(jù)時代的到來，存儲作為新數(shù)據(jù)的載體，也變得更加重要。本文提出一種工業(yè)大數(shù)據(jù)光磁電一體化智能存儲技術，單張藍光光盤容量突破500GB，創(chuàng)世界單張光盤存儲容量記錄，在2020年單張藍光光盤容量將突破1T，該技術綜合了藍光存儲、磁盤存儲和固態(tài)盤存儲的優(yōu)點，可提供低成本、低能耗、高安全、高性能、高可靠、長壽命的EB級高低頻冷溫熱數(shù)據(jù)一體化智能存儲管理服務，提供全量數(shù)據(jù)分層存儲，滿足不同數(shù)據(jù)類型、不同生命周期、不同業(yè)務類型的全場景存儲需求，可實現(xiàn)對有價值的數(shù)據(jù)應收盡收、應存盡存，解決數(shù)據(jù)爆發(fā)增長與數(shù)據(jù)有效存儲和利用之間的矛盾，解決了海量數(shù)據(jù)長效存儲中存在的難題，降低了海量數(shù)據(jù)存儲能耗和成本，提高了數(shù)據(jù)存儲安全性和可靠性。該技術已經(jīng)在檔案和金融行業(yè)廣泛應用，海量溫、冷數(shù)據(jù)長期高效存儲技術2016年被工信部列入綠色數(shù)據(jù)中心先進適用技術目錄（第一批），光磁電一體化大數(shù)據(jù)云儲存管理平臺2018年被工信部列入大數(shù)據(jù)產(chǎn)業(yè)發(fā)展試點示范項目名單，將該技術應用于工業(yè)大數(shù)據(jù)將助力企業(yè)級和行業(yè)級綠色數(shù)據(jù)中心建設，實現(xiàn)工業(yè)大數(shù)據(jù)大范圍、深層次、高質量集成匯聚，實現(xiàn)多源異構數(shù)據(jù)的融合和存儲。