崔高峰，于格，尚云飛，石蕊

（1.中國鐵路沈陽局集團有限公司科學(xué)技術(shù)研究所，遼寧沈陽110013；2.中關(guān)村軌道交通視頻與安全產(chǎn)業(yè)技術(shù)聯(lián)盟，北京100142；3.北京浩瀚深度信息技術(shù)股份有限公司，北京100142）

0 引言

在鐵路大數(shù)據(jù)時代，隨著攝像頭部署數(shù)量和視頻質(zhì)量不斷提高，以及公安部門對于鐵路視頻監(jiān)控數(shù)據(jù)存儲時間延長至90d的要求，使視頻存儲的數(shù)據(jù)量激增。按照被訪問的頻率，數(shù)據(jù)分為“冷”“溫”“熱”三大類。在鐵路視頻監(jiān)控系統(tǒng)實際應(yīng)用中，通常7d以內(nèi)的數(shù)據(jù)會被頻繁調(diào)用，被稱之為熱數(shù)據(jù)，1周以上及1個季度以上的一些數(shù)據(jù)訪問次數(shù)較少，都稱之為冷數(shù)據(jù)，這些數(shù)據(jù)占總體數(shù)據(jù)的80%以上（見圖1）。如果采用傳統(tǒng)的單一存儲策略進行存儲將會在功耗、空間及成本等方面面臨非常大的挑戰(zhàn)。如果將這些低價值密度的冷數(shù)據(jù)遷移到一個專門的低成本、低功耗、高密度的存儲層中進行存儲，將會大幅度降低總體擁有成本。

圖1 不同類別視頻監(jiān)控數(shù)據(jù)占比情況

1 技術(shù)現(xiàn)狀

目前主流存儲方案有4種：離線類存儲、網(wǎng)絡(luò)云服務(wù)、IP-SAN及NAS傳統(tǒng)存儲、自建云存儲。

1.1 離線類存儲

主要采用磁帶庫、藍光光盤等，該方案雖然價格穩(wěn)定、存放時間長、能耗較低，但因為數(shù)據(jù)查找耗時較長，因此并不適用鐵路視頻監(jiān)控應(yīng)用場景。

1.2 網(wǎng)絡(luò)云服務(wù)

主要包括 AmzonGlacier、GoogleCloudStorageNearline、MicrosoftAzure、阿里云、百度云等。AmzonGlacier、GoogleCloudStorageNearline、MicrosoftAzure 等 國 外大公司的云存儲服務(wù)經(jīng)過公網(wǎng)傳輸，時延和帶寬都是瓶頸，對于國內(nèi)企業(yè)幾乎不可用。國內(nèi)阿里云等備份服務(wù)，只支持廠商自己數(shù)據(jù)的備份，不支持外部數(shù)據(jù)上傳和下載，很大程度上限制了使用場景。如果用戶數(shù)據(jù)比較敏感，或者帶寬要求較高，如網(wǎng)絡(luò)DPI數(shù)據(jù)、視頻監(jiān)控數(shù)據(jù)、醫(yī)療數(shù)據(jù)等，基本不會考慮公有云，而會傾向于自建云。

1.3 IP-SAN、NAS傳統(tǒng)存儲

IP-SAN、NAS是目前很多系統(tǒng)已經(jīng)使用的存儲方案，通常是分散部署在多個小規(guī)模存儲點，各自獨立不相關(guān)。其缺點是部署維護升級復(fù)雜、擴展性較差且受限、日常管理等成本比集中式存儲要高很多。而且，單點的傳統(tǒng)存儲方案很難擴容，目前行業(yè)中還沒有能夠支持PB級的系統(tǒng)。

1.4 自建云存儲

主要包括HDFS以及國內(nèi)外各大廠商推出的私有云方案。以HDFS為例，屬于開源軟件，硬件采用通用服務(wù)器，相較于各存儲廠商的專用存儲設(shè)備，成本已降低很多。但由于系統(tǒng)中所有硬盤都處于工作狀態(tài)，即便沒有讀寫任務(wù)硬盤也要持續(xù)通電運轉(zhuǎn)。此外HDFS通常按照多副本形式保存數(shù)據(jù)以確保安全，存儲效率不高。

在此研究的冷儲存技術(shù)方案屬于自建云一類，相比上述幾種方案，其主要針對有海量低頻訪問的冷數(shù)據(jù)應(yīng)用場景，可提供低成本、低功耗的近線存儲解決方案，將在鐵路視頻監(jiān)控系統(tǒng)中具有良好的應(yīng)用價值。

2 方案架構(gòu)與技術(shù)優(yōu)勢

2.1 研究目的

在滿足鐵路視頻監(jiān)控系統(tǒng)使用要求的同時，將監(jiān)控數(shù)據(jù)存儲時間由7d延長至90d，按照使用頻率的不同，以1周為時間分割點，1周以內(nèi)的數(shù)據(jù)屬于熱數(shù)據(jù)，1周以外的數(shù)據(jù)屬于冷數(shù)據(jù)，通過將冷數(shù)據(jù)采用低成本存儲設(shè)備進行存儲管理，從而幫助用戶降低整體部署成本，節(jié)省運維成本，實現(xiàn)綠色節(jié)能降耗。

2.2 基本架構(gòu)

針對大規(guī)模冷數(shù)據(jù)的應(yīng)用場景，在鐵路視頻監(jiān)控系統(tǒng)中應(yīng)用冷存儲系統(tǒng)是一款可大規(guī)模橫向擴展的全分布式存儲方案，通過存儲系統(tǒng)軟件將專用硬件的本地存儲資源組織起來，構(gòu)建全分布式存儲池，實現(xiàn)向上層應(yīng)用提供對象和文件2種存儲服務(wù)，滿足結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化等多類型數(shù)據(jù)的存取對每秒讀寫次 數(shù)（Input/OutputOperationPerSecond，IOPS）、帶寬及海量擴展的需求，提供負載均衡及企業(yè)級數(shù)據(jù)動態(tài)分級等服務(wù)[1-3]。冷存儲系統(tǒng)架構(gòu)見圖2。

圖2 冷儲存系統(tǒng)架構(gòu)

2.3 技術(shù)優(yōu)勢

2.3.1 計算與存儲分離的低功耗計算

（1）將計算和存儲進行分離，大負荷的運算都放在計算節(jié)點上，存儲節(jié)點上僅作少量的數(shù)據(jù)塊寫入、讀取。

（2）智能控制硬盤通斷電，僅點亮正在使用的數(shù)據(jù)所在的硬盤，系統(tǒng)功耗降低80%。

2.3.2 硬件加速的數(shù)據(jù)校驗與糾錯

計算節(jié)點發(fā)揮CPU硬件加速能力，快速計算糾刪碼[4]，糾刪碼可按照需求進行配置，通常用N+M來表示，也就是1份數(shù)據(jù)會被分成N+M塊，其中有N塊是真實數(shù)據(jù)，M塊是糾刪碼，當(dāng)小于或等于M塊數(shù)據(jù)受損，數(shù)據(jù)依然能夠恢復(fù)。這樣既能保證高可靠性、提高存儲效率、降低成本，同時也能節(jié)約機房空間。

2.3.3 無感知的自動數(shù)據(jù)掃描和重構(gòu)

（1）系統(tǒng)定時對全部硬盤數(shù)據(jù)進行1次掃描和監(jiān)測，并上報掃描結(jié)果。

（2）自動檢測系統(tǒng)是否繁忙。在不影響系統(tǒng)正常數(shù)據(jù)業(yè)務(wù)的同時，自動定時執(zhí)行重構(gòu)過程，按照受損級別進行不同策略的重構(gòu)，保證數(shù)據(jù)的完整性[5-6]。冷儲存系統(tǒng)掃描和重構(gòu)過程見圖3。

圖3 冷儲存系統(tǒng)掃描和重構(gòu)過程

2.3.4 分布式對等計算及失效備援

（1）采用多個冗余計算節(jié)點控制后面的存儲節(jié)點，一旦其中1個節(jié)點故障，其他的節(jié)點能夠快速接管其上的業(yè)務(wù)，保證業(yè)務(wù)的連續(xù)性[7]（見圖4）。

（2）計算節(jié)點通過自動檢測，均可對等調(diào)用存儲節(jié)點上的所有硬盤。

圖4 分布式系統(tǒng)失效備援

3 技術(shù)方案

冷存儲系統(tǒng)對外提供FUSE、NFS、CIFS/SMB等通用接口，與視頻監(jiān)控平臺直接對接，根據(jù)新建和利舊2種工程需求，并結(jié)合鐵路實際的站點分布特點，共研究提出4種技術(shù)對接方案[8-10]。

3.1 方案1：獨立式冷存儲方案

針對新建站點，直接將冷存儲系統(tǒng)掛載到視頻監(jiān)控平臺上使用，視頻流流向示意見圖5。

（1）寫入操作：網(wǎng)絡(luò)攝像機IPC通過視頻監(jiān)控平臺的分轉(zhuǎn)發(fā)模塊向存儲模塊發(fā)送實時視頻流，然后再向冷存儲系統(tǒng)寫入數(shù)據(jù)，存儲空間按照90d設(shè)計，冷存儲會將最近7d的熱數(shù)據(jù)保存在冷存儲系統(tǒng)中的熱層中，剩余的83d均在冷存儲系統(tǒng)中的冷層（見圖6）。

（2）回放操作：搜索任意時間段錄像時，在客戶端會根據(jù)播放的時間給出提示信息，明確請求的是冷數(shù)據(jù)還是熱數(shù)據(jù)，然后冷存儲系統(tǒng)會按照存儲模塊的數(shù)據(jù)請求，將所需的錄像發(fā)送給客戶端，當(dāng)播放熱數(shù)據(jù)時，數(shù)據(jù)在2s以內(nèi)返回，客戶端不會有提示。當(dāng)播放冷數(shù)據(jù)時，數(shù)據(jù)返回時間在30s以內(nèi)，此時，客戶端會提示“正在回放冷數(shù)據(jù)，請等待…”（見圖7）。

圖5 視頻流流向示意圖（方案1）

圖6 冷儲存數(shù)據(jù)遷移模式（方案1）

圖7 冷、熱數(shù)據(jù)回放界面

3.2 方案2：順序共用存儲擴容方案

已建站點的存儲進行擴容時，因不同廠商的監(jiān)控平臺對于同時掛載多個存儲系統(tǒng)的支持情況不同，采用順序共用存儲可減少二次開發(fā)工作量，快速對系統(tǒng)進行擴容。

具體方案是將既有存儲系統(tǒng)和冷存儲系統(tǒng)按照1個完整的存儲庫進行管理，視頻流流向示意見圖8。2個系統(tǒng)存儲的數(shù)據(jù)互不相關(guān)，既有系統(tǒng)存儲前7d的數(shù)據(jù)，冷存儲系統(tǒng)存儲后83d的數(shù)據(jù)，數(shù)據(jù)寫入到視頻監(jiān)控平臺后，會在既有系統(tǒng)和冷存儲系統(tǒng)中進行順序?qū)懭耄ㄒ妶D9），冷存儲系統(tǒng)會將數(shù)據(jù)按照冷、熱進行管理，保證后83d中前7d的數(shù)據(jù)能及時調(diào)用。

圖8 視頻流流向示意圖（方案2）

圖9 冷儲存數(shù)據(jù)遷移模式（方案2）

3.3 方案3：并行共用存儲擴容方案

對于順序共用存儲方案，既有存儲中的數(shù)據(jù)在1個存儲周期內(nèi)，一直存儲的是開始7d的數(shù)據(jù)，從資源利用角度來說，此方案并沒有很好地利用既有存儲系統(tǒng)的性能優(yōu)勢，而且這一部分數(shù)據(jù)的可靠性并沒有得到保證，并行共用存儲方案能很好地解決上述問題，在充分利用既有存儲性能優(yōu)勢的同時，又能保障這一部分數(shù)據(jù)有足夠的可靠性。

具體方案為：數(shù)據(jù)寫入到視頻監(jiān)控平臺時，會同時在既有存儲系統(tǒng)和冷存儲系統(tǒng)各存1份，視頻由同一監(jiān)控平臺進行調(diào)用（見圖10）。既有存儲和冷儲存系統(tǒng)分別按照各自的存儲空間進行存儲和周期性的覆蓋存儲，冷儲存數(shù)據(jù)包含既有存儲數(shù)據(jù)（見圖11）。

圖10 視頻流流向示意圖（方案3）

圖11 冷儲存數(shù)據(jù)遷移模式（方案3、方案4）

3.4 方案4：集中云擴容方案

考慮到鐵路為點多線長的應(yīng)用場景，對于單站點，其存儲擴容量并不是很大，為了能更好地體現(xiàn)冷存儲系統(tǒng)的方案優(yōu)勢，在一定帶寬條件下，可將多個站點的擴容需求進行集中存儲。數(shù)據(jù)寫入到視頻監(jiān)控平臺后，會在既有存儲系統(tǒng)和冷存儲系統(tǒng)中同時寫入，冷存儲數(shù)據(jù)通過視頻監(jiān)控嵌入平臺寫入，視頻監(jiān)控平臺和嵌入平臺之間通過SA互聯(lián)網(wǎng)關(guān)完成不同視頻平臺之間的互聯(lián)（見圖12）。

圖12 視頻流流向示意圖（方案4）

根據(jù)不同站點攝像頭路數(shù)以及存儲時間要求，在冷存儲系統(tǒng)中進行劃區(qū)，每個區(qū)里的數(shù)據(jù)與既有系統(tǒng)是同時存儲，只不過既有系統(tǒng)存儲時間短，冷存儲中劃分的區(qū)域存儲時間長。每個站點只能通過視頻嵌入平臺向冷存儲系統(tǒng)中寫入，不能直接調(diào)取，若調(diào)取需要在視頻監(jiān)控嵌入平臺上調(diào)取，其數(shù)據(jù)遷移模式見圖11。

4 結(jié)束語

通過研究與試驗驗證，冷儲存技術(shù)符合Q/CR575—2017《鐵路視頻監(jiān)控系統(tǒng)技術(shù)規(guī)范》，可實現(xiàn)以最優(yōu)方式延長鐵路視頻監(jiān)控系統(tǒng)視頻存儲時間[11]，降低基礎(chǔ)設(shè)施和系統(tǒng)運維的成本，并節(jié)省機房空間。

鐵路視頻監(jiān)控系統(tǒng)作為一種直觀、實時、準確的維護管理應(yīng)用系統(tǒng)，已在鐵路進行了全面部署應(yīng)用，而視頻存儲系統(tǒng)作為最重要的組成部分，隨著數(shù)據(jù)量的不斷激增，其成本、運維功耗及機房空間都存在亟待解決的問題。采用冷儲存技術(shù)將會很好地解決上述問題，實現(xiàn)PB/EB級以上數(shù)據(jù)的高效存儲，節(jié)省采購和運維成本，并幫助數(shù)據(jù)中心實現(xiàn)綠色節(jié)能降耗。