馬瑩平
(上海萬(wàn)為實(shí)業(yè)有限公司,上海 200083)
在安全防范系統(tǒng)中,目前存儲(chǔ)的需求主要是基于高清監(jiān)控的海量視頻、抓拍圖片檢索、人臉比對(duì)的應(yīng)用,傳統(tǒng)的存儲(chǔ)系統(tǒng)目前還停頓在底層數(shù)據(jù)的錄入及文件存儲(chǔ)階段,舊的系統(tǒng)無(wú)法站在視頻應(yīng)用的角度考慮問(wèn)題,針對(duì)現(xiàn)今安防行業(yè)的實(shí)際需求,必須考慮由底層業(yè)務(wù)流數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)到上層業(yè)務(wù)應(yīng)用的調(diào)度策略,進(jìn)行數(shù)據(jù)整段合理劃分,達(dá)到海量高清網(wǎng)絡(luò)視頻流的持續(xù)且大規(guī)模的寫(xiě)入。
云存儲(chǔ)是為了滿足當(dāng)今視頻大規(guī)模、長(zhǎng)時(shí)間存儲(chǔ)的應(yīng)用,延伸和發(fā)展出來(lái)新的存儲(chǔ)模式,即將所需的網(wǎng)絡(luò)視頻監(jiān)控中大規(guī)模不同類(lèi)型的存儲(chǔ)設(shè)備通過(guò)協(xié)議對(duì)接、軟件集成等方式來(lái)協(xié)同工作,利用虛擬化的技術(shù)搭建一套云存儲(chǔ)系統(tǒng),共同對(duì)外提供業(yè)務(wù)訪問(wèn)功能及數(shù)據(jù)存儲(chǔ)功能。
??低曇曨l監(jiān)控廠家針對(duì)此功能,研發(fā)的視頻融合云存儲(chǔ)是指可以根據(jù)不同的業(yè)務(wù)需求和場(chǎng)景不同靈活進(jìn)行設(shè)計(jì)調(diào)整,既可以應(yīng)用于公有云環(huán)境部署,也可以應(yīng)用于私有云環(huán)境部署。對(duì)上層應(yīng)用系統(tǒng)提供高并發(fā),低延時(shí),高安全的數(shù)據(jù)存儲(chǔ)服務(wù)。
上海中西醫(yī)結(jié)合醫(yī)院視頻監(jiān)控系統(tǒng)設(shè)計(jì)構(gòu)想,按設(shè)計(jì)規(guī)范及業(yè)主的需求,視頻監(jiān)控存儲(chǔ)需達(dá)到圖像保存90天,圖片保存180天。醫(yī)院在2014年和2017年改造為數(shù)字監(jiān)控系統(tǒng),攝像機(jī)約500臺(tái)左右。此次新建視頻監(jiān)控系統(tǒng)攝像機(jī)設(shè)計(jì)約為250臺(tái)左右,原存儲(chǔ)設(shè)備采用了宇視NAS V1800 及DM3.0綜合安防應(yīng)用服務(wù)器,原系統(tǒng)存儲(chǔ)模式為采用NAS 存儲(chǔ)模式,配置4TB 硬盤(pán),達(dá)到圖像保存30天,圖片保存90天。
視頻監(jiān)控系統(tǒng)改擴(kuò)建后,由于宇視產(chǎn)品無(wú)法滿足智能安防的需求,新系統(tǒng)設(shè)計(jì)采用??低暜a(chǎn)品,整個(gè)視頻監(jiān)控系統(tǒng)將新舊兼容,統(tǒng)一在海康視頻監(jiān)控系統(tǒng)視頻綜合平臺(tái)B20下進(jìn)行管理,即將原來(lái)搭建的500路宇視IPC-B302、IPC-B502 攝像機(jī)產(chǎn)品通過(guò)符合ONVIF 協(xié)議規(guī)范所提供的WEB 服務(wù)接口,進(jìn)行ONVIF 規(guī)范接口跟IPC 通信,從而接入??礏20統(tǒng)一管控平臺(tái),存儲(chǔ)部分將原系統(tǒng)宇視NAS 提供的容量掛載到??低曉拼鎯?chǔ)iVMS-5120上,整合后確保院方在同一平臺(tái)下使用整個(gè)監(jiān)控管理平臺(tái)。
云存儲(chǔ)的構(gòu)思是由于機(jī)房位置大小受限,為了滿足此項(xiàng)目視頻監(jiān)控系統(tǒng)的存儲(chǔ)需求,本文設(shè)計(jì)采用了??低昳VMS-5120云存儲(chǔ)系統(tǒng),來(lái)搭建醫(yī)院私有云存儲(chǔ)系統(tǒng)來(lái)解決存儲(chǔ)應(yīng)用,此系統(tǒng)針對(duì)項(xiàng)目情況,可以解決通過(guò)新舊存儲(chǔ)設(shè)備的集群化、虛擬化支持醫(yī)院小型私有云存儲(chǔ)服務(wù),讓用戶在投入低的情況下即可獲取云存儲(chǔ)服務(wù)。
??低昳VMS-5120云存儲(chǔ)系統(tǒng)擴(kuò)容時(shí)可以自動(dòng)識(shí)別新增設(shè)備,在集群內(nèi)添加設(shè)備的IP 地址,系統(tǒng)即可自動(dòng)識(shí)別,并同時(shí)進(jìn)行虛擬化整合,集群里就可增加新的容量,統(tǒng)一為存儲(chǔ)資源的一部分。
在容量擴(kuò)展過(guò)程中,可實(shí)現(xiàn)存儲(chǔ)資源的在線擴(kuò)展,系統(tǒng)部署在云資源上的存儲(chǔ)業(yè)務(wù)可正常運(yùn)行,不受任何影響,確保系統(tǒng)不會(huì)因?yàn)閿U(kuò)容而中斷正常的存儲(chǔ)業(yè)務(wù)。
圖1 系統(tǒng)原理圖
支持高清視頻、高清圖片、數(shù)據(jù)文件、對(duì)象、結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)統(tǒng)一融合;統(tǒng)一接管多種設(shè)備協(xié)議,支持iSCSI、FC、CIFS/NFS 異構(gòu)協(xié)議。
系統(tǒng)支持7×24小時(shí)大碼流視頻錄像、錄像回放和管理、文件快速檢索的功能,對(duì)于視頻回放,做到相應(yīng)優(yōu)化,如I 幀序列回放等功能。
系統(tǒng)支持對(duì)存儲(chǔ)的錄像通過(guò)多種方式進(jìn)行檢索,如按照文件類(lèi)型、文件標(biāo)簽、錄入時(shí)間段等方式。
系統(tǒng)回放功能,可按照文件類(lèi)型、錄入時(shí)間、正序、倒序、倍數(shù)等方式進(jìn)行。
存儲(chǔ)文件支持鎖定、循環(huán)覆蓋(時(shí)間、空間)、標(biāo)注等管理方式。
系統(tǒng)支持圖片文件的快速寫(xiě)入、壓縮、裁剪、并發(fā)下載等功能。
支持按URL 或時(shí)間段的方式進(jìn)行獲取。
支持按照?qǐng)D片尺寸、大小、像素等進(jìn)行壓縮。
提供直存和非直存兩種圖片存儲(chǔ)方案。
系統(tǒng)支持CIFS/NFS 協(xié)議進(jìn)行NAS 文件存儲(chǔ)。
系統(tǒng)支持應(yīng)用數(shù)據(jù)按需匯聚分析后的存儲(chǔ),提供融合直存、多重備份、全量提取等功能。
系統(tǒng)支持對(duì)象文件存儲(chǔ)服務(wù)。
(1)高清視頻、圖片、文件業(yè)務(wù)直存,所有文件的存儲(chǔ)縮短了路徑直接寫(xiě)入存儲(chǔ)節(jié)點(diǎn),更大程度提升存儲(chǔ)性能。
(2)例如1 路高清4Mb/s 碼流的攝像頭1 天的數(shù)據(jù)10秒左右即可下載完成,達(dá)到極速提取的應(yīng)用效果。
(3)針對(duì)AI 圖片智能分析應(yīng)用場(chǎng)景,小I/O 圖片提取可達(dá)到2000張/秒。
(4)廣泛適用于抓拍動(dòng)態(tài)圖片存取、設(shè)控圖片與預(yù)警讀取對(duì)比、靜態(tài)庫(kù)圖片檢索比對(duì)場(chǎng)景。
(5)I 幀快速修改、定位、標(biāo)注、存儲(chǔ)的周期采用了文件存儲(chǔ)容量和存儲(chǔ)時(shí)間雙重軸線策略等,能使客戶在調(diào)取錄像的過(guò)程中不再需要反復(fù)讀取完整錄像。
(6)融合數(shù)據(jù)迅速調(diào)取場(chǎng)景,高清視頻、圖片、文件及對(duì)應(yīng)的智能化結(jié)構(gòu)數(shù)據(jù)的全量提取,同時(shí)可開(kāi)發(fā)給第三方應(yīng)用。
??低曇曨l融合云存儲(chǔ)系統(tǒng)(iVMS-5120)主要的應(yīng)用模塊主要是由云存儲(chǔ)管理模塊、流式數(shù)據(jù)存儲(chǔ)模塊、對(duì)象文件存儲(chǔ)模塊組成,三大模塊之間相互配合,針對(duì)大數(shù)據(jù)智能分析應(yīng)用,和非結(jié)構(gòu)化數(shù)據(jù)特點(diǎn),旨在為用戶提供高可靠、高效率、高穩(wěn)定的存儲(chǔ)服務(wù)。
iVMS-5120微視云存儲(chǔ)系統(tǒng)采用分布式EC 存儲(chǔ)技術(shù),與視頻、圖片、對(duì)象、智能化結(jié)構(gòu)存儲(chǔ)結(jié)合,根據(jù)數(shù)據(jù)保障級(jí)別要求可部署N+M 保障機(jī)制,N+M 具體取值根據(jù)系統(tǒng)規(guī)模變化可自動(dòng)調(diào)整。系統(tǒng)條帶中只要不超過(guò)M 個(gè)塊數(shù)據(jù)故障和缺失,都可以將丟失的數(shù)據(jù)塊依據(jù)算法快速恢復(fù),用來(lái)提供數(shù)據(jù)保障的可靠性。云存儲(chǔ)系統(tǒng)在運(yùn)行中可以實(shí)現(xiàn)在多臺(tái)設(shè)備故障的情況下數(shù)據(jù)不丟失,在設(shè)備產(chǎn)生故障時(shí)快速的進(jìn)行數(shù)據(jù)的恢復(fù)與重構(gòu),且可支持基于不同業(yè)務(wù)種類(lèi)進(jìn)行重構(gòu)的排序,確保重要數(shù)據(jù)優(yōu)先重構(gòu)工作的優(yōu)先級(jí)。
高清視頻存儲(chǔ)能支持接入各種類(lèi)型前端實(shí)時(shí)/歷史/事件等視頻流式數(shù)據(jù)文件存儲(chǔ);圖片能存儲(chǔ)支持包括車(chē)輛、人臉、物品等各類(lèi)圖片存儲(chǔ);對(duì)象存儲(chǔ)對(duì)外提供存儲(chǔ)服務(wù)以對(duì)象接口的方式現(xiàn)實(shí);文件存儲(chǔ)能支持包括以NFS 或CIFS 方式進(jìn)行文件存儲(chǔ)服務(wù);智能化結(jié)構(gòu)存儲(chǔ)是指支持對(duì)高清視頻、圖片文件等分析后產(chǎn)生的智能化結(jié)構(gòu)數(shù)據(jù)提供的存儲(chǔ)類(lèi)服務(wù)。
圖2 邏輯架構(gòu)圖
系統(tǒng)架構(gòu)最底層、最基礎(chǔ)的部分是設(shè)備層,能支持標(biāo)準(zhǔn)的磁盤(pán)陣列設(shè)備,通過(guò)對(duì)設(shè)備層的整合達(dá)到為云存儲(chǔ)系統(tǒng)提供系統(tǒng)的容量基礎(chǔ),為各類(lèi)應(yīng)用服務(wù)提供足夠存儲(chǔ)容量。
本層在系統(tǒng)設(shè)備層的基礎(chǔ)上結(jié)合對(duì)象存儲(chǔ)服務(wù)完成分布式存儲(chǔ)的讀寫(xiě)功能,并將存儲(chǔ)容量按照流式文件系統(tǒng)格式進(jìn)行虛擬化整合。多個(gè)OSD 的資源管理和分配通過(guò)資源管理模塊,經(jīng)由虛擬化的方式構(gòu)建Bucket 存儲(chǔ)池,用Object 方式將數(shù)據(jù)寫(xiě)入對(duì)應(yīng)存儲(chǔ)池中。
采用分布式EC 技術(shù)與對(duì)象存儲(chǔ)技術(shù)相結(jié)合,用靈活的N+M 策略來(lái)實(shí)現(xiàn)對(duì)數(shù)據(jù)內(nèi)容更高安全級(jí)別的保障。
主要實(shí)現(xiàn)的應(yīng)用存儲(chǔ)功能包含視頻功能、圖片功能、文件功能三個(gè)主要應(yīng)用。基于視頻功能不僅實(shí)現(xiàn)了高清視頻錄播、文件下載、視頻回放等基礎(chǔ)功能,還包含多種基于安全防范系統(tǒng)應(yīng)用擴(kuò)展功能。圖片、文件等的存儲(chǔ)功能同樣是基礎(chǔ)上做到應(yīng)用與存儲(chǔ)更優(yōu)結(jié)合,擴(kuò)展豐富的安全防范系統(tǒng)應(yīng)用。
采用豐富的接口種類(lèi)以靈活的應(yīng)用功能給上層提供服務(wù)。系統(tǒng)接口種類(lèi)可分為REST 協(xié)議、SDK 接口、SNMP 協(xié)議等,以此提供不同的應(yīng)用服務(wù),同時(shí)接口種類(lèi)可以根據(jù)實(shí)際業(yè)務(wù)類(lèi)型,開(kāi)發(fā)不同的應(yīng)用服務(wù)接口來(lái)滿足實(shí)際需求。在智能化系統(tǒng)的設(shè)計(jì)中可實(shí)現(xiàn)和視頻監(jiān)控平臺(tái)、IBMS 平臺(tái)、運(yùn)維平臺(tái)等的對(duì)接;實(shí)現(xiàn)了與智能分析系統(tǒng)的對(duì)接。
存儲(chǔ)文件類(lèi)型:7×24小時(shí)定時(shí)錄像、報(bào)警觸發(fā)錄像。
視頻文件的存儲(chǔ)計(jì)算是采用了H.264編碼算法:
項(xiàng)目設(shè)計(jì)的攝像機(jī)為200W 像素,存儲(chǔ)的碼流為4~8Mb/s,本項(xiàng)目使用4MMb/s 碼流進(jìn)行存儲(chǔ)計(jì)算,此碼流能在確保清晰度、還原度的情況下使存儲(chǔ)文件達(dá)到存儲(chǔ)綜合效果最佳。
按90 天存儲(chǔ)要求來(lái)計(jì)算1 路攝像機(jī)的存儲(chǔ)空間:4Mb/s×3600秒×24小時(shí)×90天/1024/1024/8=3.71TB,
依據(jù)項(xiàng)目具體情況(規(guī)劃建設(shè)新建視頻監(jiān)控系統(tǒng)250套,兼容舊系統(tǒng)500套),總的存儲(chǔ)容量約為928TB。
車(chē)輛抓拍圖片信息格式采用了JPEG 格式進(jìn)行編碼,壓縮因子不高于70,符合ISO/IEC1544 ∶2000規(guī)范,輸出照片文件大小約為300KB 左右,項(xiàng)目一個(gè)單車(chē)道按日均1000輛流量估算,圖片信息存儲(chǔ)按6個(gè)月的時(shí)間的容量計(jì)算公式如下:
1000輛×0.3MB×1車(chē)道×30天/月×6個(gè)月/1024/1024=0.05TB
圖片總存儲(chǔ)容量=單車(chē)道容量×車(chē)道數(shù)×卡口數(shù)量
車(chē)輛圖片存儲(chǔ)數(shù)據(jù)根據(jù)具體情況(按照3個(gè)車(chē)輛卡口,雙向六車(chē)道計(jì)算),圖片存儲(chǔ)的容量需求為:?jiǎn)诬?chē)道容量×6×3=0.9TB。
整體系統(tǒng)需求空間裸容量A=視頻文件存儲(chǔ)總?cè)萘?圖片文件存儲(chǔ)總?cè)萘?/p>
5.3.1 數(shù)據(jù)的冗余容量
設(shè)計(jì)采用離散隨機(jī)存儲(chǔ),來(lái)提高整個(gè)系統(tǒng)吞吐量,在保障存儲(chǔ)節(jié)點(diǎn)時(shí)采用了集群技術(shù),可以保障當(dāng)部分存儲(chǔ)節(jié)點(diǎn)故障時(shí)業(yè)務(wù)保持不中斷。在設(shè)計(jì)時(shí)考慮到業(yè)務(wù)切換后數(shù)據(jù)不出現(xiàn)提前覆蓋,在項(xiàng)目設(shè)計(jì)規(guī)劃最終總?cè)萘康?0%來(lái)做適當(dāng)冗余空間。
5.3.2 糾刪碼的開(kāi)銷(xiāo)容量
本系統(tǒng)是采用分布式EC 技術(shù),并且提供N+M 模式的數(shù)據(jù)保障機(jī)制。每N 個(gè)數(shù)據(jù)容量需求提出后會(huì)產(chǎn)生M個(gè)校驗(yàn)容量的開(kāi)銷(xiāo)量。整個(gè)糾刪碼空間可用利用率為N/(N+M)。
5.3.3 系統(tǒng)重構(gòu)的預(yù)留容量
數(shù)據(jù)保障是采用糾刪碼方式,當(dāng)監(jiān)控硬盤(pán)或者存儲(chǔ)設(shè)備發(fā)生故障時(shí)會(huì)自動(dòng)重構(gòu)故障的硬盤(pán)或設(shè)備,在設(shè)計(jì)時(shí)系統(tǒng)需額外預(yù)留一部分重構(gòu)容量。按最終總?cè)萘康?0%計(jì)算。
5.3.4 格式化的損耗容量
對(duì)底層存儲(chǔ)進(jìn)行格式化是采用了對(duì)象存儲(chǔ)虛擬化方式,在格式化過(guò)程中會(huì)損耗容量為最終總?cè)萘康?%。
5.3.5 項(xiàng)目容量合計(jì)
項(xiàng)目所需總存儲(chǔ)容量C=A[1+10%(重構(gòu)冗余比例)+10%(數(shù)據(jù)冗余比例)+5%(格式化損耗)]/[1-[M/(N+M)]]
5.3.6 硬盤(pán)數(shù)量的計(jì)算
系統(tǒng)的硬盤(pán)采用4TB 監(jiān)控級(jí)硬盤(pán),標(biāo)準(zhǔn)的監(jiān)控4TB硬盤(pán)的實(shí)際容量通過(guò)轉(zhuǎn)換得出4/1.024/1.024/1.024/1.024T B=3.63TB。
硬盤(pán)數(shù)量D=1200(TB)/3.63TB=330塊
N+M 保障機(jī)制與分布式算法相結(jié)合,在存儲(chǔ)時(shí)將條帶中的各個(gè)塊數(shù)據(jù)分散到不同存儲(chǔ)設(shè)備中,若系統(tǒng)中出現(xiàn)了若干監(jiān)控硬盤(pán)或者存儲(chǔ)設(shè)備故障都只會(huì)損失部分塊數(shù)據(jù)。條帶基礎(chǔ)存儲(chǔ)單元中只要不超過(guò)M 個(gè)塊的數(shù)據(jù)故障和缺失,丟失的數(shù)據(jù)塊都可以依據(jù)算法恢復(fù)出來(lái),數(shù)據(jù)保障得到有效保證。
系統(tǒng)數(shù)據(jù)保障機(jī)制是通過(guò)分布式EC 算法構(gòu)建基礎(chǔ)的,靈活的N+M 提供數(shù)據(jù)高可靠保障能力,系統(tǒng)可支持到N+4的高級(jí)別保障。數(shù)據(jù)保障機(jī)制N+M 在設(shè)計(jì)中,數(shù)據(jù)寫(xiě)入時(shí)按照大小劃分為N 個(gè)數(shù)據(jù)塊,以數(shù)據(jù)塊為基礎(chǔ)計(jì)算出校驗(yàn)塊,由此得出一組N+M 個(gè)塊作為條帶基礎(chǔ)存儲(chǔ)單元。
為達(dá)到統(tǒng)一監(jiān)控平臺(tái)的使用效果,原搭建的視頻監(jiān)控系統(tǒng)與新系統(tǒng)須進(jìn)行對(duì)接,??低曇曨l融合云存儲(chǔ)系統(tǒng)支持其他廠家存儲(chǔ)設(shè)備的接入,是將宇視NASV1800設(shè)備提供的容量掛載到??礽VMS-5120視頻融合云存儲(chǔ)系統(tǒng)上,NAS1800支持標(biāo)準(zhǔn)NFS 協(xié)議,由異構(gòu)網(wǎng)關(guān)運(yùn)行云存儲(chǔ)軟件,執(zhí)行向前端取流,存儲(chǔ)部分統(tǒng)一由海康威視視頻融合云存儲(chǔ)系統(tǒng)調(diào)度和管理。
圖3 系統(tǒng)原理圖
系統(tǒng)搭建完成后,在滿足用戶需求的情況下對(duì)整個(gè)項(xiàng)目實(shí)現(xiàn)對(duì)新舊系統(tǒng)的應(yīng)用及存儲(chǔ)提供統(tǒng)一服務(wù),整個(gè)視頻監(jiān)控系統(tǒng)達(dá)成了統(tǒng)一管理、存儲(chǔ)、運(yùn)維,系統(tǒng)運(yùn)行高效,穩(wěn)定,兼容性強(qiáng)。
云平臺(tái)能滿足包括:視頻存儲(chǔ)、文件存儲(chǔ)、圖片存儲(chǔ)、系統(tǒng)管理、運(yùn)維管理等功能。主要的重點(diǎn)在于關(guān)注安全防范行業(yè)內(nèi)的視頻抓拍、圖片對(duì)象、文件功能與云存儲(chǔ)功能的結(jié)合。
存儲(chǔ)設(shè)備采取集群化的管理,未來(lái)中西醫(yī)結(jié)合醫(yī)院的視頻擴(kuò)容,可通過(guò)增配存儲(chǔ)節(jié)點(diǎn)SSD,即可滿足未來(lái)存儲(chǔ)需要。
系統(tǒng)的搭建是通過(guò)池化服務(wù)的概念在資源池內(nèi)封裝不同類(lèi)型的業(yè)務(wù),為項(xiàng)目的用戶和上層業(yè)務(wù)來(lái)提供一個(gè)統(tǒng)一的、可調(diào)用、透明的的虛擬化存儲(chǔ)資源池。通過(guò)接口協(xié)議可以讓其他第三方標(biāo)準(zhǔn)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)資源統(tǒng)一接入云存儲(chǔ)系統(tǒng)進(jìn)行資源融合。
視頻融合云存儲(chǔ)對(duì)整個(gè)大數(shù)據(jù)平臺(tái)應(yīng)用提供分析支撐,體現(xiàn)在對(duì)海量高清視頻和圖片文件等數(shù)據(jù)提供并發(fā)、高速、安全的數(shù)據(jù)服務(wù)支撐。??低昳VMS-5120云存儲(chǔ)系統(tǒng)作為整個(gè)視頻監(jiān)控解決方案的重要組成部分,提供兼容、安全、靈活、高效的數(shù)據(jù)存儲(chǔ)服務(wù),向大數(shù)據(jù)平臺(tái)提供高效的數(shù)據(jù)來(lái)源,全面服務(wù)視頻大數(shù)據(jù)的工作開(kāi)展。視頻融合云存儲(chǔ)可以提供獲取海量數(shù)據(jù)用于進(jìn)一步的分析計(jì)算,生成有價(jià)值的結(jié)構(gòu)化數(shù)據(jù)。