云存儲(chǔ)系統(tǒng)在高速公路視頻監(jiān)控中的應(yīng)用探討

魏然+葉蕾

【摘要】 隨著監(jiān)控視頻質(zhì)量不斷提升，監(jiān)控范圍不斷擴(kuò)大，在滿足監(jiān)控市場(chǎng)實(shí)時(shí)視頻顯示的需求同時(shí)，傳統(tǒng)集中式的視頻存儲(chǔ)，主要是文件式存儲(chǔ)系統(tǒng)，將面臨著諸多的技術(shù)挑戰(zhàn)。而網(wǎng)絡(luò)分布式云存儲(chǔ)系統(tǒng)，在網(wǎng)絡(luò)資源共享、分級(jí)分層存儲(chǔ)方面具有突出特點(diǎn)，在高速公路視頻監(jiān)控等相關(guān)行業(yè)有著很好的應(yīng)用前景。

【關(guān)鍵詞】 視頻存儲(chǔ) 文件式存儲(chǔ)系統(tǒng) 分布式云存儲(chǔ)系統(tǒng)

伴隨著安防監(jiān)控技術(shù)的不斷進(jìn)步，越來越多的現(xiàn)代監(jiān)控技術(shù)應(yīng)用到高速公路的監(jiān)控系統(tǒng)中，視頻圖像高清、IP壓縮傳輸、智能分析與視頻管理融合、存儲(chǔ)云化等技術(shù)得到快速發(fā)展。

一、系統(tǒng)的特點(diǎn)

高速公路監(jiān)控?cái)z像頭除了在收費(fèi)站、服務(wù)區(qū)部署外，還有相當(dāng)一部分部署在高速公路沿線、隧道、互通橋梁、重點(diǎn)觀測(cè)區(qū)等不便維護(hù)的地方。因此，監(jiān)控存儲(chǔ)模式大多采用便于擴(kuò)展、長(zhǎng)期維護(hù)成本低的集中式網(wǎng)絡(luò)視頻存儲(chǔ)方式，如采用IP-SAN或F-SAN等連接方式。該方式讓每臺(tái)監(jiān)控服務(wù)器或工控機(jī)直接接入到SAN存儲(chǔ)網(wǎng)絡(luò)中，進(jìn)行集中存儲(chǔ)。但是，這樣會(huì)隨著監(jiān)控點(diǎn)位的不斷增加而造成線路廣泛并相對(duì)集中，音視頻數(shù)據(jù)量大并密度高、數(shù)據(jù)保存周期長(zhǎng)及安全性要求較高。如果采用傳統(tǒng)的文件存儲(chǔ)方式，視頻文件數(shù)據(jù)量會(huì)呈幾何級(jí)增長(zhǎng)，數(shù)GB大小的文件非常普遍，而且后續(xù)還要和報(bào)警聯(lián)動(dòng)中心、應(yīng)急指揮中心等其他業(yè)務(wù)的數(shù)據(jù)進(jìn)行整合，采用管理數(shù)億個(gè)KB大小的小文件的方式是一種風(fēng)險(xiǎn)。

如今Linux 操作系統(tǒng)中標(biāo)準(zhǔn)的ext3/4等POSIX接口的文件系統(tǒng)，都位于內(nèi)核中VFS的下一層，在內(nèi)核層實(shí)現(xiàn)，這種普通文件系統(tǒng)由于考慮磁盤空間的利用率、功能復(fù)雜性以及接口標(biāo)準(zhǔn)等，無法滿足點(diǎn)數(shù)日益增多的監(jiān)控系統(tǒng)存儲(chǔ)的要求。同時(shí)，音視頻數(shù)據(jù)在存儲(chǔ)時(shí)絕大部分文件的修改是采用在文件尾部追加數(shù)據(jù)，而不是覆蓋原有數(shù)據(jù)的方式，在實(shí)際運(yùn)行中傳統(tǒng)的對(duì)文件的隨機(jī)寫入操作幾乎不會(huì)發(fā)生。當(dāng)存儲(chǔ)完成后，對(duì)文件的操作只有讀操作，而且是按順序讀操作，予以回放。因此存儲(chǔ)系統(tǒng)在安全、先進(jìn)、實(shí)用的原則下必須考慮存儲(chǔ)系統(tǒng)的擴(kuò)展性、性價(jià)比、性能、管理性、穩(wěn)定性的要求。

二、系統(tǒng)的應(yīng)用

分布式文件系統(tǒng)起步于20世紀(jì)70年代，從早期的 NFS到現(xiàn)在的 StorageTank、Lust、PanF等，在體系結(jié)構(gòu)、系統(tǒng)規(guī)模、性能、可擴(kuò)展性、可用性等方面經(jīng)歷了巨大的變化。

當(dāng)前分布式文件系統(tǒng)有大容量、高性能、高可用性、可擴(kuò)展性、可管理性等特點(diǎn)，但是，監(jiān)控行業(yè)的存儲(chǔ)特性決定了其分布式文件系統(tǒng)和已有的分布式文件系統(tǒng)有一定區(qū)別，除了解決物理存儲(chǔ)資源多樣化、海量音視頻數(shù)據(jù)存儲(chǔ)問題、還要解決迅速檢索查詢的難題。因此，監(jiān)控行業(yè)的分布式文件系統(tǒng)應(yīng)是以音視頻幀、圖片為存儲(chǔ)和管理核心（單元）的、面向大規(guī)模數(shù)據(jù)密集型應(yīng)用的、可伸縮的分布式文件系統(tǒng)。

基于視頻監(jiān)控行業(yè)的分布式文件系統(tǒng)是以塊存儲(chǔ)為實(shí)現(xiàn)目標(biāo)，直接在塊設(shè)備文件上構(gòu)建而成。

三、進(jìn)一步的擴(kuò)展

分布式文件系統(tǒng)具有高擴(kuò)展性、高性能、高可用性、可橫向擴(kuò)展的彈性分布式文件系統(tǒng)，在架構(gòu)設(shè)計(jì)上非常有特點(diǎn)，比如無元數(shù)據(jù)服務(wù)器設(shè)計(jì)、堆棧式架構(gòu)等。然而，存儲(chǔ)應(yīng)用問題是很復(fù)雜的，也不可能滿足所有的存儲(chǔ)需求，設(shè)計(jì)實(shí)現(xiàn)上也存在考慮不足之處。

1、無元數(shù)據(jù)服務(wù)器的設(shè)計(jì)導(dǎo)致數(shù)據(jù)一致問題更加復(fù)雜，文件目錄遍歷操作效率低下，缺乏全局監(jiān)控管理功能。同時(shí)也導(dǎo)致客戶端承擔(dān)了更多的職能，比如文件定位、名字空間緩存、邏輯卷視圖維護(hù)等等，這些都增加了客戶端的負(fù)載，占用相當(dāng)?shù)腃PU和內(nèi)存。

采用的堆棧式設(shè)計(jì)具有很強(qiáng)的系統(tǒng)擴(kuò)展能力，系統(tǒng)的設(shè)計(jì)復(fù)雜性降低很多，基本功能模塊的堆棧式組合就可以實(shí)現(xiàn)強(qiáng)大的功能。一層一層進(jìn)行調(diào)用，效率可見一斑。而非堆棧式設(shè)計(jì)可看成類似Linux的單一內(nèi)核設(shè)計(jì)，系統(tǒng)調(diào)用通過中斷實(shí)現(xiàn)，簡(jiǎn)便高效。

2、使用原始格式存儲(chǔ)文件或數(shù)據(jù)分片，可以直接使用各種標(biāo)準(zhǔn)的工具進(jìn)行訪問，數(shù)據(jù)互操作性好，遷移和數(shù)據(jù)管理非常方便。然而，數(shù)據(jù)安全成了問題，因?yàn)閿?shù)據(jù)是以平常的方式保存的，接觸數(shù)據(jù)的人可以直接復(fù)制和查看。這對(duì)很多應(yīng)用顯然是不能接受的，比如云存儲(chǔ)系統(tǒng)，用戶特別關(guān)心數(shù)據(jù)安全，這也是影響公有云存儲(chǔ)發(fā)展的一個(gè)重要原因。我們采用私有存儲(chǔ)格式可以保證數(shù)據(jù)的安全性，即使泄露也是不可知的。

3、采用彈性哈希算法和Stripe數(shù)據(jù)分布策略，移除了元數(shù)據(jù)依賴，優(yōu)化了數(shù)據(jù)分布，提高數(shù)據(jù)訪問并行性，能夠大幅提高大文件存儲(chǔ)的性能。對(duì)于小文件，無元數(shù)據(jù)服務(wù)設(shè)計(jì)解決了元數(shù)據(jù)的問題。但是還需要在I/O方面作優(yōu)化，目前在存儲(chǔ)服務(wù)器底層文件系統(tǒng)上仍然是大量小文件，本地文件系統(tǒng)元數(shù)據(jù)訪問是一個(gè)瓶頸，數(shù)據(jù)分布和并行性也無法充分發(fā)揮作用。因此，目前僅適合存儲(chǔ)大文件，小文件性能較差，還存在很大優(yōu)化空間。

4、使用復(fù)制技術(shù)來提供數(shù)據(jù)高可用性，復(fù)制數(shù)量沒有限制，自動(dòng)修復(fù)功能基于復(fù)制來實(shí)現(xiàn)?？捎眯耘c存儲(chǔ)利用率是一個(gè)矛盾體，可用性高存儲(chǔ)利用率就低，反之亦然。采用復(fù)制技術(shù)，存儲(chǔ)利用率為1/復(fù)制數(shù)，鏡像是50%，三路復(fù)制則只有33%。其實(shí)，可以有方法來同時(shí)提高可用性和存儲(chǔ)利用率，比如RAID5的利用率是（n-1）/n，RAID6是（n-2）/n，而糾錯(cuò)碼技術(shù)可以提供更高的存儲(chǔ)利用率。但是，魚和熊掌不可得兼，它們都會(huì)對(duì)性能產(chǎn)生較大影響。

四、結(jié)束語

盡管分布式文件系統(tǒng)從整體設(shè)計(jì)上看，還存在著一些不足，但是不可否認(rèn)，其線性橫向擴(kuò)展能力具有天生的優(yōu)勢(shì)，在大數(shù)據(jù)量的監(jiān)控存儲(chǔ)系統(tǒng)中，尤其是對(duì)于云存儲(chǔ)系統(tǒng)，這是一個(gè)有著先天優(yōu)勢(shì)的集群文件管理系統(tǒng)，符合監(jiān)控存儲(chǔ)系統(tǒng)發(fā)展的未來。

參 考 文 獻(xiàn)

[1]鄧見光等，云存儲(chǔ)及其分布式文件系統(tǒng)研究，東莞理工學(xué)院學(xué)報(bào).2012年05期

[2]何興高等，分布式個(gè)人文件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，電子科技大學(xué)學(xué)報(bào).2005年04期