馮霄霞

得益于IT信息技術(shù)的快速進步，人類可以隨時隨地記錄下產(chǎn)生的各類數(shù)據(jù)，而同時數(shù)據(jù)存儲的成本也正以前所未有的速度下降，一個大數(shù)據(jù)的時代在悄然來臨。根據(jù)IDC預(yù)測，全球在2010年正式進入ZB時代，全球數(shù)據(jù)量大約每兩年翻一番，意味著人類在最近兩年產(chǎn)生的數(shù)據(jù)量相當(dāng)于之前產(chǎn)生的全部數(shù)據(jù)量。爆炸式增長的數(shù)據(jù)，正推動人類進入大數(shù)據(jù)的時代。

大數(shù)據(jù)是飛速增長的，用現(xiàn)有數(shù)據(jù)庫管理工具難以管理所有的數(shù)據(jù)集合。這些數(shù)據(jù)包括：社交媒體、移動設(shè)備、科學(xué)計算和城市中部署的各類傳感器等等，其中視頻又是構(gòu)成數(shù)據(jù)體量最大的一部分。在視頻監(jiān)控大聯(lián)網(wǎng)、高清化推動下，視頻監(jiān)控業(yè)務(wù)步入數(shù)據(jù)洪水時代不可避免。

視頻監(jiān)控數(shù)據(jù)有兩個方面的內(nèi)涵——海量和非結(jié)構(gòu)化。視頻監(jiān)控數(shù)據(jù)量規(guī)模龐大，并且隨著高清化、超高清化的趨勢加強，視頻監(jiān)控數(shù)據(jù)規(guī)模將以更快的指數(shù)級別增長;與通常講的結(jié)構(gòu)化數(shù)據(jù)不同，視頻監(jiān)控業(yè)務(wù)產(chǎn)生的數(shù)據(jù)絕大多數(shù)以非結(jié)構(gòu)化的數(shù)據(jù)為主，這給傳統(tǒng)的數(shù)據(jù)管理和使用機制帶來了極大的挑戰(zhàn)。

數(shù)據(jù)“洪水”

帶給視頻監(jiān)控的困境

飛速增長的視頻監(jiān)控數(shù)據(jù)，使得傳統(tǒng)視頻監(jiān)控體系架構(gòu)、數(shù)據(jù)的管理方式、數(shù)據(jù)分析應(yīng)用等方面面臨著新的困境。

困境一，數(shù)據(jù)量的急劇擴大和IT投資之間的矛盾。按照I T產(chǎn)業(yè)的法則：在滿足客戶需求的前提之下，往往技術(shù)成本越低，其生命力越強。由于數(shù)據(jù)量的急速擴大，以及隨之而來的大規(guī)模計算的需求越來越多，一味采用高配硬件，使得硬件投資成為客戶不可承受之重，客戶越來越希望在滿足需求的前提下，用中低端的硬件來替換高配硬件。

困境二，海量數(shù)據(jù)和有效數(shù)據(jù)之間的矛盾。攝像頭7×24小時工作，如實記錄鏡頭覆蓋范圍發(fā)生的一切，僅僅記錄信息是不夠的，因為對于客戶來講可能大部分信息是無效的，有效信息可能只分布在一個較短的時間段內(nèi)，按照數(shù)學(xué)統(tǒng)計的說法，信息是呈現(xiàn)冪律分布的，往往越高密度的信息對客戶價值越大。

困境三，資源利用和效率之間的矛盾，串行計算和并行計算的矛盾。視頻監(jiān)控業(yè)務(wù)網(wǎng)絡(luò)化、大聯(lián)網(wǎng)后，網(wǎng)絡(luò)內(nèi)的設(shè)備越來越多，利用閑置的計算資源，實現(xiàn)資源的最大化利用，關(guān)乎運算的效率。

因為大數(shù)據(jù)帶來了很多現(xiàn)實中的難題，為了解決這些難題需要新的技術(shù)變革，需要新一代的數(shù)據(jù)庫技術(shù)，業(yè)界稱之為大數(shù)據(jù)技術(shù) 。IDC這樣定義大數(shù)據(jù)技術(shù)：大數(shù)據(jù)技術(shù)將被設(shè)計用于在成本可承受的條件下，通過非?？焖俚牟杉?、發(fā)現(xiàn)和分析，從大量化、多類別的數(shù)據(jù)中提取價值，將是IT領(lǐng)域新一代的技術(shù)與架構(gòu)的變革。Hadoop技術(shù)正是在此背景下誕生，歷經(jīng)數(shù)年的積累，Hadoop已成長為一個強大的生態(tài)系統(tǒng)，不但衍生出HDFS、HBase、Hive等多個子項目，也成為IT領(lǐng)域廣泛采用的大數(shù)據(jù)模型框架。

大數(shù)據(jù)技術(shù)和視頻監(jiān)控業(yè)務(wù)的融合

視頻監(jiān)控業(yè)務(wù)正是一個典型的數(shù)據(jù)依賴型業(yè)務(wù)，依靠數(shù)據(jù)說話。可以說，大數(shù)據(jù)與視頻監(jiān)控業(yè)務(wù)有著天然的結(jié)合。綜合來看，大數(shù)據(jù)與視頻監(jiān)控業(yè)務(wù)的結(jié)合主要體現(xiàn)在“存”、“看”、“用”上。

“閃存”：如果類比水庫蓄水的方式 ，典型的網(wǎng)絡(luò)視頻監(jiān)控數(shù)據(jù)存儲模型是一個由小溪匯聚河流、再匯聚到水庫的蓄水方式。小溪數(shù)量增多、水量增大是水庫蓄水量的保證，然而傳統(tǒng)方式下蓄水量增大將提高水庫建造成本和蓄水安全的要求。而采用分布式蓄水模式，在河流中游建立多個中間蓄水池，不僅可以減少主水庫蓄水壓力和成本，化整為零，也提高 了就近用水效率。在大數(shù)據(jù) 技術(shù)支撐下，網(wǎng)絡(luò)視頻監(jiān)控數(shù)據(jù)存儲模型可轉(zhuǎn)向分布式的數(shù)據(jù)存儲體系，提供高效、安全、廉價的存儲方式。

“易看”：在視頻監(jiān)控業(yè)務(wù)中，錯看漏看、來不及看等是常見的困擾點。大數(shù)據(jù)監(jiān)控圖像的回溯給許多安防監(jiān)控管理人員帶來了生理與心理的雙重挑戰(zhàn)。在大量人力投入的公安案件追溯中，都常常耳聞“看到吐”、“看到暈”等無奈和感嘆?？上攵话懔闶坌袠I(yè)、金融行業(yè)等，對于視頻監(jiān)控圖像的回溯就更為困難。在視頻監(jiān)控大數(shù)據(jù)趨勢已經(jīng)來臨之際，依靠人眼去檢索、查看所有視頻圖像數(shù)據(jù)已經(jīng)不太現(xiàn)實。通過大數(shù)據(jù)技術(shù)實現(xiàn)視頻圖像模糊查詢、快速檢索、精準(zhǔn)定位，讓看變得簡單迫在眉睫。

“善用”：視頻監(jiān)控業(yè)務(wù)中，看只是信息采集的方式之一，用才是業(yè)務(wù)應(yīng)用的根本。視頻監(jiān)控業(yè)務(wù)的效率問題已成為阻礙產(chǎn)業(yè)發(fā)展的關(guān)鍵瓶頸。

隨著視頻監(jiān)控攝像機覆蓋廣度、密度增大，視頻圖像數(shù)據(jù)量呈指數(shù)級上升，而視頻監(jiān)控數(shù)據(jù)的使用效率卻在下降。智能交通應(yīng)用、消費者行為分析應(yīng)用等綜合視頻監(jiān)控和圖像智能分析的業(yè)務(wù)出現(xiàn)，正努力突破視頻監(jiān)控效率值及商業(yè)價值低下的瓶頸。通過大數(shù)據(jù)技術(shù)，進一步挖掘海量視頻監(jiān)控數(shù)據(jù)背后的價值信息，快速反饋內(nèi)涵知識輔助決策判斷是將視頻監(jiān)控用好、用善的金鑰匙。

面向大數(shù)據(jù)的視頻監(jiān)控體系架構(gòu)

視頻監(jiān)控業(yè)務(wù)的核心就是數(shù)據(jù)，數(shù)據(jù)就是業(yè)務(wù)本身，那么基于大數(shù)據(jù)架構(gòu)，可以給中大型的視頻監(jiān)控項目帶來諸多的裨益。

第一，架構(gòu)更加靈活，伸縮彈性更大。對于一些中大型項目，由于起點的差異，缺乏視頻監(jiān)控架構(gòu)的頂層設(shè)計，后期的擴容升級難免尾大不掉，如在建設(shè)初就引入面向大數(shù)據(jù)的架構(gòu)，為業(yè)務(wù)擴張和管理帶來好處。

第二，以廉價通用硬件迎合視頻監(jiān)控數(shù)據(jù)的爆發(fā)性增長。在面向大數(shù)據(jù)的架構(gòu)中，可根據(jù)視頻監(jiān)控業(yè)務(wù)的部署需要，設(shè)立多個HDFS集群組成，采集的流數(shù)據(jù)會被劃分成段，并分布于數(shù)據(jù)節(jié)點，這些數(shù)據(jù)節(jié)點可以采用廉價通用型的硬件，由軟件技術(shù)保證其高可靠性，這種方式避免采用傳統(tǒng)高端硬件的模式。

第三，通過高速并行計算實現(xiàn)智能分析和數(shù)據(jù)挖掘。對于金礦來講，唯有熠熠發(fā)光的金子才有價值，視頻監(jiān)控數(shù)據(jù)就猶如這樣一座金礦，傳統(tǒng)人工和串行的數(shù)據(jù)篩選方式已在大數(shù)據(jù)時代不能滿足要求。

大數(shù)據(jù)視頻監(jiān)控構(gòu)架帶來的價值

大數(shù)據(jù)視頻架構(gòu)是革命性的技術(shù)，特別在實時智能分析和數(shù)據(jù)挖掘方面，讓視頻監(jiān)控從人工抽檢，進步到高效事前預(yù)警、事后分析，實現(xiàn)智能化的信息分析、預(yù)測，為視頻監(jiān)控領(lǐng)域業(yè)務(wù)帶來深刻的變革。

平安城市領(lǐng)域，實時匯總并綜合分析各種公共安全數(shù)據(jù)和資料，為執(zhí)法人員快速準(zhǔn)確應(yīng)對提供科學(xué)依據(jù)：如實時調(diào)閱現(xiàn)場視頻錄像、犯罪嫌疑人記錄、同一地區(qū)的相似案件資料;進行地理、時間和空間的比較分析，揭示其犯罪模式和行為模式;追蹤嫌疑人與其車輛的位置等。指揮人員也可以參照各種數(shù)據(jù)對不同來源的資料進行綜合分析。

智能交通行業(yè)，可以輕松監(jiān)控攝像覆蓋范圍內(nèi)的所有車輛的行駛狀態(tài)、運行軌跡，快速分析出其是否違章，通過對海量交通數(shù)據(jù)的比對、分析和研判，實現(xiàn)指定車輛行駛路徑、道路擁堵研判等功能。

云服務(wù)領(lǐng)域，實現(xiàn)基于大數(shù)據(jù)的視頻監(jiān)控云服務(wù)，讓攝像機僅通過互連網(wǎng)就能連接云端的視頻監(jiān)控托管服務(wù)，通過快速、智能的分析部署在云端的大數(shù)據(jù)，為小型企業(yè)、零售商店、餐館酒店等提供實時監(jiān)控視頻和潛在風(fēng)險管理，甚至能提供收費的基于視頻內(nèi)容的分析報告。