基于Hadoop的市政設(shè)施監(jiān)控大數(shù)據(jù)分析

陳偉鋒++張萍

摘 要：在目前市政設(shè)施監(jiān)控過程中，有效地應(yīng)用大數(shù)據(jù)分析技術(shù)，不但可以提高監(jiān)控的整體效果，同時(shí)還能夠?qū)崿F(xiàn)監(jiān)控?cái)?shù)據(jù)的快速處理，為市政設(shè)施監(jiān)控提供完善的技術(shù)支持和技術(shù)保證。結(jié)合當(dāng)前大數(shù)據(jù)技術(shù)的發(fā)展實(shí)際，Hadoop作為一種有效的大數(shù)據(jù)技術(shù)，在市政設(shè)施監(jiān)控中能夠得到有效的應(yīng)用，對(duì)滿足市政設(shè)施監(jiān)控需要和提高市政設(shè)施監(jiān)控效果具有重要作用。為此，應(yīng)對(duì)Hadoop概念及內(nèi)容進(jìn)行全面分析，并了解和掌握Hadoop的體系架構(gòu)，最后根據(jù)Hadoop技術(shù)實(shí)際，構(gòu)建基于Hadoop的市政設(shè)施監(jiān)控系統(tǒng)。

關(guān)鍵詞：Hadoop 市政設(shè)施監(jiān)控 大數(shù)據(jù)

中圖分類號(hào)：TP31 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1674-098X（2016）10（b）-0076-02

Hadoop作為一種有效的大數(shù)據(jù)技術(shù)，在數(shù)據(jù)處理和網(wǎng)絡(luò)系統(tǒng)中得到了有效的應(yīng)用，對(duì)提高大數(shù)據(jù)分析處理效果具有重要作用。根據(jù)Hadoop技術(shù)的概念及內(nèi)容實(shí)際，掌握Hadoop的體系架構(gòu)特點(diǎn)，對(duì)于構(gòu)建大數(shù)據(jù)處理系統(tǒng)是十分重要的。結(jié)合市政設(shè)施監(jiān)控系統(tǒng)的數(shù)據(jù)處理需求，應(yīng)用Hadoop構(gòu)建市政設(shè)施監(jiān)控系統(tǒng)，對(duì)于提高市政設(shè)施監(jiān)控系統(tǒng)的運(yùn)行效果和滿足市政設(shè)施監(jiān)控系統(tǒng)的數(shù)據(jù)處理需要具有重要意義。為此，應(yīng)開展Hadoop大數(shù)據(jù)系統(tǒng)的研究。

1 Hadoop的概念及內(nèi)容

Hadoop是一個(gè)用java語(yǔ)言實(shí)現(xiàn)的軟件框架，在由大量計(jì)算機(jī)組成的集群中運(yùn)行海量數(shù)據(jù)的分布式計(jì)算，它可以讓應(yīng)用程序支持上千個(gè)節(jié)點(diǎn)和PB級(jí)別的數(shù)據(jù)。Hadoop是項(xiàng)目的總稱，主要是由分布式存儲(chǔ)（HDFS）、分布式計(jì)算（MapReduce）等組成。

Hadoop作為一種有效的大數(shù)據(jù)處理技術(shù)，其主要優(yōu)點(diǎn)分為4個(gè)方面。

1.1 可擴(kuò)展

Hadoop技術(shù)在實(shí)際應(yīng)用過程中，可以根據(jù)所構(gòu)建系統(tǒng)的需求進(jìn)行必要的擴(kuò)展。具體功能可以在原有大數(shù)據(jù)處理的基礎(chǔ)上進(jìn)行增減，以滿足所構(gòu)建系統(tǒng)的實(shí)際需求為準(zhǔn)。這一功能是Hadoop的主要優(yōu)勢(shì)，擴(kuò)大了Hadoop技術(shù)的應(yīng)用范圍。

1.2 經(jīng)濟(jì)

Hadoop技術(shù)在應(yīng)用過程中，整體應(yīng)用成本較低。由于Hadoop具備了較好的可擴(kuò)展性，在系統(tǒng)的構(gòu)建中可以作為基礎(chǔ)技術(shù)進(jìn)行應(yīng)用，在Hadoop基礎(chǔ)上有效接入其他系統(tǒng)，避免了系統(tǒng)重建導(dǎo)致的資源浪費(fèi)，有效地提高了系統(tǒng)的構(gòu)建效果。

1.3 可靠

Hadoop技術(shù)在多年的應(yīng)用過程中，被證明是一種可靠的大數(shù)據(jù)處理技術(shù)。這種技術(shù)不但可以有效地提高數(shù)據(jù)的處理速度，同時(shí)還能與其他系統(tǒng)進(jìn)行無(wú)縫對(duì)接，提高信息數(shù)據(jù)的處理能力，滿足系統(tǒng)運(yùn)算和數(shù)據(jù)處理需要。因此，較高的可靠性保證了Hadoop能夠得到有效應(yīng)用。

1.4 高效

Hadoop技術(shù)的突出優(yōu)點(diǎn)是數(shù)據(jù)處理速度較快。其不但可以在較短的時(shí)間內(nèi)加快數(shù)據(jù)處理速度，同時(shí)也會(huì)根據(jù)系統(tǒng)的現(xiàn)實(shí)需求制定個(gè)性化的數(shù)據(jù)處理模式，提高系統(tǒng)的響應(yīng)速度，保證數(shù)據(jù)處理速度能夠達(dá)到預(yù)期目標(biāo)，提高數(shù)據(jù)處理的整體效果。

2 Hadoop的體系架構(gòu)

從Hadoop技術(shù)的應(yīng)用來看，通常Hadoop的體系架構(gòu)比較特殊，除了要設(shè)定功能模塊之外，還要使模塊具備一定的接入特性。

具體的功能模塊特點(diǎn)如下。

Pig是一個(gè)基于Hadoop的大規(guī)模數(shù)據(jù)分析平臺(tái)，Pig為復(fù)雜的海量數(shù)據(jù)并行計(jì)算提供了一個(gè)簡(jiǎn)易的操作和編程接口。

Chukwa是基于Hadoop的集群監(jiān)控系統(tǒng)。

Hive是基于Hadoop的一個(gè)工具，提供完整的sql查詢功能，可以將sql語(yǔ)句轉(zhuǎn)換為MapRedce任務(wù)進(jìn)行運(yùn)行。

ZooKeeper是高效的、可擴(kuò)展的協(xié)調(diào)系統(tǒng)，存儲(chǔ)和協(xié)調(diào)關(guān)鍵共享狀態(tài)。

HBase是一個(gè)分布式文件系統(tǒng)，有著高容錯(cuò)性的特點(diǎn)。

MapRedce是一種編程模型，用于大規(guī)模數(shù)據(jù)集的并行運(yùn)算。

基于對(duì)Hadoop的了解，Hadoop在體系架構(gòu)中用到了多種輔助工具和子系統(tǒng)，在整體體系結(jié)構(gòu)上并不復(fù)雜，實(shí)現(xiàn)難度較低，具備了與其他系統(tǒng)有效集成的優(yōu)點(diǎn)。在功能系統(tǒng)構(gòu)建過程中，基本能夠滿足實(shí)際需求，對(duì)降低系統(tǒng)構(gòu)建難度具有重要作用。

同時(shí)，Hadoop在體系架構(gòu)中采取了分層架構(gòu)的方式，這種模式不但具有一定的突出性，同時(shí)還能夠解決功能系統(tǒng)構(gòu)建過程中存在的系統(tǒng)接入問題。對(duì)降低功能系統(tǒng)的接入難度和提高功能系統(tǒng)的接入效果具有重要作用。因此，利用Hadoop構(gòu)建大數(shù)據(jù)分析系統(tǒng)是重要措施。

除此之外，Hadoop具備了與其他系統(tǒng)對(duì)接的優(yōu)勢(shì)，可以在系統(tǒng)構(gòu)建過程中，根據(jù)系統(tǒng)的實(shí)際特點(diǎn)和功能需要，構(gòu)建相對(duì)應(yīng)的大數(shù)據(jù)處理系統(tǒng)，提高系統(tǒng)的數(shù)據(jù)處理能力，保證系統(tǒng)在數(shù)據(jù)處理過程中，能夠在整體有效性上得到全面提升。

3 基于Hadoop的市政設(shè)施監(jiān)控系統(tǒng)的構(gòu)建

基于Hadoop的特點(diǎn)以及市政設(shè)施監(jiān)控系統(tǒng)的構(gòu)建需要，利用Hadoop構(gòu)建市政設(shè)施監(jiān)控系統(tǒng)，應(yīng)當(dāng)做好系統(tǒng)的總體設(shè)計(jì)和功能設(shè)定。

在市政設(shè)施監(jiān)控系統(tǒng)構(gòu)建過程中，基于Hadoop的特點(diǎn)和優(yōu)勢(shì)，應(yīng)當(dāng)采取典型的系統(tǒng)架構(gòu)模式進(jìn)行系統(tǒng)構(gòu)建，并根據(jù)Hadoop的系統(tǒng)架構(gòu)需要對(duì)系統(tǒng)結(jié)構(gòu)進(jìn)行調(diào)整，使市政設(shè)施監(jiān)控系統(tǒng)在科學(xué)性和合理性上滿足實(shí)際需要，提高系統(tǒng)的構(gòu)建質(zhì)量。

考慮到市政設(shè)施監(jiān)控系統(tǒng)的數(shù)據(jù)處理量較大的特點(diǎn)，在應(yīng)用Hadoop技術(shù)之后，應(yīng)當(dāng)根據(jù)Hadoop的算法對(duì)市政設(shè)施監(jiān)控系統(tǒng)的數(shù)據(jù)進(jìn)行有效處理，保證市政設(shè)施監(jiān)控系統(tǒng)在數(shù)據(jù)處理速度上能夠達(dá)到預(yù)期目標(biāo)，提高數(shù)據(jù)處理質(zhì)量。

在此基礎(chǔ)上，應(yīng)發(fā)揮Hadoop大數(shù)據(jù)處理技術(shù)的優(yōu)勢(shì)，根據(jù)市政設(shè)施監(jiān)控的實(shí)際特點(diǎn)，設(shè)置數(shù)據(jù)處理功能目標(biāo)，指導(dǎo)Hadoop大數(shù)據(jù)處理技術(shù)的應(yīng)用，保證Hadoop大數(shù)據(jù)處理技術(shù)在應(yīng)用過程中能夠提高數(shù)據(jù)處理效果。因此，在具體的系統(tǒng)構(gòu)建中，應(yīng)突出數(shù)據(jù)處理速度目標(biāo)。

在市政設(shè)施監(jiān)控系統(tǒng)中，該系統(tǒng)利用先進(jìn)的視頻監(jiān)控、智能識(shí)別和信息技術(shù)手段，增加可管理空間、時(shí)間和范圍，不斷提升管理廣度、深度和精細(xì)度。整個(gè)系統(tǒng)由信息綜合應(yīng)用平臺(tái)、信號(hào)控制系統(tǒng)、視頻監(jiān)控系統(tǒng)、智能卡口系統(tǒng)、電子警察系統(tǒng)、信息采集系統(tǒng)、信息發(fā)布系統(tǒng)等組成。

最后，在系統(tǒng)構(gòu)建完成之后，應(yīng)對(duì)Hadoop大數(shù)據(jù)技術(shù)構(gòu)建的監(jiān)控系統(tǒng)與其他監(jiān)控系統(tǒng)相對(duì)比，重點(diǎn)比對(duì)數(shù)據(jù)處理速度和數(shù)據(jù)處理量，總結(jié)Hadoop技術(shù)的優(yōu)勢(shì)，為市政監(jiān)控系統(tǒng)的構(gòu)建提供良好的系統(tǒng)支持和技術(shù)支持。

4 結(jié)語(yǔ)

通過該文的分析可知，在市政設(shè)施監(jiān)控系統(tǒng)構(gòu)建過程中，有效地應(yīng)用Hadoop技術(shù)，不但可以構(gòu)建完善的大數(shù)據(jù)處理中心，同時(shí)還能解決市政設(shè)施監(jiān)控系統(tǒng)中存在的數(shù)據(jù)處理速度慢和數(shù)據(jù)處理量大的問題。因此，應(yīng)對(duì)Hadoop技術(shù)有正確的認(rèn)識(shí)，做到正確分析Hadoop的優(yōu)勢(shì)和特點(diǎn)，并在市政設(shè)施監(jiān)控系統(tǒng)的構(gòu)建中有效應(yīng)用Hadoop技術(shù)，提高市政設(shè)施監(jiān)控系統(tǒng)的構(gòu)建效果，滿足市政設(shè)施監(jiān)控系統(tǒng)的構(gòu)建需要。

參考文獻(xiàn)

[1] 廉捷，周欣，曹偉，等.新浪微博數(shù)據(jù)挖掘方案[J].清華大學(xué)學(xué)報(bào)：自然科學(xué)版，2011（10）：1300-1305.

[2] 何忠育.分布式社會(huì)網(wǎng)絡(luò)分析支撐系統(tǒng)研究與應(yīng)用[D].廣東工業(yè)大學(xué)，2011.

[3] 陳旭.基于社會(huì)網(wǎng)絡(luò)的WEB輿情系統(tǒng)的研究與實(shí)現(xiàn)[D].電子科技大學(xué)，2010.

[4] 胡進(jìn).復(fù)雜網(wǎng)絡(luò)上的博弈及其在通信網(wǎng)絡(luò)資源管理中的應(yīng)用[D].華中科技大學(xué)，2010.