警用勤務(wù)系統(tǒng)中海量GIS數(shù)據(jù)處理優(yōu)化與實(shí)踐

向譚先,艾珂

(1．重慶數(shù)字城市科技有限公司,重慶 400020; 2．重慶市地理信息云服務(wù)企業(yè)工程技術(shù)研究中心,重慶 400020; 3．重慶市公安局交通巡邏警察總隊(duì),重慶 400074)

警用勤務(wù)系統(tǒng)中海量GIS數(shù)據(jù)處理優(yōu)化與實(shí)踐

向譚先1,2?,艾珂3

(1．重慶數(shù)字城市科技有限公司,重慶 400020; 2．重慶市地理信息云服務(wù)企業(yè)工程技術(shù)研究中心,重慶 400020; 3．重慶市公安局交通巡邏警察總隊(duì),重慶 400074)

隨著空間位置的警用勤務(wù)考核業(yè)務(wù)需求的深入應(yīng)用,傳統(tǒng)的通過(guò)空間軌跡的歷史數(shù)據(jù)進(jìn)行查詢、分析、統(tǒng)計(jì)已經(jīng)無(wú)法滿足當(dāng)前的業(yè)務(wù)要求。傳統(tǒng)方案存在占用磁盤空間大、冗余數(shù)據(jù)多、查詢效率低等問(wèn)題。故此,引入MapReduce大數(shù)據(jù)的處理辦法,針對(duì)需要勤務(wù)統(tǒng)計(jì)的內(nèi)容、方式進(jìn)行實(shí)時(shí)規(guī)約、映射,并存儲(chǔ)規(guī)約結(jié)果,再結(jié)合信度校驗(yàn)機(jī)制,為勤務(wù)統(tǒng)計(jì)提供更直接準(zhǔn)確的數(shù)據(jù)來(lái)源。新方法極大地提高了查詢效率,并使用合理的數(shù)據(jù)失效機(jī)制,減少了硬盤存儲(chǔ)空間的占用和數(shù)據(jù)冗余。

MapReduce模式;PGIS;信度校驗(yàn)機(jī)制;勤務(wù)考核

1　引 言

隨著基于地理信息的警用業(yè)務(wù)需求的深入擴(kuò)展,公安部從2003年起開(kāi)始建設(shè)警用地理信息系統(tǒng)(Police Geographic Information System)。PGIS通過(guò)GPS定位技術(shù),使相關(guān)單位可以對(duì)所有安裝有GPS終端設(shè)備的警車進(jìn)行實(shí)時(shí)監(jiān)控管理,主要應(yīng)用功能包括車輛顯示、車輛實(shí)時(shí)跟蹤、車輛查詢與定位、歷史軌跡查詢、車輛控制等;PGIS為各種警情統(tǒng)計(jì)、分析提供了依據(jù),從而為各種決策提供強(qiáng)有力的輔助支持。

在交巡警的業(yè)務(wù)需求中,需要對(duì)警員、警務(wù)車輛定位信息集成和上圖管理應(yīng)用,實(shí)現(xiàn)勤務(wù)查看、動(dòng)態(tài)定位預(yù)警、歷史軌跡分析、勤務(wù)車輛駐點(diǎn)安排及脫崗報(bào)警、勤務(wù)車輛流動(dòng)巡邏跨界報(bào)警、勤務(wù)考核查詢統(tǒng)計(jì)等功能。PGIS提供的空間軌跡的歷史數(shù)據(jù),已經(jīng)無(wú)法滿足以上業(yè)務(wù)提出的查詢、分析、統(tǒng)計(jì)的實(shí)時(shí)性要求。

本文引入大數(shù)據(jù)的處理辦法MapReduce來(lái)對(duì)需要進(jìn)行勤務(wù)統(tǒng)計(jì)的內(nèi)容進(jìn)行實(shí)時(shí)規(guī)約、映射。實(shí)時(shí)將規(guī)約結(jié)果存儲(chǔ)起來(lái),統(tǒng)計(jì)時(shí)只需查詢事先已經(jīng)計(jì)算好的結(jié)果,而非計(jì)算車輛的歷史軌跡。在此基礎(chǔ)上使用信度值校驗(yàn)機(jī)制解決GPS信號(hào)飄點(diǎn)的誤差,并使用數(shù)據(jù)失效機(jī)制來(lái)降低磁盤存儲(chǔ)的壓力,從而很好地滿足了勤務(wù)統(tǒng)計(jì)的實(shí)時(shí)性要求,同時(shí)減少了磁盤的負(fù)荷。

2　業(yè)務(wù)分析及優(yōu)化

2．1業(yè)務(wù)分析

按照重慶市公安局交通巡邏警察總隊(duì)移動(dòng)警務(wù)管理業(yè)務(wù)部門的要求,需要開(kāi)發(fā)警員和警車信息的上圖應(yīng)用,實(shí)現(xiàn)勤務(wù)查看、動(dòng)態(tài)定位預(yù)警、歷史軌跡分析、勤務(wù)考核查詢統(tǒng)計(jì)等功能。

勤務(wù)考核主要包含兩種業(yè)務(wù)數(shù)據(jù):警車GPS位置信息、勤務(wù)區(qū)域范圍信息。勤務(wù)區(qū)域分為警車駐點(diǎn)區(qū)域和警車巡邏區(qū)域,對(duì)應(yīng)勤務(wù)區(qū)域的是駐點(diǎn)警車和巡邏警車。業(yè)務(wù)部門會(huì)考核在規(guī)定時(shí)間段內(nèi)考核車輛是否在駐點(diǎn)區(qū)域之內(nèi)以及在規(guī)定時(shí)段內(nèi)考核車輛是否在執(zhí)行巡查任務(wù)等。

勤務(wù)考核部分著重關(guān)注下列幾種情況:警車在線情況統(tǒng)計(jì)、警車離線情況統(tǒng)計(jì)、駐點(diǎn)警車遲到情況統(tǒng)計(jì)、駐點(diǎn)警車跨界情況統(tǒng)計(jì)、巡邏警車長(zhǎng)時(shí)間未移動(dòng)情況統(tǒng)計(jì)、巡邏警車跨界情況統(tǒng)計(jì)。

2．2傳統(tǒng)解決方案

通過(guò)分析功能概況可以發(fā)現(xiàn),若要完成各種情況的勤務(wù)統(tǒng)計(jì),至少需要幾個(gè)基礎(chǔ)條件,如圖1所示:

(1)警車GPS歷史信息表,用于存儲(chǔ)不同時(shí)態(tài)時(shí)的位置信息,各項(xiàng)統(tǒng)計(jì)都需要依賴此表。

(2)駐點(diǎn)區(qū)域表,用于存儲(chǔ)駐點(diǎn)區(qū)域的范圍及駐點(diǎn)時(shí)段等信息,警車駐點(diǎn)需要依賴此表。

(3)巡邏區(qū)域表,用于存儲(chǔ)巡邏區(qū)域的范圍及巡邏時(shí)段等信息,警車巡邏需要依賴此表。

(4)區(qū)域和警車信息的關(guān)聯(lián)表,用于存儲(chǔ)駐點(diǎn)及巡邏車輛所在的勤務(wù)考核區(qū)域。

其中,警車GPS歷史信息表受到一些因素的制約。首先,由于勤務(wù)統(tǒng)計(jì)時(shí)間跨度大(如:考核單位要統(tǒng)計(jì)某車去年的離線情況),所以需要保存所有的歷史軌跡信息。其次,由于警車的數(shù)量多、位置信息更新頻率高(如:警車位置信息2 s更新1次,每車每天需要存儲(chǔ)43 200條數(shù)據(jù),業(yè)務(wù)單位的400輛車每天將存儲(chǔ)1 728萬(wàn),一年則需要存儲(chǔ)63億條數(shù)據(jù)。結(jié)合第一點(diǎn),如果要統(tǒng)計(jì)幾年前的數(shù)據(jù),則需要從數(shù)百億條數(shù)據(jù)中進(jìn)行查詢處理。),所以數(shù)據(jù)庫(kù)查詢效率將會(huì)很低。隨著警車GPS歷史信息表的增大,還需要解決海量數(shù)據(jù)的故障遷移、查詢優(yōu)化、存儲(chǔ)等引申出來(lái)的若干問(wèn)題。

圖1　傳統(tǒng)數(shù)據(jù)模型設(shè)計(jì)

2．3創(chuàng)新解決方案

在傳統(tǒng)解決方案中,問(wèn)題聚焦在警車GPS歷史信息表中海量數(shù)據(jù)的存儲(chǔ)增長(zhǎng)過(guò)快和查詢效率太低上面。按照上述設(shè)計(jì)思想,不僅不能刪除數(shù)據(jù)、查詢效率還會(huì)隨著存儲(chǔ)的GPS數(shù)據(jù)量增加而快速下降。在大數(shù)據(jù)處理時(shí)代的今天,有必要引入業(yè)界更有效率的解決方案來(lái)解決現(xiàn)有突出的問(wèn)題。

(1)MapReduce模式

MapReduce是Google定義的一套并行程序設(shè)計(jì)模式(parallel programming paradigm),由兩名Google的研究員Jeffrey Dean和Sanjay Ghemawat在2004年時(shí)提出的,并廣泛應(yīng)用在分布Grep、每臺(tái)機(jī)器的詞矢量、反向索引構(gòu)建、Web連接圖反轉(zhuǎn)、Web訪問(wèn)日志分析、分布排序、文檔聚類等應(yīng)用中。MapReduce實(shí)現(xiàn)以后,它甚至被用來(lái)重新生成Google的整個(gè)索引,并取代老的Ad Hoc程序去更新索引。

MapReduce的設(shè)計(jì)思想是把耗時(shí)運(yùn)算進(jìn)行拆分和預(yù)處理,稱之為映射(Map),然后在需要使用時(shí)對(duì)預(yù)處理結(jié)果進(jìn)行運(yùn)算,稱為規(guī)約(Reduce)。而傳統(tǒng)的GPS歷史信息數(shù)據(jù)存儲(chǔ)量巨大,查詢效率低下,若在存儲(chǔ)GPS定位信息之前進(jìn)行預(yù)判斷和預(yù)處理,將會(huì)減少數(shù)據(jù)的存儲(chǔ)量,提高系統(tǒng)的查詢效率。為了實(shí)現(xiàn)勤務(wù)統(tǒng)計(jì)信息的預(yù)處理,首先需要抽象(Abstract)待統(tǒng)計(jì)的對(duì)象(Object)及其行為(Behavior),然后根據(jù)設(shè)備實(shí)時(shí)的位置(GPS)信息進(jìn)行運(yùn)算和持久化。當(dāng)用戶進(jìn)行勤務(wù)統(tǒng)計(jì)和考核時(shí),系統(tǒng)直接對(duì)預(yù)處理信息進(jìn)行計(jì)算并返回結(jié)果。

分析2．1中勤務(wù)考核關(guān)注的內(nèi)容可以抽象出:設(shè)備和位置、區(qū)域、時(shí)間幾類對(duì)象。然后把每次變化轉(zhuǎn)換成一種事件。事件類型有:0:在線;1:離線;2:未越界; 3:越界;4:運(yùn)動(dòng);5:停留;6:區(qū)域暫停;7:區(qū)域無(wú)車輛; 8:非統(tǒng)計(jì)時(shí)段;

系統(tǒng)在后臺(tái)實(shí)時(shí)地對(duì)變化進(jìn)行運(yùn)算,并把相關(guān)結(jié)果進(jìn)行持久化,形成勤務(wù)區(qū)域事件表,包括勤務(wù)區(qū)域、區(qū)域類型、車輛信息、事件信息、發(fā)生時(shí)間。實(shí)際的統(tǒng)計(jì)則是根據(jù)勤務(wù)區(qū)域事件表來(lái)得出結(jié)果,如圖2所示。

圖2　基于MapReduce處理的數(shù)據(jù)模型

在系統(tǒng)運(yùn)行環(huán)境中,采用MapReduce預(yù)處理方法,平均每天每輛警車產(chǎn)生5條左右的事件數(shù)據(jù),相比每2 s存儲(chǔ)一次的每天43 200條數(shù)據(jù),數(shù)據(jù)對(duì)磁盤開(kāi)銷大為減少,如表1所示。使用傳統(tǒng)的方法進(jìn)行月度或者年度統(tǒng)計(jì),需要從上億甚至更多條記錄中進(jìn)行反復(fù)多次的查詢。而在新方法中只需要在10 w級(jí)別數(shù)據(jù)量中進(jìn)行查詢和統(tǒng)計(jì),效率大大提高。

數(shù)據(jù)產(chǎn)生情況對(duì)比　表1

(2)信度校驗(yàn)機(jī)制

在GPS設(shè)備信息的實(shí)際應(yīng)用過(guò)程中會(huì)出現(xiàn)位置偏移的情況,這主要是由于GPS衛(wèi)星信號(hào)受到干擾(隧道無(wú)信號(hào)、高樓遮擋等原因)。這些誤差會(huì)降低勤務(wù)考核的準(zhǔn)確性,系統(tǒng)采用對(duì)每條GPS信號(hào)進(jìn)行多次信度驗(yàn)證的方法,只有通過(guò)信度檢驗(yàn)的信號(hào)才被保留下來(lái)參與后續(xù)的運(yùn)算。

信度值校驗(yàn)機(jī)制解決GPS信號(hào)飄點(diǎn)的機(jī)制如下:根據(jù)車輛的歷史軌跡,可以得到車輛某兩個(gè)GPS信號(hào)采集的時(shí)間間隔2 s內(nèi)的位移s1,s2,s3,s4…sn…,vni表示車輛的該時(shí)間段的平均移動(dòng)速度,記某點(diǎn)的信度值是Fn,表示該點(diǎn)是飄點(diǎn)的可信度,由該點(diǎn)前后的5個(gè)位置來(lái)決定。+

式中fni表示的是第i個(gè)點(diǎn)的位移數(shù)據(jù)si對(duì)第n個(gè)點(diǎn)的位移數(shù)據(jù)sn可信度的影響:

當(dāng)某點(diǎn)的信度值Fn≥80%時(shí)認(rèn)為該點(diǎn)是飄點(diǎn)。系統(tǒng)自動(dòng)將飄點(diǎn)數(shù)據(jù)刪除,用以提高統(tǒng)計(jì)的準(zhǔn)確性。

3　結(jié) 語(yǔ)

文章首先提出在警用勤務(wù)應(yīng)用中,按照傳統(tǒng)的設(shè)計(jì)模式來(lái)實(shí)現(xiàn)將會(huì)帶來(lái)的問(wèn)題,然后引入大數(shù)據(jù)的處理辦法(MapReduce)作為解決方案,并使用信度校驗(yàn)機(jī)制去除飄點(diǎn)數(shù)據(jù)。通過(guò)對(duì)數(shù)據(jù)進(jìn)行預(yù)處理得到勤務(wù)考勤感興趣的結(jié)果,并將結(jié)果持久化用來(lái)支持實(shí)際的查詢或統(tǒng)計(jì)。此模式在一定程度上增加了系統(tǒng)的復(fù)雜程度,卻避免了GPS數(shù)據(jù)無(wú)限制的增長(zhǎng),提高了查詢效率,通過(guò)降低用戶操作的等待時(shí)間來(lái)提高用戶體驗(yàn)。

[1] 蘇韋．基于MapReduce模式的時(shí)空數(shù)據(jù)組織和查詢方法研究[D]．桂林:桂林理工大學(xué),2014．

[2] 屈芳,馬旭玲,羅林明．調(diào)查問(wèn)卷的信度分析及其影響因素研究[J]．繼續(xù)教育,2015,29(1)．

[3] 李艷芳,王生．基于PGIS平臺(tái)的新型自動(dòng)化勤務(wù)管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]．警察技術(shù),2011(3)．

[4] 張翠峰,匡志威,陳麗瓊．地理空間信息數(shù)據(jù)在PGIS中的應(yīng)用[J]．城市勘測(cè),2012(5):25～27．

[5] 方吉祥．基于GIS的城市交通管理系統(tǒng)的研究[J]．大眾科技,2006:116～117．

[6] 殷磊．基于GPS車輛監(jiān)控調(diào)度系統(tǒng)研究與實(shí)現(xiàn)[D]．南京:南京理工大學(xué),2011．

The Optimization and Implementation of Mass GIS Data’s Application in Police Service System

Xiang Tanxian1,2,Ai Ke3

(1．Chongqing Cybercity Sci-tech Co．,Ltd,Chongqing 400020,China; 2．Chongqing Enterprise Engineering Technology Research Center on Geographic Information Cloud Service,Chongqing 400020,China; 3．Chongqing Public Security Bureau police corps,Chongqing 400074,China)

With the utilization of the spatial position’s service examination needs,the traditional scheme by querying,analyzing and tabulating the historical data of space trajectory have been unable to meet current business requirements．There are some problems exist in traditional scheme:take up disk space,redundant data and low query efficiency,etc．Therefore,the introduction of MapReduce:large data processing scheme could have real-time specification and map for the content and method that need service statistics,and then store protocol result．At the same time,combining with reliability verification mechanism could provide more direct and accurate source of data for statistical service．The new scheme greatly improves the query efficiency,and uses reasonable data failure mechanism．Because of which can largely reduce the occupancy of hard disk storage space and data redundancy．

MapReduce pattern;PGIS;reliability verification mechanism;service examination

1672-8262(2016)01-65-03

P208．1

B

?2015—09—25

向譚先(1989—),男,助理工程師,主要從事軟件工程及3S技術(shù)應(yīng)用研究。

重慶市科技人才培養(yǎng)計(jì)劃項(xiàng)目(cstc2013kjrc-tdsj40001);智慧重慶空間信息服務(wù)云計(jì)算平臺(tái)開(kāi)發(fā)項(xiàng)目(cstc2014yykfB40004)。

本項(xiàng)目獲得2015年度測(cè)繪科技進(jìn)步獎(jiǎng)二等獎(jiǎng)。