□許發(fā)見(jiàn)
(福建警察學(xué)院,福建 福州 350007)
大數(shù)據(jù)應(yīng)用技術(shù)已從一個(gè)高深的技術(shù)概念變成一項(xiàng)實(shí)用的工具和方法,對(duì)于我們公安行業(yè)的海量高價(jià)值數(shù)據(jù),大數(shù)據(jù)的應(yīng)用成為了首當(dāng)其沖的問(wèn)題。全國(guó)公安系統(tǒng)自上而下積極探索公安基層大數(shù)據(jù)建設(shè)和應(yīng)用,各省、地市級(jí)公安部門(mén)也在積極響應(yīng)和落實(shí)對(duì)大數(shù)據(jù)的應(yīng)用。公安大數(shù)據(jù)是需要做自上而下的頂層設(shè)計(jì)的,所以我們有針對(duì)性地開(kāi)展了對(duì)W省的公安基層大數(shù)據(jù)網(wǎng)絡(luò)基礎(chǔ)及應(yīng)用情況調(diào)研,希望更多了解公安基層單位的基礎(chǔ)建設(shè)、應(yīng)用和需求情況,設(shè)計(jì)出符合實(shí)際需求的大數(shù)據(jù)采集、治理和應(yīng)用模式,形成基礎(chǔ)的數(shù)據(jù)集和應(yīng)用形式。
為了更好的了解基層單位的大數(shù)據(jù)應(yīng)用情況,我們對(duì)W省的地市基層單位公安大數(shù)據(jù)網(wǎng)絡(luò)基礎(chǔ)展開(kāi)調(diào)研工作。
大數(shù)據(jù)網(wǎng)絡(luò)基礎(chǔ)調(diào)研內(nèi)容包括:基礎(chǔ)網(wǎng)絡(luò)建設(shè)、各縣區(qū)機(jī)房建設(shè)、電子證照應(yīng)用、OA系統(tǒng)應(yīng)用、應(yīng)用系統(tǒng)平臺(tái)建設(shè)及異構(gòu)系統(tǒng)建設(shè)情況。通過(guò)調(diào)研問(wèn)卷、實(shí)地調(diào)研和會(huì)議交流等形式開(kāi)展調(diào)研,對(duì)調(diào)研結(jié)果進(jìn)行分析總結(jié)如下:基礎(chǔ)的網(wǎng)絡(luò)接入基本是單個(gè)運(yùn)營(yíng)商單線路接入,未做多運(yùn)營(yíng)商冗余也很少有雙線路備份;大部分縣區(qū)現(xiàn)有機(jī)房未達(dá)到B類(lèi)機(jī)房標(biāo)準(zhǔn),機(jī)房管理方面比較松散,少數(shù)地區(qū)機(jī)房?jī)?nèi)機(jī)柜冗余及建設(shè)情況相對(duì)較差,存在很多物理安全隱患,包括監(jiān)控、門(mén)禁及動(dòng)力環(huán)境監(jiān)控系統(tǒng)存在問(wèn)題;有一些地區(qū)的網(wǎng)絡(luò)安全及準(zhǔn)入系統(tǒng)建設(shè)不夠完善,存在一些外網(wǎng)接入的不安全因素;電子證照、異構(gòu)系統(tǒng)、OA系統(tǒng)各縣區(qū)均已應(yīng)用,但存在著電子證照簽章應(yīng)用率偏低等問(wèn)題;應(yīng)用系統(tǒng)平臺(tái)的建設(shè),各縣區(qū)基本使用市里已建設(shè)的成果,縣區(qū)這一級(jí)在挖掘和推廣大數(shù)據(jù)新應(yīng)用方面動(dòng)力和積極性不夠。
我們針對(duì)公安基層大數(shù)據(jù)應(yīng)用平臺(tái)建設(shè)現(xiàn)狀開(kāi)展調(diào)研,調(diào)研數(shù)據(jù)表明多數(shù)市局和基層單位都在拓展公安系統(tǒng)的大數(shù)據(jù)應(yīng)用,更好地為現(xiàn)代警務(wù)工作服務(wù)。在數(shù)據(jù)掌控現(xiàn)狀方面,一些市區(qū)級(jí)單位開(kāi)展公安信息資源和社會(huì)信息資源的整合共享工作,在公安機(jī)關(guān)內(nèi)部對(duì)不同警種和業(yè)務(wù)數(shù)據(jù)進(jìn)行規(guī)劃和劃分協(xié)調(diào),爭(zhēng)取實(shí)現(xiàn)不同數(shù)據(jù)服務(wù)與分布式資源庫(kù)對(duì)接;基層單位和部門(mén)梳理出職能部門(mén)的接口和數(shù)據(jù)需求,開(kāi)始采集和引進(jìn)對(duì)公安業(yè)務(wù)具有價(jià)值的社會(huì)公共信息資源,特別是公共安全信息;為了使大數(shù)據(jù)服務(wù)更有價(jià)值,基層單位著手開(kāi)展基層基礎(chǔ)數(shù)據(jù)的處理、整合工作,包括數(shù)據(jù)采集、同步、清洗和整合,在基于數(shù)據(jù)之上建設(shè)應(yīng)用工具集。
在數(shù)據(jù)掌控現(xiàn)狀方面,一些市區(qū)級(jí)單位開(kāi)展公安信息資源和社會(huì)信息資源的整合共享工作,在公安機(jī)關(guān)內(nèi)部對(duì)不同警種進(jìn)行數(shù)據(jù)資源劃分和任務(wù)分工,并協(xié)調(diào)數(shù)據(jù)管理權(quán)限,實(shí)現(xiàn)與資源庫(kù)對(duì)接;一些部門(mén)按照政府行政管理職能和社會(huì)管理服務(wù)對(duì)象性質(zhì)的不同,梳理出職能部門(mén)的接口和數(shù)據(jù)需求,開(kāi)始采集和引進(jìn)對(duì)公安業(yè)務(wù)具有價(jià)值的社會(huì)信息資源。
在基礎(chǔ)硬件設(shè)備的建設(shè)上,首要的是保證通訊冗余和保障數(shù)據(jù)的應(yīng)用安全。調(diào)研中多數(shù)是建立分布式的大數(shù)據(jù)資源云存儲(chǔ)平臺(tái)和融合服務(wù),由平臺(tái)來(lái)負(fù)責(zé)對(duì)基層單位各類(lèi)基礎(chǔ)軟、硬件資源和設(shè)備實(shí)行統(tǒng)一運(yùn)維管理、統(tǒng)一技術(shù)維護(hù),形成統(tǒng)一的基礎(chǔ)存儲(chǔ)和計(jì)算能力。避免了人力資源的浪費(fèi)和硬件的重復(fù)投資。
在機(jī)構(gòu)設(shè)置和管理體系方面,各地的狀況有所不同,一般市局都有成立項(xiàng)目建設(shè)和應(yīng)用領(lǐng)導(dǎo)小組,下設(shè)辦公室或者信息化部門(mén),再細(xì)分有的地區(qū)有較完善分工和管理體系,包括綜合科、信息中心、通信保障科、網(wǎng)絡(luò)運(yùn)行科、數(shù)據(jù)質(zhì)量管理科等機(jī)構(gòu),但是很少有專門(mén)的保密和安全管控科室。總體來(lái)說(shuō),這些機(jī)構(gòu)和管理體系相互配合,各有側(cè)重,共同協(xié)調(diào)和推進(jìn)公安基層大數(shù)據(jù)應(yīng)用。
在機(jī)構(gòu)設(shè)置和管理體系方面,各地的狀況有所不同,一般市局都有成立項(xiàng)目建設(shè)和應(yīng)用領(lǐng)導(dǎo)小組,下設(shè)辦公室或者信息化部門(mén),再細(xì)分有的地區(qū)有較完善分工和管理體系,包括綜合科、信息中心、通信保障科、網(wǎng)絡(luò)運(yùn)行科、數(shù)據(jù)質(zhì)量管理科等機(jī)構(gòu),但是很少有專門(mén)的保密和安全管控科室??傮w來(lái)說(shuō),這些基層單位機(jī)構(gòu)和業(yè)務(wù)體系相互配合,協(xié)調(diào)合作,構(gòu)成基層大數(shù)據(jù)應(yīng)用的核心。大數(shù)據(jù)需求調(diào)研還發(fā)現(xiàn),大數(shù)據(jù)應(yīng)用的意識(shí)和大數(shù)據(jù)思維還需要在基層單位得到進(jìn)一步推廣普及。當(dāng)前公安工作強(qiáng)調(diào)信息化、自動(dòng)化、智能化,各類(lèi)警務(wù)信息資源和社會(huì)安全領(lǐng)域相關(guān)數(shù)據(jù)劇烈增長(zhǎng),存在數(shù)據(jù)標(biāo)準(zhǔn)不規(guī)范、難以整合匯聚、使用效率低下等問(wèn)題。
目前基層的公安大數(shù)據(jù)建設(shè)和應(yīng)用主要是圍繞如何提升公安戰(zhàn)斗力展開(kāi)。在公安基層大數(shù)據(jù)服務(wù)和應(yīng)用中,公安基層單位要充分調(diào)動(dòng)信息統(tǒng)一集中的優(yōu)勢(shì),形成實(shí)時(shí)、動(dòng)態(tài)、有效的人、事、物數(shù)據(jù)檔案,構(gòu)建多維度、高時(shí)效的數(shù)字防控體系。在這些數(shù)據(jù)基礎(chǔ)上,以實(shí)戰(zhàn)導(dǎo)向、聚焦實(shí)戰(zhàn)應(yīng)用,從基層一線民警關(guān)心的痛點(diǎn)、難點(diǎn)為切入點(diǎn),挖掘大數(shù)據(jù)實(shí)戰(zhàn)應(yīng)用,從而提升公安戰(zhàn)斗力和工作效率。
此外,公安機(jī)關(guān)掌握著豐富的視頻數(shù)據(jù)來(lái)源,大數(shù)據(jù)技術(shù)也是對(duì)視頻大數(shù)據(jù)發(fā)展最直接有效的方法;相比于其他公安業(yè)務(wù),圖像偵查更應(yīng)該緊緊抓住“線索”這個(gè)目標(biāo)去研究各種技戰(zhàn)法。但視頻信息大數(shù)據(jù)并不是簡(jiǎn)單的完全交給硬件設(shè)備或技術(shù)人員,而應(yīng)結(jié)合基層單位具有豐富實(shí)戰(zhàn)經(jīng)驗(yàn)和業(yè)務(wù)知識(shí)的專門(mén)人才,所以這方面的工作是任重道遠(yuǎn)。
為了強(qiáng)化基層單位預(yù)警、預(yù)判、預(yù)防的綜合業(yè)務(wù)能力,一線基層單位更需要建設(shè)和應(yīng)用好大數(shù)據(jù)和人工智能以及物聯(lián)網(wǎng)等新技術(shù),以獲取更多、更廣的數(shù)據(jù)。公安基層大數(shù)據(jù)的服務(wù)和應(yīng)用可以提高工作效率和戰(zhàn)斗力。
1.統(tǒng)計(jì)查詢:這是有區(qū)別于傳統(tǒng)信息系統(tǒng)的服務(wù),也是大數(shù)據(jù)的基本應(yīng)用。它把歷史數(shù)據(jù)與現(xiàn)狀信息以及時(shí)空數(shù)據(jù)進(jìn)行整合,綜合應(yīng)用生成出發(fā)生了的事情,以及這些事情和數(shù)據(jù)背后的規(guī)律或線索。
2.數(shù)據(jù)碰撞:它不同于數(shù)據(jù)挖掘和分析,其重點(diǎn)是要發(fā)現(xiàn)數(shù)據(jù)之間隱藏的未知的關(guān)聯(lián)關(guān)系,發(fā)現(xiàn)偶然中的必然。
3.預(yù)測(cè)預(yù)判:大數(shù)據(jù)的服務(wù)和應(yīng)用就是通過(guò)經(jīng)驗(yàn)積累和知識(shí)圖譜的構(gòu)建,形成合理的數(shù)據(jù)模型,推導(dǎo)其內(nèi)在關(guān)系,能夠就趨勢(shì)和方向做預(yù)測(cè)和預(yù)警。
隨著大數(shù)據(jù)采集渠道的拓寬,可預(yù)見(jiàn)的是現(xiàn)有的存儲(chǔ)系統(tǒng)將很快被塞滿,而且存儲(chǔ)效率和使用效率會(huì)降低。其次伴隨大數(shù)據(jù)的深入應(yīng)用,并發(fā)請(qǐng)求處理能力將受到挑戰(zhàn),容易造成網(wǎng)絡(luò)擁堵。這些是公安基層大數(shù)據(jù)應(yīng)用調(diào)研中反映較多的問(wèn)題。
大數(shù)據(jù)的特征是數(shù)據(jù)量大、種類(lèi)繁多復(fù)雜、價(jià)值密度低,這就需要整合多部門(mén)、各方面的資源進(jìn)行綜合開(kāi)發(fā)利用。公安大數(shù)據(jù)包括社會(huì)公共安全方面的數(shù)據(jù)資源的整合,調(diào)研發(fā)現(xiàn)公安內(nèi)部數(shù)據(jù)和社會(huì)數(shù)據(jù)資源在整合上都或多或少存在數(shù)據(jù)難獲取、數(shù)據(jù)陳舊、更新不及時(shí)等問(wèn)題。具體表現(xiàn): 一是在數(shù)據(jù)采集率上,整體采集率不高;二是在基礎(chǔ)信息錄入的準(zhǔn)確性方面,需要加強(qiáng)提高,數(shù)據(jù)質(zhì)量沒(méi)有保障會(huì)嚴(yán)重影響后期服務(wù)和應(yīng)用;三是采集維度方面不夠完整,一些關(guān)鍵維度信息有缺失;四是數(shù)據(jù)更新不及時(shí),一些實(shí)際住址等動(dòng)態(tài)性信息不準(zhǔn)確。[1]
另一方面公安基層大數(shù)據(jù)的數(shù)據(jù)融合和應(yīng)用分析較困難。主要體現(xiàn)在基礎(chǔ)數(shù)據(jù)的平臺(tái)不一,使用技術(shù)和架構(gòu)體系不統(tǒng)一,數(shù)據(jù)很難協(xié)調(diào)工作,更難以實(shí)現(xiàn)自動(dòng)更新,需要大量的人工干預(yù);數(shù)據(jù)格式方面,每個(gè)系統(tǒng)所需要的關(guān)鍵信息在數(shù)據(jù)格式上不一致,做整合需要先將格式進(jìn)行統(tǒng)一,影響了系統(tǒng)效率也影響更新時(shí)間;不同行業(yè)或不同領(lǐng)域的信息資源更新周期有長(zhǎng)有短,一些基礎(chǔ)信息變化小,所以更新周期較長(zhǎng),這也會(huì)影響數(shù)據(jù)融合和應(yīng)用分析。
以調(diào)研中的車(chē)輛基礎(chǔ)數(shù)據(jù)應(yīng)用系統(tǒng)進(jìn)行具體分析,公安基層大數(shù)據(jù)系統(tǒng)構(gòu)建和服務(wù)應(yīng)用方面需注意以下問(wèn)題。
車(chē)輛基礎(chǔ)信息的大數(shù)據(jù)系統(tǒng)核心數(shù)據(jù)應(yīng)簡(jiǎn)單分為靜態(tài)、動(dòng)態(tài)兩方面的基本數(shù)據(jù),標(biāo)準(zhǔn)要統(tǒng)一,避免復(fù)雜。靜態(tài)數(shù)據(jù)來(lái)源于各個(gè)相關(guān)業(yè)務(wù)數(shù)據(jù)系統(tǒng),動(dòng)態(tài)數(shù)據(jù)則主要來(lái)源于各種車(chē)輛數(shù)據(jù)和實(shí)時(shí)通行的數(shù)據(jù),結(jié)合來(lái)自其他設(shè)備、渠道和外系統(tǒng)的車(chē)輛圖片,構(gòu)成外圍輔助數(shù)據(jù),作為補(bǔ)充。這樣數(shù)據(jù)劃分清楚,層次明了。
核心的靜態(tài)數(shù)據(jù),都是結(jié)構(gòu)化數(shù)據(jù),應(yīng)該存放在關(guān)系型數(shù)據(jù)庫(kù)中,易于管理使用。核心的卡口動(dòng)態(tài)通行數(shù)據(jù),可以用高性能分布式數(shù)據(jù)庫(kù)HBase存儲(chǔ);而車(chē)輛經(jīng)過(guò)留下的實(shí)時(shí)痕跡,其動(dòng)態(tài)變化、更新快,可以動(dòng)態(tài)堆放在內(nèi)存中。[2]
對(duì)于攝像頭產(chǎn)生的海量非結(jié)構(gòu)化數(shù)據(jù),想要充分利用和進(jìn)行數(shù)據(jù)檢索,就要利用智能標(biāo)注和分析工具進(jìn)行結(jié)構(gòu)化或者半結(jié)構(gòu)化處理,存放在HBase內(nèi)。調(diào)研表明數(shù)據(jù)的結(jié)構(gòu)化與搜索查詢工作已經(jīng)開(kāi)展的比較成熟了,在此基礎(chǔ)上才能夠進(jìn)行多條件復(fù)合檢索和服務(wù),進(jìn)一步開(kāi)發(fā)更豐富的應(yīng)用方法。
調(diào)研情況表明,數(shù)據(jù)的結(jié)構(gòu)化處理非常重要,結(jié)構(gòu)化數(shù)據(jù)結(jié)合PGIS,可以方便我們對(duì)其進(jìn)行各種類(lèi)型的統(tǒng)計(jì)、分析,包括流量、歸屬、平均行程時(shí)間、高峰期、出行規(guī)律等。然后,結(jié)合各種業(yè)務(wù)工作展開(kāi)大數(shù)據(jù)應(yīng)用研究,如利用卡口圖片結(jié)構(gòu)化的成果以及與車(chē)輛核心庫(kù)的車(chē)牌信息對(duì)接,利用數(shù)據(jù)碰撞發(fā)現(xiàn)隱藏在數(shù)據(jù)背后的信息,為更加精準(zhǔn)地打擊違法車(chē)輛服務(wù)。
調(diào)研反饋應(yīng)結(jié)合公安民警多年工作經(jīng)驗(yàn)和智慧結(jié)晶,利用卡口通行數(shù)據(jù)進(jìn)行挖掘分析,形成一系列的卡口技戰(zhàn)法,提供用戶在不同場(chǎng)景下使用,包括區(qū)域頻次、路徑匹配等。這樣才能夠更好的利用大數(shù)據(jù)技術(shù)提供工作效率。
基層單位在開(kāi)展業(yè)務(wù)和對(duì)大數(shù)據(jù)應(yīng)用時(shí),一定要時(shí)刻關(guān)注數(shù)據(jù)信息在生產(chǎn)、使用、銷(xiāo)毀各生命周期中暴露出的安全問(wèn)題。
大數(shù)據(jù)的源頭眾多、數(shù)據(jù)多樣、增長(zhǎng)快速,雖然公安數(shù)據(jù)相對(duì)規(guī)范、可信,但是大數(shù)據(jù)采集的可信性及數(shù)據(jù)質(zhì)量仍是一個(gè)重點(diǎn)。首要的安全問(wèn)題是數(shù)據(jù)被偽造,這將直接導(dǎo)致分析數(shù)據(jù)時(shí)得出錯(cuò)誤結(jié)論;所以前期數(shù)據(jù)采集把關(guān)很重要,數(shù)據(jù)源要可信,數(shù)據(jù)整理和清洗環(huán)節(jié)的安全問(wèn)題也很重要;現(xiàn)在大數(shù)據(jù)分布式存儲(chǔ),呈現(xiàn)多副本、多節(jié)點(diǎn)、分布式的特點(diǎn),不排除存在被非法入侵的漏洞。
大數(shù)據(jù)離不開(kāi)云計(jì)算,在數(shù)據(jù)遷移到云的過(guò)程中,要考慮對(duì)大數(shù)據(jù)流轉(zhuǎn)各環(huán)節(jié)的安全控制,特別是對(duì)安全邊界外的數(shù)據(jù)管控,應(yīng)該重點(diǎn)確保數(shù)據(jù)傳輸過(guò)程中的機(jī)密性、完整性。
在數(shù)據(jù)使用環(huán)節(jié)上不嚴(yán)格、不規(guī)范的訪問(wèn)控制也有導(dǎo)致數(shù)據(jù)泄漏的風(fēng)險(xiǎn);在數(shù)據(jù)共享環(huán)節(jié)存在數(shù)據(jù)被各使用方有意無(wú)意地做為本地存儲(chǔ)使用的情況,這也將是一大漏洞。
調(diào)研中也發(fā)現(xiàn)大數(shù)據(jù)應(yīng)用在Web服務(wù)中產(chǎn)生的過(guò)程性數(shù)據(jù)一般是臨時(shí)存放在云平臺(tái)中,理論上最終是需要徹底刪除的,即采用物理介質(zhì)全覆蓋的傳統(tǒng)數(shù)據(jù)物理刪除的方法;但是在云環(huán)境下,由于用戶對(duì)數(shù)據(jù)的物理存儲(chǔ)介質(zhì)沒(méi)有控制權(quán),無(wú)法保證數(shù)據(jù)存儲(chǔ)的副本(過(guò)程性數(shù)據(jù))被物理刪除,這樣其中的敏感數(shù)據(jù)有可能因?yàn)閯h除不徹底被恢復(fù)而導(dǎo)致泄露。所以保證過(guò)程數(shù)據(jù)被徹底刪除或銷(xiāo)毀,是大數(shù)據(jù)安全的一個(gè)重要問(wèn)題。[3]
大數(shù)據(jù)的應(yīng)用衍生出獨(dú)特的架構(gòu)、存儲(chǔ)、網(wǎng)絡(luò)傳輸及計(jì)算方法,需要在數(shù)據(jù)的產(chǎn)生、采集、傳輸、存儲(chǔ)、處理與分析、應(yīng)用、歸檔等階段采取對(duì)應(yīng)的訪問(wèn)控制機(jī)制和加密+措施,增強(qiáng)大數(shù)據(jù)應(yīng)用的安全性。
公安基層大數(shù)據(jù)應(yīng)用的調(diào)研及分析,使得我們明白在公安大數(shù)據(jù)的整個(gè)生命周期里,都要從數(shù)據(jù)質(zhì)量、權(quán)限控制、加密、安全等角度強(qiáng)化對(duì)大數(shù)據(jù)應(yīng)用的管理,也讓我們更深刻認(rèn)識(shí)到應(yīng)該在保障措施、組織機(jī)構(gòu)、規(guī)章制度等方面完善公安基層大數(shù)據(jù)應(yīng)用的配套,積極通過(guò)思維突破提升應(yīng)用和管理能力,在公安基層大數(shù)據(jù)應(yīng)用的引導(dǎo)下對(duì)公安業(yè)務(wù)工作進(jìn)行流程改造。
公安基層大數(shù)據(jù)綜合分析報(bào)告,是公安大數(shù)據(jù)更有價(jià)值的一種應(yīng)用前景。一份好的公安大數(shù)據(jù)分析報(bào)告甚至可以支持政府決策和支撐宏觀政策。例如“平安指數(shù)”就是公安大數(shù)據(jù)綜合分析報(bào)告的典型應(yīng)用,它從更高層面上為行政決策提供更客觀、科學(xué)、全面的數(shù)據(jù)和更多維的分析視角。