韋杰
摘要:目前政務(wù)數(shù)據(jù)的共享和應(yīng)用面臨著質(zhì)量不高、內(nèi)容不全等問題,為此需要開展政務(wù)數(shù)據(jù)治理工作。文章針對政務(wù)數(shù)據(jù)治理體系,闡述了當(dāng)前我國政務(wù)數(shù)據(jù)治理理論體系的現(xiàn)狀和取得的成果,總結(jié)了政務(wù)數(shù)據(jù)治理的三個目標(biāo):統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)和規(guī)范,統(tǒng)一數(shù)據(jù)資產(chǎn)管理,統(tǒng)一數(shù)據(jù)調(diào)度,詳細(xì)介紹了數(shù)據(jù)共享與交換、元數(shù)據(jù)和數(shù)據(jù)元管理、數(shù)據(jù)標(biāo)準(zhǔn)和規(guī)范、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)調(diào)度中心、數(shù)據(jù)安全體系等方面的內(nèi)容,最后研究分析了政務(wù)數(shù)據(jù)集中治理和分散治理的技術(shù)特點及優(yōu)缺點。
關(guān)鍵詞:大數(shù)據(jù);數(shù)據(jù)治理;政務(wù)數(shù)據(jù);數(shù)據(jù)資產(chǎn)
中圖分類號:TP311.13 文獻(xiàn)標(biāo)識碼:A
文章編號:1009-3044(2020)01-0298-04
1概述
大數(shù)據(jù)時代的到來,給企業(yè)、群眾帶來了極大的生活便利,也給國家政府治理帶來了新的挑戰(zhàn)和機(jī)遇,為充分利用大數(shù)據(jù)帶動國家經(jīng)濟(jì)社會的發(fā)展,提高國家政務(wù)服務(wù)水平,國家啟動了大數(shù)據(jù)發(fā)展戰(zhàn)略,于2015年8月31日印發(fā)了《促進(jìn)大數(shù)據(jù)發(fā)展行動綱要》,推動各部門、各地區(qū)、各行業(yè)、各領(lǐng)域的數(shù)據(jù)資源共享開放,從根本上解決我國政務(wù)信息化建設(shè)“各自為政、條塊分割、煙囪林立、信息孤島”的問題。目前全國各省、自治區(qū)已經(jīng)建立了本地的數(shù)據(jù)共享交換平臺,全面匯聚各部門、各行業(yè)的政務(wù)數(shù)據(jù)。國家數(shù)據(jù)共享交換平臺共匯聚了部委1.6萬條信息,地方66萬條信息,5090個數(shù)據(jù)庫,1.5萬個文件,1191個服務(wù)接口。
隨著國家政務(wù)服務(wù)平臺的建設(shè)和使用,各部門的政務(wù)數(shù)據(jù)共享交換顯得更加重要。各級各單位的政務(wù)數(shù)據(jù)在政務(wù)服務(wù)平臺發(fā)揮了很大的作用,但也面臨新的問題。匯聚的政務(wù)數(shù)據(jù)存在質(zhì)量不高、關(guān)聯(lián)性不強(qiáng)、內(nèi)容不完整、供需不一致等問題。因此,研究政務(wù)數(shù)據(jù)治理的內(nèi)容,探索政務(wù)數(shù)據(jù)治理的模式,推動政務(wù)數(shù)據(jù)治理技術(shù)的應(yīng)用,對解決政務(wù)數(shù)據(jù)利用出現(xiàn)的難題,對建設(shè)智慧城市,落實大數(shù)據(jù)戰(zhàn)略具有深遠(yuǎn)的意義。
2概念
DAMA(The Global Data Management Community,國際數(shù)據(jù)管理協(xié)會1認(rèn)為數(shù)據(jù)治理是對數(shù)據(jù)資產(chǎn)行使權(quán)力控制的活動集合,包括計劃、監(jiān)控和執(zhí)行等。DGI(The Data Govemance Insti-tute,國際數(shù)據(jù)治理研究所)認(rèn)為數(shù)據(jù)治理是包含信息相關(guān)過程的決策權(quán)及責(zé)任制的體系,根基于共識的模型執(zhí)行,描述誰在何時何種情況下采取什么樣的行動、使用什么樣的方法。IBMDG Council(數(shù)據(jù)治理委員會)認(rèn)為數(shù)據(jù)治理是組織管理其信息知識并回答問題的能力,如數(shù)據(jù)來自哪里?數(shù)據(jù)是否符合公司政策及規(guī)則?數(shù)據(jù)治理實踐提供了一個全面的方法來管理、改進(jìn)和利用信息,以幫助決策者建立對業(yè)務(wù)決策和運營的信心。國家市場監(jiān)督管理總局和中國國家標(biāo)準(zhǔn)化管理委員于2018年6月發(fā)布《信息技術(shù)服務(wù)治理第5部分:數(shù)據(jù)治理規(guī)范》中將數(shù)據(jù)治理定義為數(shù)據(jù)資源及其應(yīng)用過程中相關(guān)管控活動、績效和風(fēng)險管理的集合。
在這里認(rèn)為,政務(wù)數(shù)據(jù)治理是行政單位和企事業(yè)單位根據(jù)工作職能,按照數(shù)據(jù)生命周期,制定規(guī)劃和流程,梳理數(shù)據(jù)資產(chǎn)清單,形成數(shù)據(jù)標(biāo)準(zhǔn)和規(guī)范,構(gòu)建政務(wù)數(shù)據(jù)管理體系,實現(xiàn)數(shù)據(jù)統(tǒng)一管理、統(tǒng)一共享、統(tǒng)一交換、統(tǒng)一調(diào)度的工程。
3研究現(xiàn)狀
目前,國內(nèi)外學(xué)者、專家和實踐者認(rèn)為大數(shù)據(jù)80%集中在政府部門,20%集中在社會企業(yè)、群眾,并圍繞大數(shù)據(jù)治理概念、框架、技術(shù)、模式等方面展開研究。
在國外,雷內(nèi)·亞伯拉罕認(rèn)為數(shù)據(jù)治理是指對數(shù)據(jù)的管理行使權(quán)力和控制。數(shù)據(jù)治理的目的是增加數(shù)據(jù)的價值,并將與數(shù)據(jù)相關(guān)的成本和風(fēng)險降到最低,并提出了數(shù)據(jù)治理的六個維度和五個領(lǐng)域;索雷斯研究了大數(shù)據(jù)治理的框架、成熟度、治理標(biāo)準(zhǔn)、治理規(guī)則等內(nèi)容;斯蒂芬妮認(rèn)為每個單位負(fù)責(zé)數(shù)據(jù)收集,擁有數(shù)據(jù)所有權(quán)和應(yīng)用權(quán)。數(shù)據(jù)管理者通過數(shù)據(jù)治理和數(shù)據(jù)規(guī)范化對數(shù)據(jù)行駛管理。
在國內(nèi),文獻(xiàn)[5]認(rèn)為數(shù)據(jù)治理過程是對管理活動的評估、指導(dǎo)和監(jiān)督,而管理過程是對治理決策的計劃、建設(shè)和運營,分析了數(shù)據(jù)規(guī)范、數(shù)據(jù)清洗、數(shù)據(jù)交換、數(shù)據(jù)集成、治理框架,提出了“HAO治理”模型,將數(shù)據(jù)治理分為數(shù)據(jù)接入模塊、治理模塊、服務(wù)模塊;文獻(xiàn)[6]認(rèn)為數(shù)據(jù)治理可以從宏觀、中觀、微觀三個層面進(jìn)行定義,總結(jié)當(dāng)前政務(wù)數(shù)據(jù)治理存在的問題,提出了數(shù)據(jù)治理框架由大數(shù)據(jù)生命周期管理、數(shù)據(jù)源管理、技術(shù)支撐、資源中心、標(biāo)準(zhǔn)規(guī)范、安全等9部分組成;文獻(xiàn)[7]結(jié)合貴州大數(shù)據(jù)的發(fā)展,對數(shù)據(jù)治理主體、治理對象、治理活動、治理工具等方面進(jìn)行分析,驗證政務(wù)大數(shù)據(jù)治理體系的構(gòu)成要素。文獻(xiàn)[8]提出數(shù)據(jù)治理的核心技術(shù)包括數(shù)據(jù)結(jié)構(gòu)化處理、數(shù)據(jù)質(zhì)量評估、數(shù)據(jù)清洗、數(shù)據(jù)規(guī)范化、數(shù)據(jù)融合與摘取、數(shù)據(jù)發(fā)布共享,列出了基于數(shù)據(jù)倉庫的數(shù)據(jù)集成系統(tǒng)架構(gòu)和基于中間模式的數(shù)據(jù)集成系統(tǒng)架構(gòu)。文獻(xiàn)[9]從數(shù)據(jù)治理主體、客體、工具三方面論述當(dāng)前大數(shù)據(jù)治理理論研究的三個趨勢,認(rèn)為數(shù)據(jù)治理主體由企業(yè)擴(kuò)展至政府領(lǐng)域,治理客體由數(shù)據(jù)提升至主體層面,治理工具由技術(shù)轉(zhuǎn)變至管理維護(hù)。
從數(shù)據(jù)治理的現(xiàn)狀來看,我國政務(wù)數(shù)據(jù)治理還處于起步階段,政務(wù)數(shù)據(jù)依然存在以下問題:一是系統(tǒng)種類繁多,數(shù)據(jù)關(guān)系不清。信息化建設(shè)初期,由于缺乏系統(tǒng)性、科學(xué)性的頂層設(shè)計和統(tǒng)籌規(guī)劃,各單位各自為主,建設(shè)了大量的“數(shù)據(jù)孤島”,使得數(shù)據(jù)共享難,業(yè)務(wù)協(xié)同管理難;二是缺乏統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)規(guī)范。各單位在本地數(shù)據(jù)共享交換平臺發(fā)布的數(shù)據(jù)形式多樣,字段不統(tǒng)一,內(nèi)容重復(fù),數(shù)據(jù)權(quán)威性不強(qiáng),匯聚的數(shù)據(jù)質(zhì)量不高,可信度不夠,導(dǎo)致共享的數(shù)據(jù)不敢用、不想用、不能用;三是各單位信息化水平存在差距,政務(wù)數(shù)據(jù)治理工作達(dá)不到預(yù)期效果;四是數(shù)據(jù)治理的機(jī)制不健全,技術(shù)支撐不足。缺乏數(shù)據(jù)治理的總體規(guī)范,總體工作指引和實施方案;五是信息化系統(tǒng)建設(shè)急功近利。各單位信息化系統(tǒng)建設(shè)重在系統(tǒng)的業(yè)務(wù)流程、展示效果,前期投入數(shù)據(jù)梳理的工作量不多,導(dǎo)致建設(shè)的大數(shù)據(jù)平臺因缺乏數(shù)據(jù)支撐,數(shù)據(jù)邏輯不清;六是數(shù)據(jù)管理控制程度不高,政務(wù)數(shù)據(jù)的數(shù)據(jù)存儲在各單位,由各單位獨立管理,缺乏統(tǒng)一管理、控制的平臺。各部門的數(shù)據(jù)供需仍以單線聯(lián)系、溝通為主。
4治理的目標(biāo)
政務(wù)數(shù)據(jù)治理是從根本上建立數(shù)據(jù)標(biāo)準(zhǔn)和規(guī)范,統(tǒng)一數(shù)據(jù)資產(chǎn)管理,統(tǒng)一數(shù)據(jù)調(diào)度,保證數(shù)據(jù)可控、可用、可信的工程。第一,按照數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)規(guī)范,形成各單位邏輯統(tǒng)一、相互關(guān)聯(lián)、標(biāo)簽唯一的小數(shù)據(jù)資產(chǎn)。各單位的數(shù)據(jù)資產(chǎn)組合成統(tǒng)一管理、統(tǒng)一調(diào)度、統(tǒng)一共享的大數(shù)據(jù)資產(chǎn)。第二,促進(jìn)業(yè)務(wù)協(xié)調(diào),提高政務(wù)數(shù)據(jù)流轉(zhuǎn)速度,實現(xiàn)“一網(wǎng)通辦”的目標(biāo)。第三,建立健全數(shù)據(jù)的管理機(jī)制,規(guī)范數(shù)據(jù)生產(chǎn)、加工、存儲、分析等環(huán)節(jié)的流程,構(gòu)建政務(wù)大數(shù)據(jù)管理體系和安全體系。第四,以政務(wù)大數(shù)據(jù)為基礎(chǔ),挖掘數(shù)據(jù)價值,推進(jìn)數(shù)字政府、數(shù)據(jù)社會、數(shù)據(jù)經(jīng)濟(jì)的快速發(fā)展。
5治理的內(nèi)容
從大數(shù)據(jù)的角度來看,政務(wù)數(shù)據(jù)的治理是圍繞政府大數(shù)據(jù)治理活動而形成的由一系列要素及其相互關(guān)系構(gòu)成的有機(jī)整體,是一項體系工程,包括治理的主體、客體、數(shù)據(jù)共享與交換、元數(shù)據(jù)和數(shù)據(jù)元管理、數(shù)據(jù)質(zhì)量、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)規(guī)范、數(shù)據(jù)資產(chǎn)、數(shù)據(jù)調(diào)度、數(shù)據(jù)生命周期、數(shù)據(jù)安全等。
5.1數(shù)據(jù)治理的主體和客體
政務(wù)數(shù)據(jù)治理的主體通常是指數(shù)據(jù)治理工作的決策者、組織者、協(xié)調(diào)者、操作者和參謀者,通常是指大數(shù)據(jù)牽頭部門、大數(shù)據(jù)專家委員會、大數(shù)據(jù)發(fā)展領(lǐng)導(dǎo)小組及參與治理工作的單位和人。數(shù)據(jù)治理的主體負(fù)責(zé)研究數(shù)據(jù)治理的總體規(guī)劃和目標(biāo),制定治理工作方案、工作機(jī)制、工作流程。政務(wù)數(shù)據(jù)治理的客體通常指各行政機(jī)關(guān)單位、企事業(yè)單位為各級各部門采集、加工、交換、使用、處理的信息資源,包括文件、資料、圖表、視頻、音頻、數(shù)據(jù)等各類信息資源。
5.2數(shù)據(jù)共享與交換
各單位按照政務(wù)數(shù)據(jù)資源目錄的基本屬性在統(tǒng)一平臺發(fā)布庫表、文件、接口,滿足部門之間的數(shù)據(jù)傳輸,實現(xiàn)政務(wù)數(shù)據(jù)的供需。數(shù)據(jù)共享與交換需要數(shù)據(jù)提供方和數(shù)據(jù)需求方在同個網(wǎng)絡(luò),按照統(tǒng)一的規(guī)則實現(xiàn)數(shù)據(jù)申請、訂閱的工作流程,實現(xiàn)跨部門、跨層級、跨區(qū)域的數(shù)據(jù)交換,是數(shù)據(jù)治理的重要傳輸通道和基礎(chǔ)。
5.3元數(shù)據(jù)和數(shù)據(jù)元管理
從定義來看,元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù),是一組用來描述數(shù)據(jù)的信息組或數(shù)據(jù)組,反映某個數(shù)據(jù)的基本屬性;數(shù)據(jù)元又稱數(shù)據(jù)類型,通過定義、標(biāo)識、表示以及允許值等一系列屬性描述的數(shù)據(jù)單元。在特定的語義環(huán)境中被認(rèn)為是不可再分的最小數(shù)據(jù)單元。政務(wù)數(shù)據(jù)治理過程中,元數(shù)據(jù)管理包括元數(shù)據(jù)采集、存儲、分析三個方面,可實現(xiàn)數(shù)據(jù)源、表、視圖、數(shù)據(jù)類型等信息的查詢和瀏覽,并建設(shè)元數(shù)據(jù)模型,梳理數(shù)據(jù)之間的關(guān)系,展示數(shù)據(jù)元的名稱。
5.4數(shù)據(jù)質(zhì)量管理
政務(wù)數(shù)據(jù)治理需要對政務(wù)數(shù)據(jù)的完整性、規(guī)范性、一致性、及時性、準(zhǔn)確性、唯一性、關(guān)聯(lián)性進(jìn)行系統(tǒng)檢查,主要工作包括數(shù)據(jù)缺失、內(nèi)容不全、記錄為空、字段重復(fù)、名稱不統(tǒng)一、類型不一致等信息進(jìn)行檢查和判斷,并按照統(tǒng)一的轉(zhuǎn)換規(guī)則進(jìn)行加工處理,形成邏輯統(tǒng)一、相互聯(lián)系、歸屬清晰的數(shù)據(jù)庫或數(shù)據(jù)圖譜。政務(wù)數(shù)據(jù)質(zhì)量處理需要數(shù)據(jù)使用單位的評估,從業(yè)務(wù)的角度評價政務(wù)數(shù)據(jù)解決業(yè)務(wù)場景的效率,并定期形成數(shù)據(jù)質(zhì)量分析報告。
5.5數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范
數(shù)據(jù)標(biāo)準(zhǔn)是數(shù)據(jù)治理的重要依據(jù),通常分為通用標(biāo)準(zhǔn)和行業(yè)標(biāo)準(zhǔn),用于統(tǒng)一描述對象的屬性,統(tǒng)一元數(shù)據(jù)和數(shù)據(jù)元的名稱、類型、長度、內(nèi)容、范圍等。通用標(biāo)準(zhǔn)主要包括人、企業(yè)、房產(chǎn)、車輛等對象屬性的描述。行業(yè)標(biāo)準(zhǔn)特指某個領(lǐng)域的數(shù)據(jù)內(nèi)容,專業(yè)性、業(yè)務(wù)性比較強(qiáng),如海洋、石油、森林、旅游等數(shù)據(jù)。數(shù)據(jù)規(guī)范通常指數(shù)據(jù)清洗、加工、存儲、分析、共享、利用的工作流程或工作指南。
5.6數(shù)據(jù)資產(chǎn)
數(shù)據(jù)資產(chǎn)是根據(jù)部門的職責(zé)清單、系統(tǒng)清單、數(shù)據(jù)庫清單、目錄清單,按照統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)和規(guī)范,經(jīng)過清洗、加工后,形成字段唯一、相互關(guān)系的數(shù)據(jù)總庫,是部門的數(shù)據(jù)臺賬。數(shù)據(jù)資產(chǎn)管理應(yīng)按照數(shù)據(jù)所有者、使用者、提供者、管理者進(jìn)行管理和登記。數(shù)據(jù)的管理者應(yīng)負(fù)責(zé)數(shù)據(jù)的調(diào)度流程、安全保障。數(shù)據(jù)的提供者應(yīng)保障數(shù)據(jù)完整性、一致性、準(zhǔn)確性、及時性、可信性等。數(shù)據(jù)的使用者應(yīng)維護(hù)數(shù)據(jù)的一致眭、安全性、保密性,不篡改、不泄露、不售賣原數(shù)據(jù)。數(shù)據(jù)資產(chǎn)管理分為集中管理和分散管理兩種。集中管理由數(shù)據(jù)管理單位統(tǒng)一匯聚各部門的數(shù)據(jù),建成數(shù)據(jù)中心。分散管理由各單位按照統(tǒng)一的規(guī)則,建成本單位的數(shù)據(jù)庫,通過數(shù)據(jù)共享交換平臺實現(xiàn)數(shù)據(jù)的統(tǒng)一調(diào)度,實現(xiàn)數(shù)據(jù)“不為已所有,但為已所用”的目標(biāo)。分散管理模式先由各部門建成本單位的數(shù)據(jù)小圖譜,多個數(shù)據(jù)小圖譜組成、關(guān)聯(lián)形成數(shù)據(jù)大圖譜,形成數(shù)據(jù)的關(guān)系網(wǎng)、調(diào)度網(wǎng)、拓?fù)鋱D。
5.7數(shù)據(jù)調(diào)度中心
數(shù)據(jù)調(diào)度中心也可稱為數(shù)據(jù)資源管理中心或數(shù)據(jù)資源共享中心,在數(shù)據(jù)共享交換平臺的基礎(chǔ)上,增加數(shù)據(jù)調(diào)用的靈活性,實現(xiàn)數(shù)據(jù)按需選擇,一次性選擇、多部門多資源同時調(diào)用的功能,并在部門部署數(shù)據(jù)共享庫、前端采集程序。數(shù)據(jù)調(diào)度中心可以進(jìn)行數(shù)據(jù)匯聚后,再提供共享和利用,也可以建成數(shù)據(jù)物理分散、邏輯統(tǒng)一、相互關(guān)聯(lián)、統(tǒng)一調(diào)用的模式。數(shù)據(jù)調(diào)度中心需提供數(shù)據(jù)安全保密技術(shù)。
5.8數(shù)據(jù)安全體系和法律法規(guī)
政務(wù)數(shù)據(jù)的治理不僅需要技術(shù)手段,更需要建立一套完整的管理制度,形成數(shù)據(jù)安全體系。政務(wù)數(shù)據(jù)管理制度包括數(shù)據(jù)通用標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn),數(shù)據(jù)清洗加工規(guī)范、數(shù)據(jù)資產(chǎn)管理辦法、數(shù)據(jù)調(diào)度管理辦法、數(shù)據(jù)安全管理辦法、數(shù)據(jù)脫敏工作流程、數(shù)據(jù)轉(zhuǎn)換規(guī)則等。
6治理的模式與技術(shù)
根據(jù)政務(wù)數(shù)據(jù)的存儲方式和數(shù)據(jù)調(diào)用的方法,政務(wù)數(shù)據(jù)的治理主要存在集中治理和分散治理這兩種模式。兩種模式雖然工作的內(nèi)容基本上一致,但是在數(shù)據(jù)存儲和數(shù)據(jù)調(diào)用方面存在一定的差異,對治理的主體要求也不一樣。
6.1集中治理
政務(wù)數(shù)據(jù)集中治理,一般由大數(shù)據(jù)主管部門牽頭負(fù)責(zé)數(shù)據(jù)的匯聚、存儲、清洗、加工、分析、發(fā)布等工作流程。要完成治理的目標(biāo),第一,需要各個部門通過本地數(shù)據(jù)共享交換平臺,按照統(tǒng)一的目錄信息,發(fā)布數(shù)據(jù)庫、文件等數(shù)據(jù)資源。第二,數(shù)據(jù)共享交換平臺采用ETL技術(shù)抽取數(shù)據(jù)并集中存儲在數(shù)據(jù)倉庫。第三,按照數(shù)據(jù)標(biāo)準(zhǔn)和規(guī)范,對數(shù)據(jù)倉庫進(jìn)行處理,形成數(shù)據(jù)標(biāo)準(zhǔn)庫。第四,數(shù)據(jù)標(biāo)準(zhǔn)庫通過數(shù)據(jù)共享交換平臺發(fā)布共享。見圖1所示。
技術(shù)特點:
1)重點通過ETL工具實現(xiàn)數(shù)據(jù)抽?。‥xtract)、數(shù)據(jù)轉(zhuǎn)換(Transform)、數(shù)據(jù)加載(Load),按照觸發(fā)器方法、時間戳方法、整表比對法、全表刪除法、日志表法、主動交換法、人工報送法等進(jìn)行全量抽取或增量抽取的方式。
2)發(fā)布數(shù)據(jù)格式主要有庫表、文件或文件夾、服務(wù)接口三種,基于Web Service技術(shù)實現(xiàn)XML文件、JSON數(shù)據(jù)格式的傳輸。
3)服務(wù)接口調(diào)用通常采用OAuth 2.0的授權(quán)模式發(fā)送to-ken,保障數(shù)據(jù)調(diào)用的安全性,同時要防范API的攻擊。
優(yōu)勢:
1)數(shù)據(jù)集中,統(tǒng)一提供基礎(chǔ)設(shè)施、統(tǒng)一存儲、統(tǒng)一管理、統(tǒng)一治理,統(tǒng)一技術(shù)和人員投入,減少各部門的經(jīng)費開支,解決不同部門信息化技術(shù)差異的問題。
2)數(shù)據(jù)共享交換平臺功能主要集中目錄、資源發(fā)布共享,數(shù)據(jù)交換等功能,整體功能框架比較成熟,技術(shù)架構(gòu)比較普遍,技術(shù)維護(hù)相對容易。
3)可靈活處理數(shù)據(jù)上報的工作,大批量數(shù)據(jù)獲取比較容易,可靈活處理數(shù)據(jù)報送時的格式變化和質(zhì)量檢測。
不足:
1)由于數(shù)據(jù)集中存儲,數(shù)據(jù)安全隱患大,易造成批量數(shù)據(jù)的泄漏,為此對網(wǎng)絡(luò)安全和數(shù)據(jù)安全方面要求比較高。
2)處理的數(shù)據(jù)所需的網(wǎng)絡(luò)帶寬高,容易產(chǎn)生高并發(fā)的數(shù)據(jù)調(diào)用,需要解決大容量數(shù)據(jù)交換,高并發(fā)性的問題。
3)數(shù)據(jù)標(biāo)準(zhǔn)庫和數(shù)據(jù)共享交換平臺出現(xiàn)故障時,容易造成大面積數(shù)據(jù)共享交換失敗,影響的業(yè)務(wù)范圍較廣。
4)數(shù)據(jù)和人員的管理要求高,內(nèi)部管理制度比較多。
6.2分散治理
政務(wù)數(shù)據(jù)分散治理,由大數(shù)據(jù)主管部門制定統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)和規(guī)范后,各個單位根據(jù)信息化系統(tǒng)和業(yè)務(wù)工作產(chǎn)生的數(shù)據(jù)進(jìn)行內(nèi)部的數(shù)據(jù)治理,形成本單位字段唯一、邏輯關(guān)聯(lián)的數(shù)據(jù)標(biāo)準(zhǔn)庫或數(shù)據(jù)小圖譜。數(shù)據(jù)小圖譜通過數(shù)據(jù)中臺與數(shù)據(jù)共享交換平臺連接。部門之間的數(shù)據(jù)調(diào)用通過數(shù)據(jù)共享交換平臺和數(shù)據(jù)中臺完成。數(shù)據(jù)交換時,根據(jù)各部門的需求,在數(shù)據(jù)共享交換平臺勾選資源后,將請求發(fā)送給數(shù)據(jù)中臺,獲得部門的授權(quán)批準(zhǔn)后,由數(shù)據(jù)中臺從部門的數(shù)據(jù)標(biāo)準(zhǔn)庫抽取數(shù)據(jù),并反饋數(shù)據(jù)給數(shù)據(jù)需求單位。整個過程中,政務(wù)數(shù)據(jù)是分散存儲在各個部門,并沒有進(jìn)行集中存儲。數(shù)據(jù)共享交換平臺通過控制數(shù)據(jù)中臺實現(xiàn)單個部門或多個部門數(shù)據(jù)的調(diào)度。
技術(shù)特點:
1)重點采用分布式數(shù)據(jù)存儲技術(shù),將政務(wù)數(shù)據(jù)分布存儲在各個單位內(nèi)部,通過網(wǎng)絡(luò)實現(xiàn)數(shù)據(jù)調(diào)用。如ceph的CRUSH、HASH算法,google的GFS分布式文件存儲系統(tǒng);Hadoop的分布式文件系統(tǒng)HDFS;Rackspace公司開發(fā)的分布式對象存儲服務(wù)Swift;基于Linux平臺的開源集群(并行)文件系統(tǒng)Luster。
2)重點采用檢索技術(shù)實現(xiàn)布爾邏輯、截詞、位置、字段、加權(quán)等檢索。如全文檢索技術(shù)Lucene。
3)重點采用基于MapReduce等任務(wù)調(diào)度方法,根據(jù)政務(wù)數(shù)據(jù)的分布情況確定調(diào)度任務(wù)的優(yōu)先級,對數(shù)據(jù)進(jìn)行合并后輸出。
優(yōu)勢:
1)政務(wù)數(shù)據(jù)分散治理,分散存儲,降低數(shù)據(jù)安全風(fēng)險,避免數(shù)據(jù)大面積泄漏。
2)各部門分別承擔(dān)數(shù)據(jù)治理,有利于部門的業(yè)務(wù)工作與數(shù)據(jù)梳理,促進(jìn)部門信息化發(fā)展,推進(jìn)行業(yè)大數(shù)據(jù)應(yīng)用的建設(shè)。
3)分散治理通過數(shù)據(jù)中臺實現(xiàn)數(shù)據(jù)隨用隨調(diào),按需調(diào)用??梢淮涡哉{(diào)用多個部門的數(shù)據(jù),也可按需選擇調(diào)用的數(shù)據(jù)字段,數(shù)據(jù)調(diào)用更精準(zhǔn)、更靈活。
4)大數(shù)據(jù)主管部門負(fù)責(zé)制定數(shù)據(jù)治理的標(biāo)準(zhǔn)和規(guī)范,對各部門進(jìn)行技術(shù)指導(dǎo),減少人員的投入。
5)數(shù)據(jù)治理從源頭開始,數(shù)據(jù)的質(zhì)量較高,數(shù)據(jù)的內(nèi)容較完整。
不足:
1)數(shù)據(jù)共享交換平臺的技術(shù)和功能要求比較高,需增加數(shù)據(jù)調(diào)度、數(shù)據(jù)圖譜檢索、數(shù)據(jù)資產(chǎn)管理等功能。
2)數(shù)據(jù)中臺部署需要新的硬件資源,增加硬件成本和運維工作。
3)對各單位工作人員的技術(shù)水平要求較高,信息化技術(shù)較落后的單位需要培訓(xùn)。
7結(jié)論
數(shù)據(jù)治理是政務(wù)數(shù)據(jù)應(yīng)用的階段,是一項煩瑣、復(fù)雜的工程。它既需要對數(shù)據(jù)進(jìn)行邏輯關(guān)系的處理,也需要對數(shù)據(jù)的合理性、完整性進(jìn)行判斷。文章對政務(wù)大數(shù)據(jù)治理提出了兩種不同的模式,為政務(wù)數(shù)據(jù)治理提供了思路和方法,為實現(xiàn)政務(wù)大數(shù)據(jù)資產(chǎn)管理,充分挖掘大數(shù)據(jù)價值進(jìn)行了大數(shù)據(jù)決策治理研究。不同的數(shù)據(jù)治理模式,對技術(shù)的要求和部署方式也存在差異,可根據(jù)實際情況,選擇合適的模式。文章從整體上介紹了政務(wù)數(shù)據(jù)目標(biāo)、內(nèi)容及模式,為建立健全我國政務(wù)大數(shù)據(jù)治理理論體系提供參考。