摘 要:本文以某區(qū)域人工智能產(chǎn)業(yè)公共服務(wù)平臺(tái)為研究對(duì)象,對(duì)城市公共服務(wù)數(shù)據(jù)平臺(tái)建設(shè)進(jìn)行了設(shè)計(jì)研究。主要設(shè)計(jì)研究內(nèi)容包括數(shù)據(jù)平臺(tái)設(shè)計(jì)、信息安全保障設(shè)計(jì)、軟件選型等。本文設(shè)計(jì)方案研究將為區(qū)域公共服務(wù)平臺(tái)建設(shè)提供有益參考。
關(guān)鍵詞:數(shù)據(jù)平臺(tái);公共服務(wù);信息安全
建設(shè)城市公共服務(wù)平臺(tái)能夠有效促進(jìn)智慧城市全面發(fā)展,維護(hù)社會(huì)公平和社會(huì)公共利益。公共服務(wù)平臺(tái),就是在產(chǎn)業(yè)集中度較高或具有相對(duì)產(chǎn)業(yè)優(yōu)勢(shì)的地區(qū),構(gòu)建為中小企業(yè)提供研發(fā)、加工、測(cè)試、信息資源、公共服務(wù)、公共設(shè)施公共技術(shù)支持系統(tǒng)、為公眾提供就業(yè)、創(chuàng)業(yè)等生活環(huán)境。公共服務(wù)平臺(tái)的建設(shè)有助于為本地區(qū)政府管理部門、企事業(yè)單位以及社會(huì)公眾提供系統(tǒng)、全面、方便、高效的相關(guān)公共服務(wù),從而提高服務(wù)效率,促進(jìn)當(dāng)?shù)亟?jīng)濟(jì)和社會(huì)發(fā)展。
為支撐某區(qū)域人工智能產(chǎn)業(yè)公共服務(wù)平臺(tái)建設(shè),集成、整合、優(yōu)化相關(guān)產(chǎn)業(yè)資源,提供可共享共用的基礎(chǔ)設(shè)施、設(shè)備和信息資源共享的各類渠道,為區(qū)域人工智能產(chǎn)業(yè)鏈內(nèi)群體的公共需求提供統(tǒng)一的輔助解決方案,本文對(duì)該公共服務(wù)平臺(tái)數(shù)據(jù)平臺(tái)建設(shè)方案進(jìn)行了設(shè)計(jì)研究。
一、數(shù)據(jù)平臺(tái)設(shè)計(jì)
公共服務(wù)平臺(tái)的運(yùn)營服務(wù),離不開平臺(tái)建設(shè)后海量產(chǎn)業(yè)數(shù)據(jù)的接入存儲(chǔ)、分析挖掘、質(zhì)量管控、安全管控,以及面向用戶的可視化管理。因此,數(shù)據(jù)平臺(tái)設(shè)計(jì)主要子系統(tǒng)包括數(shù)據(jù)交換系統(tǒng)、數(shù)據(jù)分析系統(tǒng)、數(shù)據(jù)管控系統(tǒng)以及可視化管理系統(tǒng)。
(一)數(shù)據(jù)交換系統(tǒng)
由于業(yè)務(wù)需要,本平臺(tái)的主要數(shù)據(jù)來源包括區(qū)縣主管部門季度/年度填報(bào)數(shù)據(jù)、政府開放數(shù)據(jù)、第三方數(shù)據(jù)、互聯(lián)網(wǎng)爬取的公開數(shù)據(jù)、外部購買的商業(yè)數(shù)據(jù)等多個(gè)數(shù)據(jù)源的數(shù)據(jù)接入。數(shù)據(jù)交換方式主要以服務(wù)接口方式。資源提供方以服務(wù)接口方式共享資源時(shí),可選擇的接口類型包括:REST和WebService。為確保服務(wù)接口的標(biāo)準(zhǔn)性和可用性,服務(wù)接口統(tǒng)一按照以下協(xié)議規(guī)范和技術(shù)要求對(duì)外呈現(xiàn):
(1)服務(wù)傳輸協(xié)議:采用HTTP/S1.0/1.1標(biāo)準(zhǔn)。
(2)服務(wù)消息協(xié)議:WebService服務(wù)消息封裝協(xié)議采用SOAP1.1/1.2標(biāo)準(zhǔn);REST服務(wù)消息封裝協(xié)議采用HTTP1.0/1.1標(biāo)準(zhǔn)。
(3)數(shù)據(jù)返回格式:XML、JSON、JAVA對(duì)象等。
(4)服務(wù)描述:應(yīng)包含服務(wù)調(diào)用者使用的具體訪問接口內(nèi)容,主要包括數(shù)據(jù)類型定義、操作、交互消息格式和內(nèi)容、端口類型及綁定等內(nèi)容,內(nèi)容格式應(yīng)按照WSDL1.1的規(guī)定進(jìn)行描述。
(二)數(shù)據(jù)分析系統(tǒng)
本系統(tǒng)是依據(jù)數(shù)據(jù)交換系統(tǒng)采集到的數(shù)據(jù),結(jié)合平臺(tái)已有數(shù)據(jù),進(jìn)行數(shù)據(jù)清洗、加工,整合等數(shù)據(jù)處理措施,再結(jié)合分析方法進(jìn)行指數(shù)評(píng)價(jià)分析。通過不斷的優(yōu)化數(shù)據(jù)源與測(cè)算反饋,最終呈現(xiàn)出不同地區(qū)的人工智能行業(yè)、企業(yè)賦能評(píng)價(jià)指數(shù)。為此系統(tǒng)需滿足如下性能:
(1)支持大數(shù)據(jù)存儲(chǔ):應(yīng)采用分布式文件存儲(chǔ)技術(shù),能運(yùn)行在通用硬件上,提供一個(gè)高度容錯(cuò)性和高吞吐量的海量數(shù)據(jù)存儲(chǔ)解決方案。
(2)支持大數(shù)據(jù)實(shí)時(shí)查詢:應(yīng)支持NoSQL,建立面向列的實(shí)時(shí)分布式數(shù)據(jù)庫,實(shí)現(xiàn)由TB到PB級(jí)別的海量數(shù)據(jù)存儲(chǔ)和髙速讀寫。這些數(shù)據(jù)要求能夠被分布在最多至數(shù)千臺(tái)普通服務(wù)器上,并且能夠被大量并發(fā)用戶高速訪問。平臺(tái)還應(yīng)支持NewSQL,基于SharedNothing架構(gòu),實(shí)現(xiàn)面向結(jié)構(gòu)化的數(shù)據(jù)分析。
(3)支持大數(shù)據(jù)分析挖掘:應(yīng)基于HDFS、NoSQL存儲(chǔ),通過MR分布式計(jì)算框架進(jìn)行分析挖掘;基于NewSQL、通過SQL接口,利用MPP技術(shù)實(shí)現(xiàn)分布式處理。
(4)支持基于內(nèi)存計(jì)算:支持Storm,這是一個(gè)分布式、容錯(cuò)實(shí)時(shí)計(jì)算系統(tǒng),遵循Eclipse Public License1.0可以方便地在一個(gè)計(jì)算機(jī)集群中編寫與擴(kuò)展復(fù)雜的實(shí)時(shí)計(jì)算同時(shí)保證每個(gè)消息都會(huì)得到處理。
(三)數(shù)據(jù)管控系統(tǒng)
該系統(tǒng)具備以下幾部分功能:
元數(shù)據(jù)管理。元數(shù)據(jù)架構(gòu)、元數(shù)據(jù)標(biāo)準(zhǔn)、元數(shù)據(jù)生成獲取和維護(hù)、元數(shù)據(jù)存儲(chǔ)、整合和共享、元數(shù)據(jù)查詢和報(bào)表、數(shù)據(jù)術(shù)語及字典管理、元數(shù)據(jù)知識(shí)庫管理;
數(shù)據(jù)感知監(jiān)測(cè)。數(shù)據(jù)感知監(jiān)測(cè)是通過一系列主動(dòng)和被動(dòng)監(jiān)測(cè)方式,感知數(shù)據(jù)資產(chǎn)實(shí)時(shí)動(dòng)態(tài)情況,并根據(jù)定義的監(jiān)測(cè)規(guī)則和事件流程,觸發(fā)數(shù)據(jù)質(zhì)量管理和數(shù)據(jù)安全管理操作。
數(shù)據(jù)標(biāo)準(zhǔn)管理。平臺(tái)數(shù)據(jù)標(biāo)準(zhǔn)管理主要功能如下:導(dǎo)入外部標(biāo)準(zhǔn),提供以Excel模板方式,導(dǎo)入外部國家標(biāo)準(zhǔn)或行業(yè)標(biāo)準(zhǔn),支持?jǐn)?shù)據(jù)項(xiàng)、數(shù)據(jù)字典、指標(biāo)等類型的標(biāo)準(zhǔn)導(dǎo)入;數(shù)據(jù)標(biāo)準(zhǔn)維護(hù),實(shí)現(xiàn)標(biāo)準(zhǔn)的維護(hù)功能,包括標(biāo)準(zhǔn)新增、變更、審核等功能,支持標(biāo)準(zhǔn)版本管理和比對(duì)功能,對(duì)標(biāo)準(zhǔn)變更情況進(jìn)行記錄;標(biāo)準(zhǔn)關(guān)聯(lián)分析,提供數(shù)據(jù)標(biāo)準(zhǔn)與元數(shù)據(jù)、數(shù)據(jù)資源的關(guān)聯(lián)分析,分析引用指定標(biāo)準(zhǔn)的數(shù)據(jù)資源分布,以及標(biāo)準(zhǔn)的引用統(tǒng)計(jì);
數(shù)據(jù)質(zhì)量管理。數(shù)據(jù)質(zhì)量管理是依據(jù)數(shù)據(jù)質(zhì)量管理規(guī)范,為數(shù)據(jù)質(zhì)量管理過程提供支持。數(shù)據(jù)質(zhì)量管理主要過程包括質(zhì)量規(guī)則配置和數(shù)據(jù)質(zhì)量檢核,能夠解決數(shù)據(jù)完整性、唯一性、權(quán)威性、一致性、合法性等問題。
管理流程。數(shù)據(jù)質(zhì)量管理主要功能包括:質(zhì)量規(guī)則配置,實(shí)現(xiàn)數(shù)據(jù)質(zhì)量度量規(guī)則和檢核方法管理。通過界面維護(hù)任務(wù),支持根據(jù)數(shù)據(jù)標(biāo)準(zhǔn)生成質(zhì)量檢核方法;數(shù)據(jù)質(zhì)量檢核,對(duì)依次對(duì)檢核對(duì)象進(jìn)行合規(guī)性檢核,在發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題之后,記錄問題數(shù)據(jù)和異常記錄;數(shù)據(jù)質(zhì)量問題明細(xì)報(bào)告,針對(duì)檢核任務(wù)在執(zhí)行之后,需要出具數(shù)據(jù)質(zhì)量問題報(bào)告,對(duì)問題的總體情況進(jìn)行描述,并按照權(quán)屬部門/企業(yè)、資源分類等維度出具明細(xì)質(zhì)量報(bào)告。
(四)可視化管理系統(tǒng)
本設(shè)計(jì)可視化管理系統(tǒng),能夠?qū)⒐卜?wù)平臺(tái)的各項(xiàng)人工智能產(chǎn)業(yè)關(guān)鍵數(shù)據(jù)(包括主要新興產(chǎn)業(yè)產(chǎn)品、智能軟件技術(shù)、深度應(yīng)用服務(wù)三方面的營收組成及規(guī)模等)進(jìn)行可視化呈現(xiàn),從而實(shí)現(xiàn)對(duì)包括人才引進(jìn)、園區(qū)管理、產(chǎn)業(yè)規(guī)劃、產(chǎn)品規(guī)劃等領(lǐng)域進(jìn)行管理決策支持。
高兼容性??梢暬到y(tǒng)平臺(tái)屏幕支持范圍廣泛,跨移動(dòng)設(shè)備、手持Pad、傳統(tǒng)PC、拼接大屏等多媒體業(yè)務(wù)終端,實(shí)現(xiàn)多終端顯示效果的統(tǒng)一體驗(yàn)。
權(quán)限管理。根據(jù)系統(tǒng)分配的權(quán)限,用戶可以隨時(shí)隨地查看和操作其權(quán)限范圍內(nèi)的數(shù)據(jù),使得信息安全感知更有保障。
導(dǎo)入導(dǎo)出。支持“導(dǎo)入導(dǎo)出”功能模塊,提供數(shù)據(jù)源與組件的導(dǎo)入導(dǎo)出工作。
通過屏幕編輯器界面工具欄中的“數(shù)據(jù)源”管理功能,能夠進(jìn)行數(shù)據(jù)源列表維護(hù)。通過配置添加、變更和新建數(shù)據(jù)源,對(duì)數(shù)據(jù)源進(jìn)行管理操作。
視圖元素靈活性。對(duì)具體場景中業(yè)務(wù)視圖元素可編輯、可維護(hù)、可修改,支持部門視圖權(quán)限管理。操作管理更加便捷、高效。
系統(tǒng)支持將數(shù)據(jù)融合貫通,綜合匯集于系統(tǒng)之上;在提供傳統(tǒng)的柱狀圖、餅圖、儀表盤等基礎(chǔ)圖表組件的基礎(chǔ)上,還可以提供光暈圖、泡泡圖、流向地圖等多種個(gè)性化圖表。
二、信息安全保障
公共服務(wù)平臺(tái)存儲(chǔ)有與本地區(qū)產(chǎn)業(yè)、場景等相關(guān)的大量商業(yè)數(shù)據(jù),為此需建立一套信息安全管理辦法進(jìn)行網(wǎng)絡(luò)與數(shù)據(jù)完全保護(hù)。安全防護(hù)設(shè)計(jì)主要包括系統(tǒng)用戶訪問權(quán)限控制、數(shù)據(jù)加密存儲(chǔ)和其他措施完成安全防護(hù)工作。
訪問權(quán)限控制。系統(tǒng)采用了用戶身份認(rèn)證,對(duì)口令加密、更新和鑒別,設(shè)置用戶訪問目錄和文件的權(quán)限,控制網(wǎng)絡(luò)設(shè)備配置的權(quán)限等。并對(duì)重要涉密的數(shù)據(jù)進(jìn)行加密防護(hù)。
數(shù)據(jù)加密存儲(chǔ)。數(shù)據(jù)加密存儲(chǔ)主要是對(duì)重要、保密和敏感的數(shù)據(jù)進(jìn)行加密處理后存儲(chǔ),進(jìn)一步提高數(shù)據(jù)的安全性。
數(shù)據(jù)存儲(chǔ)安全。首先要保證存儲(chǔ)設(shè)備和數(shù)據(jù)的安全,主要做好數(shù)據(jù)的存儲(chǔ)環(huán)境的保護(hù)、數(shù)據(jù)的備份及恢復(fù)策略的管理。
應(yīng)用系統(tǒng)數(shù)據(jù)安全。系統(tǒng)將具備完善的用戶權(quán)限控制機(jī)制;完善的日志及跟蹤功能,業(yè)務(wù)辦理及敏感數(shù)據(jù)查詢需做相應(yīng)的記錄;具備方便的數(shù)據(jù)備份及災(zāi)難恢復(fù)能力。
三、軟件選型及技術(shù)性能指標(biāo)
知識(shí)產(chǎn)權(quán)服務(wù)子平臺(tái)系統(tǒng)基礎(chǔ)軟件:用于知識(shí)產(chǎn)權(quán)服務(wù)子平臺(tái)系統(tǒng)基礎(chǔ)軟件,包括支撐平臺(tái)總體架構(gòu)和應(yīng)用服務(wù)架構(gòu);
IAAS、PAAS 層基礎(chǔ)軟件:用于包括系統(tǒng)的統(tǒng)一資源調(diào)度、云操作系統(tǒng)的業(yè)務(wù)管理、云操作系統(tǒng)的統(tǒng)一資源監(jiān)控平臺(tái)等軟件;
通用測(cè)試云平臺(tái):用于包括容器管理、統(tǒng)計(jì)報(bào)表、平臺(tái)管理、測(cè)試分析等軟件;
備份軟件:用于數(shù)據(jù)快速備份/恢復(fù);
云平臺(tái)管理服務(wù)軟件:用于標(biāo)準(zhǔn)功能及APIs;云負(fù)載均衡;賬戶:多租戶自服務(wù)管理平臺(tái);計(jì)費(fèi):賬務(wù)管理控制;監(jiān)控:基礎(chǔ)監(jiān)控,云資源監(jiān)控;存儲(chǔ)和網(wǎng)絡(luò)SDN網(wǎng)絡(luò)第三方適配;運(yùn)營管理后臺(tái); 安全增強(qiáng);高可用關(guān)系數(shù)據(jù)庫mysql;內(nèi)存數(shù)據(jù)庫redis;
數(shù)據(jù)管理軟件:用于對(duì)數(shù)據(jù)資源的使用檢測(cè),并實(shí)時(shí)調(diào)度優(yōu)化等;
數(shù)據(jù)庫軟件:用于數(shù)據(jù)庫模塊:Oracle;
四、總結(jié)
本文以某區(qū)域人工智能產(chǎn)業(yè)公共服務(wù)平臺(tái)實(shí)際需求為例,對(duì)城市產(chǎn)業(yè)公共服務(wù)數(shù)據(jù)平臺(tái)建設(shè)提出了數(shù)據(jù)平臺(tái)建設(shè)方案。目前,該人工智能產(chǎn)業(yè)公共服務(wù)平臺(tái)已經(jīng)上線。運(yùn)行結(jié)果表明,本文所提建設(shè)方案是可行、有效的,對(duì)類似城市公共服務(wù)平臺(tái)建設(shè)具有參考價(jià)值。
參考文獻(xiàn):
[1]張?bào)K. 大數(shù)據(jù)下公共服務(wù)體系的信息化發(fā)展趨勢(shì)[J]. 現(xiàn)代工業(yè)經(jīng)濟(jì)和信息化, 2020, 190(04):65-66+69.
[2]李勤. 縣域大數(shù)據(jù)平臺(tái)規(guī)劃與設(shè)計(jì)—以某縣為例[J]. 現(xiàn)代信息科技, 2019, 3(17):94-95+98.
[3]管雯君, 倪志. 面向資源共享與公共服務(wù)的新型城市治理信息平臺(tái)創(chuàng)新模式研究[J]. 規(guī)劃師, 2019, 35(21):16-22.
[4]劉磊、張永、李佳欣、吳光濤. 面向數(shù)據(jù)交換的多式聯(lián)運(yùn)公共信息平臺(tái)設(shè)計(jì)[C]// 第十五屆中國智能交通年會(huì). 2020.
作者簡介:
陳俊琰(1981.2- )男,浙江鄞縣人,博士研究生,上海華東電信研究院,人工智能與大數(shù)據(jù)事業(yè)部 主任,研究方向:主要從事人工智能與大數(shù)據(jù)、數(shù)字經(jīng)濟(jì)、數(shù)字政府、智慧城市方向的產(chǎn)業(yè)政策分析和研究,項(xiàng)目規(guī)劃和設(shè)計(jì)。