• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看

      ?

      基于混合云技術(shù)的樞紐機場數(shù)據(jù)共享平臺設(shè)計與實現(xiàn)

      2022-09-09 02:16:56康永劉偉平汪福軍
      電子技術(shù)與軟件工程 2022年11期
      關(guān)鍵詞:脫敏數(shù)據(jù)中心機場

      康永 劉偉平 汪福軍

      (東部機場集團(tuán)有限公司 江蘇省南京市 211106)

      1 引言

      機場作為航班起降的空中港口,在現(xiàn)代交通運輸中發(fā)揮著重要作用。根據(jù)機場的實際運行情況,總結(jié)其具備“三多”的特點,即連接節(jié)點多、業(yè)務(wù)源頭多、交通方式多。以國內(nèi)某樞紐機場為例,其擁有超過100 個航點,而運行的航線航路更多,涉及的航空公司也超過50 家,另外還有大量的駐場單位,包括海關(guān)、邊檢、公安、油料公司以及很多家貨代公司和商戶等,同時機場作為綜合交通的匯總地,需要融合各種交通數(shù)據(jù),如地鐵、大巴、私家車、網(wǎng)約車等。由此可見,機場是一個集多種業(yè)務(wù)和數(shù)據(jù)于一身的復(fù)雜場景,然而由于各方信息化建設(shè)發(fā)展階段不同,數(shù)據(jù)標(biāo)準(zhǔn)也無法統(tǒng)一,在各自領(lǐng)域內(nèi)形成了大量的數(shù)據(jù)孤島,有著數(shù)據(jù)標(biāo)準(zhǔn)不一致、數(shù)據(jù)格式不一致、數(shù)據(jù)質(zhì)量不一致、各方數(shù)據(jù)協(xié)同困難等問題。

      隨著城市交通網(wǎng)絡(luò)的逐步完善,機場作為城市的又一重大樞紐,成為空港經(jīng)濟(jì)發(fā)展的核心。多方數(shù)據(jù)的交匯融合是協(xié)同發(fā)展和治理水平提升的基礎(chǔ),而實際上,由于信息建設(shè)的水平不一導(dǎo)致數(shù)據(jù)交換的方式和能力無法統(tǒng)一,存在建設(shè)安全標(biāo)準(zhǔn)不一、工作量大等問題,急需統(tǒng)一架構(gòu)設(shè)計和安全保障,建立數(shù)據(jù)交互的樞紐平臺,實現(xiàn)多源機構(gòu)數(shù)據(jù)的收集,并能夠根據(jù)需求為各方提供數(shù)據(jù)服務(wù)。根據(jù)數(shù)據(jù)存儲位置和物理空間,樞紐機場主要數(shù)據(jù)接入場景分為兩種:一是物理位置在機場范圍內(nèi)的公司和部門,例如機場各級部門、基地航空公司、海關(guān)、公安和各駐場單位等,可采取專線接入等方式,可交換機場運行核心的機密數(shù)據(jù);二是物理位置遠(yuǎn)離機場但仍需考慮數(shù)據(jù)交換的單位,例如通航機場、非基地航空公司、貨代公司和監(jiān)管單位等。因此數(shù)據(jù)交換平臺需在基礎(chǔ)架構(gòu)層考慮至少兩種網(wǎng)絡(luò)環(huán)境下的安全數(shù)據(jù)交換和管理。

      2 混合云技術(shù)

      私有云技術(shù)是基于企業(yè)的基礎(chǔ)網(wǎng)絡(luò)資源,使用虛擬化技術(shù)將實體資源虛擬為若干的虛擬資源,企業(yè)用戶在資源池中,根據(jù)企業(yè)本身業(yè)務(wù)需要,進(jìn)行企業(yè)應(yīng)用搭建。一方面,由于企業(yè)擁有基礎(chǔ)設(shè)施使用和維護(hù)權(quán),企業(yè)可以獨立自主的控制應(yīng)用的部署方式,并進(jìn)行應(yīng)用維護(hù);另一方面由于企業(yè)網(wǎng)絡(luò)是相對獨立的,并不會與互聯(lián)網(wǎng)區(qū)域進(jìn)行數(shù)據(jù)共享交換,對企業(yè)應(yīng)用的獨立和數(shù)據(jù)的安全可以提供有效的保障。結(jié)合實際業(yè)務(wù)需求,私有云更適合機場在航班保障、安全防范等方面的需求,因此目前大部分樞紐機場均建設(shè)了企業(yè)級私有云平臺。

      公有云是指由第三方供應(yīng)商在互聯(lián)網(wǎng)環(huán)境通過虛擬化、云計算等原生技術(shù),搭建共享資源池,用戶可以通過購買服務(wù)的方式,以比較低廉的價格購買云資源,快速完成業(yè)務(wù)應(yīng)用搭建。公有云最大的優(yōu)勢是無需用戶進(jìn)行基礎(chǔ)環(huán)境維護(hù),由第三方服務(wù)商進(jìn)行基礎(chǔ)環(huán)境維護(hù),因此會節(jié)省用戶大量維護(hù)的人力、物力資源。結(jié)合機場行業(yè)的實際情況,公有云環(huán)境在方案選型上,更適合搭建面向互聯(lián)網(wǎng)端的遠(yuǎn)程數(shù)據(jù)服務(wù)應(yīng)用,例如旅客服務(wù)、投訴咨詢等應(yīng)用。

      私有云具有地域安全優(yōu)勢,但其服務(wù)區(qū)域具有一定的局限性,而公有云具有服務(wù)能力強,但其有數(shù)據(jù)保密和安全的擔(dān)憂。因此某樞紐機場提出建立基于混合云技術(shù)的數(shù)據(jù)共享平臺,充分發(fā)揮公有云和私有云各自的優(yōu)勢。

      3 數(shù)據(jù)共享平臺設(shè)計

      3.1 混合云架構(gòu)設(shè)計

      考慮到外部單位受限于網(wǎng)絡(luò)和系統(tǒng)建設(shè)水平不一,無法跨區(qū)域跨網(wǎng)絡(luò)直接進(jìn)行數(shù)據(jù)交互,為簡化鏈路對接快速響應(yīng),某機場確定了混合云模式的技術(shù)架構(gòu)。核心數(shù)據(jù)存儲、加工部署在私有云,可實現(xiàn)資源的快速擴(kuò)展同時保證數(shù)據(jù)的本地機密性;數(shù)據(jù)接入及管理平臺部署在公有云,可實現(xiàn)靈活的跨地域接入和各類云服務(wù)快速使用。所有外部數(shù)據(jù)均通過互聯(lián)網(wǎng)進(jìn)行接入,通過多個區(qū)域?qū)崿F(xiàn)數(shù)據(jù)的安全落地和使用。系統(tǒng)整體分為三大區(qū)域,在機場私有云平臺上劃分了數(shù)據(jù)中心區(qū)和數(shù)據(jù)交換區(qū),公有云平臺上建設(shè)數(shù)據(jù)交換中心,具體部署結(jié)構(gòu)如圖1所示。

      圖1:數(shù)據(jù)共享平臺部署結(jié)構(gòu)

      私有云數(shù)據(jù)中心區(qū)部署于機場私有云內(nèi)網(wǎng)環(huán)境,與其他網(wǎng)絡(luò)環(huán)境交互通過嚴(yán)格的訪問控制確保區(qū)域的安全性和獨立性。私有云數(shù)據(jù)中心承擔(dān)機場所有數(shù)據(jù)的清洗、分析、計算、監(jiān)控任務(wù),底層在私有云平臺上建設(shè)數(shù)據(jù)庫集群和數(shù)據(jù)倉庫集群,集群容量可快速動態(tài)伸縮。集群之上搭建工作流調(diào)度系統(tǒng),實現(xiàn)數(shù)據(jù)交換的任務(wù)流程編排、資源分配、任務(wù)管控。此外,私有云數(shù)據(jù)中心提供數(shù)據(jù)生命周期管理,針對歷史數(shù)據(jù)進(jìn)行歷史數(shù)據(jù)遷移和按需清理,有效節(jié)省云平臺成本和資源。通過每條數(shù)據(jù)的唯一ID 值,能夠查詢數(shù)據(jù)的源頭以及傳輸路徑,便于進(jìn)行數(shù)據(jù)治理和分析。采用數(shù)據(jù)倉庫,建立多種主題模型,滿足不同類型數(shù)據(jù)的存儲和管理,并借助數(shù)據(jù)中臺實現(xiàn)數(shù)據(jù)的深加工并對外提供數(shù)據(jù)服務(wù)。

      私有云數(shù)據(jù)交換區(qū)建立在機場私有云DMZ 區(qū),通過嚴(yán)格的安全策略保證數(shù)據(jù)的進(jìn)出安全。根據(jù)DMZ 區(qū)域管理規(guī)定,該區(qū)域內(nèi)系統(tǒng)可與互聯(lián)網(wǎng)上公有云數(shù)據(jù)交換中心進(jìn)行數(shù)據(jù)采集和上傳;但作為內(nèi)網(wǎng)的緩沖區(qū)域,該區(qū)域無法直接訪問至內(nèi)部數(shù)據(jù)中心,只能由內(nèi)部定期主動發(fā)起請求進(jìn)行數(shù)據(jù)交換,從而確保內(nèi)網(wǎng)系統(tǒng)數(shù)據(jù)與互聯(lián)網(wǎng)環(huán)境的隔離。數(shù)據(jù)交換系統(tǒng)同時可實現(xiàn)各種作業(yè)管理、作業(yè)調(diào)度、作業(yè)監(jiān)控等功能,是內(nèi)、外部數(shù)據(jù)交互的橋梁和紐帶。

      公有云數(shù)據(jù)中心部署在外網(wǎng)云廠商環(huán)境,底層基于彈性云計算服務(wù)和開放存儲服務(wù)建設(shè),上層提供API 交換服務(wù)、MQ交換服務(wù)、WEB交換服務(wù),并基于統(tǒng)一云服務(wù)引擎(ACE)對外提供服務(wù)。服務(wù)支持多源異構(gòu)數(shù)據(jù),提供數(shù)據(jù)統(tǒng)一協(xié)議格式轉(zhuǎn)換,以適配外部單位各種業(yè)務(wù)場景需要。公有云數(shù)據(jù)中心作為數(shù)據(jù)服務(wù)響應(yīng)方和提供方,在響應(yīng)私有云數(shù)據(jù)中心和外部單位的主動數(shù)據(jù)訪問請求時,配備了完整的安全訪問機制。具體到安全策略上,系統(tǒng)提供身份認(rèn)證、數(shù)據(jù)校驗、權(quán)限配置、日志監(jiān)控等功能,并實現(xiàn)數(shù)據(jù)訪問源白名單管理;組件防護(hù)上,系統(tǒng)提供云主機防護(hù)、DDOS 攻擊防護(hù)、安全態(tài)勢感知等功能。

      基于混合云架構(gòu)的數(shù)據(jù)共享平臺其總體功能架構(gòu)如圖2所示。

      圖2:數(shù)據(jù)共享平臺總體功能架構(gòu)

      3.2 業(yè)務(wù)無關(guān)性設(shè)計

      在信息技術(shù)領(lǐng)域高速發(fā)展的今天,不同的區(qū)域、不同的系統(tǒng)之間的數(shù)據(jù)共享與交換越來越重要,而不同的業(yè)務(wù)系統(tǒng)之間的協(xié)議是異構(gòu)的,通過業(yè)務(wù)無關(guān)性設(shè)計,可以在多源數(shù)據(jù)共享交換的前提下,實現(xiàn)一種與業(yè)務(wù)無關(guān)的通信協(xié)議制定,使開發(fā)者可以專注于業(yè)務(wù)部分。業(yè)務(wù)無關(guān)性是指系統(tǒng)數(shù)據(jù)接入接出的使用過程中,用戶無需額外考慮底層數(shù)據(jù)接口的物理實現(xiàn)、數(shù)據(jù)協(xié)議的兼容性、數(shù)據(jù)格式和數(shù)據(jù)標(biāo)準(zhǔn)的一致性,而是專注于數(shù)據(jù)應(yīng)用層面的定義與配置。系統(tǒng)提供相關(guān)組件,自動實現(xiàn)用戶數(shù)據(jù)邏輯層面轉(zhuǎn)換成統(tǒng)一民航信息模型,物理層面轉(zhuǎn)換成統(tǒng)一通用數(shù)據(jù)協(xié)議,底層適配各類數(shù)據(jù)存儲和接口技術(shù),實現(xiàn)數(shù)據(jù)存儲和訪問。相比傳統(tǒng)數(shù)據(jù)交換方案,業(yè)務(wù)無關(guān)性設(shè)計是一種新型數(shù)據(jù)融合方案,不再需要針對特定數(shù)據(jù)對接業(yè)務(wù)場景單獨開發(fā),也不再需要每新增或變更一項業(yè)務(wù),就針對輸入輸出數(shù)據(jù)協(xié)議或不同模型重新編寫程序。

      盡管當(dāng)前通用消息協(xié)議解決了多源異構(gòu)系統(tǒng)場景下數(shù)據(jù)集成問題,但仍然面臨不同業(yè)務(wù)系統(tǒng)來源數(shù)據(jù)屬性或者維度數(shù)據(jù)重復(fù)、標(biāo)準(zhǔn)沖突、粒度不同等業(yè)務(wù)口徑不一致的情況。數(shù)據(jù)共享平臺在設(shè)計上采用業(yè)務(wù)解耦架構(gòu),不同業(yè)務(wù)系統(tǒng)和業(yè)務(wù)事件數(shù)據(jù),都將基于這些統(tǒng)一標(biāo)準(zhǔn)的數(shù)據(jù)底座上,拆分構(gòu)建各自的業(yè)務(wù)事實表,實現(xiàn)了業(yè)務(wù)數(shù)據(jù)標(biāo)準(zhǔn)的解耦,加快了各類業(yè)務(wù)的數(shù)據(jù)匯聚。

      數(shù)據(jù)共享平臺在數(shù)據(jù)服務(wù)配置上充分考慮業(yè)務(wù)無關(guān)性設(shè)計,從數(shù)據(jù)底層庫表、服務(wù)共享內(nèi)容到下游對象映射,都做到面向管理員的自由可配置。數(shù)據(jù)接入和共享接口服務(wù)配置項包括服務(wù)名稱、服務(wù)代碼、服務(wù)描述、綁定數(shù)據(jù)表、字段配置列表(主鍵配置、數(shù)據(jù)類型、字段名等)。系統(tǒng)管理員根據(jù)各用戶單位需求,初始化用戶名、密碼、用戶單位、數(shù)據(jù)服務(wù)項、IP 地址端口號等根據(jù)實際需求進(jìn)行配置實施,從而達(dá)到“即插即用”的目標(biāo)。

      3.3 系統(tǒng)安全設(shè)計

      基于混合云技術(shù)的數(shù)據(jù)共享平臺在數(shù)據(jù)流向和存儲上更加復(fù)雜,非核心可公開的外部數(shù)據(jù)源上傳至公有云留存,核心機密數(shù)據(jù)存儲于私有云數(shù)據(jù)中心,通過DMZ 區(qū)域緩沖實現(xiàn)互聯(lián)網(wǎng)與內(nèi)網(wǎng)的數(shù)據(jù)交互,確保數(shù)據(jù)傳輸?shù)陌踩?。公有云?shù)據(jù)交換中心、私有云DMZ 數(shù)據(jù)交換區(qū)、私有云數(shù)據(jù)中心區(qū)均采用不同的訪問策略,公有云數(shù)據(jù)交換平臺會預(yù)設(shè)置白名單訪問,僅接收前期預(yù)配置的用戶源地址請求,賬戶權(quán)限分配由系統(tǒng)管理員統(tǒng)一分配,各用戶數(shù)據(jù)權(quán)限粒度具體到表,訪問權(quán)限粒度具體到接口、導(dǎo)入,各賬戶根據(jù)權(quán)限上傳/查看相關(guān)數(shù)據(jù)。公有云數(shù)據(jù)交換平臺只允許本地DMZ 區(qū)數(shù)據(jù)交換系統(tǒng)主動發(fā)起請求至公有云端,公有云端返回對應(yīng)數(shù)據(jù);DMZ 區(qū)外網(wǎng)防火墻僅配置源地址轉(zhuǎn)換,互聯(lián)網(wǎng)側(cè)無法直接訪問私有云DMZ 區(qū)數(shù)據(jù)交換系統(tǒng),降低本地受外網(wǎng)攻擊的可能。通過內(nèi)網(wǎng)防火墻控制僅允許內(nèi)網(wǎng)數(shù)據(jù)中心系統(tǒng)主動發(fā)起請求,獲取DMZ 區(qū)前端數(shù)據(jù),不允許DMZ 區(qū)直接對內(nèi)網(wǎng)數(shù)據(jù)中心發(fā)起主動請求,具體訪問控制如圖3所示。

      圖3:數(shù)據(jù)交換平臺訪問控制

      由于機場運行涉及航班安全和旅客出行等大量敏感數(shù)據(jù),因此在系統(tǒng)設(shè)計上除了考慮系統(tǒng)的訪問控制以外,數(shù)據(jù)安全也是系統(tǒng)設(shè)計的重中之重。內(nèi)網(wǎng)數(shù)據(jù)中心側(cè)主要存儲核心數(shù)據(jù),可以實現(xiàn)對某些敏感信息(比如,身份證號、手機號、人像圖片等)通過脫敏規(guī)則進(jìn)行數(shù)據(jù)的變形,實現(xiàn)隱私數(shù)據(jù)的可靠保護(hù)。在配置接口服務(wù)時,系統(tǒng)管理員設(shè)定表字段脫敏要求,數(shù)據(jù)共享過程中消息字段以脫敏數(shù)據(jù)傳輸。數(shù)據(jù)中心數(shù)據(jù)脫敏模塊可采用多種方式對數(shù)據(jù)進(jìn)行脫敏使用,滿足不同業(yè)務(wù)數(shù)據(jù)使用的敏感性需求,比如靜態(tài)脫敏實現(xiàn)數(shù)據(jù)抽取后直接進(jìn)行脫敏處理,后續(xù)數(shù)據(jù)與源數(shù)據(jù)無關(guān),可隨意使用,動態(tài)脫敏在訪問敏感數(shù)據(jù)時進(jìn)行數(shù)據(jù)脫敏,可后臺設(shè)置給不同用戶、角色、權(quán)限的脫敏方案,對于特定用戶獲取密鑰后可實現(xiàn)脫敏恢復(fù)等,滿足不同使用場景對數(shù)據(jù)脫敏的要求。

      4 數(shù)據(jù)共享平臺實現(xiàn)

      平臺通過建立數(shù)據(jù)中臺進(jìn)行數(shù)據(jù)分析和計算,同時也可實現(xiàn)對敏感數(shù)據(jù)的復(fù)雜脫敏算法處理,在數(shù)據(jù)層和服務(wù)層中間建立計算層,部署數(shù)據(jù)加工計算組件,可以快速完成數(shù)據(jù)計算。基于歷史數(shù)據(jù)和實時數(shù)據(jù),可在旅客、航班、物流、交通、資源等主題域進(jìn)行實時分析,執(zhí)行飛機時間預(yù)測、機場資源預(yù)測、安檢人流預(yù)測等數(shù)據(jù)挖掘及匯總展示,實時結(jié)果通過中臺API 服務(wù)形式提供出來,支持各新型業(yè)務(wù),加速企業(yè)從數(shù)據(jù)到業(yè)務(wù)價值的過程。比如,在航班計算主題中,數(shù)據(jù)中臺通過獲取飛機實時發(fā)送的ADS-B 廣播數(shù)據(jù),結(jié)合歷史數(shù)據(jù)精準(zhǔn)計算出航班預(yù)達(dá)時間,并定時校正,可以為駐場單位的各種資源調(diào)配提供數(shù)據(jù)支撐。在旅客數(shù)據(jù)方面,通過數(shù)據(jù)中臺進(jìn)行數(shù)據(jù)脫敏,同時也可為外部系統(tǒng)提供匯總數(shù)據(jù)和大屏集中展示,為機場管理人員提供輔助決策支撐,基于機場不同的數(shù)據(jù)主體進(jìn)行劃分,如圖4所示。

      圖4:機場數(shù)據(jù)中臺主題域劃分

      公有云數(shù)據(jù)交換中心是與外部機構(gòu)進(jìn)行交互的窗口,平臺根據(jù)數(shù)據(jù)交換的情況支持多種方式接入,對于高吞吐大數(shù)據(jù)場景,支持異步MQ 接入,用于數(shù)據(jù)量大,對數(shù)據(jù)接收反饋要求不高的情況;支持常見消息隊列協(xié)議(RocketMQ、Kafka 等),支持系統(tǒng)解耦,可降低數(shù)據(jù)傳輸?shù)男阅軌毫?。對于低延遲強同步數(shù)據(jù)場景,支持同步API 接入,主要為各類信息系統(tǒng)服務(wù),支持常見的REST 協(xié)議和SOAP 協(xié)議,用于數(shù)據(jù)量大、精度要求高的核心生產(chǎn)數(shù)據(jù)傳輸。而對于靈活可配置的數(shù)據(jù)場景,支持基于企業(yè)總線的Web 服務(wù)接入,主要用于實時性低,涉及人工錄入和導(dǎo)入的數(shù)據(jù)。

      基于混合云環(huán)境和機場業(yè)務(wù)場景實際需要,制定云上云下數(shù)據(jù)鏈路策略,實現(xiàn)數(shù)據(jù)鏡像差異化同步。根據(jù)實際需求,針對不同業(yè)務(wù)實時性要求,主要劃分了三種場景:

      (1)實時性業(yè)務(wù),如航班滑行軌跡、保障任務(wù)巡檢等,私有云每隔10 秒發(fā)起數(shù)據(jù)同步,拉取公有云數(shù)據(jù)到本地合并后,立即推送到公有云環(huán)境。

      (2)準(zhǔn)實時性業(yè)務(wù),如旅客行李托運、登機提醒等,私有云每隔1 分鐘發(fā)起數(shù)據(jù)同步,拉取公有云數(shù)據(jù)到本地合并后,定時1 分鐘推送到公有云環(huán)境。

      (3)非實時性業(yè)務(wù),如T+1 航班計劃發(fā)布、機位容量數(shù)據(jù)分析等,私有云在業(yè)務(wù)低峰期發(fā)起數(shù)據(jù)同步,拉取公有云數(shù)據(jù)到本地合并后,同樣在業(yè)務(wù)低峰期推送到公有云環(huán)境。

      5 結(jié)束語

      基于混合云技術(shù)的數(shù)據(jù)共享平臺的搭建,既解決了樞紐機場跨地區(qū)、跨資源數(shù)據(jù)共享交換的結(jié)構(gòu)性問題,又保證了航班、旅客等核心業(yè)務(wù)數(shù)據(jù)的安全性,實現(xiàn)了樞紐機場數(shù)據(jù)的匯聚、共享,打破了數(shù)據(jù)壁壘,能夠充分發(fā)揮數(shù)據(jù)資產(chǎn)應(yīng)有的價值。

      猜你喜歡
      脫敏數(shù)據(jù)中心機場
      機場罷工
      酒泉云計算大數(shù)據(jù)中心
      激光聯(lián)合脫敏劑治療牙本質(zhì)過敏癥
      如何避免GSM-R無線通信系統(tǒng)對機場電磁干擾
      過敏體質(zhì)與脫敏治療
      民航綠色云數(shù)據(jù)中心PUE控制
      電子測試(2018年11期)2018-06-26 05:56:24
      面部識別使機場安檢提速
      讓青春脫敏
      幸福(2017年18期)2018-01-03 06:34:42
      最有創(chuàng)意的機場
      基于云計算的交通運輸數(shù)據(jù)中心實現(xiàn)與應(yīng)用
      宜黄县| 霸州市| 横山县| 星子县| 兴仁县| 咸宁市| 康乐县| 循化| 盖州市| 宁波市| 邳州市| 虎林市| 赞皇县| 大名县| 广昌县| 新晃| 祁东县| 遂川县| 鹤壁市| 盘山县| 孝感市| 河北省| 三江| 师宗县| 金溪县| 通州市| 方城县| 龙江县| 四川省| 珲春市| 兖州市| 黄陵县| 华亭县| 温州市| 涞水县| 芜湖市| 江永县| 东乌珠穆沁旗| 工布江达县| 筠连县| 大渡口区|