• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      云計算環(huán)境下大規(guī)模圖數(shù)據(jù)處理技術(shù)的相關(guān)思考

      2022-11-25 17:40:56
      科技創(chuàng)新與應(yīng)用 2022年11期
      關(guān)鍵詞:計算環(huán)境子圖數(shù)據(jù)處理

      劉 磊

      (連云港市人力資源和社會保障局,江蘇 連云港 222006)

      圖數(shù)據(jù)是計算機科學中最為常見的一種抽象數(shù)據(jù)類型,內(nèi)容復雜,表述能力強,而且需要處理的元素多,難度高。尤其是在現(xiàn)如今的大數(shù)據(jù)時代,各種圖數(shù)據(jù)層出不窮,其中包含眾多無效數(shù)據(jù),形成了大規(guī)模的圖數(shù)據(jù)資源。為了高效、準確地進行圖數(shù)據(jù)處理,必須對圖數(shù)據(jù)處理技術(shù)進行創(chuàng)新與優(yōu)化。云計算環(huán)境下,給圖數(shù)據(jù)處理技術(shù)的應(yīng)用提供了更多的便利條件,同時帶來了技術(shù)的優(yōu)化,很大程度上提高了處理技術(shù)應(yīng)用有效性,在大規(guī)模圖數(shù)據(jù)處理中發(fā)揮出更好的作用。

      1 云計算及圖數(shù)據(jù)

      “云計算”又稱“網(wǎng)格計算”,是對復雜計算過程進行分布式分解,解決任務(wù)分發(fā),再將計算結(jié)果進行合并,得到最終的計算結(jié)果。云計算與傳統(tǒng)的網(wǎng)絡(luò)應(yīng)用模式進行比較,應(yīng)用優(yōu)勢包括虛擬化技術(shù)、動態(tài)可擴展、靈活性高、可靠性高、按需部署、可擴展性及性價比高等優(yōu)勢與特點[1]。云計算可以提供基礎(chǔ)設(shè)施即服務(wù)、平臺即服務(wù)以及軟件即服務(wù)三類服務(wù)類型,通過體系結(jié)構(gòu)、資源監(jiān)控、自動化部署等關(guān)鍵技術(shù)實現(xiàn)計算過程。云計算的框架以及應(yīng)用過程需要依托先進互聯(lián)網(wǎng)技術(shù),形式眾多,主要包括網(wǎng)絡(luò)服務(wù)、平臺服務(wù)、互聯(lián)網(wǎng)整合、商業(yè)服務(wù)以及管理服務(wù)提供商等。

      “圖數(shù)據(jù)”一般代表的是圖形數(shù)據(jù),包括圖元、圖段,其中圖元包括點、線、面、字符、符號等,圖段由多個圖元構(gòu)成,例如房屋門、窗等。隨著互聯(lián)網(wǎng)的快速發(fā)展,圖數(shù)據(jù)規(guī)模越來越大,圖數(shù)據(jù)處理的難度也隨之升高,對圖數(shù)據(jù)處理技術(shù)應(yīng)用效率與質(zhì)量均提出新的要求,以此推動圖數(shù)據(jù)處理技術(shù)的優(yōu)化。在云計算環(huán)境下,為大規(guī)模圖數(shù)據(jù)處理技術(shù)帶來了技術(shù)應(yīng)用優(yōu)勢,使其可以提高處理效率,對于大規(guī)模圖數(shù)據(jù)處理有重要意義。

      2 云計算環(huán)境下大規(guī)模圖數(shù)據(jù)技術(shù)優(yōu)勢

      2.1 大規(guī)模圖數(shù)據(jù)存儲、維護

      大規(guī)模圖數(shù)據(jù)對存儲空間的要求非常多,其中最重要的一點就是需要一個很大的存儲空間,達到GB級別,甚至PB級別,數(shù)據(jù)量非常大。較大的數(shù)據(jù)占用空間,就給大規(guī)模圖數(shù)據(jù)處理造成了困難,因為想要處理大規(guī)模的圖數(shù)據(jù),首先要有足夠大的空間進行數(shù)據(jù)存儲,然后才能對可查找和調(diào)用的圖數(shù)據(jù)進行處理,獲得其中有效的信息,將無效圖數(shù)據(jù)刪除等[2]。大規(guī)模圖數(shù)據(jù)所需要的存儲空間是傳統(tǒng)文件的數(shù)倍、幾十倍乃至上百倍,對數(shù)據(jù)庫內(nèi)存的要求遠遠大于傳統(tǒng)文件,使得大規(guī)模圖數(shù)據(jù)在傳統(tǒng)文件數(shù)據(jù)庫中無法被直接運用。云計算環(huán)境下,大規(guī)模圖數(shù)據(jù)技術(shù)的應(yīng)用,可以利用云計算的分布式存儲形式,將大規(guī)模的圖數(shù)據(jù)存儲起來,根據(jù)圖數(shù)據(jù)處理的實際情況,將目前需要使用的圖數(shù)據(jù)集中起來并進行統(tǒng)一存儲,對暫時不需要的圖數(shù)據(jù)可以進行額外存儲,從而使得對大規(guī)模圖數(shù)據(jù)進行存儲的時候不需要很大的內(nèi)存空間,即可實現(xiàn)圖數(shù)據(jù)使用和處理。另外,在云技術(shù)環(huán)境下對大規(guī)模圖數(shù)據(jù)進行處理的時候,進行圖數(shù)據(jù)維護過程中可以實現(xiàn)一致性與統(tǒng)一性,對大規(guī)模圖數(shù)據(jù)統(tǒng)一備份并保存在云端,避免電腦系統(tǒng)故障造成圖數(shù)據(jù)丟失、損壞,保證了圖數(shù)據(jù)的安全性。

      2.2 大規(guī)模圖數(shù)據(jù)處理耦合性

      大規(guī)模圖數(shù)據(jù)之間存在著大量互相關(guān)聯(lián)的內(nèi)部信息,且圖數(shù)據(jù)的計算也存在相互關(guān)聯(lián)關(guān)系。而利用傳統(tǒng)的圖數(shù)據(jù)處理技術(shù)進行大規(guī)模圖數(shù)據(jù)計算時,只能進行低運算狀態(tài),對于圖數(shù)據(jù)內(nèi)存訪問表現(xiàn)比較低級,使得大規(guī)模圖數(shù)據(jù)處理具有一定局限性。云計算環(huán)境下,大規(guī)模圖數(shù)據(jù)處理技術(shù)應(yīng)運而生,將大規(guī)模圖數(shù)據(jù)的計算準確性有效提升,同時也獲得更高的可行性[3]。云計算環(huán)境下大規(guī)模圖數(shù)據(jù)處理技術(shù)實際運用時,可以準確計算任何一個頂點之間的圖數(shù)據(jù),并通過分割圖數(shù)據(jù)將其轉(zhuǎn)變?yōu)橥耆毩⒌淖訄D數(shù)據(jù),再進行處理分析,提高了圖數(shù)據(jù)處理效率。在對大規(guī)模圖數(shù)據(jù)進行處理時,可以通過云計算圖數(shù)據(jù)處理模式來實現(xiàn),在分割大規(guī)模圖數(shù)據(jù)時將子圖數(shù)據(jù)之間的耦合性盡量降低。同時可以在處理大規(guī)模圖數(shù)據(jù)時將任務(wù)調(diào)度開銷減少,利用圖數(shù)據(jù)處理模式減少因為迭代過程中對任務(wù)的反復啟動而出現(xiàn)的開銷。云計算環(huán)境下大規(guī)模圖數(shù)據(jù)處理技術(shù)的應(yīng)用,實現(xiàn)了對圖數(shù)據(jù)的單項信息逐條處理與計算,再通過分割圖數(shù)據(jù),獲得子圖數(shù)據(jù)進行有效信息提取和處理,提高圖數(shù)據(jù)處理效率,節(jié)省處理時間,獲得更高的效益。

      2.3 大規(guī)模圖數(shù)據(jù)處理可靠性

      大規(guī)模圖數(shù)據(jù)處理技術(shù)在應(yīng)用的過程中,技術(shù)人員需要花費很長時間去處理圖數(shù)據(jù)的計算任務(wù),導致圖數(shù)據(jù)處理效率低下,并降低了云計算節(jié)點對大規(guī)模圖數(shù)據(jù)處理的可靠性[4]。以處理PageRsnK的過程為例,在進行圖數(shù)據(jù)計算時一般需要迭代處理工序30次左右,計算期間資源消耗以及時間消耗都非常大。在云計算環(huán)境下,可以借助云計算的技術(shù)應(yīng)用優(yōu)勢以及計算框架、模式,對圖數(shù)據(jù)計算過程中遇到的各種問題進行全面解決,創(chuàng)新圖數(shù)據(jù)處理技術(shù)應(yīng)用方案,提高處理效率。普通計算機可以組成云計算節(jié)點,在對大規(guī)模圖數(shù)據(jù)進行計算和處理期間,如果個別計算機出現(xiàn)運行故障,就會形成節(jié)點故障、癱瘓,對云節(jié)點使用的可靠性造成嚴重影響。云計算環(huán)境下大規(guī)模圖數(shù)據(jù)處理技術(shù)的優(yōu)化與應(yīng)用,在遇到云計算節(jié)點中斷時,可以從斷點處或者其他合適位置對圖數(shù)據(jù)的計算處理繼續(xù)執(zhí)行,解決了云計算節(jié)點發(fā)生故障后圖數(shù)據(jù)處理中斷的問題[5]。同時,以往圖數(shù)據(jù)處理過錯中容易在計算任務(wù)間出現(xiàn)強耦合性干擾,子圖數(shù)據(jù)計算任務(wù)失敗會直接關(guān)聯(lián)其他正在運行的任務(wù)。云計算大規(guī)模圖數(shù)據(jù)處理技術(shù)的應(yīng)用實踐,則可通過容錯管理機制的設(shè)定,將子圖數(shù)據(jù)之間的強耦合性問題減少,使得云計算節(jié)點可靠性提升。

      2.4 圖數(shù)據(jù)處理靈活性高

      在云計算環(huán)境下,對大規(guī)模圖數(shù)據(jù)進行處理的過程中,利用云計算的技術(shù)原理以及技術(shù)優(yōu)勢,在實現(xiàn)對圖數(shù)據(jù)快速存儲的基礎(chǔ)上,還可以對圖數(shù)據(jù)進行快速處理,在獲取圖數(shù)據(jù)的同時,在短時間內(nèi)從大規(guī)模圖數(shù)據(jù)中獲得有效的數(shù)據(jù)信息,提取關(guān)鍵信息。另外,在云計算技術(shù)支撐下,大規(guī)模圖數(shù)據(jù)的處理靈活性得到提高,針對不同的大規(guī)模圖數(shù)據(jù)可以采取與之相對應(yīng)的處理方式,數(shù)據(jù)量彈性提高,在普通計算機的使用下即可完成復雜、大量的圖數(shù)據(jù)處理。與此同時,對大規(guī)模圖數(shù)據(jù)進行處理時,還可以根據(jù)實際需求對圖數(shù)據(jù)規(guī)范進行擴大,擴展數(shù)據(jù)存儲能力,使得計算機在處理大規(guī)模圖數(shù)據(jù)過程中的消耗降低。

      2.5 提升圖數(shù)據(jù)處理能力

      云計算環(huán)境下進行大規(guī)模圖數(shù)據(jù)的處理,可以實現(xiàn)圖數(shù)據(jù)的平行處理,借助圖數(shù)據(jù)分割模式對大規(guī)模圖數(shù)據(jù)進行簡化處理,將較大的圖數(shù)據(jù)根據(jù)一定規(guī)則分割為若干個較小的圖數(shù)據(jù),一方面可以方便云空間、計算機內(nèi)存對圖數(shù)據(jù)的存儲,一方面降低了圖數(shù)據(jù)處理過程中的計算難度,提升了計算機對圖數(shù)據(jù)的處理能力,提高了處理效率,并且為更大規(guī)模的圖數(shù)據(jù)處理提供了便捷條件。

      3 云計算環(huán)境下大規(guī)模圖數(shù)據(jù)處理技術(shù)應(yīng)用

      3.1 大規(guī)模圖數(shù)據(jù)存儲技術(shù)應(yīng)用

      云計算環(huán)境下大規(guī)模圖數(shù)據(jù)處理技術(shù)應(yīng)用獲得良好發(fā)展,其中大規(guī)模圖數(shù)據(jù)存儲技術(shù)應(yīng)用解決了大規(guī)模圖數(shù)據(jù)傳統(tǒng)管理模式下存儲空間不足問題,并且可以獲得更加安全的存儲效果。大規(guī)模數(shù)據(jù)包括單圖數(shù)據(jù)、超圖數(shù)據(jù)2種模型,在對圖數(shù)據(jù)進行處理的過程中,可以通過有向圖方式,或者無向圖方式進行處理應(yīng)用。云計算環(huán)境下大規(guī)模圖數(shù)據(jù)存儲技術(shù)可以將圖數(shù)據(jù)以分布式文件、分布式數(shù)據(jù)庫2種形式對大規(guī)模圖數(shù)據(jù)進行存儲[6]。GFS以及HDFS是分布式文件系統(tǒng)的主要代表形式,可以將鄰接表、矩陣等不同結(jié)構(gòu)的圖數(shù)據(jù)進行直接存儲。Big、Hbase是分布式數(shù)據(jù)庫存儲形式的代表,可以通過數(shù)據(jù)庫模型將大規(guī)模圖數(shù)據(jù)分為文檔存儲和KV存數(shù)模型等。文檔存儲具有較強的靈活性,以及較高的便捷度,在非結(jié)構(gòu)化圖數(shù)據(jù)存儲中比較適用。文本中涉及的大規(guī)模圖數(shù)據(jù)存儲則適用于KV存儲模型,主要特點是模式簡單,可以進行海量存儲。以鄰接表形式圖數(shù)據(jù)的存儲為例,通過KV存儲模型對其存儲時,可以將圖數(shù)據(jù)源頂點設(shè)置為Key,將點的值與出邊信息以Value為設(shè)定,使得圖數(shù)據(jù)的合并處理、遷移處理都更加容易,對原有空間局部性進行提升,并使得圖數(shù)據(jù)讀取和查詢期間的次數(shù)減少,提高圖數(shù)據(jù)整體處理效率。

      3.2 大規(guī)模圖數(shù)據(jù)計算技術(shù)應(yīng)用

      云計算環(huán)境下大規(guī)模圖數(shù)據(jù)處理技術(shù)應(yīng)用中,計算技術(shù)應(yīng)用最為廣泛,可以利用的云計算包括Map Reduce模型、BSP模型2種類別,使得大規(guī)模圖數(shù)據(jù)計算效率與質(zhì)量顯著提升[7]。第一,在對大規(guī)模圖數(shù)據(jù)進行計算時,應(yīng)用Map Reduce模型,可以將計算過程劃分為Map與Reduce兩個獨立任務(wù)實現(xiàn),對大規(guī)模圖數(shù)據(jù)的計算處理也被劃分為2個階段。其中Map計算階段可以將任務(wù)分配的數(shù)據(jù)進行逐一計算,并將key值輸出。key值得到確認后會在相對應(yīng)的Reduce任務(wù)中進行數(shù)據(jù)映射。Reduce階段則會在任務(wù)階段接收到由Map傳遞的數(shù)據(jù)處理請求,并對圖數(shù)據(jù)進行聚集,從中得到輸出結(jié)果,并在分布式文件系統(tǒng)中存儲。應(yīng)用BSP模型進行大規(guī)模圖數(shù)據(jù)計算時,可以避免死鎖、圖數(shù)據(jù)競爭問題,是一種以消息通信為基礎(chǔ)的數(shù)據(jù)計算、執(zhí)行模式。云計算環(huán)境下大規(guī)模圖數(shù)據(jù)計算的主要技術(shù)應(yīng)用就是Map Reduce模型、BSP模型,適用范圍稍有不同。兩種模式之間存在互補關(guān)系,在迭代處理的執(zhí)行效率上BSP模式的優(yōu)勢更大。

      3.3 大規(guī)模圖數(shù)據(jù)分割技術(shù)應(yīng)用

      云計算環(huán)境下大規(guī)模圖數(shù)據(jù)處理一般需要進行圖數(shù)據(jù)分割,以此實現(xiàn)圖數(shù)據(jù)的分布式存儲并行計算。大規(guī)模圖數(shù)據(jù)的分割及處理都需要借助云計算分布式模式,并且利用圖數(shù)據(jù)之間的連通性,降低子圖之間的耦合性,以此提高圖數(shù)據(jù)處理效率。子圖數(shù)據(jù)的耦合性降低主要通過分割技術(shù)實現(xiàn),首先需要在大規(guī)模圖數(shù)據(jù)基礎(chǔ)上,對其進行有邏輯、結(jié)構(gòu)完整的大圖分割,并將分割后的圖數(shù)據(jù)在云計算分布式存儲系統(tǒng)中的各個節(jié)點進行分別放置[8]。其次,啟動與所有子圖數(shù)據(jù)對應(yīng)的分布式計算任務(wù),完成大規(guī)模圖數(shù)據(jù)的分布式計算。在獲得處理結(jié)果并完成輸出以后,大圖數(shù)據(jù)的處理已經(jīng)完成。在對大規(guī)模圖數(shù)據(jù)進行處理的過程中,圖數(shù)據(jù)分割是一個重要環(huán)節(jié),分割效果理想,是保證大規(guī)模圖數(shù)據(jù)處理成功的前提保障與關(guān)鍵所在。因此在對大規(guī)模圖數(shù)據(jù)進行分割處理時,需要對圖數(shù)據(jù)內(nèi)部的連通性以及子圖之間的規(guī)模均衡情況進行全面考慮。一方面需要減少子圖之間的連通性,使得云計算分布式并行處理的應(yīng)用得到提升;一方面還需要確保子圖規(guī)模均衡,減少因為偏斜而影響圖數(shù)據(jù)計算任務(wù)的同步性,降低處理效率與質(zhì)量。

      3.4 大規(guī)模圖數(shù)據(jù)查詢技術(shù)應(yīng)用

      云計算環(huán)境下,對大規(guī)模圖數(shù)據(jù)進行查詢的過程中,需要使用到的模式主要包括遍歷模式,其又分為主動遍歷模式與被動遍歷模式。與傳統(tǒng)的大規(guī)模圖數(shù)據(jù)查詢技術(shù)部相比,圖數(shù)據(jù)遍歷查詢技術(shù)的應(yīng)用普遍適用性更強,且可以不對處理函數(shù)進行調(diào)用就實現(xiàn)大規(guī)模圖數(shù)據(jù)的查詢[9]。從本質(zhì)上看,云計算環(huán)境下大規(guī)模圖數(shù)據(jù)的查詢技術(shù)應(yīng)用,無論是主動遍歷模式與被動遍歷模式,其針對的圖數(shù)據(jù)查詢對象都是圖頂點,也就是將圖頂點設(shè)定為圖數(shù)據(jù)處理的核心。分開來看,對大規(guī)模圖數(shù)據(jù)使用主動遍歷模式進行查詢處理的過程中,主要優(yōu)勢是對絕大多數(shù)圖數(shù)據(jù)均適用,適用范圍廣,適用性強。但是主動遍歷圖數(shù)據(jù)查詢模式在實際應(yīng)用時,在一些特定應(yīng)用環(huán)節(jié)中,可能出現(xiàn)資源浪費問題。而對大規(guī)模圖數(shù)據(jù)進行查詢處理時,應(yīng)用被動遍歷模式主要優(yōu)勢在于不需要對處理函數(shù)進行調(diào)用,可以將圖頂點調(diào)用處理過程中不必要的開銷去除,節(jié)省自愿。主動遍歷查詢模式與被動遍歷查詢模式在功能上相輔相成,并且形成了模式互補,可以根據(jù)大規(guī)模圖數(shù)據(jù)查詢的具體需求進行合理選擇,提高查詢效率的同時,盡可能減少圖數(shù)據(jù)查詢過程中的開銷。

      3.5 大規(guī)模圖數(shù)據(jù)處理平臺

      在云計算環(huán)境下,對大規(guī)模圖數(shù)據(jù)進行處理的過程中可以借助虛擬化技術(shù)為大規(guī)模圖數(shù)據(jù)處理創(chuàng)造一個規(guī)模龐大、消耗低的處理平臺,即將大規(guī)模圖數(shù)據(jù)的存儲、計算、應(yīng)用、網(wǎng)絡(luò)等資源變?yōu)樘摂M化實體,將抽象閑散的數(shù)據(jù)處理資源轉(zhuǎn)變?yōu)橥耆毩⒌膫€體進行應(yīng)用。首先可以對圖數(shù)據(jù)進行參數(shù)化配置,定制相應(yīng)的處理平臺。然后對數(shù)據(jù)處理后的存儲與計算自愿進行配置,將計算流程與資源配置文件寫入,分配計算流程。最后將部署的工具借助網(wǎng)絡(luò)接入計算節(jié)點,進入計算流程,對大規(guī)模圖數(shù)據(jù)進行相應(yīng)的處理。在大規(guī)模圖數(shù)據(jù)處理平臺上,存儲資源與計算資源的分配與執(zhí)行均通過代碼實現(xiàn),啟動相關(guān)的部署計算節(jié)點后,通過網(wǎng)絡(luò)向不同的計算節(jié)點發(fā)送圖數(shù)據(jù)處理指令,以此實現(xiàn)對圖數(shù)據(jù)處理的工作調(diào)度以及流程進展,為大規(guī)模圖數(shù)據(jù)處理提供了一個可執(zhí)行、簡單、消耗小的處理平臺。

      4 結(jié)束語

      總而言之,云計算環(huán)境下大規(guī)模圖數(shù)據(jù)處理技術(shù)得到有效優(yōu)化與創(chuàng)新,在圖數(shù)據(jù)存儲與維護、圖數(shù)據(jù)耦合性降低以及圖數(shù)據(jù)處理可靠性方面有明顯優(yōu)勢。同時,云計算背景下大規(guī)模圖數(shù)據(jù)處理技術(shù)的應(yīng)用,在圖數(shù)據(jù)存儲、圖數(shù)據(jù)計算、圖數(shù)據(jù)分割、圖數(shù)據(jù)查詢4個方面的廣泛應(yīng)用,提高了圖數(shù)據(jù)處理效率,并降低了處理開銷,在很大程度上提高了大規(guī)模圖數(shù)據(jù)處理的技術(shù)水平與應(yīng)用效果,推動圖數(shù)據(jù)處理技術(shù)的持續(xù)發(fā)展與進步。

      猜你喜歡
      計算環(huán)境子圖數(shù)據(jù)處理
      云計算環(huán)境下網(wǎng)絡(luò)安全等級保護的實現(xiàn)途徑
      消費電子(2022年7期)2022-10-31 06:17:34
      認知診斷缺失數(shù)據(jù)處理方法的比較:零替換、多重插補與極大似然估計法*
      心理學報(2022年4期)2022-04-12 07:38:02
      ILWT-EEMD數(shù)據(jù)處理的ELM滾動軸承故障診斷
      臨界完全圖Ramsey數(shù)
      大數(shù)據(jù)云計算環(huán)境下的數(shù)據(jù)安全
      電子制作(2017年20期)2017-04-26 06:57:48
      基于頻繁子圖挖掘的數(shù)據(jù)服務(wù)Mashup推薦
      云計算環(huán)境中任務(wù)調(diào)度策略
      基于希爾伯特- 黃變換的去噪法在外測數(shù)據(jù)處理中的應(yīng)用
      不含2K1+K2和C4作為導出子圖的圖的色數(shù)
      基于云計算環(huán)境下的分布存儲關(guān)鍵技術(shù)探討
      河南科技(2014年11期)2014-02-27 14:16:47
      休宁县| 耒阳市| 怀安县| 喀喇沁旗| 连云港市| 县级市| 中卫市| 玉溪市| 三都| 沙河市| 康保县| 鄯善县| 中江县| 元谋县| 大埔区| 南投县| 昌邑市| 闽清县| 湖州市| 南昌县| 睢宁县| 南宫市| 永胜县| 大足县| 枣阳市| 台安县| 兴海县| 盐源县| 枝江市| 武义县| 博湖县| 汝城县| 交城县| 越西县| 昌江| 永州市| 屯留县| 平舆县| 比如县| 大丰市| 盐亭县|