• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      基于云計算的大數(shù)據(jù)處理及關鍵技術

      2019-09-10 07:22:44王永銀
      電子樂園·上旬刊 2019年1期
      關鍵詞:關鍵技術

      王永銀

      摘要:現(xiàn)階段,隨著社會的發(fā)展,科學技術也有了很大的發(fā)展。當今時代,互聯(lián)網(wǎng)網(wǎng)絡的深化發(fā)展、移動通訊設備的普及以及計算機設備的更新?lián)Q代,種種科學技術極大的便利了人們的生活,給人們的生活、出行、娛樂帶來了不一樣的體驗,這些都是互聯(lián)時代“大數(shù)據(jù)”的功勞。通過大數(shù)據(jù)的分析和使用,人們可以在眾多紛繁復雜的信息中找到最需要、最準確的數(shù)據(jù),節(jié)省了大量的時間。但是隨著人們社會生活的逐漸豐富,信息增長的速度也越來越快,信息總量越來越大,因此有必要加強云計算的大數(shù)據(jù)處理技術的研究才能不斷滿足新的時代需求。

      關鍵詞:基于云計算:大數(shù)據(jù)處理;關鍵技術

      引言

      云計算是一種基于互聯(lián)網(wǎng)的新型計算方式。在這種計算方式下計算機按照不同需求通過云平臺實現(xiàn)信息資源共享。這些共享資源有很多種,如應用程序,服務器、存儲器等。在云計算環(huán)境下不需要管理員的干預就可便捷地釋放或配置共享資源。而大數(shù)據(jù)是指規(guī)模龐大的數(shù)據(jù)總和,現(xiàn)有數(shù)據(jù)處理存儲技術已無法快捷地對海量數(shù)據(jù)進行管理,更無法從中整理出具有價值的信息。

      1 云計算概述

      最早提出云計算這一概念的是谷歌公司的首席執(zhí)行官,它是一種全新的計算模式,可為用戶提供付費服務。云計算的典型服務方式有三種,軟件即服務( SaaS)、平臺即服務(PaaS)以及基礎架構即服務( IssS),這三種服務方式也可以說是云計算所具備的主要功能,在諸多領域中得到了應用實施。用戶可對較高層次的云服務進行直接調(diào)用,也可對封裝在較低層次中的服務資源進行調(diào)用,據(jù)此構建定制云服務。如,用戶可從軟件即服務( SaaS)的提供商處,對已有的云服務進行調(diào)用,或是使用平臺即服務( PaaS)對應用進行開發(fā)。云計算是以云平臺作為依托,按照用戶所需的計算資源為他們提供相應的服務,美國國家標準與技術研究院( NIST)依據(jù)部署模式,對云計算平臺進行具體分類,即公有云、私有云和混合云。不同類型的云計算平臺有著自己的特點,如公有云的提供商,可借助互聯(lián)網(wǎng)為用戶提供云服務,而用戶在對公有云中的資源進行使用時,則需要支付一定的費用;私有云是一種特定的云計算解決方案,針對的群體為一些特定的企業(yè)或是用戶,以定制的方式為他們提供云計算服務。通常情況下,用戶可以自行搭建私有云;混合云實質(zhì)上就是公有云和私有云的一種延伸,它的存在主要是為了滿足企業(yè)的某些業(yè)務需求。

      2 大數(shù)據(jù)的安全隱私問題

      2.1 基于保護數(shù)據(jù)隱私的安全計算方案

      當前云服務提供商在數(shù)據(jù)計算安全性和數(shù)據(jù)隱私性方面的保護措施非常有限。本章中提到的基于隱式機制的數(shù)據(jù)存儲方案中是基于代數(shù)中的多項式以及矩陣理論,不涉及數(shù)據(jù)加密,避免了管理密鑰等復雜的數(shù)據(jù)處理過程。但是,如果存儲用戶數(shù)據(jù)的云服務器合謀就會導致用戶數(shù)據(jù)泄露,威脅到用戶數(shù)據(jù)的安全隱私。和顯式的同態(tài)加密機制相比,隱式機制無需密鑰管理,但是也解決不了云服務器合謀導致數(shù)據(jù)泄漏的問題。為此,文本提出了一種基于多個云服務器的數(shù)據(jù)存儲計算方案,經(jīng)過加密的用戶數(shù)據(jù)被分別存儲在多個云服務器中,然后再統(tǒng)一通過一個云服務器進行數(shù)據(jù)計算,最終得到加密的數(shù)據(jù),數(shù)據(jù)被使用之前需要使用者先解密數(shù)據(jù)。這種數(shù)據(jù)存儲計算方案可以顯著降低數(shù)據(jù)存儲計算成本,同時云計算技術的應用能夠顯著提升數(shù)據(jù)的計算處理效率,有效提高用戶數(shù)據(jù)的安全性。此方案的主要優(yōu)勢在于不但能保護數(shù)據(jù)計算結果的安全隱私,還能保證計算條目內(nèi)容,計算條目數(shù)的安全隱私,同時確保計算結果的準確性。

      2.2 數(shù)據(jù)存儲技術

      信息數(shù)據(jù)在進行存儲時的可靠性、安全性以及讀寫時的效率是云計算技術的基礎,利用云計算技術在存儲時,往往采用分布式存儲,將大量的數(shù)據(jù)進行匯總并儲存到集群服務器中。這種存儲技術往往會對數(shù)據(jù)進行備份儲存,利用先進的數(shù)據(jù)加密技術配合冗余存儲能夠確保數(shù)據(jù)的可靠性、安全性。以HDFS為例:HDFS是一種分布式文件存儲系統(tǒng),被廣泛應用在通用硬件中。這一系統(tǒng)具備較高的容錯功能,能夠在廉價設備上實現(xiàn)應用,并且其對數(shù)據(jù)訪問的吞吐量也很大,適合應用在大數(shù)據(jù)集的處理上。HDFS系統(tǒng)可以進一步的實現(xiàn)文件系統(tǒng)中的數(shù)據(jù)流式讀取,在大數(shù)據(jù)處理中,HDFS常被設計成能夠實現(xiàn)平臺間便于遷移的系統(tǒng),這就令大數(shù)據(jù)集的應用更便捷。

      2.3 數(shù)據(jù)管理技術

      對于大數(shù)據(jù)而言,存儲是基礎性工作也是先決條件,但是存儲之后對于大數(shù)據(jù)的另外一個重要工作便是管理,這里的管理分為兩個主要部分,第一個是大數(shù)據(jù)的內(nèi)容管理,另外一個是大數(shù)據(jù)的存儲管理。針對內(nèi)容管理,重點是在于數(shù)據(jù)內(nèi)容的完整性和真實性上,要確保大數(shù)據(jù)是真實的、可靠地,而且是完整的,如此針對大數(shù)據(jù)的分析才是有價值和有意義的;對于大數(shù)據(jù)的存儲而言,要采用科學的、更容易被計算機系統(tǒng)識別的存儲方式和分布方式,以此提升計算機系統(tǒng)軟硬件對于大數(shù)據(jù)內(nèi)容的識別,提高信息資源的使用效率和利用效率。

      2.4 軟硬件環(huán)境的搭建

      本文所提出的算法需要通過搭建軟硬件環(huán)境來實現(xiàn)。借助云計算開發(fā)環(huán)境中的hadoop,這是一個開源分布式框架,并采用分布式編程模型MapReduce。在搭建前,需要先行安裝Linux系統(tǒng)準備好計算機集群,分別在每臺虛擬機上加裝vim和ssh。隨后對主機名及網(wǎng)絡配置進行修改,主要包括子網(wǎng)掩碼和DNS服務器;對每臺計算機上的etc/hosts/文件進行修改,經(jīng)過修改之后,配置ssh,由此便可實現(xiàn)無需密碼登錄。為對本文提出的分布式密度峰值聚類算法的有效性進行驗證,可通過大規(guī)模高維數(shù)據(jù)性能測試,由測試結果可知,該算法所產(chǎn)生出來的數(shù)據(jù)點副本個數(shù)具有增長緩慢的特點,副本的數(shù)量會逐漸變少,由此使得數(shù)據(jù)點之間距離計算次數(shù)隨之減少,大幅度縮短了程序的執(zhí)行時間。

      結語

      總而言之,加強大數(shù)據(jù)處理技術方面的研究是現(xiàn)如今互聯(lián)網(wǎng)技術飛速發(fā)展下的必然要求,也是人類社會的前進方向,此外應該進一步從數(shù)據(jù)存儲技術、數(shù)據(jù)管理技術和數(shù)據(jù)分析技術三個方面進行鞏固和提升,基于云計算技術做好大數(shù)據(jù)處理技術的基礎性研究工作,實現(xiàn)數(shù)據(jù)處理技術效率的提升,為開啟信息數(shù)據(jù)處理的智能化時代提供技術支撐。但由于本人時間以及自身工作經(jīng)驗有限,并未能針對計算機大數(shù)據(jù)處理技術展開更為深入的研究,因此仍需要更多計算機信息領域的專業(yè)人士進行深入研究和挖掘,本文僅做拋磚引玉之用。

      參考文獻

      [1]孫海軍.基于云計算的大數(shù)據(jù)處理技術[J]信息安全與技術,2014(11):61-63.

      [2]龔旭.基于云計算的大數(shù)據(jù)處理技術探討[J]電子技術與軟件工程,2015(10):198-198.

      猜你喜歡
      關鍵技術
      牛繁育與健康養(yǎng)殖關鍵技術
      小麥春季化控要掌握關鍵技術
      棉花追肥關鍵技術
      成功育雛的關鍵技術
      老蘋果園更新改造的關鍵技術
      落葉果樹(2021年6期)2021-02-12 01:29:26
      跨座式單軌與中低速磁浮信號系統(tǒng)的關鍵技術
      杉木萌芽更新關鍵技術
      overlay SDN實現(xiàn)異構兼容的關鍵技術
      電信科學(2016年11期)2016-11-23 05:07:56
      NFV關鍵技術與應用場景
      電信科學(2016年9期)2016-06-15 20:27:28
      ETCS DMI軟件設計方法和關鍵技術
      鹤岗市| 资溪县| 双城市| 武功县| 抚远县| 内黄县| 仙游县| 灵台县| 峨眉山市| 平原县| 青河县| 南昌市| 纳雍县| 喀喇沁旗| 哈尔滨市| 定南县| 兴宁市| 昭通市| 吴忠市| 香港| 沙洋县| 姚安县| 台湾省| 屏东市| 汽车| 黔西| 乌什县| 三都| 日喀则市| 洛隆县| 清涧县| 同德县| 元谋县| 凭祥市| 沅江市| 宁津县| 正蓝旗| 五常市| 安福县| 大同市| 黄陵县|