基于大數(shù)據(jù)的數(shù)據(jù)管理及應(yīng)用研究

劉洪霞

摘 要：計算機互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展使社會很多領(lǐng)域都發(fā)生了巨大的變革，并且伴隨著這種發(fā)展各行業(yè)的數(shù)據(jù)信息的數(shù)量和規(guī)模都在與日俱增，尤其是基于互聯(lián)網(wǎng)技術(shù)而發(fā)展的物聯(lián)網(wǎng)、云計算以及社交網(wǎng)絡(luò)等領(lǐng)域的數(shù)據(jù)信息的種類以及規(guī)模正在以令人驚異的速度增長，這些龐大的數(shù)據(jù)代表著大數(shù)據(jù)時代來臨。而大數(shù)據(jù)時代的到來不僅為生產(chǎn)生活提供了便利，同時也對社會各領(lǐng)域的發(fā)展提出了新的挑戰(zhàn)，如何更好的利用大數(shù)據(jù)是當(dāng)前社會亟待解決的問題。因此，對大數(shù)據(jù)技術(shù)進行分析研究，闡述大數(shù)據(jù)管理技術(shù)的內(nèi)涵與大數(shù)據(jù)處理的框架，分析大數(shù)據(jù)在數(shù)據(jù)管理中的應(yīng)用前景十分重要，對大數(shù)據(jù)的應(yīng)用實踐有重要的促進作用。

關(guān)鍵詞：數(shù)據(jù)信息 大數(shù)據(jù)技術(shù) 數(shù)據(jù)管理 應(yīng)用分析

一、大數(shù)據(jù)技術(shù)基本概述

1、大數(shù)據(jù)的內(nèi)涵

大數(shù)據(jù)是從英文big data直譯過來的，大數(shù)據(jù)中的“大”指的是數(shù)量巨大，因此，大數(shù)據(jù)實際上就是指巨量資料。大數(shù)據(jù)中的數(shù)據(jù)信息量十分巨大，大到甚至不能以GB或者TB來計算，而必須以儲存空間更大的PB、EB甚至是ZB來計算?？偨Y(jié)起來，大數(shù)據(jù)有四個特點，一般也被簡稱為“4V”特點，分別是：（1）數(shù)據(jù)量大（Volume）。只能用PB以上單位進行計算；（2）類型繁多（Variety）。信息種類多種多樣，幾乎涵蓋所有學(xué)科領(lǐng)域的數(shù)據(jù)信息；（3）價值密度較低（Value）。主要是因為大數(shù)據(jù)并不是單個的、抽樣的信息，而是全面的全部的信息，因此數(shù)據(jù)信息并沒有經(jīng)過“提煉”，龐大的數(shù)據(jù)信息中可能包含無用信息；（4）速度快、時效高（Velocity）。大數(shù)據(jù)的主要特點就是信息量十分龐大，因此必須采用特殊的技術(shù)架構(gòu)和路線，提高信息提取速度，這也是大數(shù)據(jù)和傳統(tǒng)數(shù)據(jù)最大區(qū)別。

2、大數(shù)據(jù)發(fā)展特點

大數(shù)據(jù)的特點隨著社會進步和技術(shù)發(fā)展會出現(xiàn)新的變化，目前，大數(shù)據(jù)的新型特點有以下幾個：第一，規(guī)?；?。大數(shù)據(jù)的規(guī)模指標(biāo)具有多變性，一般來說，單個的數(shù)據(jù)集的規(guī)模可能是幾十TB，也可能是多數(shù)PB。也就是說，如果要儲存1PB的數(shù)據(jù)信息，需要一萬臺裝置為100GB硬盤的個人電腦。并且在使用計算機互聯(lián)網(wǎng)的過程中還會產(chǎn)生信息的數(shù)據(jù)信息。第二，多樣化。大數(shù)據(jù)的多樣化主要是指數(shù)據(jù)的來源比較多樣化，互聯(lián)網(wǎng)搜索、移動通訊、社交網(wǎng)絡(luò)等都會產(chǎn)生新的數(shù)據(jù)。還有安裝在飛機、火車等工具上的傳感器也會產(chǎn)生新的數(shù)據(jù)。最后，高速化。主要是指數(shù)據(jù)創(chuàng)建和傳輸?shù)乃俣仍诟咚倬W(wǎng)絡(luò)中的速度十分迅捷。

二、基于大數(shù)據(jù)的數(shù)據(jù)管理分析

1、大數(shù)據(jù)管理技術(shù)的內(nèi)涵

數(shù)據(jù)管理是借助計算機等設(shè)備對數(shù)據(jù)進行采集、存儲、處理以及應(yīng)用的過程。而大數(shù)據(jù)管理技術(shù)是在數(shù)據(jù)管理的基礎(chǔ)上應(yīng)用大數(shù)據(jù)技術(shù)來實現(xiàn)對巨量資料信息的分析、處理和應(yīng)用過程。主要目的是為了能夠存儲日益增長的大數(shù)據(jù)，然后為大數(shù)據(jù)提供強擴展性以及高可靠性的數(shù)據(jù)存儲、提取訪問以及管理的解決方案。目前，經(jīng)常使用的大數(shù)據(jù)管理技術(shù)包括多級緩存、容錯機制、分布式數(shù)據(jù)存儲以及負(fù)載均衡等。大數(shù)據(jù)的大使數(shù)據(jù)管理不能使用傳統(tǒng)方法進行儲存和管理，因此，相關(guān)的研究人員和工作人員必須創(chuàng)新數(shù)據(jù)管理方式，更新數(shù)據(jù)管理觀念，突破二維數(shù)據(jù)的同時，樹立高維數(shù)據(jù)管理理念，才能有效利于大數(shù)據(jù)技術(shù)實現(xiàn)數(shù)據(jù)管理方式的創(chuàng)新，為數(shù)據(jù)信息提供新的儲存、訪問方式。

2、大數(shù)據(jù)管理對社會的影響分析

大數(shù)據(jù)對社會的影響不僅表現(xiàn)在經(jīng)濟領(lǐng)域，在政治、文化等領(lǐng)域也有深遠(yuǎn)影響。大數(shù)據(jù)對數(shù)據(jù)管理最重要的影響就是開啟了“數(shù)”管理模式，幫助培養(yǎng)了人們在社會各領(lǐng)域中對數(shù)據(jù)進行有效管理的思想，現(xiàn)階段對信息管理專家的需求在不斷增加就證明了這一點。“數(shù)”管理模式也是當(dāng)今“大社會”的體現(xiàn)，現(xiàn)在大數(shù)據(jù)管理技術(shù)對很多傳統(tǒng)行業(yè)都有重構(gòu)的影響，使數(shù)據(jù)管理方法和手段成為公司企業(yè)管理的主要手段。

3、大數(shù)據(jù)管理的發(fā)展前景分析

根據(jù)相關(guān)的調(diào)查研究發(fā)現(xiàn)，在人們廣泛關(guān)注的大數(shù)據(jù)技術(shù)中，排名靠前的分別是：大數(shù)據(jù)分析、云數(shù)據(jù)庫、Hadoop、內(nèi)存數(shù)據(jù)庫以及數(shù)據(jù)安全。根據(jù)這項調(diào)查結(jié)果顯示更受人們關(guān)注的大數(shù)據(jù)技術(shù)已經(jīng)從僅有的Hadoop轉(zhuǎn)變?yōu)榇髷?shù)據(jù)分析。這表明大數(shù)據(jù)技術(shù)越來越被人們了解和認(rèn)識，大數(shù)據(jù)技術(shù)擁有較為廣闊的發(fā)展前景。另外，大數(shù)據(jù)分析中更受人們關(guān)注的是實時分析、豐富的挖掘模型以及可視化界面。

雖然大數(shù)據(jù)技術(shù)擁有良好的發(fā)展前景，但是目前的大數(shù)據(jù)領(lǐng)域還缺乏專業(yè)水平較高的人才，這就需要相關(guān)企業(yè)和高校進行聯(lián)合，為大數(shù)據(jù)管理技術(shù)提供優(yōu)質(zhì)的綜合型人才，推動大數(shù)據(jù)技術(shù)的進一步發(fā)展。

三、基于大數(shù)據(jù)的數(shù)據(jù)管理應(yīng)用分析

大數(shù)據(jù)管理技術(shù)在很多領(lǐng)域都得到了有效應(yīng)用，在對大數(shù)據(jù)管理技術(shù)進行應(yīng)用時，一定要注意將大數(shù)據(jù)技術(shù)和該領(lǐng)域的實際情況進行結(jié)合，做到因地制宜、因時制宜地應(yīng)用大數(shù)據(jù)管理技術(shù)，這樣才能保證充分發(fā)揮大數(shù)據(jù)管理的便利性，提高該領(lǐng)域的數(shù)據(jù)信息管理水平。對大數(shù)據(jù)管理技術(shù)的應(yīng)用進行研究分析時，主要從以下幾個領(lǐng)域進行分析：

1、大數(shù)據(jù)管理技術(shù)在醫(yī)學(xué)領(lǐng)域的應(yīng)用

在醫(yī)療行業(yè)中，醫(yī)生可以借助大數(shù)據(jù)平臺對病人的病例以及歷史治療方案進行分析，建立私人專屬醫(yī)療數(shù)據(jù)庫。這種數(shù)據(jù)管理的應(yīng)用能夠極大的簡化病人看病過程，并且能夠幫助醫(yī)生及時排除可能會引起病人過敏的藥物，提高看病效率和質(zhì)量。另外，利用大數(shù)據(jù)管理平臺還能夠?qū)︶t(yī)療器械設(shè)備以及藥物進行有效管理。

2、大數(shù)據(jù)管理技術(shù)在交通領(lǐng)域的應(yīng)用

在交通行業(yè)中應(yīng)用大數(shù)據(jù)管理技術(shù)主要體現(xiàn)在兩方面：一方面是方便對交通線路的運行情況，擁堵情況及時采集；另一方面是能夠?qū)崟r路況進行準(zhǔn)確的信息采集，并且還可以對信號燈進行實時合理管控，保證信號燈的正常靈活運行。

3、大數(shù)據(jù)管理在智慧城市中的應(yīng)用

智慧城市指的是利用智能計算技術(shù)對城市重要的關(guān)鍵的基礎(chǔ)設(shè)施進行智能化調(diào)控和安排，確保城市關(guān)鍵基礎(chǔ)設(shè)施的組成更加合理科學(xué)，進而保證城市基礎(chǔ)設(shè)施的服務(wù)更具人性化和高質(zhì)化。大數(shù)據(jù)管理在智慧城市中的應(yīng)用能夠使城市規(guī)劃更加合理有序，而智慧城市的發(fā)展和建設(shè)更是加速了大數(shù)據(jù)時代的到來。

總之，大數(shù)據(jù)管理技術(shù)在社會很多領(lǐng)域都得到了廣泛應(yīng)用，在經(jīng)濟領(lǐng)域中能夠更好的實現(xiàn)對經(jīng)濟風(fēng)險的管控；在教育領(lǐng)域中能夠幫助教師全面掌握每個學(xué)生的信息資料，進而保證做到因材施教，提高教育水平。因此，必須重視大數(shù)據(jù)管理技術(shù)的發(fā)展和創(chuàng)新，才能贏得信息時代數(shù)據(jù)戰(zhàn)的勝利。

四、結(jié)語

綜上所述，大數(shù)據(jù)技術(shù)的發(fā)展十分迅速，而基于大數(shù)據(jù)的數(shù)據(jù)管理已經(jīng)被廣泛應(yīng)用在社會生產(chǎn)生活中的各個領(lǐng)域中，可以說對大數(shù)據(jù)技術(shù)的有效管理是保證大數(shù)據(jù)技術(shù)更好地服務(wù)社會發(fā)展的重要保障。因此，相關(guān)的研究人員必須勇于創(chuàng)新，敢于實踐，開拓大數(shù)據(jù)技術(shù)的應(yīng)用范圍，實現(xiàn)數(shù)據(jù)管理在各領(lǐng)域中的有效應(yīng)用。這樣才有利于大數(shù)據(jù)技術(shù)為人類社會發(fā)展提供便利，同時也能促使大數(shù)據(jù)技術(shù)的進一步發(fā)展。

參考文獻

[1]王金環(huán)，唐明.基于大數(shù)據(jù)的數(shù)據(jù)管理及應(yīng)用研究[J].赤子：上中旬，2016（22）.

[2]張文燚，項連志，王小芳.大數(shù)據(jù)分區(qū)管理模型及其應(yīng)用研究[J].哈爾濱工程大學(xué)學(xué)報，2014（3）：353-360.

[3]劉韻，張遙.大數(shù)據(jù)管理：概念、技術(shù)與挑戰(zhàn)[J].數(shù)碼世界，2016（6）：16-16.endprint