霍福華

摘? 要：隨著信息技術(shù)和計(jì)算機(jī)科技的進(jìn)一步發(fā)展，互聯(lián)網(wǎng)應(yīng)用普及，以往人們忽視的數(shù)據(jù)資源價(jià)值更加凸顯，由此發(fā)展的大數(shù)據(jù)技術(shù)更是將這些海量的數(shù)據(jù)信息資源充分挖掘出來(lái)，實(shí)現(xiàn)數(shù)據(jù)資源轉(zhuǎn)化為經(jīng)濟(jì)來(lái)源，為學(xué)校優(yōu)化管理方式和優(yōu)化課程設(shè)置、為企業(yè)制定生產(chǎn)和發(fā)展決策、為政府制定相關(guān)管理政策等都提供了有效的參考。大數(shù)據(jù)在數(shù)據(jù)處理中，用到的相關(guān)技術(shù)較多，掌握這些技術(shù)應(yīng)用，對(duì)于進(jìn)一步推動(dòng)大數(shù)據(jù)發(fā)展具有重要意義。本文分析了大數(shù)據(jù)的數(shù)據(jù)特點(diǎn)，分析目前大數(shù)據(jù)數(shù)據(jù)處理中的關(guān)鍵技術(shù)，并針對(duì)大數(shù)據(jù)數(shù)據(jù)處理技術(shù)的進(jìn)一步優(yōu)化和應(yīng)用，提出幾點(diǎn)建議。

關(guān)鍵詞：大數(shù)據(jù);數(shù)據(jù)處理;關(guān)鍵技術(shù);應(yīng)用

中圖分類號(hào)：TP399? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

Abstract：with the further development of information technology and computer technology as well as the popularization of the Internet，the value of data resources neglected by people in the past has become more prominent.Big data，which is developed from this，fully excavates these massive data and information resources，realizes the conversion of data resources into economic sources，optimizes management methods and curriculum settings for schools，formulates production and development decisions for enterprises，and provides effective references in making relevant administration policies for the government.Big data involves many related technologies in data processing，so mastering the application of these technologies is of great significance for promoting the development of big data.This paper analyzes the data characteristics of big data，analyzes the existing key technologies in the process of big data， and puts forward some suggestions for the further optimization and application of big data processing technology.

Keywords：big data;data processing;key technology;application

1? ?引言（Introduction）

目前，大數(shù)據(jù)已經(jīng)在人們的生活中普遍應(yīng)用，人們?cè)谙M(fèi)、生產(chǎn)、工作，以及多種領(lǐng)域中都會(huì)留下一定的數(shù)據(jù)信息，為大數(shù)據(jù)提供了充足的數(shù)據(jù)資源，而大數(shù)據(jù)的發(fā)展也在一定程度上便利了人們的生產(chǎn)和生活，強(qiáng)化大數(shù)據(jù)處理技術(shù)應(yīng)用，優(yōu)化大數(shù)據(jù)技術(shù)系統(tǒng)，對(duì)于發(fā)揮大數(shù)據(jù)更大的價(jià)值具有重要意義。

2? 大數(shù)據(jù)的數(shù)據(jù)特點(diǎn)（The data characteristics ofbig data）

就大數(shù)據(jù)中的數(shù)據(jù)總體特點(diǎn)來(lái)看，主要體現(xiàn)在以下幾個(gè)方面：

第一，數(shù)據(jù)的龐大性，大數(shù)據(jù)收集和處理的數(shù)據(jù)是海量的，這些數(shù)據(jù)是動(dòng)態(tài)變化的，在數(shù)據(jù)處理的過(guò)程中還會(huì)不斷增長(zhǎng)和變化，因此，大數(shù)據(jù)處理的數(shù)據(jù)還在不斷擴(kuò)展，數(shù)據(jù)量不斷增長(zhǎng)。大數(shù)據(jù)的數(shù)據(jù)量龐大要求進(jìn)行大數(shù)據(jù)處理和分析的設(shè)備，以及軟件、硬件等自身的春儲(chǔ)存能力和信息處理能力必須要十分強(qiáng)大，才能應(yīng)對(duì)時(shí)刻變化增長(zhǎng)的數(shù)據(jù)[1]。

第二，數(shù)據(jù)的多樣性，大數(shù)據(jù)收集來(lái)的海量數(shù)據(jù)中，數(shù)據(jù)的存在形式可能是多種多樣的，除了一些常規(guī)的數(shù)據(jù)，還包括圖片、文字、視頻等非結(jié)構(gòu)化的數(shù)據(jù)資料，對(duì)于這些資料必須要進(jìn)行有效識(shí)別和處理，才能轉(zhuǎn)化為有價(jià)值的數(shù)據(jù)信息，這需要大數(shù)據(jù)數(shù)據(jù)處理系統(tǒng)進(jìn)一步優(yōu)化系統(tǒng)識(shí)別能力，提升數(shù)據(jù)轉(zhuǎn)化能力。

第三，數(shù)據(jù)的快速性，大數(shù)據(jù)對(duì)于海量數(shù)據(jù)的處理主要是針對(duì)快速變化的數(shù)據(jù)開(kāi)展分析處理的，因此，需要通過(guò)快速的系統(tǒng)處理和計(jì)算快速得出處理結(jié)果，提供有效的信息。

第四，數(shù)據(jù)的準(zhǔn)確性，大數(shù)據(jù)處理的數(shù)據(jù)信息結(jié)果必須要準(zhǔn)確的，包括搜集信息來(lái)源、數(shù)據(jù)儲(chǔ)存和數(shù)據(jù)計(jì)算等，這一系列的過(guò)程都要是準(zhǔn)確無(wú)誤的，才能確保最終的數(shù)據(jù)分子結(jié)果的準(zhǔn)確性。

3? 大數(shù)據(jù)的數(shù)據(jù)處理關(guān)鍵技術(shù)（Key technology ofdata processing for big data）

3.1? ?大數(shù)據(jù)采集技術(shù)

大數(shù)據(jù)進(jìn)行數(shù)據(jù)處理的前提是，大數(shù)據(jù)系統(tǒng)已經(jīng)獲取的大量的數(shù)據(jù)信息，這就需要用到大數(shù)據(jù)的數(shù)據(jù)采集技術(shù)，在大數(shù)據(jù)數(shù)據(jù)采集技術(shù)中，包含了傳感器、射頻識(shí)別技術(shù)、計(jì)算機(jī)轉(zhuǎn)換軟件技術(shù)等的應(yīng)用，對(duì)于互聯(lián)網(wǎng)中某一領(lǐng)域出現(xiàn)的數(shù)據(jù)，包括結(jié)構(gòu)化的、半結(jié)構(gòu)化的，以及非結(jié)構(gòu)化的數(shù)據(jù)信息進(jìn)行廣泛收集和識(shí)別，這是大數(shù)據(jù)技術(shù)的前提和基礎(chǔ)。要想實(shí)現(xiàn)對(duì)于互聯(lián)網(wǎng)中海量信息資源的準(zhǔn)確有效的獲取，需要借助分布式高速高可靠數(shù)據(jù)爬取或采集、高速數(shù)據(jù)全映象數(shù)據(jù)采集技術(shù)的應(yīng)用，能夠?qū)崿F(xiàn)高速的數(shù)據(jù)解析和轉(zhuǎn)換目標(biāo)[2]。

就大數(shù)據(jù)采集技術(shù)系統(tǒng)來(lái)說(shuō)，其中包含的數(shù)據(jù)采集功能區(qū)分為以下幾點(diǎn)：

第一，數(shù)據(jù)智能感知層，這一功能區(qū)中包含了對(duì)于數(shù)據(jù)傳感技術(shù)、通信技術(shù)、智能識(shí)別技術(shù)等的應(yīng)用，能夠?qū)τ诨ヂ?lián)網(wǎng)平臺(tái)中某一通道或者是領(lǐng)域中的各類數(shù)據(jù)實(shí)施有效的跟蹤和接入，完成數(shù)據(jù)信息的初步處理，為采集到的數(shù)據(jù)整合和傳輸?shù)於ɑA(chǔ)。

第二，基礎(chǔ)支撐層，這一功能區(qū)主要是為系統(tǒng)提供虛擬服務(wù)器，對(duì)于各類數(shù)據(jù)信息創(chuàng)造合理的分析環(huán)境，這一數(shù)據(jù)處理功能分區(qū)中需要重點(diǎn)對(duì)于數(shù)據(jù)的獲取和存儲(chǔ)，以及整理和分析等的可視化技術(shù)接入提供有效支持。

3.2? ?大數(shù)據(jù)預(yù)處理技術(shù)

大數(shù)據(jù)系統(tǒng)要進(jìn)行分析和挖掘，就必須為它提供干凈、準(zhǔn)確、簡(jiǎn)潔的數(shù)據(jù)。然而通過(guò)數(shù)據(jù)采集技術(shù)收集到的原始數(shù)據(jù)一般是“臟”的、不完全的、冗余的和模糊的，通常存在雜亂性、重復(fù)性、不完整性等問(wèn)題，很少能直接滿足數(shù)據(jù)挖掘算法的要求[3]。所以，大數(shù)據(jù)數(shù)據(jù)采集后，需要通過(guò)數(shù)據(jù)集成（Data Integration）、數(shù)據(jù)清洗（Data Cleaning）、數(shù)據(jù)變換（Data Transformation）、數(shù)據(jù)簡(jiǎn)化（Data Reduction）等操作[4]擯棄一些與挖掘目標(biāo)不相關(guān)的屬性，為數(shù)據(jù)挖掘內(nèi)核算法提供干凈、準(zhǔn)確、更有針對(duì)性的數(shù)據(jù)，將其中多余的或者是無(wú)效信息進(jìn)行刪除，去粗取精，實(shí)現(xiàn)初步的數(shù)據(jù)篩選，從而減少挖掘內(nèi)核的數(shù)據(jù)處理量，提高了挖掘效率，提高了知識(shí)發(fā)現(xiàn)的起點(diǎn)和知識(shí)的準(zhǔn)確度。

3.3? ?大數(shù)據(jù)存儲(chǔ)及管理技術(shù)

大數(shù)據(jù)采取的數(shù)據(jù)信息量十分龐大，對(duì)于海量的數(shù)據(jù)信息大數(shù)據(jù)系統(tǒng)必須要能有效地存儲(chǔ)和管理。針對(duì)采集的數(shù)據(jù)信息，系統(tǒng)通過(guò)構(gòu)建數(shù)據(jù)庫(kù)，進(jìn)行數(shù)據(jù)的集中儲(chǔ)存和管理。在進(jìn)行數(shù)據(jù)信息進(jìn)行儲(chǔ)存和管理過(guò)程中，需要確保數(shù)據(jù)庫(kù)中的數(shù)據(jù)信息形式盡可能保持一致，這就需要做好對(duì)于不同種類數(shù)據(jù)信息的有效轉(zhuǎn)化和處理。要突破分布式非關(guān)系型大數(shù)據(jù)管理與處理技術(shù)，異構(gòu)數(shù)據(jù)的數(shù)據(jù)融合技術(shù)，數(shù)據(jù)組織技術(shù)，研究大數(shù)據(jù)建模技術(shù);突破大數(shù)據(jù)索引技術(shù);突破大數(shù)據(jù)移動(dòng)、備份、復(fù)制等技術(shù)[5]。

在數(shù)據(jù)的存儲(chǔ)和管理中，還需要注重信息的有效分類，建立對(duì)應(yīng)的數(shù)據(jù)庫(kù)，實(shí)現(xiàn)信息的有效調(diào)用，此外，還要針對(duì)數(shù)據(jù)的安全問(wèn)題進(jìn)行有效保護(hù)，通過(guò)使用加密技術(shù)、訪問(wèn)限制、數(shù)據(jù)銷毀等技術(shù)應(yīng)用，提升數(shù)據(jù)庫(kù)的數(shù)據(jù)安全級(jí)別，避免數(shù)據(jù)存在遺失和被竊取的問(wèn)題[6]。

3.4? ?大數(shù)據(jù)分析和挖掘技術(shù)

大數(shù)據(jù)的分析和挖掘技術(shù)主要是對(duì)于數(shù)據(jù)進(jìn)行深度挖掘，通過(guò)多樣化的數(shù)據(jù)分析技術(shù)，挖掘數(shù)據(jù)內(nèi)潛在的有價(jià)值的信息。這種數(shù)據(jù)分析和挖掘技術(shù)主要是通過(guò)對(duì)于數(shù)據(jù)進(jìn)行隨機(jī)抽樣，縮小數(shù)據(jù)規(guī)模，進(jìn)一步提升數(shù)據(jù)分析效率，挖掘出更多的有價(jià)值的數(shù)據(jù)信息，為最終的數(shù)據(jù)分析結(jié)果提供參考[7]。數(shù)據(jù)分析和挖掘技術(shù)還在進(jìn)一步優(yōu)化中，也在越來(lái)越多的行業(yè)中發(fā)揮了積極作用，是目前大數(shù)據(jù)技術(shù)重點(diǎn)開(kāi)發(fā)的對(duì)象，為大數(shù)據(jù)的價(jià)值挖掘，實(shí)現(xiàn)更好的分析結(jié)果優(yōu)化提供了技術(shù)支持。

在大數(shù)據(jù)系統(tǒng)中，海量的數(shù)據(jù)采集最終的目的是為了分析出數(shù)據(jù)隱藏的規(guī)律和關(guān)系，通過(guò)分析得出結(jié)果，提供有效的信息參考和發(fā)展建議等。這就需要針對(duì)海量的數(shù)據(jù)實(shí)施數(shù)據(jù)挖掘，挖掘數(shù)據(jù)中潛在的信息資源，發(fā)揮數(shù)據(jù)的價(jià)值?，F(xiàn)階段的大數(shù)據(jù)分析和挖掘技術(shù)還只是比較淺層次的挖掘分析，能夠針對(duì)大數(shù)據(jù)的數(shù)據(jù)規(guī)律和發(fā)展趨勢(shì)等進(jìn)行有效分析，但是實(shí)際上，一組大數(shù)據(jù)包含的價(jià)值往往是多方面，僅僅從一兩個(gè)面進(jìn)行挖掘往往不能發(fā)揮大數(shù)據(jù)的最大使用價(jià)值[8]。因此，在進(jìn)行大數(shù)據(jù)系統(tǒng)的開(kāi)發(fā)中們還需要做好關(guān)鍵部分的技術(shù)升級(jí)和改造，提升大數(shù)據(jù)分析和挖掘能力。

4? 大數(shù)據(jù)數(shù)據(jù)處理技術(shù)有效應(yīng)用的對(duì)策（Measuresfor the effective application of big data processingtechnology）

4.1? ?不斷優(yōu)化和升級(jí)技術(shù)系統(tǒng)

針對(duì)目前的大數(shù)據(jù)處理技術(shù)系統(tǒng)，要進(jìn)一步研究和優(yōu)化設(shè)計(jì)，不斷提升各個(gè)技術(shù)系統(tǒng)的數(shù)據(jù)處理能力，實(shí)現(xiàn)在更短的時(shí)間內(nèi)獲取更全面的數(shù)據(jù)信息，實(shí)現(xiàn)快速處理得出分析結(jié)果，針對(duì)大數(shù)據(jù)系統(tǒng)中的數(shù)據(jù)采集技術(shù)、數(shù)據(jù)預(yù)處理技術(shù)、數(shù)據(jù)存儲(chǔ)和管理技術(shù)、數(shù)據(jù)分析和挖掘技術(shù)等進(jìn)行不斷優(yōu)化升級(jí)，促進(jìn)系統(tǒng)數(shù)據(jù)處理效能不斷提升。

4.2? ?開(kāi)展技術(shù)培訓(xùn)，提升技術(shù)應(yīng)用水平

新時(shí)期，要強(qiáng)化大數(shù)據(jù)技術(shù)的應(yīng)用，要不斷加強(qiáng)技術(shù)的普及和學(xué)習(xí)，積極開(kāi)展技術(shù)培訓(xùn)工作，例如，以電子商務(wù)、金融、連鎖零售、電信、互聯(lián)網(wǎng)、產(chǎn)品研發(fā)生產(chǎn)、傳統(tǒng)實(shí)體經(jīng)濟(jì)等方面在數(shù)據(jù)分析與挖掘?qū)崙?zhàn)經(jīng)驗(yàn)為案例，使學(xué)員在拓展大數(shù)據(jù)應(yīng)用及其發(fā)展趨勢(shì)視野的基礎(chǔ)上，提升對(duì)分析、挖掘經(jīng)驗(yàn)的領(lǐng)悟，做到學(xué)以致用、舉一反三，解決企業(yè)實(shí)際數(shù)據(jù)挖掘的現(xiàn)實(shí)問(wèn)題，從而提升數(shù)據(jù)挖掘與治理能力，推動(dòng)企業(yè)競(jìng)爭(zhēng)力提升和產(chǎn)業(yè)創(chuàng)新發(fā)展。相關(guān)的大數(shù)據(jù)人才培養(yǎng)機(jī)構(gòu)也要積極圍繞“大數(shù)據(jù)在教育教學(xué)中的應(yīng)用探討”，從大數(shù)據(jù)及關(guān)鍵技術(shù)、教育大數(shù)據(jù)、大數(shù)據(jù)技術(shù)在教育中的應(yīng)用、應(yīng)用案例等四個(gè)方面深入細(xì)致的探究[9]。從大數(shù)據(jù)的產(chǎn)生及其意義、構(gòu)建大數(shù)據(jù)的基本流程、身邊大數(shù)據(jù)的典型案例等三個(gè)方面，深入淺出地介紹了大數(shù)據(jù)產(chǎn)生的背景和發(fā)展歷程。要認(rèn)真學(xué)習(xí)貫徹落實(shí)黨的十九大精神，充分認(rèn)識(shí)大數(shù)據(jù)的重要意義，牢牢把握大數(shù)據(jù)時(shí)代帶來(lái)的重大機(jī)遇，自覺(jué)將大數(shù)據(jù)技術(shù)應(yīng)用于教育教學(xué)、管理服務(wù)之中，不斷提高教育教學(xué)質(zhì)量，提升管理服務(wù)水平，源源不斷地為社會(huì)培養(yǎng)一批又一批的大數(shù)據(jù)技術(shù)創(chuàng)新應(yīng)用人才。

5? ?結(jié)論（Conclusion）

現(xiàn)階段，大數(shù)據(jù)技術(shù)在社會(huì)生產(chǎn)和生活中的應(yīng)用對(duì)于社會(huì)進(jìn)步和發(fā)展意義重大，必須要進(jìn)一步完善大數(shù)據(jù)技術(shù)應(yīng)用，開(kāi)發(fā)升級(jí)技術(shù)系統(tǒng)，把握關(guān)鍵技術(shù)改造，促進(jìn)大數(shù)據(jù)更好的挖掘數(shù)據(jù)價(jià)值，提升系統(tǒng)技術(shù)應(yīng)用水平。

參考文獻(xiàn)（References）

[1] Valerio Persico，Antonio Pescapé，Antonio Picariello，Giancarlo Sperlí. Benchmarking big data architectures for social networks data processing using public cloud platforms[J].Future Generation Computer Systems，2018：89.

[2] Weiwei Wang.Research on Computer Information Processing Technology under the Background of Big Data[A].International Information and Engineering Association.Proceedings of 2018 International Conference on Computational Science and Engineering（ICCSE 2018）[C].International Information and Engineering Association：Computer Science and Electronic Technology International Society，2018：5.

[3] Lin Mao.Improvement on Exploration Data Processing of Cluster Architecture in Big Data Era[A].CPS、SEG.CPS/SEG Beijing 2018 International Geophysical Conference &Exposition Electronic papers[C].CPS、SEG，2018：7.

[4] Yixiang Jiang.Analysis of Computer Information Processing Technology Under the Background of Big Data[A].Wuhan Zhicheng Times Cultural Development Co.，Ltd.Proceedings of the 2018 International Symposium on Communication Engineering &Computer Science（CECS 2018）[C].Wuhan Zhicheng Times Cultural Development Co.，Ltd，2018：4.

[5] 曲冬梅.大數(shù)據(jù)背景下信息處理技術(shù)探索[J].現(xiàn)代信息科技，2018，2（03）：18-19.

[6] 譚保華，任志鵬，王鵬，等.基于大數(shù)據(jù)技術(shù)的高校校友信息整合分析平臺(tái)開(kāi)發(fā)及應(yīng)用[J].長(zhǎng)春理工大學(xué)學(xué)報(bào)（自然科學(xué)版），2018，41（06）：132-136.

[7] 鄭芬芳.基于數(shù)據(jù)分析的學(xué)科服務(wù)營(yíng)銷平臺(tái)研究——以福建省高校數(shù)字圖書(shū)館為例[J].情報(bào)探索，2018（12）：34-38.

[8] 劉哲，劉軍，張朔.電子商務(wù)物流服務(wù)中大數(shù)據(jù)應(yīng)用的驅(qū)動(dòng)因素與創(chuàng)新發(fā)展策略[J].山東師范大學(xué)學(xué)報(bào)（自然科學(xué)版），2018（04）：454-457;464.

[9] 劉冬，劉更新，黃祖一.大數(shù)據(jù)出版之?dāng)?shù)值型數(shù)據(jù)的應(yīng)用探索——以中國(guó)口岸數(shù)據(jù)庫(kù)和中國(guó)海關(guān)統(tǒng)計(jì)數(shù)據(jù)庫(kù)為例[J].科技與出版，2018（12）：90-95.

作者簡(jiǎn)介：

霍福華（1984-），男，碩士，講師.研究領(lǐng)域：WEB應(yīng)用開(kāi)發(fā)，數(shù)據(jù)分析與處理.