基于大數(shù)據(jù)分析可視化的研究

鄧麟鐸

【摘?要】隨著數(shù)據(jù)時(shí)代而來的是無限的可能也是巨大的挑戰(zhàn)。如今，人們對(duì)數(shù)據(jù)可視化的理解大相徑庭因?yàn)闆]有標(biāo)準(zhǔn)所以對(duì)于大數(shù)據(jù)的定義十分混亂，從事可視化工作的人有自己的理解，從事相關(guān)行業(yè)的人又有另一種見解，而并非涉足其中的大眾往往覺得它難以觸碰，非常人所能及。其實(shí)，無論是從哪一個(gè)角度單純來看數(shù)據(jù)可視化都是不完全的，在數(shù)據(jù)可視化的定義解答上，大家彼此都不能達(dá)到統(tǒng)一，這也將在實(shí)際工作中會(huì)極大阻礙合作交流與共同進(jìn)步。而Python語言的誕生更好的為大數(shù)據(jù)的獲取存儲(chǔ)以及分析可視化提供了一個(gè)很好的基礎(chǔ)，本文主要側(cè)重點(diǎn)是基于python對(duì)于數(shù)據(jù)可視化的研究。

【關(guān)鍵詞】大數(shù)據(jù);數(shù)據(jù)可視化;信息可視化;python可視化編程

一、數(shù)據(jù)信息可視化的概念及意義

數(shù)據(jù)可視化主要目的在借助于軟件圖形化，清晰有效地傳達(dá)與溝通信息。但是，這并不就意味著數(shù)據(jù)可視化就一定因?yàn)橐獙?shí)現(xiàn)其功能用途而令人感到枯燥乏味，或者是為了看上去絢麗多彩而顯得極端復(fù)雜。為了有效地傳達(dá)思想概念，美學(xué)形式與功能需要齊頭并進(jìn)，通過直觀地傳達(dá)關(guān)鍵的方面與特征，從而實(shí)現(xiàn)對(duì)于相當(dāng)稀疏而又復(fù)雜的數(shù)據(jù)集的深入洞察。但是，開發(fā)人員往往并不能很好地把握設(shè)計(jì)與需求之間的平衡，從而創(chuàng)造出虛有其表的數(shù)據(jù)可視化形式，無法達(dá)到其主要目的，也就是傳達(dá)與溝通信息。

數(shù)據(jù)可視化與信息圖形、信息可視化、科學(xué)可視化以及統(tǒng)計(jì)圖形密切相關(guān)。當(dāng)前，在研究、教學(xué)和開發(fā)領(lǐng)域，數(shù)據(jù)可視化乃是一個(gè)極為活躍而又關(guān)鍵的方面?！皵?shù)據(jù)可視化”這條術(shù)語實(shí)現(xiàn)了成熟的科學(xué)可視化領(lǐng)域與較年輕的信息可視化領(lǐng)域的統(tǒng)一。

數(shù)據(jù)可視化主要表現(xiàn)在以下幾個(gè)方面：

1.數(shù)據(jù)源的獲?。?/p>

2.數(shù)據(jù)源的臟數(shù)據(jù)清理

3.數(shù)據(jù)的存儲(chǔ)

4.數(shù)據(jù)的分析

5.數(shù)據(jù)可視化

相關(guān)研究數(shù)據(jù)報(bào)告表明人類獲取信息的主要數(shù)據(jù)來源為視覺。

二、基于大數(shù)據(jù)背景下大數(shù)據(jù)可視化的相關(guān)概述

隨著互聯(lián)網(wǎng)的飛速發(fā)展，數(shù)據(jù)呈爆炸式的增長(zhǎng);大數(shù)據(jù)的蓬勃發(fā)展也是一個(gè)必然的趨勢(shì)。大數(shù)據(jù)的定義雖然各大百科的定義各有不同，但歸納起來可以定義為：海量的數(shù)據(jù)、結(jié)構(gòu)化以及半結(jié)構(gòu)化的具有價(jià)值的數(shù)據(jù)。但以目前技術(shù)來看，目前還沒有一項(xiàng)技術(shù)能在短時(shí)間內(nèi)搜集、整理、管理這些數(shù)據(jù)。因此數(shù)據(jù)可視化技術(shù)是必然的產(chǎn)物。隨著個(gè)人電腦、智能手機(jī)的普及。大數(shù)據(jù)也不僅僅局限于政府、科研機(jī)構(gòu)，逐漸滲透到每個(gè)普通人的日常生活。這也催生了數(shù)據(jù)可視化技術(shù)的發(fā)展。隨著各種智能終端設(shè)備的誕生。數(shù)據(jù)可視化技術(shù)也趨于成熟。為了促進(jìn)大數(shù)據(jù)可視化技術(shù)的發(fā)展，研究者也愛不斷地努力，以至越來越多的用戶能夠接觸到可視化數(shù)據(jù)之間的關(guān)系。從而產(chǎn)生數(shù)據(jù)以一體化的聯(lián)系。

三、python大數(shù)據(jù)可視化的相關(guān)分析

提到數(shù)據(jù)可視化，就不得提及python，python是當(dāng)下炙手可熱的熱門語言之一;不僅僅是因?yàn)閜ython語法的簡(jiǎn)單更多的是python豐富的第三方庫如pandas庫、numpy庫、tensflow庫這些第三方庫為數(shù)據(jù)可視化提供了一個(gè)很好地環(huán)境。

同時(shí)，可以通過python爬蟲模塊將所需要的數(shù)據(jù)進(jìn)行實(shí)時(shí)的爬取下來，在通過相關(guān)的庫進(jìn)行清洗分析。最后在將數(shù)據(jù)可視化呈現(xiàn)。

如下圖：

過爬蟲對(duì)于網(wǎng)上疫情數(shù)據(jù)的爬取，通過numpy、pandas庫、matplotlib庫進(jìn)行可視化呈現(xiàn)，這樣我們就能夠直觀清晰的看到疫情期間各個(gè)國(guó)家確診人數(shù)的變化的曲線這也是數(shù)據(jù)可視化的魅力所在將一些看似毫無關(guān)聯(lián)的數(shù)據(jù)直觀的表現(xiàn)出來，讓用戶更加直觀清晰地看到數(shù)據(jù)的變化趨勢(shì)，便于作出合理的決策。

Python語言最大的特點(diǎn)便是語義簡(jiǎn)單，通俗易懂使得數(shù)據(jù)可視化的進(jìn)程就變得更加簡(jiǎn)單，通過使用python第三方庫的調(diào)用使得數(shù)據(jù)在從采集、挖掘、清洗、直至可視化的過程中都能夠通過python來完成，這大大減少了由于不同軟件環(huán)境造成的不兼容數(shù)據(jù)丟失等等一系列的問題。

使用python語言進(jìn)行數(shù)據(jù)的可視化編程，大大提高了效率;相較于傳統(tǒng)的可視化軟件，python可視化編程更簡(jiǎn)單、操作更容易;更適合一些不熟悉編程的用戶。

小結(jié)

本文主要從大數(shù)據(jù)可視化的概念來論述，著重論述了大數(shù)據(jù)可視化的相關(guān)概念;如大數(shù)據(jù)信息可視化、可視化的操作流程、可視化的相關(guān)操作軟件python的可視化操作的具體步驟、具體的可視化案例來闡述python語言環(huán)境下的大數(shù)據(jù)可視化的優(yōu)勢(shì)。

但是時(shí)代更迭發(fā)展的速度是飛快的?？赡芙裉旆浅７奖闶褂玫目梢暬浖魈炜赡芫蜁?huì)被新的軟件所淘汰。這也是科技發(fā)展的必然結(jié)果——優(yōu)勝劣汰。但目前主流可視化編程軟件還是python。

但對(duì)于大數(shù)據(jù)可視化的研究還是基于數(shù)據(jù);沒有一個(gè)龐大的數(shù)據(jù)源的支撐任何可視化的操作都只能是空想，所以作為一個(gè)大數(shù)據(jù)方向的從業(yè)者就必須要扎實(shí)的夯實(shí)自己的技能只有這樣才能適應(yīng)時(shí)代的發(fā)展。

參考文獻(xiàn)：

[1]郭炯，鄭曉俊. 基于大數(shù)據(jù)的學(xué)習(xí)分析研究綜述[J]. 中國(guó)電化教育，2017（1）.

[2]姜強(qiáng)，趙蔚，王朋嬌，等. 基于大數(shù)據(jù)的個(gè)性化自適應(yīng)在線學(xué)習(xí)分析模型及實(shí)現(xiàn)[J]. 中國(guó)電化教育，2015（01）：85-92.

[3]樊嘉麒. 基于大數(shù)據(jù)的數(shù)據(jù)挖掘引擎[D]. 北京郵電大學(xué)

[4]喬向杰. 基于大數(shù)據(jù)的旅游公共管理與服務(wù)創(chuàng)新模式研究[C]// 北京兩界聯(lián)席會(huì)議高峰論壇文集.

（作者單位：西南科技大學(xué)城市學(xué)院）