基于Python語(yǔ)言的大數(shù)據(jù)分析研究

摘要：本文通過(guò)分析Python語(yǔ)言的各種有點(diǎn)，研究了Python語(yǔ)言及數(shù)據(jù)的應(yīng)用，最后對(duì)Sickit-Iearn實(shí)現(xiàn)數(shù)據(jù)進(jìn)行了分析。

關(guān)鍵詞：Python語(yǔ)言;Sickit-Iearn;數(shù)據(jù)分析

伴隨著科學(xué)技術(shù)水平的不斷提升，計(jì)算機(jī)技術(shù)也得到了飛速發(fā)展，各個(gè)行業(yè)領(lǐng)域也發(fā)生了翻天覆地的變化，各式各樣的數(shù)據(jù)信息不斷出現(xiàn)，信息規(guī)模越來(lái)越大，推動(dòng)我國(guó)進(jìn)入到大數(shù)據(jù)時(shí)代。在大數(shù)據(jù)環(huán)境下，許多行業(yè)領(lǐng)域都與大數(shù)據(jù)建立了緊密的聯(lián)系，決策的制定也很大程度上依賴大數(shù)據(jù)技術(shù)的支持，通過(guò)對(duì)龐大數(shù)據(jù)信息進(jìn)行分析和提取，為公司決策提供科學(xué)的依據(jù)，不再通過(guò)經(jīng)驗(yàn)和知覺(jué)進(jìn)行決策。數(shù)據(jù)分析是大數(shù)據(jù)行業(yè)非常重要的一部分。數(shù)據(jù)分析主要表示為依托于各種形式的統(tǒng)計(jì)分析方法對(duì)海量數(shù)據(jù)信息開(kāi)展分析工作，從中尋找出有價(jià)值的信息，并對(duì)這些信息進(jìn)行歸納和總結(jié)，得出相應(yīng)的結(jié)論。開(kāi)展數(shù)據(jù)分析的根本目的是從龐大繁瑣、無(wú)規(guī)則的數(shù)據(jù)信息中尋找到有用的數(shù)據(jù)，從而提高數(shù)據(jù)信息的價(jià)值，同時(shí)能夠?yàn)楣局卮鬀Q策制定提供依據(jù)。Python是提高數(shù)據(jù)分析性能的重要方式。在2017年，Python語(yǔ)言直接超越其它編程語(yǔ)言，成為了該年度使用頻率最高的編程語(yǔ)言，被越來(lái)越多的程序員所喜愛(ài)。Python本身?yè)碛写罅康膸?kù)，能夠?yàn)楫a(chǎn)品開(kāi)發(fā)帶來(lái)非常大的便利，在數(shù)據(jù)分析、數(shù)據(jù)科學(xué)等工作中都有著非常普遍的應(yīng)用，逐步發(fā)展成為了第三大編程語(yǔ)言。

1

Python語(yǔ)言概述

Python語(yǔ)言具有非常廣泛的運(yùn)用，屬于比較高級(jí)的程序設(shè)計(jì)語(yǔ)言，是由荷蘭人吉多·范羅蘇姆發(fā)明出來(lái)的[1]。Python語(yǔ)言在設(shè)計(jì)初期，就非常重視語(yǔ)言的簡(jiǎn)潔性以及可讀性，因此和C++、Java等編程語(yǔ)言相比，Python語(yǔ)言只需要少量的內(nèi)容就可以完整表達(dá)思想[2]。在20世紀(jì)90年代初期，第一代Python語(yǔ)言版本正式問(wèn)世，發(fā)展到如今，Python語(yǔ)言經(jīng)歷了多次的改進(jìn)和完善，增添了許多新功能、新特征，也更加的全面和整潔，不僅被大量使用到系統(tǒng)管理任務(wù)的處理工作中，同時(shí)也普遍用于web編程。Python語(yǔ)言擁有容易上手、可移植性好等優(yōu)點(diǎn)，具體如下。

1.1 容易上手

像C語(yǔ)言、Java語(yǔ)言等代碼較為復(fù)雜，初學(xué)者很難在短時(shí)間內(nèi)熟練使用，而Python語(yǔ)言則不同，該語(yǔ)言的運(yùn)用邏輯較為簡(jiǎn)單，很容易掌握基本的編程方法，比較適合初學(xué)者學(xué)習(xí)[3]。例如，在利用編程語(yǔ)言實(shí)現(xiàn)某個(gè)功能時(shí)，基于Python語(yǔ)言的編程規(guī)模大約只有C語(yǔ)言的10%，當(dāng)編程人員運(yùn)用Python語(yǔ)言來(lái)進(jìn)行編程工作，工作速度必將獲得大幅提高，這也是Python語(yǔ)言得到迅速發(fā)展的重要原因[4]。

1.2 面向?qū)ο?/p>

Python中的所有部分都是對(duì)象。一方面可以面向過(guò)程開(kāi)展編程工作，另一方面也可以面向?qū)ο缶幊?。一般?lái)說(shuō)程序是基于數(shù)據(jù)與功能兩個(gè)部分組成的對(duì)象構(gòu)建而來(lái)的。像C語(yǔ)言、Java語(yǔ)言等在實(shí)現(xiàn)面向?qū)ο髸r(shí)，往往非常的復(fù)雜和繁瑣，而通過(guò)Python語(yǔ)言的運(yùn)用，可以非常方便、簡(jiǎn)單的完成面向?qū)ο缶幊獭?/p>

1.3 可移植性好

Python語(yǔ)言能夠與許多平臺(tái)相兼容，比如說(shuō)當(dāng)下影響力比較大的Linux、Windows以及Android系統(tǒng)等，將Python應(yīng)用到這些系統(tǒng)中僅僅只要增加解釋器就可以，非常的方便[5]。

絕大多數(shù)語(yǔ)言均為編譯型以及解釋性，比如說(shuō)C語(yǔ)言、C++等均是編譯型語(yǔ)言，而Python則為解釋型語(yǔ)言。C語(yǔ)言源文件基于準(zhǔn)備處理、編譯與鏈接等途徑，最后在設(shè)備上執(zhí)行目標(biāo)代碼。不同的是Python語(yǔ)言依托于解釋器將源代碼轉(zhuǎn)變成中間字節(jié)碼，之后運(yùn)用Python虛擬機(jī)對(duì)執(zhí)行代碼進(jìn)行解釋。

1.4 多種多樣的庫(kù)

Python本身涵蓋了各種各樣的標(biāo)準(zhǔn)庫(kù)，這些庫(kù)中的資源能夠?yàn)槌绦騿T工作帶來(lái)極大的便利，涵蓋有數(shù)據(jù)庫(kù)、WAV文件、XML以及網(wǎng)頁(yè)瀏覽器等。另外，Python不僅僅只有標(biāo)準(zhǔn)庫(kù)，還存在很多高品質(zhì)的庫(kù)，比如說(shuō)Python圖像庫(kù)等。

1.5 良好代碼規(guī)范性

Python在進(jìn)行代碼編寫時(shí)，通過(guò)強(qiáng)制縮進(jìn)的方法對(duì)其進(jìn)行約束，從而確保完成的代碼擁有良好的規(guī)范性以及可讀性。

2 Python及數(shù)據(jù)分析

在開(kāi)展數(shù)據(jù)分析與數(shù)據(jù)挖掘工作中，Python、R語(yǔ)言以及SAS等都有著非常高的應(yīng)用頻率。Python與R語(yǔ)言同屬于開(kāi)源的，在互聯(lián)網(wǎng)行業(yè)中獲得了廣泛的應(yīng)用，與前兩者不同的是，SAS是一個(gè)付費(fèi)的商業(yè)軟件，是現(xiàn)代醫(yī)療領(lǐng)域以及金融領(lǐng)域的標(biāo)桿工具[6]。數(shù)據(jù)分析的進(jìn)行必然要經(jīng)歷龐大的數(shù)據(jù)信息交互，開(kāi)展探究性計(jì)算，最終獲得可視性良好的數(shù)據(jù)結(jié)果。隨著Python的不斷發(fā)展和完善，可供其使用的數(shù)據(jù)庫(kù)規(guī)模逐漸增大，現(xiàn)階段其第三方數(shù)據(jù)庫(kù)總數(shù)量已經(jīng)達(dá)到了15.5萬(wàn)個(gè)左右。和R語(yǔ)言、SPSS等相比較，Python有若非常豐富的數(shù)據(jù)庫(kù)資源，并且這些第三方庫(kù)能夠?yàn)閿?shù)據(jù)分析工作帶來(lái)極大的便利，例如，Numpy、Pandas等第三方庫(kù)能夠完成數(shù)據(jù)統(tǒng)計(jì)與可視化功能，為實(shí)現(xiàn)各種類型的數(shù)據(jù)分析工作提供可能。

2.1 Numpy庫(kù)

Numpy是開(kāi)展數(shù)據(jù)分析的標(biāo)準(zhǔn)工具，同時(shí)也屬于科學(xué)計(jì)算庫(kù)，為Python開(kāi)展數(shù)組排列以及矢量計(jì)算工作提供幫助，能夠依托于Numpy進(jìn)行更高效率的數(shù)據(jù)核算與分析工作。在進(jìn)行矢量運(yùn)算過(guò)程中，借助于Numpy庫(kù)一方面能夠創(chuàng)建出多種便捷的端口，另一方面能夠獲得更高的數(shù)組運(yùn)算速度，一般來(lái)說(shuō)比程序員親自操作Python語(yǔ)言進(jìn)行運(yùn)算的速度快將近一倍。盡管Numpy庫(kù)主要以基礎(chǔ)數(shù)據(jù)分析功能為主，并不包含大量的高等級(jí)功能，即便如此加強(qiáng)對(duì)Numpy庫(kù)的理解和應(yīng)用，能夠更好的發(fā)揮數(shù)據(jù)分析工具的優(yōu)勢(shì)與價(jià)值。

2.2 Pandas庫(kù)

Pandas庫(kù)是在Numpy基礎(chǔ)上構(gòu)建的一個(gè)級(jí)別更高、性能更好的分析庫(kù)，在能夠?qū)崿F(xiàn)數(shù)據(jù)分析基礎(chǔ)操作的前提下，還可以開(kāi)展數(shù)據(jù)排序、分組等高級(jí)操作，甚至也可以對(duì)相關(guān)數(shù)據(jù)進(jìn)行求和、求最大最小值等。Pandas庫(kù)在數(shù)據(jù)分析中占據(jù)了非常重要的地位，是專門為數(shù)據(jù)分析而開(kāi)發(fā)的第三方庫(kù)，可以實(shí)現(xiàn)結(jié)構(gòu)化數(shù)據(jù)的處理。要開(kāi)展數(shù)據(jù)分析工作，首先要從相關(guān)渠道獲得需要的數(shù)據(jù)資源，Pandas庫(kù)涵蓋了各式各樣的1/0 API函數(shù)，能夠?qū)sv、txt等格式的識(shí)別，同時(shí)也能夠打開(kāi)xlsx以及SQL server等形式的文件[7]，如表1所示為Pandas庫(kù)主要的讀取文件函數(shù)。如表1所示。

2.3 Matplotlib庫(kù)

Matplotlib庫(kù)是一個(gè)非常重要的繪圖庫(kù)，在Python中發(fā)揮了重要的作用，將Matplotlib庫(kù)與Numpy模塊結(jié)合起來(lái)，能夠?qū)⒂?jì)算得到的結(jié)果以可視化的方式展現(xiàn)出來(lái)，由此可以看出，在Python眾多第三方庫(kù)中，Matplotlib是一個(gè)十分關(guān)鍵的數(shù)據(jù)可視化工具。在借助Matplotlib模塊進(jìn)行繪圖時(shí)，通常采用的是該庫(kù)本身帶有的plot工具包，這個(gè)工具包涵蓋的繪圖應(yīng)用程序接口和MATLAB有著較高的相似度，集成了許多非常復(fù)雜與高級(jí)的繪圖目標(biāo)結(jié)構(gòu)，程序員僅僅只要使用pyplot模塊中的指定函數(shù)，在加上少部分的代碼，就可以輕松獲得顯示效果良好的直方圖、散點(diǎn)圖等平面圖形或者立體圖形[8]。借助于直方圖可以清晰的展現(xiàn)出數(shù)據(jù)的實(shí)際體態(tài)特征。如圖1所示為在mu等于95，sigma等于20條件下隨機(jī)產(chǎn)生的9.5萬(wàn)個(gè)智商數(shù)據(jù)直方圖。

3 Sickit-Iearn實(shí)現(xiàn)數(shù)據(jù)分析

Sickit-Iearn又稱之為sHeam，是建立在Numpy庫(kù)、Scipy庫(kù)基礎(chǔ)上的一種免費(fèi)軟件機(jī)器學(xué)習(xí)庫(kù)，能夠提供多種樣式的算法以及模型，這些均是經(jīng)過(guò)大量實(shí)踐驗(yàn)證的，主要包含有分類、回歸以及聚類算法三個(gè)方面，與此同時(shí)還可以進(jìn)行數(shù)據(jù)降維、模型選取等操作。要想依托于Sickit-Ieam達(dá)成Logistic回歸時(shí)，一方面需要進(jìn)行算法設(shè)計(jì)，另一方面也需要運(yùn)用Sickit-Ieam本身涵蓋的ins數(shù)據(jù)集開(kāi)展訓(xùn)練以及預(yù)估。

需要注意的是，Sickit-Ieam習(xí)慣于將通過(guò)訓(xùn)練集數(shù)據(jù)獲取的值儲(chǔ)存到下劃線末端的屬性中，這樣操作的根本目的是實(shí)現(xiàn)和程序員規(guī)劃的參數(shù)區(qū)域分離開(kāi)來(lái)。通常情況下，權(quán)重主要存儲(chǔ)在coef屬性中，而偏移主要存儲(chǔ)在intercept_屬性中。

4 結(jié)語(yǔ)

Python語(yǔ)言不僅語(yǔ)法簡(jiǎn)單、容易上手，同時(shí)還能夠?qū)崿F(xiàn)強(qiáng)大的功能，包含了豐富多樣的類庫(kù)。Python擁有非常廣泛的應(yīng)用范圍，在許多行業(yè)領(lǐng)域中發(fā)揮了重要的作用，比如說(shuō)web編程、爬蟲以及人工智能方面等，此外Python還能夠很好的和C++、Java等語(yǔ)言構(gòu)建的模塊相兼容，因此也被叫做“萬(wàn)能語(yǔ)言”。依托于Python語(yǔ)言開(kāi)展數(shù)據(jù)分析工作，既能夠獲得良好的分析效率，也可以得到理想的分析效果，所以Python成為了公認(rèn)的優(yōu)秀的數(shù)據(jù)分析工具。

參考文獻(xiàn)

[1]謝克武，大數(shù)據(jù)環(huán)境下基于python的網(wǎng)絡(luò)爬蟲技術(shù)[J].電子制作，2017 （09）：44-45.

[2]劉順程，岳思穎，大數(shù)據(jù)時(shí)代下基于Py thon的網(wǎng)絡(luò)信息爬取技術(shù)[J].電子技術(shù)與軟件工程，2017 （21）：160.

[3]逢菲，基于Python的分布式網(wǎng)絡(luò)爬蟲系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].電子技術(shù)與軟件工程，2018 （23）：6.

[4]夏火松，潘筱聽(tīng).基于Python挖掘的大數(shù)據(jù)學(xué)術(shù)研究與人才需求的關(guān)系研究[J].信息資源管理學(xué)報(bào)，2017，7（01）：4-12.

[5]王亮，左文濤，大數(shù)據(jù)收集與分析中Py thon編程語(yǔ)言運(yùn)用研究[J].計(jì)算機(jī)產(chǎn)品與流通，2020（01）： 22.

[6]丁傳煒.基于Python大數(shù)據(jù)可視化的城市通勤特征分析研究——以上海市公共交通卡數(shù)據(jù)為例[J].伊犁師范學(xué)院學(xué)報(bào)（自然科學(xué)版），2019，13 （04）：7 6-84.

[7]邱俊杰.基于Python定向爬蟲技術(shù)對(duì)微博數(shù)據(jù)可視化設(shè)計(jì)與實(shí)現(xiàn)[J].電腦知識(shí)與技術(shù)，2020，16 （22）：4 3-4 4+47.

[8]方驥，謝慧敏.Python在大數(shù)據(jù)挖掘和分析中的應(yīng)用研究[J].數(shù)字技術(shù)與應(yīng)用，2020，38 （09）：75-76+81.

作者簡(jiǎn)介

周競(jìng)鴻（1976一），女，土家族，湖北省武漢市人。碩士學(xué)位，湖北國(guó)土資源職業(yè)學(xué)院講師。研究方向?yàn)橛?jì)算機(jī)應(yīng)用技術(shù)。