王麗銘 黑龍江財(cái)經(jīng)學(xué)院
隨著大數(shù)據(jù)時(shí)代的到來,社會(huì)對(duì)大數(shù)據(jù)技術(shù)人才需求也越來越大,我國各高校開始申報(bào)數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè),2016年,教育部發(fā)布《2015年度普通高等學(xué)校本科專業(yè)備案和審批結(jié)果》中“數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)”,有3所大學(xué)獲批,2017年,教育部批準(zhǔn)了32所高校,2018年,有250所高校獲批,數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)得到迅猛發(fā)展,未來一片光明,同時(shí)很多高??礈?zhǔn)市場(chǎng),也對(duì)相關(guān)專業(yè)進(jìn)行調(diào)整,增設(shè)出大數(shù)據(jù)方向的課程,以培養(yǎng)大數(shù)據(jù)與其它專業(yè)相融合的復(fù)合型人才。
我校屬于地方性本科高校,目標(biāo)在于服務(wù)地方,培養(yǎng)應(yīng)用型人才。我校在學(xué)習(xí)產(chǎn)出的教育模式(OBE)與自身情況相結(jié)合的情況下,建設(shè)數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè),對(duì)學(xué)生畢業(yè)崗位定位于大數(shù)據(jù)架構(gòu)工程師、開發(fā)工程師、平臺(tái)運(yùn)維工程師、大數(shù)據(jù)分析師等,故開設(shè)包括高級(jí)語言程序設(shè)計(jì)II(Java)、數(shù)據(jù)庫系統(tǒng)及應(yīng)用、Linux操作系統(tǒng)、面向數(shù)據(jù)科學(xué)的編程語言(Python)、應(yīng)用統(tǒng)計(jì)學(xué)、大數(shù)據(jù)平臺(tái)及應(yīng)用、Spark大數(shù)據(jù)技術(shù)、Storm流式計(jì)算等課程,其中Linux操作系統(tǒng)、大數(shù)據(jù)平臺(tái)及應(yīng)用課程是面向大數(shù)據(jù)平臺(tái)運(yùn)維工程師崗位的主要課程,大數(shù)據(jù)平臺(tái)及應(yīng)用是在LINUX操作系統(tǒng)的基礎(chǔ)上講授hadoop集群及相關(guān)組件,如何將這門課程講好、讓學(xué)生學(xué)好,將學(xué)生培養(yǎng)成合格的大數(shù)據(jù)平臺(tái)運(yùn)維工程師是本門課程建設(shè)的主要目的。
課程建設(shè)包括教育思想、教學(xué)方法、教學(xué)手段、教學(xué)過程、師資隊(duì)伍、等多方面的內(nèi)容,從我校的實(shí)際情況出發(fā),結(jié)合自身學(xué)校、教師、學(xué)生特點(diǎn)探討適合我校特點(diǎn)的本門課程建設(shè)。
一、 在新工科建設(shè)的背景下,我校一直致力于基于成果導(dǎo)向的(OBE)與我校專業(yè)課相結(jié)合的研究,故本課程也是以成果導(dǎo)向?yàn)橹笇?dǎo),以大數(shù)據(jù)平臺(tái)運(yùn)維工程師崗位需求為目標(biāo),對(duì)學(xué)生知識(shí)、能力等方面進(jìn)行培養(yǎng)及訓(xùn)練。
(一)大數(shù)據(jù)平臺(tái)運(yùn)維工程師崗位職責(zé):
1.負(fù)責(zé)hadoop、HBase、Hive、Spark等大數(shù)據(jù)平臺(tái)規(guī)劃、部署、監(jiān)控、系統(tǒng)優(yōu)化等,確保高可用;2.負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)的運(yùn)維管理工作,集群容量規(guī)劃、擴(kuò)容及性能優(yōu)化及各類異常和故障,確保系統(tǒng)平臺(tái)的穩(wěn)定運(yùn)行;3.為數(shù)據(jù)倉庫、數(shù)據(jù)挖掘建模等數(shù)據(jù)應(yīng)用項(xiàng)目提供運(yùn)行環(huán)境支持。
(二)大數(shù)據(jù)平臺(tái)運(yùn)維工程師崗位要求:
1.掌握Linux操作系統(tǒng)的配置,管理及優(yōu)化,能夠獨(dú)立排查及解決操作系統(tǒng)層的各類問題;2.熟練掌握Python, shell中的至少一門語言,有Python運(yùn)維工具開發(fā)經(jīng)驗(yàn)優(yōu)先;3.熟悉Hadoop生態(tài)及高性能緩存相關(guān)的各種工具并有實(shí)戰(zhàn)經(jīng)驗(yàn),包括但不限于 Hadoop、HBase、Hive、Spark、impala、zookeeper、kafka、Elasticsearch、oozie、yarn、Scribe、Flume、Storm 等;4. 熟 悉 大數(shù)據(jù)平臺(tái)的監(jiān)控以及調(diào)優(yōu),有獨(dú)立分析問題和解決問題的能力。
二、針對(duì)崗位需求,在本課程中制定培養(yǎng)目標(biāo)如下:
1.理解hadoop生態(tài)圈內(nèi)的相關(guān)組件,并能熟練應(yīng)用;2.理解hadoop集群架構(gòu)原理及安裝運(yùn)維;3.理解HDFS工作原理,并能夠進(jìn)行編程實(shí)踐;4.理解MapReduce工作原理,并能夠進(jìn)行編程實(shí)踐。
由于本課程是一門實(shí)踐性很強(qiáng)的課程,故對(duì)實(shí)踐內(nèi)容做如下設(shè)計(jì):
1.hadoop 偽分布安裝實(shí)驗(yàn);2.hadoop平臺(tái)安裝實(shí)驗(yàn);3.部署YARN集群實(shí)驗(yàn);4.HDFS實(shí)驗(yàn);5.MapReduce實(shí)驗(yàn);6.部署Hive及應(yīng)用實(shí)驗(yàn);7.部署ZooKeeper實(shí)驗(yàn);8.部署HBase及應(yīng)用實(shí)驗(yàn);9.Spark安裝及應(yīng)用實(shí)驗(yàn);10.部署Storm實(shí)驗(yàn);11.hadoop中其它組件的安裝及應(yīng)用。
通過本課程學(xué)習(xí),培養(yǎng)學(xué)生實(shí)踐動(dòng)手能力、獨(dú)立思考問題和解決問題的能力,達(dá)到使學(xué)生能夠正確靈活地利用相關(guān)知識(shí)點(diǎn)來解決相關(guān)問題的目標(biāo)。
三、本課程是一門理論與實(shí)踐并重的課程,所以課程設(shè)計(jì)是邊講邊練,講練結(jié)合的教學(xué)方式,先理論后馬上實(shí)踐,再總結(jié)實(shí)踐上升到理論支撐,大數(shù)據(jù)技術(shù)日新月異,進(jìn)步飛速,所以讓學(xué)生學(xué)會(huì)己有的知識(shí)只是最低要求,重點(diǎn)是讓學(xué)生學(xué)會(huì)如何學(xué)習(xí)這些知識(shí),如何運(yùn)用這些知識(shí)解決實(shí)際工作中的困難。目前市場(chǎng)是有許多開發(fā)成熟的大數(shù)據(jù)實(shí)驗(yàn)系統(tǒng),并且有很多公司可以針對(duì)學(xué)校具體情況進(jìn)行調(diào)整及修改,但是針對(duì)我校特點(diǎn)及對(duì)本門課程的定位等情況,本實(shí)踐環(huán)節(jié)以學(xué)生全部動(dòng)手的思想為指導(dǎo),進(jìn)行實(shí)驗(yàn)設(shè)置,具體如下:
1.實(shí)驗(yàn)一的“hadoop偽分布安裝實(shí)驗(yàn)”先讓學(xué)生在自己機(jī)器中進(jìn)行安裝,以訓(xùn)練學(xué)生對(duì)LINUX操作系統(tǒng)、虛擬機(jī)等技術(shù)掌握和應(yīng)用,同時(shí)在自己機(jī)器上安裝hadoop相關(guān)組件,先對(duì)hadoop平臺(tái)有總體認(rèn)識(shí),配合理論教學(xué),深入理解hadoop集群及生態(tài)圈中組件的應(yīng)用;2.從實(shí)驗(yàn)二開始,多個(gè)同學(xué)組合進(jìn)行實(shí)驗(yàn)平臺(tái)搭建,此時(shí)不再做偽分布式,而且讓學(xué)生將自己機(jī)器安裝LINUX操作系統(tǒng),并進(jìn)行hadoop集群的安裝布署,在安裝完成后進(jìn)行測(cè)試及節(jié)點(diǎn)的添加等相關(guān)技術(shù)的實(shí)驗(yàn),以培養(yǎng)學(xué)生靈活應(yīng)用hadoop集群的能力;3.在基礎(chǔ)平臺(tái)搭建完成后,其它實(shí)驗(yàn)可以進(jìn)行,將在hadoop平臺(tái)上進(jìn)行編程開發(fā),組件安裝,數(shù)據(jù)存儲(chǔ),數(shù)據(jù)分析等操作。
四、本課程設(shè)計(jì)是以學(xué)生為中心,以O(shè)BE為支撐,強(qiáng)調(diào)學(xué)生學(xué)習(xí)獲得的最終能力及成果,為此課程整體進(jìn)行反向設(shè)計(jì),這樣使教師在教學(xué)過程中目標(biāo)明確,方法多樣,能夠抓住學(xué)生,把整個(gè)教學(xué)過程融合到一起,但是這些環(huán)節(jié)中還有一個(gè)必不可少的環(huán)節(jié)就是考核,考核既是整個(gè)教學(xué)環(huán)節(jié)的最后一環(huán),也是第一個(gè)環(huán)節(jié),你教成什么樣子最終是否達(dá)到標(biāo)準(zhǔn)是考核的的目標(biāo),但是在OBE理念中,考核的不僅是知識(shí),更重要的是能力,所以考核的設(shè)計(jì)至關(guān)重要,同是考核也是教學(xué)環(huán)節(jié)中的第一步,原因在于有教學(xué)目標(biāo),有考核目標(biāo),上課時(shí)的內(nèi)容,過程,方法等一切手段都是為此服務(wù),教學(xué)目標(biāo)和考核也是相輔相承的,這幾個(gè)環(huán)節(jié)是密不可分的。
大數(shù)據(jù)平臺(tái)及應(yīng)用課程不僅可以做為數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)的一門專業(yè)課程,還可以做為計(jì)算機(jī)網(wǎng)絡(luò)、統(tǒng)計(jì)學(xué)等相關(guān)專業(yè)的方向課程,更可以做從事大數(shù)據(jù)平臺(tái)運(yùn)維工程師的人員做為學(xué)習(xí)參考,故在課程建設(shè)過程中要進(jìn)行微課、視頻錄像等教學(xué)資源的制作及開放。