大數(shù)據(jù)技術(shù)基礎(chǔ)課程教學(xué)內(nèi)容設(shè)計(jì)

劉楊濤 張秋紅 唐丙寅

摘要：社會(huì)對(duì)大數(shù)據(jù)技術(shù)人才的需求量逐年增加，為了培養(yǎng)適應(yīng)社會(huì)需要的具有較強(qiáng)實(shí)踐能力的大數(shù)技術(shù)人才，必須對(duì)大數(shù)據(jù)技術(shù)基礎(chǔ)教學(xué)內(nèi)容進(jìn)行完善。文章介紹了課程的設(shè)計(jì)原則和教學(xué)目標(biāo)，確定了貫穿大數(shù)據(jù)技術(shù)中的數(shù)據(jù)采集、存儲(chǔ)、分析、應(yīng)用和數(shù)據(jù)可視化全過程的知識(shí)體系，并在此基礎(chǔ)上提出了比較完善的教學(xué)內(nèi)容設(shè)計(jì)方案。新的教學(xué)內(nèi)容在教學(xué)實(shí)踐中進(jìn)行了嘗試，該教學(xué)設(shè)計(jì)方案有利于學(xué)習(xí)實(shí)踐應(yīng)用能力的培養(yǎng)。

關(guān)鍵詞：大數(shù)據(jù)技術(shù)基礎(chǔ);知識(shí)體系;教學(xué)內(nèi)容;設(shè)計(jì)方案

中圖分類號(hào)：G642? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2022）01-0023-03

隨著社會(huì)的發(fā)展，數(shù)據(jù)量的激增，原有的數(shù)據(jù)處理方法已經(jīng)不能適應(yīng)社會(huì)發(fā)展的需要。一種以分布式技術(shù)為核心的大數(shù)據(jù)技術(shù)的出現(xiàn)，為海量數(shù)據(jù)處理提供新的思路和方法，也為企業(yè)業(yè)務(wù)分析和行業(yè)發(fā)展帶來了新的思維角度，提高了數(shù)據(jù)應(yīng)用力，推動(dòng)社會(huì)的影響和發(fā)展。大數(shù)據(jù)技術(shù)被越來越多的行業(yè)和部門所采用，社會(huì)對(duì)大數(shù)據(jù)技術(shù)人才需求也在逐年增加[1]。大數(shù)據(jù)技術(shù)的應(yīng)用關(guān)鍵是大數(shù)據(jù)技術(shù)應(yīng)用人才的培養(yǎng)。為了適應(yīng)社會(huì)對(duì)大數(shù)據(jù)技術(shù)人才的需求，目前數(shù)百所學(xué)校開設(shè)了大數(shù)據(jù)技術(shù)專業(yè)（方向）。如何培養(yǎng)適應(yīng)時(shí)代需求、具有大數(shù)據(jù)思維、掌握大數(shù)據(jù)技術(shù)的高素質(zhì)人才是各校面臨的問題[2]。

大數(shù)據(jù)技術(shù)基礎(chǔ)是大數(shù)據(jù)技術(shù)的基礎(chǔ)性課程，是學(xué)習(xí)大數(shù)據(jù)技術(shù)的先導(dǎo)課程。為了滿足時(shí)代的需求，應(yīng)完善大數(shù)據(jù)技術(shù)基礎(chǔ)課程的教學(xué)內(nèi)容設(shè)計(jì)。南陽理工學(xué)院是一所應(yīng)用型本科高校，加強(qiáng)學(xué)生的實(shí)踐應(yīng)用能力培養(yǎng)是我們的教學(xué)目標(biāo)之一。設(shè)計(jì)一套適合學(xué)生實(shí)踐應(yīng)用能力培養(yǎng)的大數(shù)據(jù)技術(shù)基礎(chǔ)課程教學(xué)內(nèi)容，有助于提高學(xué)生學(xué)習(xí)的積極性和主動(dòng)性，提高學(xué)生的學(xué)習(xí)效果和動(dòng)手能力。筆者以我校的大數(shù)據(jù)技術(shù)基礎(chǔ)教學(xué)實(shí)踐為基礎(chǔ)，就該課程的教學(xué)內(nèi)容設(shè)計(jì)問題進(jìn)行討論，期望給國內(nèi)同類高校參考和借鑒。

1 教學(xué)內(nèi)容設(shè)計(jì)的原則

目前國內(nèi)許多高校都開設(shè)了大數(shù)據(jù)技術(shù)基礎(chǔ)，各個(gè)學(xué)校的教學(xué)內(nèi)容設(shè)計(jì)上各用特色，但在知識(shí)章節(jié)上側(cè)重點(diǎn)不同。然而，在堅(jiān)持加強(qiáng)學(xué)生實(shí)踐應(yīng)用能力培養(yǎng)的目標(biāo)下，現(xiàn)有的內(nèi)容難以滿足需求[3]，需要從以下幾個(gè)方面考慮，對(duì)教學(xué)內(nèi)容進(jìn)行重新設(shè)計(jì)。

1）教學(xué)內(nèi)容應(yīng)“全”而非“難”。大數(shù)據(jù)技術(shù)基礎(chǔ)是一門技術(shù)導(dǎo)論課，有些院?？赡苤婚_設(shè)該門課程，后續(xù)不再開設(shè)大數(shù)據(jù)技術(shù)的其他課程，因此在授課內(nèi)容上應(yīng)該盡可能地全面，以保證學(xué)生較為全面地掌握大數(shù)據(jù)技術(shù)基礎(chǔ)知識(shí)。此外，該課程開設(shè)時(shí)間較早，此時(shí)學(xué)生掌握的基本理論并不全面，同時(shí)有限學(xué)時(shí)數(shù)的限制，因此教學(xué)內(nèi)容不宜難，要考慮學(xué)生知識(shí)的接受能力，教學(xué)深度要適宜。

2）及時(shí)更新知識(shí)體系統(tǒng)。當(dāng)前大數(shù)據(jù)技術(shù)迅速發(fā)展，不斷有新的技術(shù)出現(xiàn)。一些陳舊的技術(shù)在實(shí)際應(yīng)用中逐漸被淘汰，可以適當(dāng)刪減相關(guān)內(nèi)容以節(jié)約有限的學(xué)時(shí)，同時(shí)將一些新的技術(shù)應(yīng)用要及時(shí)更新和補(bǔ)充到教學(xué)內(nèi)容中去，適應(yīng)社會(huì)的用人需求。

3）重新梳理前后邏輯。不同的學(xué)校、不同的專業(yè)在開設(shè)大數(shù)據(jù)技術(shù)相關(guān)課程時(shí)，各自體系的邏輯順序不同。在制定教學(xué)內(nèi)容時(shí)，也要統(tǒng)籌考慮課程內(nèi)部的順序以及專業(yè)后續(xù)課程的邏輯銜接。

4）加強(qiáng)實(shí)踐內(nèi)容設(shè)置。豐富完善的實(shí)驗(yàn)教學(xué)內(nèi)容，有助于提高學(xué)生的學(xué)習(xí)興趣。在實(shí)踐安排上僅有綜合實(shí)習(xí)的內(nèi)容是不夠的，需要增加課內(nèi)實(shí)驗(yàn)，通過單個(gè)課內(nèi)實(shí)驗(yàn)項(xiàng)目，加強(qiáng)知識(shí)的學(xué)習(xí)和理解，對(duì)于課程的學(xué)習(xí)和學(xué)生應(yīng)用實(shí)踐能力的提高有很大的作用。

2 教學(xué)目標(biāo)

大數(shù)據(jù)技術(shù)基礎(chǔ)是大數(shù)據(jù)專業(yè)的基礎(chǔ)性課程，也是其他專業(yè)學(xué)生學(xué)習(xí)和了解大數(shù)據(jù)技術(shù)的導(dǎo)論課程。對(duì)于應(yīng)用型本科高校，培養(yǎng)學(xué)生具備一定的理論基礎(chǔ)，同時(shí)具用良好的實(shí)踐應(yīng)用能力是該類學(xué)校的培養(yǎng)目標(biāo)[4]。因此該門課程的教學(xué)目標(biāo)是通過該課程的學(xué)習(xí)能夠讓學(xué)生掌握大數(shù)據(jù)的基本概念，了解大數(shù)據(jù)技術(shù)及其應(yīng)用。具備大數(shù)據(jù)的思維[5]，能夠按照具體的工程項(xiàng)目的要求，選擇合適的軟硬件設(shè)備，設(shè)計(jì)大數(shù)據(jù)架構(gòu)的解決方案。能夠使用Hadoop大數(shù)據(jù)處理架構(gòu)及其生態(tài)系統(tǒng)，完成分布式存儲(chǔ)系統(tǒng)和分布式運(yùn)算系統(tǒng)的搭建，能夠使用相應(yīng)的工具和方法實(shí)現(xiàn)大數(shù)據(jù)的采集、存儲(chǔ)、簡單處理和分析，并實(shí)現(xiàn)數(shù)據(jù)的可視化展示。

3 知識(shí)體系

大數(shù)據(jù)技術(shù)是一種海量數(shù)據(jù)采集及預(yù)處理、存儲(chǔ)及管理、數(shù)據(jù)分析與挖掘、大數(shù)據(jù)應(yīng)用與展現(xiàn)及應(yīng)用等一系列新技術(shù)的總稱。大數(shù)據(jù)技術(shù)應(yīng)用主要圍繞大數(shù)據(jù)應(yīng)用中的“數(shù)據(jù)采集與預(yù)處理、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析、數(shù)據(jù)應(yīng)用與可視化”四個(gè)環(huán)節(jié)[6]。目前，大數(shù)據(jù)技術(shù)主要采用Hadoop大數(shù)據(jù)處理架構(gòu)及其生態(tài)系統(tǒng)的相關(guān)開源軟件[7]，因此課程的知識(shí)體系主要是在掌握一定理論的基礎(chǔ)上，主要學(xué)習(xí)Hadoop大數(shù)據(jù)處理架構(gòu)及生態(tài)圈相關(guān)的數(shù)據(jù)處理技術(shù)、大數(shù)據(jù)應(yīng)用與可視化。并在此基本上通過具體的大數(shù)據(jù)應(yīng)用案例將相應(yīng)的知識(shí)點(diǎn)進(jìn)行綜合應(yīng)用。因此，課程的知識(shí)體系分為大數(shù)據(jù)基礎(chǔ)、大數(shù)據(jù)存儲(chǔ)、大數(shù)據(jù)分析、大數(shù)據(jù)應(yīng)用4個(gè)部分。

4 教學(xué)內(nèi)容設(shè)計(jì)

4.1 大數(shù)據(jù)基礎(chǔ)教學(xué)內(nèi)容

大數(shù)據(jù)基礎(chǔ)主要學(xué)習(xí)大數(shù)據(jù)的基本概念、大數(shù)據(jù)的應(yīng)用、大數(shù)據(jù)的關(guān)鍵技術(shù)、大數(shù)據(jù)產(chǎn)業(yè)的相關(guān)情況。內(nèi)容包括以下幾部分：

1）大數(shù)據(jù)概述。主要講述對(duì)大數(shù)據(jù)的總體認(rèn)識(shí)，內(nèi)容包括大數(shù)據(jù)時(shí)代背景、大數(shù)據(jù)的基本概念、大數(shù)據(jù)的應(yīng)用及對(duì)社會(huì)的影響，以及大數(shù)據(jù)與物聯(lián)網(wǎng)、人工智能的關(guān)系。

2）大數(shù)據(jù)關(guān)鍵技術(shù)介紹，主要介紹大數(shù)據(jù)的采集、存儲(chǔ)、分析和應(yīng)用的相關(guān)關(guān)鍵技術(shù)簡介，貫穿了大數(shù)據(jù)處理的全過程。

3）Hadoop大數(shù)據(jù)處理架構(gòu)。主要介紹目前主流的開源的大數(shù)據(jù)處理架構(gòu)Hadoop。

4.2 大數(shù)據(jù)存儲(chǔ)技術(shù)教學(xué)內(nèi)容

大數(shù)據(jù)存儲(chǔ)技術(shù)主要介紹大數(shù)據(jù)的存儲(chǔ)方法，包括以文件形式存儲(chǔ)數(shù)據(jù)的HDFS分布式文件系統(tǒng)和以數(shù)據(jù)庫存儲(chǔ)數(shù)據(jù)的分布式數(shù)據(jù)庫HBase兩種。

1）HDFS分布式文件系統(tǒng)。主要介紹HDFS分布式系統(tǒng)的相關(guān)概念、基本結(jié)構(gòu)、存儲(chǔ)原理、工作原理及基本操作，以及HDFS編程基礎(chǔ)。

2）分布式數(shù)據(jù)庫HBase。主要介紹HBase數(shù)據(jù)庫的特點(diǎn)、應(yīng)用場景、數(shù)據(jù)訪問接口、數(shù)據(jù)模型、工作機(jī)制與運(yùn)行原理、數(shù)據(jù)集群的安裝配置與操作和HBase Java API編程基礎(chǔ)。

4.3 大數(shù)據(jù)處理與分析教學(xué)內(nèi)容

大數(shù)據(jù)處理與分析主要介紹基于Hadoop生態(tài)系統(tǒng)的各種大數(shù)據(jù)處理與分析工具的使用方法。

1）分布式日志采集系統(tǒng)Flume。主要介紹海量日志的采集工具Flume的特點(diǎn)、使用場景、工作原理和使用方法。

2）數(shù)據(jù)交換工具Sqoop。主要介紹數(shù)據(jù)Sqoop的特點(diǎn)，應(yīng)用場景以及使用方法。

3）分布式協(xié)調(diào)服務(wù)的Zookeeper。主要介紹分布式協(xié)調(diào)服務(wù)的概述、Zookeeper的特點(diǎn)、Zookeeper的工作原理和Zookeeper的使用方法。

4）MapReduce分布式并行處理框架。主要介紹Mapreduce架構(gòu)的基本特點(diǎn)、模型簡介、工作原理和Mapreduce的具體應(yīng)用。

5）分布式數(shù)據(jù)分析工具Pig。主要介紹Pig的特點(diǎn)、基本概念、工作原理、使用方法和Pig的應(yīng)用案例。

6）大數(shù)據(jù)處理框架spark。主要介紹Spark的特點(diǎn)、Scala語言、Spark運(yùn)行框架、Spark的部署和應(yīng)用、Spark編程。

7）分布式數(shù)據(jù)倉庫Hive。主要介紹Hive出現(xiàn)的背景、Hive的構(gòu)成、Hive的使用方法和Hive的應(yīng)用案例。

8）數(shù)據(jù)可視化。本章內(nèi)容主要概述什么是數(shù)據(jù)可視化、可視化的發(fā)展歷程和重要作用，介紹桌面可化化、OLAP可視化和Web可視化的方法，重點(diǎn)掌握Web可視化中Echars的可視化編程方法。

4.4 大數(shù)據(jù)應(yīng)用教學(xué)內(nèi)容

大數(shù)據(jù)應(yīng)用主要介紹大數(shù)據(jù)技術(shù)在各行各業(yè)的應(yīng)用情況以及具體的案例。通過具體的案例講解讓學(xué)生了解大數(shù)據(jù)技術(shù)的實(shí)際應(yīng)用方法，提高實(shí)踐應(yīng)用動(dòng)手能力。

1）大數(shù)據(jù)在行業(yè)各業(yè)的應(yīng)用情況。概述大數(shù)據(jù)在互聯(lián)網(wǎng)、健康醫(yī)療、現(xiàn)代農(nóng)業(yè)、現(xiàn)代物流、現(xiàn)代金融和城市管理、數(shù)字政府中的具體應(yīng)用。了解大數(shù)據(jù)庫在社會(huì)生產(chǎn)和生活中具體應(yīng)用

2）大數(shù)據(jù)應(yīng)用案例。本章節(jié)內(nèi)容主要是通過一個(gè)具體的大數(shù)據(jù)應(yīng)用案例，培養(yǎng)學(xué)生的大數(shù)據(jù)技術(shù)的綜合應(yīng)用能力，該案例要求貫穿大數(shù)據(jù)的采集與預(yù)處理、大數(shù)據(jù)存儲(chǔ)、大數(shù)據(jù)分析與可視化。具體的案例如智能推薦系統(tǒng)、用戶網(wǎng)站行業(yè)分析、OTA離線數(shù)據(jù)分析等。

4.5 大數(shù)據(jù)課堂實(shí)驗(yàn)教學(xué)內(nèi)容

課程的學(xué)習(xí)僅僅依靠綜合實(shí)習(xí)是不夠的，必須增加相應(yīng)的課堂實(shí)驗(yàn)操作，以驗(yàn)證所學(xué)的知識(shí)，提高知識(shí)的實(shí)際應(yīng)用能力。對(duì)于大數(shù)據(jù)技術(shù)基礎(chǔ)而言，一門偏重技術(shù)實(shí)踐的課程，課程實(shí)驗(yàn)尤為重要。大數(shù)據(jù)技術(shù)基礎(chǔ)課程實(shí)驗(yàn)的內(nèi)容安排如表1所示。

5主要?jiǎng)?chuàng)新與特色

1）教學(xué)內(nèi)容設(shè)計(jì)較為全面

根據(jù)社會(huì)對(duì)大數(shù)據(jù)人才的需求，按照宜“全”忌“難”的原則，既有一定的理論基礎(chǔ)，又有大量的技術(shù)應(yīng)用，建立了較為全面的教學(xué)內(nèi)容。在第一部分大數(shù)據(jù)基本知識(shí)的基礎(chǔ)上，介紹了大數(shù)據(jù)的架構(gòu)、處理、分析和應(yīng)用的各種新技術(shù)，涵蓋了大數(shù)據(jù)處理技術(shù)的各個(gè)方面。

2）知識(shí)體系與科技發(fā)展同步

根據(jù)大數(shù)據(jù)技術(shù)的發(fā)展和應(yīng)用現(xiàn)狀，及時(shí)調(diào)整了大數(shù)據(jù)庫技術(shù)的知識(shí)體系，保持課堂教學(xué)內(nèi)容與社會(huì)技術(shù)應(yīng)用同步。第三部分增加了Flume海量日志采集和Spark處理框架。

3）貫穿大數(shù)據(jù)技術(shù)全過程

大數(shù)據(jù)應(yīng)用技術(shù)教學(xué)內(nèi)容貫穿大數(shù)據(jù)采集-存儲(chǔ)-分析-應(yīng)用的全過程，能更清晰完整地展現(xiàn)大數(shù)據(jù)技術(shù)的全流程。在技術(shù)應(yīng)用部分分為大數(shù)據(jù)存儲(chǔ)、大數(shù)據(jù)處理和大數(shù)據(jù)應(yīng)用三個(gè)層面，全面系統(tǒng)地介紹大數(shù)據(jù)的應(yīng)用技術(shù)。

4）加強(qiáng)實(shí)踐應(yīng)用能力培養(yǎng)

課程內(nèi)容更加注重學(xué)生的應(yīng)用實(shí)踐能力培養(yǎng)，而非純理論。課程共計(jì)設(shè)置24個(gè)學(xué)時(shí)的課堂實(shí)驗(yàn)，在教學(xué)部分安排2個(gè)學(xué)時(shí)的應(yīng)用舉例和2個(gè)學(xué)時(shí)的案例講解，有利于提高學(xué)生的應(yīng)用實(shí)踐能力的培養(yǎng)，激發(fā)了學(xué)生的學(xué)習(xí)興趣。

6 結(jié)束語

社會(huì)對(duì)大數(shù)據(jù)技術(shù)人才的需求量逐年增加，社會(huì)需要大量實(shí)踐應(yīng)用能力較強(qiáng)的大數(shù)技術(shù)人才。實(shí)現(xiàn)以提高學(xué)生應(yīng)用實(shí)踐能力為目標(biāo)的教學(xué)內(nèi)容改革，對(duì)培養(yǎng)大數(shù)據(jù)技術(shù)人才有重要的意義。本文針對(duì)大數(shù)據(jù)技術(shù)基礎(chǔ)的教學(xué)目標(biāo)，結(jié)合社會(huì)的人才需求，提出了新的教學(xué)內(nèi)容設(shè)計(jì)方案，包括設(shè)知識(shí)體系、理論教學(xué)內(nèi)容和實(shí)踐教學(xué)內(nèi)容的調(diào)整。教學(xué)內(nèi)容安排從基礎(chǔ)理論、基本架構(gòu)、處理技術(shù)和綜合應(yīng)用這4個(gè)方面，由理論到實(shí)踐，由簡到難順序向前推進(jìn)。新的教學(xué)內(nèi)容在教學(xué)實(shí)踐中進(jìn)行了嘗試，該教學(xué)內(nèi)容有利于學(xué)習(xí)實(shí)踐應(yīng)用能力的培養(yǎng)，有助于學(xué)生更加深刻理解大數(shù)據(jù)技術(shù)，激發(fā)學(xué)生學(xué)習(xí)的積極性，為學(xué)生后續(xù)大數(shù)據(jù)技術(shù)的學(xué)習(xí)提供保證。今后，該教學(xué)內(nèi)容存在的不足有待在后期的教學(xué)實(shí)踐活動(dòng)中進(jìn)一步改進(jìn)。

參考文獻(xiàn)：

[1] 馮永，鐘將，李學(xué)明，等.共智融合的大數(shù)據(jù)智能化人才培養(yǎng)研究與實(shí)踐[J]. 中國電化教育， 2021（4）：16-25.

[2] 莫禮平，周愷卿.基于CDIO理念的大數(shù)據(jù)專業(yè)實(shí)踐類課程教學(xué)設(shè)計(jì)模式研究[J].現(xiàn)代計(jì)算機(jī)， 2020（27）：63-67.

[3] 張志偉，房愛東，崔琳，等.新工科背景下大數(shù)據(jù)專業(yè)建設(shè)探究[J].攀枝花學(xué)院學(xué)報(bào)，2018，35（5）：107-111.

[4] 周黎鳴，林英豪，李征，等.新工科背景下大數(shù)據(jù)專業(yè)課程建設(shè)[J].計(jì)算機(jī)時(shí)代，2021（1）：102-105.

[5] 吳啟明，尹蘭蘭，林芳.地方應(yīng)用型本科院校人才培養(yǎng)質(zhì)量保障體系的構(gòu)建——以數(shù)據(jù)科學(xué)與大數(shù)據(jù)專業(yè)為例[J].高教學(xué)刊，2020（26）：146-149.

[6] 許安見，鄒楊.數(shù)據(jù)科學(xué)與大數(shù)據(jù)專業(yè)培養(yǎng)方案探討[J].教育教學(xué)壇，2019（5）：45-46.

[7] 王建芳.大數(shù)據(jù)時(shí)代計(jì)算機(jī)科學(xué)與技術(shù)專業(yè)應(yīng)用型人才培養(yǎng)研究[J].齊齊哈爾大學(xué)學(xué)報(bào)（哲學(xué)社會(huì)科學(xué)版），2021（3）：185-188.

【通聯(lián)編輯：王力】

收稿日期：2021-04-09

基金項(xiàng)目：南陽理工學(xué)院“操作系統(tǒng)原理”一流課程建設(shè)基本（編號(hào)：270112）

作者簡介：劉楊濤（1980—），男，河南羅山人，講師，碩士，研究方向?yàn)榇髷?shù)據(jù)應(yīng)用技術(shù)。

3290500589214