李秀秀?沈洪銳

摘要：針對大數(shù)據(jù)導(dǎo)論課程教學(xué)中存在的學(xué)生專業(yè)基礎(chǔ)薄弱、課程內(nèi)容多且結(jié)構(gòu)復(fù)雜、傳統(tǒng)教學(xué)手段教學(xué)效果不佳等問題，提出了利用大數(shù)據(jù)實訓(xùn)平臺和工程案例進行實踐教學(xué)的優(yōu)勢，闡述了課程重點內(nèi)容的具體教學(xué)設(shè)計思路。

關(guān)鍵詞：大數(shù)據(jù)導(dǎo)論;大數(shù)據(jù)實訓(xùn)平臺;實踐教學(xué)

隨著大數(shù)據(jù)時代的到來，大數(shù)據(jù)技術(shù)應(yīng)用越來越受到各行各業(yè)的重視。大數(shù)據(jù)導(dǎo)論課程的目標和任務(wù)是通過課程的學(xué)習(xí)，使學(xué)生了解大數(shù)據(jù)相關(guān)基礎(chǔ)知識，熟悉大數(shù)據(jù)處理的主要環(huán)節(jié)（數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)存儲和管理、數(shù)據(jù)分析和數(shù)據(jù)展現(xiàn)），了解大數(shù)據(jù)處理各環(huán)節(jié)涉及的理論知識、技能和相關(guān)通用工具。該課程是大數(shù)據(jù)人才培養(yǎng)方向的學(xué)科基礎(chǔ)課程，對學(xué)生今后專業(yè)的深入學(xué)習(xí)具有基石作用，因而提高這門課程的教學(xué)質(zhì)量、培養(yǎng)學(xué)生濃厚的專業(yè)興趣具有重要意義[1]。

1大數(shù)據(jù)導(dǎo)論課程現(xiàn)階段存在的問題

1.1學(xué)生專業(yè)基礎(chǔ)薄弱

由于大數(shù)據(jù)導(dǎo)論課程為專業(yè)基礎(chǔ)課程，在課程開設(shè)時，學(xué)生還未學(xué)習(xí)相關(guān)的↓專業(yè)課程（如：hadoop技術(shù)、大數(shù)據(jù)采集和可視化、數(shù)據(jù)庫應(yīng)用、數(shù)據(jù)挖掘等）。在實際教學(xué)中發(fā)現(xiàn)，大部分學(xué)生對大數(shù)據(jù)專業(yè)認識尚淺，對深入的大數(shù)據(jù)技術(shù)理論知識難以理解。因而如何能在學(xué)生專業(yè)基礎(chǔ)薄弱的學(xué)情下，深入淺出地讓學(xué)生直觀感知大數(shù)據(jù)平臺（了解hadoop分布式存儲架構(gòu)及其組件，并能執(zhí)行相關(guān)操作指令），通過案例實踐學(xué)習(xí)大數(shù)據(jù)分析各環(huán)節(jié)內(nèi)容顯得十分必要[2]。

1.2課程內(nèi)容多且結(jié)構(gòu)復(fù)雜，傳統(tǒng)教學(xué)手段教學(xué)效果不佳

大數(shù)據(jù)導(dǎo)論課程內(nèi)容涉及范圍廣，體系龐雜。涵蓋大數(shù)據(jù)基礎(chǔ)知識、大數(shù)據(jù)技術(shù)處理流程和大數(shù)據(jù)應(yīng)用等方面[3]。而大數(shù)據(jù)技術(shù)處理流程這一主要模塊又包括數(shù)據(jù)采集與預(yù)處理、數(shù)據(jù)存儲與管理、數(shù)據(jù)分析與挖掘、數(shù)據(jù)可視化及數(shù)據(jù)安全與隱私保護等方面知識，如圖1所示。其中每一個處理流程包含各種傳統(tǒng)技術(shù)和前沿技術(shù)等不同模塊知識點介紹。以數(shù)據(jù)采集為例，在渠道來源方面有網(wǎng)頁、傳感器、數(shù)據(jù)庫等;在數(shù)據(jù)類型方面有文本、圖像、視頻等。如果使用python工具包從各源頭進行數(shù)據(jù)獲取，方法可多達十幾種。

面對課程繁雜的知識內(nèi)容和知識結(jié)構(gòu)，若采用傳統(tǒng)知識傳授型的授課方式，由于理論體系復(fù)雜，技術(shù)內(nèi)容深奧，學(xué)生對課程內(nèi)容難以消化吸收，授課效果較差，影響學(xué)習(xí)興趣。因此，如何能將課程的主要知識架構(gòu)和重難點知識在有限的課堂時間內(nèi)盡可能直觀、生動地讓學(xué)生理解，引起學(xué)生對專業(yè)學(xué)習(xí)的濃厚興趣，是大數(shù)據(jù)導(dǎo)論課程亟待解決的一個難題。

2.大數(shù)據(jù)實訓(xùn)平臺和工程案例在大數(shù)據(jù)導(dǎo)論實踐教學(xué)中的應(yīng)用

2.1大數(shù)據(jù)實訓(xùn)平臺的應(yīng)用

大數(shù)據(jù)處理平臺架構(gòu)是大數(shù)據(jù)導(dǎo)論的重點模塊內(nèi)容，是大規(guī)模數(shù)據(jù)處理的基礎(chǔ)架構(gòu)。以開源大數(shù)據(jù)分布式存儲和處理框架hadoop為例[3]，hadoop生態(tài)系統(tǒng)（如圖2所示）核心是分布式文件系統(tǒng)HDFS、分布式計算框架MapReduce，其他組件有數(shù)據(jù)采集系統(tǒng)Sqoop和Flume、分布式數(shù)據(jù)庫Hbase、數(shù)據(jù)倉庫工具hive等。

對此模塊進行實踐教學(xué)時存在兩大難題：一是學(xué)生缺乏搭建大數(shù)據(jù)分布式架構(gòu)所需的軟件基礎(chǔ)知識（如Linux基礎(chǔ)、java基礎(chǔ)和數(shù)據(jù)庫語言sql基礎(chǔ)）;二是學(xué)生使用單機進行大數(shù)據(jù)虛擬平臺搭建存在對硬件要求高、軟件安裝繁瑣的問題。大數(shù)據(jù)虛擬實訓(xùn)平臺以大數(shù)據(jù)分布式存儲系統(tǒng)HDFS為基礎(chǔ)，根據(jù)不同的實踐內(nèi)容安裝相應(yīng)的組件，既能讓學(xué)生免去繁瑣的基礎(chǔ)架構(gòu)搭建和組件安裝，又能通過終端指令界面直觀地進行Hdfs的文件操作、MapReduce分詞計算、Hive數(shù)據(jù)庫表格處理等實踐內(nèi)容，能較好地解決大數(shù)據(jù)架構(gòu)模塊實踐教學(xué)難的問題[4]。大數(shù)據(jù)實訓(xùn)平臺具體設(shè)計模塊如表1所示。

2.2工程案例的應(yīng)用

大數(shù)據(jù)導(dǎo)論課程另一重點內(nèi)容是大數(shù)據(jù)處理的一般過程（數(shù)據(jù)采集、數(shù)據(jù)清洗和預(yù)處理、數(shù)據(jù)存儲、數(shù)據(jù)分析和挖掘、數(shù)據(jù)可視化）相關(guān)的基本理論和技術(shù)。

根據(jù)理論課程教學(xué)進度（每個處理過程分章節(jié)講解），選擇不同類型的數(shù)據(jù)（如：結(jié)構(gòu)化表格、網(wǎng)頁文本、圖形等），設(shè)計實踐案例，要求學(xué)生在實際業(yè)務(wù)數(shù)據(jù)集上運用所學(xué)知識解決實際問題，提高學(xué)生的動手能力和學(xué)習(xí)興趣。本模塊的學(xué)習(xí)可由淺入深，分別采用描述性分析案例和數(shù)據(jù)挖掘案例進行實踐教學(xué)。描述性分析案例實踐重點培養(yǎng)學(xué)生數(shù)據(jù)清洗和預(yù)處理、數(shù)據(jù)統(tǒng)計結(jié)果獲取和結(jié)果展現(xiàn)的能力;數(shù)據(jù)挖掘案例實踐重點培養(yǎng)學(xué)生對數(shù)據(jù)寬表進行特征提取、建模和分析預(yù)測的能力[5]。

描述性分析案例具體設(shè)計思路：為了讓學(xué)生初步認識數(shù)據(jù)結(jié)構(gòu)，能夠跟著老師的講解，通過數(shù)據(jù)理解、數(shù)據(jù)預(yù)處理和數(shù)據(jù)分析，一步一步解決實際業(yè)務(wù)問題。筆者根據(jù)教學(xué)進度，設(shè)計難易適中的業(yè)務(wù)數(shù)據(jù)集和描述性分析任務(wù)，讓學(xué)生體驗通過用python編程，處理繁雜數(shù)據(jù)獲取信息的樂趣。

數(shù)據(jù)挖掘案例具體設(shè)計思路：數(shù)據(jù)挖掘案例涉及數(shù)據(jù)特征提取、建模和模型評估等環(huán)節(jié)，涉及算法知識，流程較為復(fù)雜;針對學(xué)生基礎(chǔ)薄弱的實情，此部分內(nèi)容重在讓學(xué)生直觀了解數(shù)據(jù)挖掘流程，為后續(xù)數(shù)據(jù)建模、數(shù)據(jù)挖掘課程學(xué)習(xí)打下基礎(chǔ)。結(jié)合學(xué)校已有實訓(xùn)平臺資源。筆者主要采取用python工具進行數(shù)據(jù)挖掘案例演示或?qū)W生登錄實訓(xùn)平臺，用已有案例進行數(shù)據(jù)挖掘流程操作。

3結(jié)束語

大數(shù)據(jù)導(dǎo)論課程既是一門基礎(chǔ)性課程也是一門綜合課程，相對于其他專業(yè)課程而言，本課程教學(xué)內(nèi)容的綜合性和復(fù)雜性特征更加突出。通過對大數(shù)據(jù)導(dǎo)論課程設(shè)計實踐教學(xué)模塊，我們發(fā)現(xiàn)，學(xué)生積極性大幅提升，課前能夠積極預(yù)習(xí)，課堂踴躍回答老師提問，課堂學(xué)習(xí)氛圍濃厚。課下，學(xué)生也能積極對課程相關(guān)專業(yè)知識進行擴展學(xué)習(xí)，極大地提高了學(xué)生學(xué)習(xí)的自主性和創(chuàng)造性，為后續(xù)專業(yè)課程的學(xué)習(xí)打下了良好的基礎(chǔ)。

參考文獻：

[1]張祖平.新工科背景下大數(shù)據(jù)專業(yè)導(dǎo)論課程的改革與探索[J].大數(shù)據(jù)，2018，4（06）：38-45.

[2]唐國明，雷軍，趙翔，唐九陽，郭得科.基于教育云平臺的數(shù)據(jù)科學(xué)導(dǎo)論翻轉(zhuǎn)課堂設(shè)計[J].計算機教育，2019（08）：18-22.

[3]張堯?qū)W.大數(shù)據(jù)導(dǎo)論[M].北京：機械工業(yè)出版社，2018.8

[4]覃雄派，陳躍國，李翠平，柴云鵬，徐君，文繼榮，杜小勇.“數(shù)據(jù)科學(xué)”課程群與“數(shù)據(jù)科學(xué)導(dǎo)論”課程建設(shè)初探[J].大數(shù)據(jù)，2018，4（06）：19-28.

[5]肖雄，韋茜妤，王萌.“新工科”背景下“數(shù)據(jù)科學(xué)導(dǎo)論”課程教學(xué)研究[J].工業(yè)和信息化教育，2020（03）：54-59.

[6]周蘇，王文.大數(shù)據(jù)導(dǎo)論[M].北京：清華大學(xué)出版社，2016.

資助項目：

2019年省本科高校質(zhì)量工程建設(shè)項目——《電子信息工程》特色專業(yè)（項目序號：69）;

全國教育信息技術(shù)研究課題（編號：176140036）。