李莎莎 付曉飛

DOI：10.16660/j.cnki.1674-098x.2011-5640-1128

摘? 要：本文采用實驗設(shè)計的方法，對數(shù)據(jù)進(jìn)行分類處理，分析影響本科課程教學(xué)效果的主要因素?？紤]到可重復(fù)性，數(shù)據(jù)在同一高校連續(xù)兩年進(jìn)行收集。實驗結(jié)果顯示，學(xué)生主觀上對影響教學(xué)效果因素的看法與采用實驗設(shè)計方法得出的結(jié)果并不完全相同。該實驗設(shè)計方法可以為本科高等教育過程中提升教學(xué)效果提供更廣泛準(zhǔn)確的理論依據(jù)。本次實驗的局限性之一，實驗選取的案例課程，為較受學(xué)生喜愛的課專業(yè)程之一，但針對不受大學(xué)生歡迎的課程進(jìn)行實驗研究，也是十分必要。該研究只針對本科生課程，研究生課程結(jié)果可能會有所不同。這將是未來研究的重點，可以對比出本科生與研究生教學(xué)方法的不同之處。本文得出的結(jié)果，可以幫助參與教學(xué)的老師了解教學(xué)過程中提高學(xué)生滿意度的因素及其原因，并揭示了實驗分析法可應(yīng)用到高等教育等領(lǐng)域的評估中。

關(guān)鍵詞：教學(xué)效果? 高等教育? 實驗設(shè)計? 滿意度

中圖分類號：G642? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識碼：A? ? ? ? ? ? ? ? ? ? 文章編號：1674-098X（2021）01（c）-0181-07

The Research of Teaching Effectiveness in the Higher Education Using Experimental Design

LI Shasha? FU Xiaofei*

（Heilongjiang Institute Technology， Harbin， Heilongjiang Province， 150001 China）

Abstract： The purpose of the paper is to demonstrate the power of experimental design as a technique to understand and evaluate the most important factors which influence teaching effectiveness in the Higher Education.The data was collected over a 2 year period from a postgraduate course offered by the same tutor for repeatability reasons.The key findings of the experiment have clearly indicated that students perceptions of teaching effectiveness based on intuition and guesswork are not identical to the outcomes from a simple designed experiment. Moreover， the results of the experiment provided a greater stimulus for the wider applications of the technique to other processes across the case study higher education sector.One of the limitations of the study is that the experiment was conducted for a popular undergraduate course. It would be beneficial to understand the results of the experiment for less popular undergraduate courses in the university in order to drive improvements.Moreover， this research was conducted only for undergraduate courses and the results may vary for post-graduate courses. This would be an interesting study to understand the differences in the factors between undergraduate and postgraduate teaching effectiveness.The outcome of this experiment would help everyone who is involved in teaching to understand the factors and their influences to improve students satisfaction scores during the delivery of teaching.This paper shows how experimental design as a pure manufacturing technique can be extended to a higher education setting.

Key Words： Teaching effectiveness; Higher education; Experimental design; Satisfaction

實驗設(shè)計方法已被證明是過程優(yōu)化中最有效的技術(shù)之一，幾十年來在提高制造過程的效率、能力及性能的研究中被廣泛的應(yīng)用。但這種技術(shù)在服務(wù)流程或非制造環(huán)境中的應(yīng)用是非常有限的，目前只有少數(shù)文章對其展開過討論。實驗設(shè)計的方法可以使研究者和實驗者以最少的試驗或測試次數(shù)同時了解多個過程及變量之間的影響，可以直接代替?zhèn)鹘y(tǒng)的“嘗試和錯誤”實驗方法，傳統(tǒng)方法依靠直覺、猜測和運氣，不能保證其成功率。盡管實驗設(shè)計方法已存在數(shù)十年，但還并沒有很好將其用于解決服務(wù)流程的效率和有效性問題。

學(xué)生及用人單位對高校的教學(xué)質(zhì)量及效果越來越看中，因此，必須定期評估影響教學(xué)質(zhì)量的最關(guān)鍵因素或變量，以便有效地滿足學(xué)生及用人單位的需求。實驗設(shè)計的引入，可以明確影響教學(xué)效果的關(guān)鍵因素，消除不確定性，從而為高校和教育部門提供有效可靠的理論參考數(shù)據(jù)。

關(guān)于實驗設(shè)計應(yīng)用到服務(wù)設(shè)計與環(huán)境中的相關(guān)文獻(xiàn)較少，下面主要介紹在非制造領(lǐng)域下使用實驗設(shè)計的文獻(xiàn)綜述，其中更側(cè)重于高等教育及教學(xué)效果的文獻(xiàn)綜述。文章的最后，介紹了實施過程中的一些挑戰(zhàn)，并以實際數(shù)據(jù)對影響本科生教學(xué)效果的因素展開研究。此外，還介紹了該研究方法的局限性和實際意義，并提出了該方法的未來研究方向。

1? 文獻(xiàn)綜述

在高等教育研究中采用實驗設(shè)計方法的相關(guān)文獻(xiàn)較少，這表明在高等教育過程中該方法應(yīng)用的潛力還有待開發(fā)。Barone和Lo France就職于意大利巴勒莫大學(xué)的環(huán)境工程專業(yè)，他們結(jié)合了服務(wù)質(zhì)量模型進(jìn)行了實驗設(shè)計方法的研究[1]。這項研究歷時兩年，其中24名學(xué)生參加了兩次該學(xué)術(shù)統(tǒng)計過程。實驗結(jié)果顯示，師生互動是影響學(xué)生滿意度的最主要因素。

Antony、Sivanathan和Gijo在兩個年級進(jìn)行了三個因素的實驗，以此評估可能影響本科和研究生課程質(zhì)量的因素[2]。這三個因素包括：授課內(nèi)容，授課人數(shù)以及授課時間。研究表明，課程的授課時間和內(nèi)容是本科和研究生課程的重要因素。而且，本科生更喜歡下午上課，但研究生表示上午上課的學(xué)習(xí)效率相對較高。Pee、Park和Yoo提出了一個關(guān)于實驗設(shè)計的案例研究，用以提高韓國首爾一所大學(xué)的教學(xué)質(zhì)量[3]。該研究定量和定性地分析了影響教師授課質(zhì)量的因素，并選擇了兩項可以由教師控制的因素和三個不由教師控制的因素進(jìn)行分析，分析結(jié)果用以探索最佳的授課方法。結(jié)果顯示，在授課之初，保持與學(xué)生的親密關(guān)系并保持兩個月舉行一次學(xué)習(xí)交流會，該種方法最為有效。

如何衡量教師的教學(xué)效果一直存在激烈的爭論。其主要原因是缺乏明確的教學(xué)效果定義，根據(jù)Ding和Sherman的研究，教學(xué)效果與其概念有明顯的不同之處[4]。例如，作為教師，其本專業(yè)領(lǐng)域研究的深度與教學(xué)效果不一定正比。我認(rèn)為教學(xué)效果的有效性，應(yīng)該是被教師和學(xué)生雙方面認(rèn)可的。教學(xué)效果并非僅僅是學(xué)生的學(xué)習(xí)效果，同時也包含了其對學(xué)習(xí)過程的滿意程度。本文的研究就是針對這種定義展開的，該定義將單純意義下的教學(xué)效果與學(xué)生的學(xué)習(xí)過程及感受相關(guān)聯(lián)。在本次研究中，力求從學(xué)習(xí)的角度去理解影響教學(xué)效果的因素。

教師教學(xué)效能的差異是影響學(xué)生增長的最大因素，其影響一般大于班級規(guī)模，學(xué)生家庭條件以及其他一些影響學(xué)生學(xué)習(xí)的因素。教學(xué)方法則可以直接影響學(xué)生的學(xué)習(xí)熱情。在另一項研究中Marsh和Hattie使用學(xué)生對教學(xué)的感知作為教學(xué)效能的衡量標(biāo)準(zhǔn)，而不是試圖直接用學(xué)生的學(xué)習(xí)情況來衡量評估結(jié)果[5-6]。在本次研究中，采用了類似的方法，并且完全根據(jù)學(xué)生對教學(xué)效果的看法進(jìn)行科學(xué)實驗。

國外的教育學(xué)家McKeachie將教學(xué)效果定義為“促進(jìn)學(xué)生實現(xiàn)教育目標(biāo)的程度”[7]。有的研究者通過對教師的總體評價和課程價值來衡量教學(xué)效果，有的則通過學(xué)習(xí)成果來衡量。如果沒有正確的教學(xué)效果評估模式會導(dǎo)致錯誤的衡量結(jié)果。而教學(xué)效果顯然是一個非常復(fù)雜且非常個人化的評估過程，其中包含許多變量。據(jù)報道，教學(xué)效果的質(zhì)量與學(xué)生的學(xué)習(xí)成績有直接關(guān)系[8]。根據(jù)不同學(xué)者的研究，有幾個因素是會影響教學(xué)效果的。教學(xué)效果與教師能力之間有很強(qiáng)的關(guān)系。因此，影響教師能力的因素也可能對教學(xué)效果有一定程度的影響。教師的效能可能會受到教師個人特征的影響，這些特征包括敬業(yè)精神，思維、推理、期望值和領(lǐng)導(dǎo)能力。有些學(xué)者還指出，影響教師效能的因素還包括內(nèi)容知識，教學(xué)實踐，課堂管理技能和課堂環(huán)境等等[9-10]。

2? 實驗部分

本文主要針對以下兩個目標(biāo)進(jìn)行實驗設(shè)計：（1）實驗設(shè)計不僅僅只能應(yīng)用在制造設(shè)計中;（2）將實驗設(shè)計應(yīng)用于高等教育研究中。實驗抽取了黑龍江某高校不同年級和專業(yè)的本科生為調(diào)研對象。實驗分為以下四個步驟：①實驗的前期規(guī)劃;②設(shè)計實驗步驟;③進(jìn)行實驗;④實驗結(jié)果分析。

2.1 實驗前期規(guī)劃

在規(guī)劃階段，要求學(xué)生從自我主觀角度去評價影響教學(xué)效果的因素。抽取兩個年級100多名學(xué)生，學(xué)生被分成多個小組，每個小組人數(shù)不多于8人。從學(xué)生的主觀角度，影響教學(xué)效果的因素主要由兩部分決定，第一是教師的授課內(nèi)容是否與實際應(yīng)用關(guān)聯(lián)緊密，第二是課程所用教材是否容易理解，便于學(xué)習(xí)。為了試圖引導(dǎo)學(xué)生找到影響教學(xué)效果的潛在因素和過程變量，實驗選取的教師具有10年的授課經(jīng)驗和專業(yè)背景。在本次研究中，教學(xué)效果主要參考學(xué)生的反映情況以及教學(xué)質(zhì)量特征。為了簡單起見，每個影響因素定義兩個等級。假設(shè)因素的影響是線性的，因素的定義和等級由各個小組中的學(xué)生來確定。經(jīng)過試驗，學(xué)生初步確定了20個潛在因素及其級別，見表1。

隨后分別對各個小組進(jìn)行多次投票將初始因素減少到可控的數(shù)量。在進(jìn)行多次投票后確定了前11個因素，以便后續(xù)進(jìn)行篩選，進(jìn)一步確定最重要因素。見表2。

為了研究兩個等級的11個因素，采用Plackett-Burman 判別方法設(shè)計實驗。將實驗對象分為14個小組，每組7～8個人。每個小組對影響教學(xué)效果的因素進(jìn)行1～10范圍的評分，1是最低分，10是最高分，分別選取兩個不同年級的學(xué)生進(jìn)行相同實驗，以此可提高實驗的可重復(fù)性。

2.2 實驗設(shè)計階段

根據(jù)實驗在前期規(guī)劃中得到的因素組合，展開實驗設(shè)計。在這部分，采用12次的PB篩選試驗，篩選試驗設(shè)計不能區(qū)分主效應(yīng)與交互作用的影響，但對顯著影響的因子可以確定出來，因此，該設(shè)計僅用于研究主要效果，而在實驗中研究或分析因素間強(qiáng)烈的相互作用時，則不應(yīng)使用這種方法。Plackett-Burman的設(shè)計在確定最少的實驗運行或試驗中最重要的因素方面非常強(qiáng)大[7]。表3為以編碼格式顯示的篩選試驗表。篩選試驗表中每個因子的低等級由“ -1”代替，高等級由“ +1”代替。

2.3 試驗實施階段

選取2016級和2017級第一學(xué)期，來自同一學(xué)校的100多名本科生采集實驗數(shù)據(jù)。為提高試驗的可信度，Plackett-Burman試驗設(shè)計采用了完全相同的因素，實驗進(jìn)行12次，選取11個影響教學(xué)效果的因素，這使實驗可以有足夠的自由度來計算實驗誤差。表4中最后一列為2016級和2017級教學(xué)效果平均分?jǐn)?shù)，可以看出相同試驗條件下不同年級之間的平均分?jǐn)?shù)存在差異。

2.4 實驗結(jié)果分析

接下來我們對所得的實驗數(shù)據(jù)進(jìn)行分析，以得到有效合理的結(jié)論。采用Minitab17版對數(shù)據(jù)進(jìn)行分析，并使用圖形工具來驗證實驗結(jié)果。首先，確定對教學(xué)效果平均得分影響最大的因素。通常人們都關(guān)心對實驗影響最重要的因素，實際上，不重要的因素對影響產(chǎn)品質(zhì)量或服務(wù)質(zhì)量同樣重要。一般是將不重要因素的成本控制在最經(jīng)濟(jì)的水平，便于節(jié)省成本。從圖1顯示各因素對教學(xué)效果影響的絕對值，圖中3.05為參考線。在統(tǒng)計學(xué)中，任何因素如超出參考線5%則為顯著因素。

圖1 表明，篩選試驗中最重要因素為（按重要性順序排列）：

（1）講師背景;

（2）教師專業(yè)素養(yǎng);

（3）講師授課風(fēng)格;

（4）課堂上學(xué)生與教師之間的互動;

（5）設(shè)施;

（6）課程評估方法;

（7）講師設(shè)定的練習(xí)類型。

不重要的因素包括學(xué)生的反饋、課程內(nèi)容、課程頻率以及輔助材料。

實驗的最后階段分析了解各因素的最佳設(shè)置，以此最大程度地提高教學(xué)效果平均評分。為實現(xiàn)這一目標(biāo)，利用主要效果圖。主要效果圖顯示了各因子每個級別的平均響應(yīng)值，因此可以比較實驗中各因素影響的相對強(qiáng)度。圖2中符號指示出效果的趨勢，即教學(xué)效果平均分?jǐn)?shù)是遞增還是遞減，大小表示效果的強(qiáng)度。如果某因素的影響值為正，則意味著該因素影響教學(xué)效果平均得分的有效性較高。表5給出了最大化教學(xué)效果得分的最佳設(shè)置值。

2.5 實驗的實際意義和局限性

本文針對之前僅限于改善制造工藝中的篩選試驗進(jìn)行設(shè)計研究，成功地將其用于理解和科學(xué)評估高等教育課程中影響教學(xué)效果的重要因素。在試驗前，選取100多名學(xué)生，采用集思廣益和多次投票的方法確定出他們認(rèn)為對教學(xué)效果最為重要的前五大因素。隨后將學(xué)生感知結(jié)果與篩選試驗的結(jié)果進(jìn)行對比，結(jié)果見表6。

從試驗結(jié)果中發(fā)現(xiàn)，學(xué)生感知的前五大重要因素中，有部分因素在篩選試驗中并不具有統(tǒng)計學(xué)意義。如學(xué)生感知確定的因素中“評估方法”很重要，但在實驗數(shù)據(jù)分析中其并不是排在前五名的因素;“設(shè)備”和“教師專業(yè)背景”不包含在學(xué)生感知因素前五名中，但卻是篩選試驗的前五名因素。

該試驗研究花費了大量的時間規(guī)劃，設(shè)計和進(jìn)行實驗數(shù)據(jù)收集。在研究過程中，還發(fā)現(xiàn)各組之間教學(xué)效果得分存在差異，主要原因在于學(xué)生的文化背景不同所致，各組間的差異并未考慮到研究中，該研究的另一局限性是所選課程為受學(xué)生歡迎的專業(yè)課。而針對不收歡迎的課程進(jìn)行研究也是很必要的，可以通過試驗結(jié)果進(jìn)行改進(jìn)。此外，本文只針對本科生課程，實驗結(jié)果對研究生課程可能會有所不同。

從本文的研究結(jié)果可以發(fā)現(xiàn)一些實際含義，首先，在常見的熟悉的流程中，人們會習(xí)慣性的認(rèn)為某些因素對流程有著重大影響，但現(xiàn)實中的情況并非如此。因此，科學(xué)方法如本文采用的實驗設(shè)計法就是一種強(qiáng)大的工具，可以讓你更好地了解過程以及影響質(zhì)量特性或響應(yīng)性的最重要因素或參數(shù)。其次，在過程參數(shù)設(shè)置上經(jīng)常所有參數(shù)均設(shè)置公差，這就導(dǎo)致成本過高，如能確定影響過程輸出的最關(guān)鍵過程參數(shù)，并在此參數(shù)上設(shè)置容差，將非關(guān)鍵參數(shù)放寬，則可起到降低成本的作用。同樣的原理也適用于高等教育部門的許多流程關(guān)節(jié)，但與制造業(yè)相比，由于缺乏對實驗設(shè)計方法的好處的了解以及技術(shù)部門管理人員的潛在支持，想要將試驗結(jié)果與績效衡量相關(guān)聯(lián)在實施過程中還將面臨挑戰(zhàn)。

3? 研究結(jié)論和進(jìn)一步研究方向

由于缺乏對過程設(shè)計好處的了解，在許多服務(wù)環(huán)境中，將實驗設(shè)計技術(shù)用于過程理解的應(yīng)用相對較少。此外，人們有一種先入為主的錯誤思維方式，認(rèn)為過程實驗設(shè)計僅限于制造業(yè)。本文的目的主要說明在高等教育環(huán)境中試驗設(shè)計方法的使用以及可行性。實驗結(jié)果清楚地表明，學(xué)生基于直覺和猜測對教學(xué)效果的影響因素與篩選試驗的結(jié)果并不完全相同。此外，實驗結(jié)果還為該項技術(shù)在高教部門的其他過程中提供了案例研究，為其更廣泛的應(yīng)用提供了更大的動力。此外，下一步需探討不用文化背景下教學(xué)效果平均得分如何變化，以及前五大因素是否存在差異。

參考文獻(xiàn)

[1] BARONE，S.， E，Lo FRANCO. Design of a university course quality by Teaching Experiments and Student Feedback.Total Quality Management & Business Excellence[J]，2009，20（7）：687-703.

[2] ANTONY J L SIVANATHAN， E V GIJO.Design of experiments in a higher education setting[J].International Journal of Productivity and Performance Management[J].2014，63（4）：513-521.

[3] REE S Y H Park， H Yoo.A study on education quality using the Taguchi method.Total Quality Management and Business Excellence.2014，25（8）：935-943.

[4] DING C.， H SHERMAN.Teaching effectiveness and student achievement：Examining the relationship[J].Educational Research Quarterly[J].2006，29（4）：40-51.

[5] 周玲.多元文化視域下教師教學(xué)效能實證研究-以六所國家民委直屬院校為例[D].武漢：中南民族大學(xué)，2018.

[6] MARSH H W J HATTIE.The Journal of Higher Education[J].The Relation Between Research Productivity and Teaching Effectiveness： Complementary， Antagonistic， or Independent Constructs[J].2002，73（5）：603-641.

[7] MCKEACHIE W.Student ratings：The validity of use[J].American Psychologist Psychologist.1997，52（11）：1218-1225.

[8] DOUGLAS，C.MONTGOMERY.實驗設(shè)計與分析[M].北京：中國統(tǒng)計出版社，1998.

[9] 徐文秀.英國職前教師教育課程設(shè)計與實施個案研究-以倫敦大學(xué)學(xué)院中學(xué)英語PGCE課程為例[D].長春：東北師范大學(xué)，2019.

[10] 陳長洲.上海市中學(xué)體育課堂教學(xué)效果及影響因素研究-基于以學(xué)習(xí)者為中心的視角[D].上海：上海體育學(xué)院，2020.