趙世偉 齊鳴 楊海濤 田子都
[摘 要] 現(xiàn)代民機(jī)維修培訓(xùn)反饋與優(yōu)化體系,有助于培訓(xùn)質(zhì)量的監(jiān)控和持續(xù)提升?;诳率纤募?jí)評(píng)估理論和PDCA循環(huán)優(yōu)化模式,以維修任務(wù)和教學(xué)組織管理為導(dǎo)向,構(gòu)建了以課程評(píng)估為核心的課程優(yōu)化體系,闡述了培訓(xùn)過程中不同層面評(píng)估的方法和要求,并從不同層面出發(fā),提出優(yōu)化的流程和目標(biāo),實(shí)現(xiàn)機(jī)型維修培訓(xùn)反饋與優(yōu)化工作程序的規(guī)范性和實(shí)效性。
[關(guān)鍵詞] 機(jī)型培訓(xùn);反饋與優(yōu)化;柯氏四級(jí)評(píng)估;PDCA循環(huán)
[基金項(xiàng)目] 2018年度工業(yè)和信息化部“民機(jī)專項(xiàng)”(2018SACSC-035JS)
[作者簡(jiǎn)介] 趙世偉(1980—),男,河北石家莊人,碩士,中國(guó)民航大學(xué)工程技術(shù)訓(xùn)練中心副教授,主要從事航電實(shí)踐教學(xué)與航空維修管理研究。
[中圖分類號(hào)] G642.0 [文獻(xiàn)標(biāo)識(shí)碼] A [文章編號(hào)] 1674-9324(2022)04-0021-05 [收稿日期] 2021-06-02
一、機(jī)型維修培訓(xùn)反饋與優(yōu)化體系現(xiàn)狀
近年來,隨著民航事業(yè)的發(fā)展,對(duì)民機(jī)維修人員素質(zhì)要求逐步提高,迫切需要提升維修人員技術(shù)能力。因此,民機(jī)機(jī)型維修培訓(xùn)質(zhì)量和成效日益受到行業(yè)關(guān)注,培訓(xùn)效果反饋與內(nèi)容優(yōu)化工作的重要性和緊迫性日益凸顯,已成為民機(jī)持續(xù)健康發(fā)展不可或缺的支撐。
目前,國(guó)內(nèi)眾多民機(jī)維修培訓(xùn)機(jī)構(gòu)的課程質(zhì)量管理體系普遍存在缺陷[1,2]。一是維修培訓(xùn)機(jī)構(gòu)重視培訓(xùn)能力申請(qǐng)和課程開發(fā),忽視內(nèi)容持續(xù)改進(jìn),甚至培訓(xùn)教材、資料多年沒有改進(jìn)。二是維修機(jī)構(gòu)的課程質(zhì)量評(píng)價(jià)機(jī)制和優(yōu)化方法有待改進(jìn)。雖然維修培訓(xùn)機(jī)構(gòu)按照法規(guī)建立了課程質(zhì)量體系,但是課程評(píng)價(jià)維度、頻度存在隨意性,基于評(píng)價(jià)結(jié)果的課程優(yōu)化主體責(zé)任不清晰。三是維修機(jī)構(gòu)的課程開發(fā)體系不完善。
作為民機(jī)運(yùn)營(yíng)的主要支撐,機(jī)型維修培訓(xùn)課程質(zhì)量關(guān)系重大,為此,我國(guó)民航局發(fā)布咨詢通告AC-66-008《維修人員機(jī)型資格規(guī)范評(píng)審及評(píng)審結(jié)論的應(yīng)用》,明確“航空運(yùn)營(yíng)人、維修單位或維修培訓(xùn)機(jī)構(gòu)應(yīng)當(dāng)參考航空器評(píng)審報(bào)告中認(rèn)可并由制造廠家發(fā)布的機(jī)型維修培訓(xùn)規(guī)范編制自己的機(jī)型、差異或補(bǔ)充維修培訓(xùn)大綱,并根據(jù)機(jī)隊(duì)實(shí)際構(gòu)型確定適用的培訓(xùn)課目”。也就是說,未來的機(jī)型維修培訓(xùn)課程基于統(tǒng)一的機(jī)型維修培訓(xùn)規(guī)范,但是應(yīng)體現(xiàn)各自的特色,這對(duì)于課程持續(xù)優(yōu)化改進(jìn)提出了要求。
柯氏評(píng)估模型[3]是世界上最廣泛的培訓(xùn)評(píng)估工具,PDCA戴明環(huán)[4]是一種全面質(zhì)量管理的理論。本文依托上述兩種理論,探索形成一套適用于民機(jī)機(jī)型維修課程的質(zhì)量管理體系,目的是持續(xù)提升機(jī)務(wù)維修培訓(xùn)課程質(zhì)量,進(jìn)而提升機(jī)務(wù)維修能力,為我國(guó)民機(jī)事業(yè)發(fā)展壯大提供動(dòng)力。
二、柯氏評(píng)估理論和PDCA理論簡(jiǎn)介
目前,機(jī)型維修培訓(xùn)整體是基于教學(xué)系統(tǒng)設(shè)計(jì)理論,按照ADDIE[5](Analysis,Design Develop,Implement,Evaluate)模型進(jìn)行開發(fā)的,其中的“E”為課程反饋環(huán)節(jié),需要進(jìn)行課程評(píng)估和課程優(yōu)化(圖1)。本文以柯氏評(píng)估理論為基礎(chǔ)對(duì)機(jī)型維修培訓(xùn)課程的反饋評(píng)估進(jìn)行研究,并以評(píng)估體系作為課程優(yōu)化的核心,借助PDCA理論建立持續(xù)提升機(jī)型維修培訓(xùn)質(zhì)量的課程優(yōu)化體系。
(一)柯氏反饋評(píng)估理論
柯氏評(píng)估模型通常分為四層級(jí)[6],包括反應(yīng)層、學(xué)習(xí)層、行為層、結(jié)果層。反應(yīng)層評(píng)估考量參與培訓(xùn)人員對(duì)教學(xué)設(shè)計(jì)和安排的響應(yīng)情況,如培訓(xùn)方案、內(nèi)容、時(shí)間安排等;學(xué)習(xí)層評(píng)估考查培訓(xùn)學(xué)員的知識(shí)、能力和態(tài)度意識(shí)獲得情況;行為層評(píng)估考查培訓(xùn)前后行為的改變和提升,也就是培訓(xùn)對(duì)參訓(xùn)人員的知識(shí)、態(tài)度、思維方式、行為表現(xiàn)等方面產(chǎn)生的正面影響(圖2);結(jié)果層評(píng)估培訓(xùn)效果收益及績(jī)效的提高情況,衡量培訓(xùn)為個(gè)人、組織及社會(huì)效益所帶來的實(shí)際貢獻(xiàn)。四個(gè)層級(jí)高度相關(guān),低層級(jí)評(píng)估是更高層次評(píng)估的基礎(chǔ),高層級(jí)評(píng)估為進(jìn)一步優(yōu)化低層級(jí)評(píng)估提供依據(jù)。
(二)PDCA循環(huán)優(yōu)化理論
PDCA循環(huán)優(yōu)化是質(zhì)量管理的有效工具,目前在企業(yè)質(zhì)量管理中得到廣泛應(yīng)用,并取得了良好的效果[7,8]。該理論將目標(biāo)優(yōu)化程序分為四個(gè)階段:計(jì)劃(Plan),確定工作目標(biāo)、制定工作計(jì)劃等;實(shí)施(Do),根據(jù)確定的計(jì)劃、設(shè)計(jì)的方案等進(jìn)行具體運(yùn)作,實(shí)現(xiàn)計(jì)劃中的內(nèi)容;檢查(Check),總結(jié)執(zhí)行計(jì)劃的結(jié)果,分析效果;處理(Action),對(duì)檢查的結(jié)果進(jìn)行處理,對(duì)成功的經(jīng)驗(yàn)予以肯定,對(duì)存在的問題進(jìn)行總結(jié),若存在沒有解決的問題則提交到下一個(gè)PDCA循環(huán)。
PDCA循環(huán)優(yōu)化理論通過持續(xù)改進(jìn),在每一次循環(huán)中及時(shí)總結(jié)經(jīng)驗(yàn),固化成果,實(shí)現(xiàn)課程質(zhì)量的持續(xù)提升。PDCA循環(huán)優(yōu)化過程如圖3所示。
三、機(jī)型維修培訓(xùn)課程反饋與優(yōu)化流程體系的設(shè)計(jì)
機(jī)型維修培訓(xùn)課程主要由培訓(xùn)大綱和培訓(xùn)資料、培訓(xùn)組織形式與培訓(xùn)人員、培訓(xùn)實(shí)施方式以及培訓(xùn)設(shè)備和設(shè)施等要素構(gòu)成,構(gòu)建課程質(zhì)量體系的目的是對(duì)四要素質(zhì)量進(jìn)行改進(jìn)和提升。培訓(xùn)課程質(zhì)量體系包括課程反饋評(píng)估、要素優(yōu)化兩個(gè)環(huán)節(jié),這兩個(gè)環(huán)節(jié)既緊密聯(lián)系又有所區(qū)別,課程反饋評(píng)估是課程優(yōu)化的基礎(chǔ),課程優(yōu)化是反饋評(píng)估的目的。
(一)機(jī)型維修培訓(xùn)課程反饋評(píng)估
機(jī)型維修培訓(xùn)課程的主要利益相關(guān)者包括學(xué)員、教員、維修機(jī)構(gòu)和監(jiān)管局。學(xué)員是授課對(duì)象,其培訓(xùn)效果與培訓(xùn)課程質(zhì)量息息相關(guān);教員是課程實(shí)施的執(zhí)行者,直接面對(duì)學(xué)員,對(duì)學(xué)員培訓(xùn)效果產(chǎn)生直接影響;維修機(jī)構(gòu)是課程的持續(xù)受益者,高水平維修人員是維修機(jī)構(gòu)的核心競(jìng)爭(zhēng)力;監(jiān)管局代表民眾對(duì)民機(jī)維修進(jìn)行監(jiān)督,高水平維修人員能夠有效提升民機(jī)維修的安全性。
1.面向?qū)W員的反饋評(píng)估設(shè)計(jì)。依據(jù)柯氏評(píng)估理論,培訓(xùn)課程反饋評(píng)估可以分配在培訓(xùn)課程實(shí)施前、實(shí)施中和完成后三個(gè)階段,開展反應(yīng)、學(xué)習(xí)、行為、結(jié)果四個(gè)層次評(píng)估。不同培訓(xùn)階段開展的評(píng)估層次、內(nèi)容如圖4所示。
培訓(xùn)課程實(shí)施前,可以安排學(xué)員反應(yīng)評(píng)估,具體形式可采用調(diào)查問卷或門檻測(cè)試,重點(diǎn)了解培訓(xùn)學(xué)員的工作背景、培訓(xùn)期望、知識(shí)體系等信息。利用所收集信息,確認(rèn)學(xué)員培訓(xùn)資質(zhì),從而有效避免培訓(xùn)失敗。此外,可以輔助教員及時(shí)調(diào)整培訓(xùn)內(nèi)容重點(diǎn)和難點(diǎn)、培訓(xùn)方式等,適應(yīng)學(xué)員學(xué)習(xí)習(xí)慣,提升培訓(xùn)效果。
在培訓(xùn)過程中,實(shí)施反應(yīng)評(píng)估和學(xué)習(xí)評(píng)估。反應(yīng)評(píng)估借鑒ICAO TPP TDC培訓(xùn)課程反饋體系模式,結(jié)合機(jī)型維修培訓(xùn)課程特點(diǎn),理論課程按照章節(jié)或者章節(jié)組合進(jìn)行反應(yīng)評(píng)估,實(shí)作課程按照項(xiàng)目或者項(xiàng)目組合進(jìn)行反應(yīng)評(píng)估,課程結(jié)束后進(jìn)行課程整體的反應(yīng)評(píng)估,從不同角度評(píng)估關(guān)鍵培訓(xùn)課程要素質(zhì)量。反應(yīng)評(píng)估以調(diào)查表形式開展,調(diào)查主題依據(jù)培訓(xùn)進(jìn)度各有側(cè)重。調(diào)查表部分建議主題及條目如表1所示。
學(xué)習(xí)評(píng)估按照局方規(guī)定采取傳統(tǒng)閉卷考試的方式開展評(píng)估,同時(shí)應(yīng)綜合學(xué)員反應(yīng)評(píng)估的情況,綜合反映學(xué)員培訓(xùn)課程的收獲情況。
培訓(xùn)課程結(jié)束后,實(shí)施行為評(píng)估和結(jié)果評(píng)估。行為評(píng)估和結(jié)果評(píng)估是目前比較難以開展的評(píng)估,因?yàn)閷W(xué)員從培訓(xùn)到指導(dǎo)工作,改變行為存在時(shí)間延遲,一般認(rèn)為培訓(xùn)后3~12個(gè)月內(nèi)評(píng)估最為合適,其中6個(gè)月間隔是最常用的時(shí)間。而從改變自身行為到實(shí)現(xiàn)培訓(xùn)收益需要的時(shí)間間隔會(huì)更長(zhǎng),通常有2~3年的時(shí)間,并且受到評(píng)估成本的制約。綜合多方面因素,本文建議在行為評(píng)估和結(jié)果評(píng)估方面采用基本相同的方式,以時(shí)間間隔加以區(qū)別。綜合評(píng)估成本和評(píng)估效果,建議采用調(diào)查問卷的方式開展。調(diào)查表分為兩種:一種面向培訓(xùn)學(xué)員自身或其周邊同事;另一種面向?qū)W員所在的單位。建議的調(diào)研主題如表2所示。
培訓(xùn)后的行為和結(jié)果評(píng)估應(yīng)進(jìn)行多次問卷調(diào)查,多次調(diào)查結(jié)果反映的情況能夠更加客觀、真實(shí)。
2.面向教員的反饋評(píng)估設(shè)計(jì)。面向培訓(xùn)教員的反饋評(píng)估程序可以分為培訓(xùn)課程實(shí)施過程中和課程完成后兩個(gè)階段。反饋評(píng)估采取評(píng)估單和調(diào)查表相結(jié)合的方式。培訓(xùn)課程實(shí)施階段的調(diào)查,主要是教員針對(duì)培訓(xùn)方式與手段、培訓(xùn)設(shè)備與設(shè)施的選擇使用進(jìn)行調(diào)查,同時(shí)采用培訓(xùn)機(jī)構(gòu)督導(dǎo)組、同行教員隨機(jī)抽選的方式進(jìn)行聽課評(píng)估。若遇到教員講授新課程,需要在課程實(shí)施前進(jìn)行新課評(píng)估。培訓(xùn)課程完成階段的調(diào)查,可通過調(diào)查表的方式評(píng)估關(guān)鍵課程要素中存在的問題和困難,用于課程后續(xù)的優(yōu)化。建議的調(diào)研主題如表3所示。
3.面向維修機(jī)構(gòu)和局方的反饋評(píng)估設(shè)計(jì)。面向維修單位的反饋評(píng)估分為培訓(xùn)課程實(shí)施前和完成后兩個(gè)階段。培訓(xùn)課程實(shí)施前,主要用于確定維修單位的預(yù)期培訓(xùn)需求;培訓(xùn)課程實(shí)施完成后,對(duì)于維修單位的反饋評(píng)估可以結(jié)合培訓(xùn)學(xué)員行為和結(jié)果的評(píng)估調(diào)查共同開展,從而確定培訓(xùn)學(xué)員實(shí)際培訓(xùn)效果和維修單位的預(yù)期差距情況。
面向監(jiān)管局方的反饋評(píng)估配合局方定期檢查進(jìn)行。通常局方負(fù)責(zé)多個(gè)維修培訓(xùn)機(jī)構(gòu)的監(jiān)管,并且從宏觀到微觀多個(gè)層次與飛機(jī)制造商交流,因此,對(duì)于機(jī)型維修中存在的共性問題,對(duì)維修的先進(jìn)理念和成熟技術(shù)的理解具有天然優(yōu)勢(shì)。
(二)機(jī)型維修培訓(xùn)課程改進(jìn)優(yōu)化
課程反饋與優(yōu)化體系分為計(jì)劃、實(shí)施、檢查和處理四個(gè)階段。計(jì)劃階段,依據(jù)對(duì)課程反饋的評(píng)估結(jié)果,分析適航規(guī)章和維修人員崗位職責(zé),進(jìn)行機(jī)型維修培訓(xùn)需求的分析和培訓(xùn)課程的設(shè)計(jì);實(shí)施階段,按照大綱的培訓(xùn)目標(biāo)和課程的設(shè)計(jì)標(biāo)準(zhǔn),設(shè)置不同的課程類型,按照各類課程的培養(yǎng)方案確定教學(xué)資料、分配教員、選擇教學(xué)場(chǎng)所、配備教學(xué)設(shè)備,完成課程的組織和實(shí)施;檢查階段,對(duì)教學(xué)實(shí)施后的教學(xué)效果進(jìn)行檢查,及時(shí)發(fā)現(xiàn)教學(xué)問題,并對(duì)課程開發(fā)和實(shí)施過程進(jìn)行再次評(píng)估、分析和總結(jié);處理階段,找出問題的解決方法,不斷提升教學(xué)質(zhì)量,建立更高的發(fā)展目標(biāo),然后根據(jù)新的發(fā)展目標(biāo)完善培訓(xùn)大綱,重新設(shè)計(jì)課程開發(fā)和培養(yǎng)方案,再次實(shí)施、檢查,找出存在的問題,提出解決方案并實(shí)施。如此反復(fù),教學(xué)質(zhì)量可持續(xù)上升。
1.培訓(xùn)課程講授過程中的檢驗(yàn)。完成上述各環(huán)節(jié)的優(yōu)化工作后,與用戶、廠家及局方多次溝通,收集整理得到初步認(rèn)可的優(yōu)化方案,對(duì)這些新方案進(jìn)行整合,便可形成新的機(jī)型維修培養(yǎng)方案。以此為依據(jù),實(shí)施教學(xué)管理和教學(xué)內(nèi)容改革,在教學(xué)實(shí)施過程中再次檢驗(yàn)這些新方案,從中篩選出經(jīng)過實(shí)踐確認(rèn)仍然獲得成功的優(yōu)化案例。同時(shí),在教學(xué)過程中,也會(huì)發(fā)現(xiàn)新的問題以及上一次優(yōu)化過程中效果不好的案例。最后,課程結(jié)束時(shí),將獲得成功的優(yōu)化成果進(jìn)行固化,形成新的培訓(xùn)大綱或培訓(xùn)管理制度,繼續(xù)應(yīng)用于下一次和其他機(jī)構(gòu)的培訓(xùn)中。同時(shí),收集在本次課程實(shí)施過程中發(fā)現(xiàn)的新問題以及未獲得成功的優(yōu)化案例,轉(zhuǎn)入下一次的PDCA優(yōu)化流程,實(shí)現(xiàn)對(duì)培訓(xùn)課程的持續(xù)改造。
2.培訓(xùn)需求和課程設(shè)計(jì)層面的優(yōu)化。根據(jù)反饋意見,從需要調(diào)整的培訓(xùn)目標(biāo)中解析出對(duì)應(yīng)的維修任務(wù)和子任務(wù),并對(duì)這些任務(wù)進(jìn)行分類和歸納,將其總結(jié)為保養(yǎng)、拆卸/安裝、調(diào)整/試驗(yàn)等工作類型,再逐個(gè)分析受訓(xùn)者執(zhí)行不同類型任務(wù)的困難性、重要性和頻繁性,最后按邏輯分析法在這些維修任務(wù)中挑選出需要增減的培訓(xùn)內(nèi)容。通過對(duì)培訓(xùn)需求的分析,結(jié)合學(xué)員的工作崗位需求,將已更新的培訓(xùn)知識(shí)點(diǎn)按照崗位類別,從ATA章節(jié)和難度等級(jí)上進(jìn)行重組,進(jìn)而對(duì)同類崗位培訓(xùn)課程的教學(xué)內(nèi)容、教學(xué)手段及考題進(jìn)行改造,完成對(duì)課程的重新設(shè)計(jì)和優(yōu)化。
3.課程開發(fā)和課程實(shí)施層面的優(yōu)化。通過對(duì)反饋問題的收集和整理,分析存在這些問題對(duì)應(yīng)的學(xué)員崗位、教員、課程、教學(xué)設(shè)備、培訓(xùn)場(chǎng)所及培訓(xùn)機(jī)構(gòu),歸納問題的特點(diǎn),從不同的反饋結(jié)果中發(fā)掘出存在于教學(xué)資料編制、教員培訓(xùn)、課程編排、教學(xué)手段、教學(xué)設(shè)備和環(huán)境、培訓(xùn)管理制度等方面的共性問題和個(gè)性差異,尋根求源找出癥結(jié),精準(zhǔn)解決在課程開發(fā)和實(shí)施過程中各環(huán)節(jié)出現(xiàn)的影響教學(xué)進(jìn)度和教學(xué)目標(biāo)實(shí)現(xiàn)的因素,在保證符合規(guī)章要求和學(xué)員安全的框架下盡可能做到因材施教,并提高教學(xué)效率和效益。建議的優(yōu)化內(nèi)容如表4所示。
在機(jī)型維修培訓(xùn)課程管理體系中融入以課程評(píng)估為核心的PDCA循環(huán)優(yōu)化模式,可幫助培訓(xùn)機(jī)構(gòu)認(rèn)識(shí)課程反饋與優(yōu)化的重要意義并引起重視,通過引入該模式可規(guī)范培訓(xùn)機(jī)構(gòu)將反饋評(píng)估與課程優(yōu)化的具體方法轉(zhuǎn)變?yōu)楣ぷ鞒绦?,便于形成集中統(tǒng)一的標(biāo)準(zhǔn)流程,最終實(shí)現(xiàn)制度化。同時(shí),借助柯氏四級(jí)評(píng)估理論和以維修任務(wù)為導(dǎo)向的優(yōu)化方法等科學(xué)高效的研究方法,可保證評(píng)估與優(yōu)化結(jié)果的準(zhǔn)確性和實(shí)效性,加快課程改進(jìn)速度,實(shí)現(xiàn)培訓(xùn)質(zhì)量穩(wěn)步提升。
參考文獻(xiàn)
[1]吳月偉,劉燕,馮建朝,等.國(guó)內(nèi)民航機(jī)務(wù)維修培訓(xùn)體系的現(xiàn)狀與發(fā)展[J].航空維修與工程,2014(1):21-24.
[2]卞林杰.國(guó)內(nèi)民航機(jī)務(wù)維修培訓(xùn)體系的現(xiàn)狀與發(fā)展[J].內(nèi)燃機(jī)與配件,2019(21):186-187.
[3]馬向南,劉清.國(guó)內(nèi)外培訓(xùn)效果評(píng)估方法綜述[J].繼續(xù)教育研究,2020(5):57-60.
[4]韓葉,蕾蕾,周夢(mèng)韻.淺談制度建設(shè)如何助推企業(yè)提質(zhì)增效[J].現(xiàn)代商業(yè),2021(12):135-137.
[5]馬李昕,董本清.ADDIE模型在學(xué)習(xí)平臺(tái)中的融合設(shè)計(jì)[J].軟件工程,2019,22(11):39-41.
[6]唐納德·L·柯克帕特里克(Donald L. Kirkpatrick),詹姆斯·L·柯克帕特里克(James D. Kirkpatrick).如何做好培訓(xùn)評(píng)估——柯氏四級(jí)評(píng)估法[M].3版.林祝君,馮學(xué)東,譯.北京:電子工業(yè)出版社,2015:22-82.
[7]吳小凡.淺談PDCA循環(huán)在制度優(yōu)化中的應(yīng)用[J].中小企業(yè)管理與科技(中旬刊),2021(5):130-131.
[8]姜文鑫.淺析PDCA在機(jī)務(wù)維修培訓(xùn)機(jī)構(gòu)質(zhì)量管理系統(tǒng)中的應(yīng)用[J].僑園,2020(1):76-76.
Research on Quality System of Aircraft Type Maintenance Training Course Based on Kirkpatrick Evaluation Model and PDCA Cycle Theory
ZHAO Shi-wei 1, QI Ming 1, YANG Hai-tao 2, TIAN Zi-du 1
(1.Engineering Techniques Training Center, Civil Aviation University of China Tianjin 300300, China;
2. COMAC Shanghai Aircraft Customer Service Co., Ltd, Shanghai 201100, China)
Abstract: The feedback and optimization system of modern civil aircraft maintenance training is conducive to the monitoring and continuous improvement of training quality. Based on Kirkpatrick’s four-level evaluation theory and PDCA cycle optimization model, guided by maintenance tasks and teaching organization management, this paper constructs a curriculum optimization system with curriculum evaluation as the core, expounds the methods and requirements of evaluation at different levels in the training process, and puts forward the optimization process and objectives from different levels, so as to realize the standardization and effectiveness of model maintenance training feedback and optimization work procedures.
Key words: aircraft type training; feedback and optimization; Kirkpatrick’s four level evaluation; PDCA cycle
3365501908223