莫達(dá)隆 鐘英梅 蔣燕梅 易俊明
[摘要]信度檢驗(yàn)和效度檢驗(yàn)是檢驗(yàn)問卷調(diào)查效果好壞的兩種統(tǒng)計(jì)方法,信度系數(shù)和效度系數(shù)是衡量調(diào)查問卷可靠性與有效性的兩項(xiàng)重要技術(shù)指標(biāo),如果指標(biāo)達(dá)不到一定的標(biāo)準(zhǔn),通常要對(duì)問卷進(jìn)行修訂。但如何修訂,目前文獻(xiàn)中只有定性的分析,缺乏定量的修訂指導(dǎo)。文章利用信度分析和因子分析,定量地描述了引起問卷信效度偏低的題項(xiàng)和原因,為提高問卷修訂的效率和準(zhǔn)確性提供參考。
[關(guān)鍵詞]抽樣調(diào)查信度檢驗(yàn)效度檢驗(yàn)因子分析方差
[中圖分類號(hào)]O212.2 [文獻(xiàn)標(biāo)識(shí)碼]A[文章編號(hào)]2095-3437(2014)06-0155-04
一、前言
檢驗(yàn)抽樣調(diào)查效果的好壞,可以用問卷的可靠性和有效性來衡量,可靠性和有效性分別用信度檢驗(yàn)和效度檢驗(yàn)進(jìn)行測(cè)量。
可靠性是指調(diào)查問卷的可信程度,反映調(diào)查結(jié)果的一貫性、一致性、再現(xiàn)性和穩(wěn)定性??煽啃栽诮y(tǒng)計(jì)分析中也稱信度,可用信度系數(shù)去衡量,調(diào)查的信度系數(shù)越高越理想(取值范圍在0-1之間)。按通常的社會(huì)科學(xué)統(tǒng)計(jì)對(duì)最小信度系數(shù)的要求是不低于0.7,但其實(shí)在理論界還沒有真正達(dá)成一致,在被調(diào)查對(duì)象是跨文化跨地域差異比較明顯時(shí),信度系數(shù)不低于0.5,其統(tǒng)計(jì)分析結(jié)果還是可信的。
有效性是指調(diào)查問卷能夠準(zhǔn)確測(cè)出所需調(diào)查的問題的程度。有效性通??捎眯Ф认禂?shù)來表達(dá),調(diào)查結(jié)果與要調(diào)查的問題的內(nèi)容越吻合,則效度系數(shù)越高;反之,則效度系數(shù)越低。在具體操作中,可用因子分析來檢驗(yàn),因子分析的主要功能是從量表全部變量(題項(xiàng))中提取一些公因子,各公因子分別與某一群特定變量高度關(guān)聯(lián),這些公因子即代表了量表的基本結(jié)構(gòu)。通過因子分析可以考察問卷是否能夠測(cè)量出研究者設(shè)計(jì)問卷時(shí)假設(shè)的某種結(jié)構(gòu)。在因子分析的結(jié)果中,用于評(píng)價(jià)結(jié)構(gòu)效度的主要指標(biāo)有累積方差貢獻(xiàn)率、共同度和因子負(fù)荷。累積方差貢獻(xiàn)率反映公因子對(duì)量表或問卷的累積有效程度,共同度反映由公因子解釋原變量的有效程度,因子負(fù)荷反映原變量與某個(gè)公因子的相關(guān)程度。因子分析結(jié)果中的公因子的累積方差貢獻(xiàn)率越高,說明問卷的題項(xiàng)越能反映所要調(diào)查的問題,即問卷的效度越高。
目前,這兩種檢驗(yàn)大多數(shù)用于問卷調(diào)查的事后檢驗(yàn),以說明某次調(diào)查問卷的可靠性和有效性。吳瓊(2011)等人利用因子分析來修改效度系數(shù)不是很理想的調(diào)查問卷,其采用的方法是通過主成分分析抽取公因子,逐步刪除因子負(fù)荷小于0.4的題項(xiàng)。這種方法的缺點(diǎn)是:初試時(shí)要設(shè)計(jì)大量題項(xiàng),逐步刪除導(dǎo)致的效率降低,而且初試也投入一定的人力物力,采集回來的數(shù)據(jù)還不一定有效,引起資源浪費(fèi)。李靖(2010)等人利用獨(dú)立樣本t檢驗(yàn)的方法,找出每個(gè)題項(xiàng)得分均值間無顯著差異的題項(xiàng)進(jìn)行剔除,然后再進(jìn)行信度檢驗(yàn),其實(shí)他們也遇到吳瓊等人的缺陷問題,況且還不一定能提高問卷的信度系數(shù)。更重要的是信度系數(shù)提高了,卻不一定能提高問卷的效度系數(shù)。因?yàn)樾Ф雀咝哦瓤隙ǜ?,但信度高效度未必也高。在題項(xiàng)數(shù)目不變的情況下,題項(xiàng)得分的方差越大則信度系數(shù)越低,而題項(xiàng)得分的方差越大往往對(duì)因子分析中的公因子方差貢獻(xiàn)率也越高。本文試圖通過因子分析和信度檢驗(yàn)來定量地查找引起問卷信效度偏低的題項(xiàng),并且根據(jù)所要調(diào)查的問題明確該題項(xiàng)要修改的方向,以提高問卷的信效度系數(shù)。
二、實(shí)證研究
(一)數(shù)據(jù)采集
本次研究使用的調(diào)查問卷是一份社會(huì)公眾安全感測(cè)評(píng)的問卷,包括四大類25個(gè)題項(xiàng):第一類為被測(cè)評(píng)人情況共5個(gè)題項(xiàng),以整數(shù)(1、2、3、4、5)作為分類數(shù)值;第二類為被測(cè)評(píng)人公眾安全感測(cè)評(píng)共9個(gè)題項(xiàng),按滿意程度從不安全、不太安全、基本安全、比較安全、安全分別以0、0.25、0.5、0.75、1記分,分?jǐn)?shù)越高表明測(cè)評(píng)人對(duì)公眾安全感的認(rèn)同越高;第三類是被測(cè)評(píng)人對(duì)公安部門工作滿意的測(cè)評(píng),共9個(gè)題項(xiàng),記分方法同上,分?jǐn)?shù)越高表明測(cè)評(píng)人對(duì)公安部門工作的支持度越高;第四類為影響社會(huì)公眾安全感的因素測(cè)試題共2個(gè)題項(xiàng),該類題項(xiàng)是被測(cè)評(píng)人選擇了“不太安全”或“不安全”選項(xiàng)時(shí)才需要回答的題項(xiàng),共14個(gè)因素(可多選)。研究中以被測(cè)評(píng)人的情況(性別、年齡、文化結(jié)構(gòu)、職業(yè)結(jié)構(gòu)和居住結(jié)構(gòu))為控制變量?,F(xiàn)收回有效調(diào)查問卷10133份,并利用這些數(shù)據(jù)進(jìn)行問卷的信效度檢驗(yàn)和分析。
對(duì)第二類為被測(cè)評(píng)人公眾安全感測(cè)題和第三類是被測(cè)評(píng)人對(duì)公安部門工作滿意的測(cè)評(píng)題進(jìn)行KMO檢驗(yàn)和球形Bartlett檢驗(yàn),結(jié)果見表1。
表1KMOandBartlettsTest
■
其中KMO值=0.838,說明題項(xiàng)變量數(shù)據(jù)有較高的信息重復(fù)性,即題項(xiàng)變量存在顯著性相關(guān)。球形Bartlett檢驗(yàn)的P值=0.000<0.01,拒絕各變量相互獨(dú)立的原假設(shè)(或拒絕主成分不顯著的原假設(shè))。從而可以得出對(duì)題項(xiàng)1-18做因子分析是合適的結(jié)論。
(二)效度檢驗(yàn)時(shí)的變量分析
對(duì)第二類被測(cè)評(píng)人公眾安全感測(cè)評(píng)題的2-9題共8個(gè)題項(xiàng)進(jìn)行因子分析(題項(xiàng)1是安全感的直接測(cè)評(píng),用于作因變量)。其公因子方差中,題項(xiàng)7的共性方差最?。ㄒ姳?-1),說明題項(xiàng)7對(duì)公因子的方差貢獻(xiàn)率最小,該題項(xiàng)需要修改糾正。
表4-1Communalities
■
表4-2總方差分解
■
本次調(diào)查中,對(duì)被測(cè)評(píng)人公眾安全感測(cè)評(píng)共8個(gè)題項(xiàng)進(jìn)行因子分析,發(fā)現(xiàn)提取的三個(gè)公因子可以解釋總信息的56.5%,其余6個(gè)因子占43.5%,結(jié)果見表4-2。其中,第一公因子反映因素是:交通、打架斗毆和搶包等治安問題(題項(xiàng)9、8和6),第二公因子反映因素是:財(cái)產(chǎn)安全的問題(題項(xiàng)4、5),第三公因子反映因素是:外出心態(tài)的問題(題項(xiàng)2、3),結(jié)果見表4-3。
說明8項(xiàng)公眾安全感測(cè)評(píng)題的有效性良好,用于測(cè)評(píng),其數(shù)據(jù)是有效的。但題項(xiàng)7對(duì)測(cè)評(píng)效果貢獻(xiàn)最低。
表4-3因子載荷陣
■
題項(xiàng)7是“年內(nèi)本人及家庭成員有無受到盜搶騙和人身傷害等不法侵犯”的選擇題,由表4-3可以看出題項(xiàng)7與各公因子之間的相關(guān)程度最低,與第一公因子稍高,而第一公因子反映的是治安問題,可依據(jù)治安問題的調(diào)查目標(biāo)予以修改。
(三)信度檢驗(yàn)時(shí)的變量分析
表4-4是信度檢驗(yàn)的結(jié)果,信度系數(shù)α=0.556,說明題項(xiàng)2-9的調(diào)查數(shù)據(jù)是可信的。
表4-4Reliability Statistics
■
表4-5Item Statistics
■
表4-5是項(xiàng)目統(tǒng)計(jì)表,顯示題項(xiàng)7的標(biāo)準(zhǔn)差最小,根據(jù)信度系數(shù)的定義,標(biāo)準(zhǔn)差越小,信度系數(shù)就越高,說明題項(xiàng)7是提高問卷信度系數(shù)最重要的題項(xiàng)變量。但由表4-6顯示的各題項(xiàng)間的相關(guān)系數(shù),可以看出題項(xiàng)7與題項(xiàng)2、3、4、5這4個(gè)題項(xiàng)的相關(guān)系數(shù)是最低的,與題項(xiàng)6、8、9的相關(guān)系數(shù)稍高但不顯著。按目前文獻(xiàn)的做法應(yīng)該刪除該題項(xiàng),但刪除它勢(shì)必造成信度系數(shù)的降低。因此,刪除題項(xiàng)的方法不是最佳選擇,修改該題才能保證問卷的信度和效度達(dá)到理想的分值。
表4-6Inter-Item Correlation Matrix
■
綜合2.2和2.3的討論,發(fā)現(xiàn):題項(xiàng)7與題項(xiàng)6、8、9重復(fù)度較高且相關(guān)性稍強(qiáng),應(yīng)該朝著體現(xiàn)第一公因子的含義進(jìn)行修改,如修改為詢問除交通、打架斗毆和搶包之外的其他治安問題,或者修改為公因子中未能較好體現(xiàn)我們所要調(diào)查研究的問題,如政府部門相關(guān)政策與社會(huì)安全感的關(guān)系等問題,以提高問卷的有效性和可靠性。
用上述方法可對(duì)其他題項(xiàng)進(jìn)行同樣的分析,以便修改。
三、結(jié)論
在設(shè)計(jì)和編制調(diào)查問卷時(shí),通過統(tǒng)計(jì)分析方法刪除某些題項(xiàng),以達(dá)到提高問卷的信度和效度系數(shù),是目前的通用做法。但這種做法往往需要設(shè)計(jì)更多的題項(xiàng),以供選擇。在初試時(shí),會(huì)因?yàn)轭}項(xiàng)過多導(dǎo)致調(diào)查數(shù)據(jù)的不準(zhǔn)確性,況且進(jìn)行初試也需要投入人力和物力,會(huì)造成資源浪費(fèi),這不是修訂問卷的最佳方法。通過因子分析和信度檢驗(yàn)可以定量地描述:哪些題項(xiàng)的信效度系數(shù)偏低?偏低的基本原因是什么?如何修訂可以體現(xiàn)問卷所要回答的問題?然后進(jìn)行修訂,能提高調(diào)查問卷的修訂質(zhì)量,提高效率,減少資源浪費(fèi)。
[參考文獻(xiàn)]
[1]吳瓊,張秀紅.學(xué)術(shù)期刊編輯心理健康問卷的編制和信效度檢驗(yàn)[J].大連大學(xué)學(xué)報(bào),2011,32(3).
[2]漆文燁,葛明貴.戒毒人員藥物渴求度調(diào)查問卷的修訂[J].中國藥物濫用防治雜志,2012,(3).
[3]李靖等.大學(xué)生信息素養(yǎng)調(diào)查問卷的編制和信效度檢驗(yàn)[J].中國醫(yī)學(xué)教育技術(shù),2010,(3).
[責(zé)任編輯:碧瑤]