• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看

      ?

      法則關(guān)系方法在研究中的應(yīng)用及其問(wèn)題思考

      2009-04-29 20:47:15任華勇
      心理科學(xué)進(jìn)展 2009年4期

      馮 明 任華勇

      摘要重要概念之間的理論關(guān)系或合理關(guān)系的連鎖系統(tǒng)被稱作是一個(gè)法則關(guān)系。法則關(guān)系包括原有模型、前因變量或結(jié)果變量。應(yīng)用結(jié)構(gòu)方程模型來(lái)檢驗(yàn)法則關(guān)系中各組成部分之間的法則有效性,從而對(duì)原模型作進(jìn)一步修正,該方法能夠更加科學(xué)地揭示出多變量問(wèn)的因果關(guān)系。文中還提到了應(yīng)用法則關(guān)系方法時(shí)需要注意的問(wèn)題,并指出未來(lái)的研究應(yīng)當(dāng)著重于進(jìn)一步構(gòu)建其理論框架、借助其來(lái)有效地開發(fā)和驗(yàn)證測(cè)量工具、以及探索該方法效度的影響因素等方向。

      關(guān)鍵詞法則關(guān)系方法;法則有效性;構(gòu)思效度

      分類號(hào)B841

      1引言

      “法則關(guān)系”在英文中是nomological network,最早出現(xiàn)于Cronbach和Meehl(1955)的一篇經(jīng)典文章《心理測(cè)驗(yàn)中的構(gòu)思效度》。國(guó)內(nèi)學(xué)者在引進(jìn)“法則關(guān)系”這一術(shù)語(yǔ)時(shí),形成了兩種代表性的譯法,以李明斐和盧小君(2004)為代表的一部分學(xué)者把它譯作“法則關(guān)系”,(葉映華和鄭全全(2007)稱之為法理學(xué)網(wǎng)絡(luò),也屬于這種譯法);以謝小云和王重鳴(2006)為代表的另一部分學(xué)者把它譯作“諾莫網(wǎng)絡(luò)”。這兩種譯法各有千秋,考慮到現(xiàn)在已經(jīng)找到了中文對(duì)應(yīng)的詞匯,故本文選用第一種譯法。自從法則關(guān)系于1955年首次提出以來(lái),已經(jīng)歷時(shí)了半個(gè)世紀(jì),本文將從法則關(guān)系概念的界定、國(guó)內(nèi)外研究的概況、以及對(duì)未來(lái)研究的展望等角度對(duì)相關(guān)文獻(xiàn)作較為全面的回顧,并通過(guò)部分學(xué)者研究的真實(shí)案例探討了法則關(guān)系方法的應(yīng)用,同時(shí)思考了應(yīng)用該方法時(shí)所需要注意的問(wèn)題。

      2法則關(guān)系的概念

      科學(xué)地講,要“弄清楚某事是什么”即意味著要闡明其發(fā)生所依循的法則,所提到法則的連鎖系統(tǒng),其構(gòu)成了一個(gè)理論為法則關(guān)系。法則有效性是指構(gòu)思能被采納的必要條件是它存在于一個(gè)法則關(guān)系中,法則關(guān)系中的某些法則包括了觀察到的現(xiàn)象,其中構(gòu)思并非是簡(jiǎn)化了的“觀察現(xiàn)象”,而是與法則關(guān)系中的其他構(gòu)思結(jié)合在一起來(lái)預(yù)測(cè)觀察現(xiàn)象(Cronbach&Meehl,1955)。葉映華和鄭全全認(rèn)為法則關(guān)系就是某種體系的法則。該方法要求必須在原有模型的基礎(chǔ)上引入前因變量或者結(jié)果變量,構(gòu)成模型存在的法則關(guān)系,通過(guò)利用一定的技術(shù)(如結(jié)構(gòu)方程模型)來(lái)檢驗(yàn)?zāi)P团c前因變量、結(jié)果變量之間的法則有效性,從而使模型得到進(jìn)一步修正。實(shí)質(zhì)上是通過(guò)對(duì)模型的外部檢驗(yàn)來(lái)驗(yàn)證模型內(nèi)部結(jié)構(gòu)的正確性(李明斐,盧小君,2004)。比如,假設(shè)研究人員認(rèn)為法則關(guān)系中構(gòu)思“個(gè)人能動(dòng)性”可能與構(gòu)思“成就動(dòng)機(jī)”有關(guān),而與構(gòu)思“隨和性”無(wú)關(guān)。研究后,得到了個(gè)人能動(dòng)性與成就動(dòng)機(jī)之間的相關(guān)是0.39。而與隨和性之間的相關(guān)是-0.09。這就說(shuō)明了理論關(guān)系與實(shí)證關(guān)系之間的一個(gè)很好匹配。

      在《心理測(cè)驗(yàn)中的構(gòu)思效度》中,Cronbaeh和Meehl指出“需要一個(gè)嚴(yán)密的推論鏈來(lái)建立測(cè)驗(yàn)以測(cè)量構(gòu)思。為了驗(yàn)證‘測(cè)驗(yàn)測(cè)量構(gòu)思,則必須存在圍繞該構(gòu)思的法則關(guān)系。當(dāng)一個(gè)構(gòu)思相當(dāng)新時(shí),也許幾乎沒(méi)有可指明的聯(lián)系來(lái)約束構(gòu)思。但隨著研究的進(jìn)行,構(gòu)思向許多方向延伸,研究人員會(huì)發(fā)現(xiàn)其與越來(lái)越多的事實(shí)或者別的構(gòu)思是相聯(lián)系的”。換言之,在研究的初期階段,研究人員對(duì)構(gòu)思所具有的性質(zhì)、含義等還不夠了解,但隨著研究的進(jìn)行,對(duì)構(gòu)思所包含的各維度、構(gòu)思的概念、以及其與別的構(gòu)思之間的關(guān)系等都有了更進(jìn)一步的認(rèn)識(shí)。舉例來(lái)說(shuō),研究人員要評(píng)價(jià)公務(wù)員勝任力對(duì)績(jī)效的預(yù)測(cè)作用,則首先需要研究公務(wù)員勝任力這個(gè)構(gòu)思所包括的維度,以及哪些前因變量來(lái)對(duì)公務(wù)員勝任力產(chǎn)生影響,假設(shè)績(jī)效是勝任力的一個(gè)結(jié)果變量,前因變量、勝任力、和結(jié)果變量(如,績(jī)效)它們之間的關(guān)系以及各個(gè)構(gòu)思內(nèi)部的關(guān)系所構(gòu)成的一個(gè)集合即是法則關(guān)系。剛開始研究時(shí),只能發(fā)現(xiàn)它們之間的部分聯(lián)系,但伴隨著研究的深入,加上研究方法的改進(jìn)、研究理念的更新,則會(huì)發(fā)現(xiàn)它們之間更加具體的聯(lián)系。

      對(duì)實(shí)證主義者來(lái)說(shuō),這種方法用于為理論術(shù)語(yǔ)創(chuàng)造意義而不需要現(xiàn)實(shí)的參照。他們認(rèn)為理論術(shù)語(yǔ)的意義單獨(dú)由術(shù)語(yǔ)在法則關(guān)系中的位置決定。而不是由指向?qū)嶋H的參照決定。根據(jù)這一觀點(diǎn),理論術(shù)語(yǔ)可以不需要參照而獲得意義。這個(gè)觀點(diǎn)被Cronbach和Meehl用來(lái)改進(jìn)構(gòu)思效度相關(guān)的理論,其主要依賴于法則關(guān)系。法則關(guān)系為心理學(xué)構(gòu)思提供了一個(gè)明確的定義,同時(shí)也產(chǎn)生了構(gòu)思效度概念本身(葉映華,鄭全全,2007)。

      3法則關(guān)系研究回顧

      3.1法則關(guān)系產(chǎn)生的背景以及理論基礎(chǔ)

      斯皮爾曼在上個(gè)世紀(jì)初有關(guān)智力和智力測(cè)驗(yàn)的著名研究,標(biāo)志了經(jīng)典測(cè)驗(yàn)理論及其方法的問(wèn)世。在隨后的幾十年中,盡管出現(xiàn)了諸多的心理測(cè)驗(yàn),但對(duì)它們的驗(yàn)證(如,測(cè)驗(yàn)是否真正測(cè)量了想要測(cè)量的內(nèi)容)卻很少涉及。同時(shí)并沒(méi)有一個(gè)明確的驗(yàn)證流程以及標(biāo)準(zhǔn)。這就引起了心理學(xué)家的注意。美國(guó)心理學(xué)會(huì)委員會(huì)的專家于是在1954年提出了四種類型的效度:預(yù)測(cè)效度、同時(shí)效度、構(gòu)思效度、內(nèi)容效度。由于預(yù)測(cè)效度和同時(shí)效度所考察的都是測(cè)驗(yàn)結(jié)果與另一客觀效標(biāo)之間的相關(guān)程度,所以后來(lái)美國(guó)心理學(xué)會(huì)、美國(guó)教育研究學(xué)會(huì)與國(guó)家教育測(cè)量委員會(huì)在1966年聯(lián)合出版的《教育與心理測(cè)驗(yàn)的標(biāo)準(zhǔn)和指南》中,又將效度類型進(jìn)一步簡(jiǎn)化為效標(biāo)關(guān)聯(lián)效度、構(gòu)思效度與內(nèi)容效度三種。并且認(rèn)為,不同的測(cè)驗(yàn)有不同的效度要求,比如成就測(cè)驗(yàn)更重視內(nèi)容效度,能力測(cè)驗(yàn)強(qiáng)調(diào)效標(biāo)關(guān)聯(lián)效度,而人格測(cè)驗(yàn)則突出了構(gòu)思效度(孫曉敏,張厚粲,2004)。因此,構(gòu)思效度也就浮出了水面,隨之進(jìn)入廣大研究人員的視野,但當(dāng)時(shí)研究人員對(duì)構(gòu)思效度的認(rèn)識(shí)并不統(tǒng)一。

      實(shí)際上構(gòu)思效度概念的確定并不是一個(gè)孤立發(fā)展的過(guò)程。在《心理測(cè)驗(yàn)中的構(gòu)思效度》這篇文章出現(xiàn)之前的十余年里,大多數(shù)用來(lái)測(cè)量構(gòu)思的測(cè)驗(yàn)都不存在清晰明確的標(biāo)準(zhǔn),同時(shí)許多這樣的測(cè)驗(yàn)也是沒(méi)有效度的。研究人員對(duì)各種效度的含糊定義很不滿意,因此紛紛引入了許多新的術(shù)語(yǔ)以及觀點(diǎn),可是這卻使得人們對(duì)于效度的認(rèn)識(shí)變得更加模糊。起初引入構(gòu)思效度的概念是為了詳細(xì)說(shuō)明心理學(xué)領(lǐng)域內(nèi)各種不同類型的研究,這些研究在測(cè)驗(yàn)開發(fā)的過(guò)程中是必不可少的。人格測(cè)驗(yàn)以及一些能力測(cè)驗(yàn),是根據(jù)特征來(lái)加以解釋的,而在法則關(guān)系出現(xiàn)之前,對(duì)于這些特征并沒(méi)有合適的標(biāo)準(zhǔn)(Cronbaeh&Meehl,1955)?;谶@些原因,Cronbaeh和Meehl嘗試著解釋構(gòu)思效度的概念,并闡述它的含義。

      構(gòu)思效度是由兩個(gè)詞語(yǔ)所組成:一為構(gòu)思,一為效度。按照Cronbach和Meehl對(duì)構(gòu)思的定義:“構(gòu)思就是假定人所具有的某個(gè)屬性,假定其會(huì)在心理測(cè)驗(yàn)的結(jié)果中得到反映”、“構(gòu)思為法則關(guān)系的一個(gè)組成部分”、“構(gòu)思可被采納的一個(gè)必要條件是其存在于一個(gè)法則關(guān)系中”。這就引出了法則關(guān)系。

      法則關(guān)系方法的產(chǎn)生是必然性與偶然性的結(jié)合。就必然性而言,研究人員當(dāng)時(shí)已經(jīng)意識(shí)到,對(duì)構(gòu)思的研究不應(yīng)只局限于構(gòu)思本身,而應(yīng)當(dāng)把它放

      到一個(gè)整體的框架中作具體的分析,從而在整體上對(duì)其有個(gè)清晰的認(rèn)識(shí)。僅是局限于構(gòu)思會(huì)導(dǎo)致只見“樹木”不見“森林”。此外,引用我國(guó)的一句古詩(shī)“不識(shí)廬山真面目,只緣身在此山中”。要想認(rèn)清構(gòu)思的“真面目”,則需走遠(yuǎn)一些,來(lái)研究包含構(gòu)思的法則關(guān)系。事實(shí)上,正是這種研究策略,使得心理測(cè)驗(yàn)在以后的應(yīng)用上變得更具針對(duì)性,為以后心理測(cè)驗(yàn)的廣泛推廣起到了不可磨滅的作用。就偶然性而言,通過(guò)研究“nomological network”這個(gè)詞組的起源,其正是由Cronbaeh和Meehl所發(fā)明的,那時(shí)研究人員對(duì)構(gòu)思效度的認(rèn)識(shí)并不統(tǒng)一,大家各執(zhí)己見,但后來(lái)是由這兩位科學(xué)家對(duì)其作了進(jìn)一步的探索,并提出了法則關(guān)系的方法。

      概括而言,當(dāng)初研究人員提出四種類型的效度,其中包括了構(gòu)思效度,進(jìn)而研究到構(gòu)思,這是一個(gè)由面到點(diǎn)的過(guò)程;然后由構(gòu)思延伸到法則關(guān)系,再到擴(kuò)大的法則關(guān)系(后文會(huì)涉及),這是一個(gè)由點(diǎn)到面的過(guò)程。

      3.2法則關(guān)系的基本原則

      Cronbaeh和Meehl指出法則關(guān)系的基本原則如下:

      (1)法則關(guān)系中的法則可能a把觀察到的現(xiàn)象(性質(zhì)或者數(shù)量)彼此聯(lián)系起來(lái);或者b把理論構(gòu)思與觀察到的現(xiàn)象聯(lián)系起來(lái);或者c把不同的理論構(gòu)思彼此聯(lián)系起來(lái)。

      (2)構(gòu)思能被采納的必要條件是它存在于一個(gè)法則關(guān)系中,至少法則關(guān)系中的某些法則包括了觀察到的現(xiàn)象,而可采納的構(gòu)思可能與這些現(xiàn)象有較大差異。另外,構(gòu)思并非簡(jiǎn)化了的觀察現(xiàn)象,而是與法則關(guān)系中的其他構(gòu)思相結(jié)合來(lái)預(yù)測(cè)可能會(huì)觀察到的現(xiàn)象。

      (3)在構(gòu)思的初期階段,法則關(guān)系中的限制條件較多?!案嗟亓私狻币粋€(gè)理論構(gòu)思包括,闡述它所存在的法則關(guān)系,或者通過(guò)研究加深對(duì)構(gòu)思各個(gè)維度的認(rèn)識(shí)。

      (4)通過(guò)研究,如果發(fā)現(xiàn)存在新的構(gòu)思與之前法則關(guān)系中的構(gòu)思相聯(lián)系,則可以把該構(gòu)思加入到法則關(guān)系中;或者當(dāng)法則關(guān)系中的不同構(gòu)思發(fā)生重合時(shí),可以進(jìn)行篩選操作,去除重復(fù)的構(gòu)思:此外,當(dāng)法則關(guān)系與現(xiàn)實(shí)有出入時(shí),研究人員可以選擇在某處修改這個(gè)法則關(guān)系。也就是說(shuō),可能有組織法則關(guān)系的其他構(gòu)思或者方法。

      3.3法則關(guān)系與效度之間的關(guān)系

      Cronbach和Meehl當(dāng)時(shí)認(rèn)為構(gòu)思效度指的是一個(gè)測(cè)驗(yàn)測(cè)量了理論構(gòu)思的完美程度。而要想說(shuō)明一個(gè)測(cè)驗(yàn)具有構(gòu)思效度,他們認(rèn)為應(yīng)該為測(cè)驗(yàn)建構(gòu)一個(gè)法則關(guān)系。該法則關(guān)系包括想測(cè)量的理論框架、如何測(cè)量的實(shí)證框架,以及兩個(gè)框架之間關(guān)系的詳細(xì)說(shuō)明(Borsboom,Mellenbergh,&Heerden,2004)。

      事實(shí)上法則關(guān)系與效度這兩個(gè)概念是不相分離的,法則關(guān)系的出現(xiàn)與構(gòu)思效度概念的詳細(xì)闡述是相伴進(jìn)行的。兩者之間具有緊密的聯(lián)系。如果法則關(guān)系中各構(gòu)思所作的預(yù)測(cè)與后來(lái)測(cè)驗(yàn)得出的數(shù)據(jù)相吻合時(shí),則在撰寫測(cè)驗(yàn)報(bào)告時(shí),研究人員不能只局限于描述測(cè)驗(yàn)的進(jìn)展、成果、應(yīng)用性等等,還需要說(shuō)明該測(cè)驗(yàn)所具有的構(gòu)思效度。Cronbach和Meehl指出只有闡明法則關(guān)系中各構(gòu)思之間以及構(gòu)思內(nèi)部各個(gè)維度之間具體的關(guān)系,測(cè)驗(yàn)才具有構(gòu)思效度。一個(gè)可接納的心理學(xué)構(gòu)思必須與行為是相關(guān)的?!翱山邮苄浴痹谛?biāo)關(guān)聯(lián)效度與內(nèi)容效度中很重要,在構(gòu)思效度中也同樣如此。若研究人員計(jì)劃要建立一個(gè)測(cè)驗(yàn)來(lái)測(cè)量構(gòu)思,則必須詳細(xì)說(shuō)明有關(guān)該構(gòu)思的法則關(guān)系以使別人能有充分的認(rèn)識(shí),以便接受或是否決它。同時(shí),如果想要更多地了解和應(yīng)用構(gòu)思的話,有必要進(jìn)一步完善與該構(gòu)思相關(guān)的理論以及測(cè)量方法(Rode et al.2008)。

      3.4當(dāng)前法則關(guān)系方法的局限性

      理論上,研究人員希望通過(guò)使用該方法,能夠由一組假設(shè)得出期望中的結(jié)論。然而,實(shí)際上即使是當(dāng)前發(fā)展得高度完備的學(xué)科也只是接近這個(gè)理想,而不可能完全達(dá)到。就是我們已經(jīng)知道的法則,也沒(méi)有現(xiàn)成的法則關(guān)系能夠預(yù)測(cè)到它們。而且大部分的法則關(guān)系都是不完善的,研究人員只好根據(jù)它們來(lái)定義構(gòu)思的概念。當(dāng)這個(gè)法則關(guān)系很不完善時(shí),研究人員會(huì)不可避免地忽略或是弱化了許多構(gòu)思之間的聯(lián)系,從而使得這些構(gòu)思所具有的含義也不夠準(zhǔn)確。換句話說(shuō),即不能從中清楚地觀察到構(gòu)思之間以及構(gòu)思內(nèi)部各維度之間的聯(lián)系。

      我國(guó)學(xué)者葉映華、鄭全全指出,在應(yīng)用法則關(guān)系時(shí),有些學(xué)者存在著偏見,他們片面關(guān)注測(cè)驗(yàn)得分的解釋是否與一個(gè)既定的法則關(guān)系相一致。對(duì)于實(shí)證主義者來(lái)說(shuō)法則關(guān)系可以不借助于現(xiàn)實(shí)參照而給出構(gòu)思的定義,他們認(rèn)為構(gòu)思的含義僅由其所在的法則關(guān)系來(lái)決定。按照這個(gè)邏輯,先畫一個(gè)法則關(guān)系圖,中間留出一些空點(diǎn),然后就認(rèn)定這些空點(diǎn)就是所暗含的構(gòu)思,各構(gòu)思所具有的屬性、特點(diǎn)等也可以從該圖中得出。很顯然,單憑這個(gè)是很難讓人信服的。當(dāng)然,考慮一個(gè)構(gòu)思與另一個(gè)構(gòu)思之間的關(guān)系非常重要,這是構(gòu)建理論的關(guān)鍵步驟。但若就此認(rèn)為法則關(guān)系展示了各構(gòu)思的屬性則有些牽強(qiáng)。

      第二個(gè)問(wèn)題是,確定各構(gòu)思的含義及其屬性需要一個(gè)詳實(shí)、準(zhǔn)確的法則關(guān)系。實(shí)際上,詳實(shí)與準(zhǔn)確這兩個(gè)要求都是很難完全達(dá)到的(葉映華,鄭全全,2007;Drew&Robert,2003)。沒(méi)有科學(xué)家可以保證某個(gè)理論已經(jīng)完美得無(wú)懈可擊了,心理學(xué)也同樣如此,隨著它的不斷發(fā)展,結(jié)合已有的研究成果,會(huì)不斷發(fā)掘出更多的內(nèi)容。而在其發(fā)展的過(guò)程中,會(huì)對(duì)原有的成果作修改、補(bǔ)充。隨著新研究的開展,回頭再看看那些之前是詳實(shí)、準(zhǔn)確的研究成果,或許會(huì)發(fā)現(xiàn)它們已不再詳實(shí)、準(zhǔn)確??蒲腥藛T的目標(biāo)也許只能是通過(guò)不懈地努力來(lái)不斷完善已獲得的研究成果。盡管如此,Gerald和Scott(2008)認(rèn)為當(dāng)研究人員評(píng)估科學(xué)理論時(shí),負(fù)面的研究結(jié)果通常應(yīng)當(dāng)比正面的研究結(jié)果更有價(jià)值。因?yàn)檠芯咳藛T基于負(fù)面的研究結(jié)果,可以總結(jié)該方法的不足之處,以便在以后的研究中加以改進(jìn)。

      4法則關(guān)系方法的應(yīng)用

      法則關(guān)系方法在心理學(xué)、管理學(xué)、經(jīng)濟(jì)學(xué)、教育學(xué)等諸多領(lǐng)域里都有很廣泛的應(yīng)用前景。自其問(wèn)世以來(lái),已有多位專家學(xué)者應(yīng)用、擴(kuò)充以及發(fā)展該方法,并取得了顯著的成果。如在人力資源管理中,可以令其與專業(yè)評(píng)估技術(shù)相結(jié)合來(lái)評(píng)估各級(jí)員工的績(jī)效。培訓(xùn)與開發(fā)是人力資源管理的基本核心,必須要靠不斷地培訓(xùn)、開發(fā)人才,才能在發(fā)展中適應(yīng)外部環(huán)境的變化,并為新的發(fā)展創(chuàng)造條件。同時(shí),針對(duì)不同的崗位需求,可以結(jié)合法則關(guān)系方法分析出不同崗位員工所應(yīng)具備的能力,再分別、有重點(diǎn)地培訓(xùn)相應(yīng)員工。

      在對(duì)績(jī)效評(píng)估進(jìn)行統(tǒng)計(jì)檢驗(yàn)的過(guò)程中,研究人員經(jīng)常采用交叉驗(yàn)證的方法,進(jìn)而保證它們?cè)谧畲蟪潭壬夏軌蚍从吵隹?jī)效評(píng)估的特質(zhì)。在此基礎(chǔ)上,可以利用Cronbach和DMeehl提出的法則關(guān)系進(jìn)行法則有效性檢驗(yàn)。使用該方法進(jìn)行檢驗(yàn),需要在原評(píng)估的基礎(chǔ)上引入前因變量或結(jié)果變量,構(gòu)建法則關(guān)系(李明斐,盧小君,2004)。譬如,在進(jìn)行勝任力研究時(shí),不僅需要關(guān)注勝任力本身,還需要考慮

      到其他變量(如,環(huán)境因素、工作特征等)對(duì)勝任力的影響,以及勝任力對(duì)工作績(jī)效的影響。這里環(huán)境因素、工作特征等就是前因變量,而工作績(jī)效就是結(jié)果變量,研究這些關(guān)系實(shí)質(zhì)上是對(duì)勝任力結(jié)構(gòu)模型的法則關(guān)系檢驗(yàn)。

      選用標(biāo)準(zhǔn)測(cè)驗(yàn)或是自行設(shè)計(jì)測(cè)量工具,首先就應(yīng)當(dāng)評(píng)價(jià)其效度。實(shí)踐應(yīng)用中,可以在可供選擇的模型之間進(jìn)行比較研究以及交叉驗(yàn)證,從中選出最合適的模型,該模型將會(huì)使用在判別效度和法則有效性的檢驗(yàn)中。Rode等人(2008)應(yīng)用了多組驗(yàn)證性因子分析來(lái)檢驗(yàn)了判別效度和法則有效性。多組驗(yàn)證性因子分析(或路徑分析)是多組結(jié)構(gòu)方程模型的一類,目的在于檢驗(yàn):各組的因子結(jié)構(gòu)是否相同?某些路徑參數(shù)在不同的組是否有顯著的差異?另一類的多組結(jié)構(gòu)方程模型是要進(jìn)一步了解各組的因子均值是否相同(侯杰泰,溫忠麟,成子娟,2004)。對(duì)于研究中法則有效性的效標(biāo)變量可以應(yīng)用有關(guān)績(jī)效的客觀測(cè)量方法來(lái)確定,這樣效度證據(jù)將更有力,從而避免基于被試感知進(jìn)行評(píng)估所帶有的主觀性。

      Benson和Hafftvet(1996)認(rèn)為法則有效性的提出是心理測(cè)量領(lǐng)域內(nèi)的重要成果,是對(duì)量表效度進(jìn)行檢驗(yàn)的有利工具。這種方法可以有效克服效標(biāo)關(guān)聯(lián)效度研究中存在的一些問(wèn)題,但其需要較強(qiáng)的統(tǒng)計(jì)學(xué)工具和理論。

      應(yīng)用結(jié)構(gòu)方程建模(SEM)的方法來(lái)檢查法則關(guān)系中各個(gè)構(gòu)思之間假定的關(guān)系,可以使用探索性樣本來(lái)尋找一個(gè)合適的sEM模型并且用驗(yàn)證性樣本來(lái)檢驗(yàn)這個(gè)模型。如果存在一個(gè)結(jié)構(gòu)模型,其代表了與數(shù)據(jù)較好擬合的法則關(guān)系,并且發(fā)現(xiàn)先前假定的各構(gòu)思之間具有顯著的關(guān)系,則通過(guò)工具所測(cè)量的原模型與前因變量或結(jié)果變量之間是顯著相關(guān)的;同時(shí)可以認(rèn)為該測(cè)量工具具有法則有效性(Yang~,Watkins,&Marsiek,2004)。使用結(jié)構(gòu)方程建模來(lái)確定所開發(fā)工具的法則有效性時(shí),一般來(lái)講,如果RMSEA值在0.08以下(越小越好),表明了模型一數(shù)據(jù)之間的擬合是合適的;NNFI和CFI在0.9以上(越大越好),即,通過(guò)被檢驗(yàn)的模型,超過(guò)90%數(shù)據(jù)的聯(lián)合方差與協(xié)方差能夠得到說(shuō)明,則所擬合的模型是一個(gè)好模型。需要注意的是,在應(yīng)用結(jié)構(gòu)方程建模方法時(shí),大多數(shù)模型至少需要100至5200個(gè)被試,若需要依性別或其他變量進(jìn)行分析時(shí),樣本容量要更大(侯杰泰,溫忠麟,成子娟,2004;Yang,Watkins,&Marsick 2004)。

      此外,一般而言,法則關(guān)系中的各組成部分都是提煉出來(lái)的構(gòu)思,這就與現(xiàn)實(shí)存在一定的出入,換言之,即是準(zhǔn)確度降低,好模型是盡可能準(zhǔn)確且相對(duì)簡(jiǎn)潔的。要達(dá)到這個(gè)目標(biāo),可以研究有關(guān)構(gòu)思的擴(kuò)大的法則關(guān)系,也就是增加構(gòu)思的維度,并且考慮構(gòu)思與其他前因變量或結(jié)果變量之間的聯(lián)系,這在實(shí)證領(lǐng)域中已有所涉及。在有關(guān)評(píng)價(jià)中心(Assessment Center,簡(jiǎn)稱AC)構(gòu)思效度的擴(kuò)大的法則關(guān)系研究中,通過(guò)研究有關(guān)跨情境一致性的預(yù)測(cè)與評(píng)價(jià)中心績(jī)效的特殊方面,來(lái)擴(kuò)大評(píng)價(jià)中心的法則有效性。作者指出需要研究(a)其他的個(gè)體差異因素,例如,認(rèn)知能力,工作經(jīng)驗(yàn),和自我監(jiān)督,因?yàn)樗鼈冴P(guān)系到整體AC績(jī)效,與(b)其他的特殊情境因素,如,執(zhí)行特殊任務(wù)的經(jīng)驗(yàn)以及任務(wù)的困難程度,因?yàn)樗鼈冴P(guān)系到特殊訓(xùn)練績(jī)效,還有(c)結(jié)果標(biāo)準(zhǔn)(即,工作績(jī)效的測(cè)量),這些會(huì)有助于完善AC效度的法則關(guān)系(Lance,F(xiàn)oster,Neme~,Gentry,&Drollinger,2007)。Chert,Fok,Bond和Matsumoto(2006)也指出需要確立構(gòu)思與其他構(gòu)思之間的聯(lián)系來(lái)擴(kuò)大法則關(guān)系。

      4.1應(yīng)用法則關(guān)系方法的幾個(gè)實(shí)例

      當(dāng)前公務(wù)員能力建設(shè)中的一個(gè)核心問(wèn)題是要確定現(xiàn)階段公務(wù)員所應(yīng)具備哪些職位的勝任力,另一個(gè)問(wèn)題是研究如何才能準(zhǔn)確地測(cè)量出勝任力水平,好為上級(jí)領(lǐng)導(dǎo)部門進(jìn)行行政決策時(shí)提供參考,以求選賢薦能、知人善任。李明斐(2006)借助于預(yù)試性調(diào)查、交叉驗(yàn)證檢驗(yàn)、法則關(guān)系等分析方法多次檢驗(yàn)問(wèn)卷的信度和勝任力模型的構(gòu)思效度以及勝任力模型對(duì)績(jī)效的預(yù)測(cè)力,拓寬了法則關(guān)系的應(yīng)用范圍。研究表明,勝任力是績(jī)效的決定因子之一,不同的勝任力要素對(duì)績(jī)效的不同成分產(chǎn)生不同的影響作用,因此在研究中采用了法則關(guān)系方法以證明勝任力模型中的要素都對(duì)高績(jī)效有著影響作用,從而證明了勝任力模型對(duì)績(jī)效具有預(yù)測(cè)作用。

      在以往的研究中,研究人員多采用定性分析的方法探討勝任力與績(jī)效之間的關(guān)系,這種方法有著定性分析本身所不可避免的缺陷,即缺少有關(guān)兩者關(guān)系緊密程度的數(shù)據(jù)支持,使得研究者不能確定勝任力在何種程度上影響著績(jī)效。而對(duì)兩者關(guān)系進(jìn)行定量分析時(shí)一些學(xué)者則采用了相關(guān)分析方法,但這種方法只能證明兩者之間有關(guān)系,揭示兩個(gè)變量之間關(guān)系的密切程度,卻無(wú)法知道勝任力與績(jī)效之間的因果關(guān)系——孰是因,孰是果?另外一些研究人員則采用了回歸分析的方法,但是回歸分析一次只能分析一個(gè)因變量,難以考察自變量同時(shí)對(duì)多個(gè)因變量的影響程度以及這些因變量之間的相互影響。與相關(guān)分析以及回歸分析相比,基于結(jié)構(gòu)方程模型的法則關(guān)系方法能更加科學(xué)地揭示多變量之間的因果關(guān)系。NunnaRy指出在對(duì)一個(gè)構(gòu)思進(jìn)行檢驗(yàn)時(shí),一個(gè)重要的步驟就是確定所研究的構(gòu)思與其他構(gòu)思之間是否存在理論研究推導(dǎo)出的某種關(guān)系(侯杰泰,溫忠麟,成子娟,2004)。而法則關(guān)系的檢驗(yàn)方法正與該研究要求相吻合。

      Fay和Frese(2001)也做了很有益的實(shí)踐與探索,他們?cè)谘芯總€(gè)人能動(dòng)性(即Personal Imfiafive,簡(jiǎn)稱PI)面試測(cè)量工具的構(gòu)思效度時(shí),構(gòu)造了個(gè)人能動(dòng)性的法則關(guān)系(見圖1)。所謂個(gè)人能動(dòng)性,即是指一種行為特征,其驅(qū)使著個(gè)體采用積極與自發(fā)主動(dòng)的方式來(lái)達(dá)到以及完成工作上的目標(biāo)與任務(wù),并且堅(jiān)持克服困難(Frese,Kring,Soose&Zempel,1996;Frese,F(xiàn)ay,Hilburger,Leng&Tag,1997)。

      該模型假設(shè)了因果關(guān)系與相互關(guān)系,關(guān)于圖1中所描述關(guān)系的法則關(guān)系的實(shí)證證據(jù)表明了構(gòu)思的可行性以及關(guān)于PI的測(cè)量。PI與背景人格變量(如,成就動(dòng)機(jī)、心理保守性、行動(dòng)傾向)是一致相關(guān)的。其與職業(yè)資格、認(rèn)知能力也是一致相關(guān)的。類似地,PI與個(gè)人傾向(如,控制愿望、自我效能感、改變傾向、積極應(yīng)對(duì)、處理錯(cuò)誤)是正相關(guān)的。最終,在個(gè)人水平上,所測(cè)量的PI與個(gè)人績(jī)效以及小規(guī)模的公司績(jī)效是相聯(lián)系的;在組織水平上,作為一個(gè)氛圍因素所測(cè)量的PI與公司的利潤(rùn)率相聯(lián)系。

      通過(guò)使用法則關(guān)系方法,研究人員確定了一個(gè)實(shí)踐上與理論上都重要的構(gòu)思,并且通過(guò)使用多重信息的來(lái)源(例如,參與者、面試中的行為(克服困難)、有關(guān)過(guò)去與現(xiàn)在PI行為的報(bào)告、以及面試者的評(píng)估等),已經(jīng)開發(fā)出一個(gè)有關(guān)該構(gòu)思的測(cè)量工具。

      Conway.Lombardo和Sanders(2001)也借助

      于法則關(guān)系來(lái)研究下屬以及同事評(píng)估的構(gòu)思效度。相較過(guò)去,盡管上司評(píng)估仍然是最常見的績(jī)效測(cè)評(píng)手段,但是非傳統(tǒng)信息來(lái)源(諸如下屬以及同事)對(duì)于工作績(jī)效的評(píng)估現(xiàn)在已經(jīng)顯著增加了。

      一個(gè)很現(xiàn)實(shí)的問(wèn)題是評(píng)估在何種程度上有效地反映了被評(píng)估者對(duì)組織的貢獻(xiàn)。如果效度能被確定,這將有助于解釋進(jìn)行非傳統(tǒng)信息來(lái)源評(píng)估的合理性以及必要性;如果效度不能被確定,則增加使用非傳統(tǒng)信息來(lái)源的評(píng)估是值得商榷的,并且這可能會(huì)導(dǎo)致不準(zhǔn)確的信息反饋以及管理決策(Conway,Lombardo,&Sanders,2001)。Borman(1997)指出多信息來(lái)源評(píng)估的價(jià)值取決于其所提供的增量效度超過(guò)了來(lái)自單一信息來(lái)源(最可能是上司)的評(píng)估。Conway和Huffcutt(1997)通過(guò)分析以往數(shù)據(jù),指出信息來(lái)源的評(píng)估產(chǎn)生了不同的構(gòu)思。除了如上所述的評(píng)估增量效度,重要的是要理解不同信息來(lái)源評(píng)估的含義(即,每個(gè)信息來(lái)源評(píng)估績(jī)效構(gòu)思的性質(zhì))。理論上,研究人員關(guān)注的是有關(guān)評(píng)估的擴(kuò)大的法則關(guān)系,其中涉及到績(jī)效的評(píng)估是如何與別的構(gòu)思相關(guān)聯(lián)的,如個(gè)體差異(例如:人格與能力)。通過(guò)應(yīng)用法則關(guān)系方法,可以更好地了解非傳統(tǒng)信息來(lái)源評(píng)估這個(gè)構(gòu)思,而該構(gòu)思是實(shí)施不同信息來(lái)源評(píng)估實(shí)踐的基礎(chǔ),也就是傳統(tǒng)意義上的“理論指導(dǎo)實(shí)踐”。

      增量效度的證據(jù)意味著每個(gè)信息來(lái)源對(duì)于被評(píng)估者的績(jī)效有一個(gè)相對(duì)獨(dú)特的視角。然而,論證增量效度并不能有助于明白信息來(lái)源之間的區(qū)別。這需要著重評(píng)估每個(gè)信息來(lái)源所反映的構(gòu)思,Conway和Huffcutt是通過(guò)法則關(guān)系來(lái)研究這些構(gòu)思的。研究人員通過(guò)文獻(xiàn)調(diào)查,設(shè)定決策規(guī)則,整理最終數(shù)據(jù)集,確定各個(gè)變量的符號(hào),計(jì)算相關(guān)系數(shù)以及對(duì)結(jié)果做了必要的修正。研究結(jié)果表明:下屬和同事評(píng)估與客觀績(jī)效標(biāo)準(zhǔn)是相聯(lián)系的,并且每種信息來(lái)源提供超過(guò)上司的增量效度。在某種程度上,法則關(guān)系對(duì)于人格與能力的假設(shè)是合理的,同時(shí)研究結(jié)果表明,應(yīng)用多信息來(lái)源進(jìn)行績(jī)效評(píng)估也有其合理性。

      4.2應(yīng)用法則關(guān)系方法需要注意的問(wèn)題

      在結(jié)合法則關(guān)系方法進(jìn)行研究的過(guò)程中,有一些需要研究人員注意的問(wèn)題:

      法則關(guān)系中的構(gòu)思在性質(zhì)上可能有較大差異,有些構(gòu)思純粹幾乎是描述性的,而有些構(gòu)思則是高度理論化的。在研究的不同階段,法則關(guān)系中的構(gòu)思會(huì)發(fā)生變化。伴隨著研究的深入,研究人員會(huì)不斷發(fā)現(xiàn)與原有構(gòu)思相聯(lián)系的新構(gòu)思,并且構(gòu)思內(nèi)部的維度也會(huì)增加或是減少,從而與現(xiàn)實(shí)能夠更好地?cái)M合。當(dāng)法則關(guān)系中的一些預(yù)測(cè)與測(cè)驗(yàn)數(shù)據(jù)相擬合時(shí),測(cè)驗(yàn)的構(gòu)思效度可能存在。本質(zhì)上,有關(guān)測(cè)驗(yàn)構(gòu)思效度的研究與假定和驗(yàn)證理論的一般程序是相同的。對(duì)于研究得出的各個(gè)數(shù)據(jù)進(jìn)行解釋不應(yīng)只是一個(gè)完全量化的過(guò)程,研究人員也不應(yīng)只滿足于對(duì)各個(gè)數(shù)據(jù)的描述。對(duì)于數(shù)據(jù)背后所反映的深層關(guān)系、可能的原因以及影響也需明確地予以指出,做到定性與定量相結(jié)合。

      Cronbach和Medal提到并不是先“證明”法則關(guān)系后驗(yàn)證測(cè)驗(yàn),也不是反過(guò)來(lái)先驗(yàn)證測(cè)驗(yàn)再證明法則關(guān)系。法則關(guān)系中包括命題,其把測(cè)驗(yàn)與構(gòu)思聯(lián)系起來(lái),把構(gòu)思與別的構(gòu)思聯(lián)系起來(lái),并且最終把其中的某些構(gòu)思與觀察到的現(xiàn)象聯(lián)系起來(lái)。在研究中,推論鏈?zhǔn)欠浅?fù)雜的。預(yù)測(cè)的實(shí)證關(guān)系允許驗(yàn)證所有導(dǎo)致那個(gè)預(yù)測(cè)的命題。對(duì)于鏈上的所有部分來(lái)說(shuō),證據(jù)非常重要,如果這個(gè)預(yù)測(cè)沒(méi)有被證實(shí),錯(cuò)誤可能出現(xiàn)在推論鏈上的任何環(huán)節(jié)上。如果研究人員的預(yù)測(cè)與數(shù)據(jù)不一致,則可能有三種原因:a該測(cè)驗(yàn)沒(méi)有測(cè)量構(gòu)思變量;b產(chǎn)生假設(shè)的法則關(guān)系不正確;c設(shè)計(jì)的測(cè)驗(yàn)沒(méi)能恰當(dāng)?shù)販y(cè)驗(yàn)假設(shè)。若是第1種情況,研究人員可以著手準(zhǔn)備并且驗(yàn)證一個(gè)新的測(cè)驗(yàn);若是第3種情況,研究人員則需要進(jìn)行一個(gè)適當(dāng)?shù)难芯?;更多的也許是第2種情況。萬(wàn)一研究人員判定法則關(guān)系中的一些步驟是不健全的,可以重新組織一個(gè)法則關(guān)系;可以通過(guò)把一個(gè)概念分成兩個(gè)或者更多的部分來(lái)修改這個(gè)法則關(guān)系,例如,通過(guò)指派焦慮的類型;或是詳細(xì)說(shuō)明附加條件,需要避免以事后合理化來(lái)取代合適的效度。當(dāng)研究人員修改法則關(guān)系時(shí),其需要搜集大量的新數(shù)據(jù)來(lái)測(cè)驗(yàn)已改變了的假設(shè)。

      確定法則關(guān)系中各個(gè)子成分之間的關(guān)系有助于消除法則關(guān)系內(nèi)部的障礙,同時(shí)使得研究人員對(duì)于各個(gè)子成分之間哪些是相關(guān)關(guān)系、哪些是因果關(guān)系,或是其他關(guān)系都一目了然。另外,只有當(dāng)預(yù)測(cè)與后來(lái)的測(cè)驗(yàn)數(shù)據(jù)之間有較強(qiáng)的正匹配時(shí),使用者才能接受該測(cè)驗(yàn)。當(dāng)預(yù)測(cè)與測(cè)驗(yàn)數(shù)據(jù)之間不匹配時(shí),則不應(yīng)當(dāng)推廣該測(cè)驗(yàn),或者放棄這個(gè)測(cè)驗(yàn)。

      在《心理測(cè)驗(yàn)中的構(gòu)思效度》一文中,作者指出測(cè)驗(yàn)開發(fā)人員需要設(shè)法將他的理論傳達(dá)給讀者。測(cè)驗(yàn)開發(fā)人員(其提出的預(yù)測(cè)與測(cè)驗(yàn)數(shù)據(jù)之間是絕對(duì)一致的)需詳細(xì)說(shuō)明該測(cè)驗(yàn)所具有的構(gòu)思效度,對(duì)此,其必須先陳述他腦海中的構(gòu)思以及他對(duì)該構(gòu)思的定義:對(duì)于一個(gè)新構(gòu)思,可以指出構(gòu)思假定的性質(zhì);對(duì)于一個(gè)具有較長(zhǎng)歷史的構(gòu)思,需要指出研究前后對(duì)構(gòu)思性質(zhì)的不同認(rèn)識(shí)。研究人員還要說(shuō)明他先前根據(jù)法則關(guān)系所作的預(yù)測(cè),并指出哪個(gè)預(yù)測(cè)被證實(shí)了,哪個(gè)預(yù)測(cè)被拒絕了以及拒絕的具體原因。同時(shí)應(yīng)當(dāng)注明,他的預(yù)測(cè)哪一部分是思考,哪一部分是根據(jù)不充分?jǐn)?shù)據(jù)所作的推斷。

      研究人員在編制量表以獲取數(shù)據(jù)時(shí)需要注意選擇合適的樣本,樣本應(yīng)具有代表性且與研究主題相吻合。KouRcros,Nahm,Cheng和Lai(2007)在對(duì)組織設(shè)計(jì)構(gòu)思的法則關(guān)系的實(shí)證評(píng)估中,通過(guò)選擇特定的產(chǎn)業(yè)獲取了充分大的樣本容量,同時(shí)這些產(chǎn)業(yè)也是非常重要的。通過(guò)進(jìn)入這些產(chǎn)業(yè),研究人員能更好地觀察到各種措施的成效,并且對(duì)相關(guān)構(gòu)思的法則關(guān)系有了更清晰的認(rèn)識(shí)。

      5未來(lái)研究的展望

      法則關(guān)系自從20世紀(jì)50年代Cronbach和Meehl提出以后,很長(zhǎng)一段時(shí)間內(nèi),其并沒(méi)有進(jìn)入廣大研究者的視野,直到上個(gè)世紀(jì)80年代,才漸漸有學(xué)者借助法則關(guān)系來(lái)進(jìn)行科學(xué)研究。之后,其研究范圍不斷擴(kuò)大,研究方法也不斷更新,但多數(shù)是在實(shí)證上的研究,而理論上的研究則相對(duì)滯后。伴隨著研究的推進(jìn),也漸漸凸顯了本文所論述到的一些問(wèn)題。根據(jù)對(duì)以往研究成果以及存在問(wèn)題的梳理分析,我們認(rèn)為未來(lái)的研究趨勢(shì)如下:

      (1)在理論研究與實(shí)證研究互動(dòng)的基礎(chǔ)上,進(jìn)一步廓清法則關(guān)系的理論框架。理論上,目前涉及的學(xué)者很少,仍然處于模糊混沌階段,很多方面還沒(méi)有取得一致的結(jié)論,可以說(shuō)目前法則關(guān)系方法的研究只是揭開了冰山一角。未來(lái)還需要開展大量的實(shí)證研究來(lái)檢驗(yàn)現(xiàn)有的一些理論假設(shè),并且在理論上繼續(xù)深入下去。同時(shí)在理論研究與實(shí)證研究的互動(dòng)中逐步構(gòu)建起法則關(guān)系方法的體系框架。

      (2)借助法則關(guān)系來(lái)有效地開發(fā)以及驗(yàn)證相應(yīng)的測(cè)量工具。在人力資源領(lǐng)域中,借助于法則關(guān)系,研究人員可以更深入地探尋各相關(guān)構(gòu)思以及構(gòu)思內(nèi)部各維度之間的關(guān)系。認(rèn)知理論、公平理論等社會(huì)學(xué)與心理學(xué)的理論為研究人員設(shè)計(jì)薪酬、開發(fā)有效績(jī)效測(cè)評(píng)工具及探尋內(nèi)在規(guī)律提供重要的理論指導(dǎo)。從法則關(guān)系中各構(gòu)思之間的關(guān)系及彼此形成的互動(dòng)過(guò)程來(lái)看,引入博弈論、戰(zhàn)略管理和現(xiàn)代信息經(jīng)濟(jì)學(xué)等相關(guān)理論,運(yùn)用多學(xué)科理論探析法則關(guān)系的構(gòu)建與影響機(jī)制,將可以成為對(duì)法則關(guān)系進(jìn)行系統(tǒng)研究的重要趨勢(shì)。

      (3)探索法則關(guān)系方法效度的影響因素。目前對(duì)于法則關(guān)系效度來(lái)源以及效度影響因素的理解還很淺顯。雖然之前的文章為理解法則關(guān)系方法的效度影響因素提供了一些線索,但是有關(guān)法則關(guān)系效度影響的研究還相當(dāng)缺乏?,F(xiàn)存的一些有關(guān)效度影響因素的實(shí)證研究還主要停留在測(cè)驗(yàn)的呈現(xiàn)方式上,而很少涉及采用法則關(guān)系方法的測(cè)驗(yàn)類型及其開發(fā)模式對(duì)于效度的影響。此外,由于對(duì)法則關(guān)系方法的研究還處于初步階段,現(xiàn)今主要借助于結(jié)構(gòu)方程模型以及LISREL、SPSS、SAS等軟件進(jìn)行研究。隨著統(tǒng)計(jì)學(xué)的發(fā)展與進(jìn)步,我們可否將其他更為有效的工具應(yīng)用于法則關(guān)系的探索?這個(gè)問(wèn)題值得進(jìn)一步地研究。

      (4)進(jìn)行跨文化相關(guān)的研究。社會(huì)文化對(duì)我們?nèi)说乃枷?、行為產(chǎn)生很重要的影響,進(jìn)而也影響到法則關(guān)系中的構(gòu)思。到目前為止,我們尚未發(fā)現(xiàn)文化差異背景下有關(guān)法則關(guān)系的研究。此外,諸如結(jié)合法則關(guān)系方法開發(fā)與驗(yàn)證的測(cè)量工具是否也具有跨文化適用性等等,未來(lái)可以在這些方向上作深入地探索。

      總的來(lái)看,在本文目前研究的基礎(chǔ)上,法則關(guān)系方法還是一個(gè)較新的研究領(lǐng)域。在今后相當(dāng)長(zhǎng)的時(shí)間內(nèi),上面所列出的這些趨勢(shì)指出了我們研究法則關(guān)系的方向。研究人員還需進(jìn)行大量的研究來(lái)進(jìn)一步發(fā)展、完善該方法。

      集安市| 江西省| 志丹县| 万宁市| 津南区| 五河县| 许昌市| 北票市| 浙江省| 孝义市| 乐都县| 岚皋县| 土默特右旗| 徐汇区| 阿勒泰市| 射阳县| 东城区| 咸丰县| 松潘县| 中卫市| 游戏| 鲜城| 离岛区| 彰化县| 肃南| 新源县| 元江| 芒康县| 德昌县| 增城市| 金乡县| 三明市| 太和县| 闽清县| 湖州市| 阿拉善盟| 武鸣县| 丹东市| 温泉县| 百色市| 锡林浩特市|