王 斌 李智睿 伍麗梅 張積家

具身模擬在漢語(yǔ)肢體動(dòng)作動(dòng)詞理解中的作用*

王 斌1李智睿2伍麗梅3張積家1

(1中國(guó)人民大學(xué)心理學(xué)系、國(guó)家民委民族語(yǔ)言文化心理重點(diǎn)研究基地、教育部民族教育發(fā)展中心民族心理與教育重點(diǎn)研究基地, 北京 100872) (2淮陰師范學(xué)院心理健康教育與咨詢中心, 江蘇 淮安 223300) (3暨南大學(xué)華文學(xué)院, 廣州 510610)

通過3個(gè)實(shí)驗(yàn), 考察具身模擬在漢語(yǔ)肢體動(dòng)作動(dòng)詞理解中的作用。實(shí)驗(yàn)1考察在整字啟動(dòng)下具身模擬對(duì)運(yùn)動(dòng)通道中箭頭方向判斷的影響, 發(fā)現(xiàn)理解肢體動(dòng)作動(dòng)詞在運(yùn)動(dòng)通道中存在著動(dòng)作–漢字相容效應(yīng), 漢字的具身方向與箭頭方向一致促進(jìn)被試對(duì)箭頭方向的判斷。實(shí)驗(yàn)2考察在整字啟動(dòng)下具身經(jīng)驗(yàn)對(duì)視覺通道中字母位置判斷的影響, 發(fā)現(xiàn)理解肢體動(dòng)作動(dòng)詞在視覺通道中存在著動(dòng)作–漢字相容效應(yīng), 漢字的具身方位與字母方位一致促進(jìn)對(duì)字母方位的識(shí)別。實(shí)驗(yàn)3采用義符啟動(dòng)范式考察義符與整字的具身模擬, 發(fā)現(xiàn)理解漢語(yǔ)肢體動(dòng)作動(dòng)詞不僅在整字層次上存在著具身模擬, 在部件層次上也存在著具身模擬。義符在漢字加工中期被激活了, 并且持續(xù)到加工晚期。整個(gè)研究表明, 漢語(yǔ)肢體動(dòng)作動(dòng)詞理解是一個(gè)跨通道的具身模擬過程, 具身模擬在漢語(yǔ)肢體動(dòng)作動(dòng)詞的理解中起著非常重要的作用。

漢語(yǔ)肢體動(dòng)作動(dòng)詞; 義符; 整字; 具身模擬

1 引言

語(yǔ)義信息在人的頭腦中如何表征與加工？一直以來是認(rèn)知科學(xué)的核心問題。持計(jì)算機(jī)隱喻觀的第一代認(rèn)知科學(xué)認(rèn)為, 語(yǔ)義系統(tǒng)儲(chǔ)存著類似字母、數(shù)字等抽象的符號(hào), 語(yǔ)言理解是與身體、知覺經(jīng)驗(yàn)無關(guān)的非模態(tài)系統(tǒng)。第二代認(rèn)知科學(xué)中的具身語(yǔ)義學(xué)(Embodied semantics)提出了不同的觀點(diǎn), 認(rèn)為語(yǔ)言理解是對(duì)語(yǔ)言所指情境的心理模擬, 這種模擬以身體的感覺運(yùn)動(dòng)經(jīng)驗(yàn)為基礎(chǔ), 在概念表征中有負(fù)責(zé)感覺運(yùn)動(dòng)的腦區(qū)參與, 語(yǔ)言理解是基于身體感覺運(yùn)動(dòng)經(jīng)驗(yàn)的認(rèn)知活動(dòng)(Barsalou, Simmons, Barbey, & Wilson, 2003; Glenberg, 1997; Horoufchin, Bzdok, Buccino, Borghi, & Binkofski, 2018; Winkielman, Niedenthal, Wielgosz, Eelen, & Kavanagh, 2015; Wu et al., 2017; Zwaan & Madden, 2005)。自從這一觀點(diǎn)提出以來, 掀起了從具身角度研究語(yǔ)言認(rèn)知的高潮。越來越多的研究結(jié)果支持語(yǔ)言理解是對(duì)語(yǔ)言所指情境的心理模擬的觀點(diǎn)(Cardona et al, 2014; Horoufchin et al., 2018; Rodriguez, Mccabe, Nocera, & Reilly, 2012; 王繼瑛, 葉浩生, 蘇得權(quán), 2018; Zwaan, 2014)。

在具身語(yǔ)言理解研究中, 有一類材料是表達(dá)人運(yùn)用肢體進(jìn)行機(jī)械運(yùn)動(dòng)的詞匯, 稱為肢體動(dòng)作動(dòng)詞(Body action verb), 這一類詞匯為很多研究者所青睞。Boulenger等(2006)采用手部、腿部和唇部的動(dòng)作動(dòng)詞來考察語(yǔ)言理解與感覺運(yùn)動(dòng)之間的關(guān)系。在實(shí)驗(yàn)中, 通過視覺通道給被試呈現(xiàn)單詞, 同時(shí)要求被試做手部的抓握動(dòng)作, 發(fā)現(xiàn)相對(duì)于其它部位的動(dòng)作動(dòng)詞, 手部動(dòng)作動(dòng)詞對(duì)抓握動(dòng)作的影響更加顯著。這種現(xiàn)象被稱為動(dòng)詞與動(dòng)作執(zhí)行的一致性效應(yīng)(Action Word Compatibility Effect, ACE)。Juárez, Labrecque和Frak (2019)采用手部和腳部的動(dòng)作動(dòng)詞為目標(biāo)詞, 以非動(dòng)詞作為比較材料, 采用聽覺形式呈現(xiàn)。結(jié)果發(fā)現(xiàn), 肢體動(dòng)作動(dòng)詞比非動(dòng)詞誘發(fā)了更大的P200波幅。同時(shí), 握力器測(cè)得的結(jié)果顯示, 在動(dòng)作動(dòng)詞呈現(xiàn)后的250 ~ 400 ms之間, 被試右手的握力值顯著大于非動(dòng)詞呈現(xiàn)時(shí)的握力值。Strozyk, Dudschig和Kaup (2017)要求被試用手和腳對(duì)與手和腳相關(guān)的名詞做詞匯判斷, 發(fā)現(xiàn)用手按鍵時(shí)對(duì)手部動(dòng)作動(dòng)詞的反應(yīng)更快, 用腳踩時(shí)對(duì)腳部動(dòng)作動(dòng)詞的反應(yīng)更快。這表明, 肢體動(dòng)作動(dòng)詞的語(yǔ)義加工與身體部位之間存在著交互影響。腦成像研究的結(jié)果顯示, 人在理解與肢體動(dòng)作有關(guān)的動(dòng)詞和句子時(shí), 會(huì)引起軀體感覺運(yùn)動(dòng)皮層的特異性激活。例如, 在理解“grasp (抓)”時(shí), 負(fù)責(zé)手部感覺運(yùn)動(dòng)的腦區(qū)被激活; 在理解“kick (踢)”時(shí), 負(fù)責(zé)腳部感覺運(yùn)動(dòng)的腦區(qū)被激活。這一現(xiàn)象被稱為語(yǔ)言理解的具身效應(yīng)(Aziz-Zadeh & Damasio, 2008)。Hauk, Johnsrude和Pulvermüller (2004)采用腦成像技術(shù)比較被試?yán)斫馐植?、腳部和面部動(dòng)詞時(shí)激活的腦區(qū)與動(dòng)手、腳和舌的任務(wù)時(shí)激活的腦區(qū), 發(fā)現(xiàn)與手有關(guān)的動(dòng)詞與手部動(dòng)作均激活了左中央前回和右額中回, 與腳有關(guān)的動(dòng)詞和腳的動(dòng)作均激活了前運(yùn)動(dòng)皮層后側(cè)。這一發(fā)現(xiàn)證實(shí)了使用電流源密度測(cè)量得到的結(jié)果(Pulvermüller, H?rle, & Hummel, 2001), 并且在Klepp等(2014)的腦磁圖研究中得到了進(jìn)一步的證實(shí), 說明理解動(dòng)作動(dòng)詞時(shí)大腦激活的運(yùn)動(dòng)皮層區(qū)域與個(gè)體做該肢體部位動(dòng)作時(shí)激活的腦區(qū)顯著重疊。

肢體動(dòng)作動(dòng)詞為什么會(huì)引起感覺運(yùn)動(dòng)皮層的特異性激活？知覺符號(hào)理論(Perceptual Symbol Systems, PSS)認(rèn)為, 語(yǔ)言理解需要感知運(yùn)動(dòng)系統(tǒng)參與, 是通過語(yǔ)言中一系列復(fù)雜的提示來建構(gòu)所述情境的經(jīng)驗(yàn)性模擬。讀者是語(yǔ)言所述情景的經(jīng)驗(yàn)者, 理解是對(duì)所述情境的各種具身體驗(yàn)的激活。在人的長(zhǎng)時(shí)記憶中, 儲(chǔ)存著由具有多模式性、類似性的知覺符號(hào)構(gòu)成的模擬器。當(dāng)再次激活時(shí), 這種知覺記憶作為代表外界事物的符號(hào)進(jìn)入了符號(hào)操作過程。大量的知覺符號(hào)集中起來就組成認(rèn)知表征。因此, 認(rèn)知表征在本質(zhì)上是知覺性的, 認(rèn)知表征與知覺、運(yùn)動(dòng)在認(rèn)知和神經(jīng)水平上享有共同的系統(tǒng)(Barsalou, 1999a; Barsalou, 1999b)。Feldman和Narayanan (2004)提出以動(dòng)作理解為基礎(chǔ)的語(yǔ)言神經(jīng)理論(The Neural Theory of Language, NTL), 認(rèn)為語(yǔ)言理解是人下意識(shí)地模擬或想象被描述情景的過程。語(yǔ)言理解通過想象和模擬來實(shí)現(xiàn)。這一過程需要?jiǎng)幼鞯纳窠?jīng)肌肉協(xié)同整合才得以完成。這種整合是多感覺通道的, 不僅用于控制動(dòng)作, 也起著建構(gòu)整合表征的功能, 即建構(gòu)起包括動(dòng)作、受動(dòng)事物和動(dòng)作方位的整合表征。例如, 抓握動(dòng)作包含有一個(gè)動(dòng)作成分(如何抓握)和不同的感知成分(人抓住物體時(shí)的樣子以及被抓物體的樣子), 同時(shí)也涉及其它的神經(jīng)通路, 如抓握時(shí)的體覺成分(抓住物體的感覺) (Feldman & Narayanan, 2004; 魯忠義, 高志華, 段曉莉, 劉學(xué)華, 2007; 曲方炳, 殷融, 鐘元, 葉浩生, 2012)。由于這種模擬是知覺和運(yùn)動(dòng)狀態(tài)的自動(dòng)的、無意識(shí)的重新激活過程, 發(fā)生在身體的感覺?運(yùn)動(dòng)通道之中, 因而被稱之為具身模擬(Emobodied simulation) (Gallese & Sinigaglia, 2011, 2012; 葉浩生, 曾紅, 2013)。

基于知覺符號(hào)理論和語(yǔ)言神經(jīng)理論, 研究者探討肢體動(dòng)作動(dòng)詞理解中空間方向和方位信息的表征。Glenberg和Kaschak (2002)讓被試讀一些含有手部動(dòng)作的句子并做出相應(yīng)的反應(yīng)。例如, “Andy opens the drawer” (“Andy打開抽屜”, 暗含的方向是朝向身體), “Sam closes the drawer” (“Sam關(guān)閉抽屜”, 暗含的方向是遠(yuǎn)離身體), 被試的按鍵方向也分為朝向身體和遠(yuǎn)離身體。結(jié)果發(fā)現(xiàn), 當(dāng)句子中的暗含方向與按鍵方向一致時(shí), 被試的反應(yīng)較快; 當(dāng)句子中的暗含方向與按鍵方向不一致時(shí), 被試的反應(yīng)較慢。這被稱為“動(dòng)作–句子相容效應(yīng)” (Action- Sentence Compatibility Effect, ACE)?？梢? 句子理解與按鍵動(dòng)作之間具有一致性, 動(dòng)作語(yǔ)句的理解不僅涉及大腦中負(fù)責(zé)語(yǔ)言的區(qū)域, 也涉及負(fù)責(zé)運(yùn)動(dòng)的區(qū)域。朱鴻凱(2018)采用相同的實(shí)驗(yàn)范式, 以漢語(yǔ)簡(jiǎn)單句為材料, 不僅證實(shí)了漢語(yǔ)句子也存在動(dòng)作–句子相容效應(yīng), 而且這一效應(yīng)不受句子的時(shí)態(tài)和類型(具體句子和抽象句子)影響。除了通過外顯的行為推測(cè)內(nèi)在的具身模擬外, 也有研究者嘗試從內(nèi)在心理加工的角度探討動(dòng)詞理解與運(yùn)動(dòng)表征之間的關(guān)系。如果人們?cè)趧?dòng)作動(dòng)詞理解過程中進(jìn)行了動(dòng)態(tài)模擬, 這種模擬不僅可以通過外顯的具體動(dòng)作來體現(xiàn), 也可以通過內(nèi)隱的具身模擬加工表現(xiàn)出來。Richardson, Spivey, Edelman和Naples (2001)發(fā)現(xiàn), 在動(dòng)詞理解中隱含了空間方向模擬。研究采用單項(xiàng)迫選任務(wù), 給被試視覺呈現(xiàn)包含具體動(dòng)詞(如“推開、舉起”)和抽象動(dòng)詞(如“尊敬、冒犯”)的句子和4個(gè)以圓圈和方形組成的圖形, 圓圈和方形分別代表動(dòng)作的發(fā)出者和承受者, 并且以上下左右四個(gè)箭頭來連接, 要求被試從4個(gè)圖形中選擇一個(gè)符合句子方向的最佳選項(xiàng), 發(fā)現(xiàn)有2/3的被試選擇了與句子的隱含方向一致的選項(xiàng), 而且在包含具體動(dòng)詞和抽象動(dòng)詞的句子之間不存在顯著差異。這說明, 對(duì)動(dòng)詞的表征包含了空間方向的信息。Richardson, Spivey, Barsalou和Mcrae (2003)進(jìn)一步探討動(dòng)詞即時(shí)理解中的空間方向表征, 研究采用雙任務(wù)范式, 首先給被試聽覺呈現(xiàn)一個(gè)含有方向動(dòng)詞的句子, 如“The strongman lifts the barbell (“這個(gè)強(qiáng)壯的人舉起了杠鈴”)”, 同時(shí)視覺同步呈現(xiàn)“強(qiáng)壯的人”和“杠鈴”兩幅圖片, 在隨后的圖片記憶任務(wù)中發(fā)現(xiàn), 被試對(duì)這兩幅圖片以豎直方向排列比水平方向排列反應(yīng)更快, 這一現(xiàn)象在抽象句子的理解中也存在, 說明句子理解激活了空間方位信息, 促進(jìn)了同方位排列圖片的記憶。Yang (2016)采用圖片啟動(dòng)范式考察英語(yǔ)動(dòng)詞短語(yǔ)中介詞的空間方向表征, 啟動(dòng)圖片包括三類：與介詞方向一致的圖片(如以箭頭朝下的圖片啟動(dòng)“The bridge has fallen down”)、與介詞方向不一致的圖片(如以箭頭朝里的圖片啟動(dòng)“The rubbish was thrown out”)、中性圖片(以十字符號(hào)啟動(dòng)句子), 反應(yīng)時(shí)的長(zhǎng)短為：一致啟動(dòng) < 中性啟動(dòng) < 不一致啟動(dòng)?？梢? 一致啟動(dòng)促進(jìn)了包含同方向介詞句子的理解和表征, 在具有方向性的動(dòng)詞理解中包含方向的具身模擬。除方向外, 定位(Stanfield & Zwaan, 2001)、形狀(Zwaan & Yaxley, 2004)和空間位置(Dudschig, Souman, Lachmair, Vega, & Kaup, 2013; Dunn, Kamide, & Scheepers, 2014)等知覺特征也影響語(yǔ)言理解。因此, 語(yǔ)義概念可以基于多種感覺通道的身體經(jīng)驗(yàn)來形成, 大腦進(jìn)行不同感覺通道的語(yǔ)義加工時(shí), 激活的區(qū)域既高度分化, 亦是多模式的神經(jīng)回路(Fernandino et al, 2016; 王繼瑛等, 2018)。

雖然已經(jīng)出現(xiàn)了諸多對(duì)拼音語(yǔ)言肢體動(dòng)作動(dòng)詞理解的研究, 但是, 對(duì)漢語(yǔ)肢體動(dòng)作動(dòng)詞理解的研究近年來才有所涉及。Yang和Shu (2011)探討了漢語(yǔ)動(dòng)作動(dòng)詞的具身語(yǔ)義理解, 采用Go/No go詞匯聲調(diào)判斷任務(wù)考察三類漢語(yǔ)動(dòng)詞的具身理解差異：第一類是不涉及工具的手部動(dòng)詞(如“掐、撫”), 第二類是涉及工具但強(qiáng)調(diào)手部動(dòng)作的動(dòng)詞(如“攪、掃”), 第三類是強(qiáng)調(diào)工具的動(dòng)詞(如“削、綁”)。結(jié)果顯示, 三類動(dòng)詞均激活雙側(cè)前運(yùn)動(dòng)皮層及左側(cè)頂下小葉, 手部動(dòng)作動(dòng)詞比工具動(dòng)作動(dòng)詞激發(fā)的運(yùn)動(dòng)區(qū)的活動(dòng)更明顯。研究者認(rèn)為, 生物信息和機(jī)械信息激活了不同的腦區(qū), 后顳上溝區(qū)域負(fù)責(zé)編碼生物運(yùn)動(dòng)信息, 顳中回后部區(qū)域負(fù)責(zé)編碼機(jī)械運(yùn)動(dòng)信息(Beauchamp, Lee, Haxby & Martin, 2002; Beauchamp, Lee, Haxby & Martin, 2003; Martin, 2007)。Lin, Lu, Fang, Han和Bi (2011)以漢語(yǔ)生物運(yùn)動(dòng)動(dòng)詞(如“行走”)和機(jī)械運(yùn)動(dòng)動(dòng)詞(如“旋轉(zhuǎn)”)為材料, 檢驗(yàn)漢語(yǔ)動(dòng)詞是否引起神經(jīng)機(jī)制的特異性激活, 發(fā)現(xiàn)漢語(yǔ)生物運(yùn)動(dòng)動(dòng)詞激活后顳上溝區(qū)域, 漢語(yǔ)機(jī)械運(yùn)動(dòng)動(dòng)詞未激活顳中回后部區(qū)域。蘇得權(quán)、鐘元、曾紅和葉浩生(2013)選取描述手部、面部、口部發(fā)音和腳部動(dòng)作的漢語(yǔ)成語(yǔ)及不包含動(dòng)作的漢語(yǔ)抽象成語(yǔ), 考察理解漢語(yǔ)動(dòng)作成語(yǔ)時(shí)的腦激活。結(jié)果顯示, 理解動(dòng)作成語(yǔ)引起頂葉、額葉和顳葉等腦區(qū)活動(dòng), 描述手部、腳部、面部和口部發(fā)音動(dòng)作的成語(yǔ)分別激活了前運(yùn)動(dòng)皮層、右側(cè)額中回、背外側(cè)前運(yùn)動(dòng)皮層等感覺運(yùn)動(dòng)區(qū), 說明漢語(yǔ)中負(fù)責(zé)動(dòng)作成語(yǔ)理解的腦區(qū)與負(fù)責(zé)相應(yīng)動(dòng)作的感覺運(yùn)動(dòng)區(qū)高度重合。這些研究均說明了漢語(yǔ)肢體動(dòng)作動(dòng)詞及成語(yǔ)的具身效應(yīng), 然而卻均未涉及漢語(yǔ)肢體動(dòng)作動(dòng)詞所具有的最鮮明特性――用義符標(biāo)明完成動(dòng)作所用的肢體器官(張積家, 方燕紅, 陳新葵, 2006)。

漢字是意音文字, 具有見形知意的特點(diǎn)。形聲字是漢字的主體。在現(xiàn)代漢字中, 形聲字的比例超過了80% (李燕, 康加深, 1993)。形聲字由表義的義符(形旁)和表音的聲符(聲旁)組成。義符與被構(gòu)字具有語(yǔ)義聯(lián)系, 是漢字區(qū)別于拼音文字的最重要的特點(diǎn)。借助于義符來推測(cè)整字的語(yǔ)義, 正確率可以達(dá)60%~100% (Williams & Bever, 2010)。以漢語(yǔ)為第二語(yǔ)言的中高級(jí)學(xué)習(xí)者也利用義符路徑來識(shí)別漢字(Williams, 2013)。研究顯示, 義符具有表形、表義、表語(yǔ)法的多種功能(Law, Yeung, Wong, & Chiu, 2005; Liu et al., 2010; 陶云, 王曉曦, 馬諧, 劉艷, 2017; Wang, Ma, Tao, Tao, & Li, 2018; Wang, Pei, Wu, & Su, 2017; 張積家等, 2006; 張積家, 彭聃齡, 張厚粲, 1991; 張積家, 張厚粲, 彭聃齡, 1990)。Wu等(2013)比較漢語(yǔ)描述手部、腳部和口部動(dòng)作的兩類動(dòng)詞的神經(jīng)表征差異, 一類動(dòng)詞含有動(dòng)作器官為義符(如“打、跳、喝”), 另一類詞無動(dòng)作器官為義符 (如“割、騎、嘗”)。結(jié)果發(fā)現(xiàn), 第二類詞的激活量與拼音文字類似, 第一類詞在不同部位的腦區(qū)出現(xiàn)了激活量的下降, 說明對(duì)有動(dòng)作器官為義符的漢字, 讀者已經(jīng)形成了動(dòng)作器官與動(dòng)作之間的聯(lián)結(jié), 并且在長(zhǎng)期的學(xué)習(xí)和閱讀中得到了強(qiáng)化, 因而減少了這些漢字在相應(yīng)動(dòng)作器官的運(yùn)動(dòng)區(qū)所需要的語(yǔ)義激活量?？梢? 有無義符提示影響漢語(yǔ)動(dòng)作動(dòng)詞的具身效應(yīng)大小。

在漢語(yǔ)中, 很多肢體動(dòng)作動(dòng)詞是單字動(dòng)詞, 包含著豐富的語(yǔ)義信息。張道新和董宏(2017)為漢語(yǔ)肢體動(dòng)作動(dòng)詞建立了詞義結(jié)構(gòu)模型：

肢體動(dòng)作動(dòng)詞 = ｛[主體：人; 個(gè)體; 集體][肢體：頭; 頸; 肩; 臂; 手; 腿; 足; 胸; 腰; 臀][動(dòng)作形式：作用; 位移][作用點(diǎn)：某部分][方向：向前; 向后; 向內(nèi); 向外; 向上; 向下; 相向; 相反; 圓周; 平行][數(shù)量：動(dòng)程; 力度; 速度][對(duì)象：物體][結(jié)果：變化][語(yǔ)法：動(dòng)詞]｝

此模型是漢語(yǔ)肢體動(dòng)作動(dòng)詞各范疇語(yǔ)義特征的集合, 展示了漢語(yǔ)肢體動(dòng)作動(dòng)詞詞義結(jié)構(gòu)的系統(tǒng)性、結(jié)構(gòu)性和范疇性, 顯示了不同動(dòng)詞是由哪些語(yǔ)義成分規(guī)定的, 可以作為分析的基本依據(jù)和語(yǔ)義特征的描述方式。在這一模型中, [方向]是肢體動(dòng)作動(dòng)詞的共有語(yǔ)義特征, 是肢體動(dòng)作作為機(jī)械運(yùn)動(dòng)形式的要素, 對(duì)指稱對(duì)象起著規(guī)定作用。例如, “頂”含[肢體：頭][方向：向上][對(duì)象：物體], “踩、踏、踐”都含[肢體：腳][方向：向下][對(duì)象：物體]。肢體動(dòng)作動(dòng)詞的方向特征反映物理空間方向, 能夠被感知。結(jié)合知覺符號(hào)理論, 語(yǔ)言理解是基于感覺運(yùn)動(dòng)系統(tǒng)的具身模擬過程。因此, 筆者推測(cè), 在理解漢語(yǔ)肢體單字動(dòng)作動(dòng)詞時(shí), 它的空間方位和方向的信息都能夠被激活, 閱讀漢語(yǔ)單字詞時(shí)會(huì)促進(jìn)同方向或同方位物體的識(shí)別, 并且這一過程在運(yùn)動(dòng)通道中和視覺通道中同時(shí)存在。已有研究雖然發(fā)現(xiàn)了句子理解對(duì)空間方向信息激活的影響, 但均屬于句子層面的研究(Glenberg & Kaschak, 2002; Richardson et al., 2001; Richardson et al., 2003; Yang, 2016; 朱鴻凱, 2018), 缺乏詞匯層面的研究。雖然有些研究目的是探討單詞理解是否能夠引起空間方向信息的激活, 但卻仍然置于句子語(yǔ)境下來考察(Meteyard & Vigliocco, 2009; Richardson et al., 2001; Richardson et al., 2003; Yang, 2016), 而一個(gè)完整句子也可以形成情境模擬, 因而使得研究結(jié)果不能夠精確地歸因, 即所激活的空間方向信息既可能源于對(duì)動(dòng)詞的理解, 也可能源于對(duì)整個(gè)句子情境的認(rèn)知。因此, 擬采用漢字單字動(dòng)詞為材料, 分別從運(yùn)動(dòng)通道和視覺通道來驗(yàn)證這一假設(shè)。在漢語(yǔ)肢體動(dòng)作動(dòng)詞呈現(xiàn)之后, 通過記錄和比較被試對(duì)不同呈現(xiàn)位置字母的覺察速度來反映肢體動(dòng)作動(dòng)詞對(duì)視覺注意定向速度的影響。如果被試對(duì)動(dòng)作動(dòng)詞的表征激活了視覺通道中空間方位的意向圖式, 那么, 當(dāng)動(dòng)詞消失以后, 字母呈現(xiàn)位置與動(dòng)作動(dòng)詞方位一致時(shí), 就能夠促進(jìn)對(duì)字母的識(shí)別, 出現(xiàn)視覺通道的動(dòng)作–漢字相容效應(yīng)。對(duì)運(yùn)動(dòng)通道的觀測(cè)需要借助于箭頭指向這一視覺信息激活手部運(yùn)動(dòng)來完成, 如果被試對(duì)動(dòng)作動(dòng)詞的表征激活了運(yùn)動(dòng)通道中的空間方向的意象圖式, 那么, 當(dāng)動(dòng)詞消失以后, 動(dòng)詞表征激活的運(yùn)動(dòng)方向與箭頭朝向激活的手部運(yùn)動(dòng)相同時(shí), 就會(huì)加速相應(yīng)方向的手指按鍵運(yùn)動(dòng); 反之, 就會(huì)減慢相應(yīng)方向的手指按鍵運(yùn)動(dòng)。但是, 如果被試對(duì)動(dòng)作動(dòng)詞的表征沒有激活運(yùn)動(dòng)通道中的空間方向的意象圖式, 對(duì)箭頭朝向的判斷就不會(huì)受到動(dòng)作動(dòng)詞表征影響。

除了整字層面的研究, 一些研究還探討了在整字加工中義符語(yǔ)義激活的時(shí)間進(jìn)程以及與整字語(yǔ)義激活的交互作用。Feldman和Siok (1999a, 1999b)發(fā)現(xiàn), 義符的詞形激活發(fā)生在加工早期, 語(yǔ)義激活發(fā)生在加工晚期。張積家和章玉祉(2016)采用義符啟動(dòng)范式探討義符語(yǔ)義在整字激活的時(shí)間進(jìn)程, 發(fā)現(xiàn)就義符總體而言, 義符的語(yǔ)義激活從啟動(dòng)早期一直持續(xù)到啟動(dòng)晚期, 不成字義符和成字義符的語(yǔ)義激活存在著差異, 不成字義符的語(yǔ)義激活只在啟動(dòng)中期出現(xiàn), 成字義符的語(yǔ)義信息卻一直處于激活狀態(tài)。陳新葵和張積家(2008, 2012)采用啟動(dòng)詞匯判斷任務(wù)考察義符熟悉性對(duì)高、低頻形聲字認(rèn)知的影響, 發(fā)現(xiàn)義符激活與整字激活之間存在著動(dòng)態(tài)的交互作用：對(duì)高頻漢字, 整字的語(yǔ)義激活從加工早期持續(xù)到晚期, 義符的語(yǔ)義激活從加工中期開始; 對(duì)低頻漢字, 整字的語(yǔ)義激活出現(xiàn)在加工晚期, 高熟悉義符的語(yǔ)義激活從加工早期一直持續(xù)到加工晚期, 低熟悉義符的語(yǔ)義激活在加工晚期出現(xiàn)。Zhou, Peng, Zheng, Su和Wang (2013)采用語(yǔ)義不透明的形聲字為材料, 考察義符的語(yǔ)義激活和整字頻率的交互作用, 發(fā)現(xiàn)只有在整字為低頻詞時(shí), 義符的語(yǔ)義才能夠得到激活。雖然這些研究加深了對(duì)義符加工進(jìn)程的認(rèn)識(shí), 但均未考慮動(dòng)作義符和整字的具身效應(yīng)。義符具有較強(qiáng)的表示整字語(yǔ)義的功能, 漢語(yǔ)動(dòng)詞在義符語(yǔ)義線索提示下有可能表現(xiàn)出具身效應(yīng)(蘇得權(quán)等, 2013)。根據(jù)知覺符號(hào)理論和語(yǔ)言神經(jīng)理論, 動(dòng)詞理解是具身模擬的過程, 這種具身模擬是只在整字層次上發(fā)生？還是在漢字的部件層次上也發(fā)生？由于義符具有較強(qiáng)的表義功能, 那么, 在部件(義符)水平上是否也存在著具身模擬？實(shí)驗(yàn)3擬從具身認(rèn)知的角度探究義符的具身信息是否在整字識(shí)別中也得到了激活, 同時(shí)考察義符語(yǔ)義激活的時(shí)間進(jìn)程。

2 實(shí)驗(yàn)1：漢語(yǔ)肢體動(dòng)作動(dòng)詞啟動(dòng)影響對(duì)箭頭方向的判斷

2.1 被試

基于以往關(guān)于語(yǔ)言理解中空間方向表征研究的樣本量(Yang, 2016)和相關(guān)研究中的效果量及期望功效值(0.80), 采用G*Power 3.1軟件, 計(jì)算被試量為24人。在實(shí)驗(yàn)1中, 招募35名漢族大學(xué)生, 男生16名, 女生19名, 平均年齡18.83 ± 1.96歲, 皆為右利手, 視力或矯正視力正常。

2.2 實(shí)驗(yàn)設(shè)計(jì)

2 (啟動(dòng)詞類型：動(dòng)作方向向上的肢體動(dòng)作動(dòng)詞/動(dòng)作方向向下的肢體動(dòng)作動(dòng)詞) × 2 (箭頭方向：向上/向下)被試內(nèi)設(shè)計(jì)。因變量為被試對(duì)箭頭方向判斷的反應(yīng)時(shí)和錯(cuò)誤率。

2.3 實(shí)驗(yàn)材料

挑選出動(dòng)作方向向上和動(dòng)作方向向下的漢語(yǔ)肢體動(dòng)作動(dòng)詞各20個(gè)。98名不參加實(shí)驗(yàn)的漢族大學(xué)生評(píng)定動(dòng)詞表達(dá)的動(dòng)作方向, 選取評(píng)定方向一致性高于80%的漢字。匹配兩組漢字的字頻和筆畫數(shù)：統(tǒng)計(jì)分析表明, 筆畫數(shù)差異不顯著,(1, 38) = 0.01,0.91; 字頻差異不顯著,(1, 38) = 0.23,0.64。72名不參加實(shí)驗(yàn)的漢族大學(xué)生采用5點(diǎn)量表評(píng)定漢字的熟悉性, 熟悉性越高, 評(píng)分就越高。統(tǒng)計(jì)分析表明, 兩組漢字的平均熟悉性差異不顯著,(1, 38) = 0.78,0.38。86名不參與實(shí)驗(yàn)的漢族大學(xué)生用5點(diǎn)量表評(píng)定漢字的語(yǔ)義透明度, 語(yǔ)義越透明, 評(píng)分就越高。統(tǒng)計(jì)分析表明, 兩組漢字的平均語(yǔ)義透明度差異不顯著,(1, 38) = 0.09,0.76。實(shí)驗(yàn)材料的信息見表1。

2.4 實(shí)驗(yàn)程序

采用E-Prime 2.0系統(tǒng)編程, 用奔騰4型計(jì)算機(jī)呈現(xiàn)材料。被試端坐在計(jì)算機(jī)前, 左手食指放在F鍵上, 右手食指放在J鍵上。首先, 在計(jì)算機(jī)屏幕的中央呈現(xiàn)“+”注視點(diǎn)500 ms, 空屏300 ms, 接著在屏幕中央呈現(xiàn)啟動(dòng)漢字300 ms, 之后是一個(gè)方向向上或者方向向下的箭頭, 要求被試判斷箭頭的方向：如果箭頭方向向上, 按F鍵, 如果箭頭方向向下, 按J鍵。被試間平衡按鍵規(guī)定。被試按鍵后, 箭頭消失, 空屏500 ms后, 進(jìn)行下一次實(shí)驗(yàn)。計(jì)算機(jī)自動(dòng)記錄被試的反應(yīng)時(shí)和反應(yīng)正誤, 計(jì)時(shí)單位為ms,誤差為±1 ms (下同)。方向向上和方向向下的漢字與上下箭頭各組合一次, 每個(gè)漢字的每種組合形式先后呈現(xiàn)兩次, 共有160個(gè)試次, 材料呈現(xiàn)順序隨機(jī)化, 但同一啟動(dòng)字不連續(xù)出現(xiàn)。在正式實(shí)驗(yàn)之前, 要求被試學(xué)習(xí)所有實(shí)驗(yàn)材料, 被試明白漢字的意思即可, 并用非實(shí)驗(yàn)材料進(jìn)行6次練習(xí)。實(shí)驗(yàn)流程圖見圖1。

2.5 結(jié)果與分析

刪除2名正確率低于90%的被試。反應(yīng)時(shí)分析時(shí)刪去錯(cuò)誤反應(yīng)和± 2.5之外的數(shù)據(jù), 占6.3%。結(jié)果見表2。

反應(yīng)時(shí)的方差分析表明, 只有啟動(dòng)詞類型和箭頭方向的交互作用顯著,1(1, 32) = 4.81,0.036, ηp2= 0.13, 0.06 <ηp2< 0.14 [ηp2是反映實(shí)驗(yàn)中自變量和因變量關(guān)聯(lián)程度的指標(biāo), ηp2越大, 說明自變量對(duì)因變量的影響越大。根據(jù)Cohen (1992)提出的標(biāo)準(zhǔn)進(jìn)行換算可知, 0.01 <ηp2< 0.06, 效應(yīng)量較小; 0.06 < ηp2< 0.14, 效應(yīng)量為中等; ηp2> 0.14, 效應(yīng)量較大],2(1, 38) = 4.55,0.041, ηp2= 0.13, 0.06 <ηp2< 0.14。簡(jiǎn)單效應(yīng)分析表明, 在方向向上的肢體動(dòng)作動(dòng)詞啟動(dòng)下, 被試判斷方向向上、方向向下箭頭的反應(yīng)時(shí)差異不顯著,(1, 32) = 0.001,0.97; 在方向向下的肢體動(dòng)作動(dòng)詞啟動(dòng)下, 被試判斷方向向下箭頭的反應(yīng)時(shí)顯著短于判斷方向向上的箭頭,(1, 32) = 5.85,= 0.021, 95% CI = [3.56, 41.56]。錯(cuò)誤率的方差分析表明, 只有啟動(dòng)詞類型與箭頭方向的交互作用顯著,1(1, 32) = 9.21,0.005, ηp2= 0.22 > 0.14;2(1, 38) = 19.63,< 0.001, ηp2= 0.40 > 0.14。簡(jiǎn)單效應(yīng)分析表明, 在方向向上的肢體動(dòng)作動(dòng)詞啟動(dòng)下, 被試判斷方向向上箭頭的錯(cuò)誤率顯著低于判斷方向向下箭頭,(1, 32) = 7.74,0.009, ηp2= 0.20 > 0.14, 95%CI = [0.01, 0.06]; 在方向向下的肢體動(dòng)作動(dòng)詞啟動(dòng)下, 被試判斷方向向下箭頭的錯(cuò)誤率邊緣顯著低于判斷方向向上箭頭,(1, 32) = 3.95,= 0.055,ηp2= 0.11, 0.06 < ηp2< 0.14, 95% CI = [0.00, 0.04]。

表1 實(shí)驗(yàn)材料統(tǒng)計(jì)信息表

注：字頻單位為每2000萬(wàn)字中出現(xiàn)該字的次數(shù), 下載自www.cncorpus.org語(yǔ)料庫(kù)在線網(wǎng)站, 下同。

圖1 實(shí)驗(yàn)1流程圖

表2 方向不同的漢語(yǔ)肢體動(dòng)作動(dòng)詞啟動(dòng)下箭頭方向判斷的平均反應(yīng)時(shí)(ms)和平均錯(cuò)誤率(%)

注：括號(hào)內(nèi)的數(shù)據(jù)為標(biāo)準(zhǔn)差, 下同。

2.6 討論

實(shí)驗(yàn)1探討漢語(yǔ)肢體動(dòng)作動(dòng)詞的加工是否影響在運(yùn)動(dòng)通道中箭頭方向的空間判斷。反應(yīng)時(shí)的結(jié)果顯示, 在方向向下的肢體動(dòng)作動(dòng)詞啟動(dòng)下, 被試對(duì)方向向下的箭頭的反應(yīng)顯著快于對(duì)方向向上的箭頭, 說明肢體動(dòng)作動(dòng)詞的語(yǔ)義加工激活了運(yùn)動(dòng)通道中空間方向向下的意象圖式, 大腦感覺運(yùn)動(dòng)腦區(qū)模擬出現(xiàn)的肢體動(dòng)作動(dòng)詞, 從而加速了對(duì)方向向下的箭頭的按鍵反應(yīng)。所以, 當(dāng)方向向下的箭頭出現(xiàn)時(shí), 被試的反應(yīng)時(shí)更短, 錯(cuò)誤率更低。在方向向上的肢體動(dòng)作動(dòng)詞啟動(dòng)下, 雖然被試對(duì)方向向上、向下的箭頭的反應(yīng)時(shí)差異不顯著, 但判斷方向向上的箭頭的錯(cuò)誤率顯著低于判斷方向向下的箭頭?？梢? 方向向上的肢體動(dòng)作動(dòng)詞促進(jìn)對(duì)方向向上的箭頭的認(rèn)知。因此, 具有方向的肢體動(dòng)作動(dòng)詞能夠影響在運(yùn)動(dòng)通道中箭頭方向的空間判斷, 促進(jìn)與動(dòng)作方向一致的箭頭方向的判斷。那么, 這一效應(yīng)在視覺通道中是否也存在？

3 實(shí)驗(yàn)2：漢語(yǔ)肢體動(dòng)作動(dòng)詞啟動(dòng)影響對(duì)字母空間方位的判斷

3.1 被試

基于相關(guān)研究報(bào)告的效果量及期望功效值(0.8),采用G*Power 3.1軟件, 計(jì)算被試量為24人。在本實(shí)驗(yàn)中, 招募38名漢族大學(xué)生, 16名男生, 22名女生, 平均年齡為18.74 ± 1.83歲, 皆為右利手, 視力或矯正視力正常。未參加實(shí)驗(yàn)1。

3.2 實(shí)驗(yàn)設(shè)計(jì)

2 (啟動(dòng)詞類型：方向向上的肢體動(dòng)作動(dòng)詞/方向向下的肢體動(dòng)作動(dòng)詞) × 2(字母位置：上/下)重復(fù)測(cè)量設(shè)計(jì)。因變量為被試對(duì)字母位置判斷的反應(yīng)時(shí)和錯(cuò)誤率。

3.3 實(shí)驗(yàn)材料和實(shí)驗(yàn)程序

材料同實(shí)驗(yàn)1。首先在計(jì)算機(jī)屏幕的中央呈現(xiàn)“+”注視點(diǎn)500 ms, 空屏300 ms, 接著在屏幕中央呈現(xiàn)啟動(dòng)詞300 ms, 之后在屏幕上方50%、25% (x, y)或在下方50%、75% (x, y)呈現(xiàn)字母Q, 要求被試判斷字母的方位：如果字母在上, 就按下F鍵, 如果字母在下, 就按下J鍵。被試間平衡按鍵規(guī)定。被試按鍵后, 字母消失, 空屏500 ms后, 進(jìn)行下一次實(shí)驗(yàn)。每一漢字與在上和在下的字母各組合一次, 每個(gè)漢字的每種組合形式先后呈現(xiàn)兩次, 共有160個(gè)試次。材料的呈現(xiàn)順序隨機(jī)化, 但同一啟動(dòng)字不連續(xù)出現(xiàn)。在正式實(shí)驗(yàn)之前, 被試學(xué)習(xí)實(shí)驗(yàn)材料, 明白漢字的意思即可, 并用非實(shí)驗(yàn)材料進(jìn)行6次練習(xí)。實(shí)驗(yàn)流程圖見圖2。

3.4 結(jié)果和分析

刪除2名正確率低于90%的被試。反應(yīng)時(shí)分析時(shí)刪去± 2.5之外的數(shù)據(jù), 占5.0%。結(jié)果見表3。

反應(yīng)時(shí)的重復(fù)測(cè)量方差分析表明, 只有啟動(dòng)詞類型與字母方位的交互作用顯著,1(1, 35) = 12.93,0.001, ηp2= 0.27 > 0.14;2(1, 58) = 3.70,0.06, ηp2= 0.11, 0.06 <ηp2< 0.14。簡(jiǎn)單效應(yīng)分析表明, 當(dāng)字母位置在上方時(shí), 在方向向上的肢體動(dòng)作動(dòng)詞啟動(dòng)下的反應(yīng)時(shí)顯著短于在方向向下的肢體動(dòng)作動(dòng)詞啟動(dòng)下,(1, 35) = 4.39,0.044, ηp2= 0.11, 0.06 <ηp2< 0.14, 95% CI = [0.37, 23.63]。當(dāng)字母位置在下方時(shí), 在方向向下的肢體動(dòng)作動(dòng)詞啟動(dòng)下的反應(yīng)時(shí)顯著短于在方向向上的肢體動(dòng)作動(dòng)詞啟動(dòng)下,(1, 35) = 6.92,0.013, ηp2= 0.17 > 0.14, 95% CI = [4.42, 34.35]。錯(cuò)誤率的方差分析表明, 各種主效應(yīng)及其交互效應(yīng)均不顯著,s0.05。

圖2 實(shí)驗(yàn)2流程圖

表3 不同漢語(yǔ)肢體動(dòng)作動(dòng)詞啟動(dòng)下字母位置判斷的平均反應(yīng)時(shí)(ms)和平均錯(cuò)誤率(%)

3.5 討論

實(shí)驗(yàn)2探討對(duì)漢語(yǔ)肢體動(dòng)作動(dòng)詞的加工是否影響視覺通道中字母方位的判斷。結(jié)果顯示, 當(dāng)字母位于上方時(shí), 在方向向上的肢體動(dòng)作動(dòng)詞啟動(dòng)下的反應(yīng)時(shí)顯著短于在方向向下的肢體動(dòng)作動(dòng)詞啟動(dòng)下; 當(dāng)字母位于下方時(shí), 在方向向下的肢體動(dòng)作動(dòng)詞啟動(dòng)下的反應(yīng)時(shí)顯著短于在方向向上的肢體動(dòng)作動(dòng)詞啟動(dòng)下。這說明, 對(duì)漢語(yǔ)肢體動(dòng)作動(dòng)詞的語(yǔ)義加工激活了視覺通道中空間方位的意向圖式, 大腦感覺運(yùn)動(dòng)腦區(qū)模擬出現(xiàn)的肢體動(dòng)作動(dòng)詞, 從而促進(jìn)了對(duì)同方位字母的識(shí)別, 因而與肢體動(dòng)作動(dòng)詞方位一致的字母的反應(yīng)時(shí)就短。實(shí)驗(yàn)2與實(shí)驗(yàn)1的結(jié)果一致, 均發(fā)現(xiàn)對(duì)漢語(yǔ)肢體動(dòng)作動(dòng)詞的加工能夠促進(jìn)對(duì)相同方向或方位的符號(hào)的識(shí)別, 說明理解肢體動(dòng)作動(dòng)詞在視覺通道中也存在著動(dòng)作–漢字相容效應(yīng), 漢字理解是一個(gè)跨通道的具身模擬過程。這種具身模擬僅僅發(fā)生在整字層次上嗎？在部件(義符)層次上是否也存在著具身模擬？

4 實(shí)驗(yàn)3：義符啟動(dòng)范式下動(dòng)作義符與動(dòng)作動(dòng)詞整字的具身模擬

4.1 被試

基于相關(guān)研究報(bào)告的效果量及期望功效值(0.8), 采用G*Power 3.1軟件, 計(jì)算被試量為13人。招募50名漢族大學(xué)生, 22名男生, 28名女生, 平均年齡為18.71 ± 0.90歲, 皆為右利手, 視力或矯正視力正常。未參加實(shí)驗(yàn)1和實(shí)驗(yàn)2。

4.2 實(shí)驗(yàn)設(shè)計(jì)

2 (啟動(dòng)類型：義符啟動(dòng)/控制啟動(dòng)) × 2 (漢字類型：義符方向與整字方向一致/義符方向與整字方向不一致) × 3 (SOA：43/72/243 ms)被試內(nèi)設(shè)計(jì)。SOA的選擇參照已有研究(陳新葵, 張積家, 2008, 2012), 反映漢字加工的早、中、晚期情況。漢字類型是指義符的具身方向與整字的具身方向的關(guān)系。讓被試保持如圖3左側(cè)所示的姿勢(shì), 可以強(qiáng)化形成手在上、腳在下的具身經(jīng)驗(yàn)。以“扌”為例, “扌”表示手部, “揚(yáng)”的具身方向向上, 與“扌”的具身方向一致; “捶”的具身方向向下, 與“扌”的具身方向不一致。這樣, “扌”就形成了與其具身方向一致和不一致的兩類漢字。實(shí)驗(yàn)邏輯是：如果義符啟動(dòng)引起手部和腳部的語(yǔ)義激活, 在語(yǔ)義中包含有具身信息, 手部或腳部的具身信息也會(huì)激活。那么, 在義符啟動(dòng)下, 與義符方向一致和不一致的漢字的反應(yīng)時(shí)就存在著差異; 在控制啟動(dòng)下, 兩類漢字的反應(yīng)時(shí)就無差異。如果手部或腳部的語(yǔ)義在漢字加工的某個(gè)階段被激活了, 那么, 在這一階段中, 不一致漢字的反應(yīng)時(shí)就應(yīng)該長(zhǎng)于一致漢字; 如果義符的語(yǔ)義在整字的方向識(shí)別過程中未被激活, 那么, 在三種SOA下, 無論義符與整字的具身方向一致還是不一致, 兩類漢字的反應(yīng)時(shí)就應(yīng)該無顯著差異。通過比較, 就能夠了解義符的語(yǔ)義在整字激活中的模擬情況和時(shí)間進(jìn)程。

4.3 實(shí)驗(yàn)材料

挑選出方向向上和方向向下的手(臂)部或腳(腿)部的肢體動(dòng)作動(dòng)詞, 要求98名漢族被試評(píng)定漢字的具身方向, 選取評(píng)定方向一致性高于80%的漢字。手(臂)部動(dòng)詞均含“扌”旁, 腳(腿)部動(dòng)詞均含“?”旁, 所有的漢字均為左右結(jié)構(gòu)。方向向上和方向向下的漢語(yǔ)肢體動(dòng)作動(dòng)詞各有20個(gè), 在兩類漢字中, 含“扌”旁和含“?”旁的漢字?jǐn)?shù)量相同。匹配兩組漢字的字頻和筆畫數(shù), 統(tǒng)計(jì)分析表明, 兩組漢字的筆畫數(shù)差異不顯著,(1, 38) = 0.02,0.88; 字頻差異不顯著,(1, 38) = 0.18,0.67。72名不參與實(shí)驗(yàn)的漢族大學(xué)生采用5點(diǎn)量表評(píng)定漢字的熟悉性, 熟悉性越高, 評(píng)分就越高。統(tǒng)計(jì)分析表明, 兩組漢字的熟悉性差異不顯著,(1, 38) = 0.09,0.77。86名不參與實(shí)驗(yàn)的大學(xué)生采用5點(diǎn)量表評(píng)定漢字的語(yǔ)義透明度, 語(yǔ)義透明度越高, 評(píng)分越高。統(tǒng)計(jì)分析表明, 兩組漢字的語(yǔ)義透明度差異不顯著,(1, 38) = 1.17,0.29。實(shí)驗(yàn)材料的信息見表4。

4.4 實(shí)驗(yàn)程序

步驟1：要求被試學(xué)習(xí)實(shí)驗(yàn)材料, 被試明白漢字的意思即可。

步驟2：主試將如圖3左邊所示的人物圖片給被試看, 要求被試按照?qǐng)D片所示姿勢(shì)保持1分鐘, 確保被試的姿勢(shì)準(zhǔn)確。

步驟3：主試讓被試坐在計(jì)算機(jī)前, 根據(jù)指導(dǎo)語(yǔ)要求反應(yīng)。首先, 在計(jì)算機(jī)屏幕的中央呈現(xiàn)“+”注視點(diǎn)500 ms, 空屏300 ms, 然后出現(xiàn)義符啟動(dòng)或者控制啟動(dòng)“***”, 啟動(dòng)刺激的呈現(xiàn)時(shí)間由SOA確定, 分別為43 ms、72 ms和243 ms; 隨后出現(xiàn)目標(biāo)漢字, 要求被試判斷目標(biāo)漢字的具身方向：如果漢字的具身方向向上, 就按F鍵; 如果漢字的具身方向下, 就按J鍵。被試間平衡按鍵規(guī)定。被試按鍵以后, 詞語(yǔ)消失, 空屏500 ms后, 進(jìn)行下一次實(shí)驗(yàn)。實(shí)驗(yàn)流程見圖3。實(shí)驗(yàn)包含240個(gè)試次, 每種SOA條件下的80個(gè)試次為一組, 三組材料隨機(jī)呈現(xiàn), 每一漢字在每種SOA條件下各出現(xiàn)2次, 同一個(gè)漢字不連續(xù)出現(xiàn)。在正式實(shí)驗(yàn)之前, 用非實(shí)驗(yàn)材料做了16次練習(xí)。

4.4 結(jié)果與分析

刪除3名正確率低于80%的被試。反應(yīng)時(shí)分析時(shí)刪去± 2.5之外(占4.08%)數(shù)據(jù)。實(shí)驗(yàn)結(jié)果見表5。

反應(yīng)時(shí)的重復(fù)測(cè)量方差分析表明, SOA的主效應(yīng)顯著,1(2, 45) = 5.07,0.01, ηp2= 0.18 > 0.14;2(2, 37) = 3.89,0.03, ηp2= 0.18 > 0.14。SOA =43 ms時(shí)反應(yīng)時(shí)顯著長(zhǎng)于SOA = 72 ms時(shí),0.013, 95% CI = [2.99, 24.26]; SOA = 43 ms時(shí)反應(yīng)時(shí)顯著長(zhǎng)于SOA = 243 ms時(shí),0.02, 95% CI = [1.88, 20.59]; 啟動(dòng)類型和漢字類型的交互作用被試分析顯著,1(1, 46) = 6.43,0.015, ηp2= 0.12, 0.06 <ηp2< 0.14, 項(xiàng)目分析不顯著,2(1, 38) = 0.79,0.38。簡(jiǎn)單效應(yīng)分析表明, 在義符啟動(dòng)下, 一致條件下的反應(yīng)時(shí)顯著短于不一致條件下,0.006, 95% CI = [8.11, 45.86]; 在控制啟動(dòng)下, 兩類漢字的反應(yīng)時(shí)差異不顯著,0.53。漢字類型和SOA的交互作用被試分析顯著,1(2, 45) = 4.71,0.014, ηp2= 0.17 > 0.14, 項(xiàng)目分析不顯著,2(2, 37) = 0.60,0.56。簡(jiǎn)單效應(yīng)分析表明, 在SOA = 43 ms時(shí), 兩類漢字的反應(yīng)時(shí)差異不顯著,0.18; 在SOA = 72 ms和SOA = 243 ms時(shí), 一致條件下的反應(yīng)時(shí)顯著短于不一致條件下,值分別為0.043和0.002, 95%置信區(qū)間分別是[0.63, 39.65]和[11.14, 46.69]。其它的主效應(yīng)和交互作用均不顯著,0.05。

表4 實(shí)驗(yàn)材料統(tǒng)計(jì)信息表

圖3 實(shí)驗(yàn)3流程圖

表5 不同啟動(dòng)條件下被試判斷的平均反應(yīng)時(shí)(ms)和平均錯(cuò)誤率(%)

為了探討在不同條件下兩類漢字的啟動(dòng)狀況, 分別對(duì)2種啟動(dòng)條件的反應(yīng)時(shí)做2(漢字類型) × 3(SOA)方差分析。結(jié)果表明, 在義符啟動(dòng)下, 漢字類型的主效應(yīng)被試分析顯著,1(1, 46) = 8.28,0.006, ηp2= 0.15 > 0.14, 項(xiàng)目分析不顯著,2(1, 38) = 0.11,0.74。均數(shù)比較表明, 一致條件下的反應(yīng)時(shí)顯著小于不一致條件下,0.006, 95% CI = [8.11, 45.86]。SOA的主效應(yīng)被試分析顯著,1(2, 45) = 4.22,0.021, ηp2= 0.16 > 0.14, 項(xiàng)目分析邊緣顯著,2(2, 37) = 2.97,0.057, ηp2= 0.07, 0.06 < ηp2< 0.14。均數(shù)比較表明, SOA = 43 ms時(shí)反應(yīng)時(shí)顯著長(zhǎng)于SOA = 72 ms時(shí),0.018, 95% CI = [3.02, 31.00], SOA = 43 ms時(shí)反應(yīng)時(shí)顯著長(zhǎng)于SOA = 243 ms時(shí),= 0.01, 95% CI = [5.74, 39.26]。漢字類型與SOA的交互作用被試顯著,1(2, 45) = 3.43,0.041, ηp2= 0.13, 0.06 <ηp2< 0.14, 項(xiàng)目分析不顯著,2(2, 37) = 0.37,0.70。簡(jiǎn)單效應(yīng)分析表明, SOA = 43 ms時(shí), 兩類漢字的反應(yīng)時(shí)差異不顯著,0.58; 當(dāng)SOA = 72 ms時(shí), 一致漢字的反應(yīng)時(shí)顯著短于不一致漢字,= 0.005, 95% CI = [14.78, 77.74], 當(dāng)SOA = 243 ms時(shí), 一致漢字的反應(yīng)時(shí)顯著短于不一致漢字,0.003, 95% CI = [15.58, 73.09]。在控制啟動(dòng)下, 各種主效應(yīng)和交互效應(yīng)均不顯著,0.05。這說明, 在義符啟動(dòng)中, 在不同SOA下兩類漢字的反應(yīng)時(shí)差異確實(shí)是由義符啟動(dòng)引起的。在義符啟動(dòng)的早期, 一致漢字與不一致漢字的反應(yīng)時(shí)未出現(xiàn)顯著差異; 到義符啟動(dòng)中期, 二者出現(xiàn)了顯著差異, 而且持續(xù)到啟動(dòng)晚期。這說明, 義符的語(yǔ)義在漢字整字加工中期開始激活,并且持續(xù)到加工晚期。

錯(cuò)誤率的重復(fù)測(cè)量的方差分析表明, 漢字類型的主效應(yīng)顯著,1(1, 46) = 21.4,< 0.001, ηp2= 0.32 > 0.14,2(1, 38) = 4.12,0.05, ηp2= 0.10, 0.06 <ηp2< 0.14。一致條件下的錯(cuò)誤率顯著低于不一致條件下, 95% CI = [0.02, 0.06]。SOA的主效應(yīng)被試分析顯著,1(2, 45) = 6.69,0.003, ηp2= 0.23 > 0.14; 項(xiàng)目分析邊緣顯著,2(2, 37) = 2.76,0.08, ηp2= 0.13, 0.06 <ηp2< 0.14。SOA = 43 ms時(shí)錯(cuò)誤率顯著高于SOA = 72 ms時(shí),0.023, 95% CI = [0.002, 0.02]; SOA = 43 ms時(shí)錯(cuò)誤率顯著高于SOA = 243 ms時(shí),0.001, 95% CI = [0.01, 0.03]。其它的主效應(yīng)和交互作用均不顯著,0.05。

4.5 討論

實(shí)驗(yàn)3從具身認(rèn)知的角度探究義符的具身信息在整字識(shí)別中是否得到了激活, 附帶考察義符語(yǔ)義激活的時(shí)間進(jìn)程。結(jié)果發(fā)現(xiàn), 在義符啟動(dòng)下, 義符與整字具身方向一致的漢字表現(xiàn)出反應(yīng)優(yōu)勢(shì), 而在控制啟動(dòng)下二者卻無顯著差異, 說明是義符啟動(dòng)造成了兩類漢字的反應(yīng)差異。2(漢字類型) × 3(SOA)的方差分析也證實(shí)了義符啟動(dòng)的作用。在義符啟動(dòng)早期(SOA = 43 ms), 義符與整字具身方向一致的漢字和義符與整字具身方向不一致的漢字的反應(yīng)時(shí)并無顯著差異, 在義符啟動(dòng)的中期(SOA = 72 ms)和晚期(SOA = 243 ms), 義符與整字具身方向一致的漢字和義符與整字具身方向不一致的漢字出現(xiàn)了顯著的差異, 說明義符語(yǔ)義在漢字加工中期得到了激活, 并且持續(xù)到漢字加工晚期。因此, 實(shí)驗(yàn)3表明, 漢語(yǔ)肢體動(dòng)作動(dòng)詞的語(yǔ)義理解不僅在整字層次上存在著具身模擬, 在部件(義符)層次也存在著具身模擬。

5 綜合討論

本研究考察在漢語(yǔ)肢體動(dòng)詞的語(yǔ)義理解中整字和義符的具身模擬情況。實(shí)驗(yàn)1和實(shí)驗(yàn)2分別從運(yùn)動(dòng)通道和視覺通道探討理解漢語(yǔ)肢體動(dòng)詞時(shí)其方向信息和方位信息是否也被激活了。結(jié)果顯示, 在運(yùn)動(dòng)通道中, 漢語(yǔ)肢體動(dòng)作動(dòng)詞的具身方向信息影響被試對(duì)箭頭方向的判斷; 在視覺通道中, 漢語(yǔ)肢體動(dòng)作動(dòng)詞的具身方位信息影響被試對(duì)字母方位的判斷。這說明, 在漢語(yǔ)肢體動(dòng)作動(dòng)詞的理解中, 存在著動(dòng)作–漢字相容效應(yīng)。實(shí)驗(yàn)3采用義符啟動(dòng)范式考察義符的具身信息在整字識(shí)別中是否得到了激活, 并且考察義符的語(yǔ)義激活在整字的語(yǔ)義激活中的時(shí)間進(jìn)程, 發(fā)現(xiàn)義符的語(yǔ)義在漢字加工的中期得到了激活, 并且一直持續(xù)到加工晚期。

5.1 關(guān)于漢語(yǔ)肢體動(dòng)作動(dòng)詞的具身方向和方位的激活

對(duì)語(yǔ)言理解引起的感覺運(yùn)動(dòng)系統(tǒng)激活, 有兩種觀點(diǎn)：一種觀點(diǎn)強(qiáng)調(diào)語(yǔ)言理解是記憶信息的提取過程, 動(dòng)作語(yǔ)義理解是由于儲(chǔ)存的動(dòng)作語(yǔ)義知識(shí)激活了大腦的感覺運(yùn)動(dòng)區(qū)。理解具體概念與抽象概念時(shí)所激活的腦區(qū)不同。例如, 具體形象的動(dòng)作語(yǔ)義能夠引發(fā)更多的感覺運(yùn)動(dòng)區(qū)的活動(dòng), 而抽象概念的理解多激活額下回和顳葉等腦區(qū)。這說明, 抽象概念理解需要提取更多的語(yǔ)義信息(Bedny, Caramazza, Grossman, Pascual-Lene, & Saxe, 2008)。另一種觀點(diǎn)認(rèn)為, 語(yǔ)言理解是動(dòng)作的復(fù)演, 語(yǔ)義是在與外界互動(dòng)過程中以具身經(jīng)驗(yàn)形式儲(chǔ)存在大腦中, 語(yǔ)言理解是具身經(jīng)驗(yàn)的重新激活。即, 語(yǔ)言理解是通過重新激活具身經(jīng)驗(yàn)?zāi)M所描述事件或情景的過程。感覺運(yùn)動(dòng)區(qū)在語(yǔ)言理解過程中負(fù)責(zé)心理模擬, 人們憑借心理模擬過程實(shí)現(xiàn)對(duì)動(dòng)作語(yǔ)義的理解, 甚至理解動(dòng)作的意圖和表情的含義。語(yǔ)言理解是多通道的, 是通過語(yǔ)言區(qū)和感覺運(yùn)動(dòng)區(qū)的分散表征的整合實(shí)現(xiàn)的(Borghi & Riggio, 2009a; Borghi, & Scorolli, 2009b; Strozyk et al., 2017; Wu et al., 2017)。實(shí)驗(yàn)1和實(shí)驗(yàn)2的結(jié)果支持第二種觀點(diǎn)。在語(yǔ)言理解時(shí), 感覺運(yùn)動(dòng)系統(tǒng)參與其中進(jìn)行了動(dòng)作模擬, 在動(dòng)作模擬過程中, 肢體動(dòng)作動(dòng)詞的方向、方位等信息也被激活了。

知覺符號(hào)理論認(rèn)為, 在語(yǔ)言表征中包含有知覺運(yùn)動(dòng)特征。動(dòng)詞的知覺符號(hào)聚合了許多具體的知覺與運(yùn)動(dòng)經(jīng)驗(yàn), 這些經(jīng)驗(yàn)的共同性在動(dòng)詞表征中也得到了反映。由于知覺符號(hào)具有多模式性和類似性, 一旦某動(dòng)詞得到了激活, 與之相關(guān)的所有知覺信息(如方向、強(qiáng)度、位置等)也會(huì)得到自動(dòng)激活。由此可知, 語(yǔ)言理解與知覺通道之間存在著交互作用(Zwaan, 1999; Zwaan, 2004; 伍麗梅, 莫雷, 王瑞明, 2007)。赫布學(xué)習(xí)觀(Hebbian learning)認(rèn)為, 個(gè)體通過將相同動(dòng)作的觀察經(jīng)驗(yàn)和執(zhí)行經(jīng)驗(yàn)建立起聯(lián)系以形成感覺運(yùn)動(dòng)經(jīng)驗(yàn), 人在習(xí)得動(dòng)詞過程中總是伴隨著動(dòng)作發(fā)生(Giudice, Manera & Keysers, 2009; Keysers & Perrett, 2004)。單詞學(xué)習(xí)訓(xùn)練的研究表明, 將單詞與兒童的感知經(jīng)驗(yàn)和運(yùn)動(dòng)體驗(yàn)建立起一致聯(lián)系可以顯著地提高學(xué)習(xí)成績(jī), 將單詞的運(yùn)動(dòng)信息與詞匯訓(xùn)練方法結(jié)合是提高單詞學(xué)習(xí)水平的優(yōu)選方式(Hald, Nooijer, Gog, Bekkering, 2016)。例如, 兒童在做“蹲”的動(dòng)作時(shí), 能夠感受到腿部肌肉的變化, 學(xué)習(xí)到“蹲”的含義。當(dāng)“蹲”這個(gè)字再次出現(xiàn)時(shí), 蹲的動(dòng)作就會(huì)出現(xiàn)在腦海中。當(dāng)多次看到“蹲”這個(gè)字時(shí), 漢字“蹲”與蹲的動(dòng)作的聯(lián)系就得到鞏固與聯(lián)合, 形成了多通道的語(yǔ)言理解模式。因此, 當(dāng)被試看到“蹲”字時(shí), 大腦的語(yǔ)言區(qū)和運(yùn)動(dòng)區(qū)會(huì)出現(xiàn)同步的激活, 當(dāng)出現(xiàn)向下的箭頭或者位置在下的字母時(shí), 被試的反應(yīng)就更快; 若出現(xiàn)向上的箭頭或者位置在上的字母, 由于呈現(xiàn)刺激與已經(jīng)激活的具身經(jīng)驗(yàn)方向相反, 因而導(dǎo)致被試的反應(yīng)變慢。

因此, 語(yǔ)言理解是基于身體感覺和動(dòng)作經(jīng)驗(yàn)的認(rèn)知活動(dòng), 是理解動(dòng)詞語(yǔ)義和動(dòng)作意圖共同的神經(jīng)基礎(chǔ)。鏡像神經(jīng)系統(tǒng)在加工動(dòng)作語(yǔ)義時(shí)負(fù)責(zé)模擬(simulation)或者復(fù)演(re-enactment)語(yǔ)義材料中包含的動(dòng)作, 讓人在理解單詞或句子時(shí)就能夠擬合相應(yīng)的動(dòng)作概念, 以第一人稱視角把感覺信息轉(zhuǎn)換為動(dòng)作圖式, 產(chǎn)生感同身受的體驗(yàn)(Aziz-Zadeh & Damasio, 2008; Kemmerer & Castillo, 2010)。Wu等(2017)采用漢語(yǔ)身體部位詞、動(dòng)詞和人造物體詞為材料, 要求被試依次閱讀、觀察、模仿這些詞匯, 發(fā)現(xiàn)三類詞在模仿階段對(duì)鏡像神經(jīng)系統(tǒng)的調(diào)節(jié)不同, 與其它詞語(yǔ)條件相比, 在人造物詞語(yǔ)呈現(xiàn)后的模仿會(huì)引發(fā)更強(qiáng)的右額下回、前運(yùn)動(dòng)皮層和頂小葉的激活。以漢語(yǔ)成語(yǔ)為材料的fMRI研究證實(shí), 在漢語(yǔ)中描述動(dòng)作的成語(yǔ)的語(yǔ)義理解腦區(qū)與負(fù)責(zé)相應(yīng)動(dòng)作的感覺運(yùn)動(dòng)腦區(qū)基本一致。這說明, 以鏡像機(jī)制為基礎(chǔ)的具身模擬在漢語(yǔ)動(dòng)作成語(yǔ)的語(yǔ)義理解中發(fā)揮了重要作用(蘇得權(quán)等, 2013)。

在本研究中, 被試在看到與漢字具身方向或具身方位一致的符號(hào)時(shí)反應(yīng)更快, 表明感覺運(yùn)動(dòng)系統(tǒng)參與了肢體動(dòng)詞理解, 被試進(jìn)行了空間具身模擬, 使得漢字的具身方向信息或方位信息得到了激活, 鏡像神經(jīng)元在其中發(fā)揮了模擬或復(fù)演具體動(dòng)作的作用。

5.2 關(guān)于漢語(yǔ)肢體動(dòng)作動(dòng)詞理解中義符與整字的具身模擬及其時(shí)間進(jìn)程

作為表義部件, 義符是漢字獨(dú)特性的體現(xiàn), 也是漢字研究的重要切入點(diǎn)之一。張積家等(1990, 1991)發(fā)現(xiàn), 義符對(duì)形聲字的語(yǔ)義提取具有重要作用：當(dāng)義符與詞的上屬一致時(shí), 促進(jìn)對(duì)漢字詞類別語(yǔ)義的提取; 反之, 干擾對(duì)漢字詞類別語(yǔ)義的提取。這一結(jié)果得到了Williams和Bever (2010)研究的證實(shí), 在以漢語(yǔ)為第二語(yǔ)言的學(xué)習(xí)者身上也得到了證實(shí)(Williams, 2013)。研究還發(fā)現(xiàn), 義符在漢字詞特征語(yǔ)義提取(張積家, 彭聃齡, 1993)、動(dòng)作動(dòng)詞意義認(rèn)知(張積家, 陳新葵, 2005)、類別歸納推理(Liu et al., 2010; 陶云等, 2017; Wang, Ma et al., 2018)等方面均具有表示語(yǔ)義的功能。部分對(duì)形聲字識(shí)別中義符和聲符作用的比較研究發(fā)現(xiàn), 義符在漢字識(shí)別中作用更大(佘賢君, 張必隱, 1997; Williams & Bever, 2010; Wang et al. 2017), 但也有研究表明, 在通達(dá)形聲字語(yǔ)音、語(yǔ)義的過程中, 聲符比義符更具有注意資源優(yōu)勢(shì), 這種優(yōu)勢(shì)在語(yǔ)音提取任務(wù)中更明顯：聲符無需依賴義符的信息便可以相對(duì)獨(dú)立地激活整字的語(yǔ)音, 但聲符需要義符的配合才能夠提取整字的語(yǔ)義(張積家, 王娟, 印叢, 2014)。盡管這些研究加深了對(duì)義符功能的理解, 但它們均是從整字或者義符的語(yǔ)義或語(yǔ)法角度來推斷義符的作用, 并未將語(yǔ)言理解與具身認(rèn)知相結(jié)合。由于語(yǔ)言理解是具身經(jīng)驗(yàn)參與的模擬過程, 義符可以為語(yǔ)言理解提供一定的線索, 因此有可能在具身模擬中發(fā)揮一定的作用。以往研究多從整字的角度來探索義符的作用, 雖然整字呈現(xiàn)與平時(shí)閱讀時(shí)相同, 卻也存在著一定的局限性：(1)整字會(huì)對(duì)義符功能的認(rèn)知產(chǎn)生干擾; (2)在整字情境中, 義符的作用被弱化, 義符的語(yǔ)義激活在很多研究中表現(xiàn)得并不突出(章玉祉, 張積家, 2017)。為了更純粹地研究義符的作用, 使其更加凸顯, 實(shí)驗(yàn)3采用了義符啟動(dòng)范式來進(jìn)行探討。

Feldman和Siok (1999a)發(fā)現(xiàn), 義符的語(yǔ)義激活只出現(xiàn)在啟動(dòng)晚期。陳新葵和張積家(2008, 2012)發(fā)現(xiàn), 義符的熟悉性和整字的頻率存在著動(dòng)態(tài)的交互作用：當(dāng)整字頻率高時(shí), 高、低熟悉的義符的語(yǔ)義均在啟動(dòng)中期激活了, 高熟悉的義符的語(yǔ)義激活時(shí)間長(zhǎng), 持續(xù)到加工晚期, 低熟悉的義符的語(yǔ)義激活消退快。張積家和章玉祉(2016)采用義符啟動(dòng)范式探討義符語(yǔ)義信息在整字語(yǔ)義激活中的時(shí)間進(jìn)程, 發(fā)現(xiàn)就義符總體而言, 義符的語(yǔ)義激活從啟動(dòng)早期一直持續(xù)到啟動(dòng)晚期。本研究從具身認(rèn)知的角度來探討義符語(yǔ)義激活的時(shí)間進(jìn)程。在實(shí)驗(yàn)初期, 要求被試按如圖3所示的姿勢(shì), 強(qiáng)化被試形成手在上、腳在下的具身經(jīng)驗(yàn), 在隨后的實(shí)驗(yàn)中, 這種手–上、腳–下的具身經(jīng)驗(yàn)影響了被試對(duì)漢字具身方向的判斷。義符語(yǔ)義在漢字加工中期得到了激活, 并且持續(xù)到加工晚期。這一研究結(jié)果與以往的研究結(jié)果基本一致。所以如此, 有兩個(gè)原因：(1)根據(jù)陳新葵和張積家(2008)對(duì)義符熟悉性的評(píng)定結(jié)果, 本研究選取的義符(“扌”和“?”)均為高熟悉義符, 其語(yǔ)義更容易激活; (2)義符啟動(dòng)范式排除了整字語(yǔ)義的干擾, 使得義符的作用被放大和凸顯, 能夠更加直觀地探討義符語(yǔ)義的激活進(jìn)程。

不同的研究者提出了一些義符在形聲字詞匯通達(dá)中的模型。張積家等提出的漢字形聲字加工的“兩個(gè)網(wǎng)絡(luò)系統(tǒng)模型”認(rèn)為, 漢字詞加工涉及詞匯網(wǎng)絡(luò)系統(tǒng)和語(yǔ)義網(wǎng)絡(luò)系統(tǒng)。詞匯網(wǎng)絡(luò)系統(tǒng)貯存詞的筆畫、部件、詞素和整詞等詞形結(jié)構(gòu)特征, 語(yǔ)義網(wǎng)絡(luò)系統(tǒng)貯存詞的語(yǔ)義, 包括概念結(jié)點(diǎn)和類別結(jié)點(diǎn)。在兩個(gè)網(wǎng)絡(luò)系統(tǒng)之間, 存在著以義符為中介的聯(lián)結(jié)。漢字詞呈現(xiàn)引起的義符激活可以沿著網(wǎng)絡(luò)間的聯(lián)結(jié)通路到達(dá)語(yǔ)義網(wǎng)絡(luò)系統(tǒng), 激活義符所代表的類別結(jié)點(diǎn)和概念結(jié)點(diǎn), 進(jìn)而啟動(dòng)自上而下的加工(張積家, 彭聃齡, 1993; 張積家, 王娟, 陳新葵, 2014 )。Ding, Peng和Taft (2004)提出了形聲字的認(rèn)知加工模型, 認(rèn)為形聲字認(rèn)知包括特征、部件、合體字、概念四個(gè)水平, 漢字加工是由底到頂?shù)倪^程。陳新葵和張積家(2012)將以上兩種模型結(jié)合, 提出了義符在詞匯通達(dá)中的表征模型。該模型認(rèn)為, 漢字認(rèn)知由下而上包括4個(gè)水平, 其中, 特征水平、部件水平和合體字水平屬于詞匯網(wǎng)絡(luò)系統(tǒng)的變量, 概念水平屬于語(yǔ)義網(wǎng)絡(luò)系統(tǒng)的變量。義符聯(lián)結(jié)著兩個(gè)網(wǎng)絡(luò)系統(tǒng), 為整字的語(yǔ)義通達(dá)提供了特殊的通道。在漢字認(rèn)知時(shí), 既可以通過特征→義符→整字→概念的通道, 也可以在到達(dá)義符水平時(shí)直接激活與義符相聯(lián)結(jié)的類別結(jié)點(diǎn), 進(jìn)而啟動(dòng)自上而下的加工。本研究結(jié)果也可以通過這一理論模型來解釋。本研究采用的漢字均是由“扌”和“?”作為動(dòng)作器官構(gòu)成的, 具有較高的語(yǔ)義透明度, 兩類漢字的差別在于義符語(yǔ)義的具身方向和整字語(yǔ)義的具身方向是否一致。研究顯示, 在啟動(dòng)的中期和晚期, 一致的漢字與不一致的漢字的反應(yīng)時(shí)差異顯著, 因此可以推測(cè), 差異是由義符的具身方向與兩類漢字的具身方向是否一致引起的。根據(jù)這一模型, 當(dāng)義符啟動(dòng)時(shí)間短(SOA = 43 ms)時(shí), 只激活了義符的詞形信息, 義符與整字的具身方向一致和不一致的漢字的反應(yīng)時(shí)不會(huì)產(chǎn)生顯著差異。但是, 隨著義符啟動(dòng)時(shí)間的增加(SOA = 72 ms和SOA = 243 ms), 義符語(yǔ)義得到了激活, 使得兩類漢字的反應(yīng)時(shí)差異顯著。因此, 可以推測(cè), 在義符語(yǔ)義中包含了具身信息。即, “扌”在激活與手有關(guān)的動(dòng)作時(shí), 也激活了“扌”的向上的具身信息。當(dāng)“揚(yáng)”呈現(xiàn)時(shí), 由于“扌”的向上的具身信息已經(jīng)被激活了, “揚(yáng)”的激活閾限就低, 對(duì)其語(yǔ)義的方向判斷反應(yīng)就快; 當(dāng)“捶”呈現(xiàn)時(shí), 由于其語(yǔ)義方向與“扌”激活的方向相反, 是反方向的激活, 反方向的激活提高了“捶”的反應(yīng)閾限, 需要更多的能量才能夠激活, 因此對(duì)它的語(yǔ)義的方向判斷反應(yīng)就變慢了。

根據(jù)Ding等(2004)的模型與章玉祉和張積家(2016)的研究, 成字義符的語(yǔ)義存在著類屬義和本身義的雙重激活, 不成字義符的語(yǔ)義卻只有類屬義的激活。例如, 義符“手”不僅可以激活與手有關(guān)的動(dòng)作, 也可以激活手本身, 而“扌”只能激活與手有關(guān)的動(dòng)作。實(shí)驗(yàn)3采用的義符“扌”和“?”均為非成字義符, 發(fā)現(xiàn)義符的語(yǔ)義在漢字識(shí)別中期得到了激活, 并且語(yǔ)義中包含有義符的具身信息。因此, 雖然“扌”不能夠激活手本身, 但即使只激活了與手有關(guān)的動(dòng)作, 手的具身信息仍然得到了激活, 說明被試在對(duì)義符語(yǔ)義加工時(shí)也進(jìn)行了具身模擬。這說明, 漢語(yǔ)肢體動(dòng)作動(dòng)詞的語(yǔ)義理解不僅在整字層次上存在著具身模擬, 在部件(義符)層次上也存在著具身模擬。漢語(yǔ)肢體動(dòng)作動(dòng)詞的具身模擬發(fā)生得非常早。后續(xù)研究可以采用認(rèn)知神經(jīng)科學(xué)的技術(shù)對(duì)此問題做進(jìn)一步的驗(yàn)證。

6 結(jié)論

(1)漢語(yǔ)肢體動(dòng)作動(dòng)詞的理解在運(yùn)動(dòng)通道中和視覺通道中均存在著動(dòng)作–漢字的相容效應(yīng)。漢語(yǔ)肢體動(dòng)作動(dòng)詞的理解是一個(gè)跨通道的具身模擬過程。

(2)義符語(yǔ)義從漢語(yǔ)肢體動(dòng)作動(dòng)詞加工的中期開始激活, 并且一直持續(xù)到加工晚期。漢語(yǔ)肢體動(dòng)作動(dòng)詞的理解不僅在整字層次上存在著具身模擬, 在部件(義符)層次上也存在著具身模擬。

Aziz-Zadeh, L., & Damasio, A. (2008). Embodied semantics for actions: Findings from functional brain imaging.,(1–3), 35–39.

Barsalou, L. W. (1999a). Language comprehension：Archival memory or preparation for situated action?(1), 61–80.

Barsalou, L. W. (1999b). Perceptual symbol systems.(4), 577–660.

Barsalou, L.W., Simmons, W. K., Barbey, A. K., & Wilson, C. D. (2003). Grounding conceptual knowledge in modality- specific systems.(2), 84–91.

Beauchamp, M. S., Lee, K. E., Haxby, J. V., & Martin, A. (2002). Parallel visual motion processing streams for manipulable objects and human movements.(1), 149–159.

Beauchamp, M. S., Lee, K. E., Haxby, J. V., & Martin, A. (2003). FMRI responses to video and point-light displays of moving humans and manipulable objects.(7), 991–1001.

M.,A.,E.,Leone, A., &R. (). Concepts are more than percepts: The case of action verbs.(44), 11347–11353.

Borghi, A. M., & Riggio, L. (2009a). Sentence comprehension and simulation of object temporary, canonical and stable affordances., 117–128.

Borghi, A. M., & Scorolli, C. (2009b). Language comprehension and dominant hand motion simulation.(1), 12–27.

Boulenger, V., Roy, A. C., Paulignan, Y., Deprez, V., Jeannerod, M., & Nazir, T. A. (2006). Cross-talk between language processes and overt motor behavior in the first 200 msec of processing.(10), 1607–1615.

Cardona, J. F., Kargieman, L., Sinay, V., Gershanik, O., Gelormini, C., Amoruso, L., …& Ibá?ez, A. (2014). How embodied is action language? Neurological evidence from motor diseases.(2), 311–322.

Chen, X. K., & Zhang, J. J. (2008). Role of familiarity of semantic radicals in the recognition of highly familiar Chinese characters.(2), 148–159.

[陳新葵, 張積家. (2008). 義符熟悉性對(duì)高頻形聲字詞匯通達(dá)的影響.(2), 148–159.]

Chen, X. K., & Zhang, J. J. (2012). Role of familiarity of semantic radicals in the recognition of lowly familiar Chinese characters.(7), 882–895.

[陳新葵, 張積家. (2012). 義符熟悉性對(duì)低頻形聲字詞匯通達(dá)的影響.(7), 882–895.]

Cohen, J. (1992). A power primer.(1), 155–159

Ding, G. S., Peng, D. L., & Taft, M. (2004). The nature of the mental representation of radicals in Chinese：A priming study.(2), 530–539.

Dudschig, C., Souman, J., Lachmair, M., Vega, I. D. L., & Kaup, B. (2013). Reading “sun” and looking up: The influence of language on saccadic eye movements in the vertical dimension.(2), e56872.

Dunn, B. M., Kamide, Y., & Scheepers, C. (2014). Hearing “moon” and looking up: Word-related spatial associations facilitate saccades to congruent locations.(36), 433–438.

Feldman, J., Narayanan, S. (2004). Embodied meaning in a neural theory of language.(2), 385–392.

Feldman, L. B., & Siok, W. W. T. (1999a). Semantic radicals contribute to the visual identification of Chinese characters.(4)559–576.

Feldman, L. B., & Siok, W. W. T. (1999b). Semantic radicals in phonetic compounds: Implications for visual character recognition in Chinese. In J. Wang, A. W. Inhoff, & H.-C. Chen (Eds).(pp. 19–35)Mahwah, NJ: Erlbaum.

Fernandino, L., Binder, J. R., Desai, R. H., Pendl, S. L., Humphries, C. J., Gross, W. L., … & Seidenberg, M. S. (2016). Concept representation reflects multimodal abstraction：A framework for embodied semantics.(5)2018–2034．

Gallese, V., & Sinigaglia, C. (2011). What is so special about embodied simulation?(11), 512–519.

Gallese, V., & Sinigaglia, C. (2012). Response to de bruin and Gallagher: Embodied simulation as reuse is a productive explanation of a basic form of mind-reading.(2), 99–100.

Giudice, M. D., Manera, V., & Keysers, C. (2009). Programmed to learn? The ontogeny of mirror neurons.(2), 350–363.

Glenberg, A. M. (1997). What memory is for.(1), 1–19.

Glenberg, A. M., & Kaschak, M. P. (2002). Grounding language in action.(3), 558–565.

Hald, L. A., de Nooijer, J., van Gog, T., & Bekkering, H. (2016). Optimizing word learning via links to perceptual and motoric experience.(3), 495–522.

Hauk, O., Johnsrude, I., & Pulvermüller, F. (2004). Somatotopic representation of action words in human motor and premotor cortex.(2), 301–307.

Horoufchin, H., Bzdok, D., Buccino, G., Borghi, A. M., & Binkofski, F. (2018). Action and object words are differentially anchored in the sensory motor system- A perspective on cognitive embodiment.(1), 1–11.

Juárez, F. P-G., Labrecque, D., Frak, V. (2019). Assessing language-induced motor activity through event related potentials and the grip force sensor, an exploratory study., DOI: 10.1016/j.bandc.2019.05.010.

Kemmerer, D., & Castillo, J. G. (2010).The two-level theory of verb meaning: An approach to integrating the semantics of action with the mirror neuron system.(1), 54–76.

Keysers, C., & Perrett, D. I. (2004). Demystifying social cognition: A Hebbian perspective.(11), 501–507.

Klepp, A., Weissler, H., Niccolai, V., Terhalle, A., Geisler, H., Schnitzler, A., & Biermann-Ruben, K. (2014). Neuromagnetic hand and foot motor sources recruited during action verb processing.(1), 41–52.

Law, S. P., Yeung, O., Wong, W., & Chiu, K. M. Y. (2005). Processing of semantic radicals in writing Chinese characters: Data from a Chinese dysgraphic patient.(7), 885–903.

Li, Y., & Kang, J. S. (1993). Analysis of phonetics of the ideophonetic characters in modern Chinese. In: Y. Chen (eds.),(pp.84–98). Shanghai: Shanghai Education Press.

[李燕, 康家深. (1993).. 上海：上海教育出版社. ]

Lin, N., Lu, X. M., Fang, F., Han, Z. Z., & Bi, Y. C. (2011). Is the semantic category effect in the lateral temporal cortex due to motion property differences?(4), 1853–1864.

Liu, C., Tardif, T., Mai, X. Q., Gehring, W. J., Simms, N., & Luo, Y. J. (2010). What’s in a name? Brain activity reveals categorization processes differ across languages.(11), 1786–1801.

Lu, Z. Y., Gao, Z. H., Duan, X. L., & Liu, X. H. (2007). Views of embodied language comprehension.(2), 275?281.

[魯忠義, 高志華, 段曉莉, 劉學(xué)華. (2007). 語(yǔ)言理解的體驗(yàn)觀.(2), 275–281.]

Martin, A. (2007). The representation of object concepts in the brain., 25–45.

Meteyard, L., & Vigliocco, G. (2009). Verbs in space: Axis and direction of motion norms for 299 English verbs.(2), 565–574.

Pulvermüller, F., H?rle, M., & Hummel, F. (2001). Walking or talking?: Behavioral and neurophysiological correlates of action verb processing.(2), 143–168.

Qu, F. B., Yin, R., Zhong, Y., & Ye, H. S. (2012). Motor perception in language comprehension: Perspective from embodied cognition.(6), 834–842.

[曲方炳, 殷融, 鐘元, 葉浩生. (2012). 語(yǔ)言理解中的動(dòng)作知覺：基于具身認(rèn)知的視角.(6), 834–842.]

Richardson, D. C., Spivey, M. J., Barsalou, L. W., & Mcrae, K. (2003). Spatial representations activated during real–time comprehension of verbs.(5), 767–780.

Richardson, D. C., Spivey, M. J., Edelman, S., Naples, A. J. (2001). “Language is spatial”: Experimental evidence for image schemas of concrete and abstract verbs.(pp. 845–850).Erlbaum [poster presentation], Mahwah.

Rodriguez, A. D., Mccabe, M. L., Nocera, J. R., & Reilly, J. (2012). Concurrent word generation and motor performance: Further evidence for language–motor interaction.(5): e37094.

She, X. J., & Zhang, B. Y. (1997). The effects of semantic and phonetic clues in puctophonetic character mental lexicon.(2), 142–145.

[佘賢君, 張必隱. (1997). 形聲字心理詞典中義符和音符線索的作用.(2), 142–145.]

Stanfield, R. A., & Zwaan, R. A. (2001). The effect of implied orientation derived from verbal context on picture recognition.(2), 153–156．

Strozyk, J. V., Dudschig, C., & Kaup, B. (2017). Do I need to have my hands free to understand hand-related language? Investigating the functional relevance of experiential simulations.(3), 406–418.

Su, D. Q., Zhong, Y., Zeng, H., & Ye, H. S. (2013). Embodied semantic processing of Chinese action idioms： Evidence from fMRI study.(11), 1187?1199.

[蘇得權(quán), 鐘元, 曾紅, 葉浩生. (2013). 漢語(yǔ)動(dòng)作成語(yǔ)語(yǔ)義理解激活腦區(qū)及其具身效應(yīng)：來自fMRI的證據(jù).(11), 1187 ? 1199.]

Tao, Y., Wang, X. X., Ma, X., & Liu, Y. (2017). How semantic radical support inductive reasoning—evidence from ERP study.(2), 117–124.

[陶云, 王曉曦, 馬諧, 劉艷. (2017). 義符促進(jìn)類別歸納推理的ERP證據(jù).,(2), 117–124.]

Wang, J. Y., Ye, H. S., & Su, D, Q. (2018). The correlativity of action and sematic processing: Perspect of embodied metaphor.(1), 15–19.

[王繼瑛, 葉浩生, 蘇得權(quán). (2018). 身體動(dòng)作與語(yǔ)義加工：具身隱喻的視角.(1), 15–19.]

Wang, X. S., Pei. M., Wu. Y., & Su, Y. J. (2017). Semantic radicals contribute more than phonetic radicals to the recognition of Chinese phonograms: Behavioral and ERP evidence in a factorial study.DOI: 10.3389/fpsyg.2017.02230.

Wang, X. X., Ma, X., Tao, Y., Tao, Y. C., & Li, H. (2018). How semantic radicals in Chinese characters facilitate hierarchical category–based induction.(1), 1–10.

Williams, C. (2013). Emerging development of semantic and phonological routes to character decoding in Chinese as a foreign language learners.(2), 293–315.

Williams, C., & Bever, T. (2010). Chinese character decoding: A semantic bias?(5)589–605.

Winkielman, P., Niedenthal, P., Wielgosz, J., Eelen, J., & Kavanagh, L. C. (2015). Embodiment of cognition and emotion., (4), 151–175.

Wu, H., Mai, X., Tang, H., Ge, Y., Luo, Y. J., & Liu, C. (2013). Dissociable somatotopic representations of Chinese action verbs in the motor and premotor cortex.(1), 1–12.

Wu, H. Y., Tang, H. H., Ge, Y., Yang, S. Y., Mai, X. Q., Luo, Y. J., & Liu, C. (2017). Object words modulate the activity of the mirror neuron system during action imitation.(11), 1–13.

Wu, L. M., Mo, L., & Wang, R. M. (2007). Dynamic mental simulation during comprehension of motion descriptions.(4), 605–612.

[伍麗梅, 莫雷, 王瑞明. (2007). 有關(guān)運(yùn)動(dòng)的語(yǔ)言理解的知覺模擬.(4), 605–612.]

Yang, J., & Shu, H. (2011). Embodied representation of tool-use action verbs and hand action verbs: Evidence from a tone judgment task.(3), 112–115.

Yang, T. F. (2016). Image schemas in verb-particle constructions: Evidence from a behavioral experiment.(2), 379–393.

Ye, H. S., & Zeng, H. (2013). Mirror neuron, embodied simulation and mind-reading.(4), 97–104.

[葉浩生, 曾紅. (2013). 鏡像神經(jīng)元、具身模擬與心智閱讀.(4), 97–104.]

Zhang, D. X., & Dong, H. (2017). The directional semantic features of Chinese body verbs and their derived sememes.,(5), 63–66.

[張道新, 董宏. (2017). 漢語(yǔ)肢體動(dòng)詞的方向語(yǔ)義特征及其衍生義位.(5), 63–66.]

Zhang, J. J., & Chen, X. K. (2005). The role of Chinese characters ‘yifu’ in cognition of Chinese action verbs meaning.(4), 434–441.

[張積家, 陳新葵. (2005). 漢字義符在漢語(yǔ)動(dòng)作動(dòng)詞意義認(rèn)知中的作用.,(4), 434–441.]

Zhang, J. J., Fang, Y. H., & Chen, X. K. (2006). The role of semantic radicals of Chinese characters in grammatical categorization of Chinese visual words.(2), 159–169.

[張積家, 方燕紅, 陳新葵. (2006). 義符在中文名詞和動(dòng)詞分類中的作用.(2), 159–169.]

Zhang, J. J., & Peng, D. L. (1993). Experimental study on the retrieval of feature meaning of Chinese words.(2)140–147.

[張積家, 彭聃齡. (1993). 漢字特征語(yǔ)義提取的實(shí)驗(yàn)研究.,(2), 140–147.]

Zhang, J. J., Peng, D. L., & Zhang, H. C. (1991). The recovery of meaning of Chinese characters in the classifying process (Ⅱ).(2)139–144.

[張積家, 彭聃齡, 張厚粲. (1991). 分類過程中漢字的語(yǔ)義提取(Ⅱ).(2), 139–144.]

Zhang, J. J., Wang, J., & Chen, X. K. (2014). Semantic radicals’ research in twenty years: Theoretical exploration, experimental evidence and processing model.(3), 381–399.

[張積家, 王娟, 陳新葵. (2014). 義符研究20年：理論探討、實(shí)驗(yàn)證據(jù)和加工模型.(3), 381–399.]

Zhang, J. J., Wang, J., & Yin, C. (2014). The role of phonetic radicals and semantic radicals in phonetics and semantics extraction of phonogram characters: An eye movement study on components perception.(7), 885?900.

[張積家, 王娟, 印叢. (2014). 聲符和義符在形聲字語(yǔ)音、語(yǔ)義提取中的作用——來自部件知覺眼動(dòng)研究的證據(jù).(7), 885?900.]

Zhang, J. J., Zhang, H. C., & Peng, D. L. (1990). The recovery of Chinese characters in claasifying process (Ⅰ).(4), 397–405.

[張積家, 張厚粲, 彭聃齡. (1990). 分類過程中漢字的語(yǔ)義提取(Ⅰ).(4), 397–405.]

Zhang, J. J. & Zhang Y. Z. (2016). The time course of semantic radical’s semantic and syntax activation under radical priming paradigm.(9), 1070–1081.

[張積家, 章玉祉. (2016). 義符啟動(dòng)范式下義符的語(yǔ)義和語(yǔ)法激活的時(shí)間進(jìn)程.(9), 1070–1081.]

Zhang, Y. Z., & Zhang, J. J. (2017). The effects of neighborhood size and category consistency of the semantic radical on semantic radical’s semantic activation under radical priming paradigm.(8), 1041–1052.

[章玉祉, 張積家. (2017). 義符啟動(dòng)范式下家族大小和類別一致性對(duì)義符語(yǔ)義激活的影響.(8), 1041–1052.]

Zhou, L., Peng, G., Zheng, H. Y., Su, I. F., & Wang, W. S. Y. (2013). Sub-lexical phonological and semantic processing of semantic radicals: A primed naming study.(6), 967–989.

Zhu, H. K. (2018).(Unpublished master’s thesis). Hebei University, Baoding.

[朱鴻凱. (2018).(碩士學(xué)位論文). 河北大學(xué), 保定.]

Zwaan, R. A. (1999). Embodied cognition, perceptual symbols, and situation models.(1), 81–88.

Zwaan, R. A. (2004). The immersed experiencer: Toward an embodied theory of language comprehension.(1), 35–62.

Zwaan, R. A. (2014). Embodiment and language comprehension: Reframing the discussion.(5), 229–234.

Zwaan, R. A., & Madden. C. J. (2005).. New York: Cambridge University Press.

Zwaan, R. A., & Yaxley, R. H. (2004). Lateralization of object-shape information in semantic processing.(2), B35–B43.

Effects of embodied simulation on understanding Chinese body action verbs

WANG Bin1; LI Zhirui2; WU Limei3; ZHANG Jijia1

(1Department of Psychology, Renmin University of China; The State Ethnic Affairs Commission Key Research Center for Language, Cultural, and Psychology; Key Research Center for National Psychology and Education, the National Education Development Center of the Ministry of Education, Beijing 100872, China) (2Mental Health Education and Counseling Center, Huaiyin Normal University, Huaian 223300, China) (3College of Chinese Language and Culture, Jinan University, Guangzhou 510610, China)

Recent approaches on embodied cognition and theories of semantic and conceptual “grounding” have emphasized the role of perceptual and motor skills in language comprehension and action understanding. Evidence on the role of sensorimotor information in language processing has been obtained from behavioral and neuroimaging studies. These findings have been taken as a support for the claim that language is understood through sensorimotor simulations of actions and events being described. The theory on Perceptual Symbol Systems holds that the sensorimotor system participates in the language comprehension process, which is an empirical simulation of a situation through a series of complex language cues. Chinese characters may show different characteristics from English words because semantic radicals are linked with the meaning of these characters. These semantic radicals may affect the embodied effect of Chinese characters.

In the study, authors used single-character body action verbs in Chinese as experimental materials. Body action verbs are words that use body parts to perform mechanical movements. The directional semantic feature of body action verbs reflects the direction of physical space and can be perceived. Experiment 1 investigated the influence of semantic direction on the spatial judgment of an arrow direction in the motion channel under whole word priming. The repeated measurement design of 2 (Chinese character embodied direction: up/down) × 2 (arrow direction: up/down) was adopted. Thirty-five participants volunteered in this study. Experiment 2 investigated the influence of semantic orientation on the spatial judgment of letter orientation in visual channels under whole word initiation. The repeated measurement design of 2 (Chinese character direction: up/down) × 2 (letter position: up/down) design was used. Thirty-eight participants took part in this experiment.Experiment 3 investigated the embodied simulation of the semantic radical and whole character under the radical priming paradigm. Chinese body action verbs formed by semantic radicals “扌” and “?” were used as experimental materials. A within–subject designof 2 (priming type: semantic radical’s priming/control priming) × 3 (character type: consistent/inconsistent) × 3 (SOA: 43 ms/72 ms/243 ms)was used.Before the behavioral experiment, the participants were asked to hold their hands up for one minute to reinforce the bodybuilding experience of having their hands above and their feet below. Character type shows the direction and orientation between the character and its semantic radical. Consistent character type means that the character and its semantic radical have a similar direction and orientation.For example, the semantic radical “?” means “foot, ” which is below the body. Thus, “蹲” is a consistent character, whereas “跳” is an inconsistent character.

Results suggest the following: (1) When Chinese characters are in a downward semantic direction, the downward arrow is judged faster than the upward arrow. When characters are in an upward semantic direction, the direction of the arrow has a null effect. (2) Chinese characters with upward semantic movement can be used to recognize upper letters more quickly and characters with downward semantic movement can be used to recognize lower letters more quickly. (3) In the middle and late stages of Chinese character processing, the response of consistent and inconsistent Chinese characters is significantly different, indicating that the semantic radical is activated from the middle stage of the Chinese character processing until the late stage.

The present findings demonstrate the following: (1) An action–character compatibility effect is present in Chinese body movement verbs in the movement and visual channels. Understanding Chinese body movement verbs is a cross-channel embodied simulation process. (2) The semantic radical activation of the phonogram starts from the middle stage to the late stage of Chinese body action verb processing. A semantic understanding of Chinese body action verbs has an embodied simulation at the whole character and component (semantic radical) levels.

Chinese body action verbs; semantic radical; the whole character; embodied simulation

2019-03-27

* 國(guó)家民委民族研究重點(diǎn)項(xiàng)目“少數(shù)民族學(xué)生雙語(yǔ)學(xué)習(xí)認(rèn)知規(guī)律研究” (項(xiàng)目編號(hào)：2017-GMA-004)資助。

注：張積家為共同第一作者。

張積家, E-mail: Zhangjj1955@163.com

B842

10.3724/SP.J.1041.2019.01291