趙春宇 郭春彥

合體字與復合詞中聯(lián)結(jié)編碼和項目編碼的關(guān)系*

趙春宇 郭春彥

(首都師范大學心理學院, 北京市“學習與認知”重點實驗室, 北京 100048)

本研究通過考察合體字和復合詞加工過程中聯(lián)結(jié)記憶和項目記憶的變化, 探究了在將不同項目綁定為整體的過程中聯(lián)結(jié)編碼和項目編碼間的關(guān)系, 并結(jié)合腦電技術(shù)比較了合體字和復合詞的加工過程在神經(jīng)機制上的差異。行為結(jié)果顯示: 與不能組成字或詞的編碼條件相比, 合體字和復合詞編碼條件下的聯(lián)結(jié)記憶成績有顯著提升, 且項目記憶成績沒有下降; 與復合詞編碼相比, 合體字編碼條件下的聯(lián)結(jié)記憶和項目記憶成績都顯著更好。腦電結(jié)果顯示: 復合詞編碼時晚期負成分(LNC)主要位于額區(qū)且發(fā)生較早, 而合體字編碼時的LNC主要位于枕區(qū)且發(fā)生更晚; 合體字編碼比復合詞編碼在α/β頻段的神經(jīng)振蕩去同步化更強。這些結(jié)果表明, 將不同項目綁定為整體的操作可以強化大腦對聯(lián)結(jié)信息的加工, 同時不會損害對項目的加工, 支持了“只有收益”的觀點。本研究也從實證的角度為漢語學習材料的編排提供了參考。

項目編碼, 聯(lián)結(jié)編碼, 合體字, 復合詞, 項目記憶, 聯(lián)結(jié)記憶

1 引言

情景記憶(episodic memory)是長時記憶中一個非常重要的組成成分(Tulving, 1972)。根據(jù)存儲內(nèi)容的不同, 情景記憶可以分成項目記憶(item memory)和聯(lián)結(jié)記憶(associative memory)。項目記憶是一種可以再認出某個項目或事件是否經(jīng)歷過的能力。聯(lián)結(jié)記憶中不僅存儲著該項目或事件是否經(jīng)歷過, 還存儲著項目與項目之間的關(guān)系(Buchler et al., 2008; Giovanello et al., 2003; Hockley & Cristi, 1996)。針對項目記憶的學習被稱為項目編碼, 針對聯(lián)結(jié)記憶的學習則被稱為聯(lián)結(jié)編碼。有研究發(fā)現(xiàn), 在聯(lián)結(jié)編碼的過程中, 如果兩個項目可以被組合形成一個新的整體(Ceraso, 1985), 無論是健康成年人(Haskins et al., 2008; Lu et al., 2020; Rhodes & Donaldson, 2008)、兒童(Robey & Riggins, 2017)、老年人(Memel & Ryan, 2017; Memel & Ryan, 2018; Zheng et al., 2015; Zheng et al., 2016)還是失憶癥患者或某些腦損傷人群(Diana et al., 2010; Giovanello et al., 2006; Quamme et al., 2007), 其聯(lián)結(jié)記憶成績都可以得到提升(鄭志偉等, 2015)。

與聯(lián)結(jié)記憶不同, 將兩個項目聯(lián)合成一個整體的編碼方式對項目記憶的影響還存在爭議(Hockley & Cristi, 1996; 劉澤軍等, 2019; Liu et al., 2020; Pilgrim et al., 2012)。一些研究發(fā)現(xiàn), 將不同項目綁定為整體后, 聯(lián)結(jié)記憶成績得到提升的同時項目記憶成績會受損, 即“收支平衡” (benefits and costs)的觀點(Ahmad & Hockley, 2014; Murray & Kensinger, 2012; Pilgrim et al., 2012; Shao & Weng, 2011)。另外一些研究則發(fā)現(xiàn), 將項目綁定為整體后, 聯(lián)結(jié)記憶成績提升的同時, 項目記憶成績沒有降低(Liu et al., 2020; 劉澤軍, 郭春彥, 2022; Parks & Yonelinas, 2015)甚至有所提升(Liu & Guo, 2019), 即“只有收益” (benefits-only)的觀點。這兩種觀點看似是在爭論將兩個項目綁定為整體后項目記憶受到的影響, 實則是在探討綁定過程中聯(lián)結(jié)編碼與項目編碼之間的關(guān)系(Ahmad & Hockley, 2014; Parks & Yonelinas, 2015)?！笆罩胶狻钡挠^點認為, 在項目被綁定的過程中, 整體得到了更多的加工, 組成整體的部分會被忽略, 即單個項目所包含的信息會被整體所掩蓋, 導致大腦減少對項目的編碼, 進而使項目記憶成績受損; 而“只有收益”的觀點則認為, 只有項目被充分地加工后, 不同的項目才能被綁定為一個整體, 因此項目所包含的信息不會被掩蓋, 只要綁定成功進行, 項目記憶成績就不會受損。

以上兩種觀點都得到了一些研究的支持。Pilgrim等人(2012)通過事件相關(guān)電位(Event-Related Potential, ERP)技術(shù)探究了項目再認時與熟悉性相關(guān)的神經(jīng)指標(FN400效應(yīng))。他們的邏輯是: 在項目被綁定為整體的過程中, 如果項目的信息被掩蓋, 提取階段與該項目有關(guān)的熟悉性就會減少。實驗結(jié)果表明, 將不同的項目綁定為整體后, 項目再認時的FN400效應(yīng)顯著減少, 支持了“收支平衡”的觀點。然而, 也有研究者對這項研究提出了質(zhì)疑: 雖然提取階段與項目有關(guān)的熟悉性減少, 但項目再認的行為成績沒有下降。因此, 還不能說項目編碼一定受到了影響。基于此, Liu等人(2020)的研究則發(fā)現(xiàn), 在記憶的提取階段, 綁定后的項目無論是再認時的熟悉性還是行為成績, 與沒有綁定的項目相比都沒有差異, 這說明項目編碼沒有受到影響。然而, 這項研究也可能還存在爭議: 雖然行為成績和熟悉性都沒有降低, 但綁定后的項目在提取時的回想過程有所減少。因此, 也存在項目編碼受到了影響的可能。在他們最近的一項研究中, 這一爭議似乎得到了解決(劉澤軍, 郭春彥, 2022): 學習階段被試將不同詞語組合成一個整體(復合詞)后, 項目再認時的行為成績和回想過程都沒有減少, 甚至熟悉性還有所提升。綜上所述, 這些研究都從提取的角度證實了將項目綁定為整體的過程可以加強聯(lián)結(jié)編碼, 同時項目編碼不會受到損害, 支持了“只有收益”的觀點。

本研究擬使用漢字來檢驗“只有收益”和“收支平衡”這兩種觀點。在漢字中, 有兩種可以將不同項目綁定為一個整體的方式: 一種是基于構(gòu)字法將兩個部件組成一個合體字(如“親”和“斤”組成“新”), 另一種是基于構(gòu)詞法將兩個語素組成一個復合詞(如“國”和“家”組成“國家”)。合體字的加工需要在亞詞匯水平上對字的不同成分單元(即部件)進行編碼, 然后將這些單元加工到一起, 組成一個符合正字法規(guī)則的漢字。因此, 這個過程通常也被稱為正字法加工(Anderson et al., 2013; Su et al., 2015)。與合體字不同, 將兩個漢字組成一個復合詞的過程也被稱為語素加工(Chung et al., 2010; Ip et al., 2019)。它需要對一個詞語內(nèi)部的語素和語素之間的結(jié)構(gòu)進行加工, 整個過程始終與語義分析交織在一起(Chung et al., 2010; Gao et al., 2022)?？傊? 雖然構(gòu)字法和構(gòu)詞法都可以將兩個漢字組合成一個新的整體, 但兩者仍然存在差異。我們擬采用這兩種不同的編碼方式來綁定項目, 考察項目記憶成績是否隨聯(lián)結(jié)記憶成績的變化而變化。如果在聯(lián)結(jié)記憶成績更好的條件下, 項目記憶成績沒有受到降低, 則支持“只有收益”的觀點; 反之, 則支持“收支平衡”的觀點。

我們使用左右結(jié)構(gòu)的合體字(如“口”和“十”組成“葉”)和雙字復合詞(如“開”和“心”組成“開心”)作為實驗材料, 并結(jié)合了聯(lián)結(jié)再認和項目再認范式來檢驗以上假設(shè)。實驗1主要考察, 相比于不能組成合體字或復合詞的條件, 構(gòu)詞法和構(gòu)字法的編碼方式對聯(lián)結(jié)記憶的影響, 以及這兩種編碼方式間聯(lián)結(jié)記憶成績的差異。我們預測: (1)相比于不能組成合體字或復合詞的條件, 構(gòu)字法和構(gòu)詞法的編碼方式都能顯著地提升聯(lián)結(jié)記憶成績; (2)雖然兩種條件下的聯(lián)結(jié)記憶成績都有所提升, 但兩種條件間的聯(lián)結(jié)記憶成績?nèi)匀淮嬖诓町悺嶒?主要考察, 構(gòu)字法和構(gòu)詞法兩種編碼方式對項目記憶的影響, 以檢驗在聯(lián)結(jié)再認成績更好的條件下, 項目再認成績是否降低。由于先前的多數(shù)研究都支持了“只有收益”的觀點, 因此我們預測: (3)相比于不能組成合體字或復合詞的條件, 構(gòu)字法和構(gòu)詞法的編碼方式不會降低, 甚至會提升項目記憶成績; (4)兩種編碼條件間, 無論實驗1中哪種條件下的聯(lián)結(jié)記憶成績更好, 該條件下的項目記憶成績都不會降低甚至會提升。

關(guān)于記憶編碼的認知神經(jīng)機制, 有ERP研究發(fā)現(xiàn), 將兩個項目進行聯(lián)結(jié)會誘發(fā)一個晚期負成分(Late Negative Component, LNC), 它代表著將多個項目在工作記憶中進行維持和操作(Kamp et al., 2017), 且它的振幅與提取階段的記憶成績有關(guān)(Khader et al., 2005; Kim et al., 2009)。一項研究還發(fā)現(xiàn), 兩個單詞進行聯(lián)結(jié)編碼后, 后續(xù)記得的項目在編碼時誘發(fā)的LNC與后續(xù)不記得的項目誘發(fā)的LNC振幅不同, 但這一差異在非聯(lián)結(jié)編碼條件下不存在(Kounios et al., 2001)。此外, 還有研究者認為, 編碼時的LNC反映了大腦對材料進行精細化加工, 這有利于后續(xù)的記憶成績(Kamp & Zimmer, 2015)。由此可見, 若要在記憶任務(wù)中考察聯(lián)結(jié)編碼和項目編碼的關(guān)系, LNC可以作為一個合適的考察指標。此外, 除鎖時鎖相的ERP信號外, 還有研究者從腦信號的時頻表征(Time-Frequency Representation, TFR)的角度考察了記憶編碼的神經(jīng)機制。Hanslmayr等人(2012)發(fā)現(xiàn), α/β頻段上的神經(jīng)振蕩去同步化與大腦中信息的豐富程度有關(guān), 且該指標可以支持長時記憶的編碼和提取。為了從編碼的角度更直接地考察項目編碼是否受損, 以及構(gòu)詞法和構(gòu)字法兩種編碼方式在神經(jīng)機制上的差異, 我們也在實驗2中使用了EEG (Electroencephalogram)技術(shù)。我們預測: (5)構(gòu)字法和構(gòu)詞法兩種編碼條件間, 無論哪種條件下的聯(lián)結(jié)記憶成績更好, 該條件下的LNC和α/β頻段神經(jīng)振蕩去同步化都不會減少甚至會增加。

2 實驗1: 合體字與復合詞編碼對聯(lián)結(jié)記憶的影響

2.1 方法

2.1.1 被試

根據(jù)前人的研究(Liu et al., 2020), 能否組成整體這一因素在聯(lián)結(jié)記憶成績上的效應(yīng)量為0.76, 使用G*power 3.1計算得到檢驗這一效應(yīng)所需的樣本量為21 (置信水平為0.05, 統(tǒng)計檢驗力為0.9, 檢驗方式為配對樣本檢驗)。實驗1招募到30名母語為漢語、利手為右利手的健康本科生或研究生被試(21～28歲, 女性19名)。所有被試對實驗流程均知情且同意。本實驗已通過首都師范大學心理學院倫理委員會批準。

2.1.2 研究范式和實驗設(shè)計

實驗1采用了前人文獻中廣泛使用的聯(lián)結(jié)再認范式考察聯(lián)結(jié)記憶(Kamp et al., 2016; Lu et al., 2020; Memel & Ryan, 2018; Zheng et al., 2015)。聯(lián)結(jié)再認范式分為學習和測驗兩個階段。其考察聯(lián)結(jié)記憶的邏輯如下: 在學習階段, 被試需要對呈現(xiàn)的配對進行學習。在測驗階段, 刺激由兩種材料組成, 一種是與學習階段完全相同的“相同配對”, 另一種是將學習階段的配對經(jīng)過重新組合的“重組配對” (見圖1)。被試需要判斷屏幕上呈現(xiàn)的配對是“相同配對” 還是“重組配對”。由于組成“相同配對”和“重組配對”的項目都是學習階段學過的, 兩者的唯一區(qū)別是配對內(nèi)部的聯(lián)結(jié)關(guān)系, 因此, 聯(lián)結(jié)再認范式主要涉及對聯(lián)結(jié)記憶的考察。實驗1采用2 (是否形成整體: 是、否) × 2 (編碼條件: 構(gòu)字法、構(gòu)詞法)兩因素被試內(nèi)設(shè)計, 因變量為學習階段的反應(yīng)時(RT)和測驗階段的聯(lián)結(jié)再認表現(xiàn)(Performance of recognition, Pr = 擊中率–虛報率)。

圖1 實驗1部分材料及實驗流程示意圖

2.1.3 材料

除練習和填充刺激, 正式實驗共使用480個漢字。其中, 合體字組(包含成字條件和不成字條件)與復合詞組(包含成詞條件與不成詞條件)各使用240個。

在合體字組學習階段, 240個漢字兩兩配對形成60對成字字對(如“米且”)和60對不成字字對(如“本大”)。聯(lián)結(jié)再認測驗階段包含4種刺激: (1) 60對成字字對中的30對以完全不變的方式在測驗階段呈現(xiàn), 為30對成字相同字對; (2)剩下的30對成字字對, 每兩對字對中各選一個字組成30對成字重組字對; (3) 60對不成字字對中選出30對, 同樣以不變的方式在測驗階段呈現(xiàn), 為30對不成字相同字對; (4)剩下的30對不成字字對, 每兩對字對中各選一個字組成30對不成字重組字對。

在復合詞組學習階段, 240個漢字兩兩配對形成60對成詞字對(如“開心”)和60對不成詞字對(如“頁雖”)。聯(lián)結(jié)再認測驗階段也包含4種刺激: (1) 60對成詞字對中的30對以完全不變的方式在測驗階段呈現(xiàn), 為30對成詞相同字對, (2)剩下的30對成詞字對, 每兩對字對中各選一個字組成30對成詞重組字對, (3) 60對不成詞字對中選出30對, 同樣以不變的方式在測驗階段呈現(xiàn), 為30對不成詞相同字對, (4)剩下的30對不成詞字對, 每兩對字對中各選一個字組成30對不成詞重組字對。

所有漢字材料均以黑底白字的形式呈現(xiàn)(見圖1), 且每個漢字的垂直和水平視角均為1.43°。所有材料的熟悉性和筆畫數(shù)都在條件間進行了平衡。具體而言, 學習階段, 合體字組中, 60對成字字對中的120個字與60對不成字字對中的120個字之間的熟悉性(= 0.93)和筆畫數(shù)(= 0.47)沒有顯著差異; 在復合詞組中, 60對成詞字對中的120個字與60對不成詞字對中的120個字之間的熟悉性(= 0.80)和筆畫數(shù)(= 0.11)沒有顯著差異; 最后, 60對成字字對中的120個字與60對成詞字對中的120個字之間的熟悉性(= 0.35)和筆畫數(shù)(= 0.87)也沒有顯著差異。

測驗階段, 在合體字組中, 30對成字相同字對中的60個字與30對成字重組字對中的60個字之間的熟悉性(= 0.76)和筆畫數(shù)(= 0.99)沒有顯著差異; 30對不成字相同字對中的60個字與30對不成字重組字對中的60個字之間的熟悉性(= 0.91)和筆畫數(shù)(= 0.96)沒有顯著差異。在復合詞組中, 30對成詞相同字對中的60個字與30對成詞重組字對中的60個字之間的熟悉性(= 0.97)和筆畫數(shù)(= 0.99)沒有顯著差異; 30對不成詞相同字對中的60個字與30對不成詞重組字對中的60個字之間的熟悉性(= 0.82)和筆畫數(shù)(= 0.87)沒有顯著差異。最后, 30對成字相同字對中的60個字與30對成詞相同字對中的60個字之間的熟悉性(= 0.38)和筆畫數(shù)(= 0.23)沒有顯著差異; 30對成字重組字對中的60個字與30對成詞重組字對中的60個字之間的熟悉性(= 0.28)和筆畫數(shù)(= 0.29)也沒有顯著差異。

2.1.4 程序

被試在了解實驗流程并對實驗進行充分練習后, 再開始正式實驗。正式實驗分為4組, 包含2組合體字組和2組復合詞組。每一組都包含學習、干擾和聯(lián)結(jié)再認測驗階段。每組結(jié)束后至少間隔1分鐘再開始下一組。被試完成合體字組與復合詞組的先后順序, 以及兩種條件內(nèi)各組的順序都在被試間進行了平衡。

在學習階段, 對于合體字組, 每個試次開始前會呈現(xiàn)一個900～1100 ms的注視點, 然后呈現(xiàn)3000 ms的字對。被試需要辨別當前字對是否可以組成一個左右結(jié)構(gòu)的漢字, 并記住這兩個字及其配對關(guān)系, 然后在保證正確的前提下, 盡可能快地做出當前字對是否可以組成一個字的按鍵反應(yīng)(見圖1)。對于復合詞組, 除了要求被試辨別當前字對從左到右是否可以組成一個詞語外, 其余程序與合體字組相同。

學習階段結(jié)束后, 被試進入持續(xù)1分鐘的干擾階段。此時被試需要將屏幕上出現(xiàn)的一個隨機三位數(shù)字進行連續(xù)倒減三, 并出聲報告答案。測驗階段, 相同字對和重組字對以偽隨機的順序呈現(xiàn)。每個試次開始前也會有一個900～1100 ms的注視點, 然后是測驗階段的字對(見圖1)。此時被試需要在保證正確的前提下, 盡可能快地判斷當前字對是相同字對還是重組字對, 并做出相應(yīng)的按鍵反應(yīng)。被試做出反應(yīng)后, 當前字對立即消失并開始呈現(xiàn)下一個注視點。所有按鍵反應(yīng)都在被試間進行了平衡。

完成所有任務(wù)后, 被試需要進行一項評分任務(wù)。評分對象為學習階段學過的所有成字字對和成詞字對, 評分內(nèi)容為將該字對組成一個整體(合體字或者復合詞)的難度, 評分方式為5點評分, 分數(shù)越高代表在加工的過程中形成一個新的整體越困難。

2.1.5 數(shù)據(jù)收集與分析

刺激的呈現(xiàn)和行為數(shù)據(jù)的記錄均使用PsychoPy軟件進行。對成字、不成字、成詞與不成詞條件下學習階段的RT和測驗階段的聯(lián)結(jié)再認Pr值進行兩因素(編碼條件×是否形成整體)重復測量方差分析, 交互作用顯著后進行簡單效應(yīng)分析。由于難度評分這一因變量在不能形成整體的條件下不存在, 因此成字與成詞條件間的加工難度用檢驗進行差異性檢驗。結(jié)果部分我們將報告方差分析中顯著的值、值和效應(yīng)量(partial-η2), 以及檢驗中顯著的值、值、效應(yīng)量(Cohen’s)和條件間差異的95%置信區(qū)間(Confidence Interval, CI)。當涉及到多重比較時采用校正。所有統(tǒng)計檢驗都在SPSS 25中進行。

2.2 結(jié)果

不同條件下學習階段的RT、測驗階段的Pr值和評分的描述性統(tǒng)計結(jié)果見表1和圖2。學習階段RT的兩因素(編碼條件×是否形成整體)方差分析結(jié)果表明, 是否形成整體的主效應(yīng)((1, 29) = 16.13,< 0.001, partial-η2= 0.36)、編碼條件的主效應(yīng)((1, 29) = 154.53,< 0.001, partial-η2= 0.84)和二者的交互作用((1, 29) = 24.01,< 0.001, partial-η2= 0.45)均顯著。簡單效應(yīng)分析表明, 成詞條件下的RT顯著低于不成詞((1, 29) = 7.75,< 0.001, Cohen’s= 1.42, 95% CI = [0.13, 0.23])和成字((1, 29) = 16.05,< 0.001, Cohen’s= 2.93, 95% CI = [0.34, 0.44])條件下的RT; 且不成詞條件下的RT顯著低于不成字條件下的RT,(1, 29) = 6.33,< 0.001, Cohen’s= 1.16, 95% CI = [0.15, 0.29]。難度評分的結(jié)果表明, 成字條件下所有材料的平均難度得分顯著高于成詞條件下的平均難度得分,(1, 29) = 7.46,< 0.001, Cohen’s= 2.59, 95% CI = [1.24, 1.66]。

測驗階段Pr值的兩因素(編碼條件×是否形成整體)方差分析結(jié)果表明, 是否形成整體的主效應(yīng)((1, 29)= 249.29,< 0.001, partial-η2= 0.90)和兩因素的交互作用((1, 29) = 25.59,< 0.001, partial-η2= 0.47)顯著, 而編碼條件的主效應(yīng)不顯著,(1, 29) = 2.08,> 0.05。簡單效應(yīng)分析表明, 成字條件下的Pr值顯著高于不成字((1, 29) = 14.50,< 0.001, Cohen’s= 2.65, 95% CI = [0.42, 0.56])和成詞((1, 29) = 2.94,= 0.006, Cohen’s= 0.54, 95% CI = [0.03, 0.14])條件下的Pr值; 成詞條件下的Pr值顯著高于不成詞條件下的Pr值,(1, 29) = 8.51,< 0.001, Cohen’s= 1.55, 95% CI = [0.20, 0.33]。

2.3 討論

學習階段的結(jié)果表明, 合體字條件下的編碼反應(yīng)時長于復合詞條件下的編碼反應(yīng)時, 且被試普遍認為合體字編碼比復合詞編碼更難。測驗階段的結(jié)果表明, 相比于不成字或不成詞條件, 合體字與復合詞編碼都顯著地提升了被試的聯(lián)結(jié)記憶成績。這些結(jié)果表明無論合體字和復合詞這兩種編碼方式內(nèi)部操作過程有何差異, 它們都與前人研究中所使用的操縱一樣, 可以將不同項目綁定為一個整體, 進而提升聯(lián)結(jié)記憶成績。因此, 這些結(jié)果也說明實驗1中使用的合體字和復合詞的編碼方式是有效的。在接下來的實驗2中, 我們將進一步檢驗: 相比于不成字條件, 合體字編碼條件下的項目記憶成績是否降低; 相比于不成詞條件, 復合詞編碼條件下的項目記憶成績是否降低。由于實驗1的結(jié)果還發(fā)現(xiàn)合體字條件下的聯(lián)結(jié)記憶成績好于復合詞條件下的聯(lián)結(jié)記憶成績, 我們還將檢驗合體字條件下的項目記憶成績是否比復合詞條件下的項目記憶成績低。如果以上三個問題的答案都是否, 則可以說明聯(lián)結(jié)記憶成績提升的同時項目記憶沒有受損, 即項目編碼沒有受損, 支持“只有收益”的觀點。

表1 學習階段、測驗階段以及評分任務(wù)中, 被試在不同條件下的反應(yīng)時、聯(lián)結(jié)再認表現(xiàn)和難度評分的結(jié)果(M ± SD)

圖2 左: 所有被試的編碼反應(yīng)時在不同條件間的變化；中: 所有被試的聯(lián)結(jié)再認表現(xiàn)在不同條件間的變化；右: 所有被試的難度評分在兩種編碼條件間的變化；**代表p < 0.01，***代表p < 0.001。

3 實驗2: 合體字與復合詞編碼對項目記憶的影響

3.1 方法

3.1.1 被試

由于還沒有研究探討過合體字與復合詞這兩種編碼方式對項目記憶的影響, 因此我們將效應(yīng)量設(shè)為中等大小0.5, 使用G*power 3.1計算得到檢驗交互作用所需的樣本量為24 (置信水平為0.05, 統(tǒng)計檢驗力為0.9, 檢驗方式為2×2重復測量方差分析)。實驗2招募到不同于實驗1的30名母語為漢語、利手為右利手的健康本科生或研究生被試。所有被試對實驗流程均知情且同意。本實驗已通過首都師范大學心理學院倫理委員會批準。3名被試由于在實驗過程中數(shù)據(jù)記錄出現(xiàn)問題(2名)或腦電偽跡過多(1名)被排除, 數(shù)據(jù)分析只使用了剩下的27名被試(19～26歲, 女性16名)。

3.1.2 研究范式和實驗設(shè)計

實驗2采用了前人文獻中廣泛使用的項目再認范式來考察項目記憶(Ahmad & Hockley, 2014; Liu et al., 2020; 劉澤軍, 郭春彥, 2022; Parks & Yonelinas, 2015; Pilgrim et al., 2012)。該范式也分為學習和測驗兩個階段, 它與聯(lián)結(jié)再認范式的區(qū)別在測驗階段。測驗階段有兩種刺激, 一種是學習階段學過的“相同項目”, 另一種是學習階段沒學過的“新項目”。被試需要判斷屏幕上呈現(xiàn)的是“相同項目”還是“新項目”。其考察項目記憶的邏輯如下: 由于“相同項目”在學習階段學過而“新項目”沒有, 兩種材料間的區(qū)別是被試是否擁有關(guān)于該項目的記憶。被試只需根據(jù)學習階段是否見過這個項目的經(jīng)驗即可做出正確判斷, 因此項目再認范式主要涉及對項目記憶的考察。實驗2采用兩因素2 (是否形成整體: 是、否) × 2 (編碼條件: 構(gòu)字法、構(gòu)詞法)被試內(nèi)設(shè)計, 因變量為測驗階段的項目再認Pr值。

3.1.3 材料

除練習和填充刺激, 正式實驗共使用720個漢字。其中, 合體字組(包含成字條件與不成字條件)和復合詞組(包含成詞條件與不成詞條件)各使用360個。對于合體字組, 學習階段同實驗1; 測驗階段, 項目再認包括3種刺激: (1)每一對成字字對中選一個字組成60個成字相同項目, (2)每一對不成字字對中選一個字組成60個不成字相同項目, (3)以及120個學習階段完全沒見過的字組成新項目。對于復合詞組, 學習階段, 同實驗1; 測驗階段, 項目再認也包含3種刺激: (1)每一對成詞字對中選一個字組成60個成詞相同項目, (2)每一對不成詞字對中選一個字組成60個不成詞相同項目, (3)以及120個在學習階段完全沒見過的字組成新項目。

所有漢字材料的視角大小及呈現(xiàn)方式同實驗1。所有材料的熟悉性和筆畫數(shù)都在條件間進行了平衡。具體而言, 學習階段, 同實驗1。測驗階段, 在合體字組中, 60個成字相同項目與60個不成字相同項目之間的熟悉性(= 0.69)和筆畫數(shù)(= 0.98)沒有顯著差異; 在復合詞組中, 60個成詞相同項目與60個不成詞相同項目之間的熟悉性(= 0.87)和筆畫數(shù)(= 0.97)沒有顯著差異; 最后, 60個成字相同項目與60個成詞相同項目之間的熟悉性(= 0.15)和筆畫數(shù)(= 0.12)也沒有顯著差異。

3.1.4 程序

被試在了解實驗流程并對實驗進行充分練習后, 再開始正式實驗。正式實驗分為6組, 包含3組合體字組和3組復合詞組。其余程序與實驗1相同。

在學習階段, 對于合體字組, 每個試次開始前會呈現(xiàn)一個900～1100 ms的注視點, 然后呈現(xiàn)3000 ms的字對。在字對呈現(xiàn)的前2000 ms, 被試只需辨別當前字對是否可以組成一個左右結(jié)構(gòu)的漢字, 并記住這兩個字。在字對出現(xiàn)2000 ms后, 字對上方會出現(xiàn)“請按鍵”三個字直到刺激結(jié)束。被試需要在“請按鍵”呈現(xiàn)期間做出按鍵反應(yīng), 判斷當前字對是否可以組成一個漢字(見圖3)。對于復合詞組, 除了指導語要求被試辨別當前字對從左到右是否可以組合成一個詞語外, 其余程序與合體字組相同。

與實驗1相同, 學習階段結(jié)束后, 被試將進入干擾階段。測驗階段, 相同項目和新項目以偽隨機的順序呈現(xiàn)。每個試次開始前也會有一個900～1100 ms的注視點, 然后是2000 ms的刺激(見圖3)。被試需要在保證正確的前提下盡可能快地判斷當前刺激在學習階段是否見過, 并做出相應(yīng)的按鍵反應(yīng)。所有反應(yīng)的按鍵都在被試間進行了平衡。

圖3 實驗2部分材料及實驗流程示意圖

3.1.5 數(shù)據(jù)收集與預處理

刺激的呈現(xiàn)和行為數(shù)據(jù)的記錄均使用PsychoPy軟件進行。EEG數(shù)據(jù)的收集采用NeuroScan SynAmps系統(tǒng)的62 Ag/AgCl電極, 數(shù)據(jù)采集時電阻小于7 kΩ, 采樣率為500 Hz, 在線參考為左側(cè)乳突。采集到的EEG信號由EEGLAB (Delorme & Makeig, 2004)工具包進行預處理: 首先重參考至左、右兩側(cè)乳突的平均, 然后進行0.1～100 Hz的帶通濾波和49～51 Hz的陷波濾波, 眨眼和/或眼動偽跡通過獨立成分分析(Independent Component Analysis, ICA)進行人工識別并去除。對于ERP分析, 連續(xù)的EEG信號被分成1800 ms的段(刺激前300 ms到刺激后1500 ms), 并將刺激前300 ms用于基線校正。對于TFR分析, 連續(xù)的EEG信號被分成2450 ms的段(刺激前600 ms到刺激后1850 ms), 且刺激前500～100 ms被用于基線校正。最后, 除頭皮外周一圈電極外, 其余電極的幅值超過±75 μV, 以及被試反應(yīng)錯誤的分段將被排除在后續(xù)分析之外。學習階段各條件下剩余的平均試次數(shù)分別為44 (成字)、47 (不成字)、47 (成詞)和46 (不成詞)。

3.1.6 數(shù)據(jù)分析

對成字、不成字、成詞與不成詞條件下的項目再認Pr值進行兩因素(編碼條件×是否形成整體)重復測量方差分析, 交互作用顯著后進行簡單效應(yīng)分析。結(jié)果部分我們報告了方差分析顯著的值、值和partial-η2。為避免顯著的交互作用是由不成字和不成詞條件間的差異導致的, 我們合并了不成字與不成詞條件下的Pr值, 補充進行了一項單因素方差分析(成字、成詞、不成字/詞)。當數(shù)據(jù)不滿足球形假設(shè)時, 采用校正, 涉及到多重比較時采用校正。所有統(tǒng)計檢驗均在SPSS 25中進行。

為了檢驗合體字和復合詞兩種編碼在神經(jīng)機制上的差異, 我們首先使用多變量模式分析(Multi-Variate Pattern Analysis, MVPA)對學習階段的EEG數(shù)據(jù)進行了探索性分析, 步驟如下: (1)將一名被試在兩種編碼條件下預處理后剩余的試次數(shù)下采樣至相同; (2)提取兩種條件下、每個試次中、所有電極(60個)上、刺激呈現(xiàn)后第1到10個時間點的數(shù)據(jù), 組成600維的向量; (3)用支持向量機(Support Vector Machines, SVM)根據(jù)每個向量所屬的標簽(成字字對VS.成詞字對)進行分類和預測(5折交叉驗證), 得到分類準確率; (4)對每名被試重復上述所有步驟, 得到每名被試的分類準確率; (5)將所有被試的分類準確率與機率水平0.5進行比較(單尾), 得到在此時間窗中的值; (6)在所有時間點上重復上述所有步驟, 得到隨時間變化的一系列值并進行校正。最后, 如果沒有通過校正的時窗, 我們則認為兩種編碼的神經(jīng)機制沒有區(qū)別; 如果有通過校正的時窗, 我們則認為在該時窗內(nèi), 基于構(gòu)字法和基于構(gòu)詞法這兩種編碼過程擁有不同的神經(jīng)機制。

對于預處理后剩余的學習階段的試次, 使用ERPLAB工具箱(Lopez-Calderon & Luck, 2014)在各條件內(nèi)進行疊加平均以獲得ERP。由MVPA的結(jié)果可知, 成字字對與成詞字對在學習階段的差異主要在刺激出現(xiàn)后1000 ms左右。檢查每個電極上的ERP波形后得知, 此時間段主要為負波。因此, 在ERP分析中我們主要關(guān)注LNC。由于LNC持續(xù)時間較長, 我們進一步將LNC分成早期LNC (700～ 1000 ms)和晚期LNC (1000～1500 ms)。對于早期LNC, 首先, 平均全腦每個電極在700～1000 ms內(nèi)的振幅獲得兩種條件下每個電極上的早期LNC; 其次, 每個電極上的LNC在兩種條件間進行配對樣本檢驗; 最后, 包含4個及以上在頭皮上相鄰的電極都達到顯著(< 0.05)的區(qū)域?qū)⒈灰暈榇嬖诓町惖哪X區(qū)。檢驗晚期LNC在條件間是否存在顯著差異的方法與早期LNC相同。

為了進一步檢驗合體字編碼與復合詞編碼在神經(jīng)振蕩上的差異, 我們使用Letswave7工具箱(Huang, 2019), 在0.1～100 Hz的范圍內(nèi), 通過小波分析對預處理后剩余的學習階段的試次進行了時頻轉(zhuǎn)換。首先, 每個電極中的離散數(shù)據(jù)用Morlet復小波(cmor1-1.5)進行卷積, 并將小波變換后得到的振幅平方以獲得頻譜能量; 然后, 將每名被試所有試次的頻譜能量平均, 并計算刺激呈現(xiàn)后的能量相比于基線(–500 ～ –100 ms)的百分比變化(即事件相關(guān)頻譜擾動, Event-Related Spectral Perturbation, ERSP)。刺激呈現(xiàn)后ERSP增強被稱為事件相關(guān)同步化, ERSP減弱被稱為事件相關(guān)去同步化。為了檢驗時頻分析中顯著的時窗和頭皮區(qū)域, 首先, 在每個電極的每個時間點上, 分別對θ頻段(4～8 Hz)、α頻段(8 ～13 Hz)、β頻段(13 ～ 30 Hz)和γ頻段(30～ 80 Hz)內(nèi)的ERSP進行平均; 然后, 在每個電極上進行基于聚類的置換檢驗(該方法不僅可以避免多重比較的問題, 還允許在測試統(tǒng)計量時加入生物物理學上的約束, 提高統(tǒng)計測試的靈敏度; Maris & Oostenveld, 2007), 找出顯著的時間窗(雙尾, 10000次, 閾值< 0.05)。最后, 差異顯著且在頭皮上位置相鄰的電極被聚類成簇, 包含4個及以上電極的簇將被視為存在差異的腦區(qū)。

由于時頻分析的結(jié)果顯示兩種編碼方式在α/β頻段的ERSP存在顯著差異, 我們將進一步考察學習階段的α/β神經(jīng)振蕩是否與測驗階段的記憶成績有關(guān)。首先, 將每個電極在α/β頻段(8～30 Hz)上的ERSP進行條件間比較, 得到每個電極上差異顯著的時窗; 然后, 將每個差異顯著電極上顯著時窗內(nèi)α/β頻段的ERSP在兩種條件間的差值, 與測驗階段擊中率(Hit)在兩種條件間的差值做皮爾遜相關(guān); 最后, 若某個腦區(qū)存在4個及以上相鄰且相關(guān)系數(shù)都達到顯著(< 0.05)的電極, 則認為該腦區(qū)學習階段的α/β神經(jīng)振蕩與測驗階段的項目再認成績有關(guān)。

3.2 結(jié)果

3.2.1 行為結(jié)果

成字條件下Pr值的描述性統(tǒng)計結(jié)果為0.50 ± 0.14 (), 不成字條件下的Pr值為0.42 ± 0.16, 成詞條件下的Pr值為0.41 ± 0.13, 不成詞條件下的Pr值為0.37 ± 0.16。項目再認Pr值的兩因素(編碼條件×是否形成整體)方差分析結(jié)果顯示, 編碼條件的主效應(yīng)((1, 26) = 21.75,< 0.001, partial-η2= 0.46)、是否形成整體的主效應(yīng)((1, 26) = 17.67,< 0.001, partial-η2 = 0.41)和二者的交互作用((1, 26) = 6.46,= 0.017, partial-η2 = 0.20)均顯著。簡單效應(yīng)分析表明, 如圖4所示, 成字與不成字條件間的項目再認Pr值差異顯著((1, 26) = 6.09,< 0.001, Cohen’s= 1.17, 95% CI = [0.06, 0.11]); 而成詞與不成詞條件間的項目再認Pr值差異不顯著(= 0.07)。另外, 補充進行的單因素方差分析(成字、成詞、不成字/詞)結(jié)果也顯著((2, 25) = 22.58,< 0.001, partial-η2= 0.64)。事后檢驗表明, 成字與成詞條件間的Pr值差異顯著((1, 26) = 5.23,< 0.001, Cohen’s= 1.01, 95% CI = [0.06, 0.13]), 成字與不成字/詞條件間的Pr值差異顯著((1, 26) = 6.66,< 0.001, Cohen’s= 1.28, 95% CI = [0.07, 0.14]), 而成詞與不成字/詞條件間的Pr值差異不顯著(= 0.36)。

圖4 所有被試的項目再認表現(xiàn)在不同條件間的變化，***代表p < 0.001。

3.2.2 學習階段MVPA的結(jié)果

如圖5所示, MVPA的結(jié)果顯示在刺激呈現(xiàn)后782～1260 ms內(nèi), SVM在成字與成詞兩種字對間的分類準確率顯著高于機率水平并通過了校正。對于不成字和不成詞兩種字對間的分類, 雖然在少部分時間點上SVM的準確率高于機率水平, 但沒有時間段能通過校正。

3.2.3 學習階段ERP結(jié)果

成字字對與成詞字對學習階段組平均后的ERP波形圖和地形圖如圖6所示。對于早期LNC, 在全腦所有電極上進行的配對樣本檢驗顯示, 相比于成字字對, 在額葉?中央?yún)^(qū)域(F2, F4, F6, F8, FC7, FC5, FC3, FC1, FC4, FC6, FC8, C7, C5, C3, C4, C6, C8, CP5, CP3, CP1, CP2, CP4), 成詞字對有著更負的LNC; 相比于成詞字對, 在頂葉?枕葉區(qū)域(P7, PO7, PO5, PO3, PO8, O1, Oz, O2), 成字字對有著更負的LNC。晚期LNC的全腦分布模式與早期LNC基本相同。不同的是, 成詞字對比成字字對有著更負LNC的額葉?中央?yún)^(qū)域更小(F4、F6、F8、FC6); 而成字字對比成詞字對有著更負LNC的頂葉?枕葉區(qū)域更大(P7、P5、P3、P1、P4、P6、P8、PO7、PO5、PO3、POz、PO4、PO6、PO8、O1、Oz、O2)。

3.2.4 學習階段TFR結(jié)果

如圖7所示, 相比于成詞字對, 在編碼成字字對時, 全腦大部分電極在α頻段和β頻段上的去同步化都增強, 只有少部分電極在θ頻段上顯示出去同步化增強, 而γ頻段上則不存在差異顯著的腦區(qū)(s > 0.05)。具體而言, 如圖7所示, θ頻段上存在顯著差異的電極主要集中在頂葉?枕葉區(qū)域(AF3、FP1、P5、P3、TP8、P4、P6、P8、PO7、PO5、PO3、POz、PO4、PO6、PO8、O1、Oz、O2), 且差異顯著的時窗大都在刺激呈現(xiàn)后約900～1700 ms內(nèi); 而α頻段除了在FC5、C5、PO3和O1電極上差異不顯著, 其余電極上全都差異顯著, 且額葉附近的電極顯著的時窗持續(xù)時間較短(約刺激呈現(xiàn)后500～1200 ms), 枕葉附近的電極顯著的時窗持續(xù)時間較長(約刺激呈現(xiàn)后500～1750 ms); 與α頻段類似, β頻段除了在少數(shù)電極(T7、FP1、C6、T8)上差異不顯著, 其余電極全都差異顯著, 且也是額葉附近的電極顯著的時窗持續(xù)時間較短(約刺激呈現(xiàn)后600～1200 ms), 枕葉附近的電極顯著的時窗持續(xù)時間較長(約刺激呈現(xiàn)后600～1500 ms)。

圖5 SVM在不同條件間的分類結(jié)果。虛線代表顯著水平p < 0.05，綠色陰影表示成字與成詞條件間的分類準確率顯著且通過了FDR校正的時窗。

圖6 兩種條件下編碼時的組平均ERP波形圖（左、中）和地形圖（右）。地形圖為成字條件減成詞條件得到的差異波。

圖7 左: 兩種條件間θ、α和β頻段上存在顯著差異的電極和時窗，條形柱為對應(yīng)電極上條件間差異顯著的時間段；右: 部分電極條件間差異的時頻結(jié)果圖。

3.2.5 相關(guān)分析結(jié)果

如圖8所示, 全腦相關(guān)分析的結(jié)果表明, 在額區(qū)和左側(cè)中央?yún)^(qū)的部分電極上, 學習階段α/β頻段的ERSP與測驗階段的擊中率之間呈負相關(guān)。學習階段的ERSP去同步化越強, 測驗階段的擊中率越高。排除位置不相鄰的電極后, 顯著相關(guān)的腦區(qū)為左側(cè)中央?yún)^(qū), C5 (606～1194 ms,= –0.40)、C3 (534～1220 ms,= –0.41)、CP5 (524～1206 ms,= –0.42)、CP3 (468～1230 ms,= –0.42)。

3.3 討論

本實驗考察了合體字和復合詞編碼在神經(jīng)機制上的差異, 及其對項目記憶的影響。行為結(jié)果表明: 與不能組成字或詞的條件相比, 合體字編碼條件下的項目記憶成績顯著提升, 而復合詞編碼條件下的項目記憶成績沒有顯著變化; 合體字編碼條件下的項目記憶成績比復合詞編碼條件下的項目記憶成績更好。腦電結(jié)果表明: 復合詞編碼時的LNC效應(yīng)主要集中于額區(qū), 且發(fā)生時間較早, 而合體字編碼時的LNC效應(yīng)主要位于枕區(qū), 且發(fā)生時間更晚; 此外, 合體字編碼伴隨著更強的α/β神經(jīng)振蕩去同步化, 且編碼時左側(cè)中央?yún)^(qū)域的α/β神經(jīng)振蕩去同步化與提取時的項目再認成績有關(guān)。從記憶提取的角度來看, 將不同項目綁定為整體沒有損害甚至能提升項目記憶成績, 這說明項目所包含的信息在編碼時沒有被掩蓋。從神經(jīng)機制的角度來看, 與項目記憶編碼有關(guān)的α/β神經(jīng)振蕩去同步化在合體字條件下更強, 也說明該條件下的項目加工沒有減少, 甚至得到了加強。

4 綜合討論

4.1 實驗1中合體字和復合詞編碼在促進聯(lián)結(jié)記憶上的異同

將兩個不同的項目綁定為一個整體可以提升聯(lián)結(jié)記憶成績, 這在前人的研究中已經(jīng)達成了共識(劉澤軍等, 2019; 鄭志偉等, 2015)。這是因為被試在提取階段不僅能通過項目間的關(guān)系進行聯(lián)結(jié)再認, 還能夠通過提取編碼時形成的整體來“輔助”聯(lián)結(jié)再認的完成。實驗1的結(jié)果與先前的研究一致(Diana et al., 2010; Haskins et al., 2008; Quamme et al., 2007; Rhodes & Donaldson, 2008; Zheng et al., 2015): 無論是在合體字還是復合詞編碼條件下, 聯(lián)結(jié)再認成績都得到了顯著提升。因此, 實驗1的結(jié)果也表明本研究中的實驗操縱是有效的, 即無論是漢語中的構(gòu)字法還是構(gòu)詞法, 都可以將兩個漢字綁定為一個整體。

除了這兩種編碼的相同點, 我們也需要關(guān)注它們之間的不同點。復合詞編碼要求被試將兩個字組成一個詞, 新形成的整體在本質(zhì)上還是兩個項目(如“開”和“心”組成“開心”)。這與前人使用的復合詞(如“希臘”和“神話”組成“希臘神話”; Ahmad & Hockley, 2014; Giovanello et al., 2006; Liu et al., 2020; Rhodes & Donaldson, 2008)或指導語(想象“坐在草地上看天上的云飄過”這樣一幅景象來綁定“草地”和“云”這兩個詞; Parks & Yonelinas, 2015; Pilgrim et al., 2012; Quamme et al., 2007)的操縱方法類似。而合體字編碼則要求被試將兩個字整合成一個新的漢字, 新形成的整體已不再是原來的兩個項目, 而是變成了另一個全新的項目(如“口”和“十”組成“葉”)。另外, 把兩個項目綁定為復合詞的加工過程屬于語素加工(Chung et al., 2010; Ip et al., 2019), 被試需要加工兩個項目的語義并將二者在語義上進行綁定(Chung et al., 2010; Gao et al., 2022), 然后在心理詞典中對這兩個字組成的詞語進行檢索; 而在亞詞匯水平上對漢字的不同部件進行綁定則屬于正字法加工, 需要判斷的是組成的整體是否符合正字法規(guī)則(Anderson et al., 2013; Su et al., 2015)。

圖8 左: α/β頻段的ERSP之差與測驗階段Hit之差的相關(guān)系數(shù)地形圖。右: 兩種編碼條件間相關(guān)系數(shù)顯著的四個電極在α/β頻段內(nèi)的ERSP之差與擊中率之差的散點圖。

兩種編碼方式間存在差別, 這一點在MVPA和ERP的結(jié)果中也可以得到證實。MVPA的結(jié)果表明在刺激呈現(xiàn)后1000 ms左右, 兩種編碼方式的EEG表征不同。這說明即使同樣要求被試將兩個項目綁定為一個整體, 但聯(lián)結(jié)成的整體不同, 其誘發(fā)的大腦活動也是不同的。在ERP的分析中, 雖然合體字編碼與復合詞編碼都誘發(fā)了LNC, 但不同之處在于, 復合詞編碼時的LNC在時間上出現(xiàn)較早且主要分布于額葉區(qū)域, 而合體字編碼時的LNC出現(xiàn)得更晚且主要分布于枕葉區(qū)域。先前的研究表明, 經(jīng)典的額區(qū)?中央?yún)^(qū)LNC與信息在工作記憶中進行維持和操縱有關(guān)(Baddeley, 1992; Gui et al., 2017; Han et al., 2016; Li et al., 2014)。至于晚期LNC, 其腦區(qū)分布與另一個晚期負成分LPN (Late Posterior Negativity)相同。有研究發(fā)現(xiàn)LPN反映了大腦對刺激進行復雜且高階的操縱和評估過程, 受到任務(wù)難度的調(diào)節(jié)(Sommer et al., 2018)。

相比于合體字條件, 復合詞條件下的編碼反應(yīng)時和LNC都發(fā)生得更快, 其原因可能是合體字編碼的難度更大。在復合詞編碼條件下, 被試只需要從左到右看完就能確定這兩個字能否組成一個詞語, 因此加工過程相對容易(難度評分的結(jié)果也證實了這一點)。比如編碼“天下”這個復合詞時, 被試在工作記憶中保持“天”和“下”之后, 只需在心理詞典中去搜索“天下”這個詞即可, 并不需要對“天”或“下”進行其他認知操作。而在合體字編碼條件下, 被試在將兩個成分聯(lián)結(jié)成一個整體之前, 還需要對這兩個部分進行變形。例如, 在編碼“禾且”時, 被試需要先在工作記憶中保持“禾”和“且”這兩個字, 然后在工作記憶中將“禾”加工為禾字旁, 最后將禾字旁和“且”組合到一起。而這在基于構(gòu)詞法的編碼過程中則不需要。

實驗1出現(xiàn)了兩種不同水平的聯(lián)結(jié)記憶(合體字條件下的聯(lián)結(jié)記憶成績比復合詞條件下的更好), 究其原因, 除了前面提到的組成整體的不同以及加工難度上的差異, 我們推測可能還與整合水平有關(guān)(Parks & Yonelinas, 2015)。整合水平(The Levels of Unitization)的觀點認為, 將項目綁定為整體是一個連續(xù)的過程, 程度有高低之分。例如, 當對“云”和“草坪”這兩個詞進行綁定時, 可以要求被試想象“‘云草坪’是一個用來觀天的院子”, 也可以要求被試想象“他坐在草坪上看云飄過”來記住“云”和“草坪”這個詞對。顯然, 后一種編碼方式的整合水平更低, 因為這兩個項目在很大程度上仍然是獨立加工的。合體字編碼可以說是一種項目內(nèi)的整合, 因為兩個漢字最終組成的是一個漢字(如“口”和“十”構(gòu)成了“葉”)。復合詞編碼則可以被看作是一種項目間的整合, 兩個詞最終組成的是一個復合詞(例如“父”和“親”組成“父親”), 本質(zhì)上還是兩個字。因為合體字比復合詞的整合水平更高, 所以編碼時形成的整體更加緊密, 提取階段則可以產(chǎn)生更強的關(guān)于整體的熟悉性。因此, 更高水平的整合可以通過更強的熟悉性來提升聯(lián)結(jié)記憶成績(Parks & Yonelinas, 2015)。

4.2 從提取的角度看項目編碼沒有減弱

實驗2的行為結(jié)果表明, 合體字條件下的項目記憶成績更好, 這與實驗1中聯(lián)結(jié)再認的行為結(jié)果一致, 說明聯(lián)結(jié)編碼提升的同時項目編碼非但沒有受損, 還得到了提升, 進一步否定了“收支平衡”的假設(shè), 支持了“只有收益”的觀點。因為如果按照“收支平衡”的觀點, 綁定過程更多地加工了聯(lián)結(jié)而忽略了項目, 項目得到的加工將會減少進而導致項目記憶成績降低, 這顯然不能很好地解釋實驗2中的行為結(jié)果。但上述結(jié)果卻可以被“只有收益”的觀點解釋: 正是因為綁定的過程需要在項目被充分加工的基礎(chǔ)之上才能完成, 所以只要綁定成功進行, 項目編碼就不會受損, 提取階段的項目記憶就不會降低。比如在復合詞中, 只有加工了“天”的含義, 被試才能知道“天下”的意思, 因為還有很多字可以和“下”組成詞語; 同樣, 也只有加工了“下”被試才能完整地理解“天下”這個詞。在合體字中, 雖然不一定需要加工偏旁或者部首的語義, 但這并不意味著偏旁部首會被忽略。比如“秋”字, 盡管被試不需要加工“禾”和“火”的含義, 但也需要將它們在頭腦中轉(zhuǎn)變成對應(yīng)的偏旁部首, 再將二者進行綁定?？偠灾? 將不同項目綁定為整體的過程需要對項目進行充分加工, 因此項目的編碼不會被掩蓋或損害。

關(guān)于合體字比復合詞編碼條件下的項目記憶成績更好的原因, 我們推測可能與項目編碼時的變異性有關(guān)。根據(jù)編碼變異性假說, 如果學習階段項目與更多額外的信息建立起了聯(lián)系, 提取階段就更有可能提取到與該項目有關(guān)的信息, 從而更容易記起該項目(Martin, 1968)。在合體字編碼時, 與某個項目同時進行編碼的不僅有另一個與之配對的字, 還有新形成的合體字, 這三個項目之間的語義相關(guān)性是比較低的(如前面的例子, “口”、“十”和“葉”), 因此編碼時的變異性較大。而在復合詞編碼時, 雖然也有另一個與之配對的字和新組成的復合詞與項目同時進行編碼, 但相比之下, 復合詞和其組成部分之間的語義相關(guān)性更高(如“父”和“親”組成“父親”), 因此該編碼過程中變異性較小, 導致提取階段項目記憶成績更低。

4.3 從編碼的角度看項目編碼沒有減弱

更好的項目記憶成績往往意味著學習階段更深入的加工和編碼, 這一點可以從時頻分析的結(jié)果中得到驗證。根據(jù)Griffiths等人(2019)的觀點, 在大腦加工信息的過程中, 與任務(wù)無關(guān)的神經(jīng)元網(wǎng)絡(luò)的激活會掩蓋與任務(wù)相關(guān)的關(guān)鍵神經(jīng)元所產(chǎn)生的信號, 因此神經(jīng)元大量同步放電對信息加工是有害的。在宏觀層面上, 這種同步活動的表現(xiàn)就是α/β振蕩。因此, α/β頻段的神經(jīng)振蕩去同步化越強, 表明大腦對信息的加工越充分、越有效。實驗2的腦電結(jié)果表明, 相比于復合詞編碼, 合體字編碼在刺激呈現(xiàn)后500～1000 ms期間, 全腦大部分區(qū)域在α/β頻段上的神經(jīng)振蕩都表現(xiàn)出更強的去同步化。但這還不能確定這些去同步化代表了項目記憶特異的編碼過程, 因為去同步化有可能伴隨的是聯(lián)結(jié)記憶的編碼、來源記憶的編碼或是語義記憶的編碼, 甚至可能只是學習過程中伴隨產(chǎn)生的注意或感知覺等其他心理過程。實驗2中相關(guān)性分析的結(jié)果可以很好地回答這一質(zhì)疑。相關(guān)分析的結(jié)果表明, 左側(cè)中央?yún)^(qū)域的α/β頻段去同步化越強則提取階段項目記憶成績越好, 這說明該腦區(qū)α/β頻段的去同步化與項目記憶的編碼有關(guān)。再結(jié)合合體字編碼時全腦(包括左側(cè)中央?yún)^(qū))α/β頻段上的神經(jīng)振蕩都有著更強去同步化的結(jié)果, 我們可以推測在編碼合體字時, 與任務(wù)無關(guān)的神經(jīng)網(wǎng)絡(luò)被抑制了。因此, 在合體字編碼過程中, 大腦非但沒有減少對項目的編碼, 反而對其進行了更深入且更有效的加工。

4.4 聯(lián)結(jié)編碼和項目編碼的關(guān)系: 此消彼長或是相輔相成？

關(guān)于不同聯(lián)結(jié)方式對項目編碼的影響, Tibon等人(2017)認為, 聯(lián)結(jié)編碼與項目編碼之間存在著某種權(quán)衡(trade-off)。自下而上地將兩個項目聯(lián)結(jié)成一個整體(通過兩個項目間固有的關(guān)系將兩個項目進行綁定, 如復合詞或者語義相關(guān)的詞對或圖片對)可以使聯(lián)結(jié)編碼過程更加簡化, 節(jié)省出來的認知資源可以投入到對項目的編碼中去, 因此項目記憶會得到提升; 反之, 如果被試采用自上而下的方式(通過一個定義性的句子把兩個不相關(guān)的詞對綁定為一個新的概念)將兩個項目聯(lián)結(jié)成整體, 其綁定的過程會更困難, 大腦對項目的加工就會受到影響, 因此會削弱項目記憶。這一觀點看似合理, 但難以解釋自下而上的聯(lián)結(jié)方式損害項目記憶(Ahmad & Hockley, 2014; Shao & Weng, 2011), 自上而下的聯(lián)結(jié)又不損害項目記憶(Parks & Yonelinas, 2015; Pilgrim et al., 2012), 以及本研究中被試普遍認為合體字編碼更難, 但該條件下的項目記憶成績反而更好的情況。

本研究發(fā)現(xiàn), 基于構(gòu)字法的合體字編碼方式同時促進了聯(lián)結(jié)記憶和項目記憶。聯(lián)結(jié)編碼與項目編碼之間的權(quán)衡似乎被打破了。我們認為, 在將項目綁定為整體的過程中, 如果該過程比較困難, 會消耗一定的認知資源。但反過來, 這也會促進對項目的加工, 進而彌補聯(lián)結(jié)編碼所帶來的對項目記憶的損傷, 甚至會提升項目記憶。反之, 如果將項目聯(lián)結(jié)為整體的過程比較簡單, 一方面, 聯(lián)結(jié)編碼依舊會消耗認知資源, 導致項目得到的加工變少; 另一方面, 由于聯(lián)結(jié)為整體的過程簡單且流暢, 項目沒有得到進一步的加工, 因此項目記憶受損。與Tibon等人(2017)的觀點(編碼過程越簡單越可以增加對項目的加工, 從而提升項目記憶)不同, 我們認為將項目加工為整體的過程越困難, 反而越能促進聯(lián)結(jié)和項目信息得到更深入的加工, 進而使聯(lián)結(jié)記憶和項目記憶成績都得到提升。由此可見, 聯(lián)結(jié)編碼與項目編碼之間的關(guān)系可能不是此消彼長的權(quán)衡, 更有可能是相輔相成、互相促進的。

4.5 不足與展望

本研究尚存在一些不足。首先, 在實驗1中, 測驗階段重組字對中一些項目的位置與學習階段不同。有研究發(fā)現(xiàn), 相比于學習階段, 測驗階段項目位置的改變可能會降低被試的聯(lián)結(jié)再認成績(Bader et al., 2014; de Brigard et al., 2020; Giovanello et al., 2009; Wiegand et al., 2010)。為避免實驗1中的實驗效應(yīng)是由重組字對中項目位置的改變導致的, 我們排除所有涉及位置改變的重組字對后, 重新計算了各條件下的Pr值。結(jié)果表明, 無論是在成字還是成詞條件下, 其聯(lián)結(jié)再認Pr值都顯著大于不成字或不成詞條件下的Pr值。盡管測驗階段重組字對中項目位置的改變并沒有影響實驗1的主要結(jié)論, 但這仍然是一個值得考慮且需要在將來的實驗中加以控制的因素。其次, 由于獨體字材料的限制以及成字條件下被試的擊中率較高, 導致沒有足夠的錯誤試次用于疊加平均以消除噪聲的影響, 進而難以從相繼記憶效應(yīng)的角度分析編碼階段與記憶相關(guān)的神經(jīng)指標。未來的研究也可以試著克服實驗材料不足這一缺憾, 采用相繼記憶效應(yīng)的方式, 更直接地探討與記憶編碼相關(guān)的神經(jīng)機制。

5 結(jié)論

通過考察合體字和復合詞加工過程中聯(lián)結(jié)記憶和項目記憶的變化, 以及這兩種加工過程在神經(jīng)機制上的差異, 本研究發(fā)現(xiàn)在將項目綁定為整體的過程中, 聯(lián)結(jié)編碼得到促進的同時項目編碼不會受到損害, 甚至聯(lián)結(jié)編碼和項目編碼同時得到了促進, 支持了“只有收益”的觀點。本研究為理解大腦對合體字或復合詞的加工提供了新的角度, 也從實證的角度為漢語學習材料的編排提供了參考。

Ahmad, F. N., & Hockley, W. E. (2014). The role of familiarity in associative recognition of unitized compound word pairs.(12), 2301?2324.

Anderson, R. C., Ku, Y. M., Li, W., Chen, X., Wu, X., & Shu, H. (2013). Learning to see the patterns in Chinese characters.,(1), 41?56.

Bader, R., Opitz, B., Reith, W., & Mecklinger, A. (2014). Is a novel conceptual unit more than the sum of its parts?: FMRI evidence from an associative recognition memory study.,, 123?134.

Baddeley, A. 1992. Working memory.(5044)556–559.

Buchler, N. G., Light, L. L., & Reder, L. M. (2008). Memory for items and associations: Distinct representations and processes in associative recognition.(2), 183?199.

Ceraso, J. (1985). Unit formation in perception and memory.(4), 179?210.

Chung, K. K., Tong, X., Liu, P. D., McBride-Chang, C., & Meng, X. (2010). The processing of morphological structure information in Chinese coordinative compounds: An event- related potential study., 157?166.

de Brigard, F., Langella, S., Stanley, M. L., Castel, A. D., & Giovanello, K. S. (2020). Age-related differences in recognition in associative memory.,(2), 289?301.

Delorme, A., & Makeig, S. (2004). EEGLAB: An open-source toolbox for analysis of single-trial EEG dynamics including independent component analysis.(1), 9?21.

Diana, R. A., Yonelinas, A. P., & Ranganath, C. (2010). Medial temporal lobe activity during source retrieval reflects information type, not memory strength.(8), 1808?1818.

Gao, F., Wang, R., Armada-da-Silva, P., Wang, M. Y., Lu, H., Leong, C., & Yuan, Z. (2022). How the brain encodes morphological constraints during Chinese word reading: An EEG-fNIRS study.,, 184?196.

Giovanello, K. S., Keane, M. M., & Verfaellie, M. (2006). The contribution of familiarity to associative memory in amnesia.(10), 1859?1865.

Giovanello, K. S., Schnyer, D., & Verfaellie, M. (2009). Distincthippocampal regions make unique contributions to relational memory.,(2), 111?117.

Giovanello, K. S., Verfaellie, M., & Keane, M. M. (2003). Disproportionate deficit in associative recognition relative to item recognition in global amnesia.(3), 186–194.

Griffiths, B. J., Mayhew, S. D., Mullinger, K. J., Jorge, J., Charest, I., Wimber, M., & Hanslmayr, S. (2019). Alpha/beta power decreases track the fidelity of stimulus-specific information.,, e49562.

Gui, P., Ku, Y., Li, L., Li, X., Bodner, M., Lenz, F. A., ... Zhou, Y. D. (2017). Neural correlates of visuo-tactile crossmodal paired-associate learning and memory in humans.,, 181?195.

Han, J., Cao, B., Cao, Y., Gao, H., & Li, F. (2016). The role of right frontal brain regions in integration of spatial relation.,, 29?37.

Hanslmayr, S., Staudigl, T., & Fellner, M. C. (2012). Oscillatory power decreases and long-term memory: The information via desynchronization hypothesis.74.

Haskins, A. L., Yonelinas, A. P., Quamme, J. R., & Ranganath, C. (2008). Perirhinal cortex supports encoding and familiarity- based recognition of novel associations.(4), 554?560.

Hockley, W. E., & Cristi, C. (1996). Tests of encoding tradeoffs between item and associative information.(2), 202–216.

Huang, G. (2019). EEG/ERP data analysis toolboxes. In L. Hu & Z. Zhang (Eds.),(pp. 407?434). Singapore, Springer.

Ip, K. I., Marks, R. A., Hsu, L. S. J., Desai, N., Kuan, J. L., & Tardif, T. (2019). Morphological processing in Chinese engages left temporal regions.,, 104696.

Kamp, S. M., Bader, R., & Mecklinger, A. (2016). The effect of unitizing word pairs on recollection versus familiarity- based retrieval-Further evidence from ERPs.,(4), 169?178.

Kamp, S. M., Bader, R., & Mecklinger, A. (2017). ERP subsequent memory effects differ between inter-item and unitization encoding tasks.,, 30.

Kamp, S. M., & Zimmer, H. D. (2015). Contributions of attention and elaboration to associative encoding in young and older adults.,, 252?264.

Khader, P., Heil, M., & R?sler, F. (2005). Material-specific long-term memory representations of faces and spatial positions: Evidence from slow event-related brain potentials.(14), 2109?2124.

Kim, A. S., Vallesi, A., Picton, T. W., & Tulving, E. (2009). Cognitive association formation in episodic memory: Evidence from event-related potentials.,(14), 3162?3173.

Kounios, J., Smith, R. W., Yang, W., Bachman, P., & D'Esposito, M. (2001). Cognitive association formation in human memory revealed by spatiotemporal brain imaging.,(1), 297?306.

Li, B., Zhang, M., Luo, J., Qiu, J., & Liu, Y. (2014). The difference in spatiotemporal dynamics between modus ponens and modus tollens in the Wason selection task: An event-related potential study.,, 177?182.

Liu, Z., & Guo, C. (2019). Unitization improves item recognition through less overall neural processing.(13), 882?886.

Liu, Z., & Guo, C. (2022). Effects of unitization on associative and item recognition: The “benefits-only” account.(12), 1443?1454.

[劉澤軍, 郭春彥. (2022). 整合對聯(lián)結(jié)再認和項目再認的促進作用: “只有收益”觀點.(12), 1443?1454.]

Liu, Z. J., Wang, Y. J., & Guo, C. Y. (2019). Investigating the item recognition in associative memory: A unitization perspective.(3), 490?498.

[劉澤軍, 王余娟, 郭春彥. (2019). 從整合的角度看聯(lián)結(jié)記憶中的項目再認.(3), 490?498.]

Liu, Z., Wu, J., Wang, Y., & Guo, C. (2020). Unitization does not impede overall item recognition performance: Behavioral and event-related potential study., 107?130.

Lopez-Calderon, J., & Luck, S. J. (2014). ERPLAB: An open-source toolbox for the analysis of event-related potentials., 213.

Lu, B., Liu, Z., Wang, Y., & Guo, C. (2020). The different effects of concept definition and interactive imagery encoding on associative recognition for word and picture stimuli., 178?189.

Maris, E., & Oostenveld, R. (2007). Nonparametric statistical testing of EEG-and MEG-data.(1), 177?190.

Martin, E. (1968). Stimulus meaningfulness and paired- associate transfer: An encoding variability hypothesis.(5), 421–441.

Memel, M., & Ryan, L. (2017). Visual integration enhances associative memory equally for young and older adults withoutreducing hippocampal encoding activation.195?206.

Memel, M., & Ryan, T. L. (2018). Visual integration of objects and scenes increases recollection-based responding despite differential MTL recruitment in young and older adults.(12), 886?899.

Murray, B. D., & Kensinger, E. A. (2012). The effects of emotion and encoding strategy on associative memory.(7), 1056–1069.

Parks, C. M., & Yonelinas, A. P. (2015). The importance of unitization for familiarity-based learning.(3), 881?903.

Pilgrim, L. K., Murray, J. G., & Donaldson, D. I. (2012). Characterizing episodic memory retrieval: Electrophysiological evidence for diminished familiarity following unitization.(8), 1671?1681.

Quamme, J. R., Yonelinas, A. P., & Norman, K. A. (2007). Effect of unitization on associative recognition in amnesia.(3), 192?200.

Rhodes, S. M., & Donaldson, D. I. (2008). Electrophysiological evidence for the effect of interactive imagery on episodic memory: Encouraging familiarity for non-unitized stimuli during associative recognition.(2), 873?884.

Robey, A., & Riggins, T. (2017). Increasing relational memory in childhood with unitization strategies.(1), 100?111.

Shao, H., & Weng, X. (2011, November). Unitization benefits associative recognition whereas impairs item recognition. In(pp. 314?317). IEEE.

Sommer, K., Vita, S., & de Pascalis, V. (2018). The late posterior negativity in episodic memory: A correlate of stimulus retrieval?,, 44?53.

Su, M., Wang, J., Maurer, U., Zhang, Y., Li, J., McBride, C., ... Shu, H. (2015). Gene-environment interaction on neural mechanisms of orthographic processing in Chinese children.,, 172?186.

Tibon, R., Gronau, N., & Levy, D. A. (2017). Associative unitization via semantic relatedness benefits episodic recognition of component elements.https://osf.io/preprints/ psyarxiv/cjxse/

Tulving, E. (1972). Episodic and semantic memory. In E. Tulving & W. Donaldson (Eds.),(pp. 381?403). New York, Academic Press.

Wiegand, I., Bader, R., & Mecklinger, A. (2010). Multiple ways to the prior occurrence of an event: An electrophysiological dissociation of experimental and conceptually driven familiarity in recognition memory.,, 106?118.

Zheng, Z. W., Li, J., & Xiao, F. Q. (2015). Familiarity contributes to associative memory: The role of unitization.(2), 202?212.

[鄭志偉, 李娟, 肖鳳秋. (2015). 熟悉性能夠支持聯(lián)結(jié)記憶: 一體化編碼的作用.(2), 202–212.]

Zheng, Z., Li, J., Xiao, F., Broster, L. S., Jiang, Y., & Xi, M. (2015). The effects of unitization on the contribution of familiarity and recollection processes to associative recognition memory: Evidence from event-related potentials.(3), 355–362.

Zheng, Z., Li, J., Xiao, F., Ren, W., & He, R. (2016). Unitization improves source memory in older adults: An event-related potential study., 232?244.

The relationship between associative encoding and item encoding in the multiple-component character unitization and compound word unitization

ZHAO Chunyu, GUO Chunyan

(Beijing Key Lab of Learning and Cognition, College of Psychology, Capital Normal University, Beijing 100048, China)

Unitization refers to the manipulation that can integrate two or more items into a single entirety. Previous studies found that unitization facilitated associative memory, however, the effect of unitization on item memory was controversial. Some researchers argued that unitization promoted associative recognition at the cost of item recognition (the view of “benefits and cost”), others held that unitization could promote associative recognition without impairing item recognition (the view of “benefits-only”). These two views seemed to be arguing the impact of unitization on item memory, but in fact, they were discussing the relationship between associative encoding and item encoding during unitization.

The present study intended to explore the relationship between associative encoding and item encoding in the process of unitization through two experiments, by examining the effects of words unitization and characters unitization on associative memory and item memory as well as the differences of neural mechanisms between the two unitization strategies. In experiment 1, we used associative recognition paradigm to explore the unitization effects on associative memory. In the study phase, participants were asked to judge whether the character pairs could form to a multiple-component character (characters unitization) or a compound word (words unitization) or couldn’t (non-unitization). In the test phase, participants were asked to judge whether the character pairs were old or rearranged. In experiment 2, the item recognition paradigm was used. The procedure of the study phase was the same as in Experiment 1. In the test phase, participants were asked to judge whether the characters were old or new. In addition, the EEG signals were recorded during the task to explore the neural mechanism during memory encoding.

The behavioral results showed that: i) the encoding process of characters unitization was more difficult and had longer response time compared to words unitization; ii) the performances of associative recognition was significantly higher for the words and characters unitization conditions than the non-unitization condition, and their performances of item recognition was not decreased; iii) the performances of associative recognition and item recognition was significantly higher for the characters unitization condition than words unitization condition. The EEG results showed that: iv) the LNC during words unitization encoding was mainly distributed in the frontal area and occurred earlier than characters unitization encoding, while the LNC during characters unitization encoding was mainly located in the occipital area and occurs later than words unitization encoding; v) the desynchronization of neural oscillation within α/β band was stronger for characters unitization condition compared to words unitization condition, and the desynchronization of neural oscillation within α/β band during encoding was significantly correlated with the hit of item recognition during retrieval.

These results indicate from the perspectives of memory encoding and retrieval that the manipulation of unitization does not damage the processing of items while strengthening the processing of associative information, supporting the view of “benefits-only”. This research has deepened our understanding that the brain processes multiple-component Chinese characters and compound words, and also provided a reference for the arrangement of Chinese learning materials from the perspective of empirical evidence.

item encoding, associative encoding, multiple-component characters, compound words, item memory, associative memory

2022-07-04

* 國家自然科學基金資助項目(31671127)。

郭春彥, E-mail: guocy@cnu.edu.cn

B842