內(nèi)外源性空間注意對多感覺整合的影響*

唐曉雨 佟佳庚 于 宏 王愛君

內(nèi)外源性空間注意對多感覺整合的影響

唐曉雨佟佳庚于 宏王愛君

(遼寧師范大學(xué)心理學(xué)院; 遼寧省兒童青少年健康人格評定與培養(yǎng)協(xié)同創(chuàng)新中心, 大連 116029) (蘇州大學(xué) 心理學(xué)系, 心理與行為科學(xué)研究中心, 蘇州 215123)

本文采用內(nèi)?外源性空間線索靶子范式, 操控內(nèi)源性線索有效性(有效線索、無效線索)、外源性線索有效性(有效線索、無效線索)、目標(biāo)刺激類型(視覺刺激、聽覺刺激、視聽覺刺激)三個自變量。通過兩個不同任務(wù)難度的實(shí)驗(yàn)(實(shí)驗(yàn)1: 簡單定位任務(wù); 實(shí)驗(yàn)2: 復(fù)雜辨別任務(wù))來考察內(nèi)外源性空間注意對多感覺整合的影響。兩個實(shí)驗(yàn)結(jié)果均發(fā)現(xiàn)外源性空間注意顯著減弱了多感覺整合效應(yīng), 內(nèi)源性空間注意沒有顯著增強(qiáng)多感覺整合效應(yīng); 實(shí)驗(yàn)2中還發(fā)現(xiàn)了內(nèi)源性空間注意會對外源性空間注意減弱多感覺整合效應(yīng)產(chǎn)生影響。結(jié)果表明, 與內(nèi)源性空間注意不同, 外源性空間注意對多感覺整合的影響不易受任務(wù)難度的調(diào)控; 當(dāng)任務(wù)較難時內(nèi)源性空間注意會影響外源性空間注意減弱多感覺整合效應(yīng)的過程。由此推測, 內(nèi)外源性空間注意對多感覺整合的調(diào)節(jié)并非彼此獨(dú)立、而是相互影響的。

內(nèi)源性空間注意, 外源性空間注意, 多感覺整合, 內(nèi)?外源性空間線索靶子范式, 任務(wù)難度

1 前言

在日常生活中, 我們每天都會接收大量來自視覺、聽覺、觸覺等不同感覺通道的刺激, 這些刺激彼此之間會相互影響。多感覺整合(Multisensory Integration, MSI)的過程就是將來自不同通道的刺激信息整合為一個統(tǒng)一的、連貫的和有意義的感知覺刺激(Talsma et al., 2010; Tang et al., 2016)。研究發(fā)現(xiàn)多感覺通道刺激比單通道刺激更容易吸引注意(Lunn et al., 2019)。注意是過濾掉無關(guān)信息, 使得與任務(wù)有關(guān)的信息優(yōu)先進(jìn)入到高級處理的選擇機(jī)制(Meyer et al., 2018)。Posner (1980)將空間注意分為內(nèi)源性空間注意(endogenous spatial attention)和外源性空間注意(exogenous spatial attention)。其中, 內(nèi)源性空間注意通常利用指向性線索為即將出現(xiàn)的目標(biāo)提供空間位置信息, 是自上而下、由目標(biāo)驅(qū)動、受主觀意愿控制的注意。而外源性空間注意通常是由短暫并且明顯的線索引起的, 是一種自下而上、由刺激驅(qū)動、可以自動捕獲注意(Hopfinger & West, 2006; Peelen et al., 2004)。

前人就內(nèi)源性空間注意對多感覺整合的影響進(jìn)行了研究。其中一類研究是利用指導(dǎo)語, 引導(dǎo)被試將注意集中在一個或者多個空間位置, 即要求被試僅對注意位置的靶刺激進(jìn)行反應(yīng), 而對非注意位置的靶刺激不反應(yīng)。以Talsma等(2005)研究為例, 他們發(fā)現(xiàn)在中央?yún)^(qū)電極上, 注意位置的多感覺整合效應(yīng)要顯著大于非注意位置。另一類研究采用內(nèi)源性線索?靶子范式(cue-target paradigm), 唐曉雨和吳英楠等(2020)利用箭頭作為內(nèi)源性線索, 該線索對隨后出現(xiàn)在注視點(diǎn)兩側(cè)目標(biāo)刺激的空間位置有80%的預(yù)測作用, 例如當(dāng)內(nèi)源性線索的箭頭指向左側(cè)時, 隨后出現(xiàn)的目標(biāo)刺激有80%的可能性出現(xiàn)在左側(cè); 被試對有效線索(valid cue:目標(biāo)出現(xiàn)的位置與線索指向的位置一致)和無效線索(invalid cue:目標(biāo)出現(xiàn)的位置與線索指向的位置不一致)兩個位置的刺激均進(jìn)行按鍵反應(yīng)。結(jié)果發(fā)現(xiàn), 有效線索位置的多感覺整合效應(yīng)顯著大于無效線索位置的多感覺整合效應(yīng)(唐曉雨, 吳英楠等, 2020)。盡管上述兩類研究采用了不同的空間注意誘導(dǎo)方式, 但得到的結(jié)果一致：內(nèi)源性空間注意會增強(qiáng)注意位置的多感覺整合效應(yīng)。

然而, 關(guān)于外源性空間注意對多感覺整合影響的研究卻發(fā)現(xiàn)：外源性空間注意會減弱多感覺整合效應(yīng)(van der Stoep et al., 2015; van der Stoep et al., 2016)。van der Stoep等(2015)首次采用經(jīng)典的外源性線索?靶子范式, 把CTOA (cue target onset asynchronies)即線索與目標(biāo)之間的時間間隔設(shè)定為200～250 ms, 來研究外源性空間注意對多感覺整合的影響。結(jié)果發(fā)現(xiàn)有效線索條件下的多感覺整合效應(yīng)要小于無效線索條件, 說明外源性空間注意減弱了線索位置的多感覺整合效應(yīng)。在他們隨后的研究中(van der Stoep et al., 2016), 把聽覺線索調(diào)整為視覺線索的同時將CTOA延長至350～450 ms之間, 仍然發(fā)現(xiàn)有效線索條件下的多感覺整合顯著小于無效線索條件。說明在兩種不同的CTOA情況下, 外源性空間注意均減弱了注意位置的多感覺整合效應(yīng)。

以往研究分別探討了內(nèi)源性空間注意和外源性空間注意對多感覺整合的影響, 發(fā)現(xiàn)內(nèi)源性空間注意會增強(qiáng)多感覺整合(Senkowski et al., 2005; Fairhall & Macaluso, 2010; Talsma et al., 2007; Talsma & Woldorff, 2005); 而外源性空間注意會減弱多感覺整合(van der Stoep et al., 2015; van der Stoep et al., 2016)。那么采用內(nèi)?外源性空間線索靶子范式, 相繼呈現(xiàn)內(nèi)外源性線索在同一范式中同時誘發(fā)內(nèi)外源性空間注意時, 是否仍然能夠得到內(nèi)源性(外源性)空間注意增強(qiáng)(減弱)多感覺整合效應(yīng)的結(jié)果呢？可能的結(jié)果有兩類：

(1)在內(nèi)源性線索后引入的外源性線索誘發(fā)外源性空間注意減弱多感覺整合效應(yīng), 但外源性空間注意并不會影響內(nèi)源性空間注意增強(qiáng)多感覺整合效應(yīng), 內(nèi)源性空間注意增強(qiáng)多感覺整合效應(yīng)的結(jié)果仍然與前人一致沒有任何改變。即, 內(nèi)源性空間注意和外源性空間注意影響多感覺整合的過程是彼此獨(dú)立的。這與先前研究提出的兩種空間注意在性質(zhì)是存在很大差異的結(jié)果是相符合的(Ana et al., 2013; Kosslyn et al., 2001), 比如：內(nèi)源性空間注意比外源性空間注意更容易受到干擾刺激的影響(Yantis & Jonides, 1990); 外源性空間注意的線索化效應(yīng)維持的時間要短于內(nèi)源性空間注意(Busse et al., 2008)等。(2)外源性線索誘發(fā)的外源性空間注意減弱多感覺整合效應(yīng), 會影響內(nèi)源性空間注意增強(qiáng)多感覺整合效應(yīng), 使內(nèi)源性空間注意增強(qiáng)多感覺整合效應(yīng)的程度會減弱甚至消失, 反之則亦然。也就是說, 內(nèi)源性空間注意和外源性空間注意影響多感覺整合的過程是彼此聯(lián)系的。從兩種空間注意的關(guān)系來看也是支持空間注意是相互聯(lián)系的(Grubb et al., 2015; Peelen et al., 2004)。Posner (1980)提出內(nèi)外源性空間注意是屬于同一個注意系統(tǒng)的兩種不同方式; fMRI (functional magnetic resonance imaging)的研究也發(fā)現(xiàn)內(nèi)外源性空間注意均會激活額?頂網(wǎng)絡(luò)(fronto-parietal network) (Peelen et al., 2004)。然而, Berger等(2005)提出內(nèi)外源性空間注意的相互聯(lián)系也受實(shí)驗(yàn)任務(wù)難度的制約。在簡單任務(wù)條件中, 例如：辨別P和*兩個刺激中目標(biāo)P的空間位置, 外源性空間注意的線索化效應(yīng)沒有對內(nèi)源性空間注意的線索化效應(yīng)產(chǎn)生影響; 而在復(fù)雜任務(wù)中, 例如：辨別Q和O兩個刺激中目標(biāo)Q的空間位置, 外源性空間注意的線索化效應(yīng)對內(nèi)源性空間注意的線索化效應(yīng)產(chǎn)生影響?；谏鲜鲅芯客茰y內(nèi)源性空間注意和外源性空間注意調(diào)節(jié)多感覺整合效應(yīng)的過程并非獨(dú)立而是相互影響的, 但可能受到任務(wù)難度的影響。

本文通過把內(nèi)外源線索整合到同一個空間線索化范式來驗(yàn)證內(nèi)外源性空間注意如何調(diào)節(jié)多感覺整合的兩種假設(shè)。在Berger等(2005)的線索化范式的基礎(chǔ)上, 操控內(nèi)源性線索有效性(有效線索、無效線索)、外源性線索有效性(有效線索、無效線索)和目標(biāo)刺激類型(視覺刺激、聽覺刺激、視聽覺刺激)三個自變量, 通過兩個實(shí)驗(yàn)來考察內(nèi)外源性空間注意對多感覺整合的影響。其中, 實(shí)驗(yàn)1為簡單定位任務(wù), 而實(shí)驗(yàn)2為復(fù)雜的辨別任務(wù), 以考察內(nèi)外源性空間注意對多感覺整合的影響。

2 實(shí)驗(yàn)1：簡單定位任務(wù)

2.1 研究方法

2.1.1 被試

一方面, 基于先前關(guān)于內(nèi)外源性空間注意研究中所用到的樣本量(Berger et al., 2005; Hopfinger & West, 2006); 另一方面, 采用軟件GPower_3.1.7對實(shí)驗(yàn)計劃樣本量進(jìn)行估算, 基于相關(guān)研究中報告的效果量以及期望的功效值(0.8)計算樣本量。最終實(shí)驗(yàn)的計劃樣本量為16～36人, 37名遼寧師范大學(xué)在校學(xué)生(7名男生, 30名女生)參與到實(shí)驗(yàn)1中, 年齡為18～26歲, 平均年齡為21.3 ± 2.4歲。所有被試均為右利手, 聽力正常, 視力或矯正視力正常, 沒有嚴(yán)重疾病歷史記錄。在實(shí)驗(yàn)結(jié)束后, 會給予被試一定的報酬。

2.1.2 實(shí)驗(yàn)儀器和材料

實(shí)驗(yàn)程序由軟件E-Prime 1.1編制, 在AOC液晶顯示器呈現(xiàn)視覺刺激, 顯示器型號為G2770PF (270LM00009), 顯示器的分辨率為1024×768, 背景顏色為黑色, 刷新率60 Hz, 被試端坐在距離顯示器屏幕中心位置60 cm處。注視屏：注視點(diǎn)是由白色(RGB: 255, 255, 255) “+”號組成的(視角0.05° × 0.05°), 呈現(xiàn)時間為600～800 ms; 在中央注視點(diǎn)左/右兩個水平方向出現(xiàn)白色正方形方框(4°×4°, 距離中央注視點(diǎn)12°)。刺激屏：包括視覺刺激、聽覺刺激、視聽覺刺激三種。其中, 視覺刺激是隨機(jī)出現(xiàn)在水平方向的白色正方形框內(nèi)的五角星號(2°×2°, 距離中央注視點(diǎn)12°), 呈現(xiàn)時間為100 ms; 使用SoundEngine Free軟件制作聽覺刺激(頻率為1600 Hz的純音, 響度為65 dB, 時間為100 ms)。視聽覺刺激是由兩個單通道的視覺和聽覺刺激同時呈現(xiàn)在屏幕的左/右側(cè), 呈現(xiàn)時間為100 ms (于宏, 2019)。

2.1.3 實(shí)驗(yàn)設(shè)計與實(shí)驗(yàn)程序

實(shí)驗(yàn)中使用2 (內(nèi)源性線索有效性：有效線索、無效線索) × 2 (外源性線索有效性：有效線索、無效線索) × 3 (目標(biāo)刺激類型：視覺刺激、聽覺刺激、視聽覺刺激)的被試內(nèi)設(shè)計。包括練習(xí)和正式實(shí)驗(yàn), 練習(xí)實(shí)驗(yàn)包括24個試次。正式實(shí)驗(yàn)包括10組, 每組120個試次。整個實(shí)驗(yàn)1200個試次, 大約進(jìn)行45分鐘左右。

實(shí)驗(yàn)1的試次流程如圖1(b)所示：首先, 注視點(diǎn)“+”會出現(xiàn)在屏幕中間, 呈現(xiàn)時間為600～800 ms。與此同時, 兩個白色正方形方框會出現(xiàn)在屏幕的左右兩側(cè)。隨后在屏幕的中間位置會出現(xiàn)內(nèi)源性空間線索“<<”或“>>”, 呈現(xiàn)時間為200 ms, 線索對接下來目標(biāo)刺激位置的預(yù)測性是80%, 即接下來的目標(biāo)刺激是有80%的可能出現(xiàn)在內(nèi)源空間線索指向的位置。在300 ms的空屏之后, 加粗加亮的外源性空間線索出現(xiàn)在左/右兩個水平方向的方框的外圍并且對目標(biāo)刺激的位置沒有預(yù)測作用, 呈現(xiàn)時間為200 ms。在間隔150 ms之后, 呈現(xiàn)目標(biāo)刺激屏, 目標(biāo)呈現(xiàn)時間為100 ms。被試的實(shí)驗(yàn)任務(wù)就是既快又準(zhǔn)地判斷目標(biāo)刺激的空間位置。當(dāng)以上三種類型的目標(biāo)刺激出現(xiàn)在屏幕左側(cè)時, 按鍵盤的“F”鍵; 當(dāng)三種類型的目標(biāo)刺激出現(xiàn)在屏幕右側(cè)時, 按鍵盤的“J”鍵, 被試在1000 ms內(nèi)做出按鍵反應(yīng)。如果被試在1000 ms內(nèi)沒有做出反應(yīng), 則會進(jìn)入下一個試次。120個試次之后, 反饋本組實(shí)驗(yàn)結(jié)果, 即會顯示這一組中正確的個數(shù)。在適當(dāng)?shù)男菹⒅? 被試按“B”鍵進(jìn)行下一組實(shí)驗(yàn)(于宏, 2019)。

2.1.4 數(shù)據(jù)分析

用于剔除數(shù)據(jù)的標(biāo)準(zhǔn)：(1)在不同的實(shí)驗(yàn)條件下被試的正確率均要高于80%。此階段剔除1名被試。(2)沒有在規(guī)定時間內(nèi)做出按鍵反應(yīng)、錯誤反應(yīng)和反應(yīng)時間小于100 ms或者大于1000 ms的數(shù)據(jù)剔除。最終刪除的數(shù)據(jù)量占總數(shù)據(jù)的2.44%。接下來對數(shù)據(jù)做進(jìn)一步分析。首先, 每種條件下反應(yīng)時的分析使用的是該條件的中位數(shù)(median)。其次, 比較每種條件下的相對多感覺反應(yīng)增強(qiáng)量(relative amount of multisensory response enhancement, rMRE), 如公式(a)所見, rMRE反映的是多感覺通道刺激(視聽覺刺激)與單通道目標(biāo)刺激中(視覺刺激、聽覺刺激)反應(yīng)較快的刺激相比, 多感覺通道刺激反應(yīng)時的增加量和減少量, 表明多感覺反應(yīng)增強(qiáng)效應(yīng)(彭姓等, 2019)。

圖1 實(shí)驗(yàn)1流程示意圖

注: 圖1(a)為目標(biāo)刺激呈現(xiàn)位置的示意圖, 圖1(b)為單個試次的流程圖。右圖中內(nèi)源性空間線索對接下來的目標(biāo)刺激的空間位置有80%的預(yù)測性, 而外源性空間線索對目標(biāo)刺激位置沒有預(yù)測性。目標(biāo)刺激(V/A/AV)分別表示視覺刺激, 聽覺刺激和視聽覺刺激。

另一種測量多感覺整合的統(tǒng)計指標(biāo)為對競爭模型的違反(race model inequality, RMI)。這種計算方法是Miller (1982)提出的。其原理是多感覺通道刺激(視聽覺刺激)的反應(yīng)時要快于任一單通道刺激(視覺刺激、聽覺刺激)反應(yīng)時, 可能的原因是被試對多感覺通道刺激(視聽覺刺激)中先達(dá)到感覺閾限的單通道刺激(視覺刺激、聽覺刺激)進(jìn)行反應(yīng)。這種現(xiàn)象就被稱為“統(tǒng)計促進(jìn)(statistical facilitation)”。以多感覺通道刺激(視聽覺刺激)中反應(yīng)較快的單通道刺激(視覺刺激、聽覺刺激)形成的概率累計分布函數(shù)(Cumulative distribution function, CDF)曲線為“race model”。當(dāng)多感覺通道刺激形成的概率累計分布函數(shù)顯著大于“race model”這條理論曲線, 說明多感覺通道刺激發(fā)生了整合現(xiàn)象(Meyer et al., 2018; Miller, 1982)。而多感覺通道刺激形成的概率累計分布函數(shù)顯著小于“race model”的理論曲線, 則說明在該時間段發(fā)生了多感覺抑制過程。其計算方法如公式(b)所示(van der Stoep et al., 2015)。

其中,(RT<)代表的是聽覺刺激在給定的時間范圍內(nèi)做出反應(yīng)的概率; 同理,(<)代表的是視覺刺激在給定的時間范圍內(nèi)反應(yīng)的概率。通過公式(b)計算出race model的概率累計分布函數(shù)曲線。在給定的時間范圍內(nèi), 與實(shí)際的多感覺通道的概率累計分布函數(shù)曲線進(jìn)行比較。當(dāng)實(shí)際多感覺通道的概率累計分布曲線顯著地大于race model的累計曲線, 就可以說明發(fā)生了多感覺整合現(xiàn)象。

2.2 實(shí)驗(yàn)結(jié)果與分析

2.2.1 正確率

對正確率進(jìn)行2 (內(nèi)源性線索有效性：有效線索、無效線索) × 2 (外源性線索有效性：有效線索、無效線索) × 3 (目標(biāo)刺激類型：視覺刺激、聽覺刺激、視聽覺刺激)的重復(fù)測量方差分析。正確率的結(jié)果如表1所示。目標(biāo)刺激類型的主效應(yīng)顯著,(2, 70) = 46.21,? 0.001, η= 0.569。視聽覺刺激的正確率(98.6%)高于視覺刺激的正確率(97.5%)和聽覺刺激的正確率(95.8%)。內(nèi)源性線索有效性主效應(yīng)顯著,(1, 35) = 17.53,0.001, η= 0.334, 有效線索位置目標(biāo)反應(yīng)的正確率(97.8%)比無效線索位置目標(biāo)反應(yīng)的正確率(96.8%)高。外源性線索有效性主效應(yīng)顯著,(1, 35) = 86.88,? 0.001, η= 0.713, 有效線索位置目標(biāo)反應(yīng)的正確率(98.8%)比無效線索位置目標(biāo)反應(yīng)的正確率(95.8%)高。三因素的交互作用顯著,(2, 70) = 3.80,= 0.027, η= 0.098。簡單效應(yīng)分析表明, 在內(nèi)源性線索和外源性線索有效的條件下, 視聽覺目標(biāo)的正確率(99.36%)顯著高于視覺目標(biāo)的正確率(98.75%,= 0.013), 視聽覺目標(biāo)的正確率(99.36%)與聽覺目標(biāo)的正確率差異不顯著(98.97%,= 0.086), 視覺目標(biāo)的正確率(98.75%)與聽覺目標(biāo)的正確率差異也不顯著(98.97%,= 0.900)。在內(nèi)源性線索有效而外源性線索無效的條件下, 視聽覺目標(biāo)的正確率(98.27%)顯著高于聽覺目標(biāo)的正確率(97.19%,= 0.006), 聽覺目標(biāo)的正確率(97.19%)顯著高于視覺目標(biāo)的正確率(94.33%,= 0.006)。在內(nèi)源性線索無效而外源性線索有效的條件下, 視聽覺目標(biāo)的正確率(99.41%)顯著高于聽覺目標(biāo)的正確率(98.53%,= 0.003), 聽覺目標(biāo)的正確率(98.53%)顯著高于視覺目標(biāo)的正確率(98.02%,= 0.004)。在內(nèi)源性線索和外源性線索無效的條件下, 視聽覺目標(biāo)的正確率(97.33%)顯著高于視覺目標(biāo)的正確率(96.17%,= 0.006), 視覺目標(biāo)的正確率(96.17%)顯著高于聽覺目標(biāo)的正確率(91.28%,= 0.007)。

表1 實(shí)驗(yàn)1不同條件下的反應(yīng)時(RT/ms)和正確率(ACC/%) (M ± SD)

注：ACC代表正確率(Accuracy, %), RT代表反應(yīng)時(Reaction time, ms)。

2.2.2 反應(yīng)時

對反應(yīng)時進(jìn)行2 (內(nèi)源性線索有效性：有效線索、無效線索) × 2 (外源性線索有效性：有效線索、無效線索) × 3 (目標(biāo)刺激類型：視覺刺激、聽覺刺激、視聽覺刺激)的重復(fù)測量方差分析。

結(jié)果如表1所示。內(nèi)源性線索的主效應(yīng)顯著,(1, 35) = 20.27,< 0.001, η= 0.376, 即內(nèi)源有效線索的反應(yīng)時(380.11 ms) 要顯著快于無效線索的反應(yīng)時(391.35 ms), 說明內(nèi)源性線索加快了目標(biāo)刺激的反應(yīng); 外源性線索的主效應(yīng)顯著,(1, 35) = 77.30,< 0.001, η= 0.688, 即外源性有效線索的反應(yīng)時(366.63 ms)要顯著快于無效線索的反應(yīng)時(404.84 ms), 說明外源性線索加快了目標(biāo)刺激的反應(yīng); 目標(biāo)刺激通道的主效應(yīng)顯著,(2, 59) = 60.26,< 0.001, η= 0.633, 視聽覺目標(biāo)的反應(yīng)時(349.08 ms)顯著快于視覺目標(biāo)反應(yīng)時(404.15 ms)和聽覺目標(biāo)反應(yīng)時(403.97 ms), 出現(xiàn)雙通道加工優(yōu)勢。內(nèi)外源性線索交互作用不顯著,(1, 35) = 0.25,= 0.621, 說明內(nèi)外源性線索對反應(yīng)時的影響是相互獨(dú)立的。三因素的交互作用不顯著,(2, 70) = 1.58,= 0.214。

2.2.3 相對多感覺反應(yīng)增強(qiáng)(rMRE)

如圖2(a)所示, 當(dāng)反應(yīng)時為中位數(shù)時, 不同線索條件下rMRE的結(jié)果。首先對不同條件下的rMRE進(jìn)行單樣本檢驗(yàn)(與0進(jìn)行比較), 結(jié)果顯示在內(nèi)源性線索有效和外源性線索有效條件下的rMRE顯著大于0,(35) = 13.64,< 0.001; 內(nèi)源性線索有效而外源性線索無效條件下的rMRE顯著大于0,(35) = 12.57,< 0.001; 內(nèi)源性線索無效而外源性線索有效條件下的rMRE顯著大于0,(35) = 13.88,< 0.001; 內(nèi)源性和外源性兩種線索均為無效條件下的rMRE顯著大于0,(35) = 12.96,< 0.001。隨后對rMRE的結(jié)果進(jìn)行2 (內(nèi)源性線索有效性：有效線索、無效線索) × 2 (外源性線索有效性：有效線索、無效線索)的重復(fù)測量方差分析。其中, 內(nèi)源性線索的主效應(yīng)不顯著,(1, 35) = 0.73,= 0.400。外源性線索的主效應(yīng)顯著,(1, 35) = 5.16,= 0.029, η= 0.119, 外源無效線索的rMRE (= 10.21%,= 4.8%)顯著大于外源有效線索的rMRE (= 7.28%,= 3.2%,< 0.01), 說明外源性空間注意減弱了多感覺整合效應(yīng)。內(nèi)源性線索和外源性線索的交互作用邊緣顯著,(1, 35) = 3.00,= 0.094, η= 0.078, 說明內(nèi)外源性線索對多感覺整合的影響是存在相互作用的可能性。

如圖2(b)所示, 當(dāng)反應(yīng)時為平均數(shù)時, 不同線索條件下rMRE的結(jié)果。首先對不同條件下的rMRE進(jìn)行單樣本檢驗(yàn)(與0進(jìn)行比較), 結(jié)果顯示在內(nèi)源性線索有效和外源性線索有效條件下的rMRE顯著大于0,(35) = 12.53,< 0.001; 內(nèi)源性線索有效而外源性線索無效條件下的rMRE顯著大于0,(35) = 12.84,< 0.001; 內(nèi)源性線索無效而外源性線索有效條件下的rMRE顯著大于0,(35) =10.46,< 0.001; 內(nèi)源性和外源性兩種線索均為無效條件下的rMRE顯著大于0,(35) = 11.83,< 0.001。隨后對rMRE的結(jié)果進(jìn)行2 (內(nèi)源性線索有效性：有效線索、無效線索) × 2 (外源性線索有效性：有效線索、無效線索)的重復(fù)測量方差分析。其中, 內(nèi)源性線索的主效應(yīng)不顯著,(1, 35) = 0.02,= 0.881。外源性線索的主效應(yīng)顯著,(1, 35) = 6.76,= 0.014, η= 0.162, 在有效內(nèi)源性條件, 外源無效線索的rMRE (= 11.19%,= 5.2%)顯著大于外源有效線索的rMRE (= 8.04%,= 3.8%,< 0.01), 說明外源性空間注意減弱了多感覺整合效應(yīng)。內(nèi)源性線索和外源性線索的交互作用不顯著,(1, 35) = 2.25,= 0.142。

圖2 (a)是反應(yīng)時為中位數(shù)時, 不同線索條件下rMRE結(jié)果; (b)是反應(yīng)時為平均數(shù)時, 不同線索條件下rMRE的結(jié)果。

注：rMRE (相對多感覺反應(yīng)增強(qiáng); relative amount of multisensory response enhancement); **< 0.01。

2.2.4 競爭模型分析(race model)

首先, 在0～1000 ms的反應(yīng)時間范圍內(nèi), 計算出以10 ms周期不同線索條件下的概率值：視覺(RT< t)、聽覺(RT< t)、視聽覺(RT< t)。實(shí)驗(yàn)1中內(nèi)源性線索實(shí)際AV累計概率(CP)和競爭模型累計分布概率(CP)如圖3(a)所示。其次, 將不同內(nèi)源性線索條件下實(shí)際AV的累計概率(CP)與競爭模型累計分布概率(CP)的累計差異概率值相減, 在每10 ms上進(jìn)行單樣本檢驗(yàn)(與0進(jìn)行比較)。結(jié)果如圖3(a)所示, 在內(nèi)源性有效線索上顯著違反競爭模型(顯著大于0)的時間窗口為270～380 ms,s (38) > 2.12,s ≤ 0.041, 峰值在330 ms, 為4.8%; 而內(nèi)源性無效線索上顯著違反競爭模型的時間窗口為280～410 ms,s (38) > 2.18,s ≤ 0.035, 峰值在360 ms, 為5.7%。即內(nèi)源性線索在有效和無效兩種條件下的整合窗口, 發(fā)生的時間和峰值相似。說明內(nèi)源性空間注意在有效線索和無效線索兩種條件下的多感覺整合沒有差異。

實(shí)驗(yàn)1中外源性線索實(shí)際AV累計概率(CP)和競爭模型累計分布概率(CP)如圖4(a)所示。如圖4(b)所示, 在外源性有效線索位置上并沒有顯著違反競爭模型的時間窗口; 而在外源性無效線索位置上, 顯著違反競爭模型的時間窗240～510 ms,s (38) > 2.06,s ≤ 0.047, 峰值在370 ms, 為8.7%。即與外源性有效線索位置相比, 外源性無效線索位置的整合窗口要更大, 發(fā)生的時間更早且峰值要更高, 說明外源無效線索條件下的多感覺整合效應(yīng)要強(qiáng)于外源有效線索條件下的多感覺整合。

2.3 討論

實(shí)驗(yàn)1目的是考察在簡單任務(wù)下, 內(nèi)外源性空間注意對多感覺整合的影響。結(jié)果發(fā)現(xiàn)對有效線索的目標(biāo)反應(yīng)時要快于無效線索, 說明內(nèi)源性和外源性兩種線索均產(chǎn)生了顯著的“易化效應(yīng)” (Chica et al., 2014)。具有預(yù)測性的內(nèi)源性線索和凸顯性的外源性線索均加快了對目標(biāo)刺激的反應(yīng), 表明實(shí)驗(yàn)設(shè)置的線索成功誘發(fā)了內(nèi)源性和外源性空間注意。其次, 視聽覺刺激的反應(yīng)時顯著快于視覺刺激和聽覺刺激的反應(yīng)時, 并且在4種線索條件下rMRE的值都顯著大于0, 即產(chǎn)生了多感覺整合效應(yīng)(Lunn et al., 2019)。

圖3 (a)是實(shí)驗(yàn)1內(nèi)源性線索的累計概率分布; (b)是實(shí)驗(yàn)1內(nèi)源性線索race model結(jié)果

注：粗線表示視聽覺刺激發(fā)生顯著整合的時間窗口。虛線表示有效線索, 實(shí)線表示無效線索。*代表峰值(最大概率值)出現(xiàn)的時間。

圖4 (a)是實(shí)驗(yàn)1外源性線索的累計概率分布; (b)是實(shí)驗(yàn)1外源性線索race model結(jié)果

注：粗線表示視聽覺刺激發(fā)生顯著整合的時間窗口。虛線表示有效線索, 實(shí)線表示無效線索。*代表峰值(最大概率值)出現(xiàn)的時間。

同時, 實(shí)驗(yàn)1結(jié)果發(fā)現(xiàn)(圖3b), 外源有效線索條件下的多感覺整合效應(yīng)明顯要比外源無效線索條件下的多感覺整合效應(yīng)小, 即外源性空間注意減弱了多感覺整合效應(yīng)。一方面, 可以使用“空間不確定假說”進(jìn)行解釋, 即由于外源性線索對目標(biāo)刺激的位置沒有預(yù)測性, 所以被試會更多的依賴外源性線索的空間定位。外源有效線索和視聽覺目標(biāo)共同引起的空間定向是冗余的, 所以在有效線索位置上的視聽覺目標(biāo)所引起的多感覺整合程度下降。因此也就減弱了有效線索位置多感覺整合效應(yīng)(van der Stoep et al., 2015; van der Stoep et al., 2016; 彭姓等, 2019)。另一方面, 也可以使用“感知覺敏感度假說”進(jìn)行解釋。根據(jù)多感覺整合的反比效應(yīng)(inverse effectiveness), 即當(dāng)多感覺刺激的強(qiáng)度越強(qiáng)時, 對多感覺刺激的整合效果越弱(Senkowski et al., 2011)。由于外源性線索可以自動吸引被試的注意, 所以在有效線索上的多感覺刺激的感知性要強(qiáng)于無效線索。根據(jù)反比效應(yīng), 有效線索的多感覺整合效應(yīng)越弱(彭姓等, 2019; 唐曉雨, 孫佳影, 彭姓, 2020)。

然而, 實(shí)驗(yàn)1沒有發(fā)現(xiàn)內(nèi)源性空間注意增強(qiáng)多感覺整合效應(yīng)(圖3a), 這與以往研究的結(jié)果是不一致的(Talsma & Woldorff, 2005; 唐曉雨, 吳英楠等, 2020)。原因可能有以下兩點(diǎn)：一是實(shí)驗(yàn)范式的原因。唐曉雨和吳英楠等(2020)通過使用內(nèi)源性線索?靶子范式, 發(fā)現(xiàn)了內(nèi)源性空間注意會顯著增強(qiáng)多感覺整合效應(yīng)。而本研究使用的是內(nèi)?外源性空間線索靶子范式, 即在內(nèi)源性線索出現(xiàn)后又出現(xiàn)了200 ms的外源性線索。由此線索引起的外源性空間注意會減弱多感覺整合效應(yīng), 以至于將內(nèi)源性空間注意增強(qiáng)多感覺整合效應(yīng)的過程消失, 因此外源性空間注意對內(nèi)源性空間注意調(diào)節(jié)多感覺整合加工的過程產(chǎn)生影響, 導(dǎo)致實(shí)驗(yàn)結(jié)果沒有發(fā)現(xiàn)內(nèi)源性空間注意顯著增強(qiáng)多感覺整合效應(yīng), 說明內(nèi)外源性空間注意對多感覺整合的影響并不是獨(dú)立的。二是內(nèi)源性線索的預(yù)測性不足。一方面, 根據(jù)Yantis等(1990)的研究結(jié)果, 只有內(nèi)源性線索的預(yù)測性在100%的條件下, 被試的注意才不會被外源性線索的吸引, 成功捕獲目標(biāo)。而在內(nèi)源性線索的預(yù)測有效性在其它條件下(預(yù)測有效性為75%和25%), 外源性線索均會干擾內(nèi)源性空間注意捕獲目標(biāo)刺激(Yantis & Jonides, 1990)。另一方面, 以往內(nèi)源性空間注意增強(qiáng)多感覺整合的研究中, 主試多利用指導(dǎo)語, 要求被試對注意位置出現(xiàn)的目標(biāo)刺激做反應(yīng), 而非注意位置的刺激不做反應(yīng)(Senkowski et al., 2005; Talsma & Woldorff, 2005)。這類實(shí)驗(yàn)任務(wù)中由指導(dǎo)語誘發(fā)的內(nèi)源性空間注意對出現(xiàn)在注意位置的目標(biāo)刺激預(yù)測性為100%。上述兩方面研究中, 內(nèi)源性線索的預(yù)測性是高于本研究內(nèi)源性線索的預(yù)測性, 這可能是導(dǎo)致本研究內(nèi)源性空間注意沒有顯著增加多感覺整合的原因之一。在唐曉雨和吳英楠等(2020)的研究發(fā)現(xiàn)當(dāng)內(nèi)源性線索的預(yù)測性為80%, 也發(fā)現(xiàn)了內(nèi)源性空間注意會增強(qiáng)多感覺整合效應(yīng)。說明只要內(nèi)源性線索的預(yù)測性維持在較高水平上, 在沒有插入外源性線索的情況下, 內(nèi)源性空間注意是可以增強(qiáng)多感覺整合的。綜上所述, 的確內(nèi)源性線索的預(yù)測性的降低會在一定程度上削弱內(nèi)源性空間注意對多感覺整合的影響, 但更關(guān)鍵的是突然出現(xiàn)的外源性線索, 該線索誘發(fā)的外源性空間注意減弱多感覺整合的加工過程, 才是在本研究中沒有發(fā)現(xiàn)內(nèi)源性空間注意增強(qiáng)多感覺整合的更主要原因。

總體來說, 在實(shí)驗(yàn)1中僅發(fā)現(xiàn)了外源性空間注意減弱多感覺整合, 而內(nèi)源性空間注意沒有顯著增強(qiáng)多感覺整合效應(yīng)是因?yàn)槭艿搅送庠葱钥臻g注意減弱多感覺整合的影響, 導(dǎo)致內(nèi)源性空間注意沒有參與到多感覺整合的過程中, 所以內(nèi)外源性空間注意對多感覺整合的交互作用不顯著。那么, 當(dāng)實(shí)驗(yàn)任務(wù)難度的提高時, 所需要的注意資源增加時, 被試會將更多的注意資源參與到實(shí)驗(yàn)中(Grundy et al., 2019; Washburn & Putney, 2001), 內(nèi)源性空間注意是否參與到多感覺整合效應(yīng)中并且兩種空間注意對多感覺整合的影響是否會發(fā)生變化？

3 實(shí)驗(yàn)2：復(fù)雜辨別任務(wù)

3.1 研究方法

3.1.1 被試

46名遼寧師范大學(xué)在校學(xué)生(11名男生, 35名女生)參與到實(shí)驗(yàn)2中, 年齡為18～25歲, 平均年齡為21.1 ± 1.9歲。所有被試均為右利手, 聽力正常, 視力或矯正視力正常, 沒有嚴(yán)重疾病歷史記錄。在實(shí)驗(yàn)結(jié)束后, 會給予被試一定的報酬。

3.1.2 實(shí)驗(yàn)儀器和材料

實(shí)驗(yàn)2與實(shí)驗(yàn)1的差異主要就是在目標(biāo)刺激屏。目標(biāo)刺激屏包括視覺刺激、聽覺刺激、視聽覺刺激三種。其中, 視覺刺激是隨機(jī)出現(xiàn)在水平方向的白色正方框內(nèi)的正方形棋盤格(3.2°×3.2°, 距離中央注視點(diǎn)12°, 棋盤格中央的方框分為黑色(RGB: 0, 0, 0)和灰色(RGB: 147, 149, 152), 呈現(xiàn)時間為200 ms; 聽覺刺激是采用SoundEngine Free軟件制作(高頻聲音為1400 Hz; 低頻聲音為714 Hz, 65 dB, 200 ms)。視聽覺刺激是由單通道視覺和聽覺刺激同時呈現(xiàn)200 ms, 并同時呈現(xiàn)在屏幕的左/右側(cè)。

3.1.3 實(shí)驗(yàn)設(shè)計與實(shí)驗(yàn)程序

在實(shí)驗(yàn)2中, 除了實(shí)驗(yàn)試次和實(shí)驗(yàn)任務(wù)與實(shí)驗(yàn)1不同, 其它流程與實(shí)驗(yàn)1大致相同。包括練習(xí)和正式實(shí)驗(yàn), 練習(xí)實(shí)驗(yàn)包括48個試次。正式實(shí)驗(yàn)包括20組, 每組120個試次。整個實(shí)驗(yàn)2400個試次, 大約進(jìn)行120分鐘左右。整個實(shí)驗(yàn)告知被試要又快又準(zhǔn)確的反應(yīng)。

除目標(biāo)刺激屏幕之外, 實(shí)驗(yàn)2單個試次的流程與實(shí)驗(yàn)1相同。但是實(shí)驗(yàn)2的目標(biāo)刺激包括4種類型(圖5)。視覺刺激包括兩種：包括靶刺激和非靶刺激。其中, 靶刺激是要求被試判斷空間位置的目標(biāo)刺激; 非靶刺激并不需要被試進(jìn)行反應(yīng)的干擾刺激。聽覺刺激也包括兩種：靶刺激和非靶刺激。視覺靶刺激和聽覺靶刺激兩兩結(jié)合組合成了4種視聽覺靶刺激。在視聽覺靶刺激中, 組合的兩種通道靶刺激的呈現(xiàn)時間和呈現(xiàn)位置保持一致, 每種視聽覺靶刺激會在被試間進(jìn)行平衡。實(shí)驗(yàn)2的任務(wù)是判斷靶刺激的空間位置, 當(dāng)靶刺激出現(xiàn)在左側(cè)屏幕時, 按鍵盤的“F”鍵; 當(dāng)靶刺激出現(xiàn)在右側(cè)屏幕時, 按鍵盤的“J”鍵, 以上靶刺激均為go試次; 并不需要對非靶刺激做按鍵反應(yīng), 所以非靶刺激均為no-go試次。以圖4(a)為例, 視覺靶刺激為中央正方形為灰色的棋盤格; 聽覺靶刺激為高頻聲音刺激; 視聽覺靶刺激為中央正方形為灰色的棋盤格和高頻聲音同時出現(xiàn), 并且出現(xiàn)在屏幕的同一側(cè)。當(dāng)三種通道的靶刺激出現(xiàn)在屏幕左側(cè)時, 按鍵盤的“F”鍵; 當(dāng)三種通道的靶刺激出現(xiàn)在屏幕右側(cè)時, 按鍵盤的“J”鍵, 以上試次均為go試次。而對中央正方形為黑色的棋盤格、低頻的聲音刺激或以上兩種單通道非靶刺激組合成的多感覺非靶刺激均不做按鍵反應(yīng), 以上試次均為no-go試次。實(shí)驗(yàn)包括20組, 每組120個試次。每組結(jié)束之后會提示該組正確反應(yīng)數(shù)目。在適當(dāng)?shù)男菹⒅? 被試按“B”鍵進(jìn)行下一組實(shí)驗(yàn)。

3.1.4 數(shù)據(jù)分析

與實(shí)驗(yàn)1的數(shù)據(jù)分析過程大致相同。(1)由于任務(wù)難度的提高, 被試在每種實(shí)驗(yàn)條件下的正確率均要高于70%。在此階段剔除10名被試。(2)沒有在規(guī)定時間內(nèi)做出按鍵反應(yīng)、錯誤反應(yīng)和反應(yīng)時間小于100 ms或者大于1000 ms的數(shù)據(jù)剔除。最終刪除的數(shù)據(jù)量占總數(shù)據(jù)的4.31%。

3.2 實(shí)驗(yàn)結(jié)果與分析

3.2.1 正確率

對正確率進(jìn)行2 (內(nèi)源性線索有效性：有效線索、無效線索) × 2 (外源性線索有效性：有效線索、無效線索) × 3 (目標(biāo)刺激類型：視覺刺激、聽覺刺激、視聽覺刺激)的重復(fù)測量方差分析。結(jié)果發(fā)現(xiàn)目標(biāo)刺激通道的主效應(yīng)顯著,(2, 56) = 88.26,< 0.001, η= 0.716。視聽覺刺激正確率(97.0%)與高于聽覺刺激的正確率(95.3%)高于視覺刺激的正確率(90.6%)。內(nèi)源性空間注意的主效應(yīng)顯著,(1, 35) = 111.92,< 0.001, η= 0.716。有效線索位置目標(biāo)反應(yīng)的正確率(96.7%)比無效線索位置目標(biāo)反應(yīng)的正確率(91.9%)高; 外源性空間注意的主效應(yīng)顯著,(1, 35) = 67.34,< 0.001, η= 0.658。有效線索位置目標(biāo)反應(yīng)的正確率(95.9%)比無效線索位置目標(biāo)反應(yīng)的正確率(92.7%)高。三因素的交互作用不顯著,(2, 70) = 2.78,= 0.069。

圖5 實(shí)驗(yàn)2目標(biāo)刺激類型

注：圖5為實(shí)驗(yàn)2四個種類的目標(biāo)刺激。實(shí)驗(yàn)2的任務(wù)是判斷目標(biāo)靶刺激的空間位置, 并且不對非靶刺激反應(yīng)。

3.2.2 反應(yīng)時

對反應(yīng)時進(jìn)行2 (內(nèi)源性線索有效性：有效線索、無效線索) × 2 (外源性線索有效性：有效線索、無效線索) × 3 (目標(biāo)刺激類型：視覺刺激、聽覺刺激、視聽覺刺激)的重復(fù)測量方差分析。

結(jié)果如表2所示。內(nèi)源性線索的主效應(yīng)顯著,(1, 35) = 48.37,< 0.001, η= 0.580, 即內(nèi)源有效線索有效的反應(yīng)時(485.91 ms)要顯著快于無效線索的反應(yīng)時(531.48 ms), 說明內(nèi)源性線索加快了目標(biāo)刺激的反應(yīng); 外源性線索的主效應(yīng)顯著,(1, 35) = 180.71,< 0.001, η= 0.838, 即外源性線索有效的反應(yīng)時(485.87 ms)要顯著快于無效的反應(yīng)時(531.52 ms), 說明外源性線索加快了目標(biāo)刺激的反應(yīng); 目標(biāo)刺激通道的主效應(yīng)顯著,(2, 47) = 40.80,< 0.001, η= 0.538, 視聽覺目標(biāo)的反應(yīng)時(477.45 ms)顯著快于視覺目標(biāo)反應(yīng)時(518.03 ms)和聽覺目標(biāo)反應(yīng)時(530.61 ms), 出現(xiàn)雙通道加工優(yōu)勢。內(nèi)外源線索交互作用顯著,(1, 35) = 8.96,= 0.005, η= 0.204, 說明內(nèi)外源性線索對反應(yīng)時的影響是相互作用的。三因素的交互作用不顯著,(2, 70) = 1.98,= 0.146。

表2 實(shí)驗(yàn)2在不同條件下的反應(yīng)時(RT/ms)和正確率(ACC/%) (M± SD)

注：ACC代表正確率(Accuracy, %), RT代表反應(yīng)時(Reaction time, ms)。

3.2.3 相對多感覺反應(yīng)增強(qiáng)(rMRE)

如圖6(a), 當(dāng)反應(yīng)時為中位數(shù)時, 不同線索條件下rMRE的結(jié)果。首先對不同條件下的rMRE進(jìn)行單樣本檢驗(yàn)(與0進(jìn)行比較), 結(jié)果顯示在內(nèi)源性線索有效和外源性線索有效條件下的rMRE顯著大于0,(35) = 4.93,< 0.001; 內(nèi)源性線索有效而外源性線索無效條件下的rMRE顯著大于0,(35) = 5.62,< 0.001; 內(nèi)源性線索無效而外源性線索有效條件下的rMRE不顯著大于0,(35) = 1.53,0.137; 內(nèi)源性和外源性兩種線索均為無效條件下的rMRE顯著大于0,(35) = 5.63,< 0.001。對rMRE的結(jié)果進(jìn)行2 (內(nèi)源性線索有效性的變化：有效線索、無效線索) × 2 (外源性線索有效性的變化：有效線索、無效線索)的重復(fù)測量方差分析。結(jié)果如圖6(a)所示, 發(fā)現(xiàn)內(nèi)外源線索交互作用顯著,(1, 35) = 5.01,= 0.034, η= 0.122。表明在多感覺整合過程中, 內(nèi)源性線索和外源性線索之間的影響是相互的。簡單效應(yīng)分析表明, 在內(nèi)源有效線索條件下, 外源無效線索rMRE的值(5.3%)要顯著大于外源有效線索rMRE的值(3.8%,= 0.023)。同時, 在內(nèi)源無效線索條件下, 外源無效線索rMRE的值(6.3%)要顯著大于外源有效線索rMRE的值(1.7%,= 0.001)。但是, 在內(nèi)源性線索的有效性發(fā)生變化時, 外源性無效線索和外源性有效線索rMRE差異的變化是顯著的,(35) = 2.21,= 0.034,= 0.49。

如圖6(b), 當(dāng)反應(yīng)時為平均數(shù)時, 不同線索條件下rMRE的結(jié)果。首先對不同條件下的rMRE進(jìn)行單樣本檢驗(yàn)(與0進(jìn)行比較), 結(jié)果顯示在內(nèi)源性線索有效和外源性線索有效條件下的rMRE顯著大于0,(35) = 4.89,< 0.001; 內(nèi)源性索有效而外源性線索無效條件下的rMRE顯著大于0,(35) = 5.69,< 0.001; 內(nèi)源性線索無效而外源性線索有效條件下的rMRE不顯著大于0,(35) = 0.90,= 0.373; 內(nèi)源性和外源性兩種線索均為無效條件下的rMRE顯著大于0,(35) = 4.10,< 0.001。對rMRE的結(jié)果進(jìn)行2(內(nèi)源性線索有效性的變化：有效線索、無效線索) × 2(外源性線索有效性的變化：有效線索、無效線索)的重復(fù)測量方差分析。發(fā)現(xiàn)內(nèi)外源線索交互作用顯著,(1, 35) = 3.93,= 0.05, η= 0.101, 表明在多感覺整合過程中, 內(nèi)源性線索和外源性線索之間的影響是相互的。簡單效應(yīng)分析表明, 在內(nèi)源無效條件下, 外源無效線索rMRE的值(4.7%)要顯著大于外源有效線索rMRE的值(0.8%,= 0.005)。

3.2.4 競爭模型分析(race model)

首先, 在0～1000 ms的反應(yīng)時間范圍內(nèi), 計算出以10 ms周期不同線索條件下的概率值：視覺(RT< t)、聽覺(RT< t)、視聽覺(RT< t)。實(shí)驗(yàn)2中內(nèi)源性線索實(shí)際AV累計概率(CP)和競爭模型累計分布概率(CP)如圖7(a)所示。其次, 將不同線索條件下實(shí)際AV的累計概率(CP)與競爭模型累計分布概率(CP)的累計差異概率值相減, 在每10 ms進(jìn)行單樣本檢驗(yàn)(與0進(jìn)行比較)。結(jié)果如圖7(b)所示, 在內(nèi)源性有效線索上顯著違反競爭模型(顯著大于0)的時間窗口為270～400 ms,s (34) > 2.05,s ≤ 0.048, 峰值在370 ms, 為3.9%; 在內(nèi)源性無效線索位置上并沒有顯著違反競爭模型的時間窗口。即有效條件的內(nèi)源性線索相比與無效條件下的外源性線索的整合窗口要更大, 發(fā)生的時間更早且峰值要更大。即相比與內(nèi)源性無效線索位置, 內(nèi)源性有效線索位置的整合窗口要更大, 發(fā)生的時間更早且峰值要更高。

圖6 (a)是反應(yīng)時為中位數(shù)時, 不同線索條件下rMRE結(jié)果; (b)是反應(yīng)時為平均數(shù)時, 不同線索條件下rMRE的結(jié)果

注：rMRE (相對多感覺反應(yīng)增強(qiáng); relative amount of multisensory response enhancement); *< 0.05, **< 0.01。

圖7 (a)是實(shí)驗(yàn)2內(nèi)源性線索的累計概率分布; (b)是實(shí)驗(yàn)2內(nèi)源性線索race model結(jié)果

注: 粗線表示視聽覺刺激發(fā)生顯著整合的時間窗口。虛線表示有效線索, 實(shí)線表示無效線索。*代表峰值(最大概率值)出現(xiàn)的時間。

實(shí)驗(yàn)2中外源性線索實(shí)際AV累計概率(CP)和競爭模型累計分布概率(CP)如圖8(a)所示。如圖8(b)所示, 在外源性有效線索位置上, 顯著違反競爭模型的時間窗為310～410 ms,s (34) > 3.14,s ≤ 0.003, 峰值在360 ms, 為2.7%; 而在外源性無效線索位置上, 顯著違反競爭模型的時間窗為290～450 ms,s (34) > 2.03,s ≤ 0.05, 峰值在380 ms, 為4.4%。即相比與外源性有效線索位置, 外源性無效線索位置的整合窗口要更大, 發(fā)生的時間更早且峰值要更高, 說明外源性空間注意在無效線索的多感覺整合要強(qiáng)于有效線索條件下的多感覺整合。

圖8 (a)是實(shí)驗(yàn)2外源性線索的累計概率分布; (b)是實(shí)驗(yàn)2外源性線索race model結(jié)果

注: 粗線表示視聽覺刺激發(fā)生顯著整合的時間窗口。虛線表示有效線索, 實(shí)線表示無效線索。*代表峰值(最大概率值)出現(xiàn)的時間。

3.3 討論

實(shí)驗(yàn)2目的是考察復(fù)雜辨別任務(wù)中內(nèi)外源性空間注意對多感覺整合的影響。與實(shí)驗(yàn)1類似, 實(shí)驗(yàn)2成功誘發(fā)了內(nèi)源性和外源性空間注意以及多感覺整合效應(yīng); 還發(fā)現(xiàn)了外源性空間注意減弱多感覺整合效應(yīng)。但與實(shí)驗(yàn)1不同的是, 實(shí)驗(yàn)2發(fā)現(xiàn)內(nèi)源性有效線索的違反競爭模型的時間窗口比內(nèi)源性無效線索的時間窗口長, 峰值更高(圖7a), 即內(nèi)源性空間注意也參與到多感覺整合效應(yīng)中, 這與前人的研究結(jié)果一致(Talsma & Woldorff, 2005; 唐曉雨, 吳英楠等, 2020)。此外, 實(shí)驗(yàn)2還發(fā)現(xiàn)了外源性線索有效性的變化會影響內(nèi)源性空間注意增強(qiáng)多感覺整合的過程, 并且內(nèi)源性線索有效性的變化也會影響外源性空間注意減弱多感覺整合的過程。

與實(shí)驗(yàn)1相比, 在實(shí)驗(yàn)2中發(fā)現(xiàn)在不同的內(nèi)源性線索條件下, 外源性空間注意減弱多感覺整合效應(yīng)的過程發(fā)生了顯著的變化。即在內(nèi)源有效線索條件下, 外源性空間注意減弱多感覺整合效應(yīng)的程度要顯著的小于內(nèi)源無效線索條件下, 外源性空間注意減弱多感覺效應(yīng)程度, 說明內(nèi)源性空間注意也參與到多感覺整合的過程中。根據(jù)Lavie (1995)提出的“通路理論”可知, 在低知覺通路任務(wù)中(簡單定位任務(wù)：僅要求被試捕獲目標(biāo)刺激), 注意資源在處理與任務(wù)相關(guān)的信息后會有部分注意資源“溢出”來處理與任務(wù)無關(guān)的其它刺激; 但是在高知覺通路任務(wù)中(復(fù)雜辨別任務(wù)：要求被試不僅要完成對目標(biāo)刺激的捕獲, 也要抑制對干擾刺激做出反應(yīng)), 所有的注意資源都會參與到與任務(wù)相關(guān)的任務(wù)中, 并不會有注意資源“溢出”處理與任務(wù)無關(guān)的刺激(Lavie, 1995; Lavie, 2010); 并且因?yàn)樵诒緦?shí)驗(yàn)中內(nèi)源性線索對目標(biāo)位置的預(yù)測性為80%, 對目標(biāo)出現(xiàn)的位置具有高預(yù)測性, 所以被試會將更多依靠內(nèi)源性線索, 將更多的注意資源集中在有效線索位置。對出現(xiàn)在內(nèi)源有效線索位置的視聽覺刺激, 被試在加工時間和程度要比內(nèi)源無效線索位置更深(Odegaard et al., 2016; Talsma & Woldorff, 2005), 所以內(nèi)源性線索改變了外源性空間注意減弱多感覺整合效應(yīng)程度。

4 總討論

本研究采用內(nèi)?外源性空間線索靶子范式, 將出現(xiàn)在屏幕中間的箭頭為內(nèi)源性線索, 注視點(diǎn)兩側(cè)的白色正方形為外源性線索。通過改變實(shí)驗(yàn)任務(wù)難度, 來考察內(nèi)外源性空間注意對多感覺整合的影響。研究結(jié)果發(fā)現(xiàn), 在兩個實(shí)驗(yàn)中, 外源性空間注意都顯著減弱了多感覺整合效應(yīng)。而只有當(dāng)任務(wù)是復(fù)雜的辨別任務(wù)時(實(shí)驗(yàn)2), 內(nèi)源性空間注意才參與到多感覺整合過程, 即內(nèi)源性線索有效性的變化影響了外源性空間注意減弱多感覺整合效應(yīng)的過程。具體來說在內(nèi)源無效線索條件下外源無效與有效線索間多感覺整合效應(yīng)的差異, 要顯著大于在內(nèi)源有效條件下外源無效與有效線索間多感覺整合效應(yīng)的差異, 即內(nèi)外源性空間注意對多感覺整合影響的交互作用顯著。結(jié)果驗(yàn)證了前言提到的可能性(2), 即在一定任務(wù)難度的條件下, 外源性空間注意會影響內(nèi)源性空間注意增強(qiáng)多感覺整合效應(yīng)的過程, 反之亦然。

綜合兩個實(shí)驗(yàn)內(nèi)外源性空間注意對多感覺整合的結(jié)果發(fā)現(xiàn)：在兩個實(shí)驗(yàn)中, 外源性空間注意都顯著減弱了多感覺整合效應(yīng), 這是符合外源性空間線索具有較高的凸顯性, 會自下而上地自動吸引被試的注意, 并不占用被試的注意資源(Busse et al., 2008), 所以外源性空間注意減弱多感覺整合效應(yīng)可能不受任務(wù)難度的影響或者說影響較小。而內(nèi)源性空間注意僅在復(fù)雜任務(wù)難度條件下才會參與到多感覺整合效應(yīng), 符合內(nèi)源性空間注意自上而下, 會受到被試注意資源的影響(Mayer et al., 2004; Rohenkohl et al., 2011), 所以內(nèi)源性空間注意增強(qiáng)多感覺整合效應(yīng)會受到任務(wù)難度的影響。正因?yàn)閮?nèi)外源性空間注意隨任務(wù)難度變化本身不同, 二者的交互作用情況也不同。參考以往單感覺通道的研究, 在簡單定位任務(wù)中, 內(nèi)外源性空間注意的交互作用不顯著, 兩種空間注意彼此獨(dú)立, 互不影響; 而復(fù)雜辨別任務(wù)中內(nèi)外源性空間注意的交互作用顯著, 兩種空間注意相互作用(Berger et al., 2005)。

本研究發(fā)現(xiàn)不同任務(wù)難度下多感覺整合的變化情況與單感覺通道的結(jié)果類似, 在簡單定位任務(wù)中, 內(nèi)外源性空間注意對多感覺整合影響的交互作用邊緣顯著; 而在復(fù)雜辨別任務(wù)中, 內(nèi)外源性空間注意對多感覺整合影響的交互作用顯著。當(dāng)實(shí)驗(yàn)由簡單定位任務(wù)調(diào)整為復(fù)雜辨別任務(wù), 實(shí)驗(yàn)2中干擾刺激的出現(xiàn)需要被試更深層次的認(rèn)知加工(Johnston & Heinz, 1979), 所以需要更多的認(rèn)知資源參與到實(shí)驗(yàn)任務(wù)中。但是人的認(rèn)知資源是有限的(Granholm et al., 1996), 被試為了更好地完成任務(wù)會更加充分地利用具有較高預(yù)測性的內(nèi)源性線索(Pauszek & Gibson, 2016), 內(nèi)源性空間注意會更多地參與到實(shí)驗(yàn)任務(wù)中, 使內(nèi)源性空間注意對外源性空間注意減弱多感覺整合效應(yīng)產(chǎn)生影響, 在內(nèi)源性線索有效/無效的條件下, 外源性空間注意減弱多感覺整合的程度是不同的, 即在內(nèi)源無效線索條件下, 外源性空間注意減弱多感覺整合的程度要顯著大于內(nèi)源有效線索條件下, 外源性空間注意減弱多感覺整合的程度。同時, 外源性空間注意也對內(nèi)源性空間注意增強(qiáng)多感覺整合效應(yīng)產(chǎn)生影響, 在外源性線索有效/無效的條件下, 內(nèi)源性空間注意增強(qiáng)多感覺整合的程度是不同的, 即在外源有效線索條件下, 內(nèi)源性空間注意增強(qiáng)多感覺整合的程度要顯著大于外源無效線索條件下, 內(nèi)源性空間注意增強(qiáng)多感覺整合的程度。也就是說, 內(nèi)外源性空間注意二者調(diào)節(jié)多感覺整合加工的過程是相互影響的。這與前人提出的內(nèi)外源性空間注意兩者之間的關(guān)系中支持兩者空間注意的存在密切聯(lián)系的觀點(diǎn)是一致的。一方面, 在心理旋轉(zhuǎn)和圖像掃視的相關(guān)研究中發(fā)現(xiàn), 兩種空間注意在眼球運(yùn)動上是遵循相同的規(guī)則, 隨后眼動的結(jié)果發(fā)現(xiàn)兩種空間注意存在顯著的交互作用(Gowen et al., 2007; Otten et al., 2016; Posner, 1980)。另一方面, 兩種空間注意在腦區(qū)的激活部位也是大致相同的, 主要包括前運(yùn)動皮質(zhì), 后頂葉皮質(zhì), 額葉內(nèi)側(cè)皮質(zhì)和右下額葉皮層等相關(guān)的額?頂網(wǎng)絡(luò)(Mayer et al., 2004; Peelen et al., 2004)。所以內(nèi)外源性空間注意會共享同一個機(jī)制。結(jié)合前人與本文的研究結(jié)果可以推論內(nèi)外源性空間注意二者對單感覺通道刺激加工和多感覺加工的調(diào)節(jié)作用均不是彼此獨(dú)立而是互相影響的。

進(jìn)一步分析兩個實(shí)驗(yàn)中rMRE的結(jié)果, 發(fā)現(xiàn)在實(shí)驗(yàn)1中, 內(nèi)源性空間注意有效性的變化會在一定程度上影響外源性空間注意對多感覺整合效應(yīng)。說明即使在簡單定位任務(wù)中, 內(nèi)外源性空間注意對多感覺整合影響的也是存在一定程度的聯(lián)系。這與兩種空間注意對反應(yīng)時影響的結(jié)果是有差異的。因?yàn)樽⒁馀c多感覺整合的關(guān)系更加緊密, 兩者腦區(qū)的激活范圍是有部分重疊的(Sugihara et al., 2006; Talsma et al., 2010)。其次, 比較兩個實(shí)驗(yàn)的rMRE, 實(shí)驗(yàn)結(jié)果為任務(wù)難度會影響內(nèi)外源性空間注意對多感覺整合的關(guān)系。深層次的原因是在兩種不同難度的任務(wù)中, 內(nèi)源性空間注意增強(qiáng)多感覺整合效應(yīng)的過程是穩(wěn)定存在的(唐曉雨, 吳英楠等, 2020), 而只是在復(fù)雜辨別任務(wù)中該過程得到了體現(xiàn), 對外源性空間注意減弱多感覺整合的過程產(chǎn)生了影響。所以僅在實(shí)驗(yàn)2中發(fā)現(xiàn)內(nèi)外源性空間注意對多感覺整合影響的交互作用顯著。綜上所述, 內(nèi)外源性空間注意對多感覺整合的影響是存在密切聯(lián)系的, 兩種空間注意會分享同一個“注意資源池”。并且在復(fù)雜辨別任務(wù)中, 內(nèi)外源性空間注意會以相互作用的方式對多感覺整合產(chǎn)生影響。

結(jié)合內(nèi)外源性空間注意對多感覺整合影響的結(jié)果, 本研究提出內(nèi)外源性空間注意對多感覺整合產(chǎn)生影響的動態(tài)過程：內(nèi)外源性空間注意對多感覺整合的影響是存在密切聯(lián)系的。首先, 是外源性空間注意會自下而上地對多感覺刺激進(jìn)行捕獲(Burg et al., 2008)。隨后, 在簡單定位任務(wù)難度中, 內(nèi)源性空間注意也會對多感覺刺激進(jìn)行自上而下的分析, 存在增強(qiáng)多感覺整合過程(唐曉雨, 吳英楠等, 2020)。但是由于外源性線索的出現(xiàn), 再加上實(shí)驗(yàn)任務(wù)難度不大, 內(nèi)源性空間注意增強(qiáng)多感覺整合的程度較弱(Lunn et al., 2019)。但是隨著任務(wù)難度的提高, 當(dāng)在外源性空間注意捕獲多感覺目標(biāo)后, 為了更好地完成實(shí)驗(yàn)任務(wù), 注意資源的喚醒程度提高, 對內(nèi)源性線索的利用程度也隨之提高, 內(nèi)源性空間注意會增強(qiáng)多感覺整合效應(yīng)的程度更加顯著, 對外源性空間注意捕獲到的多感覺刺激進(jìn)行分析, 將兩個不同通道的刺激整合為多感覺刺激, 同時會根據(jù)刺激的性質(zhì)(顏色, 形狀, 大小), 空間位置等特征在頭腦中形成一個自上而下的多感覺信號模板儲存在大腦中(Atchley et al., 2003; Folk & Remington, 1998; 彭姓等, 2018)。最后, 形成的信號模板就會自上而下地引導(dǎo)被試, 對符合信號模板的多感覺刺激進(jìn)行自下而上的捕獲, 以完成復(fù)雜的實(shí)驗(yàn)任務(wù)(Talsma et al., 2010)。

在以往內(nèi)、外源性空間注意對多感覺整合影響的研究中, 前者內(nèi)源性線索對目標(biāo)出現(xiàn)位置的預(yù)測性為100%或80%, 后者外源性線索的預(yù)測性則為50%, 線索預(yù)測性的比例的確不同, 表明不同預(yù)測比例的線索誘發(fā)的空間注意對多感覺整合的影響可能是不同的, 是符合“空間不確定假說”, 具體假說內(nèi)容見實(shí)驗(yàn)1討論。然而值得注意的是在唐曉雨和吳英楠等(2020)的研究中發(fā)現(xiàn), 當(dāng)內(nèi)源性線索的預(yù)測性為50%時, 內(nèi)源性空間注意沒有增強(qiáng)多感覺整合效應(yīng)。也就是說當(dāng)內(nèi)外源兩種線索的預(yù)測性均為50%的條件下, 兩種空間注意對多感覺整合的影響是不同的。這說明可能不單單只是比例的作用, 不同類型線索所誘發(fā)的空間注意類型不同, 以箭頭形式呈現(xiàn)的內(nèi)源性線索具有指向性提示, 是自上而下的過程, 且主要激活背側(cè)的額?頂網(wǎng)絡(luò)。以亮框形式呈現(xiàn)的外源性線索會更快地吸引被試的注意, 是自下而上的過程, 且主要激活腹側(cè)的額?頂網(wǎng)絡(luò)(Corbetta & Shulman, 2002; Meyer et al., 2018)。所以, 兩種不同作用方式的空間注意對多感覺整合產(chǎn)生不同影響的原因是多元的。此外, 有實(shí)驗(yàn)采用外?內(nèi)源性空間線索靶子范式, 來研究內(nèi)源性線索對外源性線索返回抑制的影響。結(jié)果發(fā)現(xiàn)內(nèi)源有效線索條件下外源性空間注意的返回抑制量要顯著小于內(nèi)源無效線索條件下的返回抑制量, 內(nèi)源性線索有效性的變化對外源性空間注意的返回抑制產(chǎn)生了影響(Berger & Henik, 2000), 說明在外?內(nèi)源性空間線索靶子范式中, 內(nèi)外源性空間注意也是存在交互作用的。因此, 為確認(rèn)內(nèi)外源性空間注意如何對多感覺整合產(chǎn)生影響, 本團(tuán)隊(duì)也在用外?內(nèi)源性空間線索靶子范式, 研究兩種空間注意對多感覺整合加工過程的影響, 以驗(yàn)證內(nèi)外源性空間注意對多感覺整合的調(diào)節(jié)作用, 究竟是彼此獨(dú)立、還是相互影響的。

5 結(jié)論

本研究結(jié)果發(fā)現(xiàn)在兩種不同任務(wù)難度下, 外源性空間注意減弱了多感覺整合效應(yīng), 內(nèi)源性空間注意沒有顯著增強(qiáng)多感覺整合效應(yīng); 且復(fù)雜辨別任務(wù)中, 內(nèi)源無效線索條件下, 外源性空間注意減弱多感覺整合的程度要顯著大于內(nèi)源有效線索條件下外源性空間注意減弱多感覺整合的程度。研究結(jié)果表明, 外源性空間注意會影響內(nèi)源性空間注意對多感覺整合的調(diào)節(jié)作用, 在一定任務(wù)難度條件下, 內(nèi)源性空間注意會影響外源性空間注意減弱多感覺整合效應(yīng)的過程。因此, 內(nèi)外源性空間注意對多感覺整合的調(diào)節(jié)并非彼此獨(dú)立、而是相互影響的。

Atchley, P., Jones, S. E., & Hoffman, L. (2003). Visual marking: A convergence of goal-and stimulus-driven processes during visual search.,(5), 667.

Berger, A., & Henik, A. (2000). The endogenous modulation of IOR is nasal-temporal asymmetric.,(3), 421?428.

Berger, A., Henik, A., & Rafal, R. (2005). Competition between endogenous and exogenous orienting of visual attention.,(2), 207?221.

Botta, F., Lupiá?ez, J., & Chica, A. B. (2014). When endogenous spatial attention improves conscious perception: Effects of alerting and bottom-up activation.,, 63?73.

Burg, E. V. D., Olivers, C. N. L., Bronkhorst, A. W., & Theeuwes, J. (2008). Pip and pop: Non-spatial auditory signals improve spatial visual search.,(5), 1053?1065.

Busse, L., Katzner, S., & Treue, S. (2008). Temporal dynamics of neuronal modulation during exogenous and endogenous shifts of visual attention in macaque area MT.,(42), 16380?16385.

Chica, A. B., Bartolomeo, P., & Lupiá?ez, J. (2013). Two cognitive and neural systems for endogenous and exogenous spatial attention.,, 107?123.

Corbetta, M., & Shulman, G. L. (2002). Control of goal-directed and stimulus-driven attention in the brain.,(3), 201.

Fairhall, S. L., & Macaluso, E. (2009). Spatial attention can modulate audiovisual integration at multiple cortical and subcortical sites.,(6), 1247?1257.

Folk, C. L., & Remington, R. (1998). Selectivity in distraction by irrelevant featural singletons: Evidence for two forms of attentional capture.,(3), 847.

Gowen, E., Abadi, R. V., Poliakoff, E., Hansen, P. C., & Miall, R. C. (2007). Modulation of saccadic intrusion by exogenous and endogenous attention.,(1), 154? 167.

Granholm, E., Asarnow, R. F., Sarkin, A. J., & Dykes, K. L. (1996). Pupillary responses index cognitive resource limitations., 33(4), 457?461.

Grubb, M. A., White, A. L., Heeger, D. J., & Carrasco, M. (2015). Interactions between voluntary and involuntary attention modulate the quality and temporal dynamics of visual processing.,(2), 437?444.

Grundy, J. G., Barker, R. M., Anderson, J. A. E., & Shedden, J. M. (2019). The relation between brain signal complexity and task difficulty on an executive function task.,, 104?113.

Gustavo, R., Coull, J. T., Nobre, A. C., & Sam, G. (2011). Behavioural dissociation between exogenous and endogenous temporal orienting of attention.,(1), e14620.

Hopfinger, J. B., & West, V. M. (2006). Interactions between endogenous and exogenous attention on cortical visual processing.,(2), 774?789.

Johnston, W. A., & Heinz, S. P. (1979). Depth of nontarget processing in an attention task.&,(1), 168.

Julia, F. C., Daniel, C., Beer, A. L., & Daphne, B. (2018). Neural bases of enhanced attentional control: Lessons from action video game players.,(7), e01019.

Kosslyn, S. M., Thompson, W. L., Wraga, M., & Alpert, N. M. (2001). Imagining rotation by endogenous versus exogenous forces: Distinct neural mechanisms.,(11), 2519?2525.

Lavie, N. (1995). Perceptual load as a necessary condition for selective attention.,(3), 451?468.

Lavie, & N. (2010). Attention, distraction, and cognitive control under load.,(3), 143?148.

Lunn, J., Sjoblom, A., Ward, J., Soto-Faraco, S., & Forster, S. (2019). Multisensory enhancement of attention depends on whether you are already paying attention.,, 38?49.

Lupiá?ez, J., Botta, F., Martín-Arévalo, E., Chica, A. B. (2014). The spatial orienting paradigm: How to design and interpret spatial attention experiments.,, 35?51.

Mayer, A. R., Dorflinger, J. M., Rao, S. M., & Seidenberg, M. (2004). Neural networks underlying endogenous and exogenous visual-spatial orienting.,(2), 534?541.

Meyer, K. N., Du, F., Parks, E., & Hopfinger, J. B. (2018). Exogenous vs. endogenous attention: Shifting the balance of fronto-parietal activity.,, 307?316.

Miller, J. (1982). Divided attention: Evidence for coactivation with redundant signals.,(2), 247? 279.

Odegaard, B., Wozny, D. R., & Shams, L. (2016). The effects of selective and divided attention on sensory precision and integration.,(9), 24?28.

Otten, M., Schreij, D., & Los, S. A. (2016). The interplay of goal-driven and stimulus-driven influences on spatial orienting.,(6), 1642?1654.

Pauszek, J. R., & Gibson, B. S. (2016). High spatial validity is not sufficient to elicit voluntary shifts of attention.,(7), 2110?2123.

Peelen, M. V., Heslenfeld, D. J., & Theeuwes, J. (2004). Endogenous and exogenous attention shifts are mediated by the same large-scale neural network.,(2), 822?830.

Peng, X., Chang, R, S., Li, Q., Wang, A, J., & Tang, X, Y. (2019).Visually induced inhibition of return affects the audiovisual integration under different SOA conditions.,(7), 759?771.

[彭姓, 常若松, 李奇, 王愛君, 唐曉雨. (2019). 不同SOA下視覺返回抑制對視聽覺整合的調(diào)節(jié)作用.(7), 759?771.]

Peng, X., Chang, R, S., Ren, G, Q., Wang, A, J., & Tang, X, Y. (2018). The interaction between exogenous attention and multisensory integration.,(12), 43?54.

[彭姓, 常若松, 任桂琴, 王愛君, 唐曉雨. (2018). 外源性注意與多感覺整合的交互關(guān)系.(12), 43? 54.]

Posner, M. I. (1980). Orienting of attention.,(1), 3?25.

Senkowski, D., Saint-Amour, D., Hofle, M., & Foxe, J. J. (2011). Multisensory interactions in early evoked brain activity follow the principle of inverse effectiveness.,(4), 2200?2208.

Senkowski, D., Talsma, D., Herrmann, C. S., & Woldorff, M. G. (2005). Multisensory processing and oscillatory gamma responses: Effects of spatial selective attention.,(3?4), 411?426.

Sugihara, T., Diltz, M. D., Averbeck, B. B., & Romanski, L. M. (2006). Integration of auditory and visual communication information in the primate ventrolateral prefrontal cortex.,(43), 11138?11147.

Talsma, D., Doty, T. J., & Woldorff, M. G. (2007). Selective attention and audiovisual integration: Is attending to both modalities a prerequisite for early integration?,(3), 679?690.

Talsma, D., Senkowski, D., Soto-Faraco, S., & Woldorff, M. G. (2010). The multifaceted interplay between attention and multisensory integration.,(9), 400?410.

Talsma, D., & Woldorff, M. G. (2005). Selective attention and multisensory integration: Multiple phases of effects on the evoked brain activity.,(7), 1098?1114.

Tang, X., Wu, J., & Shen, Y. (2016). The interactions of multisensory integration with endogenous and exogenous attention.,, 208?224.

Tang, X, Y., Sun, J, Y., & Peng, X. (2020). The effect of bimodal divided attention on inhibition of return with audiovisual targets.,(3), 257? 268.

[唐曉雨, 孫佳影, 彭姓. (2020). 雙通道分配性注意對視聽覺返回抑制的影響.(3), 257?268.]

Tang, X, Y., Wu, Y, N., Peng, X., Wang, A, J., & Li, Q. (2020). The influence of endogenous spatial cue validity on audiovisual integration.,(7), 835?846.

[唐曉雨, 吳英楠, 彭姓, 王愛君, 李奇. (2020). 內(nèi)源性空間線索有效性對視聽覺整合的影響.(7), 835? 846.]

van der Stoep, N., van der Stigchel, S., & Nijboer, T. C. W. (2015). Exogenous spatial attention decreases audiovisual integration.,(2), 464?482.

van der Stoep, N., van der Stigchel, S., Nijboer, T. C. W., & Spence, C. (2016). Visually induced inhibition of return affects the integration of auditory and visual information.,(1), 6?17.

Washburn, D. A., & Putney, R. T. (2001). Attention and task difficulty: When is performance facilitated?.,(1), 36?47.

Yantis, S., & Jonides, J. (1990). Abrupt visual onsets and selective attention: Voluntary versus automatic allocation.,(1), 121?134.

Yu, H. (2019).(Unpublished master’s thesis). Liaoning Normal University, Dalian, China.

[于宏. (2019).(碩士學(xué)位論文). 遼寧師范大學(xué), 大連. ]

Effects of endogenous spatial attention and exogenous spatial attention on multisensory integration

TANG Xiaoyu, TONG Jiageng, YU Hong, WANG Aijun

(School of Psychology, Liaoning Collaborative Innovation Center of Children and Adolescents Healthy Personality Assessment and Cultivation, Liaoning Normal University, Dalian 116029, China) (Department of Psychology, Research Center for Psychology and Behavioral Sciences, Soochow University, Suzhou 215123, China)

Attention effect has been greatly explored in multisensory integration. Previous studies found that endogenous spatial attention enhanced multisensory integration, while exogenous spatial attention decreased multisensory integration. However, there is no research integrates two kinds of spatial attention into the multisensory integration. In present study, we used endogenous-exogenous spatial cue target paradigm to investigate the effect of endogenous spatial attention and exogenous spatial attention on multisensory integration.

The present study consisted of 2 experiments. In these experiments, we mainly manipulated the endogenous cue validities (including cued, uncued), exogenous cue validities (including cued, uncued) and target modalities (including visual, auditory, and audiovisual modalities). Thirty-six students in Liaoning Normal University were recruited in Exp. 1. The visual (V) target was a white pentagonal asterisk block (2°×2°). The auditory (A) target was a 1 600 Hz sinusoidal tone presented by speakers. The audiovisual (AV) target was composed by the simultaneous presentation of both the visual and the auditory stimuli. At the beginning of each trial, the fixation stimulus was presented for 600～800 ms in the center of the monitor. Following the fixation stimulus, the endogenous cue was presented for 200 ms, which could predict (80%) the location of the target. Then a visual white square served as a exogenous cue was presented for 200 ms at the left or right location randomly. Before the target that appeared for 100 ms, the inter stimulus interval (ISI) lasted for 150 ms. The target (A, V, or AV) randomly appeared for 100 ms in the left or right locations. At last, the fixation stimuli appeared for 1000 ms to wait for the correspondence responses to targets. During the experiment, the participants were asked to locate targets by pressing buttons (F/J) as quickly and accurately as possible. Thirty-six college students were recruited in Exp. 2. In Exp. 2, visual stimuli included checkerboard squares (3.2°×3.2°) with gray (RGB: 147, 149, 152) in the middle and black (RGB: 0, 0, 0) in the middle; auditory stimuli included high-frequency sinusoidal tone (1400) and low-frequency sinusoidal tone (714). The visual target was one of the above two visual stimuli, and the auditory target was one of the above two auditory stimuli. The pairings of two single channel stimuli constituted audiovisual target. The Exp. 2 consisted of four audiovisual targets. Each set of audiovisual targets were balanced among the subjects.

The results showed that the responses to AV targets were faster than V or A targets, indicating the appearance of the bimodal advancement effect in both experiments. In addition, we found exogenous spatial attention’s race model (probability difference) showed significant smaller at cued compared to uncued condition in both experiments, while the endogenous spatial attention reduced the extent to which the exogenous spatial attention weakened the effect of multisensory integration in Exp.2, but not in Exp. 1. From the results of the relative amount of multisensory response enhancement (rMRE), In Exp. 1, the effects of endogenous spatial attention and exogenous spatial attention on multisensory integration were marginal significant. In Exp. 2, the two kinds of spatial attention had significant interaction with multisensory integration.

In summary, exogenous spatial attention decreased multisensory integration in both experiments. Endogenous spatial attention is involved in multisensory integration and has an impact on exogenous spatial attention in Exp. 2. The effects of endogenous spatial attention and exogenous spatial attention on multisensory integration in an interactive manner.

endogenous spatial attention, exogenous spatial attention, multisensory integration, endogenous- exogenous spatial cue target paradigm, task difficulty

2021-01-08

* 遼寧師范大學(xué)2020年高端科研成果培育資助計劃項(xiàng)目(GD20L002), 遼寧省教育廳2021年度科學(xué)研究經(jīng)費(fèi)面上項(xiàng)目(LJKZ0987)資助。

唐曉雨, E-mail: tangyu-2006@163.com; 王愛君, E-mail: ajwang@suda.edu.cn

B842