通道選擇性注意與通道分配性注意對視聽整合的影響

高玉林 劉思宇

摘要：視聽整合是將視覺與聽覺的信息融合成連貫、統(tǒng)一的知覺過程。前人的研究表明，選擇性注意力和分配性注意會對視聽整合效應產(chǎn)生較大的影響，其中將注意導向聽覺通道或者視覺通道被稱為選擇性注意，在一些任務中，選擇注意條件下視聽整合效應不明顯，但是在另一些較為簡單的任務中，視聽刺激同時出現(xiàn)會增強對被選擇通道的感知。同時注意視覺和聽覺刺激被稱為分配性注意，在分配性注意對視聽整合效應的促進作用要優(yōu)于選擇注意。

關(guān)鍵詞：選擇性注意 分配性注意 視聽整合

1.引言

將視覺和聽覺通道獲得的感覺信息有效的合并為綜合?連貫?強健的知覺過程，被稱為視覺和聽覺信息的知覺整合，簡稱為視聽整合。先前研究發(fā)現(xiàn)，人類對同時提示的視聽覺刺激的反應時間要顯著快于對單獨提示的視覺或聽覺刺激的反應時間，并且準確率也有顯著的提高，這種現(xiàn)象被稱為冗余效應，這是由于視覺和聽覺的協(xié)同作用增加了檢測和識別環(huán)境中事件和對象的可能性。然而，視聽整合對于事件檢測的益處并不是穩(wěn)定發(fā)生的，它取決于多種多樣的因素，在視聽覺的刺激中，由于人類認知資源的有限性，大腦只能選擇一部分信息進行高級認知加工，而注意在其中起著關(guān)鍵性的作用?知覺過程和注意過程并不是獨立的工作的，之研究者們著手研究這兩者之間是如何相互作用的，這有助于我們了解知覺與注意過程在大腦中是如何工作的。

有研究表明，將單通道視覺刺激、單通道聽覺刺激和雙通道視聽刺激隨機呈現(xiàn)在兩個橫向空間位置（左或者右）上，引導被試只注意其中一個位置（即選擇性空間注意），在這種條件下研究結(jié)果發(fā)現(xiàn)，被注意位置的視聽整合效應更大。Talsma等人（2005）使用ERP對這一現(xiàn)象進行了深入研究，結(jié)果表明被注意位置的雙通道刺激引起的ERP波形比單通道視覺刺激和單通道聽覺刺激引起的波形之和更大，而未被注意的位置兩者差異較小。這證明了選擇性空間注意對視聽整合的影響（D Talsma，&Woldorff， M. G.，2005;Senkowski， D，Talsma， D，Herrmann， C. S，& Woldorff， M.G，2005）。

然而，后續(xù)的發(fā)現(xiàn)通道選擇性注意對視對視聽整合聽整合的影響與空間選擇性注意有所不同，通道選擇性注意只關(guān)注被注意的通道而忽略不被注意的通道，通常被注意的通道信息加工會變強，而不被注意的通道信息加工會變?nèi)酰˙eck&Kastner，2009）。日常生活中我們有這樣的經(jīng)驗，比如在閱讀一本書時，常常會忽略聽到的聲音，在看電視劇時會同時注意聽到的和看到的刺激，這就是通道選擇或分配注意。一些關(guān)于選擇性注意的研究表明，當同時注意雙通道時，視聽刺激會比單感覺刺激反應時更短，準確性更高。但是在單通道選擇性刺激條件下，視覺刺激與聽覺刺激同時出現(xiàn)反而可能會產(chǎn)生抑制作用（Talsma等人，2007）。這一發(fā)現(xiàn)引起了研究者們的強烈興趣，本文將根據(jù)已有的研究嘗試對通道選擇性注意對視聽整合的影響進行綜述。首先闡述視覺選擇性注意對視聽整合的影響和聽覺選擇性注意對視聽整合的影響，其次闡述同時注意視聽覺刺激即分配性注意條件度視聽整合的影響，最后闡述此方向在認知障礙障礙方面的應用，并對研究未來進行展望。

2.通道選擇性注意對視聽整合的影響

2.1聽覺選擇性注意對視聽整合的影響

注意可以被導向聽覺特征。Talsma等人（2007）使用事件相關(guān)電位技術(shù)探究通道選擇性注意對視聽整合的影響，他們將目標刺激呈現(xiàn)在屏幕中央，設計了四種實驗條件，分別是只注意視覺刺激、只注意聽覺刺激、同時注意視覺刺激和聽覺刺激與同時不注意視覺刺激與聽覺刺激。實驗結(jié)果發(fā)現(xiàn)四種條件中，只有在同時注意視覺刺激和聽覺刺激的條件下才會發(fā)生視聽整合效應，尤其是早期的視聽整合，而在只注意聽覺的條件下未發(fā)生視聽整合效應。此外還有研究者使用多感覺辨別范式對通道選擇的性注意對視聽整合的影響進行研究，要求被試選擇紅色或者藍色的刺激（Laurienti等人，2004）。刺激可能以單聽覺或單視覺形式出現(xiàn)，或者同時以聽覺和視覺雙通道形式出現(xiàn)。聽覺刺激是對“紅色”和“藍色”這兩個詞的描述。視覺刺激是紅色和藍色的圓圈形圖片，在刺激出現(xiàn)前會呈現(xiàn)耳朵或者眼睛的圖案來提示被試注意哪種通道。結(jié)果證明了只有同時注意視覺通道和聽覺通道的情況下顯著的視聽整合效應才可能發(fā)生。選擇性注意單聽覺通道或者單視覺通道時，視聽刺激同時出現(xiàn)的條件下被試的反應沒有出現(xiàn)顯著的增強。這種現(xiàn)象的產(chǎn)生也許與多感覺抑制有關(guān)，即出現(xiàn)在不同位置的多感覺信息被整合到一個多感覺信息中的可能性會被降低。而通道選擇性注意可能是多感覺抑制效應的影響因素之一，由于只注意一種通道，被試會更加傾向于將不被注意的通道信息進行過濾而不是將注意和不注意通道的信息整合在一起，這種傾向增加了對雙通道刺激信息處理的成本。另外當只注意一個感覺通道時，不被注意的感覺皮層活動會受到抑制，導致較少的信息被用于整合，這可能是造成此現(xiàn)象的生理機制（Mozolic，J.L.，Hugenschmidt，C.E，Peiffer，A.M&Laurienti，P.J.，2008;Talsma等人，2007）。

然而，Li等人（2010）采用更簡單的GO/NO GO范式研究通道選擇性注意對視聽整合的影響，要求被試只對目標刺激做出反應，對標準刺激不做反應，結(jié)果表明在聽覺選擇性注意條件下，視聽刺激同時出現(xiàn)會增強對聽覺刺激的檢測，即出現(xiàn)了視聽整合冗余效應，并且ERP活動的潛伏期比以往其他的非通道選擇性注意研究發(fā)現(xiàn)的要晚，研究者認為通道選擇性注意可能導致了視聽整合效應的延遲，在聽覺選擇注意條件下，視聽整合發(fā)生在感覺加工后期階段（Talsma2007;Li Q ， Wu J，Touge T，2010;Frassinetti，F(xiàn)，Bolognini，N&E Làdavas，2002;Hugenschmidt， C. E，Mozolic， J. L，&Laurienti，P.J，2009）。與之前研究結(jié)果相似的是，在POS后200ms內(nèi)即早期未發(fā)現(xiàn)視聽整合效應。Li Q等人（2009）使用ERP技術(shù)對聽覺選擇注意對視聽整合的影響進行探究，結(jié)果發(fā)現(xiàn)在POS后200ms內(nèi)即感覺加工的早期階段未發(fā)現(xiàn)顯著的視聽整合效應，即聽覺和任務無關(guān)的視覺信息在感覺加工的早期沒有相互作用，但是在POS200ms后產(chǎn)生了顯著的視聽整合效應，這表明在聽覺注意任務中視聽刺激的跨通道交互作用發(fā)生在后期的認知過程階段。使用FMRI在生理學上對這一現(xiàn)象進行研究，結(jié)果發(fā)現(xiàn)對一種通道的刺激的選擇性注意可能會擴展到另一種通道中同步呈現(xiàn)的刺激，這可能時反映了通道選擇性注意條件下產(chǎn)生視聽整合的原因（Degerman， A. ， Rinne， T. ， Pekkola， J. ， Autti， T. ， Iiro P. J??skel?inen， & Sams， M等人，2007）。

2.2視覺選擇性注意對視聽整合的影響

注意也可以被導向一些特定的視覺特征。越來越多的研究證實了在選擇性注意的條件下，視聽整合效應主要發(fā)生在后期，即只有在分配注意條件下視聽整合效應才會在早期發(fā)生（Fort. A，Delpuech.C，Pernier.J& Giard.M. H，2002;Talsma 等人，2007）Talsma等人在2007年的研究中將刺激呈現(xiàn)在屏幕中央，要求被試只注意視覺刺激而忽略聽覺刺激，行為結(jié)果發(fā)現(xiàn)在視覺選擇性注意條件下視聽覺刺激同時出現(xiàn)時被試的反應時反而增加，準確率也不如視覺刺激單獨出現(xiàn)時的，然而對ERP結(jié)果進行分析卻發(fā)現(xiàn)，視覺選擇性注意的條件下在視聽刺激同時出現(xiàn)時，誘發(fā)了晚期的聽覺加工負波，即當注意力僅指向視覺時，對聽覺刺激也存在后期增強的加工，聽覺刺激和視覺刺激在后期會相互關(guān)聯(lián)。研究者認為這種關(guān)聯(lián)可能是由于視聽刺激在時間和空間上的一致性。

研究者對視覺刺激呈現(xiàn)在外周時的視覺選擇性注意對視聽整合的影響進行了研究，使用d’（擊中率和誤報率的標準分數(shù)之差）作為行為指標，結(jié)果發(fā)現(xiàn)在視覺選擇性注意條件下，與任務無關(guān)的聽覺信息的出現(xiàn)會增強對呈現(xiàn)在外周的視覺信息檢測的可能性，如Wu等人（2009）的研究要求被試只注意屏幕左邊或者右邊的視覺信息，對所有聽覺信息進行忽略，結(jié)果發(fā)現(xiàn)在感覺認知加工后期與任務相關(guān)的視覺刺激和與任務無關(guān)的聽覺刺激發(fā)生了相互作用，聽覺刺激的出現(xiàn)促進了對視覺信息的檢測。有研究者使用與視覺刺激同側(cè)或者雙側(cè)同時出現(xiàn)的聽覺信息來探究視覺選擇注意條件對視聽整合的影響，結(jié)果發(fā)現(xiàn)同側(cè)和雙側(cè)的聽覺刺激出現(xiàn)時，被試的反應時均快于視覺刺激單獨出現(xiàn)，也就是說同側(cè)和雙側(cè)的聽覺刺激都會增強視覺信息的檢測，然而使用ERP進行研究后發(fā)現(xiàn)同側(cè)和雙側(cè)的聽覺刺激對視覺信息檢測的生理機制是不同的，同側(cè)聽覺刺激增強視覺信號檢測來源于早期感覺加工和后期認知加工，而雙側(cè)的只來源于后期的認知加工。

越來越多的研究證明了，當聽覺刺激和視覺刺激在空間與時間上一致時，在只對一種通道選擇注意的條件下，也會產(chǎn)生對另一種通道的無意識加工（Driver和Spence， 2000;Wu， J.，Li， Q.，Bai， O.，&Touge， T，2009）.Buss等人（2005）的研究表明在視覺選擇性注意的條件下，與任務無關(guān)的聽覺刺激也會引起模式特異性皮質(zhì)中的注意相關(guān)調(diào)節(jié)，這種調(diào)節(jié)被認為是反映了視聽整合。

3.分配性注意對視聽整合的影響

在考察選擇性注意對視聽整合的影響的研究中，研究者通常會在實驗中增加分配注意作為對比條件，分配注意就是要求被試同時注意視覺刺激和聽覺刺激，而在同時注意雙通道視聽刺激條件下被試的視聽整合效應優(yōu)于選擇性注意條件這一結(jié)果也被研究者們反復證實。 Barutchu等人（2013）選擇1000Hz的純音與閃爍紅光的圖片分別作為聽覺目標刺激（AT）與視覺目標刺激（VT），并選用500Hz的純音和閃爍綠光的圖片作為不反應的聽覺干擾刺激（VI）與視覺干擾刺激（VI），這樣實驗條件就有三種干擾刺激組合（AI、VI、AIVI）和五種目標刺激組合（ATVI、ATVT、AIVT、AT、VT），可以各種注意條件下的視聽整合效應進行對比。實驗結(jié)果表明當同時以視覺刺激和聽覺刺激為目標即分配性注意時，視聽整合的效應是最佳的。

在視覺和聽覺選擇性注意條件下，視聽整合對于視覺或聽覺事件檢測的促進作用總是發(fā)生在后期，無論是行為結(jié)果還是認知神經(jīng)學的結(jié)果都未發(fā)現(xiàn)選擇性注意條件下產(chǎn)生早期的視聽整合效應。然而大部分研究的結(jié)果都表明將注意同時分配到視覺刺激和聽覺刺激時視聽整合效應發(fā)生的更早（Talsma 等人，2007）。

越來越多的研究者使用ERP、fMRI等技術(shù)探究同時注意視聽覺刺激的分配行注意與視覺或者聽覺選擇性注意對視聽整合影響存在差異的生理機制。例如研究者選擇用ERP方法通過測量電極FCz、Cz和Pz的P50振幅來探究注意和視聽整合之間是如何相互作用的，結(jié)果發(fā)現(xiàn)同時注意視覺刺激和聽覺刺激的條件下P50的潛伏期顯著的小于視覺或者聽覺選擇性注意條件，并且視聽覺誘發(fā)的P50振幅顯著大于視覺刺激和聽覺刺激誘發(fā)的P50之和的現(xiàn)象也只在同時注意視聽覺的條件下存在（Talsma等人，2007）。也有研究者使用fMRI探究視覺選擇性注意、聽覺選擇性注意、視聽分配性注意對視聽整合的影響有何不同，結(jié)果發(fā)現(xiàn)在同時注意視聽覺刺激時，左右顳上葉皮層的注意相關(guān)調(diào)節(jié)作用強于視覺或者聽覺選擇性注意（Degerman等人，2007）。

這部分我們對比了視覺或者聽覺選擇性注意與分配性注意對視聽整合的影響的研究，對于視覺或聽覺選擇性注意，雖然存在爭議，但是綜合行為以及ERP等神經(jīng)生理結(jié)果，我們可以支持這樣的假設：即當視覺和聽覺刺激在同樣的空間和時間出現(xiàn)時，對一種通道的注意會引起對另一種與任務無關(guān)的通道的注意，使得與任務無關(guān)刺激和與任務相關(guān)刺激產(chǎn)生相互作用，促進視聽整合效應，并且這個過程一般發(fā)生在認知過程的晚期。對于分配性注意即同時對視覺和聽覺刺激進行注意的條件，大部分的研究結(jié)果支持了只有將注意分配到視聽刺激上，視聽整合效應才能在更早的階段發(fā)生這一結(jié)論，并且比起選擇性注意，分配性注意條件下的視聽整合效應更為顯著，更能促進被試的行為表現(xiàn)，在ERP和fMRI等結(jié)果中相關(guān)振幅峰值也更高。綜上所述，選擇性注意和分配性注意兩種注意模式都可以對視聽整合加工進行調(diào)節(jié)，而其中分配性注意對早期的視聽整合效應更有益，選擇性注意對視聽整合效應的調(diào)節(jié)通常發(fā)生在晚期。

4.應用與展望

目前，關(guān)于選擇性注意和分配性注意對視聽整合影響的研究方法已經(jīng)被研究者應用到對ASD自閉癥（Autism Spectrum Disorder）、AD阿爾茨海默癥（Alzheimer’s disease）等的診斷研究中，Jinglong Wu等人（2012）的研究發(fā)現(xiàn)，阿爾茨海默癥病人的視聽整合開始和最大獲益時間都比正常人晚。Magneé等人（2011）使用分散注意和選擇性注意的多感覺情緒任務對ASD的視聽整合效應進行研究，結(jié)果發(fā)現(xiàn)對照組在選擇和分配注意條件下都產(chǎn)生了視聽整合效應而ASD只在選擇性注意條件下產(chǎn)生了視聽整合效應，研究者認為這可能是由于ASD患者與正常人的注意機制不同，并且認為在ASD患者的感覺統(tǒng)合治療中加入注意的控制，可能比傳統(tǒng)訓練更有益。

另外雖然前人研究對選擇性注意和分配性注意對視聽整合影響進行了很深入的探討，但是在目前的文獻中仍然存在著有沖突和矛盾的結(jié)果，比如根據(jù)偏向競爭模型，被選擇通道的神經(jīng)反應會加強，而被忽略通道的神經(jīng)反應會被抑制，這可能會導致選擇性注意條件下不能產(chǎn)生視聽整合（Mishra. J&Gazzaley.A，2012），然而很多研究表明與任務無關(guān)的一種通道的信息會增強對另一種任務相關(guān)的信息的檢測，即產(chǎn)生了視聽整合冗余效應。目前的研究中關(guān)于產(chǎn)生這兩種不同結(jié)果的原因的探討較少，未來的研究可以從使用范式、行為結(jié)果結(jié)合認知神經(jīng)結(jié)果去進行探究。

吉林省教育廳科學技術(shù)研究項目（JJKH20211101KJ）;

中央高?；究蒲袠I(yè)務費專項資金資助（高低線索有效性條件下時間注意對視聽覺整合的影響機制研究，451210321096）;

奕陽教育研究院青年學者研究資助項目（371192001401）。