多模態(tài)話語分析理論在新媒介時代的應(yīng)用

摘要:20世紀(jì)90年代西方興起的多模態(tài)話語分析,逐漸成為語言學(xué)研究的新熱點之一。通過回顧其在國外和國內(nèi)的發(fā)展歷史,重點解釋了多模態(tài)話語與社會符號學(xué)的關(guān)系,并展望未來發(fā)展方向。

關(guān)鍵詞:多模態(tài)話語分析;新媒介時代;社會符號學(xué)

中圖分類號:H04文獻(xiàn)標(biāo)志碼:A 文章編號:1002—2589(2009)14—0204—02

一、多模態(tài)話語分析理論

朱永生(2007),只使用一種模態(tài)的話語叫做“單模態(tài)話語”;同時使用兩種或兩種以上模態(tài)的話語叫做“多模態(tài)話語”。新媒介時代,語篇呈多模態(tài)化,20世紀(jì)90年代西方興起的多模態(tài)話語分析(multimodal discourse analysis)為由多種符號組成的語篇分析提供了途徑,幫助讀者了解不同模態(tài)作為社會符號,如何共同作用構(gòu)成意義,達(dá)到意義潛勢,對提高人們多模式話語識讀,具有積極的意義。多模態(tài)話語分析屬于社會符號學(xué)的分支,Halliday的系統(tǒng)語言學(xué)作為基礎(chǔ),具有跨學(xué)科、應(yīng)用性強特點,能運用在語音文字、建筑、城市設(shè)計及規(guī)劃、影視戲劇、音樂、PPT、教學(xué)和數(shù)據(jù)庫廣告、網(wǎng)站頁面設(shè)計、大型演出及舞臺表演、排版、音樂、教科書設(shè)計、教學(xué)等多領(lǐng)域,與傳媒學(xué)、批評話語分析等有緊密聯(lián)系,已經(jīng)影響了當(dāng)今很多學(xué)科的研究方向,如閱讀寫作能力教育、傳媒話語分析、文化研究等,對社會的經(jīng)濟(jì)能起直接的指導(dǎo)作用。該理論無論在國外還是在國內(nèi)都處于起步階段,在國外已經(jīng)有出版書目和召開國際會議,李戰(zhàn)子(2003)首次引入了多模態(tài)分析理論。

朱永生(2007),幾個關(guān)鍵字的概念,模式(mode)、媒介(medium)與模態(tài)(modality)。模式指系統(tǒng)功能語言學(xué)與話語范圍(field)和話語基調(diào)(tenor)并列的語境三要素之一的話語模式,指交流渠道,如口頭、書面、電子等。模態(tài)(modality)原指語言系統(tǒng)中講話者對事物的或然性進(jìn)行判斷和事物的必要性表明態(tài)度的語義系統(tǒng)情態(tài);這里指交流的渠道和媒介,包括語言、技術(shù)、圖象、顏色、音樂等符號系統(tǒng)。媒介是表達(dá)信息的物理工具。采用某一種媒體仍可以有不同模式表達(dá)信息,同樣的模式可以用不同媒體表達(dá)。

二、研究現(xiàn)狀

辛志英(2008)大致有:社會符號學(xué)流派,包括OToole、Kress、Leeuwen、Lemke、OHalloran、Baldry Thibault和Ventola等;交互社會學(xué)流派,包括Scollon、Norris及Jewitt等;認(rèn)知學(xué)流派,主要有Forceville和Holsanova等人。

社會符號學(xué)認(rèn)為語言以外的其他符號系統(tǒng)也是意義的源泉,認(rèn)為多模態(tài)話語本身也具有系統(tǒng)性,多功能性,即同時具有概念功能、人際功能和語篇功能;認(rèn)為語境因素和多模態(tài)話語的意義之間有著密不可分的聯(lián)系。Hodge&Kress(1978)《社會符號學(xué)》,以Halliday(1978/1994)的系統(tǒng)功能語言學(xué)為基礎(chǔ),把對語言社會符號性的研究擴(kuò)展到二維平面空間如圖像:Kress & van Leeuwen(1996)的《閱讀圖像》主要分析圖像等符號在語篇中的作用,重點探討圖像中的人物、地點和事物是如何組成視覺模式,實現(xiàn)其再現(xiàn)意義、互動意義和構(gòu)圖意義。OToole(1994)主要從級階的角度來分析圖象。Lemke(1998)探討了科學(xué)文章中圖表與文字的關(guān)系;OHalloran(1999)探討了數(shù)學(xué)公式與語言之間的轉(zhuǎn)換;Royce(1998)探討了廣告中圖像與文字的關(guān)系。Martinec&Salway(2005)、Len(2006)則詳細(xì)地探討了新舊媒體中的圖文二者關(guān)系。二維平面中的圖文關(guān)系:胡壯麟(2005)在PPT;成文&田海龍(2007)對2003年發(fā)布的SARS新聞病例報告進(jìn)行批評性分析;丁建新(2007)探討了童話插圖中的情態(tài)意義;王紅陽(2007)探討詩歌中排版的問題。田璐&劉澤權(quán)(2008)對上海世博會會徽進(jìn)行分析。程春松(2008)對電影海報的進(jìn)行多模態(tài)話語解讀。廣告:勵松青(2005)、莫少斌(2006),王紅陽(2007)、胡丹(2007)探討了紙質(zhì)廣告中多模態(tài)話語,主要是畫面與文字的互動。韋琴紅(2008)探討了多模態(tài)媒體語篇。電影:李妙晴(2007,2008)探討了電影中靜態(tài)畫面及動態(tài)畫面的多模態(tài)意義,從主題類型、結(jié)構(gòu)、場景、人物、視角、片名和海報如何進(jìn)行多模態(tài)互動。李戰(zhàn)子&向平(2007)著重分析《一個饅頭引發(fā)的血案》flash的類型步驟。介紹及綜述性文章:胡壯麟(2007)論述了多模態(tài)與計算機符號學(xué)的關(guān)系;朱永生(2007)論述4個問題:多模態(tài)話語的產(chǎn)生、定義、性質(zhì)和理論基礎(chǔ)、內(nèi)容、方法和意義。

聲音、音樂(van Leeuwen,1991,1999))分析了話語聲音、音樂、音響之間的關(guān)系。三維空間中,身體動作(Martinec,1998)和戲劇空間設(shè)計(Martin&Stenglin,1997,2006)。在教學(xué)上,Lemke(1990)、Jewitt&Kress(2003)、Jewitt(2006)研究了兒童習(xí)得和多模態(tài)話語習(xí)得。1996年,來自美國、英國和澳大利亞的十多名學(xué)者來到美國,共同商討新形勢下的教育改革,新倫敦小組(New London Group)是多元讀寫研究的開端,認(rèn)為隨著信息技術(shù)的發(fā)展,當(dāng)今世界發(fā)生了兩個變化:第一個變化是文化多元化趨勢,第二個變化是新型交際技術(shù)的發(fā)展,文字表達(dá)意義的做法正在與視覺、聽覺、手勢等彼此結(jié)合。多元讀寫教學(xué)法設(shè)計來幫助學(xué)生能適應(yīng)變化,迎接語言文化多元化、交際技術(shù)樣化挑戰(zhàn),應(yīng)該培養(yǎng)學(xué)生的多模態(tài)識讀能力(multiliteracy)(Cope and Kalantzis,2000 p.9),認(rèn)為包括以下四方面:1.實地操練;2.明確指導(dǎo);3.批評性框定;4.操練。曾蕾(2006)在三維空間中身體動作——國際會議演講語篇等領(lǐng)域進(jìn)行了多模態(tài)分析。

Baldry&Thibault(2006)的多模態(tài)記錄,Bateman(2004)等建立多模態(tài)語料庫管理平臺MCA(Multimodal Corpus Authoring)。顧曰國建立了漢語現(xiàn)場即席話語多模態(tài)語料庫。王立非&文艷艷(2008)主要介紹多模態(tài)分析軟件ELAN以及該軟件的主要功能,并舉例說明如何利用ELAN開展應(yīng)用語言學(xué)研究,并指出多模態(tài)研究方法應(yīng)用的價值和重要意義。在應(yīng)用上,有探討語篇與技術(shù)的關(guān)系(LeVine&Scollon,2004)和應(yīng)用文集(OHalloran,2004)。

電子語篇中的圖文關(guān)系葉起昌(2005、2006)),探討了傳統(tǒng)符號學(xué)對圖文關(guān)系的總結(jié):并提出在后印刷時代話語、超文本中圖像與文字的關(guān)系。曾蕾&梁紅艷(2007),認(rèn)為多語式表現(xiàn)超鏈接及其內(nèi)容。李妙晴(2007)探討了中國同學(xué)錄電子語篇的特點。

教學(xué):陳瑜敏&秦小怡,(2007,2008)考察教育語境下介入意義在多模式語篇中的圖文體現(xiàn)形式,顧曰國(2007)探討了多模態(tài)在網(wǎng)絡(luò)教學(xué)中的應(yīng)用;曾方本(2008)探討了多模態(tài)與技術(shù)的關(guān)系。張德祿(2009)提出一個多模態(tài)話語分析綜合理論框架探索。

由此可見,多模態(tài)話語分析在中國的研究主要集中在視覺模態(tài)和文字模態(tài)相結(jié)合的二維平面研究,對于視覺模態(tài)+聲音模態(tài)+文字的多模態(tài)語篇、空間模態(tài)的語篇較少涉及,在教學(xué)上和英語語料庫中更是基本處于萌芽狀態(tài)。

三、結(jié)論

朱永生(2007)也展望在未來的發(fā)展重點:第一個趨勢是對多模態(tài)互補作用的更加關(guān)注,第二個趨勢如從二維話語分析走向三維話語分析,從靜態(tài)研究走向動態(tài)研究等。Simpson(2003,轉(zhuǎn)引胡壯麟,2007),提出如下選題方向:多模態(tài)化和新的媒體,在學(xué)術(shù)和教育情境下的多模態(tài)化的應(yīng)用,多模態(tài)化與識讀實踐,多模態(tài)化語料庫的建立,多模態(tài)化和類型學(xué),多模態(tài)化話語分析及其理論問題。多模態(tài)化話語分析包括互聯(lián)網(wǎng)在話語分析中的作用,社會研究中的多模態(tài)話語分析,教育語境下的多模態(tài)話語分析,工作場所的多模態(tài)話語分析(Levine & Scollon2004)。

將來要既著手分析視覺模態(tài)、文字模態(tài)的互動,也研究視覺模態(tài)、聲音模態(tài)、文字模態(tài)的互動,還開展研究音樂模態(tài)與文字模態(tài)的結(jié)合,這是對多模態(tài)話語分析在國內(nèi)尚未對聲音模態(tài)研究零的突破;對網(wǎng)絡(luò)時代下,多媒體情況下自主學(xué)習(xí)及與課堂教學(xué)的結(jié)合作了詳細(xì)的分析,分析了視覺模態(tài)、聲音模態(tài)、文字模態(tài)、動作和手勢等多模態(tài)的特性及互動?？梢娚婕懊姹戎把芯扛鼜V,更加復(fù)雜及走向動態(tài)研究。將對建筑、城市規(guī)劃、展廳、大型表演等作多模態(tài)話語分析。對更為復(fù)雜的多模態(tài)共存的語篇如電影、音樂、建筑進(jìn)行研究,因為從事多模態(tài)話語分析的絕大多數(shù)是語言學(xué)者,而多模態(tài)話語分析是跨學(xué)科的。多模態(tài)話語分析理論的哲學(xué)基礎(chǔ)、多模態(tài)話語語料庫、多模態(tài)系統(tǒng)功能分析軟件、超模態(tài)、在動作、手勢中的體現(xiàn)等都有待研究。

參考文獻(xiàn):

[1]Baldry,A.P.and Thibault,P.J.Multimodal Transcription and Text[M].London:Equinox.2006.

[2]Cope,B.and Kalantzis,C(editors for the New London Group)(2000)Multiliteracies:Literacy Learning and the Design of Social Futures London:Routledge.

[3]Hodge,B.and Kress,G.Social Semiotic[M]s.Cambridge:Polity.(1988).

[4]Jewitt&Kress,Multimodal Literacy[M],Newyork:Perter Lang Publishing,2003.

[5]Jewitt,Carey,Technology,Literacy and learning[M],Newyork:Routledge,2006.

[6]Kress,Gunther & T van Leeuwen.Reading Images:the Grammar of Visual Design[M].London And Newyork:Routledge.1996.40-1.

[7]Kress,G.and Van Leeuwen,T.Multimodal Discourse[M].London:Arnold.(2001).

[8]OHalloran,K.(ed.),Multimodal Discourse Analysis[M].London:Continuum,2004.

[9]OToole,M.The Language of Displayed Ar[M]t.Leicester:Leicester University Press.(1994).

[10]Van Leeuwen,T.and Jewitt,C.(eds)Handbook of Visual Analysis[M].London:Sage.(2000).

[11]顧曰國.多媒體、多模態(tài)學(xué)習(xí)剖析[J].外語電化教學(xué),2007,(4).

[12]胡壯麟.社會符號學(xué)研究中的多模態(tài)化[J].語言教學(xué)與研究,2007,(1).

[13]李戰(zhàn)子.多模態(tài)話語的社會符號學(xué)分析[J].外語研究,2003,(5):1-8.

[14]朱永生.多模態(tài)話語分析的理論基礎(chǔ)與研究方法[J].外語學(xué)刊,2007,(5).

[15]朱永生.多元讀寫能力研究及其對我國教學(xué)改革的啟示[J].外語研究,2008,(4).

[16]辛志英.話語分析的新發(fā)展———多模態(tài)話語分析[J].社會科學(xué)輯刊,2008,(5).

[17]張德祿.多模態(tài)話語分析綜合理論框架探索[J].中國外語,2009,(1).

(責(zé)任編輯/石銀)