宋 麗 蘋

(鄭州成功財經(jīng)學(xué)院 文學(xué)與新聞傳播學(xué)系，河南 鄭州 451200)

?

應(yīng)用語言學(xué)研究的多模態(tài)分析方法

宋 麗 蘋

(鄭州成功財經(jīng)學(xué)院 文學(xué)與新聞傳播學(xué)系，河南 鄭州 451200)

摘要：多模態(tài)分析方法結(jié)合了符號學(xué)、社會學(xué)、美學(xué)、心理學(xué)以及政治學(xué)等多門學(xué)科的知識，具有較強的綜合性，最初僅僅將文字作為研究對象，目前已經(jīng)延伸到了圖片、音樂以及影像等領(lǐng)域。概述多模態(tài)分析理論與應(yīng)用語言學(xué)理論，提出應(yīng)用語言學(xué)研究的多模態(tài)分析方法。

關(guān)鍵詞：應(yīng)用語言學(xué)；多模態(tài)；分析方法

0前言

應(yīng)用語言學(xué)在人類交流中發(fā)揮著不可替代的作用，與普通語言學(xué)不同的是，其不是對某種語言特征或者使用方法進行直接研究，而是將交際理論作為基礎(chǔ)，明確了語言在交際中的重要地位。而交際不僅體現(xiàn)在語言使用習(xí)慣上，同時體現(xiàn)在思維和認知上，具有一定的文化性。應(yīng)用語言多模態(tài)分析法來研究應(yīng)用語言學(xué)，能夠進一步明確語言在“教”與“學(xué)”過程中的特征，對于應(yīng)用語言學(xué)的進一步發(fā)展具有重要意義。

1多模態(tài)分析法概述

1.1基本理論

一種語言有多種模態(tài)形式，包括文字、語音、畫面等，廣播以及閱讀小說屬于單模態(tài)話語，因為其在傳播過程中僅僅使用一種模態(tài)；看電視及使用可視電話屬于雙模態(tài)話語，因為其在傳播過程中同時使用了視覺以及聽覺模態(tài)。對話語進行多模態(tài)分析需要將系統(tǒng)功能語言學(xué)作為基礎(chǔ)。在所有社會符號中，語言是最重要的一種，但是要想將語言的價值充分發(fā)揮出來，需要其他社會符號的支持。例如，一個人在沉默時什么也沒有表達，但是卻在無聲中傳達了某種含義。多模態(tài)話語分析主要研究以下六個問題：第一，需要對多模態(tài)話語進行定義；第二，需要對話語進行轉(zhuǎn)錄，然后根據(jù)轉(zhuǎn)錄結(jié)果進行分析；第三，多模態(tài)話語分析技術(shù)有哪些；第四，多模態(tài)話語分析的意義是什么；第五，多模態(tài)與多媒體與多媒體語言學(xué)習(xí)之間存在怎樣的關(guān)系，前者可以為后者提供怎樣的支持；第六，多模態(tài)話語分析會對應(yīng)用語言學(xué)的研究和發(fā)展產(chǎn)生哪些影響?？傊诙嗄B(tài)分析方法的支持下，對應(yīng)用語言的研究實現(xiàn)了從文本到現(xiàn)場即席話語的突破，同時語料庫也不斷豐富，我們可以將其作為基礎(chǔ)對應(yīng)用語言學(xué)進行深入研究[1]。

1.2分析方法

多模態(tài)分析中一般都會使用分析軟件，本文主要介紹使用性較強的軟件ELAN，使用者可以在固定網(wǎng)站上直接下載。該軟件可以對人在說話中的所有表現(xiàn)進行分析，例如話語內(nèi)容，判斷內(nèi)容的邏輯性；也包括說話者的表情以及動作等，如面部是微笑還是緊張，肩部和手部是否做出什么動作，這些動作預(yù)示著什么等。之所以能夠具備以上功能，就是因為其在對視頻文件進行分析時采用了多層級同步標(biāo)注方法，能夠?qū)φf話中表現(xiàn)出來的所有元素進行同步分析?？偨Y(jié)來說ELAN軟件具有以下幾個優(yōu)勢：首先，視頻的播放精確度較高，可以精確到0.01秒，用戶可以根據(jù)自己的需要對視頻進行精確定位，進行循環(huán)播放；其次，標(biāo)注具有同步性，會與聲音和圖像同步呈現(xiàn)出來；第三，用戶可以根據(jù)自己的需要自由定義標(biāo)注編碼表，標(biāo)注層數(shù)不會受到限制；第四，可以將所有標(biāo)注鏈接起來，實現(xiàn)縱向?qū)Ρ?；第五，用戶可以根?jù)自己的需要和自身條件合理選擇輸出格式，該軟件可以對mp4、media、quick time等多種文件的格式進行標(biāo)注。如果文件為avi格式，可以先利用視頻轉(zhuǎn)換軟件將其轉(zhuǎn)換為ELAN允許的格式以后再進行標(biāo)注操作[2]。

2應(yīng)用語言學(xué)理論概述

2.1應(yīng)用語言學(xué)的發(fā)展

交際理論是應(yīng)用語言學(xué)的基礎(chǔ)，因為語言是交際的重要工具，任何一門語言都不是獨立的，而是存在于交際之中的。但是在過去很長一段時間內(nèi)，人們對應(yīng)用語言學(xué)的研究都停留在表層，簡單地對語言符號進行研究，但是卻忽視了對非語言符號的研究，包括語氣、表情以及聲音、音色等，實際上這些因素對語言交際會產(chǎn)生重要影響。隨著語言學(xué)研究理念的革新以及計算機技術(shù)的發(fā)展，多模態(tài)話語交際方法逐漸受到重視，并被廣泛運用于應(yīng)用語言學(xué)中，具有重要的理論和現(xiàn)實意義。多模態(tài)分析方式為交際語言的分析、理解和學(xué)習(xí)提供了豐富資料，突破了單純文字的限制，彌補了應(yīng)用語言學(xué)理論的不足[3]。

2.2多模態(tài)分析法在應(yīng)用語言學(xué)研究中的重要意義

多模態(tài)分析方法將言語行為理論、語言合作學(xué)習(xí)理論、關(guān)聯(lián)理論以及心理學(xué)理論等多種相關(guān)理論作為基礎(chǔ)，一方面分析了語言本體在交際過程中發(fā)揮的作用，另一方面分析了非語言符號對交際過程的影響，包括神情、動作、語氣以及音樂等，這些符號與語言結(jié)合起來才構(gòu)成了完整的交際。很多時候僅僅依靠語言無法準(zhǔn)確判斷出說話者所要傳達的完整信息，非語言符號在一定程度上起到了重要的補充說明作用。我們可以從以下幾個角度來理解多模態(tài)分析法在應(yīng)用語言學(xué)中的重要意義：

首先，其可以豐富語用分析關(guān)于語言使用的客觀描寫。人們在平時生活交際中，很多時候都喜歡使用一些非語言符號來傳達自己的意愿，從而實現(xiàn)交際目的。也就是說語言模態(tài)與非語言模態(tài)之間是無法被割裂的，在理解語言的過程中無法完全將非語言模態(tài)排除在外。例如，在道歉說“對不起”時，語氣里需要充滿歉意，表情要嚴肅，否則別人可能就感受不到道歉的誠意，達不到道歉目的[4]。

其次，其可以幫助人們判斷出一些非語言符號在表達和理解中的作用。語言和非語言模態(tài)信息之間存在一種內(nèi)在聯(lián)系，所有符號有機結(jié)合起來才能構(gòu)成完整的交際體。例如，路牌標(biāo)識上不僅僅要標(biāo)注清楚名稱，同時還要用箭頭標(biāo)明方向，否則標(biāo)識就失去意義。

3應(yīng)用語言學(xué)研究的多模態(tài)分析方法

3.1ELAN軟件簡述

前面提到過，ELAN軟件是一種實用性較強的多模態(tài)分析軟件，其主要具備以下幾種功能：一是可以對語言類型進行定義，包括文本、表情以及語音等。用戶有權(quán)利進行添加、刪除和修改操作。二是對層級進行定義。基本操作與上一步相同，用戶同樣有權(quán)進行添加、刪除和修改操作。三是視頻標(biāo)注。語言類型及層級定義完成以后，輸入標(biāo)注內(nèi)容。四是查找。用戶可以根據(jù)自己的需要在系統(tǒng)中找到自己需要的標(biāo)注，并自由選擇輸出格式。例如，如果用戶想要在文件中找到所有的降調(diào)標(biāo)注，就可以這樣操作：在屏幕上點擊查找菜單，彈出查找對話框以后，在其中輸入找到對象，點擊查找按鈕，文件中的所有降調(diào)標(biāo)注就會顯示出來，包括一共有幾處，每一處持續(xù)多久，開始和結(jié)束的時間分別是什么。五是替換。用戶可以對查找結(jié)果做替換處理，具體操作與上一步大致相同，彈出替換對話框以后，將需要替換的編碼輸入進去，完成替換操作[5]。

3.2多模態(tài)分析在第二語言中的應(yīng)用

3.2.1問題的設(shè)計

在研究多模態(tài)分析在第二語言中的應(yīng)用時，將四名英語教師的課堂錄像作為基本語料，其中包含兩位男教師、兩位女教師，主要研究音韻特征在英語課堂教學(xué)中的輔助作用，分析幾位教師使用了什么樣的音韻策略，取得了怎樣的效果。經(jīng)過多模態(tài)分析以后需要解決以下幾個問題：第一，幾位教師在音韻特征上是否有相同之處？第二，這些音韻特征在教學(xué)過程中發(fā)揮了什么作用？第三，不同教師在選擇音韻策略時是否存在差異性？

3.2.2賦碼方案的確定

研究問題確定以后，需要設(shè)計一個賦碼方案，方案分為三部分：一是音韻特征，二是句型，三是功能特征。具體編碼如下：音韻學(xué)用[P]表示，升調(diào)、降調(diào)、平調(diào)以及先升調(diào)后降調(diào)的代碼分別是[PIR][PIF][PIL][PIRF]。在對功能部分進行編碼時，直接用功能首字母的組合代表編碼，例如，提問功能的編碼是[FAQ]，結(jié)論功能的編碼是[FDC]。之后就可以按照這個賦碼方案對視頻文件進行標(biāo)注，本研究中定義了九個層級，具體如下：一是transcription，就是將教師的口頭語言轉(zhuǎn)換成文字；二是sentence pattern，標(biāo)注了各種類型的疑問句；三是pause，四是stress，五是intonation，六是silence，七是tempo，三、四、五、六、七是音韻特征范疇，在賦碼方案中占據(jù)重要位置；八是function，其將角色作為劃分依據(jù)；九是note，主要作用是解釋說明[6]。

3.2.3分析過程

在對課堂視頻進行標(biāo)注的過程中我們會發(fā)現(xiàn)，英語教師在課堂中發(fā)揮重要作用，其總共扮演了三個角色：一是組織者。任何教學(xué)活動都在教師的組織下進行。二是輔助者。學(xué)生的學(xué)習(xí)過程離不開教師的輔助。三是合作伙伴。教師與學(xué)生之間是平等互動的關(guān)系。分析表明，教師在扮演不同角色時所使用的音韻策略也有所不同，例如，在引起或者結(jié)束話題時(包括評論、總結(jié)等)，一般會使用降調(diào)伴隨重音，此時學(xué)生能夠感受到教師的權(quán)威性；而在吸引學(xué)生注意力(叫人回答問題、表揚學(xué)生)時，一般會使用升調(diào)，此時學(xué)生更能感受到輕松或者是被肯定。這些結(jié)論是對視頻文件進行定性分析后得到的，為了對這些結(jié)論進行進一步驗證，可以使用軟件定位功能播放相關(guān)階段視頻；如果還需要進一步定量分析，則需要將標(biāo)注結(jié)果輸出[7]。

3.2.4結(jié)論

最終統(tǒng)計結(jié)果表明，教師在扮演組織者角色的時候，引起或結(jié)束話題時多使用降調(diào)，吸引學(xué)生注意力時多使用升調(diào)；教師在扮演輔助者或者是合作伙伴時，大多數(shù)使用升調(diào)。四位英語教師在使用音韻策略時有一定的共性，使用停頓、重音以及語調(diào)的場景大致相同，且音韻重復(fù)策略在英語課堂教學(xué)中發(fā)揮了重要作用[8]。

3.3多模態(tài)分析在母語中的應(yīng)用

采用同樣的方法對母語的應(yīng)用進行分析，這里以主持人開場白為例。同樣需要解決三個問題：第一，主持人開場白體現(xiàn)了哪些音韻特征？面部表情及肢體語言如何？第二，以上幾點特征對主持行為產(chǎn)生了哪些影響？第三，以上非語言符號如何與語言符號結(jié)合起來發(fā)揮作用的？

根據(jù)以上幾個問題可以將視頻標(biāo)注設(shè)置為四個層級：一是話語內(nèi)容，將語音符號轉(zhuǎn)寫為文字符號；二是音位，包括停頓、語調(diào)、重音以及節(jié)奏等；三是肢體動作，包括面部表情的變化、眨眼頻率以及手勢等；四是功能，例如面部表情發(fā)揮了什么功能，手勢發(fā)揮了什么功能等。層級標(biāo)注完成以后同樣需要編制編碼表，與第二語言教學(xué)視頻中的標(biāo)記相同，分別用[PIR][PIF][PIL][PIRF]代表升調(diào)、降調(diào)、平調(diào)以及先升調(diào)后降調(diào)[9]。

之后需要對主持人開場白講話數(shù)據(jù)進行統(tǒng)計分析，然后輸出標(biāo)注結(jié)果，講話內(nèi)容、音韻、肢體動作等頻率以及所對應(yīng)的功能或者說達到的效果就會以一一對應(yīng)的方式直觀顯示出來。對標(biāo)注結(jié)果進行統(tǒng)計分析以后得出以下結(jié)論：首先，視頻中主持人的開場白中經(jīng)常使用音韻策略，語調(diào)以及停頓的使用成功吸引了觀眾的注意；其次，面部表情比較豐富，會在適當(dāng)時間使用手勢或者是移動位置，給人自然、放松的感覺；最后，語言內(nèi)容具有較強的梗概性，沉穩(wěn)卻不失幽默。總結(jié)來說就是該主持人成功使用了音韻策略以及肢體語言等，將語言符號與非語言符號巧妙地結(jié)合到了一起，展現(xiàn)出了主持人的風(fēng)范，達到良好的主持效果[10]。

4結(jié)語

隨著語言研究理論的發(fā)展，人們對應(yīng)用語言學(xué)的研究越來越深入，多模態(tài)分析法的發(fā)展為應(yīng)用語言學(xué)提供了新的研究方向。這種方法打破了原有將語言作為唯一研究對象的模式，同時對色彩、音韻、肢體語言等進行研究，明確這種非語言符號在交際中的重要作用，對于應(yīng)用語言學(xué)的進一步發(fā)展具有重要意義。

參考文獻：

[1]耿敬北,陳子娟.多模態(tài)話語跨學(xué)科研究述評[J].西華大學(xué)學(xué)報：哲學(xué)社會科學(xué)版,2014，(6):94—97+107.

[2]陳子娟,耿敬北.中國多模態(tài)話語分析回顧與展望[J].云南開放大學(xué)學(xué)報,2014，(4):72—77.

[3]馮德正,Kay O’Halloran.多模態(tài)語篇分析的進展與前沿[J].當(dāng)代語言學(xué),2014，(1):88—99+126.

[4]李戰(zhàn)子,陸丹云.多模態(tài)符號學(xué):理論基礎(chǔ),研究途徑與發(fā)展前景[J].外語研究,2012，(2):1—8.

[5]李戰(zhàn)子,陸丹云.系統(tǒng)功能語言學(xué)的研究熱點和發(fā)展方向[J].中國外語,2012，(6):91—95.

[6]陳文凱.語音多模態(tài)研究與多模態(tài)二語語音習(xí)得[J].外語電化教學(xué),2013，(4):59—63.

[7]陳新仁,錢永紅.多模態(tài)分析法在語用學(xué)研究中的應(yīng)用[J].中國外語,2011，(5):89—93.

[8]劉燕.多模態(tài)話語分析研究在中國的發(fā)展[J].晉中學(xué)院學(xué)報,2011，(5):108—111.

[9]李毅,石磊.教學(xué)中的多模態(tài)隱喻——應(yīng)用隱喻研究的新方向[J].外語電化教學(xué),2010,(3):47—49+56.

[10]黃立鶴,何繼紅.從《Routledge多模態(tài)分析手冊》看多模態(tài)語言研究[J].語言教育,2013，(1):92—95+97.

責(zé)任編輯：富春凱

中圖分類號：H09

文獻標(biāo)志碼：A

文章編號：1674-6341(2016)01-0152-03

作者簡介：宋麗蘋(1979—)，女，吉林蛟河人，碩士，講師。研究方向：漢語語法。

收稿日期：2015-12-06

doi:10.3969/j.issn.1674-6341.2016.01.066