臧悅　劉芹

摘要：基于自建多模態(tài)學(xué)術(shù)英語(yǔ)口語(yǔ)語(yǔ)料庫(kù)，運(yùn)用多模態(tài)互動(dòng)分析方法，對(duì)中國(guó)理工科大學(xué)生學(xué)術(shù)英語(yǔ)口語(yǔ)中的非言語(yǔ)特征進(jìn)行研究，重點(diǎn)分析非言語(yǔ)模態(tài)結(jié)構(gòu)配置、模態(tài)特征和模態(tài)協(xié)同。結(jié)果顯示：目光交流和聲調(diào)為高強(qiáng)度模態(tài)，與主模態(tài)為補(bǔ)缺關(guān)系；手勢(shì)、面部表情、身體移動(dòng)和頭部活動(dòng)為次要模態(tài)，其中手勢(shì)與主模態(tài)成強(qiáng)化關(guān)系，其他模態(tài)與主模態(tài)成交疊關(guān)系。學(xué)生在學(xué)術(shù)英語(yǔ)口語(yǔ)表達(dá)中傾向于運(yùn)用目光交流和聲調(diào)變換構(gòu)成非言語(yǔ)交際，也有意識(shí)使用手勢(shì)強(qiáng)化表達(dá)內(nèi)容，但存在語(yǔ)氣平淡、表情不自然、身體僵硬、缺乏情感等情況。

關(guān)鍵詞：多模態(tài)；學(xué)術(shù)英語(yǔ)口語(yǔ)；理工科大學(xué)生；非言語(yǔ)特征

中圖分類(lèi)號(hào)：H 311???? 文獻(xiàn)標(biāo)志碼：A???? 文章編號(hào)：1009?895X（2023）01?0001?07

DOI：10.13256/j.cnki.jusst.sse.2023.01.001

Nonverbal Characteristics in Academic Spoken English among Chinese Science and Engineering Majors?From a Multimodal Perspective

ZANG Yue，LIU Qin

（ CollegeofForeign Languages， University ofShanghaifor Science and Technology， Shanghai 200093， China）

Abstract：Based? on? the? self-built? Multimodal? Corpus? of? Academic? Spoken? English，? nonverbal characteristics of Chinese science and engineering majors are studied by using multimodal interaction analysis method，? focusing on nonverbal modal configuration， modal? features and modal coordination. Results show that eye contact and intonation are high-intensity modes， which are complimentary to the main mode. Gesture， facial expression， body movement and head movement are secondary modes， among which gesture? strengthens the main mode and the other modes overlap with the main mode. Chinese science and engineering majors tend to form nonverbal communication through intonation and eye contact， and? consciously use? gestures to? strengthen? spoken? English? expression， but? certain? cases? of flat tone， unnatural facial expressions， rigid body movements and lack of emotion could be found.

Keywords ：multimodality； academic? spoken? English； Chinese? science? and? engineering? majors；nonverbal characteristics

當(dāng)前我國(guó)“新工科”建設(shè)要求人才培養(yǎng)與國(guó)際接軌，亟需能夠運(yùn)用英語(yǔ)開(kāi)展學(xué)術(shù)交流和從事相關(guān)工作的專(zhuān)業(yè)人才。近年來(lái)，國(guó)內(nèi)高校日益重視學(xué)術(shù)英語(yǔ)教學(xué)，聚焦于學(xué)術(shù)英語(yǔ)讀寫(xiě)能力的研究較多，如顧鈞儀[1]、王華[2]、朱效慧等[3]，而關(guān)注學(xué)術(shù)英語(yǔ)口語(yǔ)能力的較少。王華等[4]的相關(guān)研究表明，學(xué)生認(rèn)為參加學(xué)術(shù)英語(yǔ)口語(yǔ)小組活動(dòng)、在班級(jí)內(nèi)作學(xué)術(shù)英語(yǔ)口頭報(bào)告等具有很大困難。因此，有必要對(duì)高校中人數(shù)眾多的理工科大學(xué)生學(xué)術(shù)英語(yǔ)口語(yǔ)展開(kāi)研究。本文以第二作者主持的國(guó)家社科基金中自建的多模態(tài)學(xué)術(shù)英語(yǔ)口語(yǔ)語(yǔ)料庫(kù)為研究對(duì)象，旨在厘清理工科大學(xué)生進(jìn)行學(xué)術(shù)英語(yǔ)口語(yǔ)表達(dá)時(shí)的非言語(yǔ)特征，以期幫助他們提高學(xué)術(shù)英語(yǔ)口語(yǔ)能力。

一、多模態(tài)視角下的非言語(yǔ)特征

Samovar 將非言語(yǔ)交際定義為在特定交際環(huán)境中除了語(yǔ)言交際之外的，交際各方認(rèn)為有信息的因素，這些因素可以是人為的，也可以是交際環(huán)境中產(chǎn)生的[5]。Ross 認(rèn)為非言語(yǔ)交際行為傳達(dá)的信息占整個(gè)交際活動(dòng)的65%，遠(yuǎn)大于言語(yǔ)交際行為[6]。而隨著現(xiàn)代技術(shù)發(fā)展，多種模態(tài)共同參與了人類(lèi)交際活動(dòng)，如音樂(lè)、圖像、圖標(biāo)等，可見(jiàn)非言語(yǔ)交際在交際活動(dòng)中的重要性。繼張德祿提出多模態(tài)話語(yǔ)分析理論框架[7]之后，涌現(xiàn)出許多基于多模態(tài)理論的研究，大部分將非言語(yǔ)特征視為多模態(tài)理論中的一部分。例如：孫志楠提出可以將多模態(tài)理論應(yīng)用于大學(xué)英語(yǔ)口語(yǔ)教學(xué)[8]；唐嘉梨利用參與者的體勢(shì)語(yǔ)研究了動(dòng)態(tài)視頻中的模態(tài)協(xié)同[9]；孫鑫等提出多模態(tài)分析方法可以全面描述教師的言語(yǔ)和非言語(yǔ)特征，并從口語(yǔ)、書(shū)面語(yǔ)和非語(yǔ)言行為方面對(duì)一名英語(yǔ)教師90分鐘課程的教學(xué)支架進(jìn)行多模態(tài)分析，發(fā)現(xiàn)其使用大量非言語(yǔ)行為來(lái)輔助言語(yǔ)行為[10]。然而，鮮有運(yùn)用多模態(tài)理論探討特定群體或特定體裁非言語(yǔ)特征的研究。

二、研究設(shè)計(jì)

（一）研究問(wèn)題

（1）理工科大學(xué)生學(xué)術(shù)英語(yǔ)口語(yǔ)非言語(yǔ)模態(tài)結(jié)構(gòu)如何？各模態(tài)有什么特征？

（2）不同年級(jí)與不同性別學(xué)生在非言語(yǔ)模態(tài)使用方面存在什么差異？

（3）理工科大學(xué)生學(xué)術(shù)英語(yǔ)口語(yǔ)的模態(tài)協(xié)同方式如何？

（二）研究對(duì)象

本研究的研究對(duì)象為中國(guó)理工科大學(xué)生，采用的語(yǔ)料為多模態(tài)學(xué)術(shù)英語(yǔ)口語(yǔ)語(yǔ)料庫(kù)（Multimodal Corpus? of Academic? Spoken? English，? MUCASE ）。該語(yǔ)料來(lái)源于國(guó)家社科基金項(xiàng)目“中國(guó)理工科大學(xué)生學(xué)術(shù)英語(yǔ)泛在學(xué)習(xí)模式構(gòu)建研究”（項(xiàng)目編號(hào)：19BYY232），包含用 Elan 6.2軟件進(jìn)行多模態(tài)標(biāo)注的100個(gè)學(xué)術(shù)英語(yǔ)口語(yǔ)視頻。學(xué)術(shù)口語(yǔ)的定義是用正式語(yǔ)言口頭匯報(bào)專(zhuān)業(yè)學(xué)習(xí)和研究的內(nèi)容。這些視頻來(lái)自上海某高校的100名理工科專(zhuān)業(yè)學(xué)生，涵蓋機(jī)械、土木工程、電氣工程、能源動(dòng)力等專(zhuān)業(yè)，分為兩類(lèi)。第一類(lèi)為一年級(jí)學(xué)生在 PPT 輔助下用學(xué)術(shù)語(yǔ)言進(jìn)行關(guān)于小組研究的英文匯報(bào)，例如：網(wǎng)絡(luò)工程專(zhuān)業(yè)的學(xué)生匯報(bào)了區(qū)塊鏈的現(xiàn)狀、特點(diǎn)及發(fā)展前景；熱能專(zhuān)業(yè)的學(xué)生匯報(bào)了渦輪式噴射引擎的構(gòu)造、工作原理、優(yōu)點(diǎn)和局限性。第二類(lèi)為二年級(jí)學(xué)生在沒(méi)有 PPT 輔助的情況下進(jìn)行關(guān)于自身專(zhuān)業(yè)的英文匯報(bào)，例如：通信工程專(zhuān)業(yè)的學(xué)生闡述了該專(zhuān)業(yè)的重要性、課程內(nèi)容及就業(yè)前景；電子信息專(zhuān)業(yè)的學(xué)生介紹了該專(zhuān)業(yè)的研究方向、未來(lái)前景及自身的學(xué)習(xí)感受。此100個(gè)視頻的每個(gè)視頻時(shí)長(zhǎng)為3～6分鐘，按年級(jí)包含25個(gè)一年級(jí)學(xué)生視頻和75個(gè)二年級(jí)學(xué)生視頻，按性別包含56個(gè)男生視頻和44個(gè)女生視頻，合計(jì)時(shí)長(zhǎng)為399分13秒。

（三）研究方法

1.語(yǔ)料庫(kù)標(biāo)注

本文采用的標(biāo)注框架是劉芹、潘鳴威結(jié)合大學(xué)生英語(yǔ)口語(yǔ)輸出特點(diǎn)設(shè)計(jì)的多模態(tài)英語(yǔ)口語(yǔ)語(yǔ)料標(biāo)注體系[11]，分為言語(yǔ)和非言語(yǔ)兩大類(lèi)。每個(gè)視頻在標(biāo)注時(shí)分為6種模態(tài)，即聲調(diào)（intonation）、目光交流（ eye contact）、手勢(shì)（gesture）、身體移動(dòng)（body movement）、面部表情（facial expression）和頭部活動(dòng)（head）。在實(shí)際標(biāo)注時(shí)，每種模態(tài)又進(jìn)行細(xì)分。標(biāo)注軟件 Elan 6.2的標(biāo)注界面，能清晰展示不同的模態(tài)層級(jí)，以及不同模態(tài)下具體的模態(tài)活動(dòng)，界面同時(shí)展示各具體模態(tài)發(fā)生的時(shí)間和時(shí)長(zhǎng)等（見(jiàn)圖1）。

2.多模態(tài)互動(dòng)分析

多模態(tài)互動(dòng)分析是多模態(tài)研究的重要方法之一，其分析的對(duì)象是社會(huì)交際活動(dòng)，因而具有現(xiàn)實(shí)意義。本研究中大學(xué)生進(jìn)行的學(xué)術(shù)英語(yǔ)口語(yǔ)輸出可以對(duì)應(yīng)現(xiàn)實(shí)情境里的交際活動(dòng)，例如在班級(jí)課堂上或是國(guó)際會(huì)議上用英語(yǔ)介紹自己的專(zhuān)業(yè)或某一領(lǐng)域的成果等。張德祿、王正[12]提出的多模態(tài)互動(dòng)分析基本框架從文化語(yǔ)境、情景語(yǔ)境、互動(dòng)話語(yǔ)、模態(tài)和媒介五個(gè)方面分析互動(dòng)活動(dòng)。他們對(duì)大學(xué)英語(yǔ)課堂進(jìn)行多模態(tài)互動(dòng)分析后發(fā)現(xiàn)：教師在朗讀和講解時(shí)的模態(tài)資源配置為教科書(shū)和口語(yǔ)是主模態(tài)，因?yàn)檫@兩種模態(tài)缺一不可，且都為高強(qiáng)度模態(tài)；其他模態(tài)可有可無(wú)，為次模態(tài)。教師在教學(xué)活動(dòng)時(shí)應(yīng)突出一種高強(qiáng)度模態(tài)，避免頻繁改變模態(tài)結(jié)構(gòu)配置，分散學(xué)生注意力，影響教學(xué)效果。多模態(tài)互動(dòng)分析研究的重點(diǎn)問(wèn)題之一是多種模態(tài)的特征及其它們之間的關(guān)系，這種關(guān)系由模態(tài)密度和模態(tài)資源配置來(lái)體現(xiàn)。模態(tài)密度能夠展現(xiàn)交際者交際過(guò)程中各種模態(tài)所占的比重，而模態(tài)結(jié)構(gòu)配置能夠展現(xiàn)各種模態(tài)的重要性和關(guān)系，以及各種模態(tài)如何協(xié)作完成交際活動(dòng)。本研究嘗試將多模態(tài)互動(dòng)分析方法應(yīng)用于中國(guó)理工科大學(xué)生的學(xué)術(shù)英語(yǔ)口語(yǔ)教學(xué)，探討其非言語(yǔ)特征。

3.數(shù)據(jù)統(tǒng)計(jì)

模態(tài)密度可以體現(xiàn)為模態(tài)強(qiáng)度和模態(tài)復(fù)雜度兩種形式。模態(tài)強(qiáng)度指的是一種模態(tài)在互動(dòng)中的重要性或權(quán)重。本研究的模態(tài)強(qiáng)度表現(xiàn)為每種模態(tài)的時(shí)長(zhǎng)占視頻總時(shí)長(zhǎng)的比例。模態(tài)復(fù)雜度指活動(dòng)者進(jìn)行活動(dòng)時(shí)使用的模態(tài)數(shù)量，模態(tài)數(shù)量越高，模態(tài)復(fù)雜度就越高。本研究提取 MUCASE 中全部學(xué)術(shù)英語(yǔ)口語(yǔ)多模態(tài)標(biāo)注文件的各個(gè)具體模態(tài)時(shí)長(zhǎng)，并作統(tǒng)計(jì)分析。

三、結(jié)果及討論

（一）非言語(yǔ)模態(tài)特點(diǎn)

本研究統(tǒng)計(jì)了6種模態(tài)各自的總時(shí)長(zhǎng)以及所有視頻的總時(shí)長(zhǎng)，并計(jì)算出6種模態(tài)各自占總時(shí)長(zhǎng)的比例。結(jié)果顯示，目光交流和聲調(diào)的模態(tài)密度占比遠(yuǎn)高于其他模態(tài)，分別為38%和37%；接下來(lái)是手勢(shì)模態(tài)，占比20%；另外3種模態(tài)中，面部表情占比3%，頭部活動(dòng)和身體移動(dòng)各占比1%?？梢酝茢啵瑢W(xué)術(shù)英語(yǔ)口語(yǔ)的非言語(yǔ)模態(tài)資源配置中目光交流和聲調(diào)為高強(qiáng)度模態(tài)，是學(xué)術(shù)口語(yǔ)必需的模態(tài)；其次是手勢(shì)模態(tài)；頭部活動(dòng)、身體活動(dòng)和面部表情對(duì)于學(xué)術(shù)口語(yǔ)并非必須，但參與者仍在使用。因此，本研究重點(diǎn)分析目光交流和聲調(diào)兩種模態(tài)。

1.目光交流

本研究中的目光交流模態(tài)分為看手稿（ look atdraft）、看向觀眾（ with? audience）、看輔助 PPT （ look at PPT ）、抬頭看（look up ）、向下看（ look down）和眨眼（blink）。統(tǒng)計(jì)目光交流模態(tài)中不同目光交流活動(dòng)的時(shí)長(zhǎng)占比可知：學(xué)生看向 PPT 的時(shí)間最長(zhǎng)（占比66%）；其次是看向手稿（17%）和與觀眾目光交流（13%）；抬頭看和向下看的時(shí)間占比較小（分別為3%和1%）；沒(méi)有眨眼的情況發(fā)生。在有 PPT 輔助的情況下，學(xué)生傾向于機(jī)械地朗讀 PPT 上的文字；而沒(méi)有 PPT 輔助時(shí)，學(xué)生也會(huì)朗讀預(yù)先準(zhǔn)備的手稿。這時(shí)他們的聲調(diào)大多是平調(diào)，因而呈現(xiàn)的學(xué)術(shù)英語(yǔ)口語(yǔ)語(yǔ)氣平淡，沒(méi)有重點(diǎn)，缺乏感情。而交際過(guò)程中最重要的部分，與觀眾目光交流的占比卻很小，且為數(shù)不多的目光交流時(shí)間也僅出現(xiàn)在開(kāi)頭的問(wèn)候或結(jié)尾的感謝中。筆者推測(cè)，學(xué)生由于緊張，迫切地想完成任務(wù)，害怕出現(xiàn)忘詞的情況，因而過(guò)于依賴(lài) PPT 和手稿等工具，導(dǎo)致看向輔助工具的時(shí)長(zhǎng)過(guò)多，忽略與觀眾的目光交流。影響學(xué)術(shù)英語(yǔ)口語(yǔ)非言語(yǔ)特征的因素有演講內(nèi)容的難度、學(xué)生的個(gè)性與性別、外界環(huán)境等。為了解影響目光交流模態(tài)的具體原因，筆者對(duì)個(gè)別學(xué)生進(jìn)行了訪談。目光交流時(shí)間過(guò)少的學(xué)生表示，除了上述原因，雖然他們能夠意識(shí)到與觀眾目光交流的重要性，但他們對(duì)自己的英語(yǔ)口語(yǔ)感到不自信，擔(dān)心演講內(nèi)容不夠充實(shí)，害怕忘詞的情況出現(xiàn)。目光交流時(shí)間較多的學(xué)生同樣表示：目光交流對(duì)學(xué)術(shù)英語(yǔ)口語(yǔ)不可或缺，與觀眾目光交流可以提高學(xué)術(shù)英語(yǔ)口語(yǔ)的質(zhì)量，幫助觀眾更好地理解內(nèi)容；成績(jī)的壓力也使他們努力背誦口語(yǔ)內(nèi)容，減少看手稿的頻率。

2.聲調(diào)

聲調(diào)作為伴語(yǔ)言特征，和身體特征一起起著輔助語(yǔ)言的作用，從而完成社會(huì)交際活動(dòng)。本研究中，聲調(diào)模態(tài)分為聲調(diào)（ R ）、降調(diào)（ F ）、平調(diào)（ L ）、升降調(diào)（ RF ）和降升調(diào)（ FR ）。統(tǒng)計(jì)聲調(diào)模態(tài)中不同聲調(diào)的時(shí)長(zhǎng)占比可知：使用最多的聲調(diào)模態(tài)是平調(diào)（62%）；緊接著是升降調(diào)和降升調(diào)，分別為15%和13%；占比最小的是升調(diào)和降調(diào)，分別為7%和3%。筆者發(fā)現(xiàn)，內(nèi)容在很大程度上影響學(xué)術(shù)英語(yǔ)口語(yǔ)的聲調(diào)模態(tài)。在陳述過(guò)渡句和轉(zhuǎn)折句時(shí)，學(xué)生傾向于用升降調(diào)吸引觀眾注意并表達(dá)重點(diǎn)。例如“At this time we need a green environmental pro- tection， clean renewable energy to stand out.”一句，學(xué)生對(duì)時(shí)間狀語(yǔ)“at this time ”使用升調(diào)，試圖吸引觀眾的注意，接著對(duì)“clean renewable energy to? stand out ”使用降調(diào)，起到強(qiáng)調(diào)的作用，突出清潔能源的重要性，便于展開(kāi)后面的論證。在陳述展示類(lèi)內(nèi)容，例如調(diào)研活動(dòng)步驟等時(shí)，學(xué)生傾向于使用平調(diào)。而對(duì)于學(xué)術(shù)英語(yǔ)口語(yǔ)里的問(wèn)句，學(xué)生有意識(shí)地對(duì)選擇疑問(wèn)句使用降調(diào)，而對(duì)于一般疑問(wèn)句卻忽略使用升調(diào)，比如說(shuō)到“Is the charging rate of solar? charger faster than that of ordinary battery charger？”一句。筆者推測(cè)，這是由于句子字?jǐn)?shù)過(guò)長(zhǎng)，學(xué)生會(huì)忘記此句的重點(diǎn)，從而傾向于將每個(gè)詞都讀成平調(diào)，忽略聲調(diào)的變換。

3.其他模態(tài)的特點(diǎn)

手勢(shì)分為移動(dòng)左手（ move left hand）、移動(dòng)右手（ move? right? hand）、移動(dòng)雙手 （ move both hands）、把左手放在胸前（ put left hand on the chest）、把右手放在胸前（ put right hand on the chest）、把雙手放在胸前 （ put both hands on the chest）、揮手（ wave hands）和不斷擺動(dòng)雙手（constantly shake hands）。統(tǒng)計(jì)手勢(shì)模態(tài)中不同手勢(shì)時(shí)間占比情況可知：不斷擺動(dòng)雙手的手勢(shì)時(shí)間占比最大（39%）；其次是移動(dòng)右手（21%）；而移動(dòng)雙手、移動(dòng)左手和將雙手放于胸前的時(shí)間占比較小，分別為15%、14%和11%；其余手勢(shì)很少發(fā)生。內(nèi)容也是手勢(shì)模態(tài)的影響因素之一。進(jìn)一步分析視頻，發(fā)現(xiàn)有學(xué)生在匯報(bào)全程僅有兩次手勢(shì)，有的學(xué)生手勢(shì)頻次雖然很高，但均為無(wú)效手勢(shì)，如推眼鏡、撥頭發(fā)等，這表現(xiàn)出他們表達(dá)學(xué)術(shù)英語(yǔ)口語(yǔ)時(shí)的緊張和不安。也有的學(xué)生有意識(shí)地利用手勢(shì)，配合 PPT 來(lái)輔助自己的口語(yǔ)輸出，比如在介紹重要概念時(shí)，他們會(huì)在陳述時(shí)移動(dòng)左手指向 PPT ，引導(dǎo)觀眾注意圖片上的內(nèi)容。在遇到忘詞或單詞難讀等停頓情況時(shí)，有些學(xué)生會(huì)配上用單手在胸前劃圈的手勢(shì)幫助表達(dá)口語(yǔ)內(nèi)容。有些學(xué)生進(jìn)行學(xué)術(shù)英語(yǔ)口語(yǔ)表達(dá)時(shí)，絕大部分時(shí)間都在不斷地晃動(dòng)雙手，這是一種緩解緊張的下意識(shí)行為。雖然幅度較小的晃動(dòng)雙手手勢(shì)并不影響口語(yǔ)輸出的質(zhì)量，但如果幅度較大、頻率較高則會(huì)影響口語(yǔ)表達(dá)效果，帶給觀眾不佳的體驗(yàn)。關(guān)于其他三種模態(tài)，許多學(xué)生沒(méi)有表情或面部表情不自然，也有學(xué)生在一些引入概念的問(wèn)句處皺眉，比如會(huì)通過(guò)問(wèn)“What is the blockchain？”為下文新概念的引入作鋪墊。關(guān)于頭部活動(dòng)，學(xué)生多在意識(shí)到自己說(shuō)錯(cuò)并想要更正時(shí)，會(huì)用到搖頭的頭部活動(dòng)，而點(diǎn)頭多發(fā)生在難讀的句子的停頓處。最后，大部分學(xué)生沒(méi)有身體動(dòng)作，為數(shù)不多的身體動(dòng)作發(fā)生在開(kāi)頭的問(wèn)候和結(jié)尾的感謝部分。筆者對(duì)手勢(shì)較少的學(xué)生進(jìn)行訪談，有些學(xué)生表示是由于緊張，有些學(xué)生表示沒(méi)有意識(shí)到手勢(shì)可以幫助學(xué)術(shù)英語(yǔ)口語(yǔ)表達(dá)。手勢(shì)較多的學(xué)生表示，在強(qiáng)調(diào)重點(diǎn)內(nèi)容、引入重要概念時(shí)，手勢(shì)可以幫助內(nèi)容的表達(dá)，使觀眾更好地理解內(nèi)容，但在緊張或忘詞造成的停頓時(shí)還是存在許多下意識(shí)的無(wú)效手勢(shì)，它們可能會(huì)影響學(xué)術(shù)英語(yǔ)口語(yǔ)的整體質(zhì)量。

（二）差異性分析

本研究首先計(jì)算出每位學(xué)生6種模態(tài)的模態(tài)強(qiáng)度，即每一模態(tài)的時(shí)長(zhǎng)占視頻總時(shí)長(zhǎng)的比例，再運(yùn)用 SPSS 26.0對(duì)100名學(xué)生6種模態(tài)的模態(tài)強(qiáng)度進(jìn)行描述性統(tǒng)計(jì)，見(jiàn)表1。只有目光交流模態(tài)的偏度（ skewness）和峰度（ kurtosis）在?2和+2之間，符合正態(tài)分布，數(shù)據(jù)統(tǒng)計(jì)方法見(jiàn) Bachman[13]。因此采用獨(dú)立樣本 t 檢驗(yàn)方法進(jìn)行目光交流模態(tài)的年級(jí)和性別差異分析，用 Mann-Whitney U 檢驗(yàn)方法進(jìn)行其他5種模態(tài)的年級(jí)和性別差異分析。

1.年級(jí)差異分析

MUCASE 包含25個(gè)一年級(jí)學(xué)生視頻和75個(gè)二年級(jí)學(xué)生視頻。對(duì)比分析結(jié)果顯示，一年級(jí)和二年級(jí)學(xué)生的6種模態(tài)密度均不存在顯著差異（ p>0.050）。筆者認(rèn)為原因如下： （1）雖然二年級(jí)學(xué)生比一年級(jí)學(xué)生多學(xué)習(xí)一年的英語(yǔ)課程，但他們的學(xué)術(shù)英語(yǔ)口語(yǔ)非言語(yǔ)交際能力并沒(méi)有顯著提高；（2）學(xué)生進(jìn)行學(xué)術(shù)英語(yǔ)口語(yǔ)活動(dòng)時(shí)，有無(wú) PPT 的輔助對(duì)他們的非言語(yǔ)特征并無(wú)顯著影響。

2.性別差異分析

MUCASE 包含56個(gè)男生視頻和44個(gè)女生視頻。對(duì)比結(jié)果顯示，男女學(xué)生進(jìn)行學(xué)術(shù)英語(yǔ)口語(yǔ)表達(dá)時(shí)，面部表情和目光交流模態(tài)有顯著差異（ p1=0.014， t1（98）=?2.0， p2=0.047， t2（98）=2.1），其他4種模態(tài)均不存在顯著差異（ p>0.050）。因此，本研究進(jìn)一步分析男女學(xué)生面部表情和目光交流兩種模態(tài)下的具體動(dòng)作。

面部表情分為微笑（ smile）和皺眉（brow）。先對(duì)面部表情下兩個(gè)具體表情的模態(tài)強(qiáng)度進(jìn)行描述性統(tǒng)計(jì)，通過(guò)傾斜度和峰值可知數(shù)據(jù)呈現(xiàn)正態(tài)分布，因此采用獨(dú)立樣本 t 檢驗(yàn)方法檢驗(yàn)?zāi)信畬W(xué)生在具體表情的使用上是否存在顯著差異。結(jié)果顯示，在進(jìn)行學(xué)術(shù)英語(yǔ)口語(yǔ)表達(dá)時(shí)，男女生微笑和皺眉的模態(tài)強(qiáng)度均顯示顯著差異（ p1<0.001， t1（98）=?4.9， p2=0.046， t2（98）=2.0）。描述性數(shù)據(jù)顯示，女生微笑的模態(tài)強(qiáng)度比男生高，而男生皺眉的模態(tài)強(qiáng)度比女生高。

對(duì)具體的目光交流動(dòng)作模態(tài)進(jìn)行描述性統(tǒng)計(jì)可知，與觀眾目光交流和看 PPT 這兩個(gè)動(dòng)作的數(shù)據(jù)呈現(xiàn)正態(tài)分布，其他4種動(dòng)作模態(tài)的數(shù)據(jù)不顯示正態(tài)分布，因此利用獨(dú)立樣本 t 檢驗(yàn)方法檢驗(yàn)這兩個(gè)動(dòng)作的性別差異，用 Mann-Whitney U 檢驗(yàn)方法檢驗(yàn)?zāi)抗饨涣髂B(tài)其他4種動(dòng)作模態(tài)的性別差異。結(jié)果顯示，男女生只有在看 PPT 這一個(gè)動(dòng)作上呈現(xiàn)顯著差異（t（98）=?2.2， p =0.029）。且描述性數(shù)據(jù)顯示，女生看向 PPT 的時(shí)間長(zhǎng)于男生。觀察具體視頻，發(fā)現(xiàn)女生傾向于借助 PPT 上的內(nèi)容進(jìn)行學(xué)術(shù)口語(yǔ)表達(dá)，而男生則傾向于借助手稿，忽略對(duì)多媒體的使用。

（三）模態(tài)協(xié)同

張德祿等將模態(tài)之間的關(guān)系分為互補(bǔ)關(guān)系與非互補(bǔ)關(guān)系[14]?；パa(bǔ)關(guān)系中通常一種模態(tài)為基本模態(tài)，另一種起補(bǔ)充作用。這種補(bǔ)充可以是強(qiáng)化也可以是補(bǔ)缺，前者指一種或多種形式強(qiáng)化作為基本交際形式的模態(tài)，而后者指兩種模態(tài)缺一不可。非互補(bǔ)關(guān)系表示一種模態(tài)對(duì)另一種模態(tài)的表現(xiàn)沒(méi)有大的貢獻(xiàn)，但仍然作為一種模態(tài)出現(xiàn)。非互補(bǔ)關(guān)系一般表現(xiàn)為交疊和語(yǔ)境交互。交疊指兩種或多種模態(tài)同時(shí)出現(xiàn)，但它們之間并沒(méi)有相互強(qiáng)化關(guān)系。語(yǔ)境交互指模態(tài)與語(yǔ)境之間的關(guān)系，可以是消極的也可以是積極的。由于學(xué)術(shù)口語(yǔ)的進(jìn)程由學(xué)生的口語(yǔ)交際進(jìn)程控制，所以言語(yǔ)模態(tài)在研究學(xué)術(shù)口語(yǔ)活動(dòng)模態(tài)協(xié)同時(shí)不可或缺。本研究的模態(tài)協(xié)同部分從言語(yǔ)模態(tài)和非言語(yǔ)模態(tài)入手，探討非言語(yǔ)模態(tài)如何與其他模態(tài)協(xié)同，結(jié)果見(jiàn)表2。

表2顯示，學(xué)生進(jìn)行學(xué)術(shù)口語(yǔ)輸出時(shí)，聲調(diào)、目光交流和手勢(shì)模態(tài)與主模態(tài)的關(guān)系為互補(bǔ)，聲調(diào)和目光交流模態(tài)表現(xiàn)為補(bǔ)缺，手勢(shì)模態(tài)表現(xiàn)為強(qiáng)化。這是因?yàn)槁曊{(diào)和目光交流模態(tài)為高強(qiáng)度模態(tài)，對(duì)于主模態(tài)來(lái)說(shuō)非常重要。聲調(diào)模態(tài)有著輔助口語(yǔ)、表達(dá)情感、強(qiáng)調(diào)重點(diǎn)的作用；而目光交流模態(tài)起著輔助口語(yǔ)、給予提示、吸引觀眾注意的作用。手勢(shì)模態(tài)為次要模態(tài)，可以輔助并組織口語(yǔ)活動(dòng)，強(qiáng)調(diào)內(nèi)容重點(diǎn)并吸引觀眾注意。頭部活動(dòng)、面部表情和身體活動(dòng)模態(tài)與主模態(tài)關(guān)系為非互補(bǔ)關(guān)系，表現(xiàn)為交疊關(guān)系。它們?cè)趯W(xué)術(shù)英語(yǔ)口語(yǔ)中占比較小，但仍然以模態(tài)形式出現(xiàn)，都起著輔助口語(yǔ)表達(dá)的作用。

四、結(jié)論

本文基于多模態(tài)學(xué)術(shù)英語(yǔ)口語(yǔ)語(yǔ)料庫(kù)，運(yùn)用多模態(tài)互動(dòng)分析方法，探討理工科大學(xué)生學(xué)術(shù)英語(yǔ)口語(yǔ)中的非言語(yǔ)特征。研究發(fā)現(xiàn)，目光交流和聲調(diào)為高強(qiáng)度模態(tài)，與主模態(tài)為補(bǔ)缺關(guān)系。學(xué)生進(jìn)行學(xué)術(shù)英語(yǔ)口語(yǔ)表達(dá)時(shí)，目光交流模態(tài)中看向 PPT 的時(shí)間占比最大，其次是看向手稿和與觀眾目光交流，抬頭看和向下看的時(shí)間占比較小。聲調(diào)模態(tài)中，使用最多的是平調(diào)，接著是升降調(diào)和降升調(diào)，升調(diào)和降調(diào)使用較少。手勢(shì)、面部表情、身體移動(dòng)和頭部活動(dòng)為次要模態(tài)，其中手勢(shì)與主模態(tài)成強(qiáng)化關(guān)系，其他模態(tài)與主模態(tài)成交疊關(guān)系。不同年級(jí)的學(xué)生在非言語(yǔ)特征上并不存在顯著差異。女生微笑的模態(tài)強(qiáng)度比男生高，而男生皺眉的模態(tài)強(qiáng)度比女生高，且女生更傾向于使用 PPT 進(jìn)行學(xué)術(shù)英語(yǔ)口語(yǔ)表達(dá)。學(xué)生有意識(shí)地使用手勢(shì)和輔助工具，如指向PPT 這類(lèi)動(dòng)作等強(qiáng)化口語(yǔ)，但仍然存在面部表情不自然、身體僵硬等問(wèn)題。

Morell[15]對(duì)國(guó)際會(huì)議發(fā)言進(jìn)行多模態(tài)分析，發(fā)現(xiàn)： （1）在發(fā)言中有意識(shí)地增加模態(tài)數(shù)量并將其結(jié)合能夠提高發(fā)言的質(zhì)量；（ 2）恰當(dāng)利用視覺(jué)輔助工具可以彌補(bǔ)言語(yǔ)上的缺陷；（ 3）優(yōu)秀的學(xué)術(shù)發(fā)言者傾向于使用交疊的多種模態(tài)傳達(dá)具體的信息。在進(jìn)行學(xué)術(shù)英語(yǔ)口語(yǔ)表達(dá)時(shí)，理工科大學(xué)生應(yīng)有意識(shí)地增加模態(tài)數(shù)量，例如增加手勢(shì)、身體語(yǔ)言模態(tài)，同時(shí)學(xué)會(huì)將手勢(shì)等模態(tài)與多媒體輔助工具結(jié)合來(lái)幫助表達(dá)口語(yǔ)內(nèi)容。

在學(xué)術(shù)英語(yǔ)口語(yǔ)教學(xué)方面，建議教師在課堂上讓學(xué)生觀摩高質(zhì)量的國(guó)際學(xué)術(shù)發(fā)言并設(shè)計(jì)相應(yīng)的課堂討論，同時(shí)實(shí)施動(dòng)態(tài)評(píng)估，通過(guò)不斷介入提高學(xué)生的非言語(yǔ)交際能力。

王華等[4認(rèn)為學(xué)術(shù)英語(yǔ)口語(yǔ)能力的核心是語(yǔ)言知識(shí)、學(xué)術(shù)背景知識(shí)和策略能力。本研究言語(yǔ)模態(tài)中的學(xué)術(shù)口語(yǔ)部分可以對(duì)應(yīng)語(yǔ)言知識(shí)，非言語(yǔ)模態(tài)可以對(duì)應(yīng)策略能力中的非語(yǔ)言策略。因此研究結(jié)果一定程度上體現(xiàn)了學(xué)生的學(xué)術(shù)英語(yǔ)口語(yǔ)能力。筆者希望藉此為提高理工科大學(xué)生學(xué)術(shù)英語(yǔ)口語(yǔ)能力提供借鑒。

本文研究了理工科大學(xué)生學(xué)術(shù)英語(yǔ)口語(yǔ)的非言語(yǔ)特征，但樣本只涉及一所高校，代表性有限。在未來(lái)研究中，筆者將擴(kuò)大語(yǔ)料庫(kù)庫(kù)容，在更廣泛的層面上開(kāi)展研究。

參考文獻(xiàn)：

[1]?? 顧鈞儀.學(xué)術(shù)英語(yǔ)閱讀行為研究：影響因素及作用機(jī)制[J].外語(yǔ)電化教學(xué)， 2020（6）：92?98.

[2]?? 王華.語(yǔ)料庫(kù)驅(qū)動(dòng)的學(xué)術(shù)英語(yǔ)寫(xiě)作教學(xué)模式探索?以摘要寫(xiě)作為例[J].外語(yǔ)學(xué)刊 ， 2020（1）：49?55.

[3]?? 朱效慧， 袁欣.活動(dòng)理論視角下的學(xué)術(shù)英語(yǔ)寫(xiě)作教學(xué)研究[J].外語(yǔ)界， 2018（1）：71?78;87.

[4]?? 王華， 金艷.學(xué)術(shù)英語(yǔ)口語(yǔ)特征描述：以中國(guó)英語(yǔ)能力等級(jí)量表為例[J].北京第二外國(guó)語(yǔ)學(xué)院學(xué)報(bào)， 2020，42（5）： 18?31.

[5]?? SAMOVAR L A. Communication between Cultures [M].Beijing： Foreign? Language? Teaching? and? Research Press， 2000.

[6]?? ROSS R S. Speech Communication： Fundamentals andPractice [M]. Englewood? Cliffs： Prentice? Hall， Inc. ，1974.

[7]?? 張德祿.多模態(tài)話語(yǔ)分析綜合理論框架探索[J].中國(guó)外語(yǔ)， 2009，6（1）：24?30.

[8]?? 孫志楠.多模態(tài)話語(yǔ)理論在大學(xué)英語(yǔ)教學(xué)中的應(yīng)用[J].教育探索， 2011（8）：45?46.

[9]?? 唐嘉梨.動(dòng)態(tài)多模態(tài)話語(yǔ)的模態(tài)協(xié)同研究?以視頻演講為例[J].湘潭大學(xué)學(xué)報(bào)（哲學(xué)社會(huì)科學(xué)版）， 2021，45（4）： 187?192.

[10]? 孫鑫 ， 王平平 ， 洪雅妮.內(nèi)容語(yǔ)言融合型課堂中教師支架多模態(tài)研究[J].中國(guó)外語(yǔ)， 2021，18（1）：63?71.

[11]? 劉芹 ， 潘鳴威.理工科大學(xué)生學(xué)術(shù)英語(yǔ)口語(yǔ)多模態(tài)語(yǔ)料庫(kù)構(gòu)建研究[J].現(xiàn)代教育技術(shù)， 2010，20（4）：69?72;119.

[12]? 張德祿， 王正.多模態(tài)互動(dòng)分析框架探索[J].中國(guó)外語(yǔ)， 2016，13（2）：54?61.

[13]? BACHMAN? L? F. Statistical? Analyses? for? LanguageAssessment? [M]. Cambridge： Cambridge? UniversityPress， 2004.

[14]? 張德祿， 王璐.多模態(tài)話語(yǔ)模態(tài)的協(xié)同及在外語(yǔ)教學(xué)中的體現(xiàn)[J].外語(yǔ)學(xué)刊， 2010（2）：97?102.

[15]? MORELL?? T.?? International?? conference?? paperpresentations： A? multimodal? analysis? to? determine effectiveness[J]. English? for? Specific? Purposes， 2015，10（37）： 137?150.

（編輯：朱渭波）