圖書館中的多模態(tài)應(yīng)用

彭建武,于曉燕,齊 偉

(1,2.山東科技大學(xué),山東 青島 266510;3.山東新泰新汶實驗學(xué)校,山東 新泰 271219)

1 引 言

數(shù)字化信息技術(shù)和視覺文化的發(fā)展使世界日趨多模態(tài)化,圖像、聲音、動作等多種模態(tài)的聯(lián)合并用以及多模態(tài)認知模式的產(chǎn)生日益沖擊著人們傳統(tǒng)的思維方式和習(xí)慣,人類已進入多模態(tài)時代。新一代人的學(xué)習(xí)方式也正逐漸發(fā)生變化,多模態(tài)不僅成了人們接受知識的重要手段,而且成為最有影響力的信息傳播媒介。把多模態(tài)媒介具有的多感性和計算性具有的交互性相結(jié)合,將會產(chǎn)生全新的信息交流方式。隨著信息媒介的多模態(tài)化,紙質(zhì)印刷物、聲像文獻、電子書籍、網(wǎng)絡(luò)文本、縮微文獻等都將被圖書館收藏,并為讀者提供服務(wù),讀者可以同時獲取、存儲不同媒體(如文字、圖像、動畫、圖形、圖片等)的信息。然而,就我國目前圖書館行業(yè)的發(fā)展?fàn)顩r來看,作為與多模態(tài)傳播有著密切關(guān)系的圖書情報機構(gòu)卻鮮有人對圖書館多模態(tài)模式的運用及其功能進行研究。

2 多模態(tài)的含義及與多媒體的區(qū)別

多模態(tài)是以人體所擁有的 20多種感官為基礎(chǔ)。在面對面的交流中,人的臉部表情、眼神、手勢、體態(tài)、姿勢、身體接觸、服飾等都有可能泄露信息[1]。多模態(tài)是涉及視、聽、嗅、觸、味等多種“模態(tài)”相互融合、協(xié)調(diào)并用的感知模式?！禜arper's Bazaar》雜志2007年 10月版刊登了三則香水廣告,不僅配以傳統(tǒng)的文字圖像,廣告商還通過特殊技術(shù)將香水的味道融入紙張之中,使讀者以嗅覺模態(tài)身臨其境地感受商品的獨特魅力。另外,多模態(tài)一般涉及多個符號系統(tǒng)。例如雜志中的廣告只涉及一種視覺模態(tài),但由于其既包含文字、圖畫,還有色彩的變化、版式印刷技巧的調(diào)整,因此也具有多模態(tài)性。在國外,眾多學(xué)者已就各種模態(tài)形式如何和諧并存以及在特定的情景語境和社會實踐中如何用來構(gòu)建意義、傳達信息、達到交際目的等進行了較深入、廣泛的闡釋。Barthes作為最早探索多模態(tài)現(xiàn)象的學(xué)者,曾探討過圖像在表達意義上與語言的相互作用問題[2];1996年“新倫敦研究小組”提出了“多模態(tài)讀寫教學(xué)”;Royce探討了不同的符號在多模態(tài)語境中的互補性和協(xié)同性[3];Kress＆Leeuwen分析了模態(tài)與媒體的關(guān)系,專門探討了視覺圖像、顏色以及印刷版式和設(shè)計等不同媒介的多模態(tài)形式的構(gòu)建意義[4]。多模態(tài)就是借助多種渠道和手段來調(diào)動多種感官協(xié)同運作和互動,使有些需要通過左腦進入右腦的信息直接儲存在右腦中,以達到加深印象、強化記憶效果、促進學(xué)習(xí)效率目的。每一個人天生就具有通過其感官來探索和解釋世界的能力。神經(jīng)生物學(xué)研究清楚地表明,感覺之間的互通融合和相互作用,有利于加強人對知識和信息的建構(gòu)以及對世界的理解。而毫無刺激的環(huán)境是令人厭煩的,并會使我們的感覺變得遲鈍[5]。

我們知道,裝載內(nèi)容或信息的媒介多種多樣,包括文字、模擬音頻流、數(shù)字音頻流、圖像、視頻流等。顧曰國認為[1],紙質(zhì)媒介可以裝載文字、圖像等,但無法裝載音頻流和視頻流,同理,音頻流也無法裝載文字和圖像。我們將以單個媒介為內(nèi)容載體的稱為單媒體,以兩個媒介為內(nèi)容載體的叫雙媒體,以三個或三個以上媒介為內(nèi)容載體的叫多媒體。按這一分法,文字印在紙質(zhì)媒介上的材料是單媒體材料,聲音錄制在磁帶上也是單媒體材料,以此類推。而“模態(tài)”指人類通過感官(如視覺、聽覺等)跟外部環(huán)境(如人、機器、物件、動物等)之間的互動方式。用單個感官進行互動的叫單模態(tài),用兩個的叫雙模態(tài),三個或三個以上的叫多模態(tài)。從這個定義看,無論是單媒體、雙媒體還是多媒體,如果其內(nèi)容是關(guān)于多模態(tài)互動的,我們就可以稱之為多模態(tài)內(nèi)容。我們可把文字印在紙上的多模態(tài)內(nèi)容稱為單媒體的多模態(tài)內(nèi)容。當(dāng)讀者讀某段文字時,閱讀行為啟用的是視覺這個單模態(tài)來獲取外部信息的,因此我們把讀這段文字的行為描述為單模態(tài),它是通過單媒體跟多模態(tài)內(nèi)容進行互動的。當(dāng)紙介單媒體的多模態(tài)內(nèi)容改編為視頻流(如電視劇)時,我們通過多媒體音頻流、視頻流和字幕與多模態(tài)內(nèi)容互動,這是因為觀看者啟用了視覺和聽覺去獲取外部信息。

3 圖書館的多模態(tài)應(yīng)用

目前,多媒體研究需要解決的主要問題是構(gòu)建一個展示多媒體技術(shù)潛力的實驗平臺,而多模態(tài)圖書館正是多媒體技術(shù)實驗的重要平臺。傳統(tǒng)圖書館一般僅限于使用一種媒介,而多模態(tài)圖書館擁有大量的多媒體資源,能夠進行跨媒介檢索和提取。與傳統(tǒng)的示例查詢不同,在跨媒介檢索和提取系統(tǒng)中,查詢示例的模態(tài)與查詢結(jié)果的模態(tài)不一定相同。例如,用戶可以通過音頻檢索圖像,或者通過圖像檢索音頻。顯然,跨媒介提取系統(tǒng)具有特殊的功效,可以增強多模態(tài)數(shù)據(jù)提取的準(zhǔn)確性,獲得令人滿意的提取效率。在信息提取方面,多模態(tài)圖書館建設(shè)首先需要解決的問題是如何實現(xiàn)圖書館的多模態(tài)化。圖書館需要對多模態(tài)特征(包括語義關(guān)鍵詞和媒介特征)進行整合,其信息提取應(yīng)保證讀者搜索和提取到不同模態(tài)(如文本、圖像、視頻和聲音)的多媒體數(shù)據(jù),并有足夠的能力不斷改進圖書館內(nèi)容的檢索方式。作為一種集情景教學(xué)和電子內(nèi)容傳輸于一體的學(xué)習(xí)服務(wù)系統(tǒng),多模態(tài)圖書館需要整合大量信息資源融入大學(xué)教育和學(xué)術(shù)研究中,給學(xué)習(xí)者提供獲取傳統(tǒng)資源和電子信息資源的最佳途徑,凸顯綜合性、個性化的信息服務(wù)優(yōu)勢,由此改進和完善信息環(huán)境,促進讀者的終身學(xué)習(xí)。多模態(tài)圖書館還應(yīng)通過提供高質(zhì)量信息來拓展和深化讀者的知識結(jié)構(gòu),增強讀者發(fā)現(xiàn)和使用信息的能力。另外,多模態(tài)圖書館要與圖書館資源(如電子學(xué)術(shù)文獻、電子教室、電子課程)進行整合,改進數(shù)據(jù)庫內(nèi)容,為讀者提供豐富的電子信息資源和服務(wù),實現(xiàn)教師、教學(xué)和圖書館的無縫連接,使讀者更便利地利用信息,提高學(xué)習(xí)效率。多模態(tài)圖書館要創(chuàng)建眾多的情景鏈接、主題數(shù)據(jù)庫、電子文獻服務(wù),由常用程序模板創(chuàng)建的圖書館頁面可以鏈接各類電子課程庫、考試考卷數(shù)據(jù)庫、電子論文等網(wǎng)絡(luò)資源,使學(xué)生在學(xué)習(xí)初期就能利用高質(zhì)量的信息資源。集多種模板于一身的內(nèi)容管理系統(tǒng)不只局限于文本,還可以處理圖片、Flash動畫、聲像流、圖像甚至電子郵件檔案,可用來管理圖書館頁面,創(chuàng)建安全、永久的統(tǒng)一資源定位格式(URL)。讀者不僅可以通過公共網(wǎng)頁進入多模態(tài)圖書館,也可以使用個人門戶網(wǎng)站進入相關(guān)的學(xué)習(xí)系統(tǒng)進行相關(guān)課程(包括共用課程和授課人為讀者預(yù)備的個人課程)的學(xué)習(xí),并可查閱到最新的學(xué)習(xí)記錄。

4 建設(shè)多模態(tài)圖書館的意義

圖書館多模態(tài)應(yīng)用的意義在于通過多種渠道和媒介將靜態(tài)資源(如圖片、文字等)和動態(tài)資源(如聲音、動畫、視頻等)都納入圖書館的設(shè)計和收藏中來,從而調(diào)動讀者多種感官的協(xié)同運作和互動,給讀者以全方位的多感官體驗,促進知識的獲取和吸收。從多模態(tài)視角來探究圖書館服務(wù)活動中資源和讀者的相互關(guān)系,可以進一步把握圖書館信息傳播和接收的有效性,為理解圖書館建設(shè)的定位提供一種新的研究視角。

4.1 拓展知識傳播和接收渠道

圖書館是以知識傳播為主要功能的特殊機構(gòu),知識文獻是其最重要的資源。但知識的力量不僅取決于其自身價值的大小,更取決于它是否被傳播以及其傳播的深度與廣度。圖書館知識和信息的傳播是一個通過多種不同媒介實現(xiàn)信息融合、生成、建構(gòu)與創(chuàng)造的過程。我們可以借鑒其他軟件來豐富和拓寬知識的鏈接渠道,使圖書館閱讀更具趣味性、藝術(shù)性、靈活性 。例如,Flash、Director、PowerPoint這三種軟件集文字、聲音、圖形、圖像、視頻、動畫于一體,相互之間具有一定的相通性。Flash的“庫”相當(dāng)于Director的“演員表”,其影片剪輯元件與膠片環(huán)動畫有異曲同工之妙,都是由兩個關(guān)鍵幀之間位置的移動、形狀的變化、色彩的改變等來產(chǎn)生動畫效果的;Director設(shè)計可以用 Flash中的動畫實例來增強其動畫效果,如可以將漫游鄉(xiāng)村公路動畫中的汽車、樹、籬笆、云、背景分別導(dǎo)成 png圖片,在 Director的演員表中導(dǎo)入,通過位置移動、墨水效果、膠片環(huán)動畫等操作,可以實現(xiàn) Flash動畫效果[6]。

4.2 滿足讀者多元化、個性化的需要

讀者對文獻資料的需要和反應(yīng)往往是多元的,其感知、感覺都是個性化的,且具有高度的主觀性;知識的獲得過程也是豐富多樣的,多樣化的讀者個體需要多樣化的閱讀模式。多模態(tài)圖書館可兼顧讀者的個體差異,為讀者提供了一個多元化的知識接受渠道,給讀者提供機會選擇適合自己的學(xué)習(xí)方式。由于其知識獲取效率和知識庫質(zhì)量都很高,容易引起讀者的興趣,能夠使讀者在相互滲透和整合中開闊視野。圖書館建設(shè)應(yīng)充分考慮圖書館這一空間的整體元素,如觸覺、聲音、味道、光線和顏色都可以用作設(shè)計工具,為讀者精心設(shè)計個性化的學(xué)習(xí)空間和學(xué)習(xí)環(huán)境,以培育、發(fā)展和完善讀者的感知能力,激發(fā)和支持讀者的探究性閱讀和學(xué)習(xí)。

4.3 促進讀者對知識的獲取和吸收

傳統(tǒng)圖書館沒有充分重視信息資源的交互性,服務(wù)形式比較單一,信息量較為匱乏。與之相對的是,多模態(tài)圖書館可為讀者提供諸如電子書庫、有聲讀物、視頻資源等數(shù)量龐大的學(xué)習(xí)型資源庫,各種知識的體驗無所不包。因而能使讀者運用不同感官協(xié)作工作,使之能直接介入知識的吸收過程,進而把知識有機地組織起來,為整合知識和信息資源提供了有效途徑。讀者從中獲得一種前所未有的全新體驗,在一種愉快、輕松的氛圍中主動地學(xué)習(xí)、汲取和積累新的知識。知識的持續(xù)深化會產(chǎn)生新的思想火花,從而賦予讀者巨大的積極性,激發(fā)讀者學(xué)習(xí)知識的興趣,有利于讀者更有效地獲取信息和知識,全方位地提高自己的知識素養(yǎng)。

5 結(jié) 語

多模態(tài)理論是在廣泛吸收生理學(xué)、心理學(xué)、神經(jīng)學(xué)等眾多學(xué)科研究成果的基礎(chǔ)上建立和發(fā)展起來的。我們有必要順應(yīng)目前學(xué)科交叉滲透發(fā)展的大趨勢,對圖書館多模態(tài)的表現(xiàn)形態(tài)、傳播渠道、應(yīng)用實踐及其跨學(xué)科、綜合性的研究路徑作全面深入的分析和探討,使理論研究與應(yīng)用實踐良性循環(huán)。目前,多模態(tài)不僅給人們的工作、學(xué)習(xí)、生活方式帶來了革命性的變化,也拓展了傳統(tǒng)圖書館的功能。如何了解和掌握好圖書館的多模態(tài)性,推動圖書館學(xué)研究朝著更好的方面發(fā)展,值得我國圖書館界的專家、學(xué)者及相關(guān)人員進一步研究。

[1]顧曰國.多媒體、多模態(tài)學(xué)習(xí)剖析[J].外語電化教學(xué),2007(2):3—12.

[2]Barthes,R.Rhetoric of the image[C].In R.Barthes(Ed.),Image-Music-Text.London:Fontana,1997:32—51.

[3]Royce,T.Multimodality in the TESOL classroom:exploring visual-verbal synergy[J].TESOL Quarterly,2002,36(2):191—202.

[4]Kress,G＆van Leeuwen,T.Reading images:the grammar of visual design[M].London:Routledge,2006.

[5]Ceppi G,and Zini,M.(1998):Children,Spaces,Relations:Metaproject for an Environment for Young Children[M].Reggio Emilia:Reggio Children/Domus Academy,1998:16.