基于internet環(huán)境下的多媒體研究

張有魁

【摘要】在目前的Internet環(huán)境下,由于網(wǎng)絡(luò)的異構(gòu)性和傳輸速率的不穩(wěn)定性,媒體流數(shù)據(jù)在傳輸?shù)倪^程中會出現(xiàn)延時、丟失等意外狀況,影響了傳輸?shù)馁|(zhì)量。針對這個問題,本文分析了Internet環(huán)境下多媒體數(shù)據(jù)傳輸?shù)母鞣N解決方法,討論適合網(wǎng)絡(luò)傳輸?shù)囊曨l編碼解碼方案。對以流媒體解決方案為基礎(chǔ)的網(wǎng)絡(luò)多媒體教學(xué)系統(tǒng)進(jìn)行了系統(tǒng)的分析,從而總結(jié)出現(xiàn)有網(wǎng)絡(luò)多媒體技術(shù)在Internet環(huán)境下所存在的不足。

【關(guān)鍵詞】面向傳輸;流媒體;系統(tǒng)模型

多媒體(MULTIMEDIA) 它由media和multi兩部分組成,是指表示媒體的多樣化。常見的文字、圖像、聲音、動畫,承載信息的程序等都是媒體。多媒體技術(shù)是指人類同計算機(jī)交互處理多媒體信息的方法。因此,多媒體技術(shù)包括音響(audio)信號處理、靜態(tài)圖像(image)和電視圖像(video)處理,話音信號處理以及遠(yuǎn)程通信技術(shù)。這些技術(shù)包括軟件和硬件技術(shù)。

多媒體即多媒體信息服務(wù),MMS(Multimedia Message Service),是目前短信技術(shù)開發(fā)最高標(biāo)準(zhǔn)的一種。它最大的特色就是可以支持多媒體功能,借助高速傳輸技術(shù)EDGE(Enhanced Data rates for GSM Evolution)和GPRS,以WAP為載體傳送視頻片段、圖片、聲音和文字。不僅可以在手機(jī)之間進(jìn)行多媒體傳輸,而且可以在手機(jī)和電腦之間傳輸。其短消息容量平均為3萬字節(jié),最高可達(dá)10萬字節(jié)。具有MMS功能的移動電話內(nèi)置媒體編輯器,可以編寫多媒體信息,如果安裝上一個內(nèi)置或外置的照相機(jī),用戶還可以制作并傳送PowerPoint格式的信息或電子明信片。

一、多媒體研究的關(guān)鍵技術(shù)

1、數(shù)據(jù)壓縮

在多媒體系統(tǒng)中,涉及的數(shù)據(jù)量是巨大和驚人的。以一幅中等分辯率的彩色圖像為例,每秒約需27.6MB字節(jié)空間,即使是650MB的標(biāo)準(zhǔn)光盤也需裝入20多秒鐘,而大多數(shù)遠(yuǎn)程通訊網(wǎng)的速率都在每秒幾兆位。因此,對數(shù)據(jù)進(jìn)行有效壓縮是多媒體中的關(guān)鍵技術(shù)之一。之所以能實(shí)現(xiàn)對圖像、聲音壓縮,是由于這些原始圖像和聲音存在著很大的冗余度,包括空間冗余,時間冗余,結(jié)構(gòu)冗余與視覺冗余等。常用的數(shù)據(jù)壓縮技術(shù)分兩大類,一類是無損壓縮,另一類是有損壓縮。現(xiàn)在已形成了一些壓縮的國際標(biāo)準(zhǔn),如JPEG適用于靜態(tài)圖像,MPEG適用于動態(tài)圖像,G722已成為電視會議和電話的聲音編碼標(biāo)準(zhǔn)以及多媒體系統(tǒng)的MPC標(biāo)準(zhǔn)等。壓縮和解壓縮的速度是壓縮系統(tǒng)的兩項(xiàng)單獨(dú)的性能度量,從目前開發(fā)的壓縮技術(shù)看,一般來說壓縮的計算量比解壓縮的計算量大。壓縮速度不僅與采用的壓縮方法有關(guān),而且與快速算法的計算量有關(guān)。如果能在壓縮方法和快速算法上取得突破性進(jìn)展,無疑將對多媒體的開發(fā)和應(yīng)用產(chǎn)生很大的影響。

下面是基于Internet視頻流傳輸?shù)捏w系結(jié)構(gòu)。原始的視頻和音頻信號在經(jīng)過壓縮之后存儲在存儲設(shè)備中,根據(jù)接收端的要求,視頻服務(wù)器從存儲設(shè)備中接收到壓縮后的視頻和音頻信號,然后網(wǎng)絡(luò)傳輸質(zhì)量控制模塊根據(jù)網(wǎng)絡(luò)狀態(tài)和QOS的要求改編位流,改編之后的位流,經(jīng)傳輸協(xié)議打包壓縮成音頻和視頻包后被發(fā)送到Internet上。由于擁塞等原因,這些包在傳輸?shù)倪^程中可能會丟失或者超時,為了改善音頻和視頻傳輸?shù)馁|(zhì)量,需要采用連續(xù)的媒體分布服務(wù)(如緩存技術(shù)等)。在數(shù)據(jù)包到達(dá)客戶端以后,首先經(jīng)過傳輸層,然后再由應(yīng)用層QOS控制。模塊處理后交給音頻和視頻解碼器進(jìn)行解碼,為了保持音頻和視頻的同步還必須采用媒體同步機(jī)制。從該體系結(jié)構(gòu)中可以看出,關(guān)于多媒體數(shù)據(jù)傳輸?shù)牧鶄€關(guān)鍵部分是緊密相關(guān)的,在這個視頻流體系結(jié)構(gòu)中,它們也是一致的,連續(xù)的。

2、多媒體信息特性與建模

多媒體信息特性的主要研究是對媒體的種類、性質(zhì)及其相互關(guān)系、媒體之間的轉(zhuǎn)換意義、方法及手段、媒體處理的特點(diǎn)等方面進(jìn)行研究。在此基礎(chǔ)上進(jìn)而研究多媒體數(shù)據(jù)建模的方法:信息空間如何構(gòu)成?時間特性如何表示?面向?qū)ο蟮姆椒ㄔ鯓邮褂?在媒體之間如何確定相互的關(guān)系?對信息的內(nèi)容如何表示等。雖然各種圖像、聲音等專門技術(shù)的研究歷史已有幾十年,但大多數(shù)都是從單一媒體角度考慮的,從多媒體統(tǒng)一角度研究,才有可能獲得進(jìn)一步進(jìn)展[4]。

3、多媒體信息的組織與管理

信息及數(shù)據(jù)管理是信息系統(tǒng)的核心之一,多媒體數(shù)據(jù)量巨大,種類繁多,每種媒體之間差別十分明顯,但又具有種種信息上的關(guān)聯(lián),這些都給數(shù)據(jù)與信息管理帶來了新的問題。如何管理、組織這些數(shù)據(jù);如何從各種媒體數(shù)據(jù)中找出所需要的信息;如何表現(xiàn)這些媒體信息;這些都是傳統(tǒng)的數(shù)據(jù)庫理論與方法尚沒有很好解決的問題。因此,人們正在探索有效的管理方法如對關(guān)系數(shù)據(jù)庫進(jìn)行擴(kuò)充;建構(gòu)面向?qū)ο蟮臄?shù)據(jù)庫;超媒體信息管理等方法。

4、虛擬現(xiàn)實(shí)技術(shù)

虛擬現(xiàn)實(shí)技術(shù)(Virtual Reality)是近年來(下轉(zhuǎn)第269頁)十分活躍的技術(shù)領(lǐng)域,是多媒體發(fā)展的更高境界。所謂虛擬現(xiàn)實(shí)就是采用計算機(jī)技術(shù)生成一個逼真的視覺、聽覺、觸覺及嗅覺等的感覺世界。用戶可以用人的自然技能對這個生成的虛擬實(shí)體進(jìn)行交互考察。虛擬現(xiàn)實(shí)是一種高度集成的技術(shù),是計算機(jī)軟、硬件技術(shù)、傳感技術(shù)、機(jī)器人技術(shù)、人工智能及心理學(xué)等飛速發(fā)展的結(jié)晶。主要依賴于三維實(shí)時圖形顯示,三維定位跟蹤,觸覺及嗅覺傳感技術(shù),人工智能技術(shù),高速計算與并行計算技術(shù)以及人的行為學(xué)研究等多項(xiàng)關(guān)鍵技術(shù)的進(jìn)展。美國著名計算機(jī)圖形專家J.Foley曾指出:虛擬現(xiàn)實(shí)或許是人機(jī)接口作為計算機(jī)設(shè)計的最后一個堡壘中最有意義的領(lǐng)域。

二、基于Internet的網(wǎng)絡(luò)多媒體教學(xué)系統(tǒng)的設(shè)計

1、C/S模式與B/S模式

基于Internet的遠(yuǎn)程多媒體教學(xué)系統(tǒng)中占主導(dǎo)地位的主要有兩種模式:客戶/服務(wù)器(Client/Server 簡稱C/S)模式和瀏覽器/服務(wù)器(Browser/Server 簡稱B/S)模式,但這兩種模式都有一些無法避免的缺陷。在遠(yuǎn)程信息管理系統(tǒng)中廣泛使用的三層C/S模型很好地解決了這些問題,但是這種三層C/S模型不是針對多媒體教學(xué)系統(tǒng)的,因此有很大的不適用性。在分析各種系統(tǒng)模型的優(yōu)缺點(diǎn)后,本文針對多媒體教學(xué)本身的特點(diǎn)引入一種適合多媒體本身特點(diǎn)的三層模型。

(1)C/S模式與B/S模式的優(yōu)缺點(diǎn)

典型的C/S模式是一種兩層的體系結(jié)構(gòu),B/S模式多媒體遠(yuǎn)程教學(xué)系統(tǒng)模型是一種三層體系結(jié)構(gòu),在物理結(jié)構(gòu)上極其相似,C/S模式的遠(yuǎn)程多媒體教學(xué)系統(tǒng)一般要求要下載一個客戶端程序,而B/S模式的遠(yuǎn)程多媒體教學(xué)系統(tǒng)則可在客戶端直接通過瀏覽器來進(jìn)行學(xué)習(xí)。

C/S模式和B/S模式的遠(yuǎn)程多媒體教學(xué)系統(tǒng)使用簡單,適用面廣,但C/S模式和B/S模式的遠(yuǎn)程多媒體教學(xué)系統(tǒng)缺點(diǎn)也顯而易見,其中最大的缺陷是時延過大,造成等待時間過長,甚至沒有回應(yīng)。其次,在這兩種模式的遠(yuǎn)程多媒體教學(xué)系統(tǒng)中,當(dāng)大量的用戶同時登錄學(xué)習(xí)時,服務(wù)器端負(fù)荷過大,且占用了大量的帶寬。第三,兩種模式的遠(yuǎn)程多媒體教學(xué)系統(tǒng)客戶端更新困難,而且C/S模式容易產(chǎn)生“胖客戶”的問題。最后,從安全性的角度看,兩層結(jié)構(gòu)的安全性也不令人滿意。

(2)三層C/S模型的優(yōu)勢及不足

三層C/S結(jié)構(gòu)是從兩層C/S結(jié)構(gòu)發(fā)展而來的。這種結(jié)構(gòu)下的應(yīng)用都由三個部分組成,即用戶界面部分(表示層),應(yīng)用邏輯部分(應(yīng)用邏輯層)和數(shù)據(jù)訪問部分(數(shù)據(jù)訪問層)。表示層的功能是與用戶交互的;應(yīng)用邏輯層進(jìn)行具體的運(yùn)算和決定程序的流程等;數(shù)據(jù)訪問層維護(hù)和更新應(yīng)用程序的數(shù)據(jù)。把這3個部分分別放置在3個物理空間時,就形成了三層C/S結(jié)構(gòu)。它在管理信息系統(tǒng)(MIS)中應(yīng)用廣泛。

但這種三層結(jié)構(gòu)的出發(fā)點(diǎn)是為了使得一個基于網(wǎng)絡(luò)的系統(tǒng)具有更好的代碼重用性、更好的可擴(kuò)展性和更好的穩(wěn)定性。因此,它不是針對多媒體系統(tǒng)的,更沒有考慮滿足某種實(shí)時性或減少時延等要求。

相對兩層的C/S結(jié)構(gòu),三層的C/S結(jié)構(gòu)仍有如下優(yōu)點(diǎn):

1)使終端服務(wù)器承受的負(fù)荷變低。

2)增強(qiáng)了終端服務(wù)器的安全性能。

2、針對網(wǎng)絡(luò)多媒體教學(xué)的系統(tǒng)模型

網(wǎng)絡(luò)多媒體教學(xué)有其自身的特點(diǎn),多媒體數(shù)據(jù)不僅數(shù)據(jù)量相對較大,而且其編解碼過程中耗費(fèi)的計算量也十分巨大,如果為了減輕服務(wù)器負(fù)擔(dān)而將這部分工作完全放到客戶端,同樣會產(chǎn)生新的問題--客戶端變成“胖客戶”型,而且不易更新。為了解決這個問題,必須結(jié)合多媒體教學(xué)本身的特點(diǎn)構(gòu)建適合網(wǎng)絡(luò)多媒體數(shù)據(jù)傳輸?shù)南到y(tǒng)構(gòu)架。

網(wǎng)絡(luò)多媒體教學(xué)一般具有以下幾個特點(diǎn):

(1)包含兩類媒體類型:離散的,連續(xù)的。

(2)對系統(tǒng)的實(shí)時性有一定的要求。

(3)媒體內(nèi)容具有有限性和可預(yù)知性。

(4)客戶終端的集中性。

針對這種特點(diǎn),一個基于三層模型的網(wǎng)絡(luò)多媒體數(shù)據(jù)傳輸構(gòu)架被應(yīng)用于本系統(tǒng),其框架的各部分功能如下:

1.數(shù)據(jù)訪問部分(Data):主要分為流媒體服務(wù)和數(shù)據(jù)庫服務(wù)兩部分。流媒體服務(wù)主要針對音頻/視頻(Audio/Video簡稱A/V)信息進(jìn)行采集、存儲和播發(fā);數(shù)據(jù)庫服務(wù)主要提供對其他檔案信息(用戶資料、課程資料、輔助教材等)和媒體索引信息的存取分析功能。

2.應(yīng)用邏輯部分(Business Logic):以數(shù)據(jù)服務(wù)層為數(shù)據(jù)庫平臺,在此基礎(chǔ)上針對網(wǎng)絡(luò)多媒體教學(xué)的需求提供相應(yīng)的中間層組件,把共性的應(yīng)用邏輯規(guī)范化,通過應(yīng)用服務(wù)器對外發(fā)布。對于有條件的局域網(wǎng)用戶可增加中間服務(wù)器,將最近可能用到的多媒體信息提前分發(fā)到中間服務(wù)器,可以提高訪問多媒體數(shù)據(jù)的效率。

3.用戶界面部分(Presentation):是客戶端安裝的操作界面。學(xué)生和教師可以根據(jù)相應(yīng)的權(quán)限訪問各類教學(xué)資源信息。由于大部分的應(yīng)用邏輯放在了應(yīng)用服務(wù)器或中間服務(wù)器上,客戶端的應(yīng)用程序相對“瘦小”。

綜上所述,在網(wǎng)絡(luò)多媒體技術(shù)的實(shí)際應(yīng)用方面,流媒體技術(shù)占據(jù)了主導(dǎo)地位。該技術(shù)將多媒體和網(wǎng)絡(luò)技術(shù)結(jié)合在一起,使得多媒體數(shù)據(jù),特別是視頻數(shù)據(jù)在網(wǎng)絡(luò)上的實(shí)時傳輸成為現(xiàn)實(shí)。在研究多媒體的關(guān)鍵技術(shù)基礎(chǔ)上,又從網(wǎng)絡(luò)傳輸這個方面討論了網(wǎng)絡(luò)多媒體技術(shù)的解決方案,總結(jié)出目前Internet環(huán)境下網(wǎng)絡(luò)多媒體技術(shù)的最新發(fā)展動向和應(yīng)用成果。我們發(fā)現(xiàn)目前的網(wǎng)絡(luò)多媒體應(yīng)用已經(jīng)給人們的生產(chǎn)和生活帶來了極大的方便,雖然現(xiàn)有的視頻編解碼系統(tǒng)存在著這樣或那樣對Internet環(huán)境的不適應(yīng)性,但相信在不久的將來,隨著計算機(jī)技術(shù)的不斷發(fā)展,在網(wǎng)絡(luò)服務(wù)、終端機(jī)器的性能提升和更新算法研究進(jìn)步的基礎(chǔ)上,視頻編解碼技術(shù)必將為網(wǎng)絡(luò)多媒體的發(fā)展做出更大的貢獻(xiàn)。

參考文獻(xiàn)

[1] 鐘玉琢,蔡蓮紅.多媒體計算機(jī)技術(shù)基礎(chǔ)及應(yīng)用[M].北京:高等教育出版社,2005.3-26.

[2] 鐘玉琢,賀玉文.基于對象的多媒體數(shù)據(jù)壓縮編碼國際標(biāo)準(zhǔn)MPEG-4及其校驗(yàn)?zāi)Ｐ蚚M].北京:科學(xué)出版社,2005. 32-44.

[3] Wu Dapeng , Hou Y.Thomas, Zhu Wenwu.On End-to-End Architecture for MPEG-4 Video Streaming over the Internet[J]. 2000,10:132-139.

[4] Wang Qi, Wu Feng, Li Shipeng.A New Rate Allocation Scheme for Progressive Fine Granular Scalable Coding[J].IEEE International Symposium on Circuits and Systems(ISCAS),May,2001,2:397-400.

[5] 胡飛,朱耀庭,朱光喜.Internet視頻點(diǎn)播差錯控制[M].北京:計算機(jī)研究與發(fā)展,2005. 988-993.

作者簡介:

張有愧(1961.4-),男,講師,秦皇島中等專業(yè)學(xué)校