左瓊，曹忠升，王元珍，周強

(華中科技大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，湖北 武漢，430074)

對多媒體數(shù)據(jù)進行有效管理離不開元數(shù)據(jù)的支持。當(dāng)前，一些研究者常選多媒體內(nèi)容描述接口MPEG-7作為語義提取、檢索和系統(tǒng)集成的依據(jù)，然而，MPEG-7存在2個大缺陷：(1) 由于MPEG-7基于XML，使得它缺乏對高級語義的規(guī)范描述能力[1?2]，具有歧義性，不利于系統(tǒng)互連；(2) MPEG-7描述的多媒體數(shù)據(jù)中的元數(shù)據(jù)、結(jié)構(gòu)和內(nèi)容中都含有大量隱含語義，未被有效提取和規(guī)范描述。雖然多媒體特征檢索和基于關(guān)鍵詞的相似性檢索技術(shù)已較成熟，但仍遠不能滿足高級語義檢索的需求。為了解決這些問題，Rahman等[1?5]將 MPEG-7元數(shù)據(jù)轉(zhuǎn)換為知識本體，從而把多媒體語義描述和推理轉(zhuǎn)向了語義Web研究領(lǐng)域。事實證明，知識本體能有效地協(xié)助多媒體語義描述，可用于建立多媒體索引[3?4]、規(guī)范查詢條件[5]、自動提取高級語義和異構(gòu)系統(tǒng)互連等[3,6?8]，如：Hunter等[7?8]提出將MPEG-7語義元數(shù)據(jù)轉(zhuǎn)換為DAML+OIL和 RDF模式(最終 OWL)形式，用于提供異構(gòu)系統(tǒng)互連；DS-MIRF框架[9]是一個用來開發(fā)基于知識多媒體應(yīng)用的軟件工程框架，支持 MPEG-7/21元數(shù)據(jù)與OWL表示的本體相集成，將 2個領(lǐng)域的查詢結(jié)果合并，形成多媒體數(shù)據(jù)上更有效的檢索和用戶交互，并運用到個性化檢索上；Hammiche等[10]提出在MPEG-7元數(shù)據(jù)層上增加一個概念層，利用領(lǐng)域知識中的概念詞匯和規(guī)則語言 CARIN來輔助多媒體內(nèi)容檢索，并支持查詢重寫發(fā)掘隱含信息。以上這些方法主要存在3個問題：

(1) 由于MPEG-7多媒體描述方案的MDS繁多，并面向多種應(yīng)用，MPEG-7向知識本體轉(zhuǎn)換的工作量龐大；不少系統(tǒng)[7?10]僅實現(xiàn)了MPEG-7中部分描述方案向本體的轉(zhuǎn)換，沒有充分利用MPEG-7元數(shù)據(jù)信息；有些系統(tǒng)不支持推理機制[7?8]，無法得到實際應(yīng)用。

(2) 大量多媒體元數(shù)據(jù)和實例存放在數(shù)據(jù)庫 DB中，然而，DB用戶無法對語義Web中的知識本體進行直接引用。

(3) 不少系統(tǒng)將知識推理查詢和多媒體結(jié)構(gòu)查詢分別在語義Web和DBMS中完成，然后，組合生成查詢結(jié)果，無法利用DBMS查詢優(yōu)化策略，大大降低了查詢效率。

隨著數(shù)據(jù)管理與知識管理結(jié)合越來越緊密，傳統(tǒng)數(shù)據(jù)庫廠商開始將知識運用到DBMS中，驗證了將知識無縫結(jié)合到DB數(shù)據(jù)中的可能性，如：Oracle擴展了一組系統(tǒng)表及SQL操作符來存儲OWL本體，支持基于本體的語義匹配[11]；IBM DB2采用虛擬視圖集成數(shù)據(jù)和領(lǐng)域知識[12]，用XQuery和SQL/XML重寫基于本體的查詢[13]。雖然傳統(tǒng)數(shù)據(jù)庫對本體的支持仍有限，但其強大的事務(wù)管理能力、SQL查詢方式和查詢優(yōu)化策略等，為基于本體的查詢提供了良好的服務(wù)。G3M[14]是本實驗室在對象關(guān)系模型上建立的一個基于 MPEG-7的通用多媒體數(shù)據(jù)庫模型。為了解決從MPEG-7繼承的缺陷，同時利用經(jīng)典RDBMS的優(yōu)點，本文作者將知識本體及其規(guī)則引入 G3M 數(shù)據(jù)庫模式中，用于消除結(jié)構(gòu)上的歧義性，在內(nèi)容上提供有效的抽象語義表達和檢索。

1 在G3M上引入知識本體

1.1 G3M體系結(jié)構(gòu)及存在的問題

MPEG-7的最大優(yōu)點是能對復(fù)雜的多媒體數(shù)據(jù)從結(jié)構(gòu)、內(nèi)容和元數(shù)據(jù)等多個層面提供多種描述。G3M充分利用了該特點，采用多級數(shù)據(jù)抽象機制[15]將整個模型劃分為6層：原數(shù)據(jù)層、元數(shù)據(jù)層、段層、低級特征層、時空語義層和高級語義層，其中，段層描述結(jié)構(gòu)、連接特征和語義。由于G3M源于MPEG-7，其缺陷也被一并繼承，如：在段劃分上，主要按媒體源、時空或語義來劃分，但無法明確描述相同的段劃分在不同應(yīng)用中的不同含義；在高級語義描述上，能對概念對象/事件、物理對象/事件進行抽象描述，但缺乏對多個概念、多元關(guān)系、關(guān)系特性等規(guī)范進行描述，無法推理獲取隱含語義信息。為此，本文作者采用與文獻[10]中相似的方法，在G3M原有的6層模型上增加了1層知識概念層，如圖1所示。利用本體對概念化的顯式描述能力[16?17]，提高 G3M 語義描述能力。它與文獻[10]中的方法區(qū)別在于：知識本體被引入關(guān)系數(shù)據(jù)庫系統(tǒng)中，能更好地與DB中存儲的多媒體元數(shù)據(jù)及實例相結(jié)合，提供 G3M 上的知識集成和檢索服務(wù)。

1.2 G3M中知識本體KO的形式化定義

要將本體集成到G3M中，首先要解決的問題是：如何在G3M中表示和存儲知識本體。G3M以輕量級本體(Lightweight ontology)和領(lǐng)域模型(Domain model)定義[18]為參考，定義多媒體數(shù)據(jù)上的知識。將知識本體及其規(guī)則引入 G3M 數(shù)據(jù)庫模式中，建立本體中概念、屬性和關(guān)系與 G3M 多媒體數(shù)據(jù)模式和實例緊密聯(lián)接。以下給出G3M上知識本體的形式化定義。

定義 G3M知識本體KO由一組概念、屬性、概念間關(guān)系、知識規(guī)則、對象實例和對象關(guān)系實例等組成。定義為1個15元組：KO(IdKO, NKO, UC, UT, UAC, AKO,UD, TKO, LKO, FCC, CFCC,≤CC, Rul, FKM, FKI)。其中：

(1) IdKO和NKO分別為1個知識本體KO的唯一標號和名字。

(2) UC為知識概念集合，是一組描述詞匯，可描述多媒體對象結(jié)構(gòu)或語義，具體對應(yīng) G3M 模式定義的段劃分、低級特征、時空語義或高級語義集合，或語義集合內(nèi)部對象、事件、概念詞等；UT為概念的數(shù)據(jù)類型及取值范圍定義；UAC為概念上的屬性關(guān)系集合，用來聯(lián)接概念和其對應(yīng)的取值。

(3) AKO為KO的類別。知識可以與領(lǐng)域/應(yīng)用相關(guān)或無關(guān)(即上層本體)。若該 KO與領(lǐng)域相關(guān)，則由領(lǐng)域集合UD中的領(lǐng)域標號標明相關(guān)領(lǐng)域或應(yīng)用，表示該KO專門為該領(lǐng)域/應(yīng)用服務(wù)。

(4) TKO和LKO分別為概念出現(xiàn)/發(fā)生的時間和地點限制，可用來刻畫物理對象或事件間的時空語義，或用于多媒體數(shù)據(jù)按時空關(guān)系組合。

(5) FCC表示概念間的非層次關(guān)系。對于結(jié)構(gòu)概念，F(xiàn)CC描述結(jié)構(gòu)上的時間關(guān)系、空間關(guān)系、結(jié)構(gòu)語義等，對應(yīng)G3M中段劃分中的段間關(guān)系或其在特定領(lǐng)域/應(yīng)用中所代表的語義；對語義概念，F(xiàn)CC描述概念上的各種關(guān)聯(lián)關(guān)系，對應(yīng) G3M 中的對象間關(guān)系、事件間關(guān)系、事件對象關(guān)系、時空語義關(guān)系、段與高級語義間的關(guān)系等；CFCC描述 FCC中關(guān)系的特性，包括傳遞性、對稱性、函數(shù)性等，可以用于關(guān)系上的查詢條件重寫。

(6) ≤CC為概念間的層次或分類關(guān)系，常用“is-a”來描述，用于知識推理或概念上的主題索引。層次關(guān)系用XML類型很好地表達，因此，將≤CC單獨定義。

(7) Rul描述概念上的隱含語義關(guān)系或知識規(guī)則。為了能描述概念或其屬性、關(guān)系上的各種內(nèi)在關(guān)系特別是多元關(guān)系，僅僅用前面定義的 FCC，CFCC和≤CC是不夠的。在知識本體表示中，通常用Datalog rule[9]來表示，G3M 把它轉(zhuǎn)換為相應(yīng)的“if (滿足邏輯組合條件) then (斷言/賦值)”語句。

(8) FKM和FKI分別為KO與G3M中管理的多媒體元數(shù)據(jù)或?qū)嵗g的對應(yīng)關(guān)系，可以是概念對象、屬性或關(guān)系上的對應(yīng)關(guān)系，用來直接建立KO與DB數(shù)據(jù)間的連接。由FKM建立KO與G3M中數(shù)據(jù)庫模式(對應(yīng)元數(shù)據(jù))的連接，相應(yīng)地也建立了該組模式中存儲的數(shù)據(jù)(即遵循該元數(shù)據(jù)描述的多媒體實例)與該知識本體間的對應(yīng)關(guān)系，這是一種從抽象到具體的連接。

G3M利用KO描述的抽象概念，將符合其限制條件的實例聚集到一起，可用于主題索引或高級語義查詢。用戶可用FKI直接建立某個多媒體實例(數(shù)據(jù)庫模式上的1個元組)與知識本體關(guān)聯(lián)。這是一種從特殊到一般的連接，常為多媒體實例創(chuàng)建者專用，主要用于標明該實例具有特定的語義限制或應(yīng)用范疇，或需要利用該KO上的特殊關(guān)系和規(guī)則為其服務(wù)。

2 建立KO與多媒體數(shù)據(jù)的無縫連接

G3M設(shè)計了一個客戶端工具來引入已有的OWL本體或用戶自定義本體。而本體要能真正起到知識引導(dǎo)的作用，必須與G3M存儲的多媒體數(shù)據(jù)緊密結(jié)合。以下從多媒體結(jié)構(gòu)和語義2個方面來建立本體與G3M數(shù)據(jù)間的對應(yīng)關(guān)系，真正地將知識本體與各種粒度的多媒體元數(shù)據(jù)及相應(yīng)實例連接起來。

2.1 KO與G3M多媒體結(jié)構(gòu)的關(guān)聯(lián)

在多媒體結(jié)構(gòu)上，G3M主要解決的是從MPEG-7繼承的描述結(jié)構(gòu)歧義性問題，主要表現(xiàn)為：

(1) 同一結(jié)構(gòu)在不同應(yīng)用中可能含義不同。

(2) 不同結(jié)構(gòu)可以用來描述相同的語義。這主要是MPEG-7只定義了描述結(jié)構(gòu)，但沒指明描述結(jié)構(gòu)的應(yīng)用領(lǐng)域和語義環(huán)境，允許用戶任意使用造成的。在結(jié)構(gòu)上，加載領(lǐng)域知識可以明確該結(jié)構(gòu)的含義。

對問題(1)，要主要明確相關(guān)多媒體結(jié)構(gòu)上對應(yīng)的隱含語義信息。如：段?子段關(guān)系，一般視頻段分解順序為段、場景、幀；但在新聞聯(lián)播和足球比賽中，段劃分的含義完全不同，為此，G3M首先建立段本體，用段本體上的≤CC記載段和子段之間的層次關(guān)系；將新聞聯(lián)播、足球賽等設(shè)置為段本體作用的不同領(lǐng)域；本體概念在不同領(lǐng)域下取值不同，在規(guī)則中設(shè)置賦值條件；建立SegUnit模式與段本體的聯(lián)接，如圖2所示。這樣，直接為SegUnit加上應(yīng)用領(lǐng)域約束，從而解決段定義的歧義性。這種抽象語義概念與段結(jié)構(gòu)的直接關(guān)聯(lián)能夠為多媒體文檔或結(jié)構(gòu)段上初步的語義信息提取提供支持。

對問題(2)，如 MPEG-7中 AgentObject DS和Object DS都可以用來描述人，在一定的應(yīng)用環(huán)境下，它們具有等價性。但在數(shù)據(jù)庫中，它們可能對應(yīng)2張數(shù)據(jù)庫表。G3M允許定義它們公用的領(lǐng)域知識本體，在其中定義這2張表對應(yīng)的概念A(yù)gentObj和Obj，并在其關(guān)聯(lián)關(guān)系中指明AgentObj和Obj在某領(lǐng)域上具有等價性；在規(guī)則中，定義2張表中屬性列之間的對應(yīng)關(guān)系。這樣，將這2張語義相同、結(jié)構(gòu)不同的表聚集在一起，在語義描述上統(tǒng)一起來，便于下一步檢索，提高查全率。

在語義Web界，通常將MPEG-7元數(shù)據(jù)轉(zhuǎn)換為相

圖2 利用領(lǐng)域知識限定G3M結(jié)構(gòu)語義Fig.2 Ensuring G3M segment semantics with domain knowledge

應(yīng)的上層本體，然后，在上層本體上定義領(lǐng)域本體來解決MPEG-7的歧義性問題[9]。G3M的優(yōu)點在于：它省去了元數(shù)據(jù)向上層本體轉(zhuǎn)換的繁瑣工作，允許DB用戶直接在數(shù)據(jù)庫中引用領(lǐng)域知識，使得數(shù)據(jù)庫模式具有明確的語義信息。

2.2 KO與G3M中多媒體語義的關(guān)聯(lián)

在多媒體高級語義上，G3M關(guān)注KO中的抽象概念、屬性和關(guān)系，特別是概念間的層次關(guān)系、屬性取值、屬性上的層次關(guān)系、概念間的各種關(guān)聯(lián)關(guān)系及規(guī)則。有必要建立KO與G3M模式上元數(shù)據(jù)或?qū)嵗械母鞣N具體對象、屬性或關(guān)系間的對應(yīng)關(guān)系。

為了建立知識本體與多媒體數(shù)據(jù)的關(guān)聯(lián)，G3M完成以下輔助工作：

(1) 在高級語義集合Sem∑中定義概念對象/事件來匯集在段上出現(xiàn)的物理對象/事件。允許直接關(guān)聯(lián)知識概念與G3M中的概念對象/事件，這種關(guān)聯(lián)關(guān)系將自動傳遞到相關(guān)的物理對象/事件上。

(2) 特別定義“引用知識關(guān)系”(KnowledgeRef)和“知識被引用關(guān)系”(KnowledgeReferredBy)，支持用戶顯式指明知識本體與數(shù)據(jù)的關(guān)聯(lián)，如圖2所示。

(3) 支持物理對象/事件上的顯著低級特征描述。因此，假設(shè)已知概念實體及其部分顯著的低級特征/屬性，并把它們引入 G3M 中，將有助于物理實體的提取。在領(lǐng)域內(nèi)交流，還可避免語義歧義性。

(4) G3M能靈活地表達多種概念在實體上、屬性上、概念與屬性上本體與實例上的關(guān)系，以便充分描述、正確引入知識。

除了本體與實例間的 4種基本關(guān)系(即 partOf，kindOf，instanceOf和 attributeOf)外，G3M 還支持多種特殊關(guān)系定義，如：specializationOf和generalizationOf表示專用和通用；componentOf 和hasComponentOf表示組成或?qū)哟侮P(guān)系，支持屬性繼承和重用；resultOf和causeOf表示因果關(guān)系；similarTo和oppositeTo表示相似與否等，并支持自定義關(guān)系。這些關(guān)系可以用于完善查詢條件，支持查詢推理，提高查詢效率。

語義關(guān)聯(lián)的建立有助于 G3M 利用特定應(yīng)用領(lǐng)域知識或者用戶背景知識，對多媒體數(shù)據(jù)描述的語義主題進行較完整的知識補充和聚集，如：假設(shè)一組圖片主題為鳥，在 G3M 中引入鳥本體定義，將各種屬于鳥綱的動物定義在概念集合中，給出它們的關(guān)聯(lián)關(guān)系、從屬關(guān)系、屬性定義和規(guī)則定義，建立鳥本體概念與G3M中存儲的圖片中物理對象間的關(guān)聯(lián)。這樣，包含鳥科動物的圖片信息能根據(jù)鳥本體概念聚集起來。這種將描述相同主題概念的多媒體實體聚集的方式，能大大提高查詢效率。

3 G3M上基于KO的多媒體語義檢索

由KO定義可知：KO可以分為上層知識或領(lǐng)域/應(yīng)用相關(guān)知識，對 G3M 的語義檢索具有不同的指導(dǎo)作用。

3.1 上層知識在查詢中的運用

G3M 定義了大量的上層通用關(guān)系[14]，如時空關(guān)系、對象間關(guān)系、對象事件關(guān)系、事件間關(guān)系等。這些關(guān)系多有自身特性，如互補性、對稱性、傳遞性和函數(shù)依賴性。在關(guān)鍵詞查詢中，人們往往忽視這些關(guān)系特性，而導(dǎo)致查詢條件不完整或與MPEG-7語義描述不匹配。例如：尋找1張多媒體圖片，其中出現(xiàn)了對象A和B，且A在B的前面。其對應(yīng)的SQL語句為：

SELECT * FROM SegUnit WHERE SType=’image’

AND ExistObj(‘A’) and ExistObj(‘B’)

AND HasTempRelation(‘A’, ‘B’，before)該語句直接用于DB查詢時，查詢結(jié)果可能不完全。如DB中可能存在這樣的描述：對象B在對象A的后面。由于’before’和’after’是 1 對互補關(guān)系，“A before B”和“B after A”在語義上是等價的，但不滿足關(guān)鍵詞查詢條件。

G3M 用一個特殊的上層關(guān)系本體來存儲其所有關(guān)系名、關(guān)系間的關(guān)聯(lián)關(guān)系和關(guān)系特性。當(dāng)1條查詢語句到來時，查詢引擎首先將語句中出現(xiàn)的關(guān)系謂詞或參數(shù)是否與關(guān)系本體中的關(guān)系名概念相匹配。若存在，則按照關(guān)系特性或規(guī)則對查詢條件進行第1次查詢重寫。例如：上例中有關(guān)關(guān)系的條件被重寫為：

…AND ( HasTempRelation(‘A’, ‘B’，before)

OR HasTempRelation(‘B’ , ‘A’, after))這次查詢重寫的結(jié)果并不一定是最優(yōu)的，需要利用RDBMS上經(jīng)典的關(guān)系優(yōu)化策略進行優(yōu)化，生成相對最優(yōu)的查詢計劃并執(zhí)行。這樣，直接將查詢優(yōu)化策略運用到基于本體的查詢上，提高了基于本體查詢的效率。與將多媒體實例和本體分別在DB和語義Web中進行處理，然后合并查詢結(jié)果的方法相比，本文查詢方法具有明顯優(yōu)勢。

3.2 領(lǐng)域知識在查詢中的運用

多媒體數(shù)據(jù)包含豐富的語義信息。不同用戶擁有不同的背景知識，對同一個多媒體對象的關(guān)注點和理解可能完全不同，因此，G3M 允許指明特定領(lǐng)域/應(yīng)用本體與多媒體數(shù)據(jù)的對應(yīng)關(guān)系。領(lǐng)域知識的利用將有助于挖掘數(shù)據(jù)中存在的隱含語義。

以前面提到的鳥為例。假設(shè)用戶要查詢“候鳥”，在圖片注釋信息中，可能根本沒有“候鳥”這個詞，這時，用戶若直接查詢“尋找包含對象名為候鳥的圖片”，則無法得到想要的查詢結(jié)果。

按照人腦思維，首先聯(lián)想所有屬于“候鳥”的鳥類，將查詢轉(zhuǎn)換為對屬于候鳥的鳥類查詢；若候鳥概念不清楚，則根據(jù)候鳥定義生成相應(yīng)的查詢條件，如“當(dāng)適宜溫度低于 25 ℃時，過冬方式為向南飛翔的鳥”，尋找所有滿足此條件的鳥類。從知識本體角度看，以上查詢實際上是對鳥本體中候鳥概念集合的遍歷及鳥屬性“適宜溫度”和“過冬方式”的匹配，而候鳥定義可以視為1個規(guī)則。為此，在RDBMS原有的查詢引擎上增加1個G3M語義添加器模擬人腦，以實現(xiàn)這種基于知識的查詢。

當(dāng) G3M 查詢引擎發(fā)現(xiàn)查詢條件與本體概念或?qū)傩躁P(guān)聯(lián)時，系統(tǒng)會進行第2次查詢重寫。將在本體上按照關(guān)系或規(guī)則推理得到的新概念、屬性或關(guān)系，添加為新的查詢條件，接著按照第1次查詢重寫后的步驟來實現(xiàn)查詢優(yōu)化處理。這樣，關(guān)鍵詞檢索在 G3M內(nèi)部被轉(zhuǎn)換為高級語義檢索，從而有效地挖掘了多媒體數(shù)據(jù)上的隱含信息。

4 實驗驗證

以下對所提出的基于本體的查詢推理方法進行實驗驗證，從查全率和查準率上驗證此方法的可行性。測試硬件平臺為奔騰雙核 2.80 GHz，2 G內(nèi)存；操作系統(tǒng)為Windows XP；開發(fā)工具為JAVA+Eclipse；后臺數(shù)據(jù)庫為IBM DB2 V9。

在G3M數(shù)據(jù)庫中準備了3 000個關(guān)于鳥的圖片實例，將對象鳥的描述存儲在語義對象表semanticsT中。在知識本體模式中準備了1個鳥本體，建立鳥本體中概念、屬性、規(guī)則和表semanticsT中屬性列的關(guān)聯(lián)，并進行如下5類語義查詢。

Q1：查詢所有包含“燕子”的圖片，以測試概念間層次關(guān)系樹中的葉子節(jié)點。

Q2：查詢所有包含“鷗類”的圖片，以測試概念間層次關(guān)系樹中的內(nèi)部節(jié)點。

Q3：查詢所有包含“武漢燕子”的圖片，以測試概念間層次關(guān)系樹中的葉子節(jié)點和屬性取值層次關(guān)系樹中的葉子節(jié)點。

Q4：查詢所有包含“北京涉禽”的圖片，以測試概念間層次關(guān)系樹中的內(nèi)部節(jié)點和屬性取值層次關(guān)系樹中的內(nèi)部節(jié)點。

Q5：查詢所有包含“候鳥”的圖片，以測試基于知識規(guī)則推理的查詢。

對比普通查詢和加入知識推理的查詢結(jié)果，如表1所示?？梢姡涸诩尤胫R本體后，語義查詢的查詢率和查準率分別為 75.13%和 95.09%，大大高于普通查詢結(jié)果的查詢率和查準率?；谥R查詢的查全率不夠高的原因在于：實驗數(shù)據(jù)是一些隨機找到的包含鳥的多媒體圖片，部分圖片缺乏對鳥的原始注釋信息。而查準率高是因為知識本體對鳥類的分類和規(guī)則定義是有效的，圖片實例對鳥的描述方法和本體中對鳥的描述方法基本一致，因此，能夠基于知識本體在基礎(chǔ)數(shù)據(jù)上獲得想要的查詢結(jié)果。

表1 G3M基于本體的語義查詢查全率和查準率測試結(jié)果Table 1 Recall radios and precision radios of ontology-based semantic query of G3M

5 系統(tǒng)特色分析

將知識本體概念、屬性、關(guān)系、規(guī)則直接引入G3M的優(yōu)勢包括如下4點：

(1) 免去了MPEG-7 MDS按某種本體描述語言轉(zhuǎn)換為語義Web中上層本體的工作。G3M模式定義本質(zhì)上是一種對媒體描述方法的規(guī)范，在DBMS中實現(xiàn)了知識語義－MPEG-7概念語義－時空語義－低級特征/多媒體物理組織結(jié)構(gòu)之間的無縫聯(lián)接。

(2) 避免了 MPEG-7描述的不規(guī)范性。通過在G3M 模式上直接加載領(lǐng)域/應(yīng)用知識，在通用多媒體內(nèi)容和結(jié)構(gòu)描述上直接加注語義約束，變通用模型為專用模型，為系統(tǒng)互連及抽象語義提取提供基礎(chǔ)。

(3) 能夠更好地從知識層抽象的角度，根據(jù)本體中的相似概念、屬性關(guān)系、歸屬關(guān)系定義等，進行多媒體內(nèi)容的高級抽象，進行主題語義聚集，實現(xiàn)元數(shù)據(jù)的自動組織和合并，或在物理上按知識本體進行多媒體數(shù)據(jù)實例的聚集，能揭露元數(shù)據(jù)上未被識別的關(guān)聯(lián)，引導(dǎo)數(shù)據(jù)庫中查詢結(jié)果或新知識的合成，有助于提高語義檢索的效率。

(4) 定義上層本體，用于規(guī)范MPEG-7上已有的關(guān)系定義，提取關(guān)系上的隱含特性；利用查詢重寫，進行語義等價替換，完善用戶的語義檢索條件；同時，利用領(lǐng)域相關(guān)本體，自動在查詢條件中添加知識推理出來的條件，充分利用RDBMS上的查詢重寫、查詢優(yōu)化策略，真正實現(xiàn)基于語義的檢索，有助于發(fā)掘隱含語義信息。

參照王煜等[19]提出的豐富語義模型評價準則和它對多種視頻模型的分析，G3M 在語義獲取能力方面，能滿足 5條評價準則中的 4條(領(lǐng)域知識引入DBMS、語義初步提取、推導(dǎo)隱含信息或新的抽象信息、支持不同用戶在同一多媒體段具有不同視圖)，大大優(yōu)于文獻[19]中的11個視頻語義模型。

6 結(jié)論

(1) 知識本體的引入去除了MPEG-7帶給G3M的結(jié)構(gòu)歧義缺陷，增強了G3M的開放性，提高了G3M對高級語義智能化提取、表達和檢索能力，有助于隱含語義的發(fā)掘，真正實現(xiàn)了按多媒體語義檢索。

(2) 實現(xiàn)了基于知識本體的智能語義查詢。通過二次查詢重寫手段，將上層關(guān)系本體和領(lǐng)域知識本體運用到存儲在 G3M 中的多媒體數(shù)據(jù)上，變推理規(guī)則為G3M語義查詢條件。本體推理查詢與G3M普通查詢?nèi)诤显贒BMS中，充分利用了RDBMS上經(jīng)典的查詢優(yōu)化技術(shù)和查詢引擎。

[1]Rahman M A, Hossain M A, Kiringa I, et al. Ontology-based unification of MPEG-7 semantic descriptions[C]//The 4th International Conference on Electrical and Computer Engineering. Dhaka, Bangladesh, 2006: 291?294.

[2]García R, Celma ò. Semantic integration and retrieval of multimedia metadata[C]//The 5th International Workshop on Knowledge Markup and Semantic Annotation. Galway, Ireland,2005: 69?80.

[3]Tsinaraki C, Polydoros P, Kazasis F, et al. Ontology-based semantic indexing for MPEG-7 and TV-Anytime audiovisual content[J]. Multimedia Tools and Applications, 2005, 26(3):299?325.

[4]Mylonas P, Athanasiadis T, Wallace M, et al. Semantic representation of multimedia content: Knowledge representation and semantic indexing[J]. Multimedia Tools and Applications,2008, 39(3): 293?327.

[5]SUN Wei, LIU Da-xin. Using ontologies for semantic query optimization of XML database[C]//Nayak R, Zaki M J.Proceeding of 1st International Workshop on Knowledge Discovery from XML Documents. Heidelberg, Berlin:Springer-Verlag, 2006, 3915: 64?73.

[6]Naeve A. The human semantic web: Shifting form knowledge push to knowledge pull[J]. International Journal of Semantic Web and Information Systems, 2005, 1(3): 1?30.

[7]Hunter J. Adding multimedia to the semantic web-building an MPEG-7 ontology[C]//Proceeding of International Semantic Web Working Symposium. Stanford, California Amsterdam: IOS Press, 2001: 261?281.

[8]Hunter J. Enhancing the semantic interoperability of multimedia through a core ontology[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2003, 13(1): 49?58.

[9]Tsinaraki C, Polydoros P, Christodoulakis S. Interoperability support between MPEG-7/21 and OWL in DS-MIRF[J]. IEEE Transactions on Knowledge and Data Engineering, 2007, 19(2):219?232.

[10]Hammiche S, Lopez B, Benbernou S, et al. Query rewriting for semantic multimedia data retrieval[J]. Studies in Computational Intelligence, 2008, 116: 351?372.

[11]Das S, Chong E I, Eadon G, et al. Supporting ontology-based semantic matching in RDBMS[C]//Proc 30th VLDB Conf.Toronto, Canada: VLDB Endowment, 2004: 1054?1065.

[12]Lim L, WANG Hai-xun, WANG Min. Unifying data and domain knowledge using virtual views[C]//Proc 33rd VLDB Conf.Vienna, Austria: VLDB Endowment, 2007: 255?266.

[13]Lim L, WANG Hai-xun, WANG Min. Semantic data management: Towards querying data with their meaning[C]//Proceeding of the 23rd International Conference on Data Engineering. Istanbul, Turkey, 2007: 1438?1442.

[14]ZUO Qiong, CAO Zhong-sheng. G3M: A generalized multimedia data model based on MPEG-7[C]//Proceeding of the 2nd International Conference on Multimedia and Ubiquitous Engineering. Washington DC, USA: IEEE Computer Society,2008: 155?159.

[15]Megalou E, Hadzilacos T. Semantic abstractions in the multimedia domain[J]. IEEE Transactions on Knowledge and Knowledge and Data Engineering, 2003, 15(1): 136?160.

[16]Hammiche S, Benbernou S, Vakali A. A logic based approach for the multimedia data representation and retrieval[C]//Proceeding of the 7th IEEE International Symposium on Multimedia.California, 2005: 241?248.

[17]Benítez A. Multimedia knowledge: Discovery, classification,browsing, and retrieval[D]. New York: Columbia University.Electrical Engineering Department, 2005: 1?50.

[18]Hernandez N, Mothe J, Chrisment C, et al. Modeling context through domain ontologies[J]. Information Retrieval, 2007,10(2): 143?172.

[19]王煜, 周立柱, 邢春曉. 視頻語義模型及評價準則[J]. 計算機學(xué)報, 2007, 30(3): 337?351.WANG Yu, ZHOU Li-zhu, XING Chun-xiao. Video semantic models and their evaluation criteria[J]. Chinese Journal of Computers, 2007, 30(3): 337?350.