楊小容 曾憲琴
(1. 海軍工程大學(xué)圖書(shū)館,武漢 430033;2. 國(guó)家知識(shí)產(chǎn)權(quán)局專(zhuān)利局專(zhuān)利審查協(xié)作廣東中心,廣州 518057)
科學(xué)數(shù)據(jù)是國(guó)家科技創(chuàng)新發(fā)展和經(jīng)濟(jì)社會(huì)進(jìn)步的重要基礎(chǔ)性戰(zhàn)略資源,是科研創(chuàng)新最基本、最活躍、影響面最寬的科技資源[1]。越來(lái)越多的基于大數(shù)據(jù)的專(zhuān)利檢索數(shù)據(jù)分析技術(shù)應(yīng)用在圖像檢索領(lǐng)域。在20世紀(jì)70年代,圖像檢索技術(shù)[2-3]通過(guò)人力對(duì)圖像的外部特征(如圖像的作者、年代)進(jìn)行標(biāo)注,然后通過(guò)對(duì)文本的比對(duì)查找圖像。然而,隨著圖像形式的不斷豐富,這種采用文字對(duì)圖像進(jìn)行標(biāo)注的方式已經(jīng)越來(lái)越不能適應(yīng)網(wǎng)絡(luò)等高新技術(shù)的發(fā)展需求,且耗費(fèi)大量的人力資源,嚴(yán)重影響了圖像查詢(xún)的準(zhǔn)確度。為了克服這些問(wèn)題,90年代開(kāi)始有學(xué)者提出了基于內(nèi)容的圖像檢索技術(shù)(Content-based Image Retrieval,CBIR)。CBIR技術(shù)是通過(guò)對(duì)圖像自身的內(nèi)容信息(如圖像的顏色、紋理、形狀、語(yǔ)義)進(jìn)行分析和檢索的技術(shù),該技術(shù)比基于人工標(biāo)引的圖像檢索更加客觀,更能完整地表示出圖像信息?,F(xiàn)今,CBIR技術(shù)已經(jīng)成為圖像檢索領(lǐng)域的一個(gè)側(cè)重點(diǎn),廣泛應(yīng)用于如遙感、醫(yī)學(xué)和社會(huì)安全等領(lǐng)域,其作為一門(mén)多學(xué)科綜合性技術(shù),必將越發(fā)受到重視。
CBIR技術(shù)主要依托于基于內(nèi)容的圖像檢索系統(tǒng),該系統(tǒng)主要?jiǎng)澐譃閮蓚€(gè)子系統(tǒng):特征提取和查詢(xún)[4-5]。特征提取子系統(tǒng)首先對(duì)原始圖像數(shù)據(jù)進(jìn)行預(yù)處理,然后按照給定的提取方法提取圖像的特征,用這些特征建立特征數(shù)據(jù)庫(kù)。查詢(xún)子系統(tǒng)是根據(jù)用戶(hù)給定的范例圖像,在特征庫(kù)中查詢(xún)出和它具有相同或者相似特征值的圖像,返回給用戶(hù),以滿(mǎn)足用戶(hù)的要求。
下文主要從專(zhuān)利技術(shù)分領(lǐng)域及關(guān)鍵詞的角度對(duì)圖像檢索專(zhuān)利技術(shù)數(shù)據(jù)進(jìn)行獲取,并進(jìn)行處理、剖析、歸納、總結(jié)。在此基礎(chǔ)上,從顏色特征、紋理特征、形狀特征和語(yǔ)義特征等角度對(duì)圖像檢索技術(shù)發(fā)展路線進(jìn)行詳細(xì)分析。
目前圖像檢索領(lǐng)域的重點(diǎn)專(zhuān)利技術(shù)可以分為以下5個(gè)子領(lǐng)域[6-8]:①基于人工標(biāo)引的圖像檢索;②基于顏色特征的圖像檢索;③基于紋理特征的圖像檢索;④基于形狀特征的圖像檢索;⑤基于語(yǔ)義特征的圖像檢索。為了更好地對(duì)基于內(nèi)容的圖像檢索技術(shù)專(zhuān)利進(jìn)行針對(duì)性分析,筆者結(jié)合相關(guān)文獻(xiàn)及工作實(shí)踐對(duì)5個(gè)子領(lǐng)域的主要技術(shù)和檢索關(guān)鍵詞進(jìn)行了歸納(見(jiàn)表1)。
表1 各子領(lǐng)域的主要技術(shù)和檢索關(guān)鍵詞
本文通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局專(zhuān)利局專(zhuān)利審查協(xié)作廣東中心審查員常用的CNABS(中國(guó)專(zhuān)利文摘數(shù)據(jù)庫(kù))和VEN,分別對(duì)國(guó)內(nèi)和國(guó)外基于圖像檢索的5個(gè)子領(lǐng)域的專(zhuān)利進(jìn)行檢索分析。其中CNABS收錄了1985年至今所有中國(guó)專(zhuān)利文摘數(shù)據(jù);而VEN數(shù)據(jù)庫(kù)是由SIPOABS和DWPI組成的虛擬數(shù)據(jù)庫(kù),收錄了1827年至今的97個(gè)國(guó)家或組織的專(zhuān)利信息。以上兩個(gè)專(zhuān)利數(shù)據(jù)庫(kù)是審查員工作中常用的兩大中外專(zhuān)利數(shù)據(jù)庫(kù),數(shù)據(jù)量大、權(quán)威、可靠。其檢索主要是運(yùn)用“分類(lèi)號(hào)+關(guān)鍵詞”組合或者“關(guān)鍵詞+關(guān)鍵詞”組合,檢索到大批相關(guān)專(zhuān)利文獻(xiàn),然后按年度、申請(qǐng)量、申請(qǐng)人、國(guó)別等維度進(jìn)行數(shù)據(jù)統(tǒng)計(jì)分析,利用數(shù)據(jù)分析專(zhuān)用軟件Matlab進(jìn)行統(tǒng)計(jì)數(shù)據(jù)的可視化比對(duì)。
技術(shù)分解可以進(jìn)一步細(xì)化分類(lèi),有助于了解行業(yè)整體情況以及選取研究重點(diǎn)。圖像檢索技術(shù)主要分為基于標(biāo)引和基于內(nèi)容兩個(gè)大的分支,其中基于內(nèi)容又分為基于顏色特征、基于形狀特征、基于紋理特征和基于語(yǔ)義特征4個(gè)小分支。
下面將基于圖像檢索各子領(lǐng)域的申請(qǐng)量隨年度的變化趨勢(shì),對(duì)各子領(lǐng)域的專(zhuān)利申請(qǐng)?zhí)攸c(diǎn)進(jìn)行分析,圖1顯示了圖像檢索各子領(lǐng)域的申請(qǐng)量隨年度的變化趨勢(shì)。
圖1 圖像檢索子領(lǐng)域?qū)@暾?qǐng)趨勢(shì)
從申請(qǐng)總量曲線看,圖像檢索技術(shù)在1985—2000年處于起步階段;2001—2009年申請(qǐng)量穩(wěn)步上升; 2010—2019年迎來(lái)了繼續(xù)快速發(fā)展。進(jìn)一步細(xì)化分析5個(gè)子領(lǐng)域圖像檢索技術(shù),可以清晰看到:基于人工標(biāo)引的圖像檢索技術(shù)起步時(shí)間最早,發(fā)展勢(shì)頭最明顯,我們經(jīng)常使用的搜索引擎如百度、搜狐、Google、雅虎等都采用文本描述對(duì)圖像進(jìn)行檢索,其技術(shù)難度較低,因此1985—2008年的申請(qǐng)量主要來(lái)自于基于人工標(biāo)引的圖像檢索技術(shù),2008年以后基于顏色、紋理、形狀和語(yǔ)義的圖像檢索技術(shù)逐步發(fā)展起來(lái),但申請(qǐng)總量仍小于基于人工標(biāo)引的圖像檢索技術(shù)。圖像的顏色特征是描述一幅圖像最簡(jiǎn)便而有效的特征,它具有旋轉(zhuǎn)不變性和尺度不變性,比其他特征更容易獲取,由圖1可見(jiàn)2008—2015年基于顏色特征的圖像檢索技術(shù)迎頭追趕,發(fā)展勢(shì)頭喜人;同時(shí)2008年之后,基于紋理特征和基于形狀特征的圖像檢索技術(shù)申請(qǐng)量也開(kāi)始緩慢增加。而基于語(yǔ)義特征的圖像檢索涉及的主要技術(shù)包括標(biāo)識(shí)、分類(lèi)、檢測(cè)和匹配,其通過(guò)提取圖像的低層視覺(jué)特征,利用人工智能機(jī)器學(xué)習(xí)模型,如支持向量模型進(jìn)行分類(lèi)訓(xùn)練,最終獲取圖像的類(lèi)別,并根據(jù)圖像的類(lèi)別來(lái)進(jìn)行圖像檢索,其技術(shù)難度較大,因此從2009年開(kāi)始才有緩慢發(fā)展。接下來(lái)主要對(duì)基于內(nèi)容的圖像檢索技術(shù)發(fā)展路線進(jìn)行分析。
2.1.1 國(guó)內(nèi)申請(qǐng)量分析
基于對(duì)圖像檢索5個(gè)子領(lǐng)域的分析,首先將圖像檢索大領(lǐng)域的關(guān)鍵詞進(jìn)行檢索,然后利用各子領(lǐng)域的關(guān)鍵詞進(jìn)一步在結(jié)果中進(jìn)行檢索。
通過(guò)各技術(shù)子領(lǐng)域的申請(qǐng)量占比分析可知,基于人工標(biāo)引的圖像檢索的專(zhuān)利申請(qǐng)量最大(占比49%),其次是基于顏色特征的圖像檢索(占比26%)和基于形狀特征的圖像檢索(占比12%),基于紋理特征的圖像檢索(占比7%)和基于語(yǔ)義特征的圖像檢索(占比6%)專(zhuān)利申請(qǐng)量較小。這是因?yàn)榛谌斯?biāo)引的圖像檢索技術(shù)起源最早,技術(shù)難度低,發(fā)展最成熟。而在基于低層視覺(jué)特征的檢索中,顏色特征是描述一幅圖像最簡(jiǎn)便而有效的特征,且比其他特征更容易獲取,因此,基于顏色特征的圖像檢索專(zhuān)利申請(qǐng)較多。
2.1.2 國(guó)內(nèi)主要申請(qǐng)人分析
對(duì)檢索結(jié)果的申請(qǐng)人進(jìn)行統(tǒng)計(jì)發(fā)現(xiàn),國(guó)內(nèi)圖像檢索領(lǐng)域的主要申請(qǐng)人為中日韓企業(yè)及中國(guó)高等院校。其中申請(qǐng)量排名前十的申請(qǐng)人依次是三星、百度、索尼、中國(guó)科學(xué)院、奧林巴斯、北京大學(xué)、西安電子科技大學(xué)、佳能、三菱、微軟。
進(jìn)一步對(duì)授權(quán)的專(zhuān)利進(jìn)行統(tǒng)計(jì)分析,得到授權(quán)專(zhuān)利的主要申請(qǐng)人,如圖2所示。
圖2 授權(quán)專(zhuān)利申請(qǐng)人的申請(qǐng)量和授權(quán)量統(tǒng)計(jì)
可以看出,申請(qǐng)量較大的申請(qǐng)人,其授權(quán)量也較大,如韓國(guó)的三星和日本的索尼,說(shuō)明這些企業(yè)的圖像處理技術(shù)和圖像檢索技術(shù)都非常強(qiáng),圖像檢索技術(shù)主要集中在日韓的相機(jī)企業(yè)當(dāng)中,以后在專(zhuān)利審查過(guò)程中可以重點(diǎn)對(duì)這部分申請(qǐng)人進(jìn)行追蹤檢索。而國(guó)內(nèi)的百度和騰訊雖然申請(qǐng)量比較大,但授權(quán)量卻很低。高校中,西安電子科技大學(xué)的申請(qǐng)量雖然很大,但其授權(quán)量很小,上海交通大學(xué)、清華大學(xué)、華中科技大學(xué)的申請(qǐng)量雖然小,但授權(quán)量大,可見(jiàn)高校在圖像檢索領(lǐng)域的專(zhuān)利授權(quán)率比較高。這是因?yàn)閳D像檢索技術(shù)具有較強(qiáng)的科研學(xué)術(shù)性質(zhì),并且高校申請(qǐng)人所申請(qǐng)的專(zhuān)利一般都涉及算法,其權(quán)利要求的撰寫(xiě)十分冗長(zhǎng),導(dǎo)致保護(hù)范圍非常小,結(jié)合專(zhuān)利審查的標(biāo)準(zhǔn),在這種情況下獲得授權(quán)的機(jī)會(huì)較大。
2.2.1 國(guó)外申請(qǐng)量分析
利用圖像檢索相關(guān)關(guān)鍵詞對(duì)國(guó)外專(zhuān)利申請(qǐng)進(jìn)行檢索,并對(duì)檢索結(jié)果進(jìn)行統(tǒng)計(jì),發(fā)現(xiàn)國(guó)際上圖像檢索領(lǐng)域的申請(qǐng)最早在20世紀(jì)70年代,1975—1985年處于起步階段,1986—1997年處于穩(wěn)步發(fā)展階段,1998—2010年迎來(lái)圖像檢索技術(shù)的快速發(fā)展階段,2011年之后圖像檢索技術(shù)趨于成熟。
2.2.2 國(guó)際申請(qǐng)國(guó)別分布
國(guó)際上圖像檢索領(lǐng)域的申請(qǐng)主要集中在日本、美國(guó)、中國(guó)、歐洲、韓國(guó)和中國(guó)臺(tái)灣地區(qū)。其中國(guó)際上申請(qǐng)量最大的國(guó)家是日本,這與國(guó)內(nèi)申請(qǐng)是一致的,但是韓國(guó)在國(guó)際上的申請(qǐng)量較低,排在第五位,反而中國(guó)在國(guó)際上申請(qǐng)量很大。對(duì)此,筆者認(rèn)為可能是由于中國(guó)在國(guó)際申請(qǐng)過(guò)程中,申請(qǐng)文件被當(dāng)作同族文獻(xiàn)也被統(tǒng)計(jì)導(dǎo)致的。
3.1.1 基于顏色特征的圖像檢索技術(shù)發(fā)展路線分析
目前顏色特征的描述方法主要有顏色直方圖法、顏色相關(guān)圖法、顏色矩法、顏色聚合矢量法等。從圖3可以看出,2000—2012年國(guó)內(nèi)基于顏色圖像檢索領(lǐng)域的專(zhuān)利申請(qǐng)大都集中在基于顏色直方圖提取的技術(shù)領(lǐng)域,顏色直方圖是比較直觀也易于提取的圖像特征,也是最早開(kāi)始發(fā)展的特征,在2012年以后,國(guó)內(nèi)才廣泛開(kāi)始基于顏色相關(guān)圖法、顏色矩法、顏色聚合矢量法等的研究。而國(guó)際上基于顏色特征的圖像檢索技術(shù)起源較早,發(fā)展較為成熟,2003年開(kāi)始就具備了基于顏色直方圖、相關(guān)圖、顏色矩、聚合矢量提取圖像顏色特征的技術(shù),超前國(guó)內(nèi)足足十年時(shí)間。從整體上看,圖像顏色特征提取方法經(jīng)歷了由整體顏色特征到區(qū)域顏色特征到多區(qū)域顏色特征加權(quán)融合的發(fā)展,也由早期的單一顏色特征提取方法發(fā)展到后期多種顏色特征提取方法結(jié)合使用。
圖3 基于顏色特征的圖像檢索技術(shù)發(fā)展路線
3.1.2 基于紋理特征的圖像檢索技術(shù)發(fā)展路線分析
紋理是圖像的重要低層物理表征,廣泛存在于各種自然物體表面。目前,紋理的描述和分析方法很多,較為常用的紋理特征描述方法有基于統(tǒng)計(jì)的描述方法、基于信號(hào)處理的描述方法、基于幾何的描述方法以及基于模型的描述方法等。如圖4所示,基于紋理特征的圖像檢索領(lǐng)域的專(zhuān)利申請(qǐng)均始于國(guó)外,國(guó)內(nèi)的專(zhuān)利申請(qǐng)始于2012年并主要集中在基于統(tǒng)計(jì)的描述方法和基于模型描述方法兩方面。在實(shí)際的研究中,學(xué)者通常結(jié)合多種描述方法,使提取的紋理特征更有效。
圖4 基于紋理特征的圖像檢索技術(shù)發(fā)展路線
3.1.3 基于形狀特征的圖像檢索技術(shù)發(fā)展路線分析
不同于顏色和紋理等特征,形狀特征的提取必須建立在對(duì)圖像中物體或區(qū)域的邊緣提取和分割的基礎(chǔ)上。對(duì)形狀特征的描述,既可以描述其邊界特征,也可以描述其所包圍的區(qū)域。所以,目前常用的形狀特征描述方法主要分為以下兩種:基于邊界的形狀描述和基于區(qū)域的形狀描述。從圖5可以看出,基于形狀的圖像檢索技術(shù)在2009—2014年得到一個(gè)快速的發(fā)展期?;谶吔绲男螤钐卣髅枋鲋饕夹g(shù)包括邊界點(diǎn)的提取和表示方法,其主要度量方法包括邊界面積、邊界相對(duì)位置距離等,其發(fā)展路線由單因素邊界形狀度量發(fā)展到多因素形狀度量;基于區(qū)域的形狀特征提取,主要經(jīng)歷了由單區(qū)域形狀描述到多區(qū)域形狀融合的發(fā)展路線。
圖5 基于形狀特征的圖像檢索技術(shù)發(fā)展路線
3.1.4 基于語(yǔ)義特征的圖像檢索技術(shù)發(fā)展路線分析
由于基于語(yǔ)義特征的圖像檢索專(zhuān)利申請(qǐng)量較小,本文沒(méi)有對(duì)該技術(shù)的發(fā)展路線進(jìn)行分析,下面對(duì)基于語(yǔ)義特征的圖像檢索相關(guān)技術(shù)進(jìn)行一個(gè)說(shuō)明。
基于語(yǔ)義的圖像檢索一般指的是基于目標(biāo)和高級(jí)語(yǔ)義的圖像檢索方法。在原有檢索系統(tǒng)中加入高級(jí)語(yǔ)義到低層特征的轉(zhuǎn)化,可以在不改變現(xiàn)有的圖像特征庫(kù)和匹配方式的情況下,實(shí)現(xiàn)基于語(yǔ)義的圖像檢索。這種檢索方法的目標(biāo)是最大限度地減小圖像簡(jiǎn)單視覺(jué)特征與豐富的語(yǔ)義之間的語(yǔ)義鴻溝。一般而言,高層的圖像語(yǔ)義往往建立在較低層次的語(yǔ)義獲得的基礎(chǔ)上,并且層次越高,語(yǔ)義越復(fù)雜,涉及的領(lǐng)域知識(shí)越多。隨著語(yǔ)義技術(shù)的不斷發(fā)展與完善,相信基于語(yǔ)義特征的圖像檢索也會(huì)迎來(lái)一個(gè)大發(fā)展時(shí)期。
由以上分析可知,2010年以后,顏色特征提取技術(shù)以及圖像匹配技術(shù)仍然在申請(qǐng)量中占有較大比重。這表明申請(qǐng)人非常注重具有鮮明視覺(jué)信息的顏色特征表達(dá)以及能夠直接影響檢索效果的相似性度量技術(shù)方面的知識(shí)產(chǎn)權(quán)保護(hù)。一方面是因?yàn)轭伾卣飨鄬?duì)較易提取,選取合適的顏色特征表達(dá)方法,可以給技術(shù)方案帶來(lái)較好的技術(shù)效果;另一方面是因?yàn)槿魏我粋€(gè)基于內(nèi)容的圖像檢索系統(tǒng)都離不開(kāi)圖像匹配技術(shù),具有了一系列特征表達(dá)方法后,更需要有一套合適的圖像匹配方法,其直接關(guān)系到圖像檢索效果的好壞。因此,顏色特征提取技術(shù)以及圖像匹配技術(shù)在未來(lái)一段時(shí)間內(nèi),將仍然是申請(qǐng)人專(zhuān)利保護(hù)的重點(diǎn)。
同時(shí),該領(lǐng)域內(nèi)已經(jīng)逐漸出現(xiàn)了一些新的研究熱點(diǎn):如從顏色的物理、視覺(jué)、心理等方面來(lái)研究顏色特征,如何解決圖像的低層特征和高層語(yǔ)義之間的語(yǔ)義鴻溝,如何設(shè)計(jì)用戶(hù)的反饋方式和充分利用反饋信息等??梢灶A(yù)見(jiàn),隨著這些熱點(diǎn)技術(shù)的研究逐漸深入,將會(huì)出現(xiàn)越來(lái)越多的相關(guān)專(zhuān)利申請(qǐng)。
本文結(jié)合相關(guān)專(zhuān)利申請(qǐng),對(duì)圖像檢索專(zhuān)利技術(shù)發(fā)展?fàn)顩r、關(guān)鍵技術(shù)的發(fā)展路線及發(fā)展趨勢(shì)進(jìn)行了詳細(xì)的分析。通過(guò)對(duì)以上分析可知,圖像檢索技術(shù)從20世紀(jì)70年代開(kāi)始,從基于人工標(biāo)引的圖像檢索技術(shù)發(fā)展到基于內(nèi)容的圖像檢索技術(shù)?;谌斯?biāo)引的圖像檢索技術(shù)采用文本描述對(duì)圖像進(jìn)行檢索,其技術(shù)難度較低便于應(yīng)用發(fā)展。隨著技術(shù)的發(fā)展,基于顏色、紋理、形狀和語(yǔ)義特征的圖像檢索技術(shù)也必將迎來(lái)大發(fā)展,而這些領(lǐng)域的專(zhuān)利申請(qǐng)將會(huì)占據(jù)圖像檢索專(zhuān)利的半壁江山。圖像檢索技術(shù)的推動(dòng)是由基于低層視覺(jué)特征的圖像檢索向基于高層語(yǔ)義特征的技術(shù)發(fā)展,目前,基于低層視覺(jué)特征的圖像檢索技術(shù)已相對(duì)比較成熟,基于高層語(yǔ)義的圖像檢索技術(shù)將會(huì)成為圖像檢索技術(shù)接下來(lái)發(fā)展的主要方向,將會(huì)出現(xiàn)越來(lái)越多的相關(guān)專(zhuān)利申請(qǐng)。