賀艷娟,馮 薇,池 娟,姜 丹
(國家知識產(chǎn)權局 專利局專利審查協(xié)作北京中心,北京 100190)
責任編輯:魏雨博
隨著信息時代的到來,人們對信息的依賴越來越高,對信息的質(zhì)量要求也越來越嚴苛,不可避免地帶來了多媒體承載信息的吞吐、存儲和傳輸問題。所以必須對數(shù)字化信息進行壓縮,實現(xiàn)快速的編解碼算法,用盡可能少得數(shù)據(jù)來表達盡可能多得信息,從而易于傳輸和節(jié)省存儲的空間。由于數(shù)據(jù)是由特征信息和冗余組合而來,而冗余數(shù)據(jù)對于信息的表達是沒有用處的,因此將特征信息保留,將冗余信息去除即可實現(xiàn)壓縮編碼。
視頻編碼中的關鍵技術包括:1)空間抽樣,在實際應用中,對彩色圖像采用全分辨率編碼實際上是沒有必要的,利用人眼視覺系統(tǒng)對色差信號的不敏感特性,可以有效降低原始編碼數(shù)據(jù)量;2)量化,量化是視頻編碼中最直觀的數(shù)據(jù)壓縮過程,也是各種視頻編碼算法產(chǎn)生失真的主要過程。量化使數(shù)據(jù)的分布范圍變小,分布狀態(tài)變得集中;3)預測編碼與運動估計,預測編碼的方法是根據(jù)離散信號之間存在一定相關性的特點,利用前面一個或多個信號預測下一個信號,然后根據(jù)實際值和預計值之間的差值進行校正編碼,從而實現(xiàn)壓縮的目的,預測編編碼主要包括幀內(nèi)預測編碼、幀間預測編碼,對于幀間預測編碼,需要應用幀間運動補償技術;4)變換編碼,是消除圖像數(shù)據(jù)空間相關性更有效的方法,盡管圖像變換本身并不壓縮數(shù)據(jù),但可以使圖像數(shù)據(jù)在變換域內(nèi)最大限度的不相關。其主要包括K-L變換、離散余弦變換(DCT)、鋸齒形掃描和游程編碼;5)熵編碼,利用圖像陣列的數(shù)據(jù)統(tǒng)計特性進行數(shù)據(jù)壓縮,常用的有兩種:變長編碼和算術編碼,二進制算法編碼是目前最新圖像和視頻編碼標準的主要熵編碼方法。在實際壓縮過程中一般采用結(jié)合空間采樣、量化、預測、變換、熵編碼等多種方法的混合編碼方案,以達到最佳的壓縮效率。
從20個世紀80年代以來,由ISO和ITU制定了一系列的視頻壓縮國際標準。其中ITU組織制定的標準以H.26x命名,主要針對實時通信的應用,如H.261,H.263,H.264;而ISO和國際電工委員會(International Electro technical Commission,IEC)的共同委員會中的MPEG組織制定的標準以MPEG-x命名,主要針對視頻數(shù)據(jù)的存儲、廣播電視和視頻流的網(wǎng)絡傳輸?shù)葢?。其中以H.264/AVC性能最為優(yōu)越,在H.264標準中,還分別推出了可分級視頻編碼(Scalable Video Coding,SVC)擴展和多視點視頻編碼(Multiview Video Coding,MVC)擴展以應對越來越多樣的應用需求。AVS是我國自主研發(fā)的視頻編碼標準,該標準是以當前H.264框架為基礎,并在此之上作了一些改進,增加和刪除了一些算法,壓縮效率比H.264相差不大,實現(xiàn)的難度大大降低。該標準主要針對高清晰度電視、高密度光存儲媒體等應用。
隨著圖像編碼技術的進一步研究,涉及圖像編解碼的專利申請量也迅速增加,包括對現(xiàn)有編碼算法的改進以及自創(chuàng)的新編碼算法,比如運動估計與運動補償技術中塊匹配算法的改進等,以解決現(xiàn)有算法存在的缺陷,還包括對現(xiàn)有標準的應用或改進,比如可分級視頻編碼或多視點視頻編碼的技術改進,以解決現(xiàn)有標準中還沒有涉及到的問題。由于標準組織成員、高校科研院所或大型企業(yè)對圖像編解碼的各個方面都在進行著深入的研究,覆蓋的技術面比較廣,比較新穎,在檢索過程中,通常很難在專利文獻數(shù)據(jù)庫中檢索到比較相關的專利文獻,而非專利文獻具有更新速度快,技術內(nèi)容全面,技術原理類綜述類的資料較多的特點,此時對于非專利文獻數(shù)據(jù)庫的檢索就顯得相當重要。而對于高??蒲性核囊恍┭芯空撸渫鶎⒆约旱难芯砍晒谝粫r間發(fā)表在比較有影響力的國內(nèi)核心刊物或國際刊物上,因此,對于圖像編解碼算法的檢索,要時刻考慮非專利文獻數(shù)據(jù)庫的檢索,而對于常用的非專利文獻庫的使用和實際案例在其非專利文獻數(shù)據(jù)庫的檢索策略就顯得尤為重要。
下面將對圖像編碼專利申請常用的非專利文獻數(shù)據(jù)庫和實際案例在非專利文獻數(shù)據(jù)庫中的檢索策略作簡單的介紹。
對圖像編解碼領域中常用的數(shù)據(jù)庫進行概括性描述,總結(jié)如下:
1)CNKI全文數(shù)據(jù)庫是中文非專利文獻庫,其特點是數(shù)據(jù)全,功能強。該數(shù)據(jù)庫涵蓋的中文期刊相當全面,包括了關于廣播、電視類的文獻80000多篇,有助于我們了解背景技術,另外,碩士博士論文在我們查找申請人為高校學生的情況下,對我們查找其論文有很大幫助。
2)IEEE/IEE Electronic Library(IEL)是外文非專利文獻庫,該數(shù)據(jù)庫屬于全文數(shù)據(jù)庫,能直接查找文獻的全文,包含了很多有關圖像通信領域的期刊、會議,有關圖像編解碼算法的最新研究成果經(jīng)常在這些期刊或會議上發(fā)表。
3)ISI WEB of knowledge是外文非專利文獻庫,包括科學引文索引擴展版SCIE、科技會議錄索引ISTP、科學文摘數(shù)據(jù)庫INSPEC等,其以科學引文為核心,可追蹤文獻的引用和被引用情況。
4)ISO和國際電工委員會(International Electro technical Commission,IEC)的共同委員會中的MPEG組織制定的標準以MPEG-x命名,主要針對視頻數(shù)據(jù)的存儲、廣播電視和視頻流的網(wǎng)絡傳輸?shù)葢茫鏜PEG-1,MPEG-2,MPEG-4,可在 http://mpeg.chiariglione.org下載MPEG的多個視頻標準。對MPEG視頻標準的改進的申請通過直接到標準的下載網(wǎng)站下載會獲得很大收獲。
5)ITU組織制定的標準以H.26x命名,主要針對實時通信的應用,如 H.261,H.263,H.264,可在 http://wftp3.itu.int下載多個時間版本的H.26x音視頻和多媒體標準。對H.26x音視頻標準的改進的申請通過直接到標準的下載網(wǎng)站下載會獲得很大收獲。
【案例1】
申請?zhí)枺?009101543362
發(fā)明名稱:一種多視點視頻信號的編碼方法
申請日:2009年11月27日
申請人:寧波大學
發(fā)明人:蔣剛毅,彭宗舉;何萍;郁梅
權利要求1:一種多視點視頻信號的編碼方法,其特征在于該編碼方法在基于H.264編碼標準的多視點視頻編碼校驗模型JMVM上,采用JVT推薦的分層B幀編碼預測結(jié)構對多視點視頻信號中的彩色視頻進行編碼,具體過程如下:對于彩色視頻中的所有I幀以16×16宏塊為單位進行處理,對于當前正在處理的I幀中的各個16×16宏塊,編碼器采用現(xiàn)有的H.264的率失真優(yōu)化技術搜索Intra16×16、Intra8×8和Intea4×4宏塊編碼模式,從這三種宏塊編碼模式中選出率失真代價最小的宏塊編碼模式作為各個16×16宏塊各自的最優(yōu)宏塊編碼模式,再利用各個16×16宏塊各自的最優(yōu)宏塊編碼模式對各個16×16宏塊進行編碼;對于彩色視頻中的所有P幀以16×16宏塊為單位進行處理,對于當前正在處理的P幀中的各個16×16宏塊,編碼器采用現(xiàn)有的H.264的率失真優(yōu)化技術搜索 SKIP、Inter16×16、Inter16×8、Inter8×16、Inter8×8、Inter8×8Frext、Intra16×16、Intra8×8和Intra4×4宏塊編碼模式,從這些宏塊編碼模式中選出率失真代價最小的宏塊編碼模式作為各個16×16宏塊各自的最優(yōu)宏塊編碼模式,再利用各個16×16宏塊各自的最優(yōu)宏塊編碼模式對各個16×16宏塊進行編碼;對于彩色視頻中的所有B幀以16×16宏塊為單位進行處理,對于當前正在處理的B幀中的各個16×16宏塊采用如下步驟進行編碼(此處省略)。
檢索過程:本申請涉及H.264多視點視頻編碼,是比較新的研究方向,首先在CNKI中國期刊全文數(shù)據(jù)庫中以本申請的發(fā)明人為作者進行檢索,找到很多相關文獻,但均不能作為對比文件,考慮到高校通常將研究成果可能首先發(fā)表在IEEE等國外期刊,于是轉(zhuǎn)向IEEE中進行檢索,找到以發(fā)明人為作者內(nèi)容相同發(fā)表日在本申請的申請日之前的文獻(Fast Mode Selection and Disparit Estimation for Multiview Video Coding,2009 Third International Symposium on IITAW,20091122),該文獻最終導致該申請視撤。
啟示:申請人有時候會對研究成果先發(fā)表在國外刊物上,而不是國內(nèi)刊物上,因此,在國內(nèi)非專利數(shù)據(jù)庫上檢索不到,此時,有必要在國外非專利數(shù)據(jù)庫中檢索。在IEEE數(shù)據(jù)庫中以發(fā)明人為入口進行檢索時,由于發(fā)明人有多種英文撰寫方式,比如:姓名的全拼拼音,包括姓在前,名在后和名在前,姓在后兩種情況(例如:Jiang Gangyi,Gangyi Jiang)、姓為全拼名為縮寫,也包括姓在前,名在后和名在前,姓在后兩種情況(例如:Jiang G.Y.,G.Y.Jiang)。所以如果沒有將這四種情況都考慮到,很可能造成漏檢;另外,如果發(fā)明人比較多,逐一變換為英文名比較費力,比如本案例,可以使用發(fā)明名稱中的關鍵詞作為題名進行檢索。
【案例2】
申請?zhí)枺?00780000221.7
發(fā)明名稱:可分級視頻壓縮中插值的方法與裝置
申請日:2007年1月11日
優(yōu)先權日:2006年1月11日
申請人:華為技術有限公司
權利要求1:一種可分級視頻壓縮中插值的方法,其特征在于:用于可分級視頻壓縮的層間預測中,亮度分量和色度分量采用互相獨立精度的插值濾波器,亮度分量和色度分量的插值濾波器的抽頭系數(shù)也互相獨立,插值濾波器可以是對稱或者不對稱的。
檢索過程:可分級視頻編碼或可伸縮視頻編碼屬于低碼率視頻編碼H.264的研究范圍。因此,在Google網(wǎng)站用域(site:wftp3.itu.int)輸入以下關鍵詞進行檢索:svc,lum,chroma,filter,interpolat,得到評價創(chuàng)造性的對比文件:Chen Ying,Zhai Jiefu,Yin Peng,New downsampling and upsampling processes for chroma samples in SVC spatial scalability,JOINT,VIDEO TEAM(JVT)OF ISO/IEC MPEG&ITU-T VCEG(ISO/IEC JTC1/SC29/WG11。
啟示:本申請涉及的可分級視頻編碼或可伸縮視頻編碼屬于低碼率視頻編碼H.264的研究范圍。該類申請的申請人或發(fā)明人可能屬于ITU-T組織的成員,其申請的技術方案可能已作為提案向ITU-T組織提交并公布,或者已經(jīng)被其它競爭成員提交過。因此,對涉及到國際編碼標準的專利申請,到相關的組織網(wǎng)站上直接進行檢索是十分有必要的。
【案例3】
申請?zhí)枺?00610041780X
發(fā)明名稱:一種基于上下文自適應變長解碼的方法
申請日:2006年2月13日
申請人:清華大學
發(fā)明人:何蕓,瞿艷梅
權利要求1:一種基于上下文自適應變長解碼的方法,其特征是,解碼是在控制器(30)的控制下對輸入的變長編碼數(shù)據(jù)解碼,包括對五個語法元素的解碼:解碼從coeff_token解碼(1)開始,采用基于分組規(guī)則的組標識數(shù)分配方法或者存儲轉(zhuǎn)換方法解碼非零系數(shù)的個數(shù)total_coeff和拖尾1trailing_one的個數(shù)trailing_ones;trailing_one_sign解碼(2),解碼拖尾1trailing_one的符號;level解碼(3),解碼剩下的非零系數(shù)的幅度值;total_zeros解碼(4),解碼最后一個非零系數(shù)之前零的個數(shù);run_before解碼(5),從最后一個非零系數(shù)往前,解碼它到前面一個非零系數(shù)之間的零的個數(shù)。
檢索過程:本申請涉及H.264中的其中一套熵編碼技術,即基于上下文的自適應變長編碼CAVLC,技術方案是對變長編碼數(shù)據(jù)的5部分語法元素的解碼,由于該算法發(fā)展時間短,目前提出的實現(xiàn)方案很少,在國內(nèi)主要集中在高校中研究H.264標準的一些實驗室和課題組,除清華大學外,本申請背景技術部分還給出了對此有比較前沿研究的浙江大學的嚴曉浪、秦興。因此擴展了相同研究領域的不同高校的研究人員,以擴展的多個作者為入口在CNKI,IEEE,ISI WEB of knowledge中檢索,盡管在CNKI和IEEE中未檢索到合適的對比文件,但在ISI WEB of knowledge中檢索到一篇對比 文 件 :Xing Qin,Xiaolang Yan,A Memory and Speed Efficient CAVLC Decoder, Proc.VCIP 2005,pp.1418-1426,Jul.2005,最終該篇對比文件使申請人縮小了保護范圍。
啟示:申請人為高?;蚩蒲性核纳暾?,發(fā)明人的同一實驗室或課題組中研究領域比較接近,有些可能是延續(xù)性的研究,一般還會有多個高校的實驗室分別進行研究,所以在進行檢索時,不僅要檢索發(fā)明人的文章,還要檢索與發(fā)明人研究接近的同實驗室人員和相關實驗室人員的文章,可以以發(fā)明人和相似研究人員所屬的單位進行跟蹤檢索。隨著國內(nèi)科研人員的專利意識增強,會注意先申請專利后在期刊上發(fā)表文章,然而他們往往還是會在專業(yè)會議,尤其是一些英文國際會議上提前公開研究成果,而IEEE的會議文章并不全面,此時ISI Web of Knowledge可以作為補充檢索。
通過以上案例的檢索,結(jié)合在審查過程中其他案例的檢索得到一些體會,總結(jié)歸納如下:
1)在非專利文獻檢索中,參考文獻可以作為追蹤檢索的工具,這有點類似于專利文獻檢索中根據(jù)同族進行追蹤的方法,比如針對某發(fā)明申請,審查員檢索到發(fā)明人的一篇論文,公開了本申請的大部分內(nèi)容,只是時間晚于本發(fā)明。但是,通過閱讀該論文的參考文獻,審查員可能找到可以作為現(xiàn)有技術評價該申請新穎性創(chuàng)造性的另一篇文獻。
2)對于申請人為高?;蚩蒲性核纳暾垼l(fā)明人有可能在將研究成果發(fā)明專利之前,將成果提前發(fā)表在國內(nèi)外期刊上,尤其是相對比較新的圖像編解碼算法,大都將研究成果發(fā)表在國外的期刊或會議上,所以在外文非專利數(shù)據(jù)庫中檢索也很有必要;另外申請人為高?;蚩蒲性核纳暾垼浒l(fā)明人的同一實驗室或課題組中研究領域比較接近,有些可能是延續(xù)性的研究,所以在進行檢索時,不僅要檢索發(fā)明人的文章,與發(fā)明人研究接近的人員的文章也不能遺漏;比如申請人如果是博士或者碩士,在其博士論文或碩士論文末尾會有作者在攻讀學位期間發(fā)表的論文和參與的課題的列表,這些文獻的內(nèi)容與申請的內(nèi)容的相關性很大,很有參考價值。
3)對于圖像編解碼方法的專利申請,申請的技術方案往往與現(xiàn)有的編碼標準之間關系緊密,大多數(shù)是對現(xiàn)有標準(比如MPEG,H.264)的應用或改進,而對于這類申請的技術內(nèi)容其大部分已被現(xiàn)有標準中公開,相應的標準很可能可以作為影響新穎性或創(chuàng)造性的文獻使用。
本文以實際審查案例為例,對圖像編解碼方法的特點進行了介紹,并根據(jù)其特點分析了在非專利數(shù)據(jù)庫中的檢索思路,給出了自己的一些心得體會。錯誤之處請大家批評指正。
[1]周蔭清.信息論理論基礎[M].北京:北京航空航天大學出版社,1993.
[2]畢厚杰.新一代視頻壓縮編碼標準—H.264/AVC[M].北京:人民郵電出版社,2002.
[3]AVS.The Information Technology Advanced Audio and Video Coding Part 2:Video[S].2005.