流媒體視頻文件相似性識(shí)別的方法

劉述 孔玲 田輝

(1. 中國(guó)信息通信研究院技術(shù)與標(biāo)準(zhǔn)研究所，北京 100191；2. 中國(guó)人民解放軍93303部隊(duì)，沈陽(yáng) 110069)

0 引言

在進(jìn)行內(nèi)容分發(fā)網(wǎng)絡(luò)(Content Delivery Network，CDN)項(xiàng)目時(shí)，甲方提出一個(gè)需求，CDN中的視頻文件，特別是電影、電視劇等流媒體文件有大量的重復(fù)，同一內(nèi)容在CDN中可能有多個(gè)副本，占用了大量的存儲(chǔ)資源。如果減少這些重復(fù)文件的存儲(chǔ)，對(duì)于降低CDN的運(yùn)營(yíng)成本會(huì)有非常大的幫助?；诖?，本文提出一種采集相鄰I幀時(shí)間信息進(jìn)行內(nèi)容相似度識(shí)別的方法。

1 常規(guī)的解決方法

對(duì)于甲方的需求，設(shè)備商提供了初步的解決方案，對(duì)于視頻文件，設(shè)備商進(jìn)行文件大小的比對(duì)，大小一致的文件可能是同一個(gè)視頻文件。顯然這種方法是非常粗糙的，在此不進(jìn)行討論。

進(jìn)一步，設(shè)備商提供對(duì)視頻文件進(jìn)行摘要計(jì)算，凡是摘要一樣的視頻文件，雖然文件名不同，也可以認(rèn)定是同一個(gè)視頻文件。這種方法的優(yōu)點(diǎn)是準(zhǔn)確匹配，可以減少同一文件的副本數(shù)，但即使視頻文件內(nèi)容相同也會(huì)有多種差別，如每秒幀數(shù)可以是25 fps，也可以是30 fps；解析度可以是4K或1 080P等；視頻編碼可以是MPEG-2或H.264；配音的編碼可以是MP3或ACC。此外，對(duì)視頻文件加入內(nèi)嵌字幕、水印或數(shù)字版權(quán)等信息，都會(huì)使視頻文件的摘要發(fā)生變化。這種方法體現(xiàn)出的問(wèn)題在于，針對(duì)上述不同配置相同內(nèi)容的視頻文件無(wú)法識(shí)別。

另一種解決方案是提取視頻文件中一系列的畫面來(lái)進(jìn)行比對(duì)，該方案需要用到人工智能等技術(shù)，這類解決方案對(duì)于單一視頻文件識(shí)別會(huì)有比較好的效果。對(duì)一個(gè)內(nèi)容進(jìn)行不斷的訓(xùn)練，會(huì)使識(shí)別正確率不斷提升，但是這樣的解決方案過(guò)于復(fù)雜，需要計(jì)算資源和內(nèi)存資源比較多，而且每識(shí)別一個(gè)新的內(nèi)容都要重新進(jìn)行訓(xùn)練。

2 新方案的提出和驗(yàn)證

本文提出一個(gè)新的視頻文件相似度比對(duì)的方法，特別適用于影視內(nèi)容的流媒體視頻文件的識(shí)別。該方法的復(fù)雜度不高，但應(yīng)用效果卻非常理想。

2.1 基礎(chǔ)知識(shí)

網(wǎng)上流媒體服務(wù)的成功，很大歸功于視頻壓縮編碼的運(yùn)用。流媒體文件在編碼時(shí)，通過(guò)畫面信息的預(yù)測(cè)，大大減小了傳輸?shù)臄?shù)據(jù)量，實(shí)現(xiàn)的視頻文件的壓縮，使視頻流媒體可以在互聯(lián)網(wǎng)上傳送。視頻文件原始數(shù)據(jù)雖然數(shù)據(jù)量巨大，但鄰近幀之間的差異很小，只需要傳送這種幀間變化的信息就可以實(shí)現(xiàn)數(shù)據(jù)量的壓縮。

目前，視頻流媒體編碼主要包括MPEG-2、H.264和H.265等，這些編碼有很多相似之處，如幀內(nèi)預(yù)測(cè)(Intra Prediction)、幀間預(yù)測(cè)(Inter Prediction)等手段[3]。

幀內(nèi)預(yù)測(cè)幀使用幀內(nèi)編碼幀進(jìn)行數(shù)據(jù)傳送，該幀稱為I幀，又稱為內(nèi)部畫面(Intra Picture)，經(jīng)過(guò)適度壓縮，作為隨機(jī)訪問(wèn)的參考點(diǎn)。I幀特點(diǎn)：它是一個(gè)全幀壓縮編碼幀，信息量比之后的幀間預(yù)測(cè)幀信息量大；它將全幀圖像信息進(jìn)行JPEG壓縮編碼及傳輸，且獨(dú)立于其他的圖像類型；每個(gè)圖像群組由此類型的圖像開(kāi)始，解碼時(shí)僅用I幀的數(shù)據(jù)就可重構(gòu)完整圖像；在I幀之后都是對(duì)I幀進(jìn)行補(bǔ)償?shù)膸缜跋蝾A(yù)測(cè)幀P幀、雙向預(yù)測(cè)幀B幀等。

筆者直觀感到，在影視流媒體作品中，畫面變化最劇烈的時(shí)候應(yīng)該是鏡頭切換的時(shí)刻，這時(shí)流媒體中應(yīng)會(huì)出現(xiàn)一個(gè)新的I幀，經(jīng)過(guò)觀測(cè)的視頻文件的解碼并對(duì)比視頻播放，證明筆者的猜測(cè)是正確的。實(shí)際上，I幀也會(huì)出現(xiàn)在不是鏡頭切換的時(shí)刻，但是每當(dāng)畫面出現(xiàn)鏡頭切換時(shí)出現(xiàn)的I幀，都會(huì)標(biāo)明是Key-I 幀。圖1是視頻文件開(kāi)始的第一個(gè)I幀信息，表明這是一個(gè)Key-I 幀。

圖1 第一個(gè)鏡頭的第一個(gè)I幀信息

2.2 新方案的提出和驗(yàn)證

有了上述的驗(yàn)證，筆者提出了一個(gè)視頻文件相似性比較的方法，這里有兩個(gè)視頻文件分別對(duì)視頻文件Key-I幀出現(xiàn)的時(shí)間進(jìn)行采樣，各形成一個(gè)時(shí)間序列。再對(duì)這兩個(gè)時(shí)間序列進(jìn)行比較，最容易實(shí)現(xiàn)的比較方法是進(jìn)行相關(guān)系數(shù)的計(jì)算，如果兩個(gè)時(shí)間序列相關(guān)系數(shù)越接近1，說(shuō)明兩個(gè)時(shí)間序列一致性越強(qiáng)。時(shí)間序列代表了視頻文件中鏡頭切換的時(shí)間，如果兩個(gè)視頻文件鏡頭切換的時(shí)間高度一致，可以初步判斷兩個(gè)視頻文件為同一內(nèi)容。

為了證明此方法，筆者將同一個(gè)視頻文件進(jìn)行了新的格式編輯，文件1視頻文件解析度為480P每秒20幀(見(jiàn)圖2)，文件2視頻文件解析度為1 036P每秒30幀(見(jiàn)圖3)。兩個(gè)文件的幀分布進(jìn)行比較，如圖4所示，其中箭頭標(biāo)出的是前4個(gè)Key-I幀。

圖2 480P.20 fps文件1的信息

圖3 1 036P.30 fps文件2的信息

圖4 文件1和文件2中Key-I幀出現(xiàn)時(shí)的比較

表1為提取兩個(gè)視頻文件前4個(gè)Key-I幀的出現(xiàn)時(shí)刻信息。

表1 文件1和文件2中Key-I幀出現(xiàn)的時(shí)間序列

如果計(jì)算兩個(gè)序列的線性相關(guān)度，相關(guān)系數(shù)為0.999961，說(shuō)明兩個(gè)序列的相關(guān)性非常高。由于兩個(gè)視頻文件中鏡頭切換的時(shí)刻高度一致，可以初步判斷這兩個(gè)視頻文件是同一內(nèi)容。

實(shí)踐中也會(huì)常用相鄰樣本間的差做時(shí)間序列，以表1數(shù)據(jù)做差分計(jì)算為例，兩鏡頭之間的時(shí)間差各形成一個(gè)序列(見(jiàn)表2)。

表2 文件1和文件2中 Key-I幀的時(shí)間差的序列

計(jì)算這兩個(gè)序列相關(guān)系數(shù)為0.99161，說(shuō)明文件1和文件2中Key-I幀出現(xiàn)時(shí)刻高度一致。

3 結(jié)束語(yǔ)

本文提出的方案適用于時(shí)間較長(zhǎng)的影視作品的比較。時(shí)間較長(zhǎng)，I幀進(jìn)行采樣的樣本數(shù)較多，結(jié)果會(huì)更加理想。目前，互聯(lián)網(wǎng)上流行的短視頻鏡頭切換較少，如果進(jìn)行副本的識(shí)別應(yīng)使用別的方法或方案。本文提出的兩個(gè)視頻文件比較的方法采用了相關(guān)系數(shù)的計(jì)算，相關(guān)系數(shù)計(jì)算對(duì)序列要求比較嚴(yán)格，如果視頻文件中多插入或刪除一兩個(gè)鏡頭，則兩個(gè)文件線性相關(guān)性會(huì)大大降低。在序列相似性比較或序列片段相似性比較的研究中，生物學(xué)中對(duì)基因序列的研究可以在進(jìn)一步的研究中提供更多借鑒[1-2](注：本文中的數(shù)據(jù)采樣使用Elecard公司的StreamEyes Demo版產(chǎn)品)。