林 嵩

(福建技術(shù)師范學院 文化傳媒與法律學院, 福州 350300)

0 前 言

視頻監(jiān)控錄像的崛起帶領(lǐng)人們進入了一個數(shù)字化社會。由于每時每刻都有大量的視頻圖像生成，且涉及的事物眾多，信息紛繁復雜，為了實現(xiàn)視頻圖像的高效傳輸，分析圖像關(guān)鍵幀，提取主要特征，學者們進行了深入研究。張航等人提出了一種面向礦山監(jiān)管的無人機視頻關(guān)鍵幀影像動態(tài)提取方法，首先對視頻影像進行預處理；然后，基于提出的相關(guān)信息進行加權(quán)處理，得出關(guān)鍵幀的動態(tài)間隔；最后，對關(guān)鍵幀的時間間隔進行加權(quán)處理，提取關(guān)鍵幀的動態(tài)時差[1]。王俊玲等人提出了一種基于語義相關(guān)的視頻關(guān)鍵幀提取算法，首先利用卷積自編碼器提取視頻幀的深度特征，并對其進行聚類分析；然后，篩選出最清晰的視頻幀作為關(guān)鍵幀；最后，利用密度方法對初次提取的關(guān)鍵幀進行優(yōu)化[2]。但上述方法需要處理多次才能提取到視頻圖像關(guān)鍵幀。

計算機視覺任務包括獲取、處理、分析和理解數(shù)字圖像的方法，以及從現(xiàn)實世界中提取高維數(shù)據(jù)。為了提高視頻圖像關(guān)鍵幀提取及修復效果，本次研究設計了一種基于計算機視覺的視頻圖像關(guān)鍵幀提取及修復方法。

1 基于計算機視覺的視頻圖像關(guān)鍵幀提取

1.1 視頻圖像分割

人工測量視頻圖像只能對重點區(qū)域進行分割；而基于計算機視覺測量視頻圖像不僅能夠檢測物體活動背景，而且能夠識別目標移動軌跡?；谟嬎銠C視覺的視頻圖像采集過程如圖1所示。

圖1 基于計算機視覺的視頻圖像采集過程

為了實現(xiàn)視頻圖像的準確切割，采用閾值分割法建立灰度值模型，首先找出視頻中的關(guān)鍵幀閾值，然后計算背景與目標的灰度差，最后完成閾值分割[3]。

設原始視頻圖像為f(x,y)，其灰度值范圍為[Qmin,Qmax]，灰度閾值為Q1。閾值分割后的視頻圖像如式(1)所示：

(1)

式中：f1(x,y)表示閾值分割后的視頻圖像。

無論灰度值如何變化，閾值分割都不會丟失原始視頻圖像的主要信息，其不僅能夠過濾掉重復數(shù)據(jù)，而且能夠使還原度達到最高[4]?；陂撝捣指畹耐蛔冃裕捎玫ㄊ够叶戎当３衷谕凰骄€上。首先，從繪制的灰度直方圖中選取合適的閾值進行視頻圖像切割，通過不斷迭代計算得出新灰度值Q=(Qmax+Qmin)/2；然后，求出迭代n+1次的平均灰度值Qn+1=(Qb+Qm)/2，其中Qb表示背景灰度值，Qm表示目標灰度值；最后，比較Qn和Qn+1，若相等，則Qn+1為最佳閾值，否則繼續(xù)迭代計算。

1.2 視頻圖像紋理采集

當視頻圖像出現(xiàn)相似背景時，容易出現(xiàn)錯誤識別的情況，從而導致紋理檢測失敗。為了提高紋理采集效率，利用視頻圖像中的主要特征窗口獲取像素值[5-6]。紋理圖像灰度值的計算如式(2)所示：

(2)

式中：Gpixel_A表示紋理圖像灰度值；i表示像素點；m表示像素點個數(shù)；P表示紋理圖像采集概率。

在視頻圖像紋理采集過程中，需要對關(guān)鍵像素點和模糊視頻圖像進行重建與融合[7]。采用熵值法采集剩余的局部紋理圖像，以原始像素點作為標準求出對應的熵。紋理圖像特征向量的計算如式(3)所示：

(3)

式中：c(t)表示紋理圖像特征向量；T表示紋理模型；t表示延后時間；K表示灰度系數(shù);t0表示初始時間。

由于像素點的檢測會對視頻圖像產(chǎn)生干擾，導致出現(xiàn)不穩(wěn)定的噪聲[8]。當噪聲達到較高分貝時，會在一定程度上影響子區(qū)域的融合，從而使視頻幀數(shù)不穩(wěn)定，采集的紋理圖像不夠完整與清晰。為了得到色彩豐富的二維結(jié)構(gòu)[9]，使用的函數(shù)如式(4)所示：

(4)

式中：P1、P2、P3、P4表示逐漸增加的概率；x1、x2、x3、x4表示視頻幀的二維高斯核函數(shù)；?表示維度。

當給予不同維度的數(shù)值時，紋理圖像關(guān)鍵幀的灰度差如式(5)所示：

(5)

式中：z表示紋理圖像關(guān)鍵幀的灰度差。

z的3個值代表了3種濾波，利用濾波函數(shù)θ將圖像中的混合噪聲分離出來，通過特征分量去除緣區(qū)域的噪聲干擾，以確定紋理圖像關(guān)鍵幀像素點的分布情況。

1.3 視頻圖像關(guān)鍵幀提取

視頻圖像關(guān)鍵幀包括初始幀和終止幀[10]。以初始背景為例，首先找出主要特征分量；然后，在特征分量中找出關(guān)鍵幀信息；最后，通過灰度值曲線圖判斷關(guān)鍵幀的具體位置[11]。關(guān)鍵幀提取流程如圖2所示。

圖2 關(guān)鍵幀提取流程

假設存在2個相似的視頻圖像Ui(x,y)和Uj(x,y)，面積均為M×N，則視頻圖像關(guān)鍵幀中的相似像素值如式(6)所示：

λ(Uj(x,y),w)

(6)

式中：F(r,w)表示像素值函數(shù)；r表示顏色特征；w表示亮度特征；λ表示因子系數(shù)。

去除所有干擾因素后，相似概率如式(7)所示：

(7)

式中：P(r，w)表示相似概率。

由式(6)、式(7)可知，根據(jù)像素點特征分量可以繪制關(guān)鍵幀曲線[12]，從而得到Ui(x,y)和Uj(x,y)，定義表達式如式(8)所示：

(8)

相關(guān)性越高，二者的相似程度越高。正常情況下，相關(guān)性的值為0～1，灰度閾值約為0.9。

由于視頻圖像不受時間和地點的限制，關(guān)鍵幀只隨著特征向量的變化而變化，并按照從模糊到清晰的順序排列[13]。以初始關(guān)鍵幀作為標準，刪除重復信息，填補缺失數(shù)據(jù)，比較相鄰關(guān)鍵幀的灰度差[14]，求出最后視頻圖像的關(guān)鍵幀灰度差，如式(9)所示：

(9)

式中：P(xi)表示灰度值概率。

由于灰度值受到陽光等影響，導致關(guān)鍵幀提取出現(xiàn)誤差，關(guān)鍵幀序列分布不均勻。只有當信息熵達到最大值時，才會減少關(guān)鍵幀的排列錯誤。新的視頻圖像關(guān)鍵幀提取包括以下6個步驟：

(1) 采集視頻圖像中的主要關(guān)鍵幀，待達到一定數(shù)量后，確定該片段的初始幀和終止幀[15]；

(2) 將視頻圖像分成多個小片段，并逐一分析每個片段的關(guān)鍵幀相似度序列U′，U′=(U1,U2,U3，…,Un-1,Un)，選取序列中的閾值Q作為主要關(guān)鍵幀，即Q=U1；

(3) 求解像素點之間的相關(guān)性，設閾值Q=0.9，進而選出新的關(guān)鍵幀；

(4) 重復上述步驟，直到從剩余關(guān)鍵幀的序列中檢測出終止關(guān)鍵幀；

(5) 當|i-j|<20時，得到最大的信息熵值，將獲取的關(guān)鍵幀整合到同一個集合中；

(6) 在集合中找出初始幀和終止幀，否則轉(zhuǎn)回步驟(5)。

2 視頻圖像修復

每個關(guān)鍵幀都具有特定的信息熵，在進行關(guān)鍵幀修復時，首先提取相同關(guān)鍵幀信息備用；然后找到目標移動規(guī)律，記錄移動軌跡矩陣H=(H1,H2,…,Hn)。由于H中的每個元素都具有相同的背景和目標，因此背景噪聲會使目標改變方向?；谠肼暤牟淮_定性，建立降噪模型，如式(10)所示：

min‖H‖+λ,s.t.‖P-H-S‖≤ε

(10)

式中：S表示面積矩陣；P表示概率矩陣；ε表示噪聲。

經(jīng)過雙層濾波降噪處理后，關(guān)鍵幀的主要信息逐漸被修復，利用加權(quán)法還原原始矩陣，如式(11)所示：

(11)

式中：Ws表示視頻圖像關(guān)鍵幀特征修復函數(shù)。

3 實驗結(jié)果分析

3.1 參數(shù)設計

為驗證基于計算機視覺的視頻圖像關(guān)鍵幀提取及修復方法的有效性，將其與視頻關(guān)鍵幀影像動態(tài)提取方法、基于語義相關(guān)的視頻關(guān)鍵幀提取方法進行對比實驗。實驗參數(shù)如表1所示。

表1 實驗參數(shù)

3.2 實驗結(jié)果分析

3.2.1 關(guān)鍵幀提取效果

分別采用3種方法提取3種不同視頻圖像的關(guān)鍵幀，提取效果如圖3-圖5所示。

圖3 視頻圖像1的關(guān)鍵幀提取效果

圖4 視頻圖像2的關(guān)鍵幀提取效果

圖5 視頻圖像3的關(guān)鍵幀提取效果

由圖3 — 圖5可知，本方法提取的圖像清晰度較高，能夠提取到圖像的顏色特征和紋理特征；其他2種方法提取的圖像清晰度較低，尤其是基于語義相關(guān)的視頻關(guān)鍵幀提取方法提取的圖像最模糊，不能準確獲得圖像信息。

3.2.2 關(guān)鍵幀修復效果

由視頻圖像關(guān)鍵幀修復效果(見圖6)可知，本方法修復效果較好，其他2種方法修復的圖像存在模糊現(xiàn)象。

圖6 視頻圖像關(guān)鍵幀修復效果

3.2.3 關(guān)鍵幀提取時間

由視頻圖像關(guān)鍵幀提取時間的對比結(jié)果(見圖7)可知，關(guān)鍵幀提取時間隨著視頻數(shù)量的增加而增加，本方法的關(guān)鍵幀提取時間比其他2種方法少。

圖7 視頻圖像關(guān)鍵幀提取時間的對比結(jié)果

3.2.4 關(guān)鍵下幀提取誤差

不同λ的視頻圖像關(guān)鍵幀提取誤差如表2所示。當λ為0.05時，本方法的關(guān)鍵幀提取誤差為0.01，視頻關(guān)鍵幀影像動態(tài)提取方法的關(guān)鍵幀提取誤差為0.58，基于語義相關(guān)的視頻關(guān)鍵幀提取方法的關(guān)鍵幀提取誤差為0.68。當λ為0.66時，本方法的關(guān)鍵幀提取誤差為0.16，視頻關(guān)鍵幀影像動態(tài)提取方法的關(guān)鍵幀提取誤差為0.43，基于語義相關(guān)的視頻關(guān)鍵幀提取方法的關(guān)鍵幀提取誤差為0.52。由此可見，本方法的視頻圖像關(guān)鍵幀提取誤差比其他2種方法低。

表2 不同λ下的視頻圖像關(guān)鍵幀提取誤差

4 結(jié) 語

本次研究設計了一種基于計算機視覺的視頻圖像關(guān)鍵幀提取及修復方法。首先，在智能計算機的基礎上還原視頻圖像，提取數(shù)據(jù)信息，確定關(guān)鍵幀序列；然后，將灰度值與關(guān)鍵幀序列相結(jié)合，復制相似關(guān)鍵幀信息，修復丟失關(guān)鍵幀；最后，利用灰度值與序列之間的聯(lián)系獲取主要特征，對其進行融合與分類，進而完成關(guān)鍵幀修復。