章亞

（云南省政府采購和出讓中心綜合服務(wù)處，昆明 650118)

通用視頻圖像分析處理應(yīng)用框架的設(shè)計

章亞

（云南省政府采購和出讓中心綜合服務(wù)處，昆明 650118)

在處理視頻的過程中，經(jīng)常需要對特定視頻流進(jìn)行一系列連續(xù)分析處理，并依據(jù)處理結(jié)果進(jìn)行視頻內(nèi)容的分析研判。基于實際需求設(shè)計包括圖像獲取部分、圖像分析部分、規(guī)則判斷部分三部分的視頻圖像分析處理框架，同時，考慮圖像處理算法的封裝，使得同一張視頻幀的處理結(jié)果可以在多個應(yīng)用中使用，提高開發(fā)特定應(yīng)用時的開發(fā)效率及穩(wěn)定性。

視頻處理；視頻分析；視頻分析應(yīng)用框架；智能分析；處理框架

0 引言

隨著安防建設(shè)的快速發(fā)展，以視頻監(jiān)控為主的安防策略被廣泛應(yīng)用，當(dāng)前，各個小區(qū)、街道、路口，甚至辦公居住場所內(nèi)都安裝了大量的視頻監(jiān)控設(shè)備，傳統(tǒng)的視頻監(jiān)控系統(tǒng)已經(jīng)成為了公安部門抓獲犯罪分子的利器、維持社會安定的重要手段。但同時，如何有效地完成對視頻的分析處理，提高視頻的利用效率成為了當(dāng)前的一個主要的研究內(nèi)容。

智能視頻分析處理本身是計算機(jī)圖像視覺技術(shù)在安防領(lǐng)域應(yīng)用的一個分支，是一種基于目標(biāo)行為的智能監(jiān)控技術(shù)。區(qū)別于傳統(tǒng)的移動偵測（VMD，Video Motion Detection）技術(shù)，智能視頻分析首先將場景中背景和目標(biāo)分離，識別出真正感興趣的目標(biāo)，去除背景干擾（如樹葉抖動、水面波浪、燈光變化），進(jìn)而分析并追蹤在攝像機(jī)場景內(nèi)出現(xiàn)的目標(biāo)行為。

在視頻圖像分析應(yīng)用領(lǐng)域，實際處理過程中經(jīng)常需要對來自某個視頻流的一系列圖像進(jìn)行連續(xù)的分析處理，并將處理結(jié)果按照某種規(guī)則進(jìn)行判斷，從而獲得有用的信息。對于某一個特定的視頻圖像分析應(yīng)用來說，這個過程中一般需要定制開發(fā)的主要是以下三個部分：圖像獲取部分（完成視頻對接，如針對網(wǎng)絡(luò)流媒體、Morhan等引入通用媒體訪問UMA[1]）、圖像分析部分，完成視頻幀的分析處理，今年來這部分的研究也非常廣泛[5～8]；規(guī)則判斷部分，根據(jù)分析處理的結(jié)果和應(yīng)用規(guī)則進(jìn)行研判，如在民用、銀行、機(jī)場等公共場所的應(yīng)用[9～10]，在政府、軍事中的應(yīng)用[11～12]。但是將這三個部分連接起來的部分則相對固定。例如說，圖像獲取模塊獲取到圖像后如何將其送入圖像分析模塊；同一張圖如果提供給多個算法進(jìn)行處理；同一個處理結(jié)果如何提供給多個規(guī)則分別進(jìn)行評判等。這些中間環(huán)節(jié)，可重用度很高。如果能夠?qū)⑦@整個過程中變化及非變化部分進(jìn)行抽象，并使用接口進(jìn)行隔離，設(shè)計開發(fā)出一個通用視頻圖像分析應(yīng)用框架[13]，可以有效提高開發(fā)特定應(yīng)用時的開發(fā)效率及穩(wěn)定性。本文即是在這種應(yīng)用要求下提出的。

整個通用視頻圖像分析應(yīng)用框架設(shè)計目標(biāo)包括：

●通用性。只要是處理一個連續(xù)的圖形系列，并在滿足某種規(guī)則時觸發(fā)某種動作的應(yīng)用都可以使用這個框架。

●方便性。特定應(yīng)用只需實現(xiàn)圖像獲取、圖像分析、規(guī)則判斷三個部分中需要實現(xiàn)的部分，可以快速實現(xiàn)及測試。

●擴(kuò)展性。圖像獲取、圖像分析、規(guī)則判斷這三個模塊通過接口與框架連接在一起，在這些模塊內(nèi)部可以使用任何底層技術(shù)框架。例如說，圖像分析部分可以使用OpenCV或其他算法庫。

總體設(shè)計思路：

將不變部分的功能實現(xiàn)為框架的骨架，將變化部分功能設(shè)計為可拔插的模塊，中間用接口進(jìn)行隔離。

1 框架實現(xiàn)

在這里，采用MS VC++2010環(huán)境及OpenCV庫來實現(xiàn)框架主體。

整個框架主要分為視頻源（Video Source）、視頻源管理器（Video Source Manager）、視覺處理器（Vision Processor）、視覺用戶（Vision User）、視覺用戶管理器（Vision User Manager）五個部分。

由于VC++沒有接口（interface），因此采用抽象類（abstract class）來代替接口，以下所提到的接口都是抽象類。

1.1 視頻源（Video Source）

視頻源主要功能就是提供連續(xù)的視頻圖像系列。需實現(xiàn)IVideoSource接口。IVideoSource接口定義如下：

視頻源對象（CVideoSource）繼承了并實現(xiàn)了IVideoSource接口，因為從視頻流中獲取圖像與視頻設(shè)備及廠商有關(guān)，在這里為了提高重用度，將具體的圖像獲取部分的實現(xiàn)留在框架外部，通過在創(chuàng)建視頻源時將獲取圖像的函數(shù)指針傳入視頻源對象，由視頻源對象按一定的幀率來獲取連續(xù)的圖像系列。

1.2 視頻源管理器（Video Source Manager）

視頻源管理器是個靜態(tài)類，負(fù)責(zé)管理視頻源對象的創(chuàng)建、使用及銷毀。

Video Source Manager的定義如下：

1.3 視覺處理器（Vision Processor）

視覺處理器封裝了特定的圖像處理過程，需要根據(jù)應(yīng)用的要求進(jìn)行定制開發(fā)。Vision Processor需實現(xiàn)IVisionProcessor接口。

IVisionProcessor接口定義如下：

IVisionProcessor接口最主要的目的就是處理圖像。各類處理算法的處理器都應(yīng)實現(xiàn)該接口，在框架中提供了一個實現(xiàn)IVisionProcessor接口的抽象類CVisionProcessor，該類將實現(xiàn)一些圖像處理的公共操作，然后特定算法的視覺處理器類則繼承CVisionProcessor抽象類，并實現(xiàn)其特定的功能。如：運(yùn)動目標(biāo)跟蹤處理器CBlobTrackProcessor、人臉識別處理器CFaceDetect-Processor等。

1.4 視覺用戶（Vision User）

視覺用戶是封裝了特定的規(guī)則判斷過程，需要根據(jù)應(yīng)用的要求進(jìn)行定制開發(fā)。VisionUser需實現(xiàn)IVisionUser接口。

IVisionUser接口定義如下：

IVisionUser接口最主要的目的就是對圖像處理的結(jié)果應(yīng)用規(guī)則判斷。各類應(yīng)用規(guī)則判斷都應(yīng)實現(xiàn)該接口，在框架中提供了一個實現(xiàn)IVisionUser接口的抽象類CVisionUser，該類將實現(xiàn)應(yīng)用規(guī)則判斷的公共操作，然后特定應(yīng)用規(guī)則判斷的視覺用戶類則繼承CVisionUser抽象類，并實現(xiàn)其特定的功能。如：運(yùn)動目標(biāo)跟蹤用戶類CBlobTrackUser、人臉識別用戶類型CFaceDetectUser等。

1.5 視覺用戶管理器（Vision User Manager）

視覺用戶管理器是個靜態(tài)類，負(fù)責(zé)管理視覺用戶對象的創(chuàng)建、使用及銷毀。

CVisionUserManager的定義如下：

2 結(jié)語

本文給出了包括視頻源（Video Source）、視頻源管理器（Video Source Manager）、視覺處理器（Vision Processor）、視覺用戶（Vision User）、視覺用戶管理器（Vision User Manager）五個部分的通用視頻圖像分析處理應(yīng)用框架，對于高效地完成視頻分析處理具有一定的實用價值。

[1] Morhan R,Smith J R,Li C S.Adapting Multimedia Internet Content for Universal Access.IEEE Transactions on Multimedia,1999,1（3）：104～114

[2] Chang S F,Verto A.Video Adaptation：Concepts,Technologies and Open Issues,Proceedings of the IEEE Special Issue on Advances in Video Coding and Delivery,2005,93（1）：148～158

[3] ISO/IEC.Information Technology：Multimedia Framework Part 7：Digital Items Adaptation（2100027），2004

[4] Vetro A,Timmerer C.Digitalitem Adaptation：Overview of Standardization and Research Activities.IEEE Transactions on Multimedia, 2005,7（3）：418～426

[5] Tsai,LW,et al.Vehicle Detection Using Normalized Color and Edge Map[J].IEEE Transactions on Image Processing，2007,16（3）：850～864

[6] Pereira,F,Sun,NT.Special Issue on Video Surveillance[J].IEEE Transactions on Circuits and Systems for Video Technology，2008, 18（8）：1001～1005

[7] NGHIEM AT,et al.ETISEO,Performance Evaluation for Video Surveillance Systems[C].IEEE International Conference on Advanced Video and Signal Based Surveillance.London,UK.2007：476～481

[8] 孔曉東.智能視頻監(jiān)控技術(shù)研究[D].上海：上海交通大學(xué)，2008

[9] 張曙光.智能視頻監(jiān)控在公共安防中的應(yīng)用研究[J].天津：信息系統(tǒng)工程，2011，07：58～59

[10] Stringa E,Regazzoni CS.Real-Time Video-Shot Detection for Scene Surveillance Applications[J].IEEE Transaction Son Image Processing，2000,9（1）：69～79

[11] Collins RT,et al.Introduction to the Special Section on Video Surveillance[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22（8）：745～746

[12] Doucet A,et al.Particle Filter for State Estimation of Jump Markov Linear Systems[J].IEEE Transactions on Signal Processing.2001, 49（3）：613～624

[13] 徐農(nóng).智能視頻監(jiān)控系統(tǒng)的分析與設(shè)計[D].北京：北京郵電大學(xué),2012

Design of Processing Application Framework of the General Video Analysis

ZHANG Ya
（Government Procurement and Transfer Integrated Service Center，Yunnan Province,Kunming,650224）

In the processing of video,often needs a series of continuous analysis of treatment on specific video streams,and based on the results of the process makes the judged analysis.Based on actual demand,designs a framework including image acquisition part,image analysis part,judge rules part.At the same time,by the package of the image processing algorithm,as a result to the analysis of the frame can be used in multiple applications,it can improve the efficiency of the development and stability of the application.

Video Processing;Video Analysis;Video Analysis Framework;Intelligent Analysis;Processing Framework

1007-1423（2015）01-0065-05

10.3969/j.issn.1007-1423.2015.01.015

章亞（1965-），男，河南周口人，碩士，工程師，研究方向為系統(tǒng)結(jié)構(gòu)、軟件工程

2014-11-18

2014-12-05