智能視覺技術(shù)應(yīng)用概括與展望

智能視覺技術(shù)簡介

隨著行業(yè)的發(fā)展，傳統(tǒng)的安防行業(yè)由原來單純的視頻監(jiān)控系統(tǒng)，慢慢的擴展為視頻綜合管理系統(tǒng)。其功能逐漸從視頻采集、視頻編解碼和錄像存儲為主、逐步過渡到視覺內(nèi)容（Visio Analytics）分析和元數(shù)據(jù)應(yīng)用為主。不論是視頻監(jiān)控系統(tǒng)，還是視頻綜合管理系統(tǒng)，就其本質(zhì)而言，是通過光電傳感器來代替人眼來獲取外部有用信息并加以利用。

視覺分析，又稱為智能視覺（Intelligent Visio）、計算機視覺（Computer Vision）。智能視頻分析（Intelligent Video analytics），或者稱為視頻內(nèi)容分析（Video Content Analysis），智能視頻（Intelligent Video）等。兩者既有聯(lián)系又有區(qū)別。

視頻分析是對多幀圖像組成的序列進行分析，視頻分析的對象都是攝像機采集的自然視頻。但視覺分析研究對象和內(nèi)容更廣，還包括合成圖像和拼接圖像，不僅用到圖像處理技術(shù)、視頻處理算法，還包括一些攝像機成像技術(shù)、圖像合成技術(shù)，三維重構(gòu)技術(shù)、對象檢測技術(shù)、對象識別技術(shù)、行為分析等等。

智能視覺技術(shù)核心和開發(fā)難點

不論在學(xué)術(shù)界，還是產(chǎn)業(yè)界，對智能視覺分析都沒有正式而又明確的定義，自然的對智能視覺分析技術(shù)也就沒有成型的公式。

智能視覺技術(shù)的突出特點就是多樣性和不完善性。如圖1所示，智能視覺技術(shù)是一個多學(xué)科交叉研究領(lǐng)域。用到了數(shù)學(xué)、物理學(xué)、攝影學(xué)、神經(jīng)生物學(xué)、信號處理、圖像處理、人工智能、自動控制機器人、機器視覺、機器學(xué)習(xí)、計算機視覺等多學(xué)科相關(guān)知識。

圖1 計算機視覺與其他領(lǐng)域的關(guān)系

智能視覺分析主要是模仿人眼視覺分析和人腦視覺信息處理與提取過程，在生物視覺方面，人類對人腦視覺信息處理和提取的具體過程還知之甚少。在整個20世紀中，人類對各種動物的眼睛、神經(jīng)元、以及視覺刺激相關(guān)的腦部組織都進行了廣泛研究，得出了視覺系統(tǒng)如何運作的粗略描述。人們試圖建立一個人工系統(tǒng)，使之在不同程度上模擬生物視覺運作。

如圖2所示為一個典型的智能視覺分析應(yīng)用框架。首先對輸入視頻信號進行圖像處理和視頻處理，對視頻信號中每個像素點建立隨時間變化的模型，并前背景分離。然后對分離出的前景圖像區(qū)域提取合適的特征向量。根據(jù)線下訓(xùn)練器使用正負樣本得到的模型檢測該區(qū)域是否有模型對應(yīng)的對象存在，若存在，則認為檢測到該對象。然后繼續(xù)對該對象本身內(nèi)部屬性特征進一步檢測識別。使用對象模型檢測對象，不僅在視頻前景區(qū)域中進行檢測，也可以直接在整個圖片中遍歷檢測。模型檢測之前需要建立特征金字塔，并以滑動窗的形式進行光柵順序掃描，以實現(xiàn)在多尺度下對象檢測。

圖2 智能視覺分析框架

前景中檢測出對象后，繼續(xù)對對象動作姿態(tài)進行識別。同時在視頻中對對象特征角點進行跟蹤，以完整繪制出對象運動軌跡。

以上的場景分析、前背景建模、對象模型檢測、對象姿態(tài)識別、運動軌跡分析，即可以在原始視頻圖像中完成，也可以在變換圖像、拼接圖像、視頻集合中完成。

不同攝像頭得到的運動檢測識別結(jié)果、行為軌跡分析結(jié)果可以綜合分析挖掘，提煉出更有潛力價值的信息。

圖2所說的視覺分析框架并不是一成不變的，由于智能視覺技術(shù)多樣性和不完善性，針對不同的應(yīng)用場景，其中各技術(shù)模塊會有不同。每一模塊中的算法，都僅適用于某些特定的應(yīng)用，不具有通用性，故智能視覺分析算法有相當(dāng)?shù)碾y度。

浙江宇視科技有限公司的IA8500智能服務(wù)器、IA8500-VD智能視頻診斷服務(wù)器、DB9500數(shù)據(jù)庫服務(wù)器、DR9500數(shù)據(jù)檢索服務(wù)器就是在該基礎(chǔ)上實現(xiàn)的集智能視覺分析、視頻預(yù)處理與診斷、視覺分析元數(shù)據(jù)存儲與檢索、數(shù)據(jù)挖掘等功能的大型解決方案。

智能視覺技術(shù)在視頻監(jiān)控應(yīng)用分析

安防行業(yè)中的智能視覺分析主要完成的功能包括：視覺信號前背景分離、對象跟蹤、對象特征提取、對象分類器設(shè)計。

前背景分離

前背景分離是計算機視覺領(lǐng)域的一個經(jīng)典課題，到目前來看，研究學(xué)者從不同角度提出了幾十種背景建模算法，部分算法如下：

視頻時間軸上的均值和方差法：

·幀差（Frame Difference）法

·加權(quán)運動均值（Weighted Moving Mean）法

·加權(quán)運動方差（Weighted Moving Variance）法

·自適應(yīng)背景學(xué)習(xí)（Adaptive Background Learning）法

·自適應(yīng)選擇背景學(xué)習(xí)（Adaptive-Selective Background Learning）法

模糊法（Fuzzy-based methods）：

·Fuzzy Sugeno Integral (with Adaptive-Selective Update)

·Fuzzy Choquet Integral (with Adaptive-Selective Update)

·Fuzzy Gaussian of Laurence Bender

單高斯模型統(tǒng)計法（Statistical methods using one gaussian）

多高斯模型統(tǒng)計法（Statistical methods using multiple gaussians）

類型2模糊（Type-2 Fuzzy based）法

使用顏色和紋理特征的統(tǒng)計法（Statistical methods using color and texture features）

非參數(shù)法（Non-parametric methods）

特征空間法（Eigenspace-based methods）

神經(jīng)和神經(jīng)模糊法（Neural and neuro-fuzzy methods）

這些算法有的基于空間特征，有的在時間軸上建立高斯模型，有的采用特征空間模型，有的基于像素顏色和紋理。但這些算法沒有一個適用于所有的視頻場景，或者說某一類算法只適用于某一類場景。但真實情況是視頻場景千差萬別。比如對一十字路口：白天、傍晚、夜間補光燈、夜間沒有補光燈、紅外、白天雨天、夜間雨天、大風(fēng)天氣、霧霾天氣、雪天，這些因素導(dǎo)致場景隨機變化，無法找到合適算法進行自動識別。

無法找到一個通用于所有場景的智能視覺算法，這就是智能視覺分析的難點所在。

對象跟蹤

對象跟蹤的難點在于物體在運動過程中外表特征發(fā)生變化、遮擋、遮擋后重現(xiàn)、運動物體發(fā)生交疊、群體性對象跟蹤、多攝像機接力跟蹤，等等。這些難點仍然是當(dāng)前視覺分析領(lǐng)域的研究熱點。

目前產(chǎn)品中實現(xiàn)的對象跟蹤算法大抵分為幾類：

點跟蹤（blob tracking）法：比如斑點檢測（blob detection）和光流（optical flow）法跟蹤。

內(nèi)核跟蹤（kernel-based tracking）法：比如均值漂移（mean-shift）法。

輪廓跟蹤（contour tracking）法。

視覺特征匹配（feature matching）法。

卡爾曼濾波器（Kalman filter）法。

粒子濾波器（Particle filter）法。

特征提取

智能視覺分析中主要用的視覺特征有：邊緣（edge）特征，角點（corner）特征，斑點（blob）特征，顏色特征，紋理特征，尺寸特征，等等，針對這些特征還有各種特征描述符（feature description），比如SIFT（Scale Invariant Feature Transform）、SURF(Speeded Up Robust Features)、HOG（Histogramof Oriented Gradients）、LBP（Local Binary Pattern）、FAST（ Features from Accelerated Segment Test）。

分類器設(shè)計

對模型訓(xùn)練庫中的正負樣本特征提取后，需要把這些特征輸入一個機器學(xué)習(xí)算法，以便學(xué)習(xí)得到某一個對象的分類器。通常用到的分類器有Adboost、支持向量機（SVM）、神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks）、隨機森林（Random Decision Forests）。在有些情況下，需要把分類器級聯(lián)起來以形成一個強分類器。

浙江宇視科技有限公司的智能卡口系統(tǒng)中的HTS-HC121系列單車道、HTS-HC122系列雙車道、HTS-HC151系列500萬高清卡口攝像單元智能攝像機單元、以及HTS-HC581系列、800萬、HTS-HC551系列500萬、HTS-HC531系列300萬、HTS-HC521系列200萬電子警察系統(tǒng)的高清電警攝像單元，HIC6621EX22I系列1080p、HIC6501EX22I系列720p智能違停抓拍球，選用業(yè)界領(lǐng)先的智能視覺算法模塊，并針對卡口系統(tǒng)場景和電子警察場景做出專門的適應(yīng)性優(yōu)化，在車輛捕獲、車牌號碼識別、車輛屬性特征提取、車輛軌跡跟蹤、車輛行為分析、信號燈檢測、交通流量統(tǒng)計、車輛違法行為分析判斷，等各個功能模塊在業(yè)界不論是性能都達到業(yè)界領(lǐng)先水平。

智能視覺技術(shù)未來發(fā)展走向

視頻監(jiān)控行業(yè)的本質(zhì)需求是，類似于人眼，從攝像機采集的圖像視頻中提取對行業(yè)有用的信息，而剔除無關(guān)信息。不同行業(yè)需求不同，感興趣的信息不同，有的是車輛信息、有的是行人信息、有的是運動信息、有的是軌跡信息。

不僅僅在視頻監(jiān)控行業(yè)，在移動互聯(lián)網(wǎng)領(lǐng)域，尤其是智能終端設(shè)備上攝像頭使得每個人都成為圖像視頻采集者，這帶來了視頻圖像素材的爆炸性增長，由此大大促進了智能視覺技術(shù)的進步。現(xiàn)在越來越多的國際頂級研究機構(gòu)和學(xué)者在智能視覺分析領(lǐng)域大力投入，由此不斷涌現(xiàn)出性能更優(yōu)秀的算法，不斷提高產(chǎn)品中視覺分析技術(shù)的性能。