冀燕麗 段海濤

隨著互聯(lián)網(wǎng)信息技術(shù)的飛速發(fā)展，人類進(jìn)入了網(wǎng)絡(luò)信息化的新時(shí)代。具有時(shí)代特征的“互聯(lián)網(wǎng)+”，大數(shù)據(jù)和云計(jì)算等技術(shù)影響著高等教育的發(fā)展。而大數(shù)據(jù)包含大量信息資產(chǎn)，這給教育領(lǐng)域帶來了希望和挑戰(zhàn)。2011年，教育部下發(fā)了《關(guān)于做好國家教育考試標(biāo)準(zhǔn)化考點(diǎn)建設(shè)工作的通知》，明確規(guī)定，省（自治區(qū)，直轄市）中央部屬高等學(xué)校標(biāo)準(zhǔn)化考點(diǎn)的建設(shè)任務(wù)應(yīng)納入地方規(guī)劃和綜合實(shí)施，標(biāo)準(zhǔn)化電子考場(chǎng)系統(tǒng)的建設(shè)應(yīng)符合相應(yīng)的技術(shù)規(guī)范和標(biāo)準(zhǔn)。在這一背景下，我校于2012年完成了本校標(biāo)準(zhǔn)化考場(chǎng)的基本建設(shè)，這也是我校視頻監(jiān)控系統(tǒng)的雛形。

隨著高清視頻技術(shù)的發(fā)展和高等教育本科教育教學(xué)審核評(píng)估的發(fā)展，已建有的視頻監(jiān)控系統(tǒng)已不能滿足實(shí)際教學(xué)需求。于是，我校于2018年，在已有的傳統(tǒng)視頻監(jiān)控系統(tǒng)的基礎(chǔ)上做了升級(jí)改造，全校公共教室里配備了高清網(wǎng)絡(luò)攝像機(jī)、現(xiàn)代教育技術(shù)中心機(jī)房配備了和部署了高清視頻監(jiān)控管理平臺(tái)、高清視頻存儲(chǔ)系統(tǒng)、高清NVR和高清解碼器等，這些構(gòu)成了我校目前以高清視頻技術(shù)和視頻圖像分析技術(shù)為支撐的高清智能視頻監(jiān)控系統(tǒng)。隨著高清視頻監(jiān)控的逐步推廣和普及應(yīng)用，視頻監(jiān)控市場(chǎng)朝著“視野清晰，清晰可見”的方向發(fā)展。與此同時(shí)，隨著政府和企業(yè)對(duì)平安校園和視頻監(jiān)控建設(shè)的不斷投入，視頻和視頻數(shù)據(jù)可謂大規(guī)模增長(zhǎng)。這使得我們身處一個(gè)數(shù)據(jù)爆炸性增長(zhǎng)的“大數(shù)據(jù)”時(shí)代，也為我們的數(shù)據(jù)處理和駕馭能力帶來了新的挑戰(zhàn)和機(jī)遇。

大數(shù)據(jù)時(shí)代的到來帶來了大量的視頻圖像數(shù)據(jù)存儲(chǔ)，如何更好地挖掘，利用和分析這些視頻圖像數(shù)據(jù)是我們的關(guān)鍵思考和研究的方向。智能視頻圖像分析技術(shù)要具備根據(jù)分析結(jié)果控制整套視頻監(jiān)控系統(tǒng)的能力，就必須借助一系列關(guān)鍵技術(shù)來實(shí)現(xiàn)，如計(jì)算機(jī)視覺技術(shù)、圖像智能分析技術(shù)和人工智能技術(shù)，借助于這些技術(shù)對(duì)視頻中的序列圖像進(jìn)行檢測(cè)，分析和理解。它融合了眾多領(lǐng)域的先進(jìn)技術(shù)和核心理念，如圖像處理，模式識(shí)別，人工智能，自動(dòng)控制和計(jì)算機(jī)視覺。隨著網(wǎng)絡(luò)，通信和微電子技術(shù)的迅速發(fā)展，數(shù)字視頻監(jiān)控技術(shù)已經(jīng)越來越成熟，并已廣泛應(yīng)用于多領(lǐng)域。因此，研究視頻圖像智能分析技術(shù)具有特殊重要意義。

一、視頻圖像智能分析技術(shù)的內(nèi)容

被稱為第四代視頻監(jiān)控技術(shù)的智能視頻分析技術(shù)是未來視頻監(jiān)控發(fā)展的方向，也是視頻監(jiān)控領(lǐng)域最先進(jìn)的應(yīng)用模式之一。智能視頻監(jiān)控使用智能視頻分析技術(shù)來處理，分析和理解視頻信號(hào)。 IVS結(jié)合了多學(xué)科研究成果，包括圖像處理，目標(biāo)檢測(cè)和跟蹤技術(shù)，模式識(shí)別，軟件工程和數(shù)字信號(hào)處理（DSP）。圖1為智能視頻監(jiān)控系統(tǒng)的工作流程圖。實(shí)時(shí)的或歷史的視頻數(shù)據(jù)流通過視頻基礎(chǔ)管理單元傳輸?shù)揭曨l數(shù)據(jù)中心，然后再通過配置管理服務(wù)器，將任務(wù)分發(fā)到智能分析服務(wù)器，經(jīng)分析后，將分析結(jié)果傳輸至智能監(jiān)控客戶端。

在該視頻監(jiān)控系統(tǒng)中，目標(biāo)的獲取、檢測(cè)，目標(biāo)特征的提取、目標(biāo)的跟蹤、分類和識(shí)別以及對(duì)目標(biāo)行為的分析和理解是智能視頻圖像分析技術(shù)研究的主要內(nèi)容，但由于攝像機(jī)安裝位置、功能的不同以及場(chǎng)景的差異都會(huì)對(duì)分析結(jié)果產(chǎn)生一定的影響。這些都會(huì)影響到攝像機(jī)對(duì)目標(biāo)的識(shí)別準(zhǔn)確度。下面我們具體闡述視頻圖像智能分析技術(shù)的研究?jī)?nèi)容。

（一）目標(biāo)獲取

大多數(shù)視頻智能分析算法基于未壓縮的圖像格式，例如RGB或YUV。因此，圖像信號(hào)被直接發(fā)送到視頻分析單元而不被壓縮。幾乎所有的視頻分析系統(tǒng)都帶有圖像采集功能，通常通過BNC（Bayonet Neill Concelman）輸入圖像信號(hào)。我?，F(xiàn)有的視頻監(jiān)控系統(tǒng)中的圖像信號(hào)通常是以壓縮圖像流的形式存在，可以將圖像流解壓還原成原始圖像格式后再進(jìn)行分析。

（二）目標(biāo)檢測(cè)

實(shí)現(xiàn)視頻智能監(jiān)控系統(tǒng)智能化，首先要完成對(duì)目標(biāo)的檢測(cè)。它通過使用相關(guān)的目標(biāo)檢測(cè)算法將視頻序列中的移動(dòng)像素和靜止像素自動(dòng)分離?，F(xiàn)實(shí)環(huán)境中，很多目標(biāo)不是靜止不動(dòng)的，對(duì)于移動(dòng)的目標(biāo)就要使用“運(yùn)動(dòng)”的特征來檢測(cè)，移動(dòng)目標(biāo)檢測(cè)不注重靜態(tài)的背景，通過快速的運(yùn)動(dòng)檢測(cè)來提取移動(dòng)目標(biāo)，以達(dá)到對(duì)目標(biāo)檢測(cè)的快速和實(shí)時(shí)。

目前，最常用的檢測(cè)運(yùn)動(dòng)目標(biāo)的方法有光流法，幀差法和背景差分法。光流法的基本原理是首先對(duì)圖像中每個(gè)像素分配一個(gè)速度矢量，在一個(gè)特定的運(yùn)動(dòng)時(shí)刻，被分配速度矢量的像素形成的圖像運(yùn)動(dòng)場(chǎng)上的點(diǎn)與三維物體上的點(diǎn)一一對(duì)應(yīng)，用于動(dòng)態(tài)分析圖像；幀差法的基本原理是檢測(cè)目標(biāo)圖像中相鄰幀或隔幀之間的圖像改變，并且利用閾值方法提取圖像中的運(yùn)動(dòng)區(qū)域以進(jìn)行區(qū)分視頻序列中的圖像；背景差分法，該方法具有較高的魯棒性，它首先提取基于圖像序列的當(dāng)前圖像，然后將圖像和實(shí)時(shí)得到的背景模型或者預(yù)先存儲(chǔ)的背景圖像進(jìn)行差分，再經(jīng)過閾值分割提取出運(yùn)動(dòng)目標(biāo)。

具體到我校智能視頻監(jiān)控系統(tǒng)中，目標(biāo)檢測(cè)就是教室內(nèi)學(xué)生的人臉檢測(cè)。這個(gè)問題非常復(fù)雜，主要是因?yàn)闄z測(cè)工作會(huì)受到人臉照明，化妝品，頭發(fā)和光等諸多因素的影響。人臉檢測(cè)的最終目標(biāo)是在完整圖像中找到人的面部區(qū)域，并將輸入圖像合理地分成兩部分，一部分是面部區(qū)域，另一部分是非面部區(qū)域。

（三）目標(biāo)跟蹤

目標(biāo)跟蹤的本質(zhì)是按時(shí)間順序連接在每個(gè)幀之間找到的相同對(duì)象，即跟蹤每個(gè)運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)軌跡。在不同場(chǎng)景中由于光照、遮擋、視覺和雜波等干擾就會(huì)引起監(jiān)控系統(tǒng)檢測(cè)到感興趣的目標(biāo)，并對(duì)目標(biāo)在姿勢(shì)、位置、形狀、運(yùn)動(dòng)等方面進(jìn)行匹配，進(jìn)而達(dá)到對(duì)動(dòng)態(tài)目標(biāo)的運(yùn)動(dòng)跟蹤。

根據(jù)運(yùn)動(dòng)目標(biāo)的表達(dá)和對(duì)先驗(yàn)知識(shí)的依賴，常用的跟蹤方法如下幾種類型：基于區(qū)域的目標(biāo)跟蹤。該方法將感興趣的運(yùn)動(dòng)目標(biāo)的區(qū)域與目標(biāo)模板進(jìn)行比較，并比較跟蹤對(duì)象與候選對(duì)象之間的相似度，以計(jì)算相似度測(cè)量函數(shù)，以準(zhǔn)確定位運(yùn)動(dòng)目標(biāo)；基于活動(dòng)輪廓的目標(biāo)跟蹤。該方法基于能量最小化原理，能夠準(zhǔn)確地跟蹤目標(biāo)的輪廓，并且對(duì)圖像的微小變化具有很強(qiáng)的依賴性，但它對(duì)噪聲非常敏感，并且當(dāng)跟蹤快速移動(dòng)的目標(biāo)時(shí)，跟蹤效果不是很好；基于特征的目標(biāo)跟蹤。該方法的主要思想是依靠最優(yōu)匹配原則，專注于對(duì)象的多個(gè)特征點(diǎn)的集合。它的最大優(yōu)點(diǎn)是對(duì)同一對(duì)象多個(gè)特征的跟蹤，當(dāng)一個(gè)特征被遮擋時(shí)，還能通過其他特征來跟蹤目標(biāo)對(duì)象。

（四）目標(biāo)行為識(shí)別

目標(biāo)行為識(shí)別的目的是判斷檢測(cè)目標(biāo)在運(yùn)動(dòng)中的行為是否異常，主要檢測(cè)視頻圖像中移動(dòng)，物體行為的變化，從靜態(tài)目標(biāo)的姿態(tài)識(shí)別，運(yùn)動(dòng)行為的識(shí)別和復(fù)雜事件的分析三個(gè)方面來對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行識(shí)別，然后進(jìn)一步對(duì)目標(biāo)行為特征進(jìn)行分析。目前，典型目標(biāo)行為識(shí)別應(yīng)用主要有如下幾方面：目標(biāo)分類，缺陷檢測(cè)，殘留檢測(cè)，人口統(tǒng)計(jì)和報(bào)警聯(lián)動(dòng)等。

二、視頻圖像智能分析技術(shù)的應(yīng)用難點(diǎn)

雖然視頻智能分析技術(shù)已經(jīng)得到了廣泛而深入的研究，但在實(shí)際應(yīng)用中仍存在許多困難。它主要包括視頻智能監(jiān)控的實(shí)時(shí)性，魯棒性和場(chǎng)景規(guī)則確定。

（一）實(shí)時(shí)性

監(jiān)控系統(tǒng)自身存在采集，編碼和傳輸?shù)妊舆t的缺陷，因此要達(dá)到對(duì)視頻場(chǎng)景實(shí)時(shí)監(jiān)控的要求，就必須提高對(duì)整個(gè)智能監(jiān)控算法系統(tǒng)的實(shí)踐復(fù)雜度的要求。在高分辨率的視頻中，雖然視頻中的每個(gè)像素的處理時(shí)間非常短，但一幀圖像通常有數(shù)十萬甚至百萬像素，因此目標(biāo)檢測(cè)還是整個(gè)分析算法中最耗時(shí)的部分，為了滿足實(shí)時(shí)監(jiān)控，智能分析的需要，就要求系統(tǒng)每秒處理十幀以上的圖像，每幀的目標(biāo)檢測(cè)時(shí)間限于幾十毫秒，如果沒有特殊硬件的幫助很難實(shí)現(xiàn)實(shí)時(shí)的要求，許多目標(biāo)檢測(cè)的算法也只能停留在理論層面上。

（二）魯棒性

由于受到實(shí)際環(huán)境的影響，視頻智能分析相關(guān)算法的魯棒性也是一個(gè)亟待解決的問題，其算法參數(shù)是以實(shí)際環(huán)境參數(shù)為基礎(chǔ)，因此圖像本身的清晰度，是否為夜間模式，是否使用廣角鏡頭等復(fù)雜的外在因素都會(huì)影響智能分析的結(jié)果。在室內(nèi)外不同的環(huán)境中，目標(biāo)檢測(cè)會(huì)受到天氣、照明、燈光的反射、陰影，圖像噪聲等外在因素的影響，甚至由于攝像機(jī)安裝的位置，拍攝的角度，和焦距的差異都會(huì)導(dǎo)致智能監(jiān)控系統(tǒng)對(duì)目標(biāo)特征的分析判斷產(chǎn)生偏差。

如何降低實(shí)際環(huán)境對(duì)視頻智能分析的影響是一個(gè)魯棒的視頻監(jiān)控系統(tǒng)需要解決的難題，但我們?cè)谔岣咭曨l監(jiān)控系統(tǒng)的魯棒性的同時(shí)，就會(huì)增加建模和計(jì)算的復(fù)雜性，這就一定程度上降低了系統(tǒng)的實(shí)時(shí)性，因此要求系統(tǒng)設(shè)計(jì)者要平衡兩者之間的關(guān)系。

（三）場(chǎng)景規(guī)則的確定

在不同的場(chǎng)景中，有些運(yùn)動(dòng)目標(biāo)的行為是正常的，而有些目標(biāo)的行為是異常的，如何區(qū)分不同場(chǎng)景，不同區(qū)域的目標(biāo)行為是否正常，這要求視頻智能分析系統(tǒng)依據(jù)不同的場(chǎng)景規(guī)則來判斷。這就需要系統(tǒng)設(shè)計(jì)者提前在視頻智能分析平臺(tái)中設(shè)置好可以作為判斷依據(jù)的場(chǎng)景規(guī)則。

三、我校智能視頻監(jiān)控系統(tǒng)中視頻圖像分析技術(shù)的應(yīng)用

我校目前建成的智能視頻監(jiān)控系統(tǒng)，全面支持百萬像素圖像質(zhì)量和16：9寬屏，使視頻更清晰，更開放。同時(shí)，該系列高清產(chǎn)品均基于H.264高效編碼技術(shù)，可占用較少的帶寬和存儲(chǔ)空間，節(jié)省投資。圖2為我校建成后的智能高清視頻監(jiān)控系統(tǒng)網(wǎng)絡(luò)拓?fù)鋱D。

建成的智能視頻監(jiān)控系統(tǒng)中利用到的視頻圖像分析技術(shù)主要有視頻圖像采集技術(shù)和視頻圖像目標(biāo)檢測(cè)技術(shù)。

（一）視頻圖像采集技術(shù)

視頻圖像采集主要依靠前端設(shè)備高清攝像機(jī)，它是整個(gè)系統(tǒng)的信號(hào)源，用于采集每個(gè)教室的視頻信號(hào)，并將信號(hào)傳輸?shù)揭曨l處理設(shè)備。 攝像機(jī)每天24小時(shí)監(jiān)控，因此使用高清晰度，低照度的攝像機(jī)。使用在亮度差異較大的區(qū)域支持寬動(dòng)態(tài)功能的攝像機(jī)可確保監(jiān)視場(chǎng)景的任何部分都不會(huì)太亮或太暗。

圖3即為實(shí)時(shí)采集到的各個(gè)教室視頻圖像數(shù)據(jù)信息。

（二）視頻圖像目標(biāo)檢測(cè)技術(shù)

通過目標(biāo)檢測(cè)來捕獲的視頻圖像中的學(xué)生面部檢測(cè)。通過加載到相應(yīng)的面部分類器來檢測(cè)面部，并輸出檢測(cè)到的面部（矩形框標(biāo)記）和檢測(cè)到的面部編號(hào)。如圖4所示：

我們知道人的面部固定特征包括膚色，輪廓，灰度分布，器官的對(duì)稱性等。 膚色是面部的重要組成部分。在中國，人臉膚色是一種單調(diào)的黃色。它不依賴于其他面部細(xì)節(jié)，具有相對(duì)穩(wěn)定性。無論面部表情如何變化都適用，所以膚色特征是面部檢測(cè)所需的最常見功能。

首先，根據(jù)膚色模型進(jìn)行膚色檢測(cè)。在檢測(cè)到膚色區(qū)域之后，根據(jù)色度和空間相關(guān)性的相似性對(duì)可能的面部區(qū)域進(jìn)行分割，然后使用該區(qū)域的幾何特征或灰度特征來驗(yàn)證該區(qū)域是否是一個(gè)人的臉，其目的是排除相似膚色的物體。在一些情況下，根據(jù)色度和空間距離的一致性將膚色像素聚集成區(qū)域，然后逐漸合并，直到獲得符合某一先驗(yàn)知識(shí)的橢圓區(qū)域，最后形成暗區(qū)域或空隙。檢查該區(qū)域的眼睛，嘴巴等，確定它是否是人臉。

人臉的輪廓和灰度分布特征在人臉檢測(cè)中也起著重要作用。人的面部和面部器官具有典型的邊緣和形狀特征，例如面部輪廓，眉毛邊緣，眼瞼輪廓，虹膜輪廓，鼻子線和唇部輪廓，其可近似為簡(jiǎn)單的橢圓形，圓形，弧形或線段等幾何單元?？梢曰谶@些幾何特征值來檢測(cè)人的面部。在實(shí)踐中，還使用Sobel，Laplacian和Canny等算子，并使用小波變換來提取邊緣特征。

四、結(jié)語

智能視頻監(jiān)控系統(tǒng)已在許多領(lǐng)域得到廣泛應(yīng)用，其核心技術(shù)視頻圖像分析受到了研究界的高度重視。對(duì)視頻圖像內(nèi)容分析中包括的目標(biāo)檢測(cè)，目標(biāo)跟蹤，目標(biāo)分類和識(shí)別等關(guān)鍵技術(shù)進(jìn)行了廣泛而深入的研究，取得了許多成果。然而，在視頻分析的高級(jí)目標(biāo)識(shí)別和目標(biāo)跟蹤行為分析的研究工作中，仍存在許多實(shí)際困難。而且，這些問題仍值得進(jìn)一步研究和討論。