應用聲光聯(lián)合定位技術的智能視頻監(jiān)控系統(tǒng)*

張 亞，周孟然，陳君蘭，趙蒼榮

（安徽理工大學 電氣與信息工程學院，安徽 淮南 232001）

1 引言

近年來，全程數(shù)字化、網(wǎng)絡化的視頻監(jiān)控系統(tǒng)優(yōu)勢愈發(fā)明顯，其高度的開發(fā)性、集成性和靈活性，為整個安全防護產(chǎn)業(yè)的發(fā)展提供了更加廣闊的發(fā)展空間。智能化、數(shù)字化、網(wǎng)絡化是視頻監(jiān)控發(fā)展的必然趨勢，智能視頻監(jiān)控的出現(xiàn)正是這一趨勢的直接體現(xiàn)[1]。采用智能視頻監(jiān)控系統(tǒng)可以極大地提高視頻監(jiān)控系統(tǒng)的能力，并使視頻資源能夠發(fā)揮更大的作用。

目前國內外的視頻監(jiān)控可大致分為靜態(tài)監(jiān)控和動態(tài)監(jiān)控，靜態(tài)監(jiān)控的監(jiān)控范圍是固定的，比如利用攝像頭對某一場景進行拍攝；動態(tài)監(jiān)控花樣繁多，如跟蹤某特定目標等，但是主要以圖像檢測為主。隨著安防系統(tǒng)的要求越來越高，單一的視頻監(jiān)控已不能完全滿足監(jiān)控的需要，比如對可疑物的報警判決通常只是根據(jù)對監(jiān)控畫面的分析來做出的，而監(jiān)控畫面往往存在盲區(qū)，無法覆蓋整個監(jiān)控現(xiàn)場；在被障礙物擋住的地方由于無法采集圖像而使視頻監(jiān)控系統(tǒng)不能發(fā)揮作用。針對這一問題，筆者將音頻監(jiān)控技術加入到現(xiàn)有的視頻監(jiān)控系統(tǒng)中，設計了一套應用聲光聯(lián)合定位技術的智能視頻監(jiān)控系統(tǒng)。系統(tǒng)借助于聲源定位和攝像頭動態(tài)采集對可疑物進行聯(lián)合判決報警，可以實現(xiàn)對監(jiān)控區(qū)域的有效覆蓋，降低漏報和誤報的幾率，提高無人值守環(huán)境下視頻監(jiān)控系統(tǒng)的有效性和安全性。

2 系統(tǒng)的整體設計

系統(tǒng)整體設計方案如圖1所示。系統(tǒng)采用ADI公司的Blackfin系列處理器ADSP-BF533[2]（簡稱BF533）作為系統(tǒng)的處理核心，完成各接口電路的控制和算法處理。音頻通道由4個麥克風組成的麥克風陣列和音頻編解碼器AD1836組成，麥克風陣列首先采集空間音頻信息，傳送到AD1836轉換成數(shù)字信號，再通過DSP的SPORT口以DMA方式傳送到SDRAM，DSP讀取SDRAM中的數(shù)據(jù)并進行聲源定位算法處理，確定聲源位置；模擬攝像頭SCC-C6475與RS-485串口相連，由聲源位置決定攝像頭轉動角度，通過RS-485串口發(fā)出信號，控制攝像頭轉動；視頻通道由攝像頭和視頻編碼器SAA7111組成，SAA7111將攝像頭傳來的聲源位置的視頻信號轉化為YUV數(shù)字圖像，通過DSP的PPI口以DMA方式傳送到SDRAM，DSP調用視頻數(shù)據(jù)并進行圖像檢測算法分析，發(fā)現(xiàn)異常情況自動報警。以太網(wǎng)控制器DM9000負責將采集到的視頻數(shù)據(jù)傳輸?shù)竭h端主機進行顯示。系統(tǒng)還包括相應的電源電路，復位電路和時鐘電路。

圖1 系統(tǒng)整體設計框圖

3 系統(tǒng)的硬件設計

系統(tǒng)的處理核心BF533是專為滿足嵌入式音頻、視頻和通信應用的計算要求和低功耗條件而設計的新型16位嵌入式處理器。它基于由ADI和Intel公司聯(lián)合開發(fā)的微信號架構（Micro Signal Architecture，MSA），將信號處理功能與通用型微控制器所具有的易用性組合在了一起[3]。BF533外部I/O供電電壓為3.3 V，內核供電電壓為1.2 V，系統(tǒng)選用TPS73HD301作為BF533的電源芯片，其典型輸入電壓為5 V，輸出為3.3 V和1.2 V，每個輸出最大可提供750 mA電流。BF533的時鐘電路采用內部振蕩電路外接晶振的方式，晶振頻率為27 MHz。BF533的復位電路采用專用復位芯片IMP811。

3.1 音頻信號采集電路

音頻信號采集電路由麥克風陣列和音頻編解碼器AD1836組成。AD1836是ADI公司的高性能模數(shù)轉換器，適用于數(shù)字音頻系統(tǒng)。AD1836內部集成了3路立體的D/A和2路立體的A/D，數(shù)據(jù)采樣率為48/96 kHz，采樣位數(shù)為16/18/20/24位，參考電壓為2.25 V。為了降低信號的干擾，模擬信號的輸入輸出均采用差分的形式，輸入輸出模擬信號的最大峰峰值為5.6 V。AD1836具有一個SPI控制端口，允許處理器可以通過SPI端口對內部功能寄存器進行配置，從而實現(xiàn)時鐘、工作模式、采樣率、采樣位數(shù)、工作A/D和D/A的路數(shù)等參數(shù)的選擇。

AD1836與BF533之間的音頻信息傳送通過BF533處理器的SPORT口[4]來完成。同步串行端口SPORT是一個全雙工的通信端口，可同時發(fā)送和接收數(shù)據(jù)，而數(shù)據(jù)單向傳輸時只需要數(shù)據(jù)、數(shù)據(jù)時鐘和幀同步3根信號線[5]。SPORT同步串口可以在片內存儲器和串口之間建立一個DMA通道，數(shù)據(jù)幀的傳送很方便。音頻信號采集電路的框圖如圖2所示，BF533使用SPORT端口接收音頻數(shù)據(jù)，SPI端口進行AD1836工作參數(shù)的設置，由于要同時采集4路信號，SPORT端口工作在TDM多通道模式下。

圖2 音頻信號采集電路

3.2 視頻信號采集電路

視頻信號采集電路由攝像頭和視頻解碼器SAA7111組成。攝像頭采用的是SAMSUNG公司的網(wǎng)絡監(jiān)控攝像頭SCC-C6475，能提供PAL制的模擬視頻信號，通過RS-485接口可對其進行遠程控制，其水平方向移動范圍為 0°～360°, 垂直方向移動范圍為 0°～180°。SAA7111 是PHILIPS公司的一款視頻處理芯片，它能將輸入的模擬視頻信號解碼成標準的“VPO”數(shù)字信號，相當于一種“A/D”器件[6]。SAA7111兼容各種視頻標準，在應用時可以根據(jù)視頻標準來配置其內部的寄存器，寄存器的讀寫通過I2C總線來完成。

SAA7111與BF533之間的視頻信息傳送通過BF533處理器的PPI口來完成。并行外部接口PPI是數(shù)據(jù)高速傳輸專用的半雙工雙向通道，為視頻數(shù)據(jù)的采集提供了極大的方便。PPI端口包括1個16 bit數(shù)據(jù)信號（數(shù)據(jù)寬度可靈活設定），3個幀同步信號和1個時鐘信號，可以通過DMA通道完成數(shù)據(jù)傳輸。視頻信號采集電路的框圖如圖3所示，由于BF533處理器沒有內置I2C接口，系統(tǒng)使用通用輸入輸出引腳PF1和PF2軟件模擬I2C總線，來對SAA7111芯片內部的寄存器進行配置。

3.3 存儲器的配置

系統(tǒng)存儲器包括數(shù)據(jù)存儲器和程序存儲器。因系統(tǒng)采集的音視頻數(shù)據(jù)量很大，而BF533內部存儲器的容量有限，故本系統(tǒng)外部擴展SDRAM作為音視頻數(shù)據(jù)的緩沖器。SDRAM選用MICRON公司的MT48LC16M16A芯片，它是一款高速的同步動態(tài)存儲器，組成結構為4 Banks×4 M×16 bit。整個SDRAM由2片MT48LC16M16A，容量為32 M×16 bit。系統(tǒng)程序存儲在Flash中，F(xiàn)lash選用的是AMD公司的AM29LV800D芯片，它是8 Mbit，單3.3 V電源供電的閃存，可配置成512 k×16 bit的結構，本系統(tǒng)使用2片AM29LV800D，容量為1 M×16 bit。

圖3 視頻信號采集電路

存儲器與BF533的數(shù)據(jù)交換通過EBIU接口來完成。外部總線接口單元EBIU包括1個16 bit的數(shù)據(jù)總線、1個地址總線和1個控制總線，既提供與同步存儲器的接口，也提供與異步存儲器的接口。BF533與SDRAM的連接如圖4所示，與Flash的連接如圖5所示。

圖4 BF533與SDRAM的連接

圖5 BF533與Flash的連接

3.4 以太網(wǎng)接口電路

以太網(wǎng)接口電路負責將采集到的視頻數(shù)據(jù)傳輸?shù)竭h端主機進行顯示。本系統(tǒng)采用的DAVICOM公司的DM9000是帶有通用處理器接口的單片快速以太網(wǎng)控制處理器，實現(xiàn)以太網(wǎng)媒體介質訪問層（MAC）和物理層（PHY）的功能，支持 8/16 bit數(shù)據(jù)總線，10/100 Mbit/s自適應，內置16 kbyte的SRAM用于收發(fā)緩沖，支持3.3～5 V的容差。BF533與DM9000的連接通過EBIU接口來完成，如圖6所示。93C46為E2PROM，用于保存IP地址、網(wǎng)卡物理地址和其他參數(shù)。

圖6 BF533與DM9000的連接

4 系統(tǒng)的軟件設計

從軟件結構上，系統(tǒng)的程序分為主控程序、音頻采集程序、視頻采集程序、聲源定位算法程序、圖像檢測程序、網(wǎng)絡接口程序、攝像頭控制程序等，核心部分為聲源定位算法程序的實現(xiàn)。

4.1 聲源定位算法

聲源定位是利用麥克風陣列拾取語音信號，并用數(shù)字信號處理技術對其進行分析和處理，繼而確定和跟蹤聲源的空間位置。目前關于聲源定位的技術和方法很多，考慮到系統(tǒng)實現(xiàn)的實時性，本系統(tǒng)采用的是基于時延估計的聲源定位技術[7]。由于聲源信號是一個非平穩(wěn)信號，易受到噪聲和混響的干擾，在時延估計算法中，采用了具有一定抗噪聲和混響能力的廣義互相關函數(shù)（Generalized Cross Correlation，GCC）方法[8]。該方法通過求兩個信號之間的互功率譜，并在頻域內給予一定的加權，來抑制噪聲和混響的影響，再反變換到時域，得到兩信號之間的互相關函數(shù)，其峰值位置即兩信號之間的相對時延。在選取加權函數(shù)時，采用了互功率譜相位加權的方法（Phase Transform-Generalized Cross Correlation，PHAT-GCC），該方法通過對信號功率譜的歸一化，去除了信號的幅度信息，只保留了信號的相位特性，對于噪聲和混響都有較好的抑制效果。應用PHAT-GCC算法實現(xiàn)時延估計的算法流程圖如圖7所示。

圖7 PHAT-GCC算法實現(xiàn)時延估計的算法流程圖

4.2 系統(tǒng)軟件流程

系統(tǒng)上電后，主控程序讀取啟動參數(shù)，完成各個模塊的初始化，順序啟動視頻采集、音頻采集和網(wǎng)絡傳輸，同時控制視頻采集和音頻采集的交替運行。同時主控程序按一定時間間隔調用聲源定位算法程序進行聲源定位，如果有聲源存在，則主控程序控制攝像頭轉動到聲源位置采集視頻，同時調用圖像檢測程序，如果有活動物體或異常情況，系統(tǒng)報警。系統(tǒng)軟件流程圖如圖8所示。

圖8 系統(tǒng)軟件流程圖

5 小結

隨著安防系統(tǒng)的要求不斷提高，如何提高重點監(jiān)控區(qū)域的全方位覆蓋和目標跟蹤成為了一個新的課題。筆者將聲源定位技術加入到現(xiàn)有的視頻監(jiān)控系統(tǒng)中，提出了聲源定位技術和攝像頭視頻采集聯(lián)合監(jiān)控方案，設計了一種應用聲光聯(lián)合定位技術的智能視頻監(jiān)控系統(tǒng)，給出了系統(tǒng)的軟硬件的設計流程。該系統(tǒng)的應用可以改善傳統(tǒng)監(jiān)控系統(tǒng)監(jiān)控范圍的局限性，最大程度消除監(jiān)控死角，進一步降低漏報和誤報的幾率，特別是對無人值守環(huán)境下視頻監(jiān)控提供了一個借鑒。

[1]鄭世寶.智能視頻監(jiān)控技術與應用[J].電視技術，2009，33（1）：94-96.

[2]王慶輝，楊晶婧，逄玉俊.基于Blackfin533的H.264整數(shù)變換的優(yōu)化實現(xiàn)[J].電視技術，2009，33（S1）：62-64.

[3]顏允圣，郭森楙，馮小平，等.基于微信號結構的嵌入式信號處理[M].北京：電子工業(yè)出版社，2008.

[4]陳峰.Blackfin系列DSP原理與系統(tǒng)設計[M].北京：電子工業(yè)出版社，2004.

[5]王瑩，李學生，頂多云，等.基于ADSP-BF533的音頻處理系統(tǒng)設計[J].電聲技術，2006，30（8）：32-35.

[6]劉紅喜，李長江，孫俊喜.基于DSP的圖像采集及處理系統(tǒng)的設計與實現(xiàn)[J].電子技術應用，2009（2）：22-26.

[7]王振濤，郝忠孝，賀洪江.基于傳聲器陣列的聲源定位系統(tǒng)的研究[J].華北電力大學學報，2009，36（5）：103-106.

[8]CHEN J D,BENESTY J，HUANG Y T.Performance of GCC and AMDF-basedtimedelayestimation in pratical reverberant environments[J].EURASIP Journal on Applied Signal Processing，2005（1）：25-36.