汪 鑫,劉嘉敏,李 敏,熊海涵,余月華,周冬芹
(1.重慶大學(xué)城市科技學(xué)院電氣信息學(xué)院,重慶 402167;2.重慶大學(xué)光電工程學(xué)院,重慶 400000)
當(dāng)今社會(huì),視頻應(yīng)用研究在各個(gè)領(lǐng)域都發(fā)揮著重大的作用。在軍事研究、野外環(huán)境監(jiān)測(cè)、環(huán)境監(jiān)測(cè)與預(yù)報(bào)、交通管制、智能家居、公共安全監(jiān)測(cè)等方面都需要對(duì)視頻進(jìn)行采集[1-6]。除此以外,還希望對(duì)某些特定的目標(biāo)信息能不間斷地進(jìn)行跟蹤,例如長(zhǎng)時(shí)間監(jiān)控某個(gè)人或者物體。因此,在對(duì)視頻圖像進(jìn)行采集時(shí),希望能完成對(duì)目標(biāo)信息的跟蹤。對(duì)于目標(biāo)檢測(cè),以往都采用圖像差減法、目標(biāo)二值化塊處理法、矩形框表示法[6],但是這些方法都無(wú)法清晰、完整地分割出目標(biāo)信息。
隨著無(wú)線傳感網(wǎng)絡(luò)的發(fā)展,大量的信息都借助于無(wú)線傳感網(wǎng)絡(luò)進(jìn)行傳輸。因此,本文主要采用一種基于SIFT特征匹配算法的目標(biāo)跟蹤方法對(duì)視頻進(jìn)行采集[5],通過(guò)無(wú)線傳感網(wǎng)絡(luò)對(duì)信息進(jìn)行傳輸。
SIFT特征描述是一種提取局部特征的算法,其思想是把圖像之間的匹配轉(zhuǎn)化為特征點(diǎn)向量間的相似性度量[7]。SIFT特征描述分為3個(gè)階段:SIFT特征點(diǎn)的檢測(cè)、SIFT特征描述符的生產(chǎn)及SIFT特征向量的匹配,如圖1所示。
圖1 SIFT特征描述
要從圖像中檢測(cè)出對(duì)圖像的尺度變化具有不變性的視覺(jué)特征,就要構(gòu)建尺度空間。圖像在尺度空間中表示為圖像和可變高斯核函數(shù)的卷積,采用高斯金字塔算子表示:
式(1)中:I(x,y)是輸入的圖像;G(x,y,σ)是二維高斯函數(shù),如式(2)所示。
其中σ為尺度因子。
在尺度空間中,特征點(diǎn)就是DoG尺度空間內(nèi)的局部極值點(diǎn),在進(jìn)行極值點(diǎn)檢測(cè)后就可以初步確定特征點(diǎn)的位置和所在尺度。對(duì)輸入圖像I(x,y)和高斯函數(shù) G(x,y,σ)進(jìn)行卷積,生成對(duì)應(yīng)的尺度空間 L(x,y,σ),用高斯金字塔表示;將高斯金字塔的相鄰兩層相減,生成高斯差分金字塔D(x,y,σ);在高斯差分金字塔中,檢測(cè)同層3×3鄰域和相鄰層3×3鄰域內(nèi)的極值點(diǎn)。這樣就可以得到具有尺度不變性的特征點(diǎn)[8]。
特征描述子就是圖像特征向量,采用向量的形式來(lái)準(zhǔn)確描述圖像自身的特征。將坐標(biāo)軸旋轉(zhuǎn)到關(guān)鍵點(diǎn)的主方向,確保旋轉(zhuǎn)不變性,再依據(jù)關(guān)鍵點(diǎn)尺度選取高斯圖像,按式(3)和式(4)計(jì)算以關(guān)鍵點(diǎn)為中點(diǎn)的16×16的窗口內(nèi)所有像素點(diǎn)的梯度模值和梯度方向。每一小格表示關(guān)鍵點(diǎn)鄰域所在尺度空間的一個(gè)像素。
梯度方向直方圖統(tǒng)計(jì)公式為:
式(6)中:ck為方向柱的中心;Δk為方向柱的寬度;(x,y)為子塊r(l,m)像素點(diǎn)的坐標(biāo)。最終形成的128維的向量就是SIFT特征描述符子[9]。
參考圖像和待匹配圖像的SIFT特征向量生成后,利用特征向量的歐式距離作為兩幅圖像特征點(diǎn)的相似性判定度量。采用歐式距離的最小值作為匹配成功的判定標(biāo)準(zhǔn)是非常簡(jiǎn)單且常見(jiàn)的。
無(wú)線傳感網(wǎng)絡(luò)視頻采集系統(tǒng)由視頻采集模塊、微處理器模塊、無(wú)線通信模塊3個(gè)部分組成。視頻采集模塊的主要功能是實(shí)現(xiàn)對(duì)視頻圖像的采集和數(shù)模轉(zhuǎn)換;微處理器模塊的功能是負(fù)責(zé)對(duì)整個(gè)系統(tǒng)的控制;無(wú)線通信模塊的功能是將采集、處理后的視頻信息通過(guò)無(wú)線傳感網(wǎng)絡(luò)傳輸出去。
視頻采集模塊是一個(gè)非常重要的部分。本文采用的是一款低電壓、低功耗的CMOS傳感器OV7640,它通過(guò) SCCB(seril camera control bus)接口來(lái)實(shí)現(xiàn)對(duì)器件的控制,支持VGA、CIF等各種尺寸的視頻格式。視頻采集模塊主要由圖像傳感器OV7640、壓縮芯片OV528、存儲(chǔ)芯片24LC64和降壓芯片MIC5207構(gòu)成的攝像頭系統(tǒng)來(lái)對(duì)圖像信息進(jìn)行采集[10]。
OV7640的電路原理如圖2所示。Y0~Y7引腳連接的是CV528圖像壓縮芯片,它將采集的圖像信息進(jìn)行壓縮,電路如圖3所示。
圖2 OV7640電路原理
攝像頭上電復(fù)位后,微處理器模塊向OV528發(fā)出采集指令,OV528接收到采集指令后通過(guò)SCCB控制總線調(diào)用初始化程序,攝像頭通過(guò)OV7640進(jìn)行視頻采集,并將采集的視頻圖像保存為RGB格式,OV7640將采集的圖像信息傳給OV528芯片,OV528對(duì)其進(jìn)行圖像壓縮處理[11-12]。
圖3 圖像壓縮芯片OV528
本文采用的微處理器是ARM公司的STM32F103。它是一款具有突破性的以Cortex-M3為內(nèi)核的處理器,具有低功耗、高性能、低電壓的特性[13]。
本文采用NRF24L01器件進(jìn)行無(wú)線傳輸。它是一款應(yīng)用于無(wú)線通信的通信芯片,采用GFKS調(diào)制技術(shù),基于SW-ARQ協(xié)議,能實(shí)現(xiàn)點(diǎn)對(duì)點(diǎn)或者點(diǎn)對(duì)多(最多1對(duì)6)的無(wú)線通信,通信速率可達(dá)2M[14]。
圖4 無(wú)線通信模塊NRF24L01
NRF24L01無(wú)線通信模塊與STM32微處理器之間的通信通過(guò)SPI協(xié)議進(jìn)行。STM32微處理器內(nèi)部具有SPI通信接口,可以直接與NRF24L01進(jìn)行連接,電路如圖5所示。
圖5 NRF24L01電路
系統(tǒng)上電后,STM32初始化,并對(duì)外部設(shè)備進(jìn)行初始化,然后進(jìn)入休眠狀態(tài)等待觸發(fā)信號(hào)。只要收到用戶(hù)端的控制信號(hào),系統(tǒng)就進(jìn)入工作模式,攝像頭開(kāi)始采集數(shù)據(jù),并將采集的數(shù)據(jù)送回微處理器。一幀圖像采集完成后,微處理器將采集的數(shù)據(jù)存入圖像緩沖區(qū),同時(shí)激活無(wú)線射頻模塊,開(kāi)始數(shù)據(jù)無(wú)線傳輸。采集端無(wú)線傳感器節(jié)點(diǎn)流程如圖6 所示[15-16]。
圖6 采集端無(wú)線傳感器節(jié)點(diǎn)流程
考慮到數(shù)據(jù)采集端數(shù)據(jù)采集的復(fù)雜度,所以采用的微處理器是STM32。對(duì)于接收端的傳感器節(jié)點(diǎn),采用單片機(jī)作為微處理器[17]。51單片機(jī)與NRF24L01的連接如圖7所示。
圖7 接收端無(wú)線傳感器節(jié)點(diǎn)電路
接收端無(wú)線通信模塊NRF24L01的流程如圖8所示。
運(yùn)用SIFT特征匹配算法,對(duì)單目標(biāo)下運(yùn)動(dòng)目標(biāo)進(jìn)行采集分析。實(shí)驗(yàn)運(yùn)行環(huán)境為Intel Dual 1.8GHz CPU,2G內(nèi)存,通過(guò)Matlab運(yùn)行實(shí)現(xiàn)。應(yīng)用SIFT算法構(gòu)建DoG尺度空間、特征點(diǎn)檢測(cè)、特征描述子計(jì)算以及特征點(diǎn)匹配,將參考圖像和待匹配圖像進(jìn)行SIFT匹配;利用幀間的差分信息確定目標(biāo)運(yùn)動(dòng)區(qū)域,通過(guò)SIFT特征點(diǎn)區(qū)域的變化來(lái)更新背景,對(duì)歷史幀進(jìn)行匹配更新,保留SIFT特征匹配點(diǎn),去掉不屬于特征點(diǎn)的區(qū)域。對(duì)運(yùn)動(dòng)汽車(chē)的跟蹤分析實(shí)驗(yàn)結(jié)果證明:該算法對(duì)運(yùn)動(dòng)的目標(biāo)物體有很好的匹配跟蹤效果(見(jiàn)圖9)。
圖8 接收端無(wú)線傳感器節(jié)點(diǎn)流程
圖9 運(yùn)動(dòng)汽車(chē)跟蹤分析
針對(duì)復(fù)雜環(huán)境下的目標(biāo)跟蹤,本文提出了利用SIFT匹配算法來(lái)有效提取運(yùn)動(dòng)目標(biāo)并進(jìn)行目標(biāo)跟蹤,通過(guò)SIFT特征點(diǎn)坐標(biāo)的非負(fù)差分的方法來(lái)確定運(yùn)動(dòng)目標(biāo)區(qū)域。該方法對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行了高效率匹配,同時(shí)設(shè)計(jì)出實(shí)現(xiàn)目標(biāo)跟蹤視頻采集的硬件電路,并通過(guò)NRF24L01無(wú)線通信模塊將采集的目標(biāo)信息進(jìn)行無(wú)線傳輸。實(shí)驗(yàn)結(jié)果表明:該算法在復(fù)雜背景環(huán)境下對(duì)運(yùn)動(dòng)目標(biāo)有較好的跟蹤效果。
[1]孫利民,李建中,陳渝,等.無(wú)線傳感器網(wǎng)絡(luò)[M].北京:清華大學(xué)出版社,2005:3-4.
[2]林偉,卿輝,陳文,等.基于新型電源供電的無(wú)線傳感網(wǎng)絡(luò)節(jié)點(diǎn)設(shè)計(jì)[J].壓電與聲光,2011(3):498-500,508.
[3]An-tonio-Javier Gorcia-Sanchez.Wireless sensor networks deployment for monitoring wildlife passages[J].Sensors,2010(10):7236-7262.
[4]王焱,單欣欣,姜偉,等.無(wú)線傳感網(wǎng)絡(luò)壞點(diǎn)識(shí)別研究與應(yīng)用[J]. 壓電與聲光,2012(3):452-455,458.
[5]Holman R,Stanley J,Ozkan-Haller T.Applying video sensor networks to near shore environment monitoring[J].IEEE Tans.On Pervasive Computing,2003,2(4):14-21.
[6]劉建軍,夏勝平,郁文賢.基于SIFT特征的兩個(gè)階段procrustes迭代匹配算法[J].信號(hào)處理,2010(6):854-858.
[7]韋虎,張麗艷,劉勝蘭,等.基于SIFT圖像特征匹配的多視角深度圖配準(zhǔn)算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2010,22(4):654-661.
[8]牛長(zhǎng)峰,陳登峰,劉玉樹(shù).基于SIFT特征和粒子濾波的目標(biāo)跟蹤算法[J].機(jī)器人,2010,32(2):241-247.
[9]陳雷.JPEG圖像壓縮技術(shù)及仿真實(shí)現(xiàn)[J].中國(guó)科技信息,2011(17):91-92.
[10]王永虹,徐煒,郝立平.STM32系列ARM Cortex-M3微控制器原理與實(shí)踐[M].北京:北京航空航天大學(xué)出版社,2008.
[11]廣州周立功單片機(jī)發(fā)展有限公司.ARM Cortex-M3處理器簡(jiǎn)介[Z].2006,10.
[12]王虎升,李金環(huán).基于STM32的嵌入式語(yǔ)音播報(bào)系統(tǒng)設(shè)計(jì)[J].北京聯(lián)合大學(xué)學(xué)報(bào),2011(3):11-15.
[13]陳慧敏,栗蘋(píng),張英文,等.CMOS圖像傳感器的研究新進(jìn)展[J].半導(dǎo)體光電,2006,27(6):664-667.
[14]何兆紅,王高.CMOS圖像傳感器的最新發(fā)展?fàn)顩r[J].光機(jī)電信息,2002(12):14-16.
[15]Lee B,Wu H.Study on Back off Algorithm for IEEE 802.15.4 LR-WPAN[C]//IEEE International Conference on Advanced Information Networking and Applications.Japan:[s.n.],403-409.
[16]Mehta V,Sheng W,Chen T,et al.Development and Calibration of a Low Cost Wireless Camera Sensor Network[C]//IEEE International Conference on Intelligent Robots and Systems.USA:[s.n.],2009:110-115.
[17]Lee D,Lee J,Lee Y,et al.Low-Complexity Aggregation of Collected Images with correlated Fields of view in Wireless Sensor Networks[Z].IEEE Symposium on Computers and communications.2010:765-771.