谷慶廣,羅文廣,于靜美(.廣西科技大學電氣與信息工程學院,廣西柳州 545006; .北京工業(yè)大學環(huán)境與能源工程學院,北京 000)
?
基于達芬奇技術(shù)的多路視頻采集系統(tǒng)開發(fā)
谷慶廣1,羅文廣1,于靜美2
(1.廣西科技大學電氣與信息工程學院,廣西柳州545006; 2.北京工業(yè)大學環(huán)境與能源工程學院,北京100022)
摘要:設計一種基于達芬奇技術(shù)的多路視頻采集系統(tǒng)。根據(jù)圖像采集系統(tǒng)的工作原理,開發(fā)4路視頻采集模塊、1路視頻輸出模塊與通信接口模塊,該硬件系統(tǒng)可實現(xiàn)視頻圖像的采集和數(shù)據(jù)傳送;設計多路視頻軟件處理系統(tǒng),可實現(xiàn)視頻圖像數(shù)據(jù)的處理,并將處理后的數(shù)據(jù)信號送往顯示屏顯示。經(jīng)過長時間測試運行,該多路視頻采集系統(tǒng)具有較強的數(shù)字信號處理能力,系統(tǒng)運行穩(wěn)定,具有較強的實用性。
關(guān)鍵詞:達芬奇技術(shù); 4路視頻采集;視頻圖像處理;數(shù)字信號
隨著汽車工業(yè)的高速發(fā)展和人們對汽車性能要求的提高,目前各種高新電子技術(shù)在汽車上得到廣泛應用,民眾的汽車擁有量進一步增加[1]。我國雖然已經(jīng)基本建成了四通八達的現(xiàn)代化國家道路網(wǎng),但隨著汽車數(shù)量的增加,路網(wǎng)通過能力滿足不了交通量增長的需要,交通擁擠和阻塞現(xiàn)象日趨嚴重[2]。越來越多的機動車輛在停車場、公路、街道、車庫等狹窄、擁擠的地方倒車時,駕駛員稍微不小心就會發(fā)生碰撞事故[3],因此各種汽車駕駛輔助系統(tǒng)應運而生。
車輛視覺輔助系統(tǒng),即在車輛周圍安裝攝像頭,獲得車輛周圍的路況圖像信息,駕駛員可以通過安裝在車輛內(nèi)部的顯示屏幕觀察到汽車周圍的環(huán)境[4],從而減少交通事故。該系統(tǒng)主要由智能高清攝像頭、傳輸模塊、視頻處理器組成。通過安裝在車輛四周的攝像頭對路況信息進行采集,再利用視頻圖像處理技術(shù)將視頻圖像擬合成一幅視頻畫面送往液晶屏顯示。這樣汽車駕駛員在車內(nèi)就能通過顯示屏完整的看到車輛周圍的路況信息,沒有任何的死角。因此,開發(fā)擴展性很強的多路視頻采集系統(tǒng),對于駕駛員安全駕駛車輛具有重要的意義。
4路視頻硬件采集系統(tǒng)總體框圖如圖1所示。主要包括4個感光耦合攝像頭(Charge Coupled Device,CCD)、4路視頻輸入解碼電路、外部存儲模塊、通信模塊電路、電源管理電路及顯示屏驅(qū)動電路[5]。
圖1 硬件系統(tǒng)總體設計框圖
安裝在智能車輛上的4路CCD高清攝像頭同時采集車輛周圍路況場景的視頻圖像信息,并將視頻圖像信號轉(zhuǎn)換成模擬視頻信號。通過視頻電纜線將模擬視頻信號送給視頻解碼芯片TVP5150轉(zhuǎn)換成數(shù)字視頻信號[6],并將轉(zhuǎn)換后的數(shù)字信號送至TMS320DM6437視頻處理前端進行數(shù)據(jù)處理。應用程序接受到一個完整的視頻幀以后,將信號傳送到視頻處理后端VPBE,VPBE將此數(shù)字視頻信號通過MPEG-4標準編碼壓縮,TMS320DM6437系統(tǒng)將編碼后的信號轉(zhuǎn)換成模擬視頻信號,并經(jīng)驅(qū)動芯片OPA361放大后通過視頻電纜輸出,最終將放大后的視頻信號送給顯示屏顯示。
4路視頻系統(tǒng)能以直觀的顯示告知駕駛員周圍障礙物的情況,解除駕駛員泊車、倒車和起動車輛時前后左右探視所引起的困擾,幫助駕駛員掃除視野死角和視線模糊的缺陷,提高駕駛的安全性。
2.1達芬奇技術(shù)
達芬奇技術(shù)是一項新型數(shù)字化技術(shù),突破了傳統(tǒng)視頻方案的限制,提供包含數(shù)字視頻評估模塊在內(nèi)的一整套軟件系統(tǒng)、開發(fā)工具等部件,具有靈活、高性能、低成本優(yōu)勢,縮短了軟件代碼的開發(fā)周期。
2.2核心DM6437模塊
TMS320DM6437是一種功耗低、功能性強、資源豐富,并能針對較高性能系統(tǒng)進行復雜及快速運算的視頻處理芯片[7],該芯片是基于達芬奇技術(shù)的32位處理器,時鐘頻率可達600 MHz,支持8個8位或4個16位并行MAC運算,峰值處理能力高達5 600 MIPS[8]。多路視頻采集系統(tǒng)由DM6437處理器及其外圍電路組成,DM6437具有豐富的外圍輔助擴展接口,處理器外圍可擴展4路視頻輸入和1路視頻輸出接口,可以方便的實現(xiàn)與外部視頻輸入端口無縫連接、視頻編碼芯片數(shù)據(jù)轉(zhuǎn)換以及顯示設備顯示;串行通信接口支持半雙工或全雙工的10/100 Mb/s傳輸速率,同時它還提供硬件流控制[7]。完善的通信接口,可以實現(xiàn)數(shù)據(jù)處理與通信功能。
DM6437運行過程中,只能識別數(shù)字信號,而攝像頭采集的信號為模擬信號,在系統(tǒng)設計過程中,需要對視頻前端的信號進行處理。
2.3視頻模塊
2.3.1視頻解碼模塊
視頻解碼模塊主要是對攝像頭采集的模擬視頻信號進行處理,將模擬信號轉(zhuǎn)換成DM6437能夠識別的數(shù)字信號。視頻輸入解碼模塊由1個TVP5150型視頻解碼器及外圍輔助電路組成,其功能是將每一路CCD攝像頭采集輸入的標準PAL制電視模擬信號發(fā)送到視頻解碼器,完成視頻圖像的箝位及抗混疊濾波等預處理、模擬數(shù)字化轉(zhuǎn)換及亮度/色度、水平/垂直同步等信號的分離,將模擬視頻信號轉(zhuǎn)換為數(shù)字并行信號BT.656碼流格式[9]。
圖2 視頻解碼模塊與主處理器連接示意圖
TMS320DM6437視頻接口VP0/A、VP1/A、VP2/A、VP3/A分別連接1個TVP5150,視頻采集的數(shù)據(jù)輸出格式是8位YUV 4∶2∶2或8位ITU-R BT.656與嵌入式同步,分辨率為CIF(352× 288)。視頻輸入解碼模塊與主處理器DM6437連接如圖2所示。圖形視頻的色調(diào)、對比度、亮度、飽和度及清晰度可以使用I2C串行接口,控制系統(tǒng)將2路電路的I2C總線接口SCL和SDA分別互連,視頻解碼芯片TVP5150的視頻輸出口YOUT[0-7]與主處理器DM6437 VPORT口的VPOD[9-2]相連,TVP5150的系統(tǒng)時鐘SCLK與DM6437 VPORT口的VPOCLK0相連。由于采用ITU-RBT.656碼流格式,圖像的水平同步、垂直同步、場同步等同步信號已內(nèi)嵌在視頻數(shù)據(jù)流中,連接線路只采用了1路VPOCTL[0-2]。
視頻解碼芯片TVP5150的數(shù)據(jù)通訊配置是通過I2C標準總線來完成的。I2C標準總線由時鐘輸入/輸出線(SCL)和串行數(shù)據(jù)輸入/輸出線(SDA)組成。TVP5150完成數(shù)據(jù)轉(zhuǎn)換處理任務,配合主處理器DM6437工作。DM6437作為I2C總線的數(shù)據(jù)主處理器,在初始化TVP5150配置的寫操作時,執(zhí)行的步驟如下:
1) DM6437產(chǎn)生一個起始條件;
2) DM6437發(fā)出一個TVP5150的地址(0x5C),并標明寫操作,等待TVP5150響應;
3)接收到TVP5150的響應后,DM6437發(fā)出要配置的寄存器的地址,等待TVP5150響應;
4)接收到TVP5150的響應后,發(fā)送要配置的數(shù)據(jù),等待TVP5150響應;
5)接收到TVP5150的響應后,發(fā)送停止位,結(jié)束一次配置。
處理器DM6437將處理后的視頻信號通過輸出端口輸出,輸出的信號比較微弱,需要對信號進行放大處理。
2.3.2視頻信號驅(qū)動電路
4路攝像頭采集車輛周圍的視頻圖像信號,并通過視頻電纜,將模擬信號送給視頻解碼芯片TVP5150完成AD轉(zhuǎn)換功能,并將轉(zhuǎn)換后的數(shù)字信號通過電路板線路傳送給DM6437的視頻處理前端VPFE,處理器程序收到TVP5150的超級幀之后,重新分解合并為1路復合視頻信號。合并后的復合視頻信號通過電路板線路傳送給視頻處理后端VPBE,通過VPBE將此數(shù)字視頻信號編碼輸出并轉(zhuǎn)換成模擬信號。轉(zhuǎn)換后的模擬信號DAC_IOUT_D通過驅(qū)動放大電路和濾波電路,通過視頻電纜將最終的復合視頻信號送給顯示器顯示。視頻信號驅(qū)動電路如圖3所示。
圖3 驅(qū)動電路
圖像平滑往往會使圖像邊界、輪廓變得模糊,為了使圖像變得更加清晰,在進行軟件設計時,需要對視頻處理前端處理后的圖像進行圖像銳化處理[10]。圖像的模糊實質(zhì)就是圖像受到平均或積分運算造成的,因此可以對圖像進行逆運算如微分運算來使圖像清晰化[11]。微分銳化方法有很多種,拉普拉斯銳化法是屬于比較常用的一種方法,拉普拉斯運算是偏導數(shù)運算的線性組合[12]。
設Δ2f為拉普拉斯算子,則
對于離散數(shù)字圖像f(i,j),其一階偏導數(shù)為[13]
二階偏導數(shù)為
所以,拉普拉斯算子Δ2f為
對于擴散現(xiàn)象引起的圖像模糊,可以進行圖像銳化,有[14]
式中g(shù)(i,j)為銳化后的圖像; kτ為與擴散效應有關(guān)的系數(shù),設定該參數(shù)時要合理,如果kτ過大,圖像輪廓邊緣會產(chǎn)生過沖,反之kτ過小,銳化效果會不明顯[15]。
如果令kτ=1,則銳化后的圖像為
式(1)可以利用系數(shù)模板矩陣表示為
由此,拉普拉斯銳化運算就可以完全轉(zhuǎn)換成模板運算,使得運算變得簡便。銳化程序流程如圖所4示。
進入主程序后,調(diào)用構(gòu)造圖像的函數(shù)生成圖像,然后調(diào)用銳化子程序生成檢測圖,循環(huán)5次以后返回到調(diào)用圖像函數(shù)處,重新生成圖像。在進入銳化子程序時,首先完成工作變量的初始化,然后針對圖像中每一個像素點用拉普拉斯算子進行運算,最后完成圖像銳化[16]。
圖4 銳化程序流程圖
為驗證設計的視頻采集系統(tǒng)的性能,開發(fā)了圖像銳化程序,即拉普拉斯變換程序。圖5為黑白圖像銳化前的測試結(jié)果,圖6為黑白圖像銳化后的測試結(jié)果。
圖5 圖像銳化前
圖6 圖像銳化后
由圖5的測試結(jié)果可知,在進行灰度變換時,程序抓取到視頻的逐個像素點,將亮度大于>127的設為全白,其它亮度的設為全黑,顯示屏中看到只有黑白2色的圖像。由于沒有加入相應的運算算法,圖像有模糊現(xiàn)象,不是很清晰。
在圖5灰度變換的基礎上,加入拉普拉斯變換程序,對圖像進行銳化處理,得到圖6的測試結(jié)果,從圖6中可以明顯觀察到銳化處理后的圖像變得比較清晰。
針對視頻采集的需求,介紹了多路視頻采集硬件系統(tǒng)的結(jié)構(gòu),設計了硬件采集系統(tǒng)的核心電路。在此基礎上,針對信號布線完整性進行分析,對設計的硬件電路板開發(fā)了拉普拉斯銳化處理算法,試驗結(jié)果表明:
1)基于拉普拉斯變換的程序測試,設計的視頻采集硬件系統(tǒng)能夠?qū)崿F(xiàn)視頻圖像采集、數(shù)字信號處理、數(shù)字信號傳輸和數(shù)據(jù)存儲功能,能夠應用于車輛行駛過程中路況圖像信息采集。
2)結(jié)合拉普拉斯變換算法,有效的實現(xiàn)了黑白圖像的銳化處理功能,處理后的圖像變得清晰可見。
參考文獻:
[1]曹鳳萍,于明進,何心慧.我國汽車制動電子控制輔助系統(tǒng)性能檢測的不足及完善措施[J].山東交通學院學報,2012,20(2) : 12-16.
[2]朱東輝.智能交通系統(tǒng)的發(fā)展[J].山東交通學院學報,2002,10(4) : 9-14.
[3]操虹.車載環(huán)視顯示系統(tǒng)設計[D].合肥:合肥工業(yè)大學,2009.
[4]趙凱.全景可視化輔助泊車系統(tǒng)研究[D].合肥:合肥工業(yè)大學,2011.
[5]金良,周樹道,黃峰,等.基于DM642的實時視頻處理系統(tǒng)設計與實現(xiàn)[J].裝備制造技術(shù),2008,10(1) : 87-89.
[6]黃勇,蔣工亮,孫聯(lián),等.基于圖像處理技術(shù)的高速公路彎道車速預警系統(tǒng)的研究[J].山東交通學院學報,2009,17(4) : 23-27.
[7]王旭光,管志光,張吉衛(wèi).基于DSP與PIC單片機的CAN總線系統(tǒng)[J].山東交通學院學報,2008,16(3) : 83-86.
[8]許俊.基于DSP的視頻處理開發(fā)平臺的硬件設計[D].太原:太原理工大學,2010.
[9]高浩然.數(shù)字化攝像經(jīng)緯儀的研究[D].南京:南京理工大學,2009.
[10]任浩.基于Bayer格式數(shù)字圖像傳感器顏色插值及圖像銳化的算法研究[D].杭州:浙江大學,2012.
[11]郭闖.視覺伺服平臺視覺跟蹤技術(shù)的研究[D].天津:河北工業(yè)大學,2012.
[12]盧允偉,陳友榮.基于拉普拉斯算法的圖像銳化算法研究和實現(xiàn)[J].電腦知識與技術(shù),2009,6(4) : 1513-1515.
[13]張海青.基于FPGA圖像處理系統(tǒng)的關(guān)鍵算法研究及硬件實現(xiàn)[D].重慶:重慶大學,2010.
[14]楊曉飛.人臉識別系統(tǒng)研究[D].北京:北京化工大學,2005.
[15]蔣運輝.SAR圖像中的道路檢測技術(shù)研究[D].成都:電子科技大學,2005.
[16]許樂,王兵.圖像銳化處理算法及其軟硬件實現(xiàn)[J].科海故事博覽·科技探索,2012,7(3) : 26-30.
(責任編輯:楊秀紅)
Development of Multi-Channel Video System Based on
Da Vinci Technology
GU Qingguang1,LUO Wenguang1,YU Jingmei2
(1.School of Electrical and Electronic Information,Guangxi University Of Technology,Liuzhou 545006,China; 2.College of Environment and Energy Engineering,Beijing University of Technology,Beijing 100022,China)
Abstract:This paper introduces a multi-channel video hardware acquisition system based on Da Vinci technology.Firstly,according to the working principle of image acquisition system,the four-way video hardware acquisition module,one-way video output module and communication interface module are developed,which can realize the transmission of video images and data.Then,the multi-channel video software processing system which can implement the processing of video image data is developed,and the data-processed signal is sent to the display.After a long test,the multi-channel video acquisition system has a better digital processing capability reliability,and practicability.
Key words:Da Vinci technology; four-way video acquisition system; video image processing; digital signal
作者簡介:谷慶廣(1987—),男,河南許昌人,碩士研究生,主要研究方向為智能控制與智能自動化.
基金項目:廣西汽車零部件與整車技術(shù)重點實驗室基金項目(13-051-38,14-045-44)
收稿日期:2014-10-27
DOI:10.3969/j.issn.1672-0032.2015.01.016
文章編號:1672-0032(2015) 01-0078-05
文獻標志碼:A
中圖分類號:TP317.4