大型視頻多幀圖像信息處理系統(tǒng)設(shè)計(jì)

溫洪波

摘 要： 針對(duì)傳統(tǒng)處理系統(tǒng)一直存在多通道視頻多幀圖像信息處理不全面的問題，提出并設(shè)計(jì)基于FPGA+2DSP架構(gòu)的大型視頻多幀圖像信息處理系統(tǒng)。設(shè)計(jì)過程主要分為硬件設(shè)計(jì)及軟件設(shè)計(jì)兩部分，在給出系統(tǒng)整體模塊圖的基礎(chǔ)上，通過視頻多幀圖像采集卡、DSP復(fù)位電路、串口控制電路等模塊對(duì)硬件部分進(jìn)行設(shè)計(jì)分析；軟件部分主要通過其整體軟件實(shí)現(xiàn)流程為主，并給出了部分結(jié)構(gòu)圖。實(shí)驗(yàn)結(jié)果表明，采用改進(jìn)設(shè)計(jì)系統(tǒng)其圖像信息處理結(jié)果跟蹤誤差分析結(jié)果比傳統(tǒng)處理系統(tǒng)提高了15.02像素。

關(guān)鍵詞： 大型視頻； 多幀圖像； 信息處理； 采集卡； 串口控制； DSP

中圖分類號(hào)： TN911.73?34； TP271 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2018）20?0053?04

Abstract： As the traditional processing system has a long?term existing problem of incomprehensive information processing of multi?frame images in the multi?channel video， a multi?frame image information processing system based on the FPGA+2DSP architecture is proposed and designed for the large?scale video. The design process is mainly divided into two parts of hardware design and software design. On the basis of presenting the overall module diagram of the system， the hardware part is designed and analyzed by using the modules of video multi?frame image acquisition card， DSP reset circuit， and serial port control circuit. The software part is focused on the overall software implementation process. The partial structure diagrams are given. The experimental results show that， in comparison with the traditional processing system， the improved design system′s tracking error from analysis of image information processing results is increased by 15.02 pixels.

Keywords： large?scale video； multi?frame image； information processing； acquisition card； serial port control； DSP

0 引 言

圖像處理技術(shù)的應(yīng)用范圍變得越來越廣泛，如在軍事、醫(yī)學(xué)、工業(yè)和交通等多領(lǐng)域的使用。這些不同領(lǐng)域的不同應(yīng)用[1]，也產(chǎn)生了大量的視頻圖像，說明圖像處理技術(shù)已經(jīng)越來越深入的應(yīng)用到人們的生活和社會(huì)工業(yè)生產(chǎn)中。因此根據(jù)行業(yè)需求的不同，圖像幀數(shù)也不同，視頻多幀圖像也逐漸出現(xiàn)在圖像庫中，各種對(duì)視頻多幀圖像處理軟件也被開發(fā)出來，但不同軟件的應(yīng)用方向和側(cè)重點(diǎn)都不相同，且存在各種各樣的問題[2]。如何對(duì)大型視頻多幀圖像信息進(jìn)行處理，如何使處理系統(tǒng)界面簡(jiǎn)潔明了，圖像信息處理功能完善，采用什么方法優(yōu)化處理系統(tǒng)，解決系統(tǒng)處理速度慢、可擴(kuò)展性差的問題成為了該領(lǐng)域亟待解決的問題。文獻(xiàn)[3]通過SoPc和FPGA兩大處理技術(shù)，以視頻轉(zhuǎn)換芯片SAA7113完成視頻圖像采集模塊設(shè)計(jì)，采用CY7C1049 SRAM完成圖像數(shù)據(jù)的存儲(chǔ)，設(shè)計(jì)VGA顯示輸出控制關(guān)聯(lián)模塊，同時(shí)重新修改了顯示芯片具體運(yùn)作形式的配置信息，達(dá)到優(yōu)化圖像信息處理系統(tǒng)優(yōu)化的目的，但是該方法存在運(yùn)行耗時(shí)長(zhǎng)的問題。對(duì)此，提出并設(shè)計(jì)了基于FPGA+2DSP架構(gòu)的大型視頻多幀圖像信息處理系統(tǒng)。

1 視頻多幀圖像信息處理系統(tǒng)整體結(jié)構(gòu)設(shè)計(jì)

采用運(yùn)算能力滿足系統(tǒng)運(yùn)行要求的處理器對(duì)視頻多幀圖像信息處理系統(tǒng)進(jìn)行設(shè)計(jì)。為了使處理系統(tǒng)能夠滿足多級(jí)預(yù)警機(jī)制和多路處理機(jī)制，選擇合適的FPGA器件對(duì)內(nèi)部緩存信息進(jìn)行并行處理，采用適合的數(shù)字信號(hào)處理芯片（DSP）進(jìn)行信息過濾和目標(biāo)識(shí)別[4]。在選擇系統(tǒng)硬件核心處理器時(shí)，主要以達(dá)到信息處理系統(tǒng)處理需求為基礎(chǔ)，結(jié)合處理器功能特點(diǎn)進(jìn)行系統(tǒng)整體結(jié)構(gòu)設(shè)計(jì)。根據(jù)選用核心處理器的特點(diǎn)及其不同的技術(shù)指標(biāo)，對(duì)大型視頻多幀圖像信息處理系統(tǒng)進(jìn)行優(yōu)化設(shè)計(jì)，如圖1所示。

由圖1可知，為達(dá)到對(duì)圖像信息處理時(shí)可多級(jí)預(yù)警及多路處理，設(shè)計(jì)圖像處理系統(tǒng)需滿足多路圖像子幀數(shù)據(jù)同步處理。在對(duì)目標(biāo)圖像信息進(jìn)行識(shí)別時(shí)，系統(tǒng)需在設(shè)定時(shí)間里實(shí)現(xiàn)特征提取及相應(yīng)方法的運(yùn)算，而現(xiàn)有系統(tǒng)多使用FPGA+單DSP架構(gòu)，無法滿足系統(tǒng)的實(shí)時(shí)性要求。對(duì)此，引入DSP架構(gòu)[5]，將原有的FPGA+單DSP架構(gòu)轉(zhuǎn)變?yōu)镕PGA+2DSP架構(gòu)，優(yōu)化原有系統(tǒng)對(duì)圖像信息處理能力。在設(shè)計(jì)過程中選擇Xilinx公司生產(chǎn)的XC5VLX110T型FPGA內(nèi)部資源豐富，共有17 280個(gè)資源片，每個(gè)資源片內(nèi)核都包括25[×]18的乘法器，加法器和累加器；另外此型號(hào)FPGA的內(nèi)部資源還包含了RAM、時(shí)鐘管理模塊、鎖相環(huán)、[PCI?e]核，可供應(yīng)用戶使用的[IO]資源。采用XC5VLX110T型的FPGA，其功能內(nèi)核寄存儲(chǔ)資源較為豐富，可達(dá)到圖像信息濾波處理、控制等功能的使用目的[6]。選用TI公司DSP芯片中適合進(jìn)行視頻多幀圖像信息處理的TMS320C6455型DSP芯片。該芯片乘加運(yùn)算的處理能力運(yùn)用90 nm加工技術(shù)達(dá)到每秒9 600×106次。其最高工作頻率為1.2 GHz，包含SRIO通信模塊。利用SRIO協(xié)議進(jìn)行處理器間的通信，這與早期C6000系列DSP芯片有很大的不同，有效提高處理器間的通信速率。

2 視頻多幀圖像信息處理系統(tǒng)硬件結(jié)構(gòu)

該系統(tǒng)硬件部分有兩個(gè)子系統(tǒng)：一是圖像采集模塊，主要是對(duì)圖像信息處理的觸發(fā)，采集性能；二是DSP圖像處理系統(tǒng)，實(shí)現(xiàn)圖像處理性能。其中最主要的是視頻多幀圖像的采集卡、DSP復(fù)位電路模塊及串口控制電路模塊的設(shè)計(jì)。

2.1 視頻多幀圖像采集卡

計(jì)算機(jī)通過使用CCD鏡頭獲得視頻圖像信息流，通過視頻卡將采集的視頻多幀圖像信息進(jìn)行格式轉(zhuǎn)變、存儲(chǔ)，方便軟件使用，實(shí)現(xiàn)視頻多幀圖像信息的處理。視頻卡組成及工作原理，如圖2所示。

圖2中，以復(fù)合視頻輸入為基礎(chǔ)，選取一路或一組視頻當(dāng)作目前輸入的圖像信息，傳輸給數(shù)字解碼器，對(duì)圖像信息進(jìn)行分析[7?8]。數(shù)字解碼器把傳輸?shù)膹?fù)合視頻進(jìn)行分離，經(jīng)過控制電路讓它達(dá)到同步要求的單號(hào)變成亮度信號(hào)Y及色差信號(hào)UV，傳輸?shù)紸/D實(shí)行模/數(shù)轉(zhuǎn)換，獲得圖像幀數(shù)。經(jīng)各種處理視頻多幀圖像信息后，采用PCI總線，將信息傳送到VGA卡進(jìn)行顯示及存儲(chǔ)。

2.2 DSP復(fù)位電路

DSP復(fù)位電路芯片選用MAX823芯片，該芯片能夠提供自動(dòng)啟動(dòng)復(fù)位、手動(dòng)復(fù)位和看門狗電路功能，其結(jié)構(gòu)如圖3所示。

2.3 串口控制電路

系統(tǒng)采用RS 485串行接口，為完成圖像信息處理系統(tǒng)使用max481芯片當(dāng)作串口的控制芯片，由FPGA進(jìn)行編寫串口控制邏輯，結(jié)構(gòu)如圖4所示。

3 軟件系統(tǒng)整體設(shè)計(jì)

一個(gè)完整的圖像信息處理系統(tǒng)應(yīng)重點(diǎn)包含視頻圖像信息采集、圖像信息傳輸、信息處理和視頻圖像信息輸出等部分，其中又包括各個(gè)部分的性能細(xì)節(jié)的達(dá)成。若要構(gòu)建一套完整的圖像信息處理系統(tǒng)，一個(gè)完善的軟件體系是不可缺少的[9?10]。軟件部分關(guān)鍵點(diǎn)是依據(jù)系統(tǒng)需求進(jìn)行設(shè)計(jì)，系統(tǒng)的整體軟件框架如圖5所示。

4 實(shí)驗(yàn)結(jié)果分析

4.1 系統(tǒng)硬件配置

系統(tǒng)硬件配置CCD攝像頭；CPLD采用Altera公司MAX7000系列EPM7128SQC100；FIFO采用TI公司SN74ALVC7804；DSP采用TI公司TMS320C6205，PCI2.2接口；FLASH采用SST公司SST39CF160存儲(chǔ)格式為1M[×]16 bit 2 MB（2片）；SDRAM采用HYNIX公司HY57V651620B存儲(chǔ)格式4Banks[×]1M[×]16 bit 8 MB（2片）；電源管理方面采用TI公司的TPS70148 3.3 V/1.5 V、MICREL公司的MIC29150；時(shí)鐘方面采用DSP，20 MHz晶體 TDK ACF451832濾波芯片，SAA7111，25 MHz晶體輸出 13.5 MHz LLC2。

4.2 實(shí)驗(yàn)結(jié)果分析

為了更精確地對(duì)診斷效果進(jìn)行對(duì)比，采用FPGA+2DSP架構(gòu)的診斷評(píng)價(jià)指標(biāo)，對(duì)兩個(gè)系統(tǒng)的診斷誤差進(jìn)行對(duì)比分析，其中目標(biāo)中心位置由手動(dòng)的模式經(jīng)過在每一幀圖像上標(biāo)注而獲得。圖7是傳統(tǒng)系統(tǒng)和改進(jìn)系統(tǒng)對(duì)寫作誤差診斷結(jié)果分析。

圖7中，橫坐標(biāo)代表圖像序列的幀數(shù)，縱坐標(biāo)代表目標(biāo)的正確寫作診斷信息和診斷誤差估計(jì)的診斷結(jié)果與實(shí)際結(jié)果的距離差值，傳統(tǒng)系統(tǒng)和改進(jìn)系統(tǒng)的平均誤差分別為19.80和4.78像素。

5 結(jié) 論

針對(duì)傳統(tǒng)處理系統(tǒng)一直存在多通道視頻多幀圖像信息處理不全面的問題，提出并設(shè)計(jì)了基于FPGA+2DSP架構(gòu)的大型視頻多幀圖像信息處理系統(tǒng)。在設(shè)計(jì)過程中主要分為硬件及軟件兩部分，在給出系統(tǒng)整體模塊圖的基礎(chǔ)上，通過視頻多幀圖像采集卡、DSP復(fù)位電路、串口控制電路等模塊對(duì)硬件部分進(jìn)行設(shè)計(jì)分析；軟件部分主要通過其整體軟件實(shí)現(xiàn)流程為主，并給出部分結(jié)構(gòu)圖。實(shí)驗(yàn)結(jié)果表明，采用改進(jìn)設(shè)計(jì)系統(tǒng)其圖像信息處理結(jié)果跟蹤誤差分析結(jié)果比傳統(tǒng)處理系統(tǒng)提高了15.02像素。

參考文獻(xiàn)

[1] 王秉，吳超，黃浪.基于安全信息處理與事件鏈原理的系統(tǒng)安全行為模型[J].情報(bào)雜志，2017，36（9）：119?126.

WANG Bing， WU Chao， HUANG Lang. System′s safety behavior model based on the cognitive safety information processing and chain?of?events [J]. Journal of intelligence， 2017， 36（9）： 119?126.

[2] 鄭冰，趙陽，葛東林.農(nóng)機(jī)快速導(dǎo)航系統(tǒng)設(shè)計(jì)：基于圖像邊緣檢測(cè)和3D深度視頻幀內(nèi)編碼[J].農(nóng)機(jī)化研究，2018，40（5）：181?184.

ZHENG Bing， ZHAO Yang， GE Donglin. Design for fast navigation system of agricultural machinery based on image edge detection and 3D depth video coding [J]. Journal of agricultural mechanization research， 2018， 40（5）： 181?184.

[3] 田杰，王廣龍，喬中濤，等.基于FPGA高速視頻圖像實(shí)時(shí)采集與處理系統(tǒng)設(shè)計(jì)[J].電子器件，2016，39（3）：623?627.

TIAN Jie， WANG Guanglong， QIAO Zhongtao， et al. Design of a high?speed real?time video acquisition and processing system based on FPGA [J]. Chinese journal of electron devices， 2016， 39（3）： 623?627.

[4] 唐寧，趙鵬，吳紹啟.基于FPGA的實(shí)時(shí)視頻圖像去霧系統(tǒng)[J].計(jì)算機(jī)工程與設(shè)計(jì)，2016，37（11）：3124?3129.

TANG Ning， ZHAO Peng， WU Shaoqi. Real?time video image dehazing system based on FPGA [J]. Computer engineering and design， 2016， 37（11）： 3124?3129.

[5] 袁慶升，張冬明，靳國慶，等.視頻檢索中圖像信息量度量[J].通信學(xué)報(bào)，2016，37（2）：80?87.

YUAN Qingsheng， ZHANG Dongming， JIN Guoqing， et al. Image information measurement for video retrieval [J]. Journal on communications， 2016， 37（2）： 80?87.

[6] 曾志華，馬小雨.FPGA及DSP技術(shù)下的實(shí)況視頻圖像處理多種算法探究[J].現(xiàn)代電子技術(shù)，2016，39（16）：88?90.

ZENG Zhihua， MA Xiaoyu. Various live video image processing algorithms based on FPGA and DSP technologies [J]. Modern electronics technique， 2016， 39（16）： 88?90.

[7] 姚佳，高志勇，張小云，等.基于眾核平臺(tái)的多路超高清視頻編碼系統(tǒng)設(shè)計(jì)[J].電視技術(shù)，2016，40（4）：7?11.

YAO Jia， GAO Zhiyong， ZHANG Xiaoyun， et al. Multi?channel UHD video encoding system based on many?core platform [J]. Video engineering， 2016， 40（4）： 7?11.

[8] 王嘉成，孫海江，劉培勛，等.高分辨率多傳感器融合圖像跟蹤系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].液晶與顯示，2016，31（8）：825?830.

WANG Jiacheng， SUN Haijiang， LIU Peixun， et al. Design and implementation of high resolution multi?sensors fusion tracking system [J]. Chinese journal of liquid crystals and displays， 2016， 31（8）： 825?830.

[9] 戴軍，唐湘成，高志峰.海空背景下紅外圖像處理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].紅外技術(shù)，2016，38（2）：121?125.

DAI Jun， TANG Xiangcheng， GAO Zhifeng. Design and implementation of an infrared image processing system under sea and sky background [J]. Infrared technology， 2016， 38（2）： 121?125.

[10] 劉偉，門金瑞，華園園.空間目標(biāo)圖像觀測(cè)系統(tǒng)設(shè)計(jì)仿真研究[J].計(jì)算機(jī)仿真，2016，33（10）：254?257.

LIU Wei， MEN Jinrui， HUA Yuanyuan. Research and simulation of space target observation system [J]. Computer simulation， 2016， 33（10）： 254?257.