高 媛， 商遠(yuǎn)波

(上海無(wú)線電設(shè)備研究所， 上海 200090)

一種基于CameraLink的數(shù)字圖像處理系統(tǒng)

高 媛， 商遠(yuǎn)波

(上海無(wú)線電設(shè)備研究所， 上海 200090)

針對(duì)高幀頻相機(jī)輸出的圖像數(shù)據(jù)量大的特點(diǎn)，設(shè)計(jì)并實(shí)現(xiàn)了一種基于CameraLink的高速實(shí)時(shí)數(shù)字圖像處理系統(tǒng)。文中介紹了系統(tǒng)的設(shè)計(jì)思路、工作原理和硬件結(jié)構(gòu),并詳細(xì)描述了該系統(tǒng)的CameraLink標(biāo)準(zhǔn)圖像輸入及控制接口模塊、FPGA圖像采集和控制模塊、DSP圖像處理模塊和CameraLink標(biāo)準(zhǔn)圖像輸出及控制接口模塊的硬件構(gòu)成。該系統(tǒng)能夠?qū)崿F(xiàn)對(duì)CameraLink協(xié)議輸出信號(hào)的快速圖像處理和視頻顯示的功能。

圖像采集； 圖像處理； 控制模塊

0 引言

目前，數(shù)字成像探測(cè)設(shè)備已廣泛應(yīng)用到航空、航天和軍事等領(lǐng)域。隨著數(shù)字相機(jī)的分辨率和幀頻的不斷提高，使得相機(jī)和圖像采集卡之間的通信速率變的異常重要，相應(yīng)地對(duì)成像電路的數(shù)據(jù)傳輸系統(tǒng)也提出了更高的要求。隨著接口傳輸標(biāo)準(zhǔn)的不斷發(fā)展，CameraLink技術(shù)以其固有的低電壓、低功耗和有利于高速傳輸?shù)忍攸c(diǎn)，正逐漸成為寬帶高速成像系統(tǒng)設(shè)計(jì)的首選接口標(biāo)準(zhǔn)。

本文考慮到可見(jiàn)光探測(cè)設(shè)備工程研制實(shí)際要求，設(shè)計(jì)了一種以FPGA+DSP為核心處理模塊基于CameraLink協(xié)議的高速實(shí)時(shí)圖像數(shù)據(jù)采集與處理系統(tǒng)。其中，F(xiàn)PGA模塊主要完成圖像的采集和數(shù)據(jù)二值法、直方圖統(tǒng)計(jì)等預(yù)處理；DSP模塊主要完成對(duì)接收到FPGA預(yù)處理后的圖像進(jìn)行圖像識(shí)別、目標(biāo)形心提取、跟蹤等處理。

1 CameraLink標(biāo)準(zhǔn)的接口簡(jiǎn)介

CameraLink是一種基于視頻應(yīng)用發(fā)展而來(lái)的接口技術(shù)，它解決了視頻數(shù)據(jù)輸出和采集之間的速度匹配問(wèn)題，是由國(guó)家半導(dǎo)體試驗(yàn)室 (NI，National Instruments)于2000年推出的一種通信接口。CameraLink標(biāo)準(zhǔn)在ChannelLink標(biāo)準(zhǔn)的基礎(chǔ)上又多加了6對(duì)差分信號(hào)線，4對(duì)用于并行傳輸相機(jī)控制信號(hào)，其它2對(duì)用于相機(jī)和數(shù)字圖像處理系統(tǒng)(或其它圖像接收處理設(shè)備)之間的串行通信。CameraLink標(biāo)準(zhǔn)中，相機(jī)信號(hào)分為四種：電源信號(hào)、視頻數(shù)據(jù)信號(hào)(ChannelLink標(biāo)準(zhǔn))、相機(jī)控制信號(hào)、串行通信信號(hào)。

其中，視頻數(shù)據(jù)信號(hào)部分是CameraLink的核心，該部分其實(shí)就是ChannelLink協(xié)議，ChannelLink原理圖，如圖1所示。

圖1中,主要包括5對(duì)差分信號(hào)，即X0-/X0+、X1-/X1+、X2-/X2+、X3-/X3+、Xclk-/Xclk+。視頻部分發(fā)送端將28位的數(shù)據(jù)信號(hào)和1個(gè)時(shí)鐘信號(hào)，按7:1的比例將數(shù)據(jù)轉(zhuǎn)換成5對(duì)差分信號(hào)。接收端使用ChannelLink芯片(如ChannelLink轉(zhuǎn)TTL/CMOS的芯片DS90CR288)將5對(duì)差分信號(hào)轉(zhuǎn)換成28位的數(shù)據(jù)信號(hào)和1個(gè)時(shí)鐘信號(hào)，其數(shù)據(jù)傳輸速率可達(dá)2.38 Gbit/s。28位的數(shù)據(jù)信號(hào)包括4位視頻控制信號(hào)和24位圖像數(shù)據(jù)信號(hào)[1]。

2 硬件組成

數(shù)字圖像處理機(jī)的硬件組成框圖如圖2所示，分別為CameraLink圖像輸入及控制接口模塊、FPGA圖像采集和控制模塊、DSP圖像處理模塊和CameraLink圖像輸出及控制接口模塊?？梢?jiàn)光成像探測(cè)系統(tǒng)工作流程：相機(jī)輸出的信號(hào)經(jīng)過(guò)CameraLink電纜傳輸?shù)桨迳系腗DR26接插件，由CameraLink圖像輸入及控制接口模塊將LVDS信號(hào)轉(zhuǎn)換成并行的TTL/CMOS信號(hào)送入FPGA模塊，實(shí)現(xiàn)數(shù)據(jù)的短時(shí)存儲(chǔ)和預(yù)處理。經(jīng)過(guò)FPGA預(yù)處理的圖像數(shù)據(jù)，分2路進(jìn)行傳輸，1路通過(guò)CameraLink圖像輸出及控制接口模塊，經(jīng)過(guò)SDR26接插件送到CameraLink圖像采集卡采集并顯示出來(lái)；另1路送到DSP模塊，進(jìn)行目標(biāo)信息提取處理[2]。

3 關(guān)鍵模塊設(shè)計(jì)

3.1 CameraLink圖像輸入及控制接口模塊

CameraLink圖像輸入及控制接口模塊硬件組成框圖，如圖3所示。ChannelLink原理傳輸?shù)?路數(shù)據(jù)LVDS信號(hào)和1路時(shí)鐘LVDS信號(hào)，通過(guò)LVDS線路接收器DS90CR288將其轉(zhuǎn)換成并行的TTL/CMOS信號(hào)，送入FPGA的雙端口RAM中，實(shí)現(xiàn)數(shù)據(jù)的短時(shí)存儲(chǔ)。CameraLink接口相機(jī)的4路LVDS控制信號(hào)，分別是CC1、CC2、CC3和CC4，通過(guò)DS90LV031將其轉(zhuǎn)換為T(mén)TL信號(hào)送給FPGA。本方案通過(guò)CC1對(duì)相機(jī)的工作模式進(jìn)行控制，使其工作在外觸發(fā)模式，便于將輔助數(shù)據(jù)加載在每幀圖像數(shù)據(jù)的第0行中。CameraLink串行通信部分的2對(duì)差分信號(hào)SerTFG和SerTC，通過(guò)DS90LV019芯片完成差分對(duì)信號(hào)和TTL信號(hào)之間的轉(zhuǎn)換[3]。

3.2 FPGA圖像采集和控制模塊

FPGA圖像采集和控制模塊主要完成圖像數(shù)據(jù)預(yù)處理、相機(jī)工作參數(shù)設(shè)置、原始圖像數(shù)據(jù)輸出和系統(tǒng)工作時(shí)序控制等。其中，圖像數(shù)據(jù)預(yù)處理流程圖如圖4所示，主要包括圖像數(shù)據(jù)拆分緩存、圖像數(shù)據(jù)二值化、直方圖統(tǒng)計(jì)和預(yù)處理后的數(shù)據(jù)緩存[4]。

該模塊使用的是Xilinx公司的Virtex5系列XC5VSX95T，除了先進(jìn)的高性能邏輯架構(gòu)，Virtex-5 FPGA還包含多種硬IP系統(tǒng)級(jí)模塊，包括強(qiáng)大的36 Kb Block RAM/FIFO、第二代25x18DSP Slice、帶有內(nèi)置數(shù)控阻抗的SelectIO技術(shù)、ChipSync源同步接口模塊、系統(tǒng)監(jiān)視器功能、帶有集成DCM(數(shù)字時(shí)鐘管理器)和鎖相環(huán)(PLL)時(shí)鐘發(fā)生器的增強(qiáng)型時(shí)鐘管理模塊以及高級(jí)配置選項(xiàng)。Virtex-5 SXT為具有高級(jí)串行連接功能的高性能信號(hào)處理應(yīng)用的子系列，可滿足系統(tǒng)邏輯連接要求。

3.3 DSP圖像處理模塊

DSP圖像處理模塊流程圖如圖5所示，主要包括FPGA預(yù)處理圖像數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、目標(biāo)檢測(cè)、目標(biāo)形心提取、輸出測(cè)量信息到FPGA等功能。數(shù)據(jù)預(yù)處理主要包括圖像分割、匹配等高層圖像處理算法[5]。

方案選用TI公司的TMS320C6455定點(diǎn)DSP芯片。該芯片擁有8個(gè)獨(dú)立的功能單元，其中有2個(gè)16位乘法器和6個(gè)算術(shù)邏輯單元，其最大峰值速度9 600 MIPS，最高主頻高達(dá)1.2 GHz。它有16 Mbit片內(nèi)集成大容量SRAM，擁有64位高性能外部存儲(chǔ)器接口，可與多種同步或異步存儲(chǔ)器直接相連，可接入大容量的SDRAM存儲(chǔ)器，EMIFA的四個(gè)CE空間能接入高達(dá)1 G字節(jié)；TMS320C6455擁有2個(gè)多通道緩沖串口(McBSP，最高速率達(dá)75 Mbit/s)，64個(gè)EDMA通道以及HPI、GPIO等可靈活使用的資源。因此,可以很好地滿足圖像處理算法的復(fù)雜性、實(shí)時(shí)性和靈活性要求。

3.4 CameraLink圖像輸出及控制接口模塊

CameraLink圖像輸出及控制接口模塊硬件組成框圖，如圖6所示。FPGA輸出的圖像數(shù)據(jù)和時(shí)鐘信號(hào)，通過(guò)線路驅(qū)動(dòng)器DS90CR287將其轉(zhuǎn)換成串行的LVDS信號(hào)，送到圖像采集卡，通過(guò)實(shí)時(shí)圖像顯示測(cè)試設(shè)備顯示。測(cè)試設(shè)備輸出4路LVDS相機(jī)控制信號(hào)，數(shù)字圖像處理系統(tǒng)通過(guò)DS90LV032將其轉(zhuǎn)換為T(mén)TL信號(hào)送給FPGA。CameraLink串行通信部分的2對(duì)差分信號(hào)，通過(guò)DS90LV019芯片完成差分對(duì)信號(hào)和TTL信號(hào)之間的轉(zhuǎn)換。

4 結(jié)論

本文闡述了CameraLink協(xié)議的原理及特點(diǎn)，提出了一種基于CameraLink標(biāo)準(zhǔn)的高速實(shí)時(shí)數(shù)字圖像處理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)方法，基于模

塊化設(shè)計(jì)思想，采用FPGA完成圖像的采集和預(yù)處理，采用DSP完成復(fù)雜圖像的目標(biāo)識(shí)別算法，實(shí)現(xiàn)目標(biāo)檢測(cè)和實(shí)時(shí)跟蹤。通過(guò)實(shí)驗(yàn)驗(yàn)證，在完成上述功能的基礎(chǔ)上，系統(tǒng)實(shí)時(shí)數(shù)據(jù)運(yùn)算處理能力達(dá)到50幀/秒，每幀圖像數(shù)據(jù)規(guī)模為1024×1024×8bits。此外，該系統(tǒng)可替代基于計(jì)算機(jī)的高速實(shí)時(shí)圖像采集處理系統(tǒng)，實(shí)現(xiàn)了實(shí)時(shí)性高、處理數(shù)據(jù)量大、體積小、成本低的目的。整個(gè)硬件電路設(shè)計(jì)結(jié)構(gòu)簡(jiǎn)單，性能可靠，軟件控制靈活，成本較低，效果良好穩(wěn)定，具有廣闊的應(yīng)用前景。

[1] 陳偉,宋燕星.基于LVDS技術(shù)的高速數(shù)字圖像傳輸系統(tǒng)[J]. 電子測(cè)量技術(shù)， 2008， (11)： 271，371，471.

[2] 李雁斌，張敏.星載微波跟瞄雷達(dá)系統(tǒng)設(shè)計(jì)特點(diǎn)[J]. 制導(dǎo)與引信， 2013， 34(4)： 39-45.

[3] 沈鴿，王美嬌，嵇曉強(qiáng). 基于CameraLink的視頻圖像采集與傳輸系統(tǒng)[J]. 微計(jì)算機(jī)信息， 2011, 27(8)： 99-100.

[4] 邵姚定， 何立萍. 導(dǎo)引頭信號(hào)和圖像處理技術(shù)研究[J]. 制導(dǎo)與引信， 1998， 19(1)： 33-41.

[5] 黃勇，程曉瞳，雷威. 用于小行星探測(cè)的多光譜圖像處理技術(shù)[J]. 制導(dǎo)與引信， 2013， 34(4)： 28-32.

A Digital Image Processing System Based on CameraLink

GAOYuan,SHANGYuan-bo

(Shanghai Radio Equipment Research Institute, Shanghai 200090, China)

Aiming at characteristic of mass data of image out from high-frame camera,a high-speed real-time image acquisition and processing system based on CameraLink is designed and implemented. The design thinking, functionality,hardware architecture of the system are described in detail, and the CameraLink image input and control interface module,FPGA image data acquisition and control module,image processing module with a DSP as its core,CameraLink image output and control interface module are described. This system can implemente fast image processing based on CameraLink and video display function.

image acquisition； image processing; control module

1671-0576(2017)01-0029-04

2016-01-05

高媛(1980-)，女，高級(jí)工程師，碩士，主要從事星載微波、光學(xué)探測(cè)雷達(dá)總體技術(shù)研究。

TN957.52

A