基于DM 8168的視頻服務(wù)器設(shè)計(jì)

程勇策，高 喆，張志萍

(中國電子科技集團(tuán)公司第三研究所，北京100015)

基于DM 8168的視頻服務(wù)器設(shè)計(jì)

程勇策，高 喆，張志萍

(中國電子科技集團(tuán)公司第三研究所，北京100015)

采用基于DM8168的硬件平臺，利用豐富的外圍接口擴(kuò)展視頻服務(wù)器的各種通訊接口和音視頻接口。在DM8168的DSP中植入以高斯模型獲得背景圖像，以當(dāng)前圖像與背景圖像差獲得目標(biāo)，根據(jù)目標(biāo)運(yùn)動軌跡判斷目標(biāo)行為的圖像智能分析算法。在ARM中植入Linux操作系統(tǒng)，在Linux上開發(fā)的人機(jī)交互軟件通過調(diào)用DM8168的驅(qū)動來控制其各種功能模塊實(shí)現(xiàn)圖像壓縮、存儲、回放、多畫面合成、音視頻輸入輸出等功能，以滿足視頻服務(wù)器所需的人機(jī)交互功能。

DM8168;DSP;ARM;Linux

當(dāng)前的視頻監(jiān)控向著多樣化、智能化、一體化方向發(fā)展，監(jiān)控系統(tǒng)中的設(shè)備功能也不再單一，而是向著多功能、高度集成、信息融合的方向發(fā)展。因此，人們需要高性能、多接口、超大存儲容量、具有簡潔靈活的人機(jī)交互軟件的視頻服務(wù)器來滿足當(dāng)前的發(fā)展需要。

本視頻服務(wù)器采用TI公司新推出的基于達(dá)芬奇架構(gòu)的視頻處理器DM8168，該處理器集成了1.125 GHz的C674X DSP和1.35 GHz的ARM8，利用高清視頻圖像協(xié)處理器可以對視頻進(jìn)行H.264或 MPEG4編解碼［1］。采用DM8168的超強(qiáng)運(yùn)算能力及豐富的外圍接口來實(shí)現(xiàn)具備視頻采集、儲存、回放、畫面分割合成、圖像智能識別、各種接口形式的視頻顯示終端及靈活的人機(jī)交互軟件于一體的視頻服務(wù)器。

1 系統(tǒng)組成

本服務(wù)器以DM8168為核心，利用豐富的接口擴(kuò)展各種外設(shè)，各接口、DSP、ARM之間采用EDMA進(jìn)行數(shù)據(jù)交換和共享。系統(tǒng)組成框圖如圖1所示。

1.1 音視頻AD

采用TI公司的TVP5158來對輸入到視頻服務(wù)器端的模擬音視頻實(shí)現(xiàn)A/D操作。TVP5158支持各種格式的PAL制、NTSC制視頻輸入，單片TVP5158支持4路音頻和視頻同時(shí)采樣，每個(gè)視頻A/D以27 MHz頻率對輸入視頻采樣，可以配置為108 MHz頻率從A口輸出4路采樣數(shù)據(jù)［2］。TVP5158附帶的音頻AD以64 kHz的采樣率對4路音頻同時(shí)進(jìn)行采樣，使每路音頻的采樣率達(dá)到16 kHz。

DM8168通過I2C總線控制4片TVP5158，使其對16路音視頻同時(shí)采樣，16路音頻數(shù)據(jù)通過TVP5158音頻級聯(lián)功能，進(jìn)行I2S編碼后通過一片TVP5158輸出到DM8168的 MCASP0接口上;配置 4片 TVP5158以BT656格式輸出視頻數(shù)據(jù)，4個(gè)視頻輸出A口分別連接到DM8168的2個(gè)視頻數(shù)據(jù)輸入口，由此可以大大減少DM8168硬件接口的開銷。

1.2 語音編解碼器

視頻服務(wù)器的本地語音輸入輸出采用AIC3104語音編解碼器。AIC3104具有兩個(gè)信噪比達(dá)92 dB、采樣率高達(dá)96 kHz的專用音頻A/D和兩個(gè)信噪比達(dá)102 dB、采樣率高達(dá)96 kHz的專用音頻D/A，音頻A/D和D/A均支持6路立體聲同時(shí)轉(zhuǎn)換，輸出方式可以配置單端和差分方式［3］。A/D前端和D/A后端連接運(yùn)放，輸入可直接連接MIC或傳聲器，輸出可以直接驅(qū)動耳機(jī)或揚(yáng)聲器。

圖1 視頻服務(wù)器系統(tǒng)組成圖

DM8168通過I2C總線控制AIC3104進(jìn)行采樣和D/A轉(zhuǎn)換，通過MCASP1口與AIC3104進(jìn)行語音數(shù)據(jù)收發(fā)。當(dāng)視頻服務(wù)器本地錄音時(shí)，DM8168獲取A/D數(shù)據(jù)進(jìn)行編碼保存，當(dāng)視頻服務(wù)器處于回放時(shí)，DM8168解碼后將數(shù)據(jù)發(fā)送給AIC3104進(jìn)行D/A轉(zhuǎn)換，當(dāng)視頻服務(wù)器處于實(shí)時(shí)監(jiān)控時(shí)，AIC3104對輸入的語音信號放大后直接輸出。

1.3 開關(guān)面板

DM8168自帶有一個(gè)4×4的鍵盤掃描接口，操作十分方便，但是當(dāng)開關(guān)面板開關(guān)數(shù)量超過16個(gè)，或者需要在面板上擴(kuò)展數(shù)碼顯示管時(shí)，DM8168不能完全滿足需求。因此，本視頻服務(wù)器采用一種簡單、靈活、可靠的開關(guān)面板設(shè)計(jì)。

開關(guān)面板采用PCF8574來實(shí)現(xiàn)I2C總線轉(zhuǎn)I/O，采用多片PCF8574來實(shí)現(xiàn)5×5開關(guān)矩陣，并將多個(gè)發(fā)光二極管連接在I/O口上，同時(shí)通過I/O口設(shè)置MC1543來驅(qū)動LED，DM8168通過I2C 2口讀寫開關(guān)面板來實(shí)現(xiàn)鍵盤掃描、狀態(tài)燈設(shè)置、LED驅(qū)動，其原理如圖2所示。

圖2 開關(guān)面板原理框圖

1.4 串行通信接口

DM8168含3個(gè)串行通信接口UART。UART1通過MAX3231轉(zhuǎn)換為標(biāo)準(zhǔn)的RS232通信接口，實(shí)現(xiàn)與上位機(jī)的通信;UART2通過MAX488轉(zhuǎn)換為標(biāo)準(zhǔn)的RS422通信接口，可用來實(shí)現(xiàn)視頻服務(wù)器與其他設(shè)備之間的通信;UART3通過SN65HD08轉(zhuǎn)換為標(biāo)準(zhǔn)的RS485通信接口，用來實(shí)現(xiàn)視頻服務(wù)器與云臺之間進(jìn)行通信。

1.5 視頻輸出接口

DM8168提供了多種視頻輸出形式的接口:1個(gè)HDMI視頻輸出接口;4個(gè)標(biāo)清 DAC視頻輸出 IOUTD，IOUTE，IOUTF，IOUTG;3個(gè)高清DAC視頻輸出IOUTA，IOUTB，IOUTC。采用 6通道視頻運(yùn)放 THS7360對DM8168的6個(gè)視頻DAC進(jìn)行視頻驅(qū)動，THS7360的3個(gè)標(biāo)清視頻運(yùn)放配置為CVBS，S-Video視頻輸出接口，3個(gè)高清視頻運(yùn)放配置為VGA或YPbPr高清分量視頻輸出接口，如圖3所示。

采用TPD12S512驅(qū)動DM8168的HDMI視頻接口后，視頻服務(wù)器的HDMI接口輸出HDMI 1.3標(biāo)準(zhǔn)電平，實(shí)現(xiàn)與HDMI接口的顯示設(shè)備直連。TPD12S512不僅是視頻驅(qū)動器，還是ESD防護(hù)設(shè)備，可以防護(hù)高達(dá)8 kV的靜電。

DM8168有兩個(gè)高清數(shù)字視頻輸出口，采用其中一個(gè)數(shù)字視頻輸出口與SIL9134連接，DM8168通過I2C2總線控制SIL9134，使其將高清數(shù)字視頻輸出轉(zhuǎn)換為標(biāo)準(zhǔn)的DVI數(shù)字高清接口輸出。

1.6 以太網(wǎng)接口

DM8168集成了兩個(gè)10 Mbit/100 Mbit/1 000 Mbit自適應(yīng)千兆以太網(wǎng)EMAC，通過擴(kuò)展ET1011C作為千兆網(wǎng)PHY設(shè)備，可實(shí)現(xiàn)視頻服務(wù)器的以太網(wǎng)通信，兩個(gè)以太網(wǎng)接口讓視頻服務(wù)器支持高達(dá)2 Gbit/s帶寬的網(wǎng)絡(luò)吞吐能力。

圖3 模擬視頻接口圖

1.7 SATA接口

DM8168帶有兩個(gè)集成了PHY的SATA3.0串行硬盤驅(qū)動接口，可以直接連接兩個(gè)硬盤。為了增加視頻服務(wù)器的存儲能力，本設(shè)計(jì)采用JMB321B作為SATA擴(kuò)展器，將單個(gè)SATA接口擴(kuò)展為5個(gè)SATA接口，使視頻服務(wù)器可以同時(shí)連接10個(gè)SATA硬盤。

1.8 USB接口

DM8168支持兩個(gè)USB 2.0接口，每個(gè)USB接口帶有PHY，USB1直接連接USB插座，設(shè)計(jì)為高速USB接口，用于視頻服務(wù)器對外部USB存儲設(shè)備的高速訪問。USB2通過USB HUB專用芯片USB2514擴(kuò)展為4個(gè)USB接口，用于鼠標(biāo)、鍵盤等相對低速的USB設(shè)備訪問視頻服務(wù)器。

2 處理流程和任務(wù)分解

2.1 處理流程

視頻服務(wù)器不僅支持NVR，更是支持模擬視頻輸入的DVR，可同時(shí)支持?jǐn)?shù)字系統(tǒng)和模擬系統(tǒng)。數(shù)字輸入和模擬輸入同時(shí)處理，處理流程如圖4所示。

圖4 視頻處理流程

2.2 任務(wù)分解

視頻服務(wù)器功能及任務(wù)繁多，同時(shí)DM8168資源豐富，需要充分利用資源，合理調(diào)度各資源完成不同的任務(wù)，讓DM8168的DSP和ARM協(xié)同工作。本著硬件資源充分利用、操作控制方便靈活的原則，對DSP和ARM進(jìn)行任務(wù)分配。在DSP中實(shí)現(xiàn)圖像處理算法，完成圖像智能分析功能。在ARM中植入Linux操作系統(tǒng)，在Linux中開發(fā)人機(jī)交互軟件，并通過調(diào)用驅(qū)動訪問DM8168的外圍資源，不僅降低了系統(tǒng)的開發(fā)難度，還可以實(shí)現(xiàn)靈活多變、簡單方便的操作控制。通過I2C總線配置音視頻輸入解碼芯片和掃描鍵盤，控制HDVICP2模塊對視頻進(jìn)行H.264編解碼，控制SGX530 3D圖形引擎進(jìn)行多畫面合成，控制HDVPSS模塊進(jìn)行圖像縮放、字符疊加，控制SATA總線存儲訪問壓縮視頻，通過驅(qū)動設(shè)置串口、USB、以太網(wǎng)等接口與其他設(shè)備或上位機(jī)進(jìn)行通信。

DSP完成的功能:圖像智能分析。

ARM完成的功能:1)控制音頻、視頻輸入輸出; 2)多畫面合成;3)網(wǎng)絡(luò)視頻解碼;4)圖像壓縮編碼存儲;5)視頻查詢及回放;6)外部通信接口控制;7)人機(jī)交互。

3 DSP設(shè)計(jì)實(shí)現(xiàn)

視頻服務(wù)器根據(jù)用戶要求，對重點(diǎn)監(jiān)控區(qū)域的輸入圖像進(jìn)行目標(biāo)入侵、穿越警戒面、進(jìn)入?yún)^(qū)域、離開區(qū)域等行為進(jìn)行智能分析，并在出現(xiàn)上述行為時(shí)發(fā)出告警。

圖像智能分析的種類雖然很多，在本設(shè)計(jì)中采用相同的圖像處理算法，通過判斷運(yùn)動目標(biāo)行為軌跡來實(shí)現(xiàn)不同行為的智能分析。采用記錄用戶輸入的圖像區(qū)域選擇，通過高斯模型獲取背景，通過圖像與背景差分獲得運(yùn)動前景分割出目標(biāo)，從而計(jì)算出目標(biāo)位置并生成目標(biāo)軌跡，當(dāng)目標(biāo)出入用戶輸入?yún)^(qū)域時(shí)［5］，結(jié)合目標(biāo)軌跡來判斷目標(biāo)行為，發(fā)出相應(yīng)的告警。其處理流程如圖5所示。

圖5 智能分析流程圖

3.1 背景獲取

背景選擇對目標(biāo)的分割顯得尤為重要，此處采用高斯模型來獲得背景。如果某點(diǎn)或某區(qū)域?yàn)閳D像背景，其灰度概率密度函數(shù)分布滿足高斯特性，滿足高斯分布的隨機(jī)變量四階統(tǒng)計(jì)量為0［4］。根據(jù)上述特性，使用以下算法可以獲得背景區(qū)域。

首先對第n幀和第n+1幀圖像做差分運(yùn)算

將結(jié)果分為C個(gè)子塊，塊大小為W×W，記為{Bk (i)}(i=0，1，…，C-1)。求出每個(gè)子塊的能量E和四階統(tǒng)計(jì)量H4

當(dāng)滿足式(4)時(shí)，該子塊為背景。

在不同幀圖像中相同的位置子塊均檢測出為背景時(shí)，對該子塊內(nèi)各像素取平均值后作為背景。

式中:l為在L幀圖像中檢測到特定子塊的數(shù)量;d(x，y)為獲取的背景在(x，y)處的灰度值;dn(x，y)為第n幀圖像在(x，y)處的灰度值。

3.2 目標(biāo)分割

利用背景差分的方法來獲取運(yùn)動目標(biāo)，實(shí)現(xiàn)目標(biāo)的分割，采用當(dāng)前的圖像灰度值減去背景圖像灰度值，然后用式(6)對圖像進(jìn)行二制化即可分割出目標(biāo)

式中:T為分割閾值。

3.3 位置計(jì)算

為了避免目標(biāo)在運(yùn)動過程中受到形變、旋轉(zhuǎn)等因素影響，采用目標(biāo)重心作為目標(biāo)的位置

3.4 目標(biāo)軌跡生成

連續(xù)記錄某目標(biāo)在圖像中的位置，當(dāng)目標(biāo)進(jìn)入或離開用戶指定區(qū)域時(shí)，目標(biāo)在n幀圖像的位置序列{(x1，y1)，…，(xn，yn)}經(jīng)過線性運(yùn)算可以判斷目標(biāo)的運(yùn)動方向角度，結(jié)合目標(biāo)當(dāng)前位置(Δx，Δy)和運(yùn)動方向角θ可以分析出目標(biāo)的行為狀態(tài)。

4 ARM設(shè)計(jì)實(shí)現(xiàn)

4.1 控制音視頻輸入輸出

利用TI官方提供的Linux內(nèi)核，配置DM8168的Linux音頻驅(qū)動，調(diào)用音頻驅(qū)動控制ARM，使其通過I2C 1接口控制 AIC3104語音編碼器，配置其采樣頻率為16 kHz，采樣精度為10 bit，工作在TDM模式下。ARM通過MCASP1接口采用AIC3104的DSP串行總線模式向其發(fā)送音頻數(shù)據(jù)，傳輸時(shí)序如圖6所示，AIC3104進(jìn)行D/A后輸出雙聲道語音信號。

圖6 MCASP1通訊時(shí)序

ARM通過外部數(shù)據(jù)總線控制DM8168的HDVPSS (高清視頻處理子系統(tǒng))，可以靈活方便的控制各種視頻輸出接口并完成字符疊加功能。HDVPSS包含顯示處理、字符疊加、視頻編碼、視頻DA、HDMI發(fā)射器功能模塊。DSP控制顯示處理單元使不同分辨率的輸入視頻進(jìn)行縮放，以滿足輸出視頻格式的分辨率，顯示處理單元可以同時(shí)對2路1 080p@60 Hz的高清視頻進(jìn)行縮放，因此，利用顯示處理單元強(qiáng)大的視頻縮放能力，可以實(shí)現(xiàn)不同的視頻輸出口顯示不同的視頻。

4.2 多畫面合成

多畫面合成是指將多路視頻合成在一個(gè)畫面上輸出顯示，常見的為4畫面、9畫面、16畫面合成，多畫面合成原理是將各輸入視頻按水平和垂直方向上進(jìn)行抽點(diǎn)，將圖像縮小到一定比例后重新排列各圖像組成單幅圖像進(jìn)行顯示。

DM8168包含一個(gè)SGX530 3D圖形引擎，調(diào)用視頻驅(qū)動控制ARM調(diào)用操作該圖像引擎，利用SGX530圖像縮放、并列窗口處理能力，將各輸入視頻依次進(jìn)行縮小、存放在窗口中，以此達(dá)到多畫面合成的目的。

4.3 視頻編解碼及存儲

按照圖4的視頻處理流程，視頻編解碼及存儲分為模擬視頻和數(shù)字網(wǎng)絡(luò)視頻。模擬視頻經(jīng)過視頻AD后進(jìn)行H.264編碼后存儲在本地硬盤，網(wǎng)絡(luò)視頻則從網(wǎng)絡(luò)接收后直接存儲在本地硬盤上。

在ARM的Linux開發(fā)環(huán)境中加載Encoders/Decoders and other helper chips視頻驅(qū)動程序，調(diào)用視頻驅(qū)動中的H.264encode()函數(shù)控制HDVICP2高清視頻圖像協(xié)處理器對模擬視頻 A/D采樣后的數(shù)字視頻進(jìn)行H.264壓縮編碼，壓縮編碼采用D1分辨率。加載以上視頻驅(qū)動后，調(diào)用H.264decode()函數(shù)可以將需要用于顯示或畫面合成的網(wǎng)絡(luò)視頻進(jìn)行H.264解碼。DM8168含有3個(gè)HDVICP2高清視頻圖像協(xié)處理器，每個(gè)圖像協(xié)處理器可以對1 080p@60 Hz的高清視頻進(jìn)行編碼或解碼，因此，視頻服務(wù)器支持同時(shí)對36路視頻進(jìn)行D1分辨率的編碼，或同時(shí)對7路1 080p@25 Hz的高清網(wǎng)絡(luò)視頻進(jìn)行H.264解碼。

在ARM的Linux開發(fā)環(huán)境中加載SATA Port Multiplier support和Platform AHCI SATA support驅(qū)動程序，調(diào)用文件操作函數(shù)在SATA硬盤中創(chuàng)建基于視頻通道和時(shí)間標(biāo)識的H.264文件名，將壓縮的視頻媒體流直接寫在文件中完成視頻存儲。

4.4 視頻查詢及回放

利用Linux文件系統(tǒng)函數(shù)，根據(jù)視頻文件名中的通道和時(shí)間標(biāo)識查找定位視頻文件，獲得文件的絕對路徑和完整文件名，打開文件獲得壓縮視頻流，調(diào)用H.264視頻解碼功能和視頻輸出顯示控制功能完成視頻回放。

4.5 外部通信接口控制

視頻服務(wù)器的外部通信接口包含串行通信接口、USB接口、以太網(wǎng)接口。通過加載各通信接口相應(yīng)的驅(qū)動程序，調(diào)用配置函數(shù)設(shè)置各通信接口的通信方式、通信速率、通信地址及通信時(shí)序等，實(shí)現(xiàn)視頻服務(wù)器與上位機(jī)或其他設(shè)備之間的通信。

4.6 人機(jī)交互軟件

ARM開發(fā)系統(tǒng)安裝的操作系統(tǒng)選擇為 ubuntu10.04LTS，desktop版本，進(jìn)入系統(tǒng)后安裝GCC標(biāo)準(zhǔn)的C、C++編譯環(huán)境，安裝交差編譯器cross后在bash文件中配置環(huán)境變量［6］。從TI官網(wǎng)下載并安裝arm-linuxgnueabi-dvs8168內(nèi)核包，配置好驅(qū)動后完成內(nèi)核模塊編譯，搭建完成開發(fā)人機(jī)交互軟件的交叉編譯開發(fā)環(huán)境。

要開發(fā)出靈活美觀的人機(jī)交互軟件，必須采用圖形界面的形式，由于視頻服務(wù)器的功能很多，圖形界面的開發(fā)頗為復(fù)雜，為了降低開發(fā)難度，采用Linux下的GUI來實(shí)現(xiàn)圖形界面的開發(fā)，本設(shè)計(jì)中采用的GUI為QT，開發(fā)出的人機(jī)交互軟件如圖7所示。

圖7 人機(jī)交互軟件效果圖(截圖)

5 測試結(jié)果及結(jié)論

本文采用的SGX530 3D作為多畫面合成引擎，得出的4畫面合成效果如圖8所示。圖像智能分析結(jié)果如圖9所示，對圖9a源圖像以高斯模型獲得的圖像背景如圖9b所示，以源圖像與背景圖像差得到的目標(biāo)圖像如圖9c所示，最終獲得的目標(biāo)軌跡如圖9d所示。

本文采用的視頻服務(wù)器通過DM8168內(nèi)部的C674X DSP實(shí)現(xiàn)圖像智能分析，通過ARM控制各協(xié)處理器和外圍功能單元完成了圖像壓縮、存儲、縮放、輸出等功能，實(shí)現(xiàn)了視頻服務(wù)器應(yīng)具備的高性能、多接口、多功能、大容量、靈活的人機(jī)交互的要求，滿足視頻監(jiān)控領(lǐng)域發(fā)展的需求。

圖8 四畫面合成效果圖(截圖)

［1］Texas Instruments.TMS320DM816x DaVinci technical referencemanual［EB/OL］.［2014-08-12］.http://www.ti.com.cn/cn/lit/ug/ sprugx8b/sprugx8b.pdf.

［2］Texas Instruments.TVP5158 four-channel NTSC/PAL video decoders datamanual［EB/OL］.［2014-08-15］.http://www.ti.com.cn/cn/ lit/ds/symlink/tvp5158.pdf.

［3］Texas Instruments.TLV320AIC3104 low-power-stereo audio codec for portable audio/telephony［EB/OL］.［2014-08-18］.http:// www.ti.com.cn/cn/lit/ds/symlink/tlv320aic3104.pdf.

［4］魏巍，李志慧，趙永華，等.基于智能相機(jī)的混合交通流檢測方法［J］.吉林大學(xué)學(xué)報(bào):工學(xué)版，2013，43(4):866-869.

圖9 圖像智能分析結(jié)果圖(截圖)

［5］鄭素貞，方向忠，王慈.數(shù)字視頻智能編輯算法研究［J］.電視技術(shù)，2010，34(6):16-18.

［6］何世曉，杜朝暉.Linux系統(tǒng)案列精解［M］.北京:清華大學(xué)出版社，2010.

Design of Video Server Based on DM 8168

CHENG Yongce，GAO Zhe，ZHANG Zhiping
(The Third Research Institute of China Electronics Technology Group Corporation，Beijing 100015，China)

Based on DM8168 hardware platform，the communication interface，audio interface and video interface of video server is extended by using abundant peripheral.Embedding gaussmodel to obtain the background，difference between current image and the background image is obtained as target，according to the target trajectory judgment target behavior，intelligent image analysis algorithm is achieved in DM8168 DSP.In order tomeet the video server for powerful and flexible operation of the human-computer interaction function，Linux operating system is embedded in ARM，the human-computer interaction software is developed on Linux by calling DM8168 driver to control the various functionalmodules to realize image compression，storage，playback and image synthesis，audio and video input and output，and other functions.

DM8168;DSP;ARM;Linux

TN87;TP23

A

?? 薇

2014-09-15

【本文獻(xiàn)信息】程勇策，高喆，張志萍.基于DM8168的視頻服務(wù)器設(shè)計(jì)［J］.電視技術(shù)，2014，38(23).