閆旭剛，李博

（中北大學(xué) 儀器與電子學(xué)院，山西 太原 030051）

0 引言

隨著大數(shù)據(jù)時(shí)代的到來(lái)，人們對(duì)音視頻信息的需求越來(lái)越大，音視頻處理技術(shù)的研究將需持續(xù)發(fā)展，其中高清音視頻的同步技術(shù)研究一直是業(yè)內(nèi)的主流話題。該系統(tǒng)設(shè)計(jì)了以DM6467T為核心的硬件電路為平臺(tái)，利用H.264/AVC量化后的DCT系數(shù)奇偶性嵌入音頻信息后進(jìn)行同步壓縮，先對(duì)視頻文件進(jìn)行幀內(nèi)預(yù)測(cè)、運(yùn)動(dòng)估計(jì)、DCT變換、量化，之后利用DCT系數(shù)的奇偶性嵌入通過(guò)AIC32芯片處理后的二進(jìn)制音頻比特?cái)?shù)，嵌入之后通過(guò)重排序、熵編碼得到音視頻混合文件。壓縮完成之后的音視頻混合文件經(jīng)DM6467T板卡中的以太網(wǎng)口傳輸至PC機(jī)，在重排序之后分出壓縮后的音頻文件，同步采集同步壓縮同步傳輸，解決音視頻在壓縮傳輸過(guò)程中的數(shù)據(jù)延時(shí)丟失情況，故而實(shí)現(xiàn)同步播放。

該系統(tǒng)是在DSP+ARM雙核芯片DM6467T為核心的硬件電路上實(shí)現(xiàn)的[1]，視頻采集使用的是HDMI攝像頭，音頻采集使用的是3.5 mm麥克風(fēng)，DSP芯片完成壓縮工作，ARM芯片完成外圍電路工作[2]。軟件設(shè)計(jì)選擇更為方便的Windows操作系統(tǒng)，在CCS 3.3軟件中使用C語(yǔ)言編寫(xiě)完成。系統(tǒng)物理結(jié)構(gòu)如圖1所示。

圖1 系統(tǒng)圖Fig.1 Diagram of system

1 系統(tǒng)設(shè)計(jì)實(shí)現(xiàn)

本文系統(tǒng)選用HDMI高清攝像頭進(jìn)行視頻采集，使用3.5 mm插頭的麥克風(fēng)進(jìn)行音頻采集，采集到的信息通過(guò)以TMS320DM6467T為主處理器的DSP+ARM雙核開(kāi)發(fā)板進(jìn)行音視頻同步壓縮[1]，壓縮后的文件通過(guò)DM6467T中的以太網(wǎng)口進(jìn)行網(wǎng)絡(luò)傳輸至PC機(jī)進(jìn)行觀看。

1.1 硬件電路

硬件電路采用DSP與ARM相結(jié)合的方式來(lái)實(shí)現(xiàn)，系統(tǒng)的核心處理單元是以TMS320DM6467T作為主處理器[3]，實(shí)現(xiàn)視頻的多路H.264/AVC的編碼與解碼。DM6467T有2個(gè)獨(dú)立的VICP視頻編碼協(xié)議處理單元，能很大程度上提高編碼實(shí)現(xiàn)的效率，使之能適應(yīng)高清圖像或多路標(biāo)清圖像的處理。其主要由DM6467T處理器、DDR2的存儲(chǔ)器、NAND FLASH存儲(chǔ)器組成。其中平臺(tái)的存儲(chǔ)器有 32K×8 bits（AT25256A）的 SPI串行FLASH，128M×8 bits的NAND的FLASH和2片64M×16 bits的DDR2；外設(shè)接口有5個(gè)視頻輸入、4個(gè)視頻輸出、一路雙聲音音頻的輸入與輸出及一通路S/PDIF光口、具有10M/100M/1 000M自適應(yīng)功能的RJ45對(duì)外網(wǎng)絡(luò)接口、可接入硬盤(pán)外設(shè)的SATA接口、USB 2.0接口、UART接口，完全可滿足該系統(tǒng)的設(shè)計(jì)需求[2]。

故本文系統(tǒng)決定采用該板卡來(lái)設(shè)計(jì)，用具有VLIW的DSP核負(fù)責(zé)音視頻壓縮算法的實(shí)現(xiàn)[2]。ARM核則負(fù)責(zé)采集傳輸轉(zhuǎn)換等外圍設(shè)備的控制以及系統(tǒng)芯片的配置[1]。這樣的設(shè)計(jì)使得DSP核占用減少，能夠更大地提高壓縮率。該系統(tǒng)的硬件實(shí)現(xiàn)如圖2所示，高清HDMI攝像頭和SII9125解碼驅(qū)動(dòng)共同完成采集視頻工作，麥克風(fēng)和AIC32芯片完成音頻采集工作，采集后的音視頻根據(jù)現(xiàn)下流行的H.264/AVC壓縮編碼進(jìn)行DCT奇偶性同步壓縮[4]。壓縮后的視頻通過(guò)以太網(wǎng)接口進(jìn)行網(wǎng)絡(luò)輸出至PC機(jī)進(jìn)行解碼觀看，實(shí)現(xiàn)在高清顯示器上高質(zhì)顯示視頻的工作。

1.2 軟件系統(tǒng)設(shè)計(jì)

由于Windows操作系統(tǒng)具有更好的兼容性、可操作性與移植性，所以選用Windows操作系統(tǒng)作為軟件系統(tǒng)的開(kāi)發(fā)平臺(tái)，在CCS 3.3中進(jìn)行軟件編程[1]。軟件設(shè)計(jì)實(shí)現(xiàn)框圖如圖3所示。

圖2 硬件系統(tǒng)結(jié)構(gòu)圖Fig.2 Structure diagram of hardware system

圖3 軟件框圖Fig.3 Block diagram of software

1.2.1 音視頻采集

對(duì)音頻和視頻進(jìn)行分開(kāi)采集。音頻信息由Takstar的PCM-5560麥克風(fēng)進(jìn)行采集。采集的音頻格式為WMA。該麥克風(fēng)靈敏度可達(dá)-42 dB±3 dB；等效噪聲級(jí)為小于等于 22 dB（IEC581-5）；聲壓級(jí)為 128 dB（THD≤1%at1 kHz）；頻率響應(yīng)范圍 30 Hz～20 kHz；輸出電抗為350（1+30%）Ω；負(fù)載阻抗＞10 000 Ω；使用電壓[5]為1.5 V。麥克風(fēng)采集音頻模擬信號(hào)通過(guò)AIC32芯片及周邊電路轉(zhuǎn)成數(shù)字二進(jìn)制比特位信號(hào)，以IIS格式傳給DM646T進(jìn)入緩存區(qū)等待與視頻文件一起壓縮處理后經(jīng)網(wǎng)絡(luò)傳輸至PC機(jī)進(jìn)行播放[5]。

由于HDMI高清攝像頭小巧便攜、使用方便，輸出分辨率極高色彩還原度逼真能達(dá)到更好的成像效果，故選用HDMI高清攝像頭及其常用的SII9152解碼驅(qū)動(dòng)來(lái)共同完成視頻采集工作。采集工作中由HDMI高清攝像頭采集的BT.1120格式的視頻數(shù)據(jù)經(jīng)SII9152驅(qū)動(dòng)傳輸至DM6467T的VPIF接口[2]，從而進(jìn)入緩存區(qū)等待進(jìn)行音視頻同步壓縮處理。工作流程如圖4所示。

1.2.2 音視頻同步壓縮

音視頻壓縮編碼選用當(dāng)下最流行的H.264/AVC進(jìn)行編碼。H.264/AVC是2003年經(jīng)聯(lián)合視頻組開(kāi)發(fā)的一種新的視頻標(biāo)準(zhǔn)[6]，是當(dāng)下最流行視頻壓縮標(biāo)準(zhǔn)，主要用于視頻實(shí)時(shí)傳輸。由于H.264/AVC有更好的網(wǎng)絡(luò)適配性和更大的視頻壓縮率，受到廣大的應(yīng)用和視頻實(shí)時(shí)通信等各應(yīng)用領(lǐng)域的共同認(rèn)可，并隨之發(fā)展成為最主要的視頻壓縮標(biāo)準(zhǔn)[6]。H.264/AVC編碼流程主要包括5個(gè)部分:幀間和幀內(nèi)預(yù)測(cè)、變換和反變換、量化和反量化、環(huán)路濾波、熵編碼[7]。該系統(tǒng)在H.264/AVC視頻壓縮編碼的DCT變換過(guò)程中加入音頻信號(hào)進(jìn)行同步壓縮編碼[8]，將音頻序列看作一個(gè)二進(jìn)制比特流與DCT系數(shù)中微小改變對(duì)視頻質(zhì)量影響不大的中頻部分建立某種聯(lián)系，如DCT系數(shù)為偶數(shù)則傳輸音頻比特位的0；為奇數(shù)則傳輸音頻比特位為1。若系數(shù)不滿足該關(guān)系，則強(qiáng)制修改系數(shù)使之滿足，嵌入算法公式為[4]:

圖5為音視頻同步壓縮流程。

圖4 視頻采集流程Fig.4 Flow chart of video acquisition

圖5 音視頻同步壓縮流程Fig.5 Flow chart of audio-video synchronous compression

音視頻同步編碼流程為:首先，是把視頻系列的每一幀進(jìn)行分塊[9]，得到子塊；然后，基于這些子塊進(jìn)行預(yù)測(cè)編碼，I幀和P幀分開(kāi)編碼[4]，函數(shù)H264 encode-Frame（）完成視頻編碼；由函數(shù) H264 encodeHeade（）對(duì)動(dòng)態(tài)的參數(shù)進(jìn)行設(shè)置，包括亮度色度等，通過(guò)fseek（）和fread（）將原始待嵌入的音頻流中的每個(gè)字節(jié)讀取出來(lái)，通過(guò)奇偶性嵌入量化后的DCT系數(shù)level中，得到含有音視頻信息的DCT系數(shù)；最后將得到的DCT系數(shù)經(jīng)過(guò)重排序和熵編碼得到音視頻混合編碼文件[8]。

1.2.3 實(shí)時(shí)網(wǎng)絡(luò)傳輸

編解碼完成之后的音視頻文件通過(guò)DM6467T上的以太網(wǎng)接口根據(jù)RTP協(xié)議傳輸至PC機(jī)上進(jìn)行實(shí)時(shí)觀看[5]。網(wǎng)絡(luò)傳輸之前，先通過(guò)emac net init（）函數(shù)進(jìn)行以太網(wǎng)的初始化，運(yùn)用net phy getReg（）函數(shù)讀取PHY芯片的寄存器的值[2]，同時(shí)利用net_phy_seReg（）函數(shù)完成對(duì) PHY 的設(shè)置；然后由 UDPCtrl_init（）、bind（）和socket（）函數(shù)完成數(shù)據(jù)的打包處理。ARM核在接收到編碼完成的數(shù)據(jù)后，先創(chuàng)建時(shí)間戳函數(shù)TSC（），對(duì)時(shí)間戳的文件UDPCtrl init（）、bind（）和socket（）函數(shù)完成數(shù)據(jù)打包處理；最后利用RTP sendH264（）函數(shù)將編碼完成的數(shù)據(jù)通過(guò)網(wǎng)絡(luò)傳輸至目的IP，傳輸至目標(biāo)IP的音視頻混合文件可通過(guò)式（2）解析出音頻信息，在選定PC機(jī)上通過(guò)上位機(jī)進(jìn)行觀看[9]，具體流程如圖6所示。

圖6 網(wǎng)絡(luò)傳輸流程Fig.6 Flow chart of network transmission

2 測(cè)試結(jié)果

硬件平臺(tái)搭建完成之后，啟動(dòng)板卡，在Windows下打開(kāi)CCS 3.3，通過(guò)仿真器將軟件程序下載至板卡中，運(yùn)行程序后可查看未壓縮的音視頻文件，通過(guò)與壓縮后傳輸至PC機(jī)的音視頻文件對(duì)比，發(fā)現(xiàn)壓縮后的音視頻質(zhì)量良好，傳輸實(shí)時(shí)性良好。至于壓縮比的計(jì)算，視頻采集時(shí)間為3 min，輸入格式為PAL，幀率為25 f/s，分辨率為720P（1 280×720）。視頻數(shù)據(jù)率=水平像素×垂直像素×3（3基色）×一種顏色深度（bit）×幀率，碼率（KBPS）=[文件大?。╙字節(jié)）×8×s-1×1000。經(jīng)計(jì)算表明視頻壓縮比普遍高達(dá)到為160。如圖7所示為壓縮前后的圖像質(zhì)量對(duì)比。圖8為壓縮前后音頻的時(shí)域?yàn)V波波形對(duì)比，可知壓縮前后音視頻質(zhì)量保存完好[10]。

圖7 壓縮前后視頻圖像對(duì)比Fig.7 Comparison for video images before and after compression

圖8 壓縮前后音頻時(shí)域波形對(duì)比Fig.8 Comparison for time domain waveforms of audios before and after compression

3 結(jié)論

本文所提系統(tǒng)經(jīng)測(cè)試結(jié)果表明，基于DM6467T實(shí)現(xiàn)了H.264/AVC音視頻同步壓縮傳輸，得到了以下結(jié)論:壓縮傳輸后視頻清晰度高，壓縮完之后的視頻仍可達(dá)到720P分辨率；音頻失真率小，壓縮前后音頻時(shí)域波形變化很??；壓縮比高，視頻壓縮均可達(dá)到150以上，音頻壓縮比比傳統(tǒng)音視頻單獨(dú)壓縮提高7.5%；傳輸實(shí)時(shí)性好，雖有些延遲但不影響觀看；采用DCT系數(shù)奇偶性同步音視頻壓縮算法省去了單獨(dú)對(duì)音頻進(jìn)行編解碼的部分，節(jié)約了硬件和網(wǎng)絡(luò)資源，提高了編碼效率；選用對(duì)視頻質(zhì)量影響不大的DCT系數(shù)中頻部位，壓縮后，既加大了音視頻壓縮比又降低了對(duì)音頻質(zhì)量的損害，當(dāng)DCT系數(shù)為-1時(shí)，采用-1處理，避免在音頻嵌入式將非零系數(shù)修改為0，或?qū)?系數(shù)改為非0，進(jìn)一步降低對(duì)視頻圖像的影響[3]；音視頻同步采集、同步壓縮、同步傳輸，避免在分開(kāi)壓縮、分開(kāi)傳輸過(guò)程中，因?yàn)樾诺朗茏鑼?dǎo)致數(shù)據(jù)延遲、丟失而造成的音視頻不同步現(xiàn)象，采用基于DCT系數(shù)奇偶性的音視頻同步壓縮傳輸更好地實(shí)現(xiàn)了音視頻同步播放。