徐群磊,侯建萍
(商丘學院 計算機工程學院,河南 商丘 476000)
為了更好地實現(xiàn)信息傳遞與實時共享,應用多媒體網(wǎng)絡技術進行視頻會議,成為目前常用的流媒體信息共享模式[1]。視頻會議系統(tǒng),又稱會議電視系統(tǒng),是指兩個或兩個以上不同地方的個人或群體,通過傳輸線路及多媒體設備,將聲音、影像及文件資料互傳,實現(xiàn)即時且互動的溝通,以實現(xiàn)遠程會議的系統(tǒng)設備。視頻會議對視頻音效控制系統(tǒng)的要求較高,現(xiàn)有的控制系統(tǒng)在控制精度和控制效率等方面仍有待提高,因此,本文基于多傳感器融合技術設計新的智能控制系統(tǒng)[2]。為了使視頻會議在會議控制、音效等方面得到質(zhì)的提升,引入多傳感器融合技術,設計視頻音效智能控制系統(tǒng)。
為實現(xiàn)對視頻中的音效進行智能化控制,在引入多傳感器融合技術后,提出一種全新的控制系統(tǒng),其硬件基本結(jié)構(gòu)如圖1 所示。
按照圖1 所示的方式完成所有硬件的連接,將監(jiān)測主機與系統(tǒng)內(nèi)各個自動控制主機相連接。通過網(wǎng)絡通信的方式,對獲取到的視頻中的相關數(shù)據(jù)進行實時監(jiān)測,同時能夠?qū)崿F(xiàn)與不同場景中控制主機的數(shù)據(jù)交換,形成一個小型的控制集群結(jié)構(gòu)。在實際應用中,通過對系統(tǒng)權限的設定,實現(xiàn)對系統(tǒng)中各個控制設備的運行狀態(tài)調(diào)節(jié)。
圖1 視頻音效智能控制系統(tǒng)硬件結(jié)構(gòu)示意圖
針對本文控制系統(tǒng)中的音頻處理器進行選型,首先明確該處理器的主要應用目的是實現(xiàn)對視頻中音效的處理。為了確保處理精度,選用TMS320F28027FPTT 型號音頻處理器,該型號音頻處理器的基本性能描述如表1 所示。
表1 TMS320F28027FPTT 型號音頻處理器性能描述
本文選擇的TMS320F28027FPTT 型號音頻處理器主要與音效控制模塊相連接,利用該處理器對獲取到的音效控制指令進行識別,并將識別后的結(jié)果傳輸?shù)揭粜Э刂颇K當中,完成相應的指令動作[3]。該型號的音頻處理器可以有效調(diào)節(jié)輸入增益,更有利于輸入均衡。根據(jù)系統(tǒng)需要設置分頻,確定工作頻段,TMS320F28027FPTT 型號音頻處理器的最大頻率在60 MHz,因此將LPF 設置為60 MHz,以滿足實際系統(tǒng)運行需要。
基于數(shù)字調(diào)音控制臺的應用優(yōu)勢,本文選擇將型號為NFZY ESP880A 的數(shù)字調(diào)音控制臺應用到控制系統(tǒng)當中。該型號數(shù)字調(diào)音控制臺輸入為18路,輸出為10 路,可支持多種操作系統(tǒng)對其進行操控[4]。NFZY ESP880A 型號調(diào)音控制臺上集成了模擬調(diào)音臺、反饋抑制器以及均衡器等多種調(diào)音裝置,且其主體結(jié)構(gòu)上安裝了告警電容觸摸顯示屏,能夠方便控制系統(tǒng)的用戶完成各項操作[5]。
為了確??刂葡到y(tǒng)的控制指令設置具備更可靠依據(jù),需要對圖像、視頻、音頻等進行采集。通過獲取到的綜合信息,確定控制策略[6]。針對圖像的采集選用AT2L00XEGA0-DR 型號圖像傳感器;針對視頻的采集選用SUNPN 型號視頻傳感器;針對音頻的采集選用MP34DT05TR-A 型號音頻傳感器。其中SUNPN 型號視頻傳感器需要利用CCD 攝像頭采集視頻圖像信息,并通過其內(nèi)部的DSP 芯片實現(xiàn)對視頻每一幀圖像的處理和檢測。為了實現(xiàn)三種傳感器的同步運行,針對提取信息的數(shù)據(jù)層、特征層以及決策層進行處理。從多個傳感器獲取的信息中提取特征,并實現(xiàn)對不同特征的屬性判決,確定相互之間的關聯(lián)關系,對屬性進行融合,最后給出聯(lián)合判斷結(jié)果。通過三種傳感器的相互配合,實現(xiàn)對視頻文件后端高質(zhì)量的采集。
由于利用多種不同采集對象的傳感器對視頻音效的信息進行采集時,多種具備不同功能的傳感器所提供的信息存在極大差異,而這些區(qū)別較大的信息在融合時會造成控制系統(tǒng)無法實現(xiàn)對音效的有效控制,針對這一問題,在上述硬件條件基礎上,基于多傳感器融合技術,對各個傳感器獲取到的視頻音效進行數(shù)字信號處理。將傳輸速率在1.5 Mb·s-1以下的數(shù)字存儲和媒體用視頻以及相關音效進行編碼,針對寬帶音頻信號提供不同的壓縮比進行壓縮。將獲取到的音頻信號左聲道和右聲道以左環(huán)繞立體聲和右環(huán)繞立體聲代替,以此實現(xiàn)對視頻音效的數(shù)字信號處理。
在本文的控制系統(tǒng)當中,針對音效特質(zhì)按照檔次進行劃分,分別為低復雜性檔次、可分級取樣率檔次以及主要檔次。將增益控制設定在可分級取樣率檔次中,通過正交多項濾波處理,將輸入的視頻音效信號按照帶寬進行劃分,針對最低頻帶以外的信號進行增益,以此提升其在瞬時狀態(tài)下的信號質(zhì)量。利用濾波裝置將時間信號轉(zhuǎn)變?yōu)? 024 線MDCT 系數(shù),并利用預測模塊對主要檔次的預測誤差進行編碼處理。針對音效當中的自然音頻進行編碼,采用參數(shù)編碼的方式完成,將碼率在24~64 kb·s-1的音頻作為語言信號,將小于24 kb·s-1的信號利用預測編碼將其作為音頻信號。最后,根據(jù)音頻的幅度和波形響應,將完成增益處理的音效輸出,以此實現(xiàn)對視頻音效的智能控制。
為了驗證該系統(tǒng)在實際應用中的效果,選擇基于單一視覺傳感器的控制系統(tǒng)作為對照組,將本文提出的基于多傳感器融合技術的控制系統(tǒng)作為實驗組,開展如下對比實驗。
利用基于S3C2410 的流媒體服務器作為運行環(huán)境,搭建一個控制系統(tǒng)的運行環(huán)境。將話筒和具備USB 接口的攝像頭與該服務器連接,通過該服務器完成對視頻的獲取。將PC 端作為用戶端,測試兩種控制系統(tǒng)對視頻音效的控制效果。分別從控制效率和控制精度兩個方面對系統(tǒng)運行效果進行對比分析。首先從控制效率方面對比,將兩種控制系統(tǒng)對相同視頻文件當中的音頻獲取速度作為評價指標,在實際應用中,若系統(tǒng)能夠?qū)σ曨l當中的音頻進行快速采集,則能夠為后續(xù)音頻識別和音效調(diào)節(jié)提供更有利的條件,從而促進控制效率的提升。計算得出兩種控制系統(tǒng)的音頻獲取速度,如表2 所示。
表2 實驗組與對照組控制系統(tǒng)的音頻獲取速度
從表2 的數(shù)據(jù)可以看出,在對5 個視頻文件中的音頻獲取時,實驗組的音頻獲取速度均在30 f·s-1左右,而對照組音頻獲取速度最高僅為16 f·s-1。因此,從這一實驗結(jié)果可以看出,實驗組的音頻獲取速度更快,控制效率更高。
其次,從控制精度方面對比,將兩種控制系統(tǒng)對相同視頻文件中的音效控制分貝作為指標,分貝的計算公式為:
式中:dB表示為音效的控制分貝,vref表示基準值,v表示控制系統(tǒng)的音效控制強弱水平參數(shù)。
根據(jù)上述公式,對比兩種控制系統(tǒng)的音效控制情況,結(jié)果表3 所示。
表3 實驗組與對照組視頻音效控制精度對比
從表3 記錄的數(shù)據(jù)可以看出,本文設計的基于多傳感器融合技術的控制系統(tǒng)無論是在控制效率還是在控制精度上都明顯優(yōu)于傳統(tǒng)控制系統(tǒng),在實際應用中可充分滿足視頻音效調(diào)節(jié)和控制需要。
本文提出了一種全新的視頻音效智能控制系統(tǒng),并通過對比實驗的方式證明該系統(tǒng)的應用優(yōu)勢。本文提出的控制系統(tǒng)可應用到當前各企業(yè)或高校的視頻會議當中,為用戶帶來更好的會議體驗,并降低會議現(xiàn)場周圍嘈雜性對會議質(zhì)量的影響程度。在后續(xù)研究當中,將針對系統(tǒng)在實際應用中的自適應性進行進一步探究,從而使該控制系統(tǒng)能夠應用到更多領域,促進多傳感器融合技術的全面發(fā)展。