周偉鋒,熊金凱,李 榕,杜歆文
(蘇州廣播電視總臺技術(shù)中心,江蘇 蘇州 215006)
視音頻采集的方式有很多,從傳統(tǒng)的磁帶采集,到現(xiàn)在的藍光錄制、P2卡采集,還有硬盤錄像機的應用。基于硬盤的采集由于其低廉的成本、方便的文件傳輸方式有著不可替代的作用。但是,采集文件龐大的體積、文件格式的兼容性、較長的轉(zhuǎn)碼時間使人們對其望而卻步,制約了其發(fā)展。蘇州廣播電視總臺通過Decklink系列視頻采集卡以及MainConcept編解碼包的研究,基于DirectShow架構(gòu),開發(fā)了視音頻硬盤采集并實時壓縮系統(tǒng),克服了硬盤錄制的種種缺點。
對于采集PC的配置無過高要求,可以使用SATA硬盤或者更高速度的SAS盤,SATA硬盤的傳輸速度能夠達到60 Mbyte/s,相對于50 Mbit/s的視頻讀寫速度,帶寬完全夠用,因此在此方面不需特別考慮。PC至少有一個PCIe擴展槽,用來插Decklink采集卡作為信號輸入和采集使用。Decklink采集卡為全數(shù)字接口,因此只能輸入數(shù)字SDI信號。
MainConcept公司是全球著名的視音頻編碼器解決方案,其視音頻編解碼器具有良好的兼容性和強勁的性能,更關(guān)鍵的是其支持視音頻的實時編解碼,本文主要采用了MainConcept編解碼器MPEG Video Encoder,Layer II Audio Encoder,MainConcept Multiplexer,DV Pro Video Encoder等。
軟件采用DirectShow架構(gòu),如圖1所示,該架構(gòu)分為虛線下方Ring 0特權(quán)級別的硬件設(shè)備,以及虛線上Ring 3特權(quán)級別的應用層,應用層中的矩形框內(nèi)代表DirectShow系統(tǒng)。該系統(tǒng)中,F(xiàn)ilter作為一個個功能模塊參與數(shù)據(jù)處理,同時Filter Graph管理整個數(shù)據(jù)流的處理過程,各個Filter在Filter Graph中按一定的順序連接成一條流水線協(xié)同工作。按照功能來分,F(xiàn)ilter大致分為3類:Source Filters,Transform Filters,Rendering Filters。Source Filters主要負責獲取數(shù)據(jù),數(shù)據(jù)源可以是文件,也可以是采集卡、數(shù)字攝影機等,然后將數(shù)據(jù)傳輸給Transform Filters;Transform Filters主要負責數(shù)據(jù)的格式轉(zhuǎn)換,例如數(shù)據(jù)分離/合成、解碼/編碼等;Rendering Filters主要負責數(shù)據(jù)的最終去向,將數(shù)據(jù)送給顯卡、聲卡進行多媒體的演示,或者輸出到文件進行存儲。
圖1 DirectShow基本架構(gòu)
如圖2和圖3所示,視音頻采集、壓縮、存儲的整個流程可以看做一個Filter Graph。Decklink視頻卡安裝完成后,會在系統(tǒng)中注冊一個視頻輸入設(shè)備Decklink Video Capture和一個音頻輸入設(shè)備Decklink Audio Capture,兩者為該Filter Graph的Source Filters,負責獲得數(shù)據(jù),然后向下傳輸,在Decklink Video Captur的Capture Pin后接一個Smart Tee,對采集進來的視頻數(shù)據(jù)進行分流,一部分經(jīng)過AVI Decompressor到達Video Render,對視頻進行預覽,另一部分輸送到下一步進行編碼。該系統(tǒng)分別實現(xiàn)了MPEG-2的編碼和DVCPro的編碼(分別對應圖2和圖3)。相應的,對于MPEG-2編碼格式,音頻部分同時要經(jīng)過Layer II Audio Encoder,而對于DVCPro編碼,音頻部分不需要經(jīng)過編碼,直接輸入Multiplexer對視音頻進行同步混合,最后在File Write將文件寫入硬盤,在文件保存Filter方面,DVCPro格式用的是系統(tǒng)自帶的File Write,而MPEG-2格式用的是MainConcept MPEG Sink,理論上對于MPEG-2文件,其實兩個都能用,但對于DV格式,只能用File Write。
圖2 采集、壓縮、存儲流程(以DV25/50方式壓縮)
圖3 采集、壓縮、存儲流程(以MPEG-2方式壓縮)
預覽視頻流到達Video Renderer后需要將它在一個窗口顯示出來。DirectShow提供了Video Renderer過濾器來顯示視頻,該過濾器可用于所有的支持DirectX的平臺,它對平臺沒有其他特殊的要求。也可以是GDI來顯示視頻。它是在Windows XP之前操作系統(tǒng)的默認視頻顯示過濾器;Video Mixing Renderer Filter 7(VMR-7)可用于Windows XP操作系統(tǒng),并且是該系統(tǒng)下的默認視頻顯示過濾器,與老的視頻顯示過濾器相比,它具有一些更強大的性能,包括采用插件模式來控制DirectShow顯示;Video Mixing Renderer Filter 9(VMR-9)是一個更新的視頻混合顯示過濾器,它采用了Direct3D來顯示,可用于所有的支持DirectX的平臺,它不是默認的顯示過濾器,因為與其他的顯示過濾器相比,對系統(tǒng)要求更高。一般來說,在視頻顯示應用上,VMR-9是首選,因為它使用了最新的圖像API,并且提供了最好的性能。DirectShow視頻顯示可以選擇在窗體模式或者非窗體模式下進行。在窗體模式下,視頻將創(chuàng)建一個自己的窗體來顯示。在非窗體模式下,視頻可以在程序的一個窗口上顯示,而不讓視頻自己創(chuàng)建窗體來顯示。Video Renderer過濾器只支持窗體模式,VMR-7和VMR-9支持這兩種模式,默認狀態(tài)是窗體模式。在開始播放前,在過濾器圖表管理器中去查找IVideoWindow接口:
IVideoWindow*pVidWin=NULL;
pGraph->QueryInterface(IID_IVideoWindow,(void**)&g_pVid-Win);//調(diào)用IVideoWindow::put_Owner方法去處理你應用程序的窗體。該方法提供了一個OAHWND類型的變量,所以要把句柄轉(zhuǎn)換為該類型
pVidWin- >put_Owner((OAHWND)hwnd);//調(diào)用 IVideoWindow::Put_WindowStyle來改變視頻窗體的類型
pVidWin->put_WindowStyle(WS_CHILD|WS_CLIPSIBLINGS);//WS_CHILD標志設(shè)置視頻窗體為一個子窗體,WS_CLIPSIBLINGS標志可以防止視頻窗體在另一個子窗體的客戶區(qū)內(nèi)顯示視頻
RECT grc;
GetClientRect(hwnd,&grc);
pVidWin- > SetWindowPosition(0,0,grc.right,grc.bottom);//調(diào)用IVideoWindow::SetWindowPosition方法可以視頻窗口的相對于你應用程序的客戶區(qū)的位置。該方法的參數(shù)帶了一個RECT參數(shù),用它去指定視頻窗口的位置
videoWindow->put_Visible(OATRUE);
在大多數(shù)商業(yè)軟件中,并不會將Filter的屬性頁直接顯示給用戶。因為屬性頁的界面過于簡單(有時候還可能是很隨意的),它們主要是用作Filter接口調(diào)試。在此程序中,由于涉及參數(shù)較多,并且面向使用者較為專業(yè),因此大多說Filter的屬性頁直接暴露給用戶,以進行詳細、全方面的設(shè)置及調(diào)試。
本文使用OleCreatePropertyFrame函數(shù),在程序中直接顯示Filter屬性頁。在某些地方,也可編寫屬性窗口對Filter進行設(shè)置,如對DV Pro Video Encoder的設(shè)置中,由于Filter提供的屬性頁過于簡陋,該處選擇通過API自行設(shè)計編寫設(shè)置對話框,更適合實際使用需求。
當關(guān)閉窗口時,當前設(shè)置參數(shù)會自動保存到當前目錄下的config.ini文件中,下次打開程序時自動調(diào)用,恢復關(guān)閉前狀態(tài),減少了選擇輸入設(shè)備、文件格式等操作,又不失靈活性。
在某些時候并不需要將視音頻復合同步成一個文件,而是需要分別保存視音頻文件,該程序提供視音頻分離選擇,在Filter Graph中,將最后的Multiplexer去掉,對視頻流和音頻流分別調(diào)用File Write以保存為兩個文件。
另外需要注意的是,對于MPEG-2的壓縮和DVCPro的壓縮,Multiplexer的選擇是不一樣的,MPEG-2的視音頻流要通過MainConcept Multiplexer進行復合,而DVCPro的視音頻流使用系統(tǒng)自帶的AVI Mux即可。
在MPEG-2系統(tǒng)中,根據(jù)傳輸媒體的質(zhì)量不同,MPEG-2中定義了兩種復合信息流:傳送流(Transport Stream,TS)和節(jié)目流(Program Stream,PS)。PS包與 TS包結(jié)構(gòu)上的差異導致了它們對傳輸誤碼具有不同的抵抗能力,因而應用的環(huán)境也有所不同。TS碼流具有較強的抵抗傳輸誤碼的能力,因此目前在傳輸媒體中進行傳輸?shù)腗PEG-2碼流基本上都采用了TS碼流。但是對節(jié)目制作環(huán)境,通常采用PS流。在本文中要注意的是,Multiplexer和File Write的流類型要一致。
如果用Decklink視頻卡采集DV格式素材,還須用到Decklink PAL Field Swap這個Filter,對視頻場序進行調(diào)整,否則采集的視頻場序是錯的。但是對于AJA和Bluefish444的視頻卡,不需要對場序進行調(diào)整。
測試用機采用Windows XP Professional操作系統(tǒng),AMD Athlon 3800+的CPU,內(nèi)存為2 Gbyte,可以說是完全低于主流配置。但是測試下來,不管是MPEG-2還是DVCPro的壓縮格式,CPU使用率基本保持在40%左右,后者甚至略低一些(見圖4和圖5)。操作完全沒有遲滯感。所以為達到便攜性,一般筆記本式計算機完全可以達到要求,只是對于筆記本Decklink卡的安裝稍顯麻煩,因此建議對臺式機進行改裝,以滿足便攜性的要求。
圖4 以MPEG-2方式壓縮性能分析(截圖)
圖5 以DV25方式壓縮性能分析(截圖)
本文采用DirectShow平臺,利用C++進行程序開發(fā)設(shè)計,完成了一套視音頻硬盤采集壓縮系統(tǒng)。對該系統(tǒng)的硬件平臺、軟件環(huán)境進行了具體的描述,同時針對開發(fā)過程中遇到的重點和難點進行了分析和總結(jié)。最后,對該系統(tǒng)的性能進行了評測分析。該系統(tǒng)的架構(gòu)簡單,所需硬件、軟件成本低,硬件只需一臺普通PC和采集卡,軟件方面需購買部分編解碼包即可。可靈活應用于轉(zhuǎn)播車、演播室等多種場合,可以取代Premiere等非編軟件,避免只用采集功能而安裝整個非編軟件這種“殺雞用牛刀”的情況,同時對視音頻文件進行了實時壓縮,節(jié)約存儲空間和后期處理的時間。