祝朝政，張毅偉，程禹嘉，嚴(yán)錫君

?

基于Mjpg-streamer的跨平臺無線視頻傳輸系統(tǒng)

祝朝政，張毅偉，程禹嘉，嚴(yán)錫君

摘 要：為了解決基于Mjpg-streamer的遠(yuǎn)程視頻系統(tǒng)只能通過特定瀏覽器查看與，可移植性差的問題，開發(fā)了采用QT框架的視頻解碼客戶端，實現(xiàn)了跨平臺的實時觀測，改變了原系統(tǒng)對于瀏覽器的依賴性，提高了Mjpg-streamer遠(yuǎn)程視頻系統(tǒng)的可移植性,使得系統(tǒng)的適用范圍及使用方式更加寬泛及大眾化。

關(guān)鍵詞：視頻解碼；QT；跨平臺；Mjpg-streamer

0 引言

近年來，基于Mjpg-streamer的遠(yuǎn)程視頻系統(tǒng)隨著嵌入式技術(shù)，多媒體技術(shù)，計算機網(wǎng)絡(luò)安全技術(shù)的快速發(fā)展也在不斷的更新與發(fā)展。但在某些特定的需求下，這個工程并不能達(dá)到我們的要求，隨著技術(shù)的不斷進(jìn)步，人們對簡單、快捷、方便的追求日益提高，這就對項目的可移植性要求越來越高。

本文提出了一種基于ARM11+linux嵌入式的跨平臺的遠(yuǎn)程視頻系統(tǒng)，鑒于QT框架強大的移植性，研究人員決定為基于Mjpeg-streamer的遠(yuǎn)程視頻系統(tǒng)開發(fā)視頻解碼客戶端并采用QT開發(fā)框架，實現(xiàn)跨平臺的實時觀測，改變了對原系統(tǒng)依賴于瀏覽器的狹隘性，以便于在各個系統(tǒng)下更簡便的使用視頻監(jiān)控系統(tǒng)。

1 系統(tǒng)總體設(shè)計

整個無線視頻傳輸系統(tǒng)包括客戶端和服務(wù)器端兩個部分。服務(wù)器端（嵌入式Linux系統(tǒng)平臺上基于Mjpg-streamer設(shè)計的服務(wù)器軟件）實現(xiàn)視頻數(shù)據(jù)的采集、處理以及發(fā)送；客戶端（基于Qt開發(fā)框架的視頻解碼程序）負(fù)責(zé)數(shù)據(jù)的接受以及顯示。首先服務(wù)器端通過攝像頭采集視頻數(shù)據(jù)，進(jìn)行壓縮處理后通過無線wifi將數(shù)據(jù)發(fā)送到客戶端，客戶端對數(shù)據(jù)進(jìn)行實時解碼并顯示視頻畫面。

該系統(tǒng)以S3C6410處理器為核心，外圍器件有Flash 、SDRAM、以太網(wǎng)卡DM9000以及USB接口的S608攝像頭，在Linux環(huán)境下對攝像頭采集到的原始圖像幀進(jìn)行處理以及壓縮，通過網(wǎng)絡(luò)協(xié)議傳輸?shù)缴衔粰C進(jìn)行顯示，硬件平臺結(jié)構(gòu)如圖1所示：

圖1　系統(tǒng)硬件平臺結(jié)構(gòu)圖

2 系統(tǒng)軟件設(shè)計

系統(tǒng)采用C/S架構(gòu)，服務(wù)器端采用嵌入式Linux系統(tǒng)作為軟件平臺，在該平臺上基于Mjpg-streamer設(shè)計服務(wù)器軟件?？蛻舳塑浖腔赒t開發(fā)框架的視頻解碼程序?？傮w工作流程是由USB攝像頭采集視頻數(shù)據(jù)，服務(wù)器端通過無線wifi將數(shù)據(jù)發(fā)送到其他平臺的客戶端上進(jìn)行顯示，同時服務(wù)器端采用了多線程機制，實現(xiàn)了多個客戶端可同時顯示視頻畫面。

2.1構(gòu)建ARM+Linux嵌入式平臺

在系統(tǒng)硬件平臺上構(gòu)建嵌入式Linux系統(tǒng)，需要引導(dǎo)程序BootLoader和Linux源碼，本系統(tǒng)一直BootLoader源碼，然后用MiniUSB接口將其燒寫到Flash中，從Flash中啟動，引導(dǎo)在PC機上交叉編譯后的Linux鏡像及根文件系統(tǒng)，之后啟動Linux系統(tǒng)[1]。

1）編譯NAND啟動方式的uboot.bin

本系統(tǒng)的BootLoader采用開源的uboot軟件，首先解壓源碼到虛擬機，然后進(jìn)入源碼目錄執(zhí)行編譯nand flash的啟動鏡像文件的命令，生成uboot.bin即為啟動文件。

2）編譯Linux2.6.28內(nèi)核鏡像文件

Kernel文件采用linux-2.6.28，首先解壓內(nèi)核源碼到虛擬機，然后，進(jìn)入源碼目錄執(zhí)行make menuconfig命令，按系統(tǒng)需求配置裁剪內(nèi)核，最后，執(zhí)行make命令生成zImage即為Linux內(nèi)核文件。

3）使用BusyBox生成基本根文件系統(tǒng)

本系統(tǒng)使用BusyBox-1.13.4生成根文件系統(tǒng)，首先，解壓內(nèi)核源碼到虛擬機，然后進(jìn)入源碼目錄執(zhí)行make menuconfig命令，按系統(tǒng)需求配置BusyBox，執(zhí)行make；make install會得到相應(yīng)的bin，linuxrc，sbin目錄文件，基于以上文件建立自己的根文件系統(tǒng)，最后通過mkyaffs2image工具生成根文件系統(tǒng)的鏡像文件[2]。

4）驅(qū)動的配置，將所有USB攝像頭驅(qū)動編譯進(jìn)內(nèi)核。

# make menuconfig

Device Drivers

Multimedia support

[*]Video capture adapters ---＞

[*] V4L USB devices ---＞

將上面兩個配置選項下的子選項全部選上，這樣本系統(tǒng)基本上可以支持市面上大多數(shù)的攝像頭，而不僅僅局限于采用OV511,ZC03控制器的攝像頭了。

2.2視頻服務(wù)器軟件的設(shè)計

Mjpg-streamer是一款免費的視頻流服務(wù)器軟件，采用的是V4L2視頻設(shè)備開發(fā)框架，它能從攝像頭采集圖像以JPEG格式通過TCP/IP網(wǎng)絡(luò)協(xié)議傳輸?shù)缴衔粰C進(jìn)行顯示。

Mjpg-streamer移植

由于開發(fā)板采用的是ARM11架構(gòu)的S3C6410處理器，所以在進(jìn)行交叉編譯的候需要將Mjpg-streamer源碼目錄中，所有Makefile文件的CC=gcc改成CC=arm-linux-gcc,然后進(jìn)行編譯，生成input_uvc.so、input_control.so、output_http.so、output_file.so組件。

服務(wù)器軟件工作流程

首先是初始化，包括輸入初始化和輸出初始化。輸入初始化，主要是調(diào)用V4L2對攝像頭初始化，包括捕獲視頻尺寸等設(shè)置。輸出初始化，主要是根據(jù)啟動參數(shù)配置輸出，比如主頁文件的目錄，使用的端口號等。接下來運行輸入和輸出函數(shù)，二者都會創(chuàng)建線程，并且會將線程從進(jìn)程中獨立出來。輸入線程會創(chuàng)建抓圖線程cam_thread。這個線程就是輸入線程的主體，它是一個循環(huán)，只要用戶沒有按下Ctrl+C循環(huán)就會永遠(yuǎn)繼續(xù)下去。抓圖函數(shù)uvcGrab以阻塞方式等待圖像數(shù)據(jù)，當(dāng)有一幀數(shù)據(jù)到達(dá)后先處理為JPEG文件，對于YUYV格式的圖像數(shù)據(jù)先要轉(zhuǎn)換成RGB格式，再調(diào)用libjpeg庫壓縮為JPEG文件，對于MJPEG格式的輸入需要插入Huffman數(shù)據(jù)表。捕獲并處理了一幀視頻之后再通知所有等待數(shù)據(jù)的客戶端線程。輸出線程分為兩大部分：并發(fā)服務(wù)器線程和客戶端處理線程。并發(fā)服務(wù)器線程server_thread負(fù)責(zé)監(jiān)聽客戶端請求，一旦有請求就創(chuàng)建一個新的客戶端線程專門負(fù)責(zé)來自此客戶端的HTTP請求。這樣服務(wù)器線程就可以一直監(jiān)聽客戶端請求，本系統(tǒng)設(shè)置的最大可以處理的客戶端數(shù)為10。一個客戶端線程client_thread只負(fù)責(zé)處理一個客戶端響應(yīng)，也就是只響應(yīng)一個IP地址的請求。進(jìn)入client_thread之后，將會發(fā)送HTTP響應(yīng)頭。通過設(shè)置了一些響應(yīng)頭，使得服務(wù)器可以不斷地發(fā)送JPEG數(shù)據(jù)給客戶端。pthread_cond_wait以阻塞方式等待一幀數(shù)據(jù)的到來，一旦有JPEG數(shù)據(jù)就馬上把數(shù)據(jù)從全局緩沖區(qū)中取出，發(fā)送給客戶端。整個工作流程如圖2所示：

圖2　服務(wù)器端的工作流程圖

2.3視頻客戶端軟件的設(shè)計

為了能夠?qū)崿F(xiàn)跨平臺的實時查看視頻，鑒于Qt開發(fā)框架強大的移植性，我們開發(fā)了Qt版的視頻解碼程序，并編譯了各個主流平臺的版本，實現(xiàn)了真正意義上的跨平臺?？蛻舳说目傮w框架結(jié)構(gòu)如圖3所示[3]：

圖3　客戶端總體框架結(jié)構(gòu)

從Mjpg-Streamer源碼中的send_stream()函數(shù)可以看出，當(dāng)客戶端向服務(wù)器端發(fā)送請求之后，服務(wù)器端會返回以http作為響應(yīng)頭的視頻數(shù)據(jù)流。另外為了避免不斷的發(fā)送請求，響應(yīng)，采用了服務(wù)器推送技術(shù)。即將content-type指定為:content-type:multipart/x-mixed-replace；bound

ary=BOUNDARY。由于jpeg圖片有固定的幀格式，我們只需將接收到的數(shù)據(jù)流按位分析，找到0xff 0xd8開頭，0xff 0xd9結(jié)尾的這個數(shù)據(jù)段，將其保存在字符數(shù)組中，并轉(zhuǎn)換成jpeg圖片，在label控件上顯示，就是一幀圖像的顯示了，依次循環(huán)，就完成了視頻流的解碼。具體的是解碼算法流程圖如圖4所示[4]：

圖4　視頻解碼算法

3 跨平臺的測試

為了測試跨平臺的視頻顯示效果，我們分別在ARM-Linux開發(fā)板、Fedora9系統(tǒng)和Android4.4系統(tǒng)下進(jìn)行測試。

定制化手持式控制終端，采用ARM-Linux架構(gòu)，通過無線網(wǎng)卡與服務(wù)器端進(jìn)行ad-hoc連接，將視頻接收并顯示在TFT液晶屏上，如圖5所示：

圖5　在ARM-Linux開發(fā)板上測試客戶端的程序

在VMware虛擬機中安裝Fedora9，通過無線路由器做中介，使服務(wù)器端與Fedora9系統(tǒng)的客戶端進(jìn)行連接，并將視頻顯示在客戶端中，如圖6所示：

圖6　在Fedora9系統(tǒng)上測試客戶端程序

小米4手機自建熱點網(wǎng)絡(luò)，服務(wù)器端通過無線網(wǎng)卡連接到熱點，與Android4.4系統(tǒng)的客戶端進(jìn)行通信，點擊圖7中的紅點即可開始接收顯示視頻，如圖7所示[5]：

圖7　在Android4.4系統(tǒng)上測試客戶端程序

4 總結(jié)

該系統(tǒng)突破了以往只能通過特定瀏覽器查看的限定，實現(xiàn)了用戶在各個版本中觀看視頻的功能，使得操作簡單，攜帶設(shè)備更方便，解決了以往運行時必須使用某幾類瀏覽器的問題，讓該系統(tǒng)更加整體化。同時客戶端的圖像可以實時顯示，沒有延時，圖像清晰。該系統(tǒng)的用戶界面窗口簡潔大方，設(shè)計美觀，操作人員容易學(xué)習(xí)操作，任何人都可以輕易實現(xiàn)功能，解決了只有專業(yè)人員才能使用的限制。

參考文獻(xiàn)

[1] 肖兒良,毛海軍,鞠軍平,等.基于開源軟件MJPG_Streamer的智能視頻監(jiān)控系統(tǒng)設(shè)計[J].微電子學(xué)與計算機,2013,6(6):84-87.

[2] 李亞東.基于ARM的履帶式目標(biāo)檢測機器人研究與實現(xiàn) [M].南京:河海大學(xué),2013.

[3] 陳恒鑫,林 威,張欽宇.基于Mjpg-streamer的移動視頻監(jiān)控系統(tǒng)設(shè)計[J].計算機測量與控制2014.22(11):3597-3599.

[4] 陳金輝.基于Mjpg-streamer的遠(yuǎn)程視頻監(jiān)控系統(tǒng) [M].衡陽:湖南工學(xué)院,2012.

[5] 郭加貝.基于Android智能手機視頻監(jiān)控的應(yīng)用軟件開發(fā)[M].杭州:杭州電子科技大學(xué)，2011.

Cross-platform Wireless Video Transmition System Based on Mjpeg-streamer

Zhu Chaozheng, Zhang Yiwei, Cheng Yujia, Yan Xijun
(College of Computer and Information, Hohai University, Nanjing 210098, China)

Abstract:In order to solve the problems that remote video system based on Mjpg-streamer only can be viewed through a particular browser and has poor portability, video decoding using QT framework is developed in the client side to realize the real-time observation of cross-platform. It changes the dependence on browsers of original system, and enhances the portability of Mjpg-streamer remote video system, which makes the usage scope and mode of the system wider and more popular.

Key words:Video Decoding; QT ;Cross-platform;Mjpg-streamer

收稿日期：（2015.04.28）

作者簡介：祝朝政（1995-），男，信陽，河海大學(xué)計算機與信息學(xué)院，研究方向：計算機科學(xué)與技術(shù)，嵌入式系統(tǒng)，南京，210098；張毅偉（1993-），男，南通，河海大學(xué)計算機與信息學(xué)院，研究方向：計算機科學(xué)與技術(shù)，南京，210098；程禹嘉（1996-），女，吉林，河海大學(xué)計算機與信息學(xué)院，研究方向：計算機科學(xué)與技術(shù)，南京，210098；嚴(yán)錫君（1963-），男，南通，河海大學(xué)計算機與信息學(xué)院，副教授，研究方向：無線傳感器網(wǎng)絡(luò)、嵌入式系統(tǒng)，南京，210098；

文章編號：1007-757X(2016)01-0057-03

中圖分類號：TP393

文獻(xiàn)標(biāo)志碼：A