基于嵌入式視頻的實(shí)驗(yàn)室管理系統(tǒng)設(shè)計(jì)

祝玲??王曉龍??張盼盼

摘要：設(shè)計(jì)開(kāi)發(fā)一種基于嵌入式視頻的實(shí)驗(yàn)室管理系統(tǒng)。該系統(tǒng)綜合運(yùn)用了嵌入式技術(shù)、圖像處理技術(shù)、網(wǎng)絡(luò)通信等技術(shù)，可對(duì)實(shí)驗(yàn)室進(jìn)行實(shí)時(shí)監(jiān)控及特殊狀況報(bào)警提示，同時(shí)可通過(guò)網(wǎng)絡(luò)同步實(shí)現(xiàn)遠(yuǎn)程視頻監(jiān)控。該系統(tǒng)有助于提高實(shí)驗(yàn)室設(shè)備利用率及管理效率，為學(xué)生創(chuàng)新及實(shí)踐能力培養(yǎng)提供良好的實(shí)驗(yàn)環(huán)境。

關(guān)鍵詞關(guān)鍵詞：視頻監(jiān)控；開(kāi)放實(shí)驗(yàn)室；嵌入式系統(tǒng)；管理系統(tǒng)

DOIDOI：10.11907/rjdk.1431085

中圖分類號(hào)：TP319

文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)文章編號(hào)：16727800（2015）002009103

基金項(xiàng)目基金項(xiàng)目：北方民族大學(xué)校級(jí)項(xiàng)目（2010Y030）

作者簡(jiǎn)介作者簡(jiǎn)介：祝玲 （1975—），女，吉林磐石人，碩士，北方民族大學(xué)電氣信息工程學(xué)院講師，研究方向?yàn)榍度胧较到y(tǒng)和智能設(shè)備；王曉龍 （1988—），男，河北張家口人，北方民族大學(xué)電氣信息工程學(xué)院碩士研究生，研究方向?yàn)榍度胧较到y(tǒng)控制和功能安全；張盼盼 （1988—），女，河北石家莊人，北方民族大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院碩士研究生，研究方向?yàn)閳D像處理與機(jī)器人視覺(jué)。

0引言

隨著高校教學(xué)改革的不斷深入， 各高校逐步開(kāi)放實(shí)驗(yàn)室，為學(xué)生提供更多實(shí)踐鍛煉的空間，最大限度地提高儀器設(shè)備的利用率，解決實(shí)驗(yàn)設(shè)備配置不足和實(shí)驗(yàn)課時(shí)較少的問(wèn)題。目前高校開(kāi)放型實(shí)驗(yàn)室一般采用人工管理或者“ID+密碼”的管理模式，其中，“ID+密碼”模式需使用者記憶密碼、 賬號(hào)， 不僅增加了記憶負(fù)擔(dān)， 也容易被冒名頂替＼[1＼]。此外，也有高校采用控制機(jī)柜來(lái)控制實(shí)驗(yàn)設(shè)備供電， 這種方式不但增加了實(shí)驗(yàn)室布線的難度， 不利于實(shí)驗(yàn)室的改建＼[2＼]。

本文提出一種基于視頻與校園一卡通的實(shí)驗(yàn)室管理系統(tǒng)。本系統(tǒng)以CortexA9為核心，通過(guò)USB攝像頭獲取視頻，可實(shí)現(xiàn)以下功能：①將視頻顯示在高清電視上；②通過(guò)網(wǎng)絡(luò)可同時(shí)將視頻傳輸?shù)椒?wù)器，對(duì)實(shí)驗(yàn)室實(shí)現(xiàn)遠(yuǎn)程監(jiān)控；③利用OpenCV對(duì)采集到的視頻進(jìn)行處理，對(duì)實(shí)驗(yàn)室特殊狀況作出報(bào)警提示或控制相關(guān)設(shè)備工作。該系統(tǒng)有助于提高實(shí)驗(yàn)室的安全性和管理效率，實(shí)現(xiàn)實(shí)驗(yàn)室高智能、高效、全天候開(kāi)放。

1系統(tǒng)總體框架

本文設(shè)計(jì)的實(shí)驗(yàn)室管理系統(tǒng)總體結(jié)構(gòu)如圖1所示，主要由報(bào)警提示模塊和視頻處理模塊構(gòu)成，包括視頻的獲取、顯示、處理和傳輸?shù)?。以CortexA9作為內(nèi)核的4核Exynos 4412處理器是本系統(tǒng)的核心。功能實(shí)現(xiàn)如下：通過(guò)USB接口驅(qū)動(dòng)4個(gè)攝像頭同時(shí)工作，捕獲視頻流；通過(guò)高清晰度多媒體接口HDMI將4個(gè)攝像頭捕獲的視頻經(jīng)處理后顯示在高清電視上；通過(guò)Exynos 4412強(qiáng)大的硬件編解碼功能，支持MPEG1/2/4，H.263，H.264等格式視頻的編解碼＼[3＼]，并對(duì)所捕獲的視頻進(jìn)行H.264編碼，然后通過(guò)網(wǎng)口將視頻傳輸?shù)絇C機(jī)，實(shí)現(xiàn)遠(yuǎn)程監(jiān)控；利用OpenCV庫(kù)函數(shù)對(duì)所捕獲視頻流中的幀頻第1幀圖像進(jìn)行處理，獲得當(dāng)前實(shí)驗(yàn)室信息，為報(bào)警提示和電源控制提供依據(jù)。此外，報(bào)警提示模塊中的GPRS通信模塊用于特殊情況下緊急通知試驗(yàn)管理員，如發(fā)生偷盜事件等。

圖1系統(tǒng)總體結(jié)構(gòu)框架

2視頻模塊軟件設(shè)計(jì)

視頻模塊應(yīng)用程序在ARMlinux操作系統(tǒng)上運(yùn)行，其涉及l(fā)inux底層驅(qū)動(dòng)、第三方應(yīng)用庫(kù)OpenCV的移植和圖像處理程序設(shè)計(jì)等。

2.1HDHL驅(qū)動(dòng)

HDMI是首個(gè)支持單線纜傳輸、未經(jīng)壓縮的全數(shù)字高清晰度多聲道音頻和控制命令數(shù)據(jù)的數(shù)字接口，它采用技術(shù)最小化傳輸差分信號(hào)TMDS（Transition Minimized Differential Signaling）技術(shù)傳輸信號(hào)＼[4＼]。此外，在Exynos 4412處理器上HDMI模塊是為1.4版，在linux 3.0.8內(nèi)核中HDMI作為TV_OUT的一部分，驅(qū)動(dòng)框架如圖2所示。

圖2HDMI驅(qū)動(dòng)框架

由圖2可知， HDMI作為TV_OUT的一部分，TV_OUT驅(qū)動(dòng)在內(nèi)核注冊(cè)時(shí)，HDMI作為TV_OUT的一個(gè)子系統(tǒng)被初始化。當(dāng)執(zhí)行TV_OUT的探針函數(shù)static int __devinit s5p_tv_probe（struct platform_device *pdev）時(shí)，會(huì)調(diào)用HDMI相關(guān)初始化函數(shù)s5p_hdmi_probe（pdev，3， 4）。同時(shí)會(huì)注冊(cè)一個(gè)符合V4L2標(biāo)準(zhǔn)的設(shè)備，因此用戶空間對(duì)HDMI設(shè)備（video14）的基本操作（如設(shè)置分辨、顯示頻率等）符合V4L2標(biāo)準(zhǔn)。而實(shí)現(xiàn)CEC、HDCP、DDC、HPD作為HDMI組件的驅(qū)動(dòng)，即為HDMI驅(qū)動(dòng)提供函數(shù)接口（HDCP、DDC、HPD這3個(gè)組件的驅(qū)動(dòng)會(huì)互相暴露函數(shù)調(diào)用），也為用戶空間提供了操作組件的方法。此外，linux內(nèi)核將幀緩沖內(nèi)存直接映射到HDMI顯示緩沖區(qū)中，實(shí)現(xiàn)HDMI顯示數(shù)據(jù)的不斷更新，因此在應(yīng)用程序中，只需在幀緩沖區(qū)Framebuffer中寫入圖像數(shù)據(jù)就可通過(guò)HDMI輸出到顯示設(shè)備上。

2.2OpenCV移植

OpenCV由Intel公司發(fā)起并參與開(kāi)發(fā)的一款計(jì)算機(jī)視覺(jué)研究工具，近年來(lái)普及迅速，也是一個(gè)跨平臺(tái)的計(jì)算機(jī)視覺(jué)庫(kù)＼[5＼]。其源代碼開(kāi)放、輕量且高效，并提供了非常豐富的幀提取函數(shù)和視覺(jué)處理算法，開(kāi)發(fā)者可以在其視頻開(kāi)發(fā)或圖像處理中通過(guò)直接調(diào)用進(jìn)行算法移植并添加自己編寫的程序，達(dá)到事半功倍的效果＼[6＼]。移植過(guò)程為：首先從官網(wǎng)下載源碼包，然后根據(jù)嵌入式ARM系統(tǒng)安裝步驟安裝交叉編譯器、參數(shù)配置和編譯，通過(guò)最后進(jìn)行測(cè)試。在實(shí)際應(yīng)用中，發(fā)現(xiàn)較高版本如OpenCV2.3.1等在此本平臺(tái)運(yùn)行不夠穩(wěn)定，所以本文最終使用的版本為OpenCV2.2。

2.3視頻獲取傳輸顯示

本設(shè)計(jì)中視頻流通過(guò)4個(gè)USB攝像頭獲取，要在同一個(gè)高清顯示器上分塊顯示，需要分別對(duì)4個(gè)通道的視頻進(jìn)行H.264編碼傳輸和處理。因此為滿足實(shí)時(shí)性，本設(shè)計(jì)采用了多線程方案，具體框架如圖3所示。

圖3 應(yīng)用程序多線程架構(gòu)

首先通過(guò)int open（const char *pathname， int oflag， ... ）函數(shù)打開(kāi)攝像頭和HDMI設(shè)備，再通過(guò)int ioctl（int fd， ind cmd， …）設(shè)置參數(shù)（如分別率、數(shù)據(jù)模式等），完成視頻系統(tǒng)中各模塊的初始化。攝像頭采集線程通過(guò)“VIDIOC_DQBUF” 命令從緩存中讀取數(shù)據(jù)并存入v4l2_buffer結(jié)構(gòu)體，同時(shí)對(duì)采集到的數(shù)據(jù)按時(shí)間順序編號(hào)，然后將數(shù)據(jù)復(fù)制，分別傳輸?shù)綀D像融合線程、H.264線程和圖像處理線程。圖像融合線程將每一幀圖像的像素縮放到480×270，然后將所得到的數(shù)據(jù)重新融合為新數(shù)據(jù)，并將數(shù)據(jù)傳輸?shù)揭曨l顯示線程，視頻顯示線程則將所得到的新圖像寫入Framebuffer中，實(shí)現(xiàn)數(shù)據(jù)一幀一幀顯示。H.264壓縮線程分別對(duì)4個(gè)視頻流進(jìn)行壓縮，然后將數(shù)據(jù)傳輸?shù)骄W(wǎng)絡(luò)傳輸線程，網(wǎng)絡(luò)傳輸線程對(duì)數(shù)據(jù)打包，并通過(guò)socket（）等函數(shù)將數(shù)據(jù)發(fā)送到PC機(jī)。圖像處理線程只對(duì)幀頻中的第一幀進(jìn)行處理，為報(bào)警提示線程提供依據(jù)。

2.4視頻圖像處理

視頻流將實(shí)時(shí)拍攝的圖像銜接起來(lái)，變成一段流暢的圖像顯示出來(lái)，因此對(duì)視頻的處理就是對(duì)圖像的處理。此外，考慮到圖像處理涉及大量的矩陣操作和Exynos 4412的性能，本設(shè)計(jì)中只對(duì)幀頻中的第一幀進(jìn)行處理。圖像處理流程如圖4所示。

首先提取YUYV數(shù)據(jù)幀中的Y分量，生成圖像的亮度矩陣（灰度），然后使用OpenCV的庫(kù)函數(shù)對(duì)圖像進(jìn)行去噪和增強(qiáng)等預(yù)處理，最后對(duì)圖像人體進(jìn)行檢測(cè)。人體檢測(cè)使用OpenCV的HOG算法，首先定義類，cv：：HOGDescriptor Lib_People_Hogg，再使用函數(shù)Lib_People_Hog.setSVMDetector （ cv：： HOGDescriptor：： getDefaultPeopleDetector （））得到OpenCV默認(rèn)的已經(jīng)訓(xùn)練好了的SVM系數(shù)，并作為此次檢測(cè)的模型，再調(diào)用函數(shù)Lib_People_Hog.detectMultiScale（）完成圖像人體檢測(cè)。最后根據(jù)條件從圖像中提取信息，如果在非實(shí)驗(yàn)室開(kāi)放時(shí)段有人進(jìn)出實(shí)驗(yàn)室，系統(tǒng)可報(bào)警以提示管理員；如在做實(shí)驗(yàn)期間某試驗(yàn)臺(tái)電源長(zhǎng)期開(kāi)啟并無(wú)人操控，也可進(jìn)行提示或自動(dòng)關(guān)閉電源，以節(jié)約用電。

圖4圖像處理流程

3系統(tǒng)運(yùn)行調(diào)試

系統(tǒng)運(yùn)行調(diào)試結(jié)果如下：

（1） 通過(guò)編寫的測(cè)試程序?qū)ideo、HDMI和串口等進(jìn)行驅(qū)動(dòng)測(cè)試，結(jié)果都能正常工作，沒(méi)有出現(xiàn)異常和錯(cuò)誤。

（2） 4個(gè)USB攝像頭采集到的視頻流可通過(guò)HMDI接口在高清電視上流暢顯示，效果如圖5所示，通過(guò)網(wǎng)絡(luò)傳輸?shù)囊曨l數(shù)據(jù)正常顯示。

（3） 在非實(shí)驗(yàn)室開(kāi)放時(shí)段，如有人進(jìn)入實(shí)驗(yàn)室，報(bào)警正確率98%。

圖5HMDI顯示效果

4結(jié)語(yǔ)

本文設(shè)計(jì)實(shí)現(xiàn)了一種基于嵌入式視頻的實(shí)驗(yàn)室管理系統(tǒng)。該系統(tǒng)基于以CortexA9為內(nèi)核的Exynos 4412嵌入式平臺(tái)，融合了當(dāng)前成熟的圖像處理技術(shù)及網(wǎng)絡(luò)傳輸技術(shù)，實(shí)現(xiàn)了對(duì)實(shí)驗(yàn)室遠(yuǎn)程監(jiān)控。實(shí)驗(yàn)過(guò)程中發(fā)現(xiàn)，本系統(tǒng)在節(jié)能提示或控制以及報(bào)警方面存在一定不足，出現(xiàn)誤判的情況，但通過(guò)多源信息融合技術(shù)予以解決。經(jīng)投入使用，該系統(tǒng)提高了儀器設(shè)備的利用率，實(shí)現(xiàn)了安全、高效的實(shí)驗(yàn)室開(kāi)放性管理。

參考文獻(xiàn)參考文獻(xiàn)：

＼[1＼]丁曉玲，徐偉平，胡敏.網(wǎng)絡(luò)化分布式國(guó)家重點(diǎn)實(shí)驗(yàn)室管理信息系統(tǒng)＼[J＼]，實(shí)驗(yàn)技術(shù)與管理，2001，18（2）：114118.

＼[2＼]左富強(qiáng)，賈丹丹，李宏.基于嵌入式指紋識(shí)別的開(kāi)放型實(shí)驗(yàn)室管理系統(tǒng)設(shè)計(jì)＼[J＼].實(shí)驗(yàn)室研究與探索，2006，26（11）：1922.

＼[3＼]Exynos 4412數(shù)據(jù)手冊(cè)

＼[4＼]廖夢(mèng)云，趙利. HDMI接口在嵌入式視頻監(jiān)控系統(tǒng)中的應(yīng)用＼[J＼].嵌入式系統(tǒng)應(yīng)用，2009，23：4647.

＼[5＼]梁艷. 基于OpenCV的ARM嵌入式網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)＼[J＼].微型機(jī)與應(yīng)用，2013，09：2931.

＼[6＼]劉瑞幀，于士琪.OpenCV教程基礎(chǔ)篇＼[M＼].北京：北京航空航天大學(xué)出版社，2007.

責(zé)任編輯（責(zé)任編輯：陳福時(shí)）