基于ARM 11的圖像采集與傳輸系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

賀大偉，高曉陽(yáng)，2*，劉 佳，侯寶華，李紅嶺，2

（1甘肅農(nóng)業(yè)大學(xué)工學(xué)院，蘭州 730070；2甘肅省干旱生境作物學(xué)重點(diǎn)實(shí)驗(yàn)室，蘭州 730070）

基于ARM 11的圖像采集與傳輸系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

賀大偉1，高曉陽(yáng)1，2*，劉 佳1，侯寶華1，李紅嶺1，2

（1甘肅農(nóng)業(yè)大學(xué)工學(xué)院，蘭州 730070；2甘肅省干旱生境作物學(xué)重點(diǎn)實(shí)驗(yàn)室，蘭州 730070）

為實(shí)現(xiàn)大麥田間狀況的遠(yuǎn)程監(jiān)測(cè)和及時(shí)有效的農(nóng)業(yè)生產(chǎn)管理，設(shè)計(jì)開(kāi)發(fā)了一種基于ARM11微處理器和Linux操作系統(tǒng)的嵌入式無(wú)線遠(yuǎn)程視頻監(jiān)控系統(tǒng)。該系統(tǒng)選取S3C6410并構(gòu)建Linux操作系統(tǒng)為采集節(jié)點(diǎn)，采用ZigBee構(gòu)成田間信息采集無(wú)線局域網(wǎng)絡(luò)，選用OV9650攝像頭采集圖像，用Video4Linux調(diào)控和接收視頻，視頻通過(guò)研究改進(jìn)的優(yōu)化H.264編碼后，通過(guò)無(wú)線網(wǎng)橋傳送到接收端解碼存儲(chǔ)和顯示。結(jié)果表明：該無(wú)線視頻監(jiān)控系統(tǒng)運(yùn)行穩(wěn)定，傳輸壓縮率高于93%，誤包率小于5%。

圖像采集；無(wú)線傳輸；視頻監(jiān)控；Linux；ZigBee

農(nóng)作物現(xiàn)場(chǎng)信息獲取是精細(xì)農(nóng)業(yè)的關(guān)鍵技術(shù)。近年來(lái)，農(nóng)業(yè)現(xiàn)場(chǎng)視頻監(jiān)控和遠(yuǎn)距離視頻傳輸問(wèn)題的研究逐漸成為國(guó)內(nèi)外專(zhuān)家學(xué)者研究的熱點(diǎn)。如：基于嵌入式Linux和圖像傳感器OV3640的視頻采集系統(tǒng)，采用ARM設(shè)備節(jié)點(diǎn)攝像頭監(jiān)控，但沒(méi)有考慮通過(guò)遠(yuǎn)程控制方式進(jìn)行監(jiān)控和傳輸［1］；基于GPRS的遠(yuǎn)程圖像傳輸系統(tǒng)，通信成本較高，且GPRS傳輸速率不能滿足視頻實(shí)時(shí)傳輸?shù)男枨螅?］；基于ZigBee和GPRS的農(nóng)業(yè)圖像采集系統(tǒng)，其傳輸速率也難達(dá)到實(shí)時(shí)視頻傳輸?shù)男枨螅?］。為獲取大麥田間生長(zhǎng)信息和實(shí)現(xiàn)遠(yuǎn)距離視頻傳輸，本研究提出了一種基于嵌入式Linux操作系統(tǒng)和ZigBee無(wú)線網(wǎng)以及無(wú)線網(wǎng)橋技術(shù)的大麥圖像采集無(wú)線傳輸系統(tǒng)。

1 大麥生長(zhǎng)監(jiān)控系統(tǒng)的設(shè)計(jì)

1.1 大麥生長(zhǎng)監(jiān)控系統(tǒng)的結(jié)構(gòu)設(shè)計(jì)

本系統(tǒng)采用韓國(guó)三星飛凌公司的S3C6410開(kāi)發(fā)板進(jìn)行大麥田間視頻采集節(jié)點(diǎn)設(shè)計(jì)開(kāi)發(fā)，開(kāi)發(fā)板移植的操作系統(tǒng)為L(zhǎng)inux 3.0.1。選用OV9650攝像頭實(shí)現(xiàn)對(duì)視頻圖像的采集，各視頻采集功能節(jié)點(diǎn)以ZigBee構(gòu)成無(wú)線局域網(wǎng)絡(luò)，各節(jié)點(diǎn)電源均由本項(xiàng)目研發(fā)的太陽(yáng)能光伏供電系統(tǒng)提供，選用S3C6410處理器作為本系統(tǒng)的網(wǎng)絡(luò)協(xié)調(diào)器?？紤]到試驗(yàn)的環(huán)境和距離等影響因素，本研究選用以2.4 GHz的802.11 b無(wú)線網(wǎng)橋傳輸標(biāo)準(zhǔn)的室外網(wǎng)橋。由于本研究的試驗(yàn)田與PC接收終端間有1—2 km的距離且中間有障礙物，故采用信號(hào)反射方案，在試驗(yàn)田和PC終端處各放置一個(gè)無(wú)線網(wǎng)橋，采用一對(duì)12 dbi的定向天線建立起通信，采集到的數(shù)據(jù)通過(guò)所選無(wú)線網(wǎng)橋傳送到視頻監(jiān)控終端PC機(jī)。

1.2 系統(tǒng)軟件的設(shè)計(jì)

本系統(tǒng)在ADS集成開(kāi)發(fā)環(huán)境下進(jìn)行軟件開(kāi)發(fā)。其節(jié)點(diǎn)（協(xié)調(diào)器）軟件設(shè)計(jì)流程包括加載Bootloader引導(dǎo)程序、Linux系統(tǒng)內(nèi)核和驅(qū)動(dòng)程序移植以及應(yīng)用層程序設(shè)計(jì)，其設(shè)備驅(qū)動(dòng)包括Camera、Nand Flash和WiFi等驅(qū)動(dòng)程序設(shè)計(jì)。本系統(tǒng)的應(yīng)用軟件有視頻采集模塊、ZigBee模塊、WiFi模塊和MFC編碼模塊等。

2 視頻采集與監(jiān)控界面程序設(shè)計(jì)

本系統(tǒng)采用OV9650攝像頭實(shí)現(xiàn)對(duì)視頻圖像信號(hào)的采集，在Linux操作系統(tǒng)下，V4L驅(qū)動(dòng)的Video設(shè)備節(jié)點(diǎn)路徑為/dev/video/中的VideoX，通過(guò)驅(qū)動(dòng)程序V4L調(diào)用API接口函數(shù)，實(shí)現(xiàn)對(duì)視頻的采集和調(diào)控。視頻采集流程如圖1所示。此外，本視頻監(jiān)控系統(tǒng)的主圖形顯示界面的主窗口和子窗口框架均通過(guò)調(diào)用相應(yīng)函數(shù)實(shí)現(xiàn)。

圖1 視頻數(shù)據(jù)采集流程圖Fig.1 The flow chart of video date acquisition

3 大麥視頻編解碼程序與傳輸程序設(shè)計(jì)

3.1 大麥視頻H.264編碼程序設(shè)計(jì)

在不影響圖像質(zhì)量的前提下，為有效減少編碼計(jì)算的復(fù)雜度，首先對(duì)編碼器進(jìn)行優(yōu)化，主要對(duì)編碼器的循環(huán)過(guò)程和數(shù)學(xué)運(yùn)算實(shí)施了優(yōu)化。在執(zhí)行循環(huán)的過(guò)程中，當(dāng)循環(huán)體內(nèi)語(yǔ)句較少時(shí)，采用循環(huán)部分展開(kāi)或循環(huán)展開(kāi)；當(dāng)進(jìn)行數(shù)學(xué)運(yùn)算時(shí)，按照不同計(jì)算方法進(jìn)行優(yōu)化，采用移位對(duì)乘法運(yùn)算進(jìn)行優(yōu)化；采用乘法對(duì)除法運(yùn)算進(jìn)行優(yōu)化；對(duì)于“＋1”和“－1”的操作，使用自增和自減運(yùn)算符。

本系統(tǒng)通過(guò)MFC模塊實(shí)現(xiàn)基于H.264的視頻編碼，由設(shè)備文件/dev/s3c-mfc對(duì)MFC模塊進(jìn)行訪問(wèn)，然后調(diào)用ioctl函數(shù)實(shí)現(xiàn)相關(guān)操作。H.264編碼流程如圖2所示。

圖2 基于MFC模塊的H264壓縮編碼流程圖Fig.2 The flowchar t of H264 encoding process based on MFC m odule

圖3 H.264解碼流程圖Fig.3 The flow chart of H.264 decoding

3.2 H.264解碼程序設(shè)計(jì)

H.264的解碼操作是通過(guò)開(kāi)源的FFmpeg實(shí)現(xiàn)的，解碼得到的YUV420格式的圖像數(shù)據(jù)將會(huì)存儲(chǔ)在pFrame中。使用FFmpeg進(jìn)行解碼主要步驟如圖3所示。

此外，本研究對(duì)解碼器軟件進(jìn)行優(yōu)化處理。由于本系統(tǒng)采用的是基于ARM11的嵌入式平臺(tái)和gcc編譯器，所以主要從編寫(xiě)高質(zhì)量的C語(yǔ)言程序上來(lái)實(shí)現(xiàn)解碼器的優(yōu)化，如將變量類(lèi)型char改成signed；在適當(dāng)條件下展開(kāi)循環(huán)體，如果循環(huán)體至少執(zhí)行1次，優(yōu)先選用do-while；將函數(shù)參數(shù)限制在4個(gè)以內(nèi)，局部變量限制在12個(gè)以內(nèi)等等。本系統(tǒng)選用開(kāi)源FFmpeg進(jìn)行解碼操作，由于FFmpeg參考代碼在CAVLC解碼部分存在所需空間過(guò)大的問(wèn)題，采用分級(jí)映射方式來(lái)減少內(nèi)存搬移的優(yōu)化處理。首先定義一個(gè)最大長(zhǎng)度碼字table＿nb＿bits（數(shù)值為8），如果大于最大長(zhǎng)度碼字，則用碼字的高位做為偏移量計(jì)算并記為table＿nb＿bits-len（負(fù)數(shù)），然后，查找所有的table［］［0］，如果table＿nb＿bits-len為正數(shù)，則表明所有的碼字均已映射完畢。優(yōu)化前，色度碼字最大長(zhǎng)度為8，占用28B的空間，亮度碼字最大長(zhǎng)度為16，占用216B。優(yōu)化后，色度碼字占用的空間不變，亮度碼字占用28×2 B，減少了內(nèi)存空間，降低了內(nèi)存讀取次數(shù)，提高了解碼效率。

3.3 視頻傳輸程序設(shè)計(jì)

本系統(tǒng)中視頻數(shù)據(jù)的傳輸采用RTP/RTCP實(shí)時(shí)傳輸協(xié)議，實(shí)現(xiàn)RTP/RTCP協(xié)議的開(kāi)源庫(kù)主要有LIBRTP、JRTPLIB、ORTP，本研究選用JRTPLIB開(kāi)源庫(kù)來(lái)實(shí)現(xiàn)協(xié)議。利用JRTPLIB提供的接口函數(shù)實(shí)現(xiàn)視頻傳輸?shù)牧鞒倘鐖D4所示。本研究選用地域范圍較小的村級(jí)試驗(yàn)田，各攝像頭采集節(jié)點(diǎn)構(gòu)成的ZigBee網(wǎng)絡(luò)采用星型結(jié)構(gòu)，利用ZigBee構(gòu)成無(wú)線局域網(wǎng)絡(luò)，其協(xié)調(diào)器節(jié)點(diǎn)將接收到的視頻數(shù)據(jù)通過(guò)無(wú)線網(wǎng)橋傳遞到遠(yuǎn)端的PC終端。

圖4 視頻傳輸流程圖Fig.4 The flowchart of video transm ission

4 系統(tǒng)視頻采集與傳輸試驗(yàn)

本研究在甘肅省武威市黃羊鎮(zhèn)農(nóng)業(yè)科學(xué)院試驗(yàn)站進(jìn)行系統(tǒng)性能試驗(yàn)。試驗(yàn)時(shí)，大麥試驗(yàn)田部署6個(gè)攝像頭節(jié)點(diǎn)依次循環(huán)采集視頻信息，采集完成后將數(shù)據(jù)包壓縮傳輸至協(xié)調(diào)器，再由協(xié)調(diào)器傳送至監(jiān)控終端，依次輪流循環(huán)。試驗(yàn)重復(fù)3次，本系統(tǒng)節(jié)點(diǎn)發(fā)送數(shù)據(jù)包耗時(shí)與數(shù)據(jù)包發(fā)送成功率統(tǒng)計(jì)結(jié)果如表1所示，采用ATKKPING網(wǎng)絡(luò)丟包率測(cè)試軟件檢測(cè)得到。

從表1可以看出，當(dāng)視頻數(shù)據(jù)傳輸距離≤900 m時(shí)，數(shù)據(jù)包發(fā)送成功率為100%，并且耗時(shí)較短；當(dāng)視頻數(shù)據(jù)傳輸距離≥1 000 m時(shí)，節(jié)點(diǎn)數(shù)據(jù)包發(fā)生丟包現(xiàn)象并且發(fā)送成功率也逐漸降低，耗時(shí)呈直線上升。分析表明，本系統(tǒng)能夠完成田間視頻數(shù)據(jù)的有效傳輸，并且耗時(shí)較短。

表1 數(shù)據(jù)包發(fā)送耗時(shí)與發(fā)送成功率（丟包率）Table1 The sending time and successive rate of date packets（packet loss）

本系統(tǒng)采集的圖像分辨率設(shè)置為320像素×240像素，采集到1幀視頻圖像轉(zhuǎn)換為H.264所支持的YUV4：2：0格式后的大小為115 200 B，視頻數(shù)據(jù)經(jīng)過(guò)基于H.264標(biāo)準(zhǔn)的壓縮試驗(yàn)如表2所示，壓縮率在93%—98%，經(jīng)過(guò)壓縮明顯降低了網(wǎng)絡(luò)數(shù)據(jù)的傳輸量。本系統(tǒng)每秒所需傳輸帶寬約為1.84Mbps，11 M網(wǎng)絡(luò)帶寬完全滿足系統(tǒng)要求。

表2 傳送圖像數(shù)據(jù)的壓縮率Table 2 Compression rate of transm itted im age data

5 結(jié)束語(yǔ)

本研究提出了一種大麥田間視頻采集與無(wú)線傳輸系統(tǒng)，并進(jìn)行了設(shè)計(jì)實(shí)現(xiàn)和調(diào)試試驗(yàn)。針對(duì)大麥田間圖像采集與無(wú)線網(wǎng)絡(luò)傳輸實(shí)際需求，進(jìn)行了軟件、硬件以及編碼優(yōu)化的設(shè)計(jì)。經(jīng)試驗(yàn)測(cè)試，本系統(tǒng)采集一幀攝像頭拍攝的分辨率為320像素×240像素的圖像，數(shù)據(jù)經(jīng)H.264硬編碼后約為7 kB。試驗(yàn)結(jié)果表明：系統(tǒng)每秒可傳輸30幀圖像，圖像數(shù)據(jù)傳輸穩(wěn)定、失幀率較小、耗時(shí)短、傳輸距離長(zhǎng)，可滿足實(shí)時(shí)傳輸視頻的要求。本研究為農(nóng)業(yè)過(guò)程監(jiān)控提供了一種新型技術(shù)方法，在農(nóng)業(yè)生產(chǎn)監(jiān)控領(lǐng)域中具有一定推廣實(shí)用價(jià)值。

但本系統(tǒng)的固定攝像頭使田間監(jiān)控范圍較小，在今后研究中若選用具有變焦且?guī)в性婆_(tái)的攝像頭將會(huì)進(jìn)一步提高監(jiān)控效果。

［1］肖德琴，黃順彬，殷建軍，等.基于嵌入式應(yīng)用的高分辨率農(nóng)業(yè)圖像采集節(jié)點(diǎn)設(shè)計(jì)［J］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2014，45（2）：276-281.

［2］王明磊，高曉陽(yáng)，楊建青，等.大麥田間視頻采集與無(wú)線傳輸系統(tǒng)設(shè)計(jì)［J］.中國(guó)農(nóng)業(yè)大學(xué)學(xué)報(bào)，2015，20（5）：256-261.

［3］毛紅玉，高曉陽(yáng)，李紅嶺，等.基于ARM和WIFI技術(shù)的大麥田間監(jiān)控系統(tǒng)設(shè)計(jì)［J］.甘肅農(nóng)業(yè)大學(xué)學(xué)報(bào)，2014，49（1）：156-160.

［4］趙春江，屈利華，陳明，等.基于ZigBee的溫室環(huán)境監(jiān)測(cè)圖像傳感器節(jié)點(diǎn)設(shè)計(jì)［J］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2012，43（11）：192-196.

［5］PARK D，PARK J.Wireless sensor network-based greenhouse environment monitoring and automatic control system for dew condensation prevention［J］.Sensors，2011，11（4）：3640-3651.

［6］毛劍飛，張杰，蔣莉，等.基于改進(jìn)的H.264的視頻監(jiān)控系統(tǒng)［J］.計(jì)算機(jī)系統(tǒng)應(yīng)用，2014，23（4）：84-90.

［7］辛長(zhǎng)春，婁小平，呂乃光，等.基于FFmpeg的遠(yuǎn)程視頻監(jiān)控系統(tǒng)編解碼［J］.電子技術(shù)研發(fā)，2013，1（2）：3-5.

［8］林海東，余強(qiáng).基于H264的網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)［J］.西華大學(xué)學(xué)報(bào)（自然科學(xué)版），2014，33（2）：22-26.

（責(zé)任編輯：閆其濤）

農(nóng)業(yè)生產(chǎn)有問(wèn)題 三農(nóng)熱線來(lái)幫你 遇到問(wèn)題怎么辦 專(zhuān)家為你找答案

情系三農(nóng) 服務(wù)三農(nóng)

上海12316三農(nóng)服務(wù)熱線由上海市農(nóng)業(yè)委員會(huì)主辦的一條公益性服務(wù)熱線，提供農(nóng)業(yè)生產(chǎn)技術(shù)、農(nóng)產(chǎn)品市場(chǎng)信息、支農(nóng)惠農(nóng)和農(nóng)村集體“三資”政策等方面的咨詢服務(wù)。

熱線以電話咨詢、“農(nóng)民一點(diǎn)通”視頻咨詢、網(wǎng)上問(wèn)答、短信咨詢、書(shū)信回復(fù)等方式，免費(fèi)為全國(guó)農(nóng)民提供咨詢服務(wù)。全年365天，每天早8點(diǎn)至晚8點(diǎn)專(zhuān)家值班，晚8點(diǎn)至次日早8點(diǎn)電話留言。歡迎廣大農(nóng)民朋友來(lái)電、來(lái)信、來(lái)訪咨詢。

上海三農(nóng)服務(wù)熱線管理中心地址：上海市仙霞西路779號(hào)3號(hào)樓3115室 郵編：200335

上海三農(nóng)服務(wù)熱線E-mail：12316＠shac.gov.cn

上海農(nóng)業(yè)網(wǎng)：www.shac.gov.cn（網(wǎng)上提問(wèn)請(qǐng)至“互動(dòng)中心”欄目）

歡迎撥打：021-12316

Design and implementation of image acquisition and transmission system based on ARM11

HE Da-wei1，GAO Xiao-yang1，2*，LIU Jia1，HOU Bao-hua1，LIHong-ling1，2
（1College of Engineering，Gɑnsu Agriculturɑl University，Lɑnzhou 730070，Chinɑ；2Gɑnsu Provinciɑl Key
Lɑborɑtory of Aridlɑnd Crop Science，Lɑnzhou 730070，Chinɑ）

In order to realize remotemonitoring and effective agricultural production management in barley field，the paper presents a video acquisition and wireless transmission system for barley growth surveillance based on ARM11 and Linux operating system.In this system camera OV9650 was selected as image acquisition device，S3C6410 as a key processor to build a Linux operating system platform in which V4L was used for barley image acquisition and control.The imageswere transferred to a far terminal receiver by coded with H264，where ZigBee network was consisted of coordinator and accessing nodes and a pair of wireless bridges were used for communication.The paper also presents H.264 coded optimization project.The results showed that this wireless image monitoring platform run well and the compression rate of transmission is higher than 93%，the packeterror rate is less than 5%.

Video acquisition；Wireless transmission；Video surveillance；Linux；ZigBee

S126

A

1000-3924（2017）01-155-05

2016-06-27

國(guó)家自然科學(xué)基金項(xiàng)目（61164001）

賀大偉（1989—），男，在讀碩士，主要從事農(nóng)業(yè)電氣化與自動(dòng)化研究。E-mail：837962053＠qq.com，Tel：15095371787

*通信作者，高曉陽(yáng)（1962—），男，博士，教授，主要從事農(nóng)業(yè)信息檢測(cè)與智能控制技術(shù)及系統(tǒng)研究。E-mail：gaoxiao1081＠sina.com，Tel：13993105097