基于COMS數(shù)字?jǐn)z像頭的低速單片機(jī)的實(shí)時(shí)采集研究

陳永昌,逯力紅,孫可亮

(天津工業(yè)大學(xué),天津 300387)

基于COMS數(shù)字?jǐn)z像頭的低速單片機(jī)的實(shí)時(shí)采集研究

陳永昌,逯力紅?,孫可亮

(天津工業(yè)大學(xué),天津 300387)

以國(guó)內(nèi)大學(xué)生智能車設(shè)計(jì)競(jìng)賽及相關(guān)電子信息類競(jìng)賽為背景,主要針對(duì)智能車所用COMS數(shù)字?jǐn)z像頭的圖像輸出與單片機(jī)的采集速度不匹配問(wèn)題,提出一種基于COMS數(shù)字?jǐn)z像頭的低速單片機(jī)的實(shí)時(shí)采集方案。具有低成本、易實(shí)現(xiàn)、高分辨率、全速幀率等優(yōu)點(diǎn),能夠?qū)⒉杉直媛蕪拿啃?60個(gè)像素點(diǎn)提高到每行320個(gè)像素點(diǎn),整張圖片無(wú)噪點(diǎn)。實(shí)驗(yàn)證明此方法可以在降低對(duì)硬件要求的同時(shí)進(jìn)行高速數(shù)據(jù)采集,節(jié)省成本,為低速單片機(jī)的高速數(shù)據(jù)采集的提供了一種新思路。

圖像采集、單片機(jī)、COMS、并口擴(kuò)展

智能車及相關(guān)的電子信息類競(jìng)賽主要是以迅猛發(fā)展的汽車電子為背景,該類比賽涵蓋了自動(dòng)控制、計(jì)算機(jī)軟件技術(shù)、嵌入式編程、系統(tǒng)調(diào)試等多個(gè)交叉學(xué)科的知識(shí)。攝像頭智能小車以攝像頭為主要傳感器提取賽道引導(dǎo)線信息,并在規(guī)范的賽道內(nèi)自主尋線[1-2]。圖像采集系統(tǒng)是智能車主要用來(lái)獲取賽道信息的裝置,直接影響圖像采集的質(zhì)量和圖像處理的難易程度,對(duì)智能車的精確控制和穩(wěn)定運(yùn)行具有不可或缺的決定性作用[3-4]。

目前國(guó)內(nèi)智能車比賽中,舉辦方基于開(kāi)發(fā)難度、軟硬件資源等原因的考慮,選用的MCU的速度往往難以捕捉或丟失攝像頭傳來(lái)的高速信號(hào),以“飛思卡爾”智能車競(jìng)賽中較為主流Freescale公司的K60芯片為例,其Core Clock最大值為100MHZ(以單指令周期來(lái)算),當(dāng)選用OV7620數(shù)字?jǐn)z像頭進(jìn)行圖像采集,圖像分辨率最大達(dá)到(H)664×(V)492,幀率可達(dá)30幀,內(nèi)置10位雙通道 A/D轉(zhuǎn)換器,輸出8位像素點(diǎn)[5]。采集OV7620攝像頭圖像時(shí),要根據(jù)行場(chǎng)中斷信號(hào)來(lái)區(qū)分一幅圖像和一行圖像。若不通過(guò)SCCB協(xié)議設(shè)置OV7620的寄存器,默認(rèn)輸出有效像素(H) 640×(V)480。因?yàn)椴捎酶粜袙呙娴姆绞接址譃槠媾紙?chǎng),這樣計(jì)算的話,每秒將產(chǎn)生60幅圖像,每幅圖像有效像素位(H)320×(V)240。所以為使MCU有效響應(yīng),允許中斷間隔將小于73ns,一般單片機(jī)是無(wú)法達(dá)到的。因此通常采用低分辨率或者低幀率的方案來(lái)完成采集,一方面犧牲了圖像質(zhì)量,另一方面圖像信息易造成丟失,喪失其完整性。不難發(fā)現(xiàn),對(duì)于圖像采集的速率和采集到的圖像的分辨率并不能令人滿意。為保證圖像采集的速率,通常采用降低分辨率的方案,效果不好。

一方面限于采集用芯片的學(xué)習(xí)難度和開(kāi)發(fā)難度,不易上手,且研發(fā)成本高;另一方面源于競(jìng)賽方限制(不允許使用其他可編程芯片與存儲(chǔ)介質(zhì)),兩者即限制了人們的開(kāi)發(fā)能力又限制了設(shè)計(jì)者的創(chuàng)新能力。隨著比賽水平越來(lái)越高,對(duì)采集到的圖像也要求更加清晰,采集速率更快。而越是簡(jiǎn)單的芯片越穩(wěn)定,采用單片機(jī)和邏輯門(mén)足夠?qū)崿F(xiàn)所需功能[6]。文章中將闡述利用OTV公司的OV7620、Freescale公司的K60芯片以及一些常用的74系列邏輯門(mén)設(shè)計(jì)一套基于并口擴(kuò)展技術(shù)的能夠同時(shí)滿足分辨率和采集幀率的圖像采集系統(tǒng),并給出具體實(shí)驗(yàn)方案[7]。相比于國(guó)內(nèi)智能車類電子信息競(jìng)賽中的圖像采集系統(tǒng),文章中設(shè)計(jì)的系統(tǒng)可以獲得320×240的分辨率,其圖像采集速率可高達(dá)每秒30幀。

1 總體思路設(shè)計(jì)

實(shí)現(xiàn)低速單片機(jī)的高速數(shù)據(jù)采集的關(guān)鍵在于充分利用單片機(jī)豐富的IO口資源。通過(guò)設(shè)計(jì)相應(yīng)電路,把CMOS攝像頭輸出的八位灰度值圖像數(shù)據(jù)轉(zhuǎn)換十六位數(shù)據(jù),一次性讀入。將CMOS的像素同步時(shí)鐘信號(hào)被分頻電路分成奇偶兩列脈沖,其中奇數(shù)列脈沖觸發(fā)74LS374把當(dāng)前輸出的數(shù)據(jù)鎖存起來(lái),等待偶數(shù)列脈沖到來(lái)觸發(fā)K60的中斷,當(dāng)中斷響應(yīng)時(shí),同時(shí)讀取IO口D0~D15的值,即完成一次圖像數(shù)據(jù)的采集。

2 電路設(shè)計(jì)

整個(gè)分頻電路由:74LS04、74LS08、74LS160芯片組成。通過(guò)邏輯門(mén)(與門(mén)、非門(mén)、計(jì)數(shù)器)電路將采集速率分頻,構(gòu)成的四分頻電路能夠?qū)⒉杉俾事槐?能夠確保圖像信息完整不丟失。為了避免電路造成的延時(shí)干擾,選用74LS574芯片等器件組成鎖存電路,將采集到的八位灰度數(shù)據(jù)鎖存到鎖存器中,圖像同步信號(hào)在采集過(guò)程中將使得OUT1、OUT2觸發(fā)鎖存信號(hào),奇數(shù)次采集到的八位圖像數(shù)據(jù)將由OUT1信號(hào)(奇分頻)觸發(fā)鎖存[8],同理,偶數(shù)次采集到的八位圖像數(shù)據(jù)將由OUT2信號(hào)(偶分頻)觸發(fā)鎖存,并且偶分頻信號(hào)將觸發(fā)中斷,將兩次八位圖像灰度值轉(zhuǎn)換成十六位數(shù)據(jù)發(fā)送給K60。硬件原理圖如圖1所示。

圖1 硬件原理圖

在電路圖(如圖2所示)中,IN輸入攝像頭像素時(shí)鐘信號(hào),OUT1、OUT2輸出的是時(shí)鐘信號(hào)分頻后的信號(hào)。

圖2 分頻電路圖

圖3 分頻時(shí)序圖

(由上至下依次為IN_CLK、OUT1、OUT2)

從時(shí)序圖(如圖3所示)中可以看出來(lái),OUT1和OUT2均是從CLK的四分頻后分頻信號(hào),其中OUT1定為奇分頻(即鎖存),OUT2即為偶分頻(鎖存并觸發(fā)發(fā)送中斷)。采用四分頻的原因是:對(duì)于K60來(lái)說(shuō)使用二分頻的采集過(guò)程還是不夠穩(wěn)定,采集效果不佳。圖4和圖5分別是OUT1與IN_CLK實(shí)際信號(hào)圖和OUT1與OUT2實(shí)際信號(hào)圖。

圖4 OUT1與IN_CLK實(shí)際信號(hào)圖

圖5 OUT1與OUT2實(shí)際信號(hào)圖

整個(gè)分頻電路可分解成兩個(gè)部分,第一部分是分頻電路部分完成對(duì)圖像信息的采集,第二部分是鎖存電路分別將兩次采集到的數(shù)據(jù)鎖存,并且在第二次鎖存結(jié)束后將相鄰兩次的八位數(shù)據(jù)組合成十六位發(fā)送給K60,構(gòu)成完整的圖像采集數(shù)據(jù)。

實(shí)驗(yàn)中采用并口擴(kuò)展技術(shù)。該技術(shù)有兩個(gè)主要特點(diǎn):一是同時(shí)并行傳送的二進(jìn)位數(shù)就是數(shù)據(jù)寬度;二是在嵌入式系統(tǒng)與外設(shè)之間采用應(yīng)答式的聯(lián)絡(luò)信號(hào)來(lái)協(xié)調(diào)雙方的數(shù)據(jù)傳送操作,這種聯(lián)絡(luò)信號(hào)又稱為握手信號(hào)。實(shí)驗(yàn)中使用不可編程并行口芯片74LS373,實(shí)現(xiàn)并口擴(kuò)展。其內(nèi)部結(jié)構(gòu)圖如圖6所示。

圖6 74LS373內(nèi)部結(jié)構(gòu)圖

該實(shí)驗(yàn)方案使得圖像質(zhì)量得到提升,分辨率將達(dá)到320?240,其采集速率相比同類型單片機(jī)將高達(dá)30幀/秒。

3 軟件設(shè)計(jì)

K60的圖像采集工作主要包括下面幾個(gè)方面:

(1)圖像傳感器寄存器配置;

(2)場(chǎng)同步,行同步信號(hào)的處理;

(3)像素同步時(shí)鐘信號(hào)的處理;

(4)DMA配置與傳輸。

將D0~D7的數(shù)據(jù)鎖存在74LS374中,數(shù)據(jù)流直接讀取,當(dāng)?shù)诙尾杉綌?shù)據(jù)有D8~D15接收,并且直接發(fā)送到K60上,此時(shí)的該段數(shù)據(jù)流將觸發(fā)中斷,進(jìn)入中斷服務(wù)程序,將74LS374中鎖存的數(shù)據(jù)釋放,再調(diào)用子函數(shù),將兩次采集到的八位數(shù)據(jù)整理成十六位數(shù)據(jù)進(jìn)行處理,實(shí)際上是做一個(gè)并行計(jì)算的處理?？紤]到圖像信息數(shù)據(jù)量大、易丟失,故采取DMA方式進(jìn)行數(shù)據(jù)傳輸及處理。DMA方式具有如下特點(diǎn):

1、外部設(shè)備的輸入輸出請(qǐng)求直接發(fā)給主儲(chǔ)存器。

主存儲(chǔ)器既可以被CPU訪問(wèn),也可以被外圍設(shè)備訪問(wèn)。因此,在主存儲(chǔ)器中通常要有一個(gè)存儲(chǔ)管理部件來(lái)為各種訪問(wèn)主存儲(chǔ)器的申請(qǐng)排隊(duì),一般計(jì)算機(jī)系統(tǒng)把外圍設(shè)備的訪問(wèn)申請(qǐng)安排在最高優(yōu)先級(jí)。

2、不需要做保存現(xiàn)場(chǎng)和恢復(fù)現(xiàn)場(chǎng)等工作,從而使DMA方式的工作速度大大加快。

由于在外圍設(shè)備與主存儲(chǔ)器之間傳送數(shù)據(jù)不需要執(zhí)行程序,因此,也不動(dòng)用CPU中的數(shù)據(jù)寄存器和指令計(jì)數(shù)器等。

3、在DMA控制器中,除了需要設(shè)置數(shù)據(jù)緩沖寄存器、設(shè)備狀態(tài)寄存器或控制寄存器之外,還要設(shè)置主存儲(chǔ)器地址寄存器,設(shè)備地址寄存器和數(shù)據(jù)交換個(gè)數(shù)計(jì)數(shù)器。

外圍設(shè)備與主存儲(chǔ)器之間的整個(gè)數(shù)據(jù)交換過(guò)程全部要在硬件控制下完成。另外,由于外圍設(shè)備一般是以字節(jié)為單位傳送的,而主存儲(chǔ)器是以字為單位訪問(wèn)的,因此,在DMA控制器中還要有從字節(jié)裝配成字和從字拆卸成字節(jié)的硬件。

4、在DMA方式開(kāi)始之前要對(duì)DMA控制器進(jìn)行初始化,包括向DMA控制器傳送主存緩沖區(qū)首地址、設(shè)備地址、交換的數(shù)據(jù)塊的長(zhǎng)度等,并啟動(dòng)設(shè)備開(kāi)始工作。在DMA方式結(jié)束之后,要向CPU申請(qǐng)中斷,在中斷服務(wù)程序中對(duì)主存儲(chǔ)器中數(shù)據(jù)緩沖區(qū)進(jìn)行后處理。如果需要繼續(xù)傳送數(shù)據(jù)的話,要再次對(duì)DMA控制器進(jìn)行初始化。

5、在DMA方式中,CPU不僅能夠與外圍設(shè)備并行工作,而且整個(gè)數(shù)據(jù)的傳送過(guò)程不需要CPU的干預(yù)。如果主存儲(chǔ)器的頻帶寬度足夠的話,外圍設(shè)備的工作可以絲毫不影響CPU運(yùn)行它自身的程序。

基于DMA方式的工作,對(duì)于圖像采集設(shè)備來(lái)說(shuō):從輸入介質(zhì)上讀一個(gè)字節(jié)或字到DMA控制器中的數(shù)據(jù)緩沖寄存器BD中,如果輸入設(shè)備是面向字符的,則要把讀入的字符裝配成字。若一個(gè)字還沒(méi)有裝配滿,則返回到上面;若校驗(yàn)出錯(cuò),則發(fā)中斷申請(qǐng);若一個(gè)字已經(jīng)裝配滿,則將BD中的數(shù)據(jù)送入主存數(shù)據(jù)寄存器。把主存地址寄存器BA(在DMA控制器中)中的地址送入主存地址寄存器,并且將BA中的地址增值至下一個(gè)字地址。把DMA控制器內(nèi)的數(shù)據(jù)交換個(gè)數(shù)計(jì)數(shù)器BC中的內(nèi)容減“1”。若BC中的內(nèi)容為“0”,則整個(gè)DMA數(shù)據(jù)傳送過(guò)程全部結(jié)束,否則返回到最上面繼續(xù)進(jìn)行。

而對(duì)于輸出設(shè)備:把主存地址寄存器BA(在DMA控制器中)中的地址送入主存地址寄存器,并啟動(dòng)主存儲(chǔ)器,同時(shí)將BA中的地址增值至下一個(gè)字地址。將主存儲(chǔ)器數(shù)據(jù)寄存器中的數(shù)據(jù)送入DMA控制器的數(shù)據(jù)緩沖寄存器BD中。如果輸出設(shè)備是面向字符的,則要把BD中的數(shù)據(jù)拆卸字符。把BD中數(shù)據(jù)逐個(gè)字符(對(duì)于面向字符的設(shè)備)或整個(gè)字寫(xiě)到輸出介質(zhì)上。把DMA控制器內(nèi)的數(shù)據(jù)交換個(gè)數(shù)計(jì)數(shù)器BC中的內(nèi)容減“1”。若BC中的內(nèi)容為“0”,則整個(gè)DMA數(shù)據(jù)傳送過(guò)程全部結(jié)束,否則返回到最上面繼續(xù)進(jìn)行。

目前使用的DMA方式實(shí)際上有如下3種:

1、周期竊取方式

在每一條指令執(zhí)行結(jié)束時(shí),CPU測(cè)試有沒(méi)有DMA服務(wù)申請(qǐng),如果有,則CPU進(jìn)入一個(gè)DMA周期。在DMA周期中借用CPU完成上面所列出的DMA工作流程。包括數(shù)據(jù)和主存地址的傳送,交換個(gè)數(shù)計(jì)數(shù)器中的內(nèi)容減“1”,主存地址的增值及一些測(cè)試判斷等。

采用周期竊取方式時(shí),主存儲(chǔ)器可以不與外圍設(shè)備直接相連接,而只與CPU連接,因?yàn)橥鈬O(shè)備與主存儲(chǔ)器的數(shù)據(jù)交換與程序控制輸入輸出方式和中斷輸入輸出方式一樣都是要經(jīng)過(guò)CPU的。

周期竊取方式與程序控制輸入輸出方式和中斷輸入輸出方式的不同處主要在:它不需要使用程序來(lái)完成數(shù)據(jù)的輸入或輸出,只是借用了一個(gè)CPU的周期來(lái)完成DMA流程。因此,其工作速度是很快的。

周期竊取方式的優(yōu)點(diǎn)是硬件結(jié)構(gòu)很簡(jiǎn)單,比較容易實(shí)現(xiàn)。缺點(diǎn)是在數(shù)據(jù)輸入或輸出過(guò)程種實(shí)際上占用了CPU的時(shí)間。

2、直接存取方式

這是一種真正的DMA方式。DMA控制器的數(shù)據(jù)傳送申請(qǐng)不是發(fā)向CPU,而是直接發(fā)往主存儲(chǔ)器。在得到主存儲(chǔ)器的響應(yīng)之后,整個(gè)DMA工作流程全部在DMA控制器中用硬件完成。

直接存取方式的優(yōu)點(diǎn)與缺點(diǎn)正好與周期竊取方式相反。

目前的多數(shù)計(jì)算機(jī)系統(tǒng)均采用直接存取方式工作。

3、數(shù)據(jù)塊傳送方式

在設(shè)備控制器中設(shè)置一個(gè)比較大的數(shù)據(jù)緩沖存儲(chǔ)器,一般要能夠存放下一個(gè)數(shù)據(jù)塊,如在軟磁盤(pán)存儲(chǔ)器中通常設(shè)置512個(gè)字節(jié)的數(shù)據(jù)緩沖存儲(chǔ)器。與設(shè)備介質(zhì)之間的數(shù)據(jù)交換在數(shù)據(jù)緩沖存儲(chǔ)器中進(jìn)行。設(shè)備控制器與主存儲(chǔ)器之間的數(shù)據(jù)交換以數(shù)據(jù)塊為單位,并采用程序中斷方式進(jìn)行。

文章中采用的是第一種方式,程序流程圖如圖7所示。

圖7 程序流程圖

4、實(shí)驗(yàn)效果圖

采用該技術(shù)處理前后的圖像對(duì)比如圖8(a) (b)所示。

圖8 (a) 處理前

圖8 (b) 處理后

通過(guò)對(duì)比可明顯看出兩者之間的差異,圖8 (a)中噪點(diǎn)較多,畸變明顯,圖像分辨率差,可處理性差;而在圖8(b)中,不難看出圖像質(zhì)量明顯改善,分辨率大幅度提高,圖像平滑無(wú)噪點(diǎn)。證明該方案切實(shí)可行。

圖9 實(shí)物電路連接圖

為保征該方案能在各個(gè)智能車類電子信息類競(jìng)賽中占得先機(jī),其運(yùn)行穩(wěn)定性、可靠性及精度將是決定比賽勝負(fù)的關(guān)鍵,為實(shí)現(xiàn)這幾點(diǎn),實(shí)驗(yàn)中通過(guò)分頻鎖存的手段保證了圖像信息的完整性,在保證圖像采集速率的前提下,提高了圖像的分辨率、確保軟硬件運(yùn)行的穩(wěn)定性、可靠性,在DMA及并行口擴(kuò)展技術(shù)的模式下使圖像采集精度將大大提高,既滿足了對(duì)采集速率的要求又滿足了對(duì)分辨率的需求,進(jìn)而保證圖像信息處理的時(shí)效性,一舉多得。

根據(jù)總體設(shè)計(jì)思路,搭建電路,對(duì)?；者M(jìn)行實(shí)時(shí)采集。實(shí)物連接圖如圖9所示,采集效果圖如圖10所示。

圖10 采集效果圖

4 結(jié) 論

由于單片機(jī)、邏輯芯片的研發(fā)成本低、研發(fā)難度小,對(duì)于初學(xué)者來(lái)說(shuō)功能易于實(shí)現(xiàn),仍有較高的實(shí)踐及利用價(jià)值。

文章中采用FreescareK60搭配邏輯門(mén)電路,設(shè)計(jì)一種基于COMS數(shù)字?jǐn)z像頭的低速單片機(jī)的實(shí)時(shí)采集方案,并對(duì)硬件電路和軟件實(shí)現(xiàn)流程進(jìn)行了說(shuō)明。該方案能夠?qū)⒉杉直媛蕪拿啃?60個(gè)像素點(diǎn)提高到每行320個(gè)像素點(diǎn),確保整張圖片無(wú)噪點(diǎn)。實(shí)驗(yàn)結(jié)果表明:采取此方案,圖像采集速度、圖像質(zhì)量都有大幅提高,此方案切實(shí)可行。

[1] 徐利文.智能車電機(jī)控制和圖像采集系統(tǒng)設(shè)計(jì)與研究[D].長(zhǎng)安大學(xué),2012.

[2] 朱江轉(zhuǎn),羅鍛斌.全息照相實(shí)驗(yàn)中圖像采集數(shù)碼裝置的應(yīng)用[J].大學(xué)物理實(shí)驗(yàn),2014(6):17-20.

[3] Bishop R.Survey of Intelligent Vehicle ApplicationsWorldwide[J].Proceedings of the IEEE Intelligent Vehicles Symposium.2000,108(16):509-516

[4] 薛志文,周敏,楊傲雷,等.攝像頭智能車調(diào)試系統(tǒng)的設(shè)計(jì)與開(kāi)發(fā)[J].儀表技術(shù),2014(11):47-51.

[5] 鄭建英.數(shù)字圖像處理技術(shù) [J].內(nèi)蒙古科技與經(jīng)濟(jì),2002(5):58-59.

[6] 王詩(shī)元,呂子豪,田洪亮.攝像頭組智能車圖像預(yù)處理算法研究[J].無(wú)線互聯(lián)科技,2014(11):136 +164.

[7] 胡房武.基于圖像采集的智能車系統(tǒng)設(shè)計(jì)[D].大連海事大學(xué),2011.

[8] 張春生,常青.特殊分頻電路設(shè)計(jì)[J].現(xiàn)代電子技術(shù),2006(6):112-113+116.

The Real-Time Acquisition of Low Speed M icrocontroller Based on COMSDigital Video Camera

CHEN Yong-chang,LU Li-hong,SUN Ke-liang
(Tianjin Polytechnic University,Tianjin 300387)

The domestic undergraduate intelligent vehicle design competition and relevant electronic information competition is set as the background in this paper.In order to solve themismatch problem between image output of COMS digital video camera used on the intelligent vehicle and sampling speed ofmicrocontroller,a real-time acquisition scheme of low speed microcontroller based on COMSdigital video camera is proposed.It has advantages of low cost,easy realization,high resolution and full frame rate,and so on,which can increase acquisition resolution from 160 pixel points per row to 320 pixel points per row.Thewhole picture has no error point.The experiment shows that thismethod can reduce the requirements of the hardware,carry out high speed data acquisition at the same time,save cost and provide a new way for high speed data acquisition of low speed microcontroller.

image acquisition;microcontroller;COMS;parallel ports expansion

O 4-39

A

10.14139/j.cnki.cn22-1228.2015.006.006

1007-2934(2015)06-0018-06

2015-07-17

國(guó)家級(jí)大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃(201310058047)

?通訊聯(lián)系人