基于DSP的電子行走輔助系統(tǒng)的設(shè)計與實現(xiàn)

彭玉青，李虹陽，田紅麗，李 木

（河北工業(yè)大學(xué) 計算機科學(xué)與軟件學(xué)院，天津300401）

0 引 言

數(shù)字圖像處理技術(shù)的發(fā)展為導(dǎo)盲研究提供了新的途徑，在嵌入式圖像處理領(lǐng)域，DSP處理器獨立的數(shù)據(jù)程序總線、多級流水線等特性，可靈活的實現(xiàn)各種復(fù)雜的算法，大大提高系統(tǒng)工作效率，使其成為實時圖像處理的最佳選擇［1］。

隨著電子行走輔助系統(tǒng)研究的發(fā)展，各種形式的導(dǎo)盲設(shè)備也應(yīng)運而生，如超聲波電子導(dǎo)盲儀、GPS定位導(dǎo)盲拐杖、基于RFID 電子標(biāo)簽的助盲輔具等等。目前電子行走輔助系統(tǒng)使用成本均相對較高，例如建立大型RFID 系統(tǒng)需鋪設(shè)大量電子標(biāo)簽，工程量浩大［2，3］。目前各城市的盲道設(shè)施均已普及，文章以圖像處理為基礎(chǔ)，以城市中現(xiàn)有的盲道為主要處理對象，將處理結(jié)果以語音的形式對視障者進行提示，實現(xiàn)圖像的可聽化，不僅能加強視障者對周圍環(huán)境的理解，還可以大大降低使用成本。

1 系統(tǒng)的功能與框架

ETA 系統(tǒng) （電子行走輔助系統(tǒng)）是利用傳感器獲取環(huán)境數(shù)據(jù)信息，提取環(huán)境特征信號轉(zhuǎn)換成易于視障者理解的非視覺信號，進而輔助視障者獨立而安全行走的系統(tǒng)［4］。本系統(tǒng)通過攝像頭實時的采集使用者行進前方的視頻圖像并進行存儲，之后送DSP處理器處理，進行路面情況的檢測。對檢測到的盲道、障礙物、人行橫道、上下樓臺階等等行進過程可能遇到的情況分類，把處理結(jié)果送音頻提示終端進行相應(yīng)提示，提示使用者前方路面情況并根據(jù)需要調(diào)整行進方向和速度。如圖1所示，系統(tǒng)主要由圖像采集、數(shù)據(jù)存儲、圖像處理和音頻輸出4大部分構(gòu)成。

圖1 系統(tǒng)主要功能模塊

2 系統(tǒng)硬件設(shè)計

2.1 圖像采集模塊

本系統(tǒng)的圖像采集模塊主要由圖像傳感器和視頻解碼器組成。圖像傳感器選取的是CCD 攝像頭，其功能為采集視頻信號并以PAL制式輸出，將該信息輸出給視頻解碼器進行數(shù)字化，以便于DSP處理器進行數(shù)字信號處理。數(shù)字化后的視頻信號經(jīng)DSP的VP端口內(nèi)部FIFO 隊列緩沖后，以EDMA 的方式傳至片外SDRAM 中存儲［5］。

其中視頻解碼器采用TI公司的TVP5150PBS，它是一款使用簡易、超低功耗、封裝極小的多制式數(shù)字視頻解碼器?？赏ㄟ^I2C總線控制它內(nèi)部寄存器的參數(shù)，比如色調(diào)，對比度，亮度等［6］。

圖像信號采集過程：首先，對TVP5150進行初始化，這是通過I2C總線進行的。本系統(tǒng)中TVP5150的初始設(shè)定為：一路模擬視頻信號輸入、自動增益控制、PAL 制式、YUV422 （16bit）數(shù)字視頻信號輸出。其次，TVP5150芯片產(chǎn)生的數(shù)字視頻信號、控制信號和狀態(tài)信號送入DM642中，即把解碼器的行場同步信號、視頻信號等管腳連接到DSP的視頻端口VP［7，8］，從而建立數(shù)據(jù)通道，以便進行相應(yīng)的數(shù)據(jù)傳輸。最后，通過DSP 處理器發(fā)出圖像采集命令后進行圖像采集。由CCD 攝像頭采集并輸出圖像模擬信號，經(jīng)視頻解碼芯片，把模擬信號轉(zhuǎn)化成數(shù)字信號，存儲在SDRAM 中。

2.2 數(shù)據(jù)存儲模塊

2.2.1 DSP與SDRAM 的接口電路設(shè)計

經(jīng)過圖像采集到的數(shù)據(jù)需要進行實時的存儲，由于DSP內(nèi)部自帶的二級緩存對于實時圖像數(shù)據(jù)存儲來說是遠(yuǎn)遠(yuǎn)不夠的，所以實時圖像的存儲要通過外部SDRAM 來完成［9］。系統(tǒng)選用兩片型號為HY57V283220T 的SDRAM 存儲實時圖像數(shù)據(jù)，其容量為32M 的，存儲格式為4Banks×1 M×32Bit。

圖2所示為其中一片SDRAM 與DSP 的外部存儲器接口EMIF電路連接示意圖，SDRAM 的CLK 與DSP的二分頻時鐘輸出端TCLK 相連，以滿足HY57V283220T 時鐘100 MHz的要求。DSP的TED［0：31］和TBE［0：3］接到一片SDRAM 的DQ［0：31］和DQM［0：3］，TED［32：63］和TBE［4：7］接到另一片SDRAM 的DQ 和DQM，用于讀寫SDRAM 時控制和屏蔽數(shù)據(jù)的輸入輸出。

圖2 SDRAM 與DSP的EMIF電路連接

2.2.2 DSP與FLASH 的接口電路設(shè)計

本系統(tǒng)采用型號為AM29LV033C 的FLASH 芯片，容量為4 M×8bit，F(xiàn)LASH 主要用于存放用戶程序代碼，以及一些相關(guān)的數(shù)據(jù)，由于FLASH ROM 掉電不擦除，所以系統(tǒng)算法程序調(diào)試好之后，將程序燒寫固化到FLASH 中，硬件板即可脫離PC機在線調(diào)試模式，獨立的完成工作，系統(tǒng)上電后，用戶程序代碼自動從FLASH 搬移到SDRAM然后開始執(zhí)行［10］。與SDRAM類似，F(xiàn)LASH芯片通過EMIF與DSP相連。

2.3 圖像處理模塊

本模塊主要是對數(shù)字化的圖像信號進行算法處理，經(jīng)過圖像預(yù)處理，特定圖像算法處理，包括盲道識別，障礙物檢測，人行橫道檢測等算法，根據(jù)圖像處理結(jié)果進行圖像聲音映射，并發(fā)出相應(yīng)的音頻提示信號。

本系統(tǒng)的主處理器采用TI公司的高性能DSP 芯片TMS320DM642，其內(nèi)核有64個32位字長的通用寄存器和8個獨立的功能單元，每秒可提供2880百萬個MAC，片內(nèi)采用2級高速緩存Cache結(jié)構(gòu)，片外有強大的外部存儲器接口EMIF，64個獨立通道的增強型EDMA 控制器，提供了3個視頻端口，支持多種視頻標(biāo)準(zhǔn)，配置靈活［11］，片上資源豐富。

在本系統(tǒng)中，視頻解碼器通過3個可配置的視頻端口（VP0、VP1、VP2）接入DSP，由于系統(tǒng)采用一路視頻輸入，默認(rèn)使用VP0端口采集圖像數(shù)據(jù)，DM642通過I2C 總線控制圖像采集過程，并設(shè)置視頻解芯片內(nèi)部寄存器的相關(guān)參數(shù)；外部存儲器SDRAM 和FLASH 都通過EMIF （外部存儲器接口）與DM642 相連接，采用增強的EDMA 方式進行數(shù)據(jù)傳輸，從而建立起了高速數(shù)據(jù)傳輸通道；語音處理芯片通過McASP （多通道音頻串行接口）與DM642相連。DM642的McASP 接口主要用于音頻處理，提供了一個發(fā)射時鐘和一個接收時鐘，使得數(shù)據(jù)的發(fā)送與接收工作可以完全獨立的進行，也可以同步進行。

2.4 音頻模塊

系統(tǒng)音頻處理芯片采用的是TI公司的音頻編解碼器TLV320AIC23BPW，它內(nèi)置耳機輸出放大器，輸入和輸出都具有可編程的增益調(diào)節(jié)功能，并且具有很低的功耗。這使得它成為一款非常理想的音頻處理芯片［12］。TLV320AIC23通過McASP接入DM642。

TLV320AIC23與DM642通過控制接口和數(shù)字音頻接口相連，控制接口用于設(shè)置AIC23的工作參數(shù)；數(shù)字音頻接口用于TLV320AIC23與DM642的音頻數(shù)據(jù)傳輸。

如圖3 所示為TLV320AIC23 與DM642 連接。其中BCLK 為串行數(shù)據(jù)傳輸時鐘，當(dāng)TLV320AIC23BPW 為主模式時BCLK 由其自身產(chǎn)生并提供給DSP，頻率為主時鐘的1／4，當(dāng)AIC23為從模式時由DSP產(chǎn)生；DIN 為串行數(shù)據(jù)輸入端，送入立體聲DAC，DOUT 為串行數(shù)據(jù)輸出端，由立體聲ADC 產(chǎn)生；XTI／MCLK 為外部時鐘輸入端，用來產(chǎn)生AIC23內(nèi)部時鐘［13］。

圖3 TLV320AIC23與DM642連接

2.5 系統(tǒng)總體硬件結(jié)構(gòu)

綜上所述，系統(tǒng)總體硬件結(jié)構(gòu)及器件選擇如圖4所示。

圖4 系統(tǒng)總體硬件結(jié)構(gòu)

系統(tǒng)主要是以DSP為核心，通過攝像頭實時采集圖像數(shù)據(jù)，經(jīng)過視頻解碼器TVP5150PBS解碼，將解碼后的數(shù)字信號在外部SDRAM 中做實時的存儲，然后由DSP 數(shù)字信號處理器TMS320DM642對圖像數(shù)字信號進行處理，根據(jù)處理結(jié)果控制輸出的音頻提示信息，經(jīng)過音頻處理芯片TLV320AIC23BPW，將相應(yīng)的音頻提示信息由耳機輸出。其中FLASH 用于存儲用戶程序代碼，SDRAM 用于存儲實時圖像數(shù)據(jù)，另設(shè)有可擴展的以太網(wǎng)接口、異步通信串口、PCI接口供系統(tǒng)進行其它模塊的擴展。例如，可通過PCI接口擴展為雙核DSP系統(tǒng)，通過網(wǎng)口接入GPS等模塊，使系統(tǒng)具有較好的可擴展性。

3 系統(tǒng)軟件設(shè)計

在系統(tǒng)上電啟動后，DSP 程序加載與啟動。系統(tǒng)流程如圖5所示。

（1）進行DSP和系統(tǒng)板的初始化，包括初始化BIOS和初始化CSL庫。并且設(shè)置Cache，使用256K 的2級高速緩存。設(shè)置DMA 優(yōu)先隊列的長度取最大值。設(shè)置2級高速緩存的優(yōu)先級最高。

（2）進行通道模塊的初始化，包括I2C 總線的初始化和消息隊列的初始化。I2C總線用于內(nèi)部單元通訊，SCOM消息隊列用于任務(wù)間傳遞消息。并且分別建立和啟動一個采集和播放通道［14］。

（3）進行視頻解碼器和音頻處理芯片的初始化。設(shè)置相關(guān)參數(shù)，打開視頻采集和音頻播放通道。

在完成初始化任務(wù)之后，BIOS調(diào)度程序啟動，系統(tǒng)進入DSP／BIOS調(diào)度程序管理下，此時系統(tǒng)中有3 個任務(wù)，任務(wù)通過消息隊列互相發(fā)送消息，3 個任務(wù)分別為輸入任務(wù)、處理任務(wù)和輸出任務(wù)，處理任務(wù)在收到輸入任務(wù)采集到圖像的消息后開始進行圖像處理，處理完成后，發(fā)送消息到輸出任務(wù)，輸出任務(wù)收到來自處理任務(wù)的消息將消息中的音頻輸出，然后發(fā)送消息到輸入任務(wù)，輸入任務(wù)收到輸出任務(wù)消息開始下一次圖像采集任務(wù)，如此往復(fù)循環(huán)進行。

圖5 系統(tǒng)軟件工作流程

4 實驗測試與分析

本文設(shè)計的硬件平臺能夠通過使用不同算法檢測盲道、障礙物、人行橫道、臺階、轉(zhuǎn)角等等路況，下面以盲道為例進行驗證。

4.1 圖像處理結(jié)果

由于系統(tǒng)輸出為音頻模式，無法對圖像處理結(jié)果進行直觀驗證，在研究設(shè)計過程中加入了視頻顯示部分，將圖像處理結(jié)果通過顯示屏進行輸出，以便直接觀察系統(tǒng)的流暢性和圖像處理效果。在系統(tǒng)運行過程中，圖像能夠?qū)崟r的將攝像頭采集圖像的處理結(jié)果顯示到顯示屏上，且畫面清晰流暢。以下為盲道處理的部分實時實驗結(jié)果圖像。

圖6所示為實驗對比使用不同邊緣提取算子處理的盲道圖像，分別為采用Prewitt邊緣算子，Laplacian 邊緣算子，Sobel邊緣算子的結(jié)果，由實驗結(jié)果看出，Prewitt邊緣算子比較清晰的提取出了盲道內(nèi)部的紋理信息，但丟失了左邊緣信息，不能夠獲取完全的盲道邊緣信息；Laplacian邊緣算子提取邊緣效果較模糊，能夠提取盲道內(nèi)部紋理，左邊緣完全丟失；Sobel算子提取出的邊緣信息較為全面，但冗余信息較多。

圖6 不同邊緣提取算子結(jié)果對比

鑒于直接進行邊緣提取，圖像中冗余信息較多，所以先對圖像進行濾波處理，除去部分噪聲和次要信息，圖7所示為先采用高斯低通濾波器消除部分噪聲和冗余信息然后進行Sobel邊緣提取效果圖，截止頻率分別設(shè)置為60、50、40，由實驗結(jié)果可以看出，在截止頻率為50時，盲道大部分信息冗余可以被去除而不影響盲道邊緣的提取。

圖7 采用濾波器處理結(jié)果

對盲道做濾波處理，濾去部分冗余信息后，進行邊緣提取，結(jié)果如圖8所示，可以看出Prewitt算子提取的邊緣不連續(xù)，Laplacian邊緣算子提取的盲道邊緣非常模糊，sobel算子提取的邊緣效果較為清晰。

圖8 濾波后不同邊緣算子結(jié)果對比

實驗顯示系統(tǒng)首先經(jīng)過高斯低通濾波處理，然后采用Sobel算子能夠比較清楚的提取出盲道邊緣。

圖9為系統(tǒng)進行閾值分割的處理效果圖，由結(jié)果看出，系統(tǒng)能夠正確的分割出盲道區(qū)域，進而可以得到盲道兩條邊緣直線，然后通過霍夫變換提取出盲道兩條邊緣線的角度θ1和θ2，即可確定使用者偏離盲道的程度，從而進行音頻提示［15］。

圖9 盲道閾值分割效果

4.2 聽覺映射方案

圖像聲音映射，主要是把從圖像處理中獲取的盲道的方向和障礙物信息，通過映射模型轉(zhuǎn)換成相應(yīng)的音頻參數(shù)，再用這些音頻參數(shù)控制音頻的播放。

構(gòu)成視障礙者在盲道行走障礙的環(huán)境信息主要可以分成兩種：

（1）道路方向。即偏離盲道行走程度，提取盲道的邊緣線來代表盲道方向，θ1和θ2分別表示盲道兩根邊緣線的角度。當(dāng)若θ1和θ2異號，說明在盲道上，若θ1和θ2同為負(fù)，說明偏左；若θ1和θ2同為正，說明偏右。

（2）障礙物。即盲道附近的會影響盲人行走的物體，障礙物距離Ly。

本系統(tǒng)采用音頻的響度和間隔時間兩個參數(shù)來表示盲道偏離程度，偏離程度越大，響度越大，間隔時間越短，使用戶更容易辨別。用鑼聲來表示障礙物，笛聲和水聲分別表示偏左和偏右，聲音響度的大小和持續(xù)時間表示偏離盲道的程度。表1所示為環(huán)境信息的聲音映射方案。

表1 環(huán)境信息的聲音映射方案

5 結(jié)束語

本系統(tǒng)以DSP 為核心構(gòu)建了一套能夠幫助盲人獨立行走的電子行走輔助系統(tǒng)，詳述了系統(tǒng)的硬件模塊設(shè)計和軟件工作流程，并以盲道處理為例分析了圖像處理結(jié)果并給出了聽覺映射方案。實驗結(jié)果表明，系統(tǒng)整體運行流暢，具有良好的實時性，且能夠正確分割出盲道區(qū)域，提取出盲道邊緣。

系統(tǒng)充分利用DSP強大的數(shù)據(jù)處理能力，通過攝像頭實時采集圖像數(shù)據(jù)，經(jīng)DSP 芯片處理，以聲音的形式輸出，從而幫助視障者獨立行走，實現(xiàn)了不借助pc機任何資源即可完成對圖像的實時采集、轉(zhuǎn)換、存儲、處理以及音頻輸出等相關(guān)工作，大大降低了系統(tǒng)成本，提高了系統(tǒng)可靠性。系統(tǒng)的聽覺映射方案切實可行，配合傳統(tǒng)導(dǎo)盲杖使用具有較好使用效果。與傳統(tǒng)助盲設(shè)備相比提高了導(dǎo)盲精度，與大型電子盲道或全球定位系統(tǒng)相比又節(jié)省了成本，且設(shè)備精簡小巧，便于攜帶，具有較強的推廣和實用價值。

［1］ZHANG Shengyan，HE Yizheng，SUN Jun.A hardware design of video processing system based on processor TMS320DM642 ［J］.Avionics Technology，2009，40 （1）：39－42 （in Chinese）.［章圣焰，何儀征，孫軍.基于TMS320DM642的視頻處理模塊的硬件設(shè)計 ［J］.航空電子技術(shù)，2009，40（1）：39－42.］

［2］Shuang Z，Gang J，Yu－ping Q.DSP－based parallel processing model of image rotation ［J］.Procedia Engineering，2011，15：2222－2228.

［3］LIU Yanjun.Design and implementation of embedded DSP image processing system ［J］.Foreign Electronic Measurement Technology，2013，32 （9）：11－14 （in Chinese）. ［劉巖俊.嵌入式DSP圖像處理系統(tǒng)設(shè)計與實現(xiàn) ［J］.國外電子測量技術(shù)，2013，32 （9）：11－14.］

［4］XU Yonghui，YANG Jingli，LIN Lianlei.TMS320DM642 DSP principle and application practice ［M］.1st ed.Beijing：Electronic Industry Press，2012：10－11 （in Chinese）. ［徐永輝，楊京禮，林連雷.TMS320DM642 DSP 原理與應(yīng)用實踐［M］.1版.北京：電子工業(yè)出版社，2012：10－11.］

［5］Wasfy W，Zheng H.General structure design for fast image processing algorithms based upon FPGA DSP slice［J］.Physics Procedia，2012，33：690－697.

［6］JI Yatai.Research and design of the image acquisition and processing system based on DSP ［J］.Software，2013，34 （2）：22－25 （in Chinese）.［吉亞泰.基于DSP的圖像采集與處理系統(tǒng)的研究與設(shè)計 ［J］.軟件，2013，34 （2）：22－25.］

［7］LIU Yan.Design and implement of embedded real－time image processing system based on DSP ［J］.Journal of Dalian Nationalities University，2013，15 （1）：77－79 （in Chinese）. ［劉燕.基于DSP 嵌入式實時圖像處理系統(tǒng)的設(shè)計與實現(xiàn) ［J］.大連民族學(xué)院學(xué)報，2013，15 （1）：77－79.］

［8］LV Qiang，LIU Zhijun，WANG Keke.Design of real－time image processing system based on TMS320DM642／Matlab［J］.Electronic Design Engineering，2009，17 （4）：26－28（in Chinese）.［呂強，劉志軍，王珂珂.基于TMS320DM642＿Matlab 的實時圖像處理系統(tǒng)設(shè)計 ［J］.電子設(shè)計工程，2009，17 （4）：26－28.］

［9］LONG Yingxue，ZHANG Chunxi，YI Xiaosu.Design and realization of video capture and compression system based on DM642 ［J］.Electronic Measurement Technology，2012，35（9）：52－55 （in Chinese）. ［龍映雪，張春熹，伊小素.基于DM642的視頻采集與處理系統(tǒng)設(shè)計及實現(xiàn) ［J］.電子測量技術(shù)，2012，35 （9）：52－55.］

［10］GAO Xiong，WANG Min，ZONG Dawei.Design of video capture system based on TMS320DM642 ［J］.Journal of Huazhong University of Science and Technology，2011，39（S2）：144－146 （in Chinese）. ［高熊，王敏，宗大偉.基于TMS320DM642的視頻采集系統(tǒng)設(shè)計 ［J］.華中科技大學(xué)學(xué)報，2011，39 （S2）：144－146.］

［11］CHEN Bukang，WANG Yuanqin，ZHOU Chenggang.Airplane’s video image real－time compression system with TMS320DM642 ［J］.Foreign Electronic Measurement Technology，2011，30 （1）：61－63 （in Chinese）.［陳步康，王元欽，周成剛.基于TMS320DM642的機載視頻圖像實時壓縮與處理系統(tǒng)［J］.國外電子測量技術(shù)，2011，30 （1）：61－63.］

［12］DAI Quan，YANG Yingping，JIA Xinting.Design of realtime image acquisition and processing platform based on DSP and FPGA ［J］.Microcomputer and Its Applications，2013，32 （11）：45－46 （in Chinese）.［戴權(quán)，楊應(yīng)平，賈信庭.基于DSP和FPGA 的實時圖像采集處理系統(tǒng)的設(shè)計 ［J］.微型機與應(yīng)用，2013，32 （11）：45－46.］

［13］ZHAO Zebiao，CHANG Danhua.Gesture recognition for wearable motion sensors based on DSP ［J］.Computer Engineering and Design，2013，34 （4）：1250－1254（in Chinese）.［趙澤彪，常丹華.基于DSP的穿戴式動作傳感器的手勢識別［J］.計算機工程與設(shè)計，2013，34 （4）：1250－1254.］

［14］Chavarrias M，Pescador F，Garrido M J，et al.A DSP－Based HEVC decoder implementation using an actor language dataflow model［J］.IEEE Transactions on Consumer Electronics，2013，59 （4）：839－847.

［15］Jun－long F，Dong Z，Yi－bo Q.Back ground segmentation of cucumber target based on DSP ［J］.Journal of Northeast Agricultural University （The English Version），2013 （3）：78－82.