基于指紋傳感器的盲文識(shí)別算法研究?

楊 勝 陶 磊 賀磊盈

（浙江理工大學(xué) 杭州 310018）

1 引言

目前我國(guó)約有盲人1000萬(wàn)，占全世界盲人總數(shù)的18%。每年平均約有45萬(wàn)人失明，即幾乎每分鐘便會(huì)出現(xiàn)一例新盲人。盲文學(xué)習(xí)方式單一，且現(xiàn)行盲文無(wú)音調(diào)，存在相同或相似點(diǎn)陣，學(xué)習(xí)難度極大。因此研發(fā)一款能夠幫助盲人在未能學(xué)習(xí)盲文的時(shí)候閱讀盲文信息或?qū)W習(xí)盲文的設(shè)備非常有必要。該裝置能解決盲人閱讀困難的問(wèn)題，讓更多盲人有機(jī)會(huì)接觸盲文，學(xué)會(huì)盲文，讓盲文的學(xué)習(xí)變得更加高效、簡(jiǎn)單，提高盲人的受教育水平，進(jìn)而提升盲人的就業(yè)能力，改善盲人的生活狀況。

國(guó)外的盲人人機(jī)信息交互研究工作已顯露出要由實(shí)驗(yàn)室轉(zhuǎn)向商品化的明顯跡象?？死神R大學(xué)Zhenfei Tai等提出了一種新的盲文識(shí)別系統(tǒng)，可用于自動(dòng)確定垂直和水平方向上的旋轉(zhuǎn)角度、凹痕和間距，確定圖像旋轉(zhuǎn)角度的關(guān)鍵因素［1］。Sohar大學(xué)，阿曼大學(xué)Kebangsaan Malaysia的Abdallah M.Abualkishik等為古蘭經(jīng)盲文翻譯（QBT）提供了一個(gè)特定的翻譯，實(shí)現(xiàn)將古蘭經(jīng)經(jīng)文和他們的背誦規(guī)則翻譯成盲文代碼［2］。在國(guó)內(nèi)，盲文識(shí)別研究也已取得一定研究成果，清華大學(xué)江銘虎等已初步實(shí)現(xiàn)了盲文至漢字的轉(zhuǎn)換，為盲文的計(jì)算機(jī)翻譯提供了方法［3］。長(zhǎng)春大學(xué)李念峰等運(yùn)用圖像處理技術(shù)進(jìn)行了基于圖像處理的盲文自動(dòng)識(shí)別系統(tǒng)的研究，能較為準(zhǔn)確地識(shí)別并翻譯盲文圖像［4］。長(zhǎng)春理工大學(xué)尹佳利用數(shù)字?jǐn)z像機(jī)采集盲文圖像，并能讀出漢語(yǔ)拼音，有效地解決了單雙面紙介盲文的提取識(shí)別問(wèn)題［5］。西安科技大學(xué)黨海巖等于2007年對(duì)中國(guó)盲文計(jì)算機(jī)系統(tǒng)語(yǔ)句級(jí)輸入法進(jìn)行了研究，進(jìn)一步優(yōu)化了盲文翻譯的算法步驟，提高了翻譯的準(zhǔn)確度［6］。昆明理工大學(xué)李榮瑞等構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)盲文特征，在多種噪聲條件下均可取得較高的識(shí)別率［7］。河海大學(xué)李婷等提出一種基于深度學(xué)習(xí)的盲文點(diǎn)字識(shí)別方法，利用深度模型——堆疊去噪自動(dòng)編碼器，解決了盲文識(shí)別中特征的自動(dòng)提取與降維等問(wèn)題［8］。東北大學(xué)王倩倩等采用垂直分割法和連通域標(biāo)簽類分割法相結(jié)合的形式對(duì)簡(jiǎn)譜符號(hào)進(jìn)行分割，將識(shí)別組合好的明文簡(jiǎn)譜轉(zhuǎn)換為盲人可以閱讀學(xué)習(xí)的樂(lè)譜［9］。蘭州大學(xué)劉彪通過(guò)設(shè)計(jì)基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的盲文音樂(lè)圖片識(shí)別模型，形成了以CNN為基礎(chǔ)的盲文音樂(lè)圖片識(shí)別方法，達(dá)到了很好的準(zhǔn)確率［10］。以上這些方法和系統(tǒng)大多數(shù)都用來(lái)識(shí)別盲文，但不適合盲人直接閱讀盲文書籍。

本文主要研究?jī)?nèi)容是利用半導(dǎo)體指紋傳感器采集盲文點(diǎn)陣信息并研發(fā)出一套有效準(zhǔn)確的穿戴式盲文識(shí)別裝置。通過(guò)圖像處理技術(shù)對(duì)采集的盲文圖像信息進(jìn)行預(yù)處理、二值化處理、開運(yùn)算、連通域檢測(cè)、重心計(jì)算及坐標(biāo)索引號(hào)的轉(zhuǎn)換，從而準(zhǔn)確獲取盲文編碼，再與國(guó)家標(biāo)準(zhǔn)盲文庫(kù)進(jìn)行比對(duì)獲得正確的盲文信息，最終通過(guò)語(yǔ)音模塊播放。

2 盲文的識(shí)別

2.1 盲文信息的概述

盲文分很多種，我國(guó)現(xiàn)行盲文經(jīng)《新盲字方案》規(guī)定，該方案有五十二個(gè)字母，每個(gè)音節(jié)有聲韻兩個(gè)點(diǎn)符組成，分詞連寫，必要時(shí)使用少量聲調(diào)符號(hào)以區(qū)別同音字和生僻詞。每個(gè)盲文由3×2的點(diǎn)陣構(gòu)成，通過(guò)不同的排列方式代表不同的意義，把盲文和漢字聯(lián)系在一起。同時(shí)盲文凸點(diǎn)間距約為2.4mm左右，相鄰點(diǎn)陣間的距離約為4mm。

2.2 盲文信息的采集

圖像采集部分為ZFMS-21系列半導(dǎo)體指紋采集模塊，模塊以高性能高速DSP處理器AS601為核心，采集圖像的尺寸192×192，采集頭的有效區(qū)域?yàn)?.6mm×9.6mm，分辨率為508DPI。這樣，每個(gè)盲文凸點(diǎn)在圖像中的相鄰距離為48個(gè)像素點(diǎn)。本文研究過(guò)程中采用的圖像采集裝置如圖1所示。

圖1 半導(dǎo)體指紋傳感器

當(dāng)前市面上大多數(shù)半導(dǎo)體指紋傳感器均已要求接觸表面為微導(dǎo)電環(huán)境，而盲文大多數(shù)為紙質(zhì)。在紙質(zhì)盲文所造成的絕緣環(huán)境下，半導(dǎo)體指紋傳感器無(wú)法采集指紋圖像數(shù)據(jù)。在紙質(zhì)盲文上涂上一層導(dǎo)電膠可以滿足預(yù)期的采集要求，后期為滿足移動(dòng)使用在任意紙質(zhì)盲文上，也可以在半導(dǎo)體指紋傳感器上加裝導(dǎo)電碳膜。這些能為半導(dǎo)體指紋傳感器營(yíng)造出一個(gè)很好的微導(dǎo)電環(huán)境，從而實(shí)現(xiàn)盲文點(diǎn)陣圖像的有效采集。

由于半導(dǎo)體指紋傳感器傳感面積的尺寸較小，采集區(qū)域最多可包含兩個(gè)盲文點(diǎn)陣。這與數(shù)字?jǐn)z像機(jī)采集盲文相比，控制了其他點(diǎn)陣對(duì)目標(biāo)點(diǎn)陣的干擾，可以從硬件上實(shí)現(xiàn)對(duì)單個(gè)點(diǎn)陣的識(shí)別，有效提高了盲文識(shí)別的準(zhǔn)確性。同時(shí)由于獲取盲文圖像尺寸像素較小，盲文圖像的傳輸速度較快。

2.3 盲文凸點(diǎn)的提取

盲文點(diǎn)陣的提取使用的數(shù)學(xué)形態(tài)學(xué)處理包括二值化、開運(yùn)算、連通域檢測(cè)、形狀篩選和重心計(jì)算。通過(guò)這一系列的運(yùn)算即可得到各點(diǎn)陣的重心坐標(biāo)、大小和周長(zhǎng)。

2.3.1 盲文圖像的預(yù)處理

由于半導(dǎo)體指紋傳感器為接觸式電容傳感器，使用時(shí)圖像會(huì)因?yàn)槭褂谜咧讣獍磯河昧Σ痪鶆?，接觸面不清潔等原因產(chǎn)生較多毛刺。因此首先要對(duì)圖像進(jìn)行二值化處理。設(shè)定一個(gè)閾值，根據(jù)閾值將大于閾值的像素點(diǎn)的灰度值設(shè)置成255，小于閾值的像素點(diǎn)設(shè)為0，也就是將整個(gè)圖像呈現(xiàn)出明顯的黑白效果。由于采集的圖像灰度值和按壓力度有關(guān)，所以應(yīng)該設(shè)置動(dòng)態(tài)閾值，動(dòng)態(tài)閾值采用OTSU算法［11～12］。

盲文書為紙質(zhì)材料，對(duì)盲文的采集存在很多干擾，往往采集的圖像會(huì)存在一些毛刺點(diǎn)，因此要對(duì)處理過(guò)的二值圖像進(jìn)行開運(yùn)算處理。通過(guò)開運(yùn)算能夠很好地將盲文圖像存在的毛刺點(diǎn)過(guò)濾，提高原點(diǎn)篩選的準(zhǔn)確性。

2.3.2 凸點(diǎn)重心的提取

對(duì)比多種連通域標(biāo)記算法［13～15］，最終選擇通過(guò)使用更高效的Two-Pass方法［15］檢測(cè)連通域并記錄點(diǎn)陣個(gè)數(shù)、單個(gè)點(diǎn)陣中的各點(diǎn)坐標(biāo)以及各個(gè)點(diǎn)陣的周長(zhǎng)和面積，可在較短時(shí)間內(nèi)完成連通域的檢測(cè)和關(guān)鍵信息的采集。

在理想情況下，盲文凸點(diǎn)為標(biāo)準(zhǔn)圓形特征。使用圓形特征可很好地對(duì)目標(biāo)點(diǎn)陣進(jìn)行篩選。圓度的公式可以表示為

其中S表示面積，P表示周長(zhǎng)（點(diǎn)陣面積和周長(zhǎng)均可由連通域算法得到）。當(dāng)C=1的時(shí)候，表示圖像為一個(gè)完美的圓形。如果圖形和圓差別越大，其C值會(huì)變的越大，因此需要設(shè)定一個(gè)標(biāo)準(zhǔn)閾值C0來(lái)進(jìn)行判斷。若是計(jì)算出來(lái)的C值大于C0，則說(shuō)明和圓偏差較大，反之則形狀接近圓。

同時(shí)設(shè)定一個(gè)最小面積Smin來(lái)排除較小點(diǎn)的干擾，將面積小于Smin的點(diǎn)陣都排除掉，這一定程度上也彌補(bǔ)了開運(yùn)算缺陷，從而提升識(shí)別的正確率。最終計(jì)算每個(gè)連通域的重心，并作為凸點(diǎn)在圖像中的位置。重心的計(jì)算公式如下：

其中n表示連通域中像素點(diǎn)的個(gè)數(shù)。

2.4 盲文點(diǎn)陣的索引號(hào)計(jì)算

2.4.1 盲文凸點(diǎn)位置的排序

通過(guò)凸點(diǎn)提取運(yùn)算得到各點(diǎn)陣的重心坐標(biāo)后，為方便得到各個(gè)盲文凸點(diǎn)對(duì)應(yīng)的索引號(hào)，應(yīng)將圖像坐標(biāo)系中的各個(gè)盲文凸點(diǎn)都投影到一個(gè)新的盲文坐標(biāo)系中。盲文坐標(biāo)系的相關(guān)參數(shù)定義如圖2所示。盲文點(diǎn)陣的行方向?yàn)槊の淖鴺?biāo)系的X軸，盲文點(diǎn)陣的列方向?yàn)閅軸，盲文坐標(biāo)系的原點(diǎn)位于盲文點(diǎn)陣中左上方。盲文坐標(biāo)系和圖像坐標(biāo)系之間存在以下變換關(guān)系：

其中λ為投影的縮放比例，等于圖像中相鄰盲文凸點(diǎn)之間距離的倒數(shù)，即1/48；θ為盲文坐標(biāo)系的X軸和圖像坐標(biāo)系x軸的夾角；x0、y0分別為盲文原點(diǎn)在圖像坐標(biāo)系下的橫、縱坐標(biāo)。

根據(jù)盲文點(diǎn)的特征可以發(fā)現(xiàn)，同一組盲文點(diǎn)在圖像坐標(biāo)系的間距值只有四種情況，即48，48 2，96和48 5，它們分別可以描述兩個(gè)點(diǎn)之間的相對(duì)位置（如圖3所示）。如果距離值是48，那么兩個(gè)盲文點(diǎn)的理想位置關(guān)系是水平或豎直相鄰，它們之間連線的矢量方向?yàn)?°或90°；如果距離值為96，那么兩個(gè)盲文點(diǎn)的理想位置關(guān)系是豎直，它們之間連線的矢量方向?yàn)?0°；如果距離值為48 2，那么兩個(gè)盲文點(diǎn)的理想位置關(guān)系是傾斜，它們之間連線的矢量方向?yàn)?5°或135°；如果距離值為48 5，那么兩個(gè)盲文點(diǎn)的理想位置關(guān)系是傾斜，它們之間連線的矢量方向?yàn)閍rctan（2）°或arctan（-2）°。

圖2 盲文坐標(biāo)系

圖3 盲文點(diǎn)間的四種間距

根據(jù)這些信息確定盲文坐標(biāo)系同圖像坐標(biāo)系的夾角，具體步驟如下：

1）搜索盲文點(diǎn)陣中相距最遠(yuǎn)的兩個(gè)點(diǎn)；

2）計(jì)算最遠(yuǎn)兩點(diǎn)之間的距離，并同以上四種距離進(jìn)行比對(duì)，選擇最接近的一種；

3）計(jì)算兩點(diǎn)之間的方向，并分別計(jì)算同理想情況下的方向的夾角，其中角度最小的夾角即為θ角；

接下來(lái)確定偏移量（x0，y0）。首先根據(jù)式（4）對(duì)所有凸點(diǎn)在圖像坐標(biāo)系下的坐標(biāo)旋轉(zhuǎn)-θ°得到一組新的坐標(biāo)：

然后從中分別找出X/Y軸的最小值，最小值對(duì)應(yīng)的點(diǎn)就作為盲文坐標(biāo)系的原點(diǎn)。假設(shè)該點(diǎn)在盲文坐標(biāo)系中的坐標(biāo)為（Xmin，Ymin），那么可以通過(guò)式（5）計(jì)算得到盲文原點(diǎn)在圖像坐標(biāo)系下的坐標(biāo)（x0，y0）。

由于紙質(zhì)材料不規(guī)則和采集時(shí)的力度不均勻可能導(dǎo)致重心計(jì)算得到的各凸點(diǎn)間距有偏差，因此可以采用四舍五入的方式進(jìn)行取整，使各盲文凸點(diǎn)在新坐標(biāo)系中的坐標(biāo)值均為整數(shù)。取整函數(shù)如下所示：

其中int函數(shù)就是對(duì)變量X和Y進(jìn)行四舍五入后取整，取整后的c、r分別描述凸點(diǎn)的列號(hào)和行號(hào)。

通過(guò)以上運(yùn)算即可得到盲文凸點(diǎn)的相對(duì)位置，用坐標(biāo)（i，j）表示第j行，i列上的點(diǎn)。再將這些坐標(biāo)進(jìn)行縱向排序（如圖3所示），起點(diǎn)為坐標(biāo)（0，0），終點(diǎn)為坐標(biāo)（1，2）。

2.4.2 盲文編碼的轉(zhuǎn)換

根據(jù)已得的盲文排序進(jìn)行二進(jìn)制數(shù)的轉(zhuǎn)換，確定該點(diǎn)陣對(duì)應(yīng)的二進(jìn)制數(shù)。如圖4所示，盲文上的6個(gè)點(diǎn)分別對(duì)應(yīng)6位二進(jìn)制數(shù)的某1位，從1到6分別對(duì)應(yīng)二進(jìn)制數(shù)的低位到高位。若該點(diǎn)存在則該點(diǎn)對(duì)應(yīng)的位為0，不存在則為1，即可得到該盲文點(diǎn)陣對(duì)應(yīng)的二進(jìn)制數(shù)，該二進(jìn)制數(shù)即為盲文點(diǎn)陣的索引號(hào)。6位二進(jìn)制數(shù)對(duì)應(yīng)64種情況，包括了所有的聲母韻母，根據(jù)盲文點(diǎn)陣及其對(duì)應(yīng)的索引號(hào)制作相關(guān)的庫(kù)，最終通過(guò)該庫(kù)即可找到索引號(hào)對(duì)應(yīng)的聲母/韻母。

圖4 盲文編碼

例如圖5坐標(biāo)排序?yàn)椋?，5｝，對(duì)應(yīng)二進(jìn)制編碼為010001，十進(jìn)制數(shù)為17。將索引號(hào)在庫(kù)中進(jìn)行搜索，得到其對(duì)應(yīng)的聲母韻母為“ie”。

圖5 盲文編碼實(shí)例

3 實(shí)驗(yàn)和結(jié)果

3.1 實(shí)驗(yàn)舉例

經(jīng)多次實(shí)驗(yàn)確定參數(shù)的閾值：圓度閾值C0=1.3，輪廓長(zhǎng)度閾值為40，最小面積Smin為150。圖6顯示兩幅盲文圖像的處理結(jié)果，從圖中可以看出，該算法能準(zhǔn)確地定位凸點(diǎn)的重心。最后兩幅圖像得到的二進(jìn)制數(shù)分別為“110111”和“111001”，對(duì)應(yīng)的十進(jìn)制數(shù)分別為“55”和“57”，檢索得到它們對(duì)應(yīng)的聲母韻母為“ou”和“iong”。

圖6 盲文圖像的處理結(jié)果

觀察可得圖6（b）和圖6（d）中存在一些小面積白點(diǎn)，這些干擾點(diǎn)是由于紙質(zhì)書籍上存在毛刺導(dǎo)致的，但這些點(diǎn)均不滿足面積要求，無(wú)法達(dá)到最小面積150，因此均會(huì)被排除，不會(huì)對(duì)盲文凸點(diǎn)的識(shí)別造成影響。同時(shí)觀察圖6（b）和圖6（d）發(fā)現(xiàn)，圖6（b）左下角區(qū)域和圖6（d）右上方及中央?yún)^(qū)域均存在大塊白色不規(guī)則區(qū)域，是由于按壓力度不一致導(dǎo)致的，但在圓度計(jì)算公式中，這些區(qū)域的圓度值均小于圓度閾值C0=1.3，不滿足圓度要求，因此均會(huì)被排除，不會(huì)對(duì)盲文凸點(diǎn)的識(shí)別造成影響。最終表明提出的盲文識(shí)別算法能去除各種干擾，算法的穩(wěn)定性較好。

3.2 多次實(shí)驗(yàn)，準(zhǔn)確率統(tǒng)計(jì)

經(jīng)過(guò)對(duì)現(xiàn)行漢字中的聲母韻母共47個(gè)字符（其中聲母23個(gè)，韻母24個(gè)）進(jìn)行了每個(gè)字符50次的實(shí)驗(yàn)（共聲母1150個(gè)，韻母1200個(gè)），基于視覺的穿戴式盲文識(shí)別裝置的算法對(duì)盲文點(diǎn)陣的正確識(shí)別率均能達(dá)到95%以上。證明該算法能較好地處理盲文點(diǎn)陣，并較為準(zhǔn)確讀取信息。

表1 多次識(shí)別字符實(shí)驗(yàn)結(jié)果

4 討論

由于盲文的特殊性，提出的方法存在一些問(wèn)題。盲文圖像，存在一些點(diǎn)陣的上下偏差（如圖7“a”和“i”）。針對(duì)這種情況，單獨(dú)點(diǎn)陣識(shí)別，容易產(chǎn)生錯(cuò)誤。一種解決的方法是根據(jù)前面掃描的盲文，估計(jì)水平線（圖7 line1）的位置，進(jìn)而判定當(dāng)前盲文凸點(diǎn)首行的大概位置，這樣就可以確定凸點(diǎn)的排列順序。

圖7 上下偏差實(shí)例

此外，盲文凸點(diǎn)存在左右偏差（如圖8的“l(fā)”和“un”），遇到這種情況，單獨(dú)點(diǎn)陣識(shí)別，容易產(chǎn)生錯(cuò)誤。由于算法、傳感器特點(diǎn)的影響，本算法暫時(shí)無(wú)法實(shí)現(xiàn)對(duì)這種左右偏差的準(zhǔn)確識(shí)別。所以算法在遇到這種情況時(shí)，會(huì)將兩種發(fā)聲情況同時(shí)放出，由盲人使用者根據(jù)上下文情況，選擇發(fā)聲。后期可考慮人工智能根據(jù)上下文智能篩選讀音。

圖8 左右偏差實(shí)例

5 結(jié)語(yǔ)

論文提出的方法能有效利用二值化、開運(yùn)算、連通域檢測(cè)、形狀篩選和重心計(jì)算等圖像處理算法提取盲文圖像中的盲文字符，并能準(zhǔn)確地轉(zhuǎn)化為文字信息和語(yǔ)音信息。下一步工作，進(jìn)一步優(yōu)化算法，提高識(shí)別速度和精確度，讓該設(shè)備的識(shí)別更為快捷和精準(zhǔn)。項(xiàng)目成果有很大的應(yīng)用前景，為盲文學(xué)習(xí)與閱讀提供了更便利的方法，能在很大程度上改善目前盲人學(xué)盲文難的現(xiàn)狀，提升盲人的就業(yè)能力，改善盲人的生活水平，對(duì)社會(huì)和國(guó)家有著重大的意義。