OCR智能識(shí)別技術(shù)在工器具管理中的研究與應(yīng)用

余漢偉，張志峰，李立光

（安徽送變電工程有限公司，合肥 230601）

安全生產(chǎn)是電力企業(yè)的永恒主題，安全工器具的好壞將直接影響生產(chǎn)過(guò)程中人身和設(shè)備的安全與否。安全工器具全壽命周期管理過(guò)程中，由于種類(lèi)、規(guī)格和數(shù)量繁多，在實(shí)際操作中甚為煩瑣[1-2]。當(dāng)前，安全工器具的管理方式還比較落后，安全工器具的日常檢查及進(jìn)出倉(cāng)庫(kù)都需要人工的手寫(xiě)、紙筆進(jìn)行記錄，工作強(qiáng)度大，且在統(tǒng)計(jì)過(guò)程中出錯(cuò)的風(fēng)險(xiǎn)比較大；其次現(xiàn)場(chǎng)多采用在工器具上張貼紙質(zhì)標(biāo)簽、二維碼等方式進(jìn)行出庫(kù)、入庫(kù)及追溯管理，而工器具在服務(wù)于現(xiàn)場(chǎng)施工過(guò)程中，常暴露于風(fēng)吹、日曬和雨淋的惡劣環(huán)境之中，使得張貼于工器具設(shè)備上的標(biāo)簽存在磨損、刮花、污損及脫落的現(xiàn)象，這對(duì)后續(xù)入庫(kù)、出庫(kù)及追溯管理提出了新的挑戰(zhàn)[3-4]。

OCR（光學(xué)字符識(shí)別），能夠高效地毫秒級(jí)識(shí)別圖片中的文字信息，已經(jīng)迅速地應(yīng)用到各行各業(yè)中，極大地提高了人工校核的效率，然而目前通用的OCR技術(shù)，在垂直領(lǐng)域，如電力行業(yè)、工業(yè)生產(chǎn)等表現(xiàn)不佳，這需要專(zhuān)門(mén)針對(duì)垂直領(lǐng)域進(jìn)行模型定制化研發(fā)和優(yōu)化，才能達(dá)到應(yīng)用級(jí)水平[5-6]。

為提質(zhì)增效，更好地進(jìn)行安全工器具全壽命周期管理，提出了基于OCR智能識(shí)別技術(shù)的安全工器具跟蹤技術(shù)方案，可提高工器具在出入庫(kù)、收發(fā)、維保和檢驗(yàn)試驗(yàn)等環(huán)節(jié)的效率，實(shí)現(xiàn)安全工器具全生命、全過(guò)程周期的跟蹤管理。

1 OCR技術(shù)方案的研發(fā)

1.1 技術(shù)難點(diǎn)

相對(duì)于通用的文字識(shí)別，電力設(shè)備編碼識(shí)別具有以下難點(diǎn)。

（1）設(shè)備磨損、刮花和黃土覆蓋嚴(yán)重，導(dǎo)致大部分編碼不能被正常地檢測(cè)和識(shí)別。

（2）編碼數(shù)字之間的相似性大，一旦出現(xiàn)磨損，數(shù)字被誤識(shí)其他數(shù)字的可能性增大。

（3）電力設(shè)備多為金屬質(zhì)地，金屬表面的反光特性使得掃描識(shí)別過(guò)程中存在干擾的風(fēng)險(xiǎn)因素。

（4）識(shí)別檢測(cè)過(guò)程中，拍攝角度的隨意性，會(huì)加大模型的檢測(cè)和識(shí)別難度。

（5）以視頻的形式進(jìn)行文字識(shí)別和檢測(cè)，要求模型需具備毫秒級(jí)推理能力。一般模型越大，模型推理速度越慢，因此需要在滿(mǎn)足推理速度同時(shí)，讓模型識(shí)別率達(dá)到最優(yōu)狀態(tài)，增加了模型開(kāi)發(fā)難度。

1.2 總體技術(shù)路線(xiàn)

針對(duì)以上5個(gè)難點(diǎn)，研發(fā)了一套新的OCR技術(shù)方案，總體技術(shù)路線(xiàn)如圖1所示。

圖1 技術(shù)路線(xiàn)圖

整體的技術(shù)流程包括：數(shù)據(jù)預(yù)處理、方向分類(lèi)器、設(shè)備編碼檢測(cè)、設(shè)備編碼識(shí)別、模型推理速度優(yōu)化和移動(dòng)端模型開(kāi)發(fā)與部署6大步驟，接下來(lái)針對(duì)6大步驟進(jìn)行詳細(xì)說(shuō)明。

1.3 技術(shù)路線(xiàn)分解

1.3.1 數(shù)據(jù)預(yù)處理

數(shù)據(jù)預(yù)處理是整個(gè)技術(shù)方案的第一步，需要對(duì)手機(jī)拍攝的照片進(jìn)行預(yù)先處理。包含設(shè)備區(qū)域檢測(cè)、模糊圖片去除和數(shù)據(jù)增強(qiáng)方案。

首先對(duì)圖片進(jìn)行區(qū)域定位，將圖片中具有編碼區(qū)域的子圖片切割出來(lái)，對(duì)區(qū)域的設(shè)備進(jìn)行切分處理，有利于排除不利干擾，采用分割任務(wù)（dskj_device_seg）算法完成。

此外，針對(duì)拍攝模糊的照片，通過(guò)dskj_remove_vague算法，篩選清晰的圖片進(jìn)行識(shí)別，減輕模型的推理壓力，提高模型的推理速度。為豐富樣本庫(kù)、增加程序訓(xùn)練量，將采集的原始圖片運(yùn)用隨機(jī)旋轉(zhuǎn)、加噪等方式進(jìn)行數(shù)據(jù)增強(qiáng)。

1.3.2 方向分類(lèi)器

方向分類(lèi)器包含方向分類(lèi)器數(shù)據(jù)標(biāo)注、方向分類(lèi)器算法開(kāi)發(fā)。在實(shí)際進(jìn)行推理和應(yīng)用階段，采取逐張拍攝的方式進(jìn)行檢測(cè)和識(shí)別，由于相機(jī)在拍照過(guò)程中，實(shí)際攝入圖片的方向具有不確定性，因此需要對(duì)照片方向進(jìn)行分類(lèi)判斷。為此通過(guò)對(duì)現(xiàn)場(chǎng)采集源照片及對(duì)采集的源照片運(yùn)用隨機(jī)旋轉(zhuǎn)、加噪等方式處理，累計(jì)標(biāo)記和增強(qiáng)了超2萬(wàn)張照片作為方向分類(lèi)算法的數(shù)據(jù)集，同時(shí)研發(fā)了1套dskj_director_cls算法進(jìn)行方向分類(lèi)，通過(guò)將輸入的圖片壓縮成指定大小，來(lái)進(jìn)行圖片分類(lèi)，具體算法流程如圖2所示。

圖2 算法流程圖

1.3.3 設(shè)備編碼檢測(cè)

設(shè)備編碼檢測(cè)需要將照片中的設(shè)備編碼區(qū)域檢測(cè)出來(lái)，供后續(xù)的識(shí)別模型進(jìn)一步識(shí)別。如圖3所示。

圖3 設(shè)備編碼截圖

為避免檢測(cè)時(shí)因調(diào)整拍攝角度而消耗太多時(shí)間，研發(fā)了支持任意角度的檢測(cè)算法，有效減少了拍攝角度調(diào)整的時(shí)間，具體算法流程如圖4所示。

圖4 算法流程圖

1.3.4 設(shè)備編碼識(shí)別

設(shè)備編碼經(jīng)過(guò)了檢測(cè)后，通過(guò)識(shí)別模型進(jìn)行字符識(shí)別。為準(zhǔn)確識(shí)別各種模糊、劃痕及反光等不清晰設(shè)備的編碼，針對(duì)性地研發(fā)了一種專(zhuān)用識(shí)別模型算法，如圖5所示。

圖5 識(shí)別模型流程圖

1.3.5 模型推理速度優(yōu)化

為有效提升模型的推理速度，分別研發(fā)了dskj_pact和dskj_quant算法進(jìn)行模型剪枝及輕量化處理，保留了2個(gè)版本的模型，分別是服務(wù)端模型和移動(dòng)端模型，其中移動(dòng)端模型大小壓縮到17 M左右，在ARM8的芯片上每張圖片的推理速度達(dá)到100 ms。

1.3.6 模型開(kāi)發(fā)與部署

為了便于現(xiàn)場(chǎng)使用，本模型采用服務(wù)端和移動(dòng)端2套模式部署，移動(dòng)端模型為主，服務(wù)端模型為輔助的策略?；贏RM8架構(gòu)的手機(jī)移動(dòng)端CPU（中央處理器）上，對(duì)整體推理模型使用了C++進(jìn)行重構(gòu)，最終有效提升了模型的推理效率。

2 試驗(yàn)與驗(yàn)證

將該程序集成于一款手機(jī)軟件上，打開(kāi)軟件即可進(jìn)行掃描識(shí)別與檢測(cè)。為檢測(cè)該方案的實(shí)用效果，在倉(cāng)庫(kù)中隨機(jī)選取了100套刻有編碼的工器具進(jìn)行掃描識(shí)別。試驗(yàn)結(jié)果：總用時(shí)469 s，平均每套用時(shí)4.69 s，準(zhǔn)確識(shí)別個(gè)數(shù)91套，識(shí)別準(zhǔn)確率91%。對(duì)清晰、角度端正的圖片，文字檢測(cè)率達(dá)到97%；對(duì)有輕度破損、劃痕和灰塵覆蓋的圖片，文字檢測(cè)率達(dá)到94%；對(duì)重度劃痕、重度模糊及重度破損的圖片凡通過(guò)人眼能夠辨識(shí)的，文字檢測(cè)率達(dá)到82%。

3 結(jié)論

（1）該方案的成功應(yīng)用有效解決了工器具出入庫(kù)管理繁瑣及追溯管理困難的問(wèn)題，提高了工器具出庫(kù)、入庫(kù)的效率，降低了人工成本，提高了準(zhǔn)確率。

（2）目前整體技術(shù)方案能滿(mǎn)足電力行業(yè)各類(lèi)數(shù)字編碼識(shí)別，在精度和召回上都達(dá)到業(yè)界最優(yōu)，而且便于快速應(yīng)用到其他不同類(lèi)型的設(shè)備編碼識(shí)別上。

（3）在檢測(cè)方案上進(jìn)行了大量的優(yōu)化和改進(jìn)，共計(jì)迭代了數(shù)十個(gè)版本的模型，解決了因拍攝角度不同而影響識(shí)別速率與準(zhǔn)確率的問(wèn)題，且針對(duì)設(shè)備上數(shù)字存在缺損現(xiàn)象，對(duì)數(shù)字進(jìn)行了專(zhuān)門(mén)的模型設(shè)計(jì)，有效降低了數(shù)字的誤識(shí)率。

（4）由于目前采集的數(shù)據(jù)量不夠完善，大部分?jǐn)?shù)據(jù)依靠增強(qiáng)方案來(lái)實(shí)現(xiàn)，計(jì)劃后期通過(guò)系統(tǒng)，源源不斷地進(jìn)行真實(shí)數(shù)據(jù)的采集及回流，隨著系統(tǒng)數(shù)據(jù)不斷增加，模型效果也會(huì)進(jìn)一步的提升。