結(jié)合智能硬件技術(shù)與云管理平臺(tái)開發(fā)的證件招領(lǐng)系統(tǒng)＊

靳麒平，鐘 玲，李 達(dá)，魯玉龍

(沈陽(yáng)工業(yè)大學(xué)軟件學(xué)院，遼寧 沈陽(yáng) 110072)

0 引言

在校學(xué)生經(jīng)常發(fā)生證件遺失，如校園一卡通、身份證、學(xué)生證等證件。這些證件與學(xué)生的生活、學(xué)習(xí)息息相關(guān)，而且有的證件集成了多種功能，遺失會(huì)造成諸多不便或經(jīng)濟(jì)損失。目前高校的丟失證件招領(lǐng)以人工為主，從全國(guó)范圍看，也存在一些丟失證件招領(lǐng)系統(tǒng)，但需要人工錄入丟失證件信息，工作量大，信息錄入嚴(yán)重滯后，影響了招領(lǐng)效率和人們查詢丟失證件信息的積極性。絕大部分網(wǎng)站功能為將丟失證件簡(jiǎn)單的分類，缺少智能地將丟失證件與失主信息匹配功能，在失主尋找丟失證件的人工成本上沒(méi)有做到實(shí)質(zhì)性的改善。即使建立了丟失證件招領(lǐng)系統(tǒng)，從目前檢索的資料看，也缺少把人工智能技術(shù)與丟失證件招領(lǐng)系統(tǒng)互相結(jié)合的實(shí)際應(yīng)用案例。

基于人工智能技術(shù)和學(xué)校管理實(shí)際，研究開發(fā)智能識(shí)別失主信息的智能證件招領(lǐng)箱和基于云服務(wù)的校園證件招領(lǐng)一體化平臺(tái)有著積極的現(xiàn)實(shí)意義。通過(guò)智能硬件、圖像識(shí)別、GIS、網(wǎng)站開發(fā)、遠(yuǎn)程數(shù)據(jù)傳輸?shù)燃夹g(shù)，智能獲取丟失證件上的信息，自動(dòng)與失主信息匹配并且將丟失信息實(shí)時(shí)發(fā)布到網(wǎng)上，失主可以第一時(shí)間知道自己證件的丟失情況并且精確獲得丟失證件存放地點(diǎn)，自助領(lǐng)取丟失的證件，減少管理丟失證件的人工成本，及失主各處尋找丟失證件的不便。對(duì)于一些重要證件，智能證件招領(lǐng)箱也降低了多人接觸丟失證件造成的信息泄漏問(wèn)題。

1 系統(tǒng)總體設(shè)計(jì)

系統(tǒng)由智能證件招領(lǐng)箱和云管理平臺(tái)兩部分構(gòu)成。智能證件招領(lǐng)箱放置于教學(xué)樓、寢室樓、食堂等場(chǎng)所，若有人撿到丟失的證件，則存入招領(lǐng)箱。存儲(chǔ)過(guò)程為拾取人在招領(lǐng)箱可視化控制界面選擇存儲(chǔ)功能，按照語(yǔ)音提示，將證件對(duì)準(zhǔn)招領(lǐng)箱上的攝像頭，招領(lǐng)箱獲取圖像信息并傳給云平臺(tái)，云平臺(tái)提取圖像及文字信息，經(jīng)過(guò)校驗(yàn)的信息將存入云平臺(tái)丟失證件管理系統(tǒng)，云平臺(tái)選擇對(duì)應(yīng)招領(lǐng)箱空閑柜號(hào)，發(fā)送開鎖指令，對(duì)應(yīng)智能鎖開啟，丟失證件存入。招領(lǐng)者可以登錄云平臺(tái)（為保障丟失證件安全，招領(lǐng)者需填寫個(gè)人必要信息，成為注冊(cè)用戶），在丟失證件大廳搜索丟失證件相關(guān)姓名及證件上人臉圖像信息，若已存入招領(lǐng)箱，則根據(jù)地圖模塊給出的位置，找到對(duì)應(yīng)招領(lǐng)箱，選擇招領(lǐng)功能，智能招領(lǐng)箱獲取認(rèn)領(lǐng)者人臉信息并傳送給云平臺(tái)，云平臺(tái)通過(guò)人臉圖像分析與比對(duì)，如果當(dāng)前認(rèn)領(lǐng)者與證件上人臉為同一人，則發(fā)送對(duì)應(yīng)箱號(hào)柜號(hào)開鎖指令，失主自助領(lǐng)取丟失證件，相關(guān)領(lǐng)取信息存入云平臺(tái)備查。

2 智能證件招領(lǐng)箱設(shè)計(jì)

2.1 智能證件招領(lǐng)箱硬件設(shè)計(jì)

招領(lǐng)箱選用了基于ARM 的raspiberry model 4B+微型電腦主板作為微控制單元，圖像采集模塊通過(guò)調(diào)取微控制單元的攝像功能進(jìn)行拍攝，智能門鎖則是以微控制單元為核心通過(guò)控制繼電器的高低電平給電磁閥所發(fā)送電信號(hào)，電磁閥所接收到電信號(hào)后，完成鎖的打開與關(guān)閉。GPS則通過(guò)調(diào)取預(yù)先編譯好的上位機(jī)程序?qū)崟r(shí)讀取當(dāng)前智能證件招領(lǐng)箱的地理位置并上傳。箱體內(nèi)嵌了一塊高清觸摸屏以便于用戶進(jìn)行丟失證件的存取操作。圖1為智能證件招領(lǐng)箱的硬件框圖。

圖1 智能證件招領(lǐng)箱硬件框圖

2.2 智能證件招領(lǐng)箱功能模塊設(shè)計(jì)

智能證件招領(lǐng)箱包括模式選擇、圖像信息采集、通訊校驗(yàn)與上傳、智能鎖控制、語(yǔ)音提示幾個(gè)模塊。用戶在圖形化界面上通過(guò)模式選擇模塊選取對(duì)應(yīng)操作，后臺(tái)根據(jù)選擇調(diào)用不同功能模塊后進(jìn)行下一步處理，語(yǔ)音提示模塊在各步操作前給用戶語(yǔ)音提示，有效指導(dǎo)用戶操作，方便用戶。

⑴圖像采集模塊

在調(diào)取攝像頭時(shí)，基于安全考慮，網(wǎng)站并不被允許直接調(diào)用本地文件，故本項(xiàng)目在微控制單元預(yù)留一個(gè)HTTP 接口用于在攝像頭需要被調(diào)用的時(shí)候訪問(wèn)，當(dāng)本地接口被調(diào)用的時(shí)候，微控制單元將發(fā)送一個(gè)cmd 命令來(lái)啟動(dòng)相關(guān)的程序，這樣就可以實(shí)現(xiàn)攝像頭調(diào)用的效果。

⑵通訊校驗(yàn)與上傳模塊

從智能證件招領(lǐng)箱向云管理平臺(tái)進(jìn)行數(shù)據(jù)傳輸時(shí)，采用Socket 通訊方式。當(dāng)圖像采集模塊獲取到用戶的人臉或者證件照片之后，將圖像解析為base 流并清空磁盤，若解析成功后，通過(guò)Socket嘗試訪問(wèn)云管理平臺(tái)的指定接收端口，當(dāng)端口成功連通之后，開始進(jìn)行數(shù)據(jù)上傳，上傳成功后在服務(wù)器解析對(duì)應(yīng)數(shù)據(jù)轉(zhuǎn)換成jpg 格式文件，并存入磁盤，確認(rèn)收到目標(biāo)圖片后在服務(wù)器端斷開該連接并開啟新的監(jiān)聽(tīng)窗口。

⑶智能鎖控制模塊

為了控制多路電磁鎖并節(jié)省成本，本項(xiàng)目采用9路12v繼電器模塊。默認(rèn)狀態(tài)下繼電器與電磁鎖電路為常開狀態(tài)，電磁鎖閉合。當(dāng)繼電器IN 口檢測(cè)到高電平時(shí)，電路為閉合狀態(tài)，電磁鎖打開。當(dāng)繼電器IN 口檢測(cè)到外界低電平時(shí)，開關(guān)斷開。當(dāng)繼電器IN 口檢測(cè)到外界高電平時(shí)，開關(guān)閉合。由一個(gè)繼電器控制多個(gè)智能鎖的工作，當(dāng)云平臺(tái)判定為可以開鎖時(shí)，會(huì)下發(fā)開鎖指令，經(jīng)微控制單元編譯后發(fā)送高低電平電流給繼電器轉(zhuǎn)換后，發(fā)送微電流到特定編號(hào)的電磁閥鎖，控制它的開鎖，圖2為繼電器控制各個(gè)鎖的總體電路圖。

圖2 繼電器總體電路圖

3 云管理平臺(tái)設(shè)計(jì)

當(dāng)云管理平臺(tái)處于時(shí)，通過(guò)Socket 通訊接收到由智能證件招領(lǐng)箱采集到的證件圖片后，提取并綁定證件上的姓名等文字信息和人臉圖像，待操作成功之后，云管理平臺(tái)將提取出來(lái)的文字信息、智能證件招領(lǐng)箱位置、證件存儲(chǔ)的柜號(hào)、存入時(shí)間等信息，存儲(chǔ)到mysql 數(shù)據(jù)庫(kù)中，同時(shí)將提取出來(lái)的人臉圖像存儲(chǔ)到HDFS 數(shù)據(jù)倉(cāng)庫(kù)中，以便后續(xù)的信息查詢，同時(shí)云管理平臺(tái)通過(guò)遠(yuǎn)程交互模塊發(fā)送開鎖及語(yǔ)音指令，打開智能證件招領(lǐng)箱的柜門，并發(fā)出語(yǔ)音操作提示，同時(shí)證件招領(lǐng)網(wǎng)站發(fā)布新拾取到的證件信息。

當(dāng)云管理平臺(tái)處于時(shí)，通過(guò)Socket 通訊接收到由智能證件招領(lǐng)箱采集到的招領(lǐng)者人臉圖片及準(zhǔn)備開鎖的柜號(hào)ID，云管理平臺(tái)通過(guò)此ID 查找HDFS 預(yù)先存入的證件人臉圖像，并與收到的招領(lǐng)者真實(shí)人臉圖像進(jìn)行比對(duì)，若相似度超過(guò)設(shè)定閾值，則認(rèn)定為同一個(gè)人，云管理平臺(tái)通過(guò)遠(yuǎn)程交互模塊發(fā)送開鎖及語(yǔ)音指令，智能證件招領(lǐng)箱的柜門打開并發(fā)出語(yǔ)音提示，同時(shí)將數(shù)據(jù)庫(kù)中對(duì)應(yīng)的數(shù)據(jù)標(biāo)記為“歷史記錄”，招領(lǐng)者取回丟失證件。

4 系統(tǒng)實(shí)現(xiàn)

4.1 證件信息提取

對(duì)于采集上來(lái)的證件圖片，云平臺(tái)提取出其中文字信息和人臉圖像。

⑴OCR技術(shù)提取證件文字信息

對(duì)于如圖3(a)所示的證件圖像，先運(yùn)用CTPN 模型檢測(cè)出文本行的位置，其效果如圖3(b)，而后采用CRNN 模型對(duì)檢測(cè)出的文本行內(nèi)容進(jìn)行翻譯，其結(jié)果作為最終提取出的證件文字信息，其效果如圖3(c)所示。

圖3 圖像文本信息提取

⑵證件人臉圖像識(shí)別與剪裁

本項(xiàng)目采用Yolov5 目標(biāo)檢測(cè)模型，當(dāng)準(zhǔn)確檢測(cè)出人臉圖像后，利用OpenCV 庫(kù)完成對(duì)檢測(cè)后人臉圖像的提取，具體效果如圖4 所示，其中圖4(a)展示了原始證件的圖像，圖4(b)展示了檢測(cè)出的人臉圖像效果圖，圖4(c)展示了剪裁出的失主人臉圖像。

圖4 證件人臉圖片提取

4.2 人臉比對(duì)模塊

將招領(lǐng)者通過(guò)智能證件招領(lǐng)箱傳上來(lái)的人臉圖像，進(jìn)行人臉圖像的裁剪，同時(shí)查詢出預(yù)先存入HDFS中的證件人臉圖像，而后利用人臉特征檢測(cè)模型分別找出招領(lǐng)者和證件上人臉圖像的64 個(gè)特征點(diǎn)位矩陣進(jìn)行分析比對(duì)。其中圖5(a)展示了系統(tǒng)分析出的招領(lǐng)者人臉的64 個(gè)特征點(diǎn)位，圖5(b)展示了證件失主人臉的64個(gè)特征點(diǎn)位。

圖5 人臉比對(duì)

實(shí)驗(yàn)結(jié)果表明，對(duì)于攝像頭接收的人臉圖像，在不同位置，或有一定角度偏轉(zhuǎn)，系統(tǒng)均能有效識(shí)別。

4.3 軟硬件實(shí)現(xiàn)效果

智能證件招領(lǐng)箱主體利用CAD 制圖的方式確定其初貌，而后結(jié)合3D 打印技術(shù)，對(duì)所需的原材料進(jìn)行精準(zhǔn)切割與制作，同時(shí)為方便與用戶交互，采用可觸控的高清屏。圖6 展示了智能證件招領(lǐng)箱的整體效果。

圖6 智能證件招領(lǐng)箱正面效果圖

當(dāng)用戶進(jìn)行操作之前，要預(yù)先登錄同時(shí)進(jìn)行存取模式選擇。圖7給出了招領(lǐng)箱觸屏顯示的模式選擇頁(yè)面效果，包含證件存儲(chǔ)模式與證件招領(lǐng)模式。

圖7 存取模式選擇功能頁(yè)面

云管理平臺(tái)的招領(lǐng)網(wǎng)站進(jìn)行相應(yīng)信息的展示與管理。已存入的失物信息集中展示在招領(lǐng)大廳，包括從證件中提取的文字信息和圖像信息，如丟失證件的失主姓名、失主人臉照片、存入時(shí)間、智能證件招領(lǐng)箱的位置以及證件存儲(chǔ)的柜號(hào)信息等，失主可登錄網(wǎng)站進(jìn)行查詢，其實(shí)現(xiàn)效果如圖8 所示。同時(shí)為了方便失主盡快找到自己的證件，本項(xiàng)目加入了地圖模塊，以展示智能證件招領(lǐng)箱的具體位置。

圖8 云平臺(tái)實(shí)現(xiàn)效果

5 結(jié)束語(yǔ)

實(shí)現(xiàn)了一款軟硬件結(jié)合的智能證件招領(lǐng)系統(tǒng)，智能證件招領(lǐng)箱以微控制單元為核心控制帶有校驗(yàn)機(jī)制的網(wǎng)絡(luò)遠(yuǎn)程控制智能鎖，以及完成證件或者招領(lǐng)者人臉圖像的采集和上傳，云管理平臺(tái)分為兩種模式，當(dāng)平臺(tái)處于證件存儲(chǔ)模式時(shí)，能夠?qū)Σ煌C件信息進(jìn)行自動(dòng)識(shí)別，提取信息精準(zhǔn)，識(shí)別效果良好。當(dāng)平臺(tái)處于證件招領(lǐng)模式時(shí)，運(yùn)用人臉比對(duì)技術(shù)判定招領(lǐng)者是否為證件本人，保障系統(tǒng)的安全性和方便性，減少了管理人員投入。同時(shí)利用網(wǎng)站實(shí)時(shí)進(jìn)行丟失信息展示的方式，方便失主查找并提高證件招領(lǐng)的時(shí)效性。后續(xù)本系統(tǒng)將不斷改進(jìn)圖像算法的準(zhǔn)確率及精度，同時(shí)提高招領(lǐng)箱的安全性能。