基于樹莓派的穿戴式智能眼鏡系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

李旭東，陸朝銓，桂　彥，張建明

（長(zhǎng)沙理工大學(xué)計(jì)算機(jī)與通信工程學(xué)院，湖南 長(zhǎng)沙　410114）

基于樹莓派的穿戴式智能眼鏡系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

李旭東，陸朝銓，桂彥，張建明

（長(zhǎng)沙理工大學(xué)計(jì)算機(jī)與通信工程學(xué)院，湖南 長(zhǎng)沙410114）

穿戴式技術(shù)在國(guó)際計(jì)算機(jī)學(xué)術(shù)界和工業(yè)界一直都備受關(guān)注，隨著移動(dòng)互聯(lián)網(wǎng)的發(fā)展和高性能低功耗處理芯片的推出，穿戴式智能設(shè)備已經(jīng)從幻想走進(jìn)現(xiàn)實(shí)，它們的出現(xiàn)將改變現(xiàn)代人的生活方式。只不過由于造價(jià)高和技術(shù)復(fù)雜，很多相關(guān)設(shè)備僅僅停留在概念層面。本文著眼于結(jié)合軟硬件系統(tǒng)，實(shí)現(xiàn)智能眼鏡中樹莓派主機(jī)系統(tǒng)與交互系統(tǒng)。在設(shè)計(jì)智能眼鏡交互控制系統(tǒng)的過程中，考慮到智能眼鏡顯示器的局限性，我們采用實(shí)體按鈕+全屏式圖標(biāo)，實(shí)現(xiàn)對(duì)智能眼鏡的人性化交互控制，很好地?cái)U(kuò)大智能眼鏡的可用性。本文的研究?jī)?nèi)容主要包括以下兩個(gè)方面：（1）主機(jī)端相應(yīng)功能的實(shí)現(xiàn)。（2）交互驅(qū)動(dòng)的實(shí)現(xiàn)。通過外置的按鈕來操控使用可視化的系統(tǒng)界面，可以進(jìn)行拍攝圖像、視頻播放、圖片顯示、音樂播放、地圖、上網(wǎng)、文本閱讀、天氣顯示等多媒體功能。實(shí)現(xiàn)了基于樹莓派的穿戴式智能眼鏡系統(tǒng)。

樹莓派；智能眼鏡；穿戴式設(shè)備

本文著錄格式：李旭東，陸朝銓，桂彥，等. 基于樹莓派的穿戴式智能眼鏡系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J]. 軟件，2016，37（8）：37-40

1　引言

穿戴式智能設(shè)備是探索人和科技的全新交互方式[1]，為每個(gè)人提供專屬的個(gè)性化服務(wù)[2]。設(shè)備的計(jì)算方式要以本地化計(jì)算為主，準(zhǔn)確定位和感知每個(gè)用戶的個(gè)性化、非結(jié)構(gòu)化數(shù)據(jù)，形成每個(gè)人隨身移動(dòng)設(shè)備上獨(dú)一無二的專屬數(shù)據(jù)計(jì)算結(jié)果，并以此找準(zhǔn)用戶內(nèi)心真正有意義的需求，最終通過中心計(jì)算的觸發(fā)規(guī)則來獲得各種具體的針對(duì)性服務(wù)。而廣義的穿戴式智能設(shè)備包括功能全、尺寸大、可不依賴智能手機(jī)實(shí)現(xiàn)完整或者部分的功能，例如智能手表或智能眼鏡等；以及只專注于某一類應(yīng)用功能，需要和其它設(shè)備如智能手機(jī)配合使用，如各類進(jìn)行體征監(jiān)測(cè)的智能手環(huán)、智能首飾等。隨著技術(shù)的進(jìn)步以及用戶需求的變遷，可穿戴式智能設(shè)備的形態(tài)與應(yīng)用熱點(diǎn)也在不斷的變化。智能眼鏡包含了很多新技術(shù)，包括藍(lán)牙、揚(yáng)聲器、照相機(jī)、麥克風(fēng)等，所有的設(shè)計(jì)都非常貼近使用，而且不會(huì)影響我們的日常生活。我們不僅可以照相，還可以實(shí)時(shí)攝像，不干擾欣賞比賽的激動(dòng)時(shí)刻。用戶使用智能眼鏡可以隨時(shí)連接到移動(dòng)互聯(lián)網(wǎng)，添加視頻和圖片，不必拿出手機(jī)。擁有車輛和行人導(dǎo)航功能，用戶不會(huì)再迷路，讓你感覺猶如來到未來。

許多IT廠商已經(jīng)注意到谷歌眼鏡價(jià)格太高[3]，出現(xiàn)了一些模仿者。如果自己動(dòng)手，花大約800元人民幣就可以DIY出一副自己的智能眼鏡[4]。樹莓派是一種體積很小的迷你電腦，很便攜，功耗低，因此我們計(jì)劃研究開發(fā)出廉價(jià)的樹莓派智能眼鏡產(chǎn)品，相信智能眼鏡將會(huì)在未來廣泛地應(yīng)用于更為復(fù)雜的場(chǎng)合。

2　系統(tǒng)架構(gòu)

2.1整體架構(gòu)圖

[5]中的架構(gòu)組成，基于樹莓派的可穿戴式智能眼鏡系統(tǒng)在總體上分為兩個(gè)子系統(tǒng)，分別為由樹莓派和攝像頭組成的主機(jī)系統(tǒng)，按鍵與顯示器組成交互系統(tǒng)兩部分如圖2.1所示。

圖2.1　整體架構(gòu)圖

2.2模塊功能說明

基于樹莓派的可穿戴式智能眼鏡系統(tǒng)的系統(tǒng)功能解釋如表2.1、2.2所示。

表2.1　主機(jī)系統(tǒng)功能描述表

表2.2　交互模塊功能描述表

2.3主要硬件及條件限制

2.3.1主機(jī)端

本項(xiàng)目使用的是Raspberry Pi B型[6]，具體參數(shù)[7]：

SoC：Broadcom BCM2837芯片

CPU：ARM Cortex-A53 1.2 GHz 64-bit

GPU：Broadcom VideoCore IV雙核

內(nèi)存：SDRAM，1 GB

USB 2.0接口個(gè)數(shù)：4（支持USB hub擴(kuò)展）

基于樹莓派的CPU處理頻率不高，只有1.2 GHz，內(nèi)存容量有限，只有1 GB，這樣的配置給系統(tǒng)的運(yùn)行、按鍵的操控以及圖像處理都加大了困難。

當(dāng)播放視頻時(shí)，會(huì)加載一部分視頻到內(nèi)存中，對(duì)內(nèi)存造成極大的占有率，使得執(zhí)行效率變低。

當(dāng)進(jìn)行人臉的識(shí)別時(shí)，當(dāng)把模板庫(kù)加載到內(nèi)存之中時(shí)，復(fù)雜度過高的算法容易造成樹莓派的很大壓力，再加上人臉識(shí)別的局限性，尋求復(fù)雜度相對(duì)不高的，處理相對(duì)比較快速的算法，使我們目前所要重點(diǎn)攻克的技術(shù)難點(diǎn)。

2.3.2顯示器端

本項(xiàng)目使用的顯示器為單目FPV視頻眼鏡[8]，具體參數(shù)：

工作電壓：3.3—5V

分辨率：QVGA320X240全彩色。

顯示面板有效面積：4.05X3.02 mm

顯示面板對(duì)角線：5 mm(0.20”)

顯示像素大小：13.5 um

像素填充率：94%

色彩飽和度(Color depth)：4200000色

對(duì)比度：80：1"

由于使用的顯示器為便攜式可穿戴型單目FPV視頻眼鏡，工作電壓偏高，使得整個(gè)系統(tǒng)在運(yùn)行時(shí)是處于高負(fù)荷的狀態(tài)下的，容易造成運(yùn)行卡頓、供電不足等情況。而且由于此顯示器的分辨率為QVGA 320X240全彩色，顯示圖像不是很清晰。同時(shí)，由于此顯示器視頻輸入口與樹莓派上視頻輸出口不匹配，導(dǎo)致我們需要使用HDMI高清視頻輸出轉(zhuǎn)AV視頻輸出，然后才能和顯示器連接顯示圖像。這回造成硬件繁多冗余，不太便于攜帶，在項(xiàng)目初期，我們并沒有很好的解決這個(gè)問題，但是在接下來的研究中，我們會(huì)著力解決這個(gè)問題。這也是本系統(tǒng)最大的一個(gè)限制。

3　主機(jī)主要功能模塊設(shè)計(jì)及實(shí)現(xiàn)

3.1程序總體工作流程圖

基于樹莓派的可穿戴式智能眼鏡系統(tǒng)接通電源后自動(dòng)啟動(dòng)，進(jìn)入主界面，本系統(tǒng)有一個(gè)總界面，用于顯示功能圖標(biāo)，通過左右鍵切換不同的功能。當(dāng)按下確定鍵的時(shí)候，就是選中該功能，從而進(jìn)入該功能的應(yīng)用界面；按退出鍵可以退出當(dāng)前模塊，回到主界面。工作流程如圖3.1所示。

圖3.1　工作流程圖

3.2拍攝顯示模塊設(shè)計(jì)思路

通過打開攝像頭，獲取攝像頭圖片數(shù)據(jù)，將自己感興趣的圖片幀保存下來，完成照片的拍攝。

通過圖像幀保存成視頻格式，將攝像頭的圖片幀保存為以時(shí)間格式命名的視頻文件，完成視頻的錄制，本模塊主要調(diào)用了OpenCV這個(gè)開源庫(kù)。

顯示圖片模塊設(shè)計(jì)為兩種模式，一種是普通模式，另一種是識(shí)別人臉模式[9-10]。對(duì)于普通模式，首先讀取圖片，然后將該圖片轉(zhuǎn)換為QT控件QLabel顯示時(shí)所需的圖片格式，壓縮[11]之后就可以顯示該圖片了。對(duì)于人臉識(shí)別模式，先讀取圖片，再通過OpenCV開源庫(kù)的人臉識(shí)別函數(shù)進(jìn)行對(duì)圖片處理，將識(shí)別的結(jié)果以圓圈的形式畫到圖片上，再將該圖片轉(zhuǎn)為QT控件QLabel顯示所需的格式，最后通過QLabel顯示出來。

顯示文本模塊提供了文字顯示和分頁(yè)，翻頁(yè)功能。先設(shè)定每頁(yè)的字符數(shù)，對(duì)文本數(shù)據(jù)進(jìn)行分頁(yè)，每次讀取文件數(shù)據(jù)位置是（每頁(yè)字符數(shù)）*（第幾頁(yè)-1），這樣就可以按分形式讀取到文件數(shù)據(jù)。通過頁(yè)數(shù)的自加和自減實(shí)現(xiàn)翻頁(yè)功能。文字顯示是將讀取大小為每頁(yè)字符數(shù)的文本數(shù)據(jù)顯示在MyPlainText Edit控件上。該控件是繼承QT庫(kù)中QPlainTextEdit控件。

3.3播放模塊設(shè)計(jì)思路

MPlayer[12]是一款開源多媒體播放器，以GNU通用公共許可證發(fā)布。此款軟件可在各主流操作系統(tǒng)使用。MPlayer建基于命令行界面，在各操作系統(tǒng)也可選擇安裝不同的圖形界面。MPlayer的另一個(gè)大的特色是廣泛的輸出設(shè)備支持。

通過在后臺(tái)調(diào)用MPlayer,重定向視頻幀的窗口位置，就可以實(shí)現(xiàn)在特定窗口顯示視頻圖像信息。

通過向后臺(tái)的MPlayer發(fā)送命令，就可以實(shí)現(xiàn)控制視頻播放的位置，也就是視頻的快進(jìn)和快退功能，同時(shí)也可以控制音量的大小，再加以壓縮[13]，顯示出流暢的視頻。

通過后臺(tái)調(diào)用MPlayer對(duì)音樂文件進(jìn)行播放。

3.4上網(wǎng)模塊設(shè)計(jì)思路

Epiphany基于Mozilla的Gecko排版引擎。主要功能包括、cookie管理、分頁(yè)瀏覽等，它能像其他主流瀏覽器一樣快的瀏覽網(wǎng)頁(yè)。通過安裝Epiphany和程序內(nèi)部調(diào)用Epiphany的形式，實(shí)現(xiàn)網(wǎng)頁(yè)上網(wǎng)。

天氣預(yù)報(bào)API是一個(gè)針對(duì)當(dāng)前天氣編寫的一個(gè)API調(diào)用接口，通過此接口可以獲取一個(gè)城市的溫度、氣候、紫外線等信息，從而應(yīng)用自己編寫的程序中。百度天氣接口，以GET形式提交，返回JSON或XML。只要通過http請(qǐng)求方式就可以獲取所在城市的天氣情況。

通過調(diào)用http://map.baidu.com/網(wǎng)址，實(shí)現(xiàn)當(dāng)前地理位置的網(wǎng)頁(yè)返回。

4　交互模塊設(shè)計(jì)及實(shí)現(xiàn)

4.1圖像顯示模塊設(shè)計(jì)思路

圖像顯示模塊是用戶眼中最為重要的交互環(huán)節(jié)，樹莓派主機(jī)所產(chǎn)生的界面信息都會(huì)在此顯示出來，供用戶觀看。需要把相應(yīng)的視頻輸入輸出接口匹配，才能傳輸數(shù)據(jù)。

4.2按鈕模塊

4.2.1按鈕模塊設(shè)計(jì)思路

本系統(tǒng)一共設(shè)計(jì)了5個(gè)按鈕，分別為前進(jìn)鍵、后退鍵、退出鍵、確認(rèn)鍵和刪除鍵。用這5個(gè)功能操控按鍵可以完全的操控本系統(tǒng)。參考文獻(xiàn)[14]，我們將該模塊利用樹莓派的GPIO接口輸入高電平，來觸發(fā)對(duì)應(yīng)事件，模擬系統(tǒng)中的鍵值來達(dá)到控制目的。

4.2.2按鈕模塊硬件接線圖

外部按鈕接線示意圖如圖4.1所示。

圖4.1　接線示意圖

5　基于樹莓派的穿戴式智能眼鏡系統(tǒng)測(cè)試

我們研發(fā)的基于樹莓派的可穿戴式智能眼鏡系統(tǒng)，通過樹莓派作為主機(jī)系統(tǒng)，提供服務(wù)支持，用戶通過外置的五個(gè)按鈕來操控整個(gè)系統(tǒng)，并且將交互界面顯示在屏幕上，如圖5.1。用戶可以實(shí)現(xiàn)拍照、錄像、照片瀏覽、視頻播放、音樂播放、網(wǎng)頁(yè)上網(wǎng)、文本閱讀、天氣顯示等多媒體功能，如圖5.2~5.5（由于單目FPV顯示器分辨率不高，且拍攝設(shè)備限制，我們外接顯示器進(jìn)行拍攝；由于版面限制，暫時(shí)展示主要功能圖）。本系統(tǒng)通電源時(shí)，系統(tǒng)自動(dòng)啟動(dòng)，進(jìn)入可視化的智能眼鏡系統(tǒng)。本系統(tǒng)是一個(gè)娛樂輔助工具，具有較高的輔助價(jià)值。

圖5.1　總體圖

圖5.2　拍照?qǐng)D標(biāo)

圖5.3　錄像圖標(biāo)

圖5.4　圖庫(kù)圖標(biāo)　

圖5.5　文本閱讀

6　結(jié)論

利用上述的硬件設(shè)計(jì)與系統(tǒng)設(shè)計(jì)自行組裝完成的智能眼鏡，將按鈕驅(qū)動(dòng)加載到樹莓派上，通過外置的按鈕來操控使用可視化的系統(tǒng)界面，調(diào)試拍攝圖像、視頻播放、圖片顯示、音樂播放、地圖、上網(wǎng)、文本閱讀、天氣顯示等多媒體功能。經(jīng)過多次代碼調(diào)試、驅(qū)動(dòng)修改和界面美化，上述功能都能實(shí)現(xiàn)，達(dá)到設(shè)計(jì)目標(biāo)。當(dāng)然本智能眼鏡系統(tǒng)的軟硬件方面還是需要繼續(xù)優(yōu)化的，比如精簡(jiǎn)按鈕數(shù)量，實(shí)現(xiàn)多種操作；實(shí)現(xiàn)生理體征監(jiān)測(cè)；語(yǔ)音交互的實(shí)現(xiàn)等。由于不是用于生產(chǎn)，所以以上方面考慮的不是很全面，只是簡(jiǎn)單的實(shí)現(xiàn)了智能眼鏡的各項(xiàng)基本功能，我們將在以后的研究中繼續(xù)優(yōu)化改進(jìn)。

[1] 天極網(wǎng). 智能眼鏡項(xiàng)目應(yīng)用外科手術(shù)中http://wearable. yesky.com/ProjectGlass/365/48592365.shtml

[2] 極客以折騰不息的樹莓派玩法http://www.geekpark.net/ topics/186573/

[3] 太平洋電腦網(wǎng)Google Glass谷歌眼鏡官方詳細(xì)參數(shù)http://pcedu. pconline.com.cn/325/3259055.html

[4] 愛范兒網(wǎng)開源的智能眼鏡http://www.ifanr.com/447320.

[5] 程衛(wèi)軍, 艾中良. 一種基于智能手機(jī)的可穿戴設(shè)備安全架構(gòu)[J]. 軟件, 2015, 36(11): 105-107.

[6] 維基百科. 樹莓派https://zh.wikipedia.org/wiki/%E6%A0% 91%E8%8E%93%E6%B4%BE

[7] 樹莓派官網(wǎng)http://www.raspberrypi.org/

[8] 深圳市遠(yuǎn)創(chuàng)光電科技有限公司http://yctvdopec.cn.china.cn

[9] 全雪峰. 基于奇異熵和隨機(jī)森林的人臉識(shí)別[J].軟件，2016, 37(02): 35-38.

[10] 安大海, 蔣硯軍. 基于BP 神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別系統(tǒng)[J].軟件, 2015, 36(12): 76-79.

[11] 陳慧, 龍飛, 段智云. 一種基于小波零樹編碼和K-mean聚類的圖像壓縮的實(shí)現(xiàn)[J]. 軟件, 2016, 37(02): 33-34.

[12] 維基百科MPlayerhttps://zh.wikipedia.org/wiki/MPlayer

[13] 何銳, 張剛, 田甜. 基于TMS320DM6446的嵌入式視頻系統(tǒng)硬件設(shè)計(jì)及算法優(yōu)化[J]. 新型工業(yè)化, 2011, 1(2):13-19.

[14] 吳文輝, 任毅. 輕量級(jí)鍵盤鼠標(biāo)模擬腳本引擎實(shí)現(xiàn)[J]. 軟件, 2013, 34(8): 56-57.

Design and Implementation of Wearables Smart Eyeglasses Systems Based on Raspberry Pi

LI Xu-dong, LU Chao-quan, GUI Yan, ZHANG Jian-ming
(School of Computer and Communication Engineering, Changsha University of Science and Technology, Changsha 410114, China)

Wearable technology in the computer academia and industry has always been paid attention [1], with the development of mobile Internet and high performance, low-power processing chip launch, wearable intelligent equipment has from fantasy into reality, they will change the way of life of modern people. Only because of high cost and technical complexity, a lot of related equipment just stay at the conceptual level. This paper focuses on the combination of software and hardware system, realize the raspberry pie host system and interactive system in smart glasses. In the process of interactive design of intelligent glasses control system, considering the limitations of smart glasses display, we adopt physical button + full screen icon, realization of smart glasses human interaction control, to expand the availability of smart glasses. The research content of this paper mainly includes the following two aspects: (1) the realization of the corresponding function of the host. (2) the realization of interactive drive. Through an external button to control the use of visual system interface, can shoot video images, play, show pictures, play music, maps, Internet, text reading, weather display multimedia function. Accomplished the wearable smart glasses system based on Raspberry Pi.

Raspberry Pi; Smart glasses; Wearable devices

TP37

A

10.3969/j.issn.1003-6970.2016.08.008

2015年度湖南省大學(xué)生研究性學(xué)習(xí)和創(chuàng)新性實(shí)驗(yàn)計(jì)劃項(xiàng)目（湘教通[2015]269號(hào)-132）；2016年長(zhǎng)沙理工大學(xué)大學(xué)生研究性學(xué)習(xí)和創(chuàng)新性實(shí)驗(yàn)計(jì)劃項(xiàng)目(長(zhǎng)理工大教[2016]7號(hào)-133)。

李旭東(1995-)，男，本科生，主要研究方向：嵌入式系統(tǒng)

通訊聯(lián)系人： 桂彥，博士、講師、碩士生導(dǎo)師，主要研究方向：圖像處理、模式識(shí)別