周 影,孫慧慧,2,李 敏①(.淮北師范大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,安徽 淮北 235000;2.華中師范大學(xué) 國(guó)家數(shù)字化學(xué)習(xí)工程技術(shù)研究中心,湖北 武漢 430079)
一種移動(dòng)教學(xué)交互平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)
周 影1,孫慧慧1,2,李 敏1①
(1.淮北師范大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,安徽 淮北 235000;2.華中師范大學(xué) 國(guó)家數(shù)字化學(xué)習(xí)工程技術(shù)研究中心,湖北 武漢 430079)
為了使人機(jī)交互技術(shù)在數(shù)字化學(xué)習(xí)中得到更好的交互式體驗(yàn),設(shè)計(jì)一種移動(dòng)教學(xué)互動(dòng)平臺(tái),通過人手直接同投影儀交互,實(shí)現(xiàn)友好的教學(xué)交互,從而達(dá)到更加自然和人性化的教學(xué)交互體驗(yàn).該平臺(tái)通過常用設(shè)備組裝成新教學(xué)輔助設(shè)備,并設(shè)計(jì)出具有特定功能的教學(xué)互動(dòng)界面,使得主動(dòng)搜索投影平面成為可能.實(shí)驗(yàn)結(jié)果表明,新移動(dòng)教學(xué)交互平臺(tái)具有可行性和高效性,其教學(xué)效果明顯.
移動(dòng)教學(xué)平臺(tái);人機(jī)交互;教學(xué)互動(dòng);區(qū)域生長(zhǎng)算法
人機(jī)交互技術(shù)領(lǐng)域出現(xiàn)許多新興交互方式,如體感交互、眼動(dòng)跟蹤、語音交互等方式,為我們帶來全新的體驗(yàn).逐漸興起的交互式教學(xué)設(shè)備(電子白板、液晶屏?xí)鴮懀┐碇萍嫉奈磥戆l(fā)展方向,但由于設(shè)備成本高昂,使得此類新興設(shè)備具有適用性差、成本高、普及率低的特點(diǎn).具有簡(jiǎn)單易用、用戶友好特點(diǎn)的觸摸屏技術(shù)在近些年來發(fā)展迅速,為人們帶來前所未有的操作控制體驗(yàn).
常見的教學(xué)設(shè)備——投影儀具有展示功能,最常用的交互方式是通過鼠標(biāo)、鍵盤、激光筆實(shí)現(xiàn)的,操作方式往往受輸入設(shè)備位置限制,使用中會(huì)影響教學(xué)體驗(yàn)效果.如果增設(shè)攝像機(jī),可將投影儀連同攝像機(jī)組成Procam(projector-camera)系統(tǒng)[1],組成一個(gè)獨(dú)立的人機(jī)交互系統(tǒng),此系統(tǒng)擺脫輸入設(shè)備的限制,通過人手直接互動(dòng)實(shí)現(xiàn)與計(jì)算機(jī)的直接交互.
人機(jī)交互系統(tǒng)成為國(guó)內(nèi)外的研究熱點(diǎn)之一.文獻(xiàn)[2]制作一個(gè)特殊的筆,允許多個(gè)指針同時(shí)在白板上交互,為我們展現(xiàn)更多交互選擇.一些研究團(tuán)隊(duì)嘗試使用將日常物體演變成無需連接任何線路卻能提供豐富信息的交互方式來完成交互,例如在手掌上繪制描邊手勢(shì)[3],郭星等[4]利用雙目立體視覺實(shí)現(xiàn)大屏幕的人機(jī)交互系統(tǒng),提出一種簡(jiǎn)單并相似的指尖空間定位方法.羅信[5]提出基于攝像機(jī)和投影儀的交互系統(tǒng)下對(duì)手勢(shì)的特征進(jìn)行提取和識(shí)別,實(shí)現(xiàn)包含主要功能的手勢(shì)識(shí)別系統(tǒng).本文提出并設(shè)計(jì)出移動(dòng)交互系統(tǒng)來模擬觸摸屏的效果,通過移動(dòng)平臺(tái),完成移動(dòng)投影.移動(dòng)投影可以在任何需要投影顯示的位置,在相應(yīng)墻壁平面中完成各種顯示和交互功能.
對(duì)未來教育的探索,智能移動(dòng)平臺(tái)可作為其關(guān)鍵技術(shù),提供更多服務(wù)的可能,并在各類移動(dòng)平臺(tái)做出不同的應(yīng)用開發(fā).對(duì)于移動(dòng)教學(xué)交互平臺(tái),本文提出以下3種視覺功能的設(shè)計(jì).
1.1 移動(dòng)交互投影
投影儀作為一種常見的演示設(shè)備,不僅僅局限于課堂上,還可廣泛用在各種教學(xué)場(chǎng)地,如教室、辦公室、實(shí)驗(yàn)室、走廊等.但由于特定教學(xué)設(shè)備固定,使得實(shí)際教學(xué)交流場(chǎng)地不能任意選擇,僅能夠在指定區(qū)域完成演示需求.因此,設(shè)計(jì)將視覺攝像機(jī)安裝在移動(dòng)平臺(tái)上滿足多種教學(xué)環(huán)境的需要.投影儀和攝像機(jī)固定在移動(dòng)平臺(tái)上,使其具有移動(dòng)和旋轉(zhuǎn)的功能,如圖1所示.
圖1 移動(dòng)實(shí)驗(yàn)平臺(tái)
為了避免在教學(xué)交互過程中使用各種手持或可穿戴設(shè)備,目標(biāo)是將任意平面轉(zhuǎn)換為具有基本交互功能的觸摸屏.移動(dòng)交互系統(tǒng)主要由4部分組成:
(1)自動(dòng)選擇投影平面.提出一種自動(dòng)搜索投影平面的方法,結(jié)合自動(dòng)選擇投影平面的設(shè)計(jì),可以突破固定位置的限制,滿足各種即興教學(xué)互動(dòng)的需要.
(2)校準(zhǔn)投影儀相機(jī).投影儀相機(jī)系統(tǒng)是由可控的光學(xué)裝置和數(shù)碼相機(jī)的感光器件組成,設(shè)備使用前需要校準(zhǔn)系統(tǒng)里內(nèi)部參數(shù)和外部參數(shù),然后建立投影儀和攝像機(jī)的圖像之間的位置對(duì)應(yīng)關(guān)系.
(3)通過匹配手指模板定位交互區(qū)域.經(jīng)過上述過程,可以得到投影機(jī)攝像機(jī)系統(tǒng)前后的圖像變換.超過估計(jì)的部分將被鎖定,并被認(rèn)為是可疑的用戶交互區(qū)域,將被重復(fù)執(zhí)行.
(4)分析和響應(yīng)交互命令.在交互過程中,用戶身體的某些部位的遮擋可能會(huì)破壞交互區(qū)域的判斷,因此,提出匹配手指模板與候選交互區(qū)域.對(duì)于教學(xué)演示需求,最常見的互動(dòng)交互方式是翻頁(yè)、劃線、放大和縮小.
1.2 互聯(lián)網(wǎng)下的分布互聯(lián)數(shù)據(jù)庫(kù)
把智能平臺(tái)連接到互聯(lián)網(wǎng),建立一個(gè)分布式數(shù)據(jù)庫(kù),網(wǎng)絡(luò)的共享資源可支持所有的移動(dòng)平臺(tái),如電腦、手機(jī)和其他手持智能設(shè)備,它將根據(jù)教學(xué)進(jìn)度有效管理各種文檔.考慮到智能平臺(tái)可能分布在不同的位置,可以設(shè)計(jì)一個(gè)集成端口,用于統(tǒng)一管理和高效利用這些智能平臺(tái)獲得分散的知識(shí).
1.3 通過反饋?zhàn)詣?dòng)學(xué)習(xí)
通過多次升級(jí)硬件和軟件資源,移動(dòng)平臺(tái)最終將被創(chuàng)建為一個(gè)智能教育服務(wù)機(jī)器人.因此,教育服務(wù)機(jī)器人應(yīng)該具有識(shí)別用戶和環(huán)境的能力.為了增強(qiáng)用戶體驗(yàn),經(jīng)過訓(xùn)練的機(jī)器人可以通過視覺系統(tǒng)學(xué)習(xí)用戶的面部表情,根據(jù)用戶的行為和路徑分析,做出相應(yīng)的反饋行為.
本文利用移動(dòng)平臺(tái)作為接口,使用戶能夠與教學(xué)平臺(tái)互動(dòng).教學(xué)交互系統(tǒng)的過程是:計(jì)算機(jī)通過數(shù)據(jù)線將投影內(nèi)容傳輸給投影儀,由投影儀將投影內(nèi)容投影在投影屏幕上,用戶在投影屏幕上用手指發(fā)出翻頁(yè)等指令實(shí)現(xiàn)自然交互.其中,攝像機(jī)主要用于捕獲采集圖像信息,將其傳輸?shù)皆O(shè)計(jì)的系統(tǒng)中進(jìn)行處理,并將處理結(jié)果發(fā)送給計(jì)算機(jī).
2.1 區(qū)域生長(zhǎng)算法
選擇適合投影的平面時(shí),可通過算法自動(dòng)判定.通過選定閾值范圍T1內(nèi)的種子點(diǎn)s作為中心,利用區(qū)域增長(zhǎng)算法選定適宜投影的平面.使用圖像分割的方法完成區(qū)域生長(zhǎng)算法,將具有相似屬性的所有鄰近像素聚類成一個(gè)區(qū)域[6],其過程如下:
(1)選擇原始圖像中的種子點(diǎn)S(x0,y0)作為生長(zhǎng)的初始點(diǎn),種子點(diǎn)需滿足閾值條件T1.
(2)連續(xù)延伸到種子的8個(gè)相鄰像素,選擇符合閾值條件的新像素S(x,y),然后將它們合并到更大的區(qū)域中,并將它們用作后續(xù)迭代過程的新種子.
(3)當(dāng)沒有更多的像素滿足標(biāo)準(zhǔn)時(shí),該區(qū)域增長(zhǎng)停止,它將到達(dá)具有所有連接要求點(diǎn)的區(qū)域就是生長(zhǎng)的區(qū)域,同時(shí)建立該區(qū)域的邊界.
(4)獲取所有符合適宜投影像素要求的區(qū)域,存儲(chǔ)和提供該區(qū)域邊界的信息.
2.2 照相機(jī)和投影儀的校準(zhǔn)
投影相機(jī)系統(tǒng)包括投影機(jī)、攝像機(jī)和投影平面,Procam系統(tǒng)包含可控光器件和感光器件,為了準(zhǔn)確地定位交互區(qū)域,移動(dòng)交互平臺(tái)應(yīng)當(dāng)在其位置發(fā)生改變時(shí)完成一次校準(zhǔn).因此,有必要解決以下兩個(gè)問題:一是系統(tǒng)校準(zhǔn),對(duì)投影之前和投影之后采集的圖像之間建立對(duì)應(yīng)關(guān)系;二是檢測(cè)顯著超過自然背景對(duì)比值的色塊區(qū)域,并將它們處理成為手指交互候選區(qū)域.
系統(tǒng)中投影儀和攝像機(jī)的聯(lián)系,主要依靠攝像機(jī)連續(xù)捕獲投影圖像獲得的光照效果,并將關(guān)系量化,利用輻照度光照模型來完成.投影儀圖像平面上任意一點(diǎn)IP與相對(duì)應(yīng)的攝像機(jī)捕獲圖像上的位置IC可通過H矩陣描述.
幾何標(biāo)定后,投影圖像和攝像機(jī)捕獲圖片上的每一個(gè)像素點(diǎn)在幾何上有一一對(duì)應(yīng)的關(guān)系,但在像素值上存在較大的差異,影響這些差異的因素包括相機(jī)的亮度響應(yīng)函數(shù)、投影儀的亮度響應(yīng)函數(shù)、相機(jī)和投影儀兩個(gè)通道間的顏色混合、投影面的反射率等.矩陣A表示物體表面的反射率,向量F表示環(huán)境光的貢獻(xiàn),投影儀即使在投影黑色圖像時(shí)也會(huì)出現(xiàn)漏光現(xiàn)象.矩陣V稱為顏色混合矩陣,用于描述投影儀攝像機(jī)系統(tǒng)中各個(gè)顏色通道之間的相互作用.P是圖像中的原點(diǎn),C是經(jīng)過Procam系統(tǒng)后得到的與P對(duì)應(yīng)的點(diǎn).AR、AG、AB是物體表面分別對(duì)紅綠藍(lán)三色的反射率.
圖2 投影機(jī)與相機(jī)的點(diǎn)映射關(guān)系
本文研究基于環(huán)境的相機(jī)和投影儀內(nèi)的響應(yīng)方案以獲得結(jié)構(gòu)映射函數(shù).具體地,由捕獲圖像的坐標(biāo)與原始圖像的對(duì)應(yīng)點(diǎn)位置之間的系統(tǒng)成像關(guān)系的幾何模型確定.如圖2所示,給定投影平面中的采樣點(diǎn)P(x1,y1),投影到投影壁W(x2,y2),然后由相機(jī)捕獲C(x3,y3).根據(jù)透視投影的理論,在P和C之間的匹配對(duì)應(yīng)關(guān)系如式(1).
其中α是比例因子,其可以通過跟隨的轉(zhuǎn)換步驟消除,并且是包含8個(gè)位置參數(shù)的變換矩陣.為進(jìn)一步直觀地顯示,公式(1)被轉(zhuǎn)換為式(2).
2.3 投影儀相機(jī)系統(tǒng)顏色標(biāo)定
由于投影機(jī)和相機(jī)具有不同光譜響應(yīng)特性,相機(jī)和投影機(jī)上顯示的顏色不同.此外,由于投影儀存在著亮度差異,并且經(jīng)常受到環(huán)境光的影響,所以,在投影儀不同位置,相同的顏色將被改變?yōu)椴煌南袼刂担鐖D3所示.因此需要研究系統(tǒng)的內(nèi)部顏色變換,然后鎖定異常區(qū)域.
圖3 投影前后色彩樣本對(duì)照效果
投影機(jī)和相機(jī)通常包含RGB彩色圖像的3個(gè)顏色通道,該系統(tǒng)中的顏色轉(zhuǎn)換表示如下:C和P對(duì)應(yīng)點(diǎn)位于不同的平面上,并且P為已知點(diǎn).其余參數(shù)表示顏色發(fā)生變化的3個(gè)因素,分別為環(huán)境光、系統(tǒng)照明和表面反射.A是投影儀表面的反射率.參數(shù)V表示環(huán)境光的貢獻(xiàn),矩陣F稱為顏色混合矩陣,用于描述該系統(tǒng)中不同顏色通道之間的相互作用.這3個(gè)參數(shù)可以通過投影定制圖像來估計(jì),包括紅色、綠色、藍(lán)色、白色和黑色的圖像.然后在對(duì)應(yīng)于像素值的投影之后計(jì)算未知點(diǎn)P.投影儀和攝像機(jī)的內(nèi)部參數(shù)是固定的,僅需一次標(biāo)定即可.
2.4 手指模板匹配
手指識(shí)別使用手指輸入圖像信息,完成人與計(jì)算機(jī)的智能交互功能,不受距離和顯示設(shè)備尺寸的限制.人手形態(tài)結(jié)構(gòu)各異,分辨出投影圖像中的人手,排除手掌和手臂的干擾,在交互時(shí)屬于干擾信息,需去除.這樣一來能夠滿足直觀、直接、全面地捕捉到人的交互需求[7].
人手的檢測(cè)與分割是投影交互系統(tǒng)的基礎(chǔ),為了在交互區(qū)域中定位手指位置,采用手指模板匹配方法.由于人手的形態(tài)可以呈現(xiàn)出多種不同的狀態(tài),所以根據(jù)形狀尋找人手較困難.這里以手指的形狀作為基本特征,因?yàn)槭种妇哂斜旧淼奶匦?,手指指端呈半圓形,指節(jié)處則近乎為平行線.手指同投影平面實(shí)現(xiàn)交互的前提是判斷是否發(fā)生手指交互請(qǐng)求以及交互區(qū)域準(zhǔn)確位置的確定.本文使用單個(gè)手指的形狀信息確定發(fā)生交互區(qū)域,見圖4(a)所示.
圖4 處理和獲取用戶遮擋區(qū)域
本文通過手指模板匹配來鎖定交互區(qū)塊的方法可以消除手掌和手臂的干擾,且準(zhǔn)確地判斷用戶的交互意圖.通過該方法準(zhǔn)確地檢測(cè)到指尖觸碰位置,并發(fā)出指令,給出響應(yīng),達(dá)到互動(dòng)的效果.
考慮到投影系統(tǒng)的教育功能廣泛應(yīng)用,要求系統(tǒng)能夠自主選擇適合投影的平面,文中通過區(qū)域生長(zhǎng)算法為投影儀選擇適合投影的平面,使得系統(tǒng)更具主動(dòng)性.充分采集各類室內(nèi)教學(xué)場(chǎng)景環(huán)境(如教室、實(shí)驗(yàn)室、廊道等)圖片,按照不同時(shí)間段分別進(jìn)行(分5個(gè)教學(xué)時(shí)間段),共計(jì)120幅.環(huán)境結(jié)構(gòu)光動(dòng)態(tài)范圍大,經(jīng)過實(shí)地投影實(shí)驗(yàn),獲取適合投影圖像的顏色統(tǒng)計(jì)信息.設(shè)定閾值T,由于投影平面對(duì)顏色紋理有需求外,其平面大小應(yīng)超過Tarea.
應(yīng)用區(qū)域生長(zhǎng)算法來搜索投影平面,區(qū)域生長(zhǎng)算法的效果取決于初始點(diǎn)的選擇、生長(zhǎng)的標(biāo)準(zhǔn)和終端條件.生長(zhǎng)區(qū)域種子的初始化可嘗試捕獲圖像的中心點(diǎn),當(dāng)中心點(diǎn)不滿足范圍時(shí),算法將移動(dòng)到左上角的方向,搜索適當(dāng)?shù)钠瘘c(diǎn),并且搜索步設(shè)置為10.
為獲得適當(dāng)?shù)慕K止條件,需根據(jù)不同的教學(xué)時(shí)間段,充分收集室內(nèi)環(huán)境教學(xué)現(xiàn)場(chǎng)的圖片,這些領(lǐng)域中的投影實(shí)驗(yàn)用于統(tǒng)計(jì)適合于教學(xué)投影的可接受的顏色范圍,將范圍設(shè)置為92到146,當(dāng)生長(zhǎng)區(qū)域大于投影區(qū)域滿足上述閾值條件時(shí),認(rèn)為用于呈現(xiàn)投影的合適平面已經(jīng)找到,效果如圖5所示.
圖5 互動(dòng)投影位置選定實(shí)例
設(shè)備的平臺(tái)是可移動(dòng)和旋轉(zhuǎn)的,有助于調(diào)整位置和找到投影平面.當(dāng)由相機(jī)捕獲的平面圖像滿足請(qǐng)求的大小時(shí),該位置被確定為適合于投影.否則,它將返回調(diào)整移動(dòng)平臺(tái)的位置,繼續(xù)搜索.投影機(jī)和相機(jī)之間的顏色通道的混合不會(huì)受環(huán)境的影響,根據(jù)幾何和顏色的校準(zhǔn),它可以預(yù)測(cè)原始圖像的投影結(jié)果.示例如圖4所示,根據(jù)公式(3)計(jì)算對(duì)應(yīng)于原點(diǎn)(在圖4(a)中)的RGB值,然后構(gòu)成圖4(b)中的預(yù)測(cè)投影圖像.圖4(c)顯示的是由相機(jī)捕獲的真實(shí)投影圖像,當(dāng)差異值超過閾值時(shí),計(jì)算出預(yù)測(cè)圖像和實(shí)際拍攝的投影圖像之間的差作為候選區(qū)域.對(duì)比(b)和(c)觀察后發(fā)現(xiàn),圖4(d)R差異區(qū)塊絕大部分區(qū)域來自用戶的交互遮擋,這里僅給出候選區(qū)域R,沒有準(zhǔn)確的交互位置.
經(jīng)過分析設(shè)計(jì)后,選擇普通手指作為模板,并在候選區(qū)域中搜索以解決上述未提供準(zhǔn)確交互位置的問題.模型如圖6(a)、6(b)所示.
圖6 正常手指示例圖和搜索區(qū)塊
最后,完成基于手指位置的基本交互的指令,圖7顯示實(shí)現(xiàn)的效果,因此該方法可用于開發(fā)各類交互式演示系統(tǒng).可以完成基于手指位置的各種預(yù)定義的交互指令,這意味著可以使用該系統(tǒng),實(shí)現(xiàn)手指控制下的交互式教學(xué)演示.
圖7 指尖區(qū)塊表明發(fā)生交互的準(zhǔn)確位置
人機(jī)交互的發(fā)展必將朝著2個(gè)方向進(jìn)行,即語音交互和手勢(shì)交互.語音的發(fā)展受到語言類型眾多、語義豐富等影響,使得語音目前受限于標(biāo)準(zhǔn)發(fā)音的簡(jiǎn)單指令.而手勢(shì)交互不存在此類問題,可提供自由空間的人機(jī)交互.文中利用現(xiàn)有多媒體設(shè)備,采用計(jì)算機(jī)視覺技術(shù),將投影平面變換成已交互使用的觸摸屏,分析人手姿勢(shì)實(shí)現(xiàn)縮放、單擊、雙擊、選中、翻頁(yè)等交互指令識(shí)別.本文提出在移動(dòng)平臺(tái)上建立人機(jī)交互系統(tǒng),用戶可以直接用手指與計(jì)算機(jī)進(jìn)行交互.在今后的更多教育應(yīng)用中,勢(shì)必將為教師和學(xué)生提供更好的使用體驗(yàn).
[1]王鼎元.基于攝像與投影的人機(jī)交互系統(tǒng)設(shè)計(jì)[D].成都:電子科技大學(xué),2010.
[2]BRANDL P,HALLER M,HURNAUS M,et al.A n adaptable rear-projection screen using digital pens and hand gestures [C]∥International Conference on Artificial Reality and Telexistence,IEEE,2007:49-54.
[3]WANG C Y,HSIU M C,CHIU P T,et al.Palmgesture:Using palms as gesture interfaces for eyes-free input[C]∥Proceed?ings of the 17th International Conference on Human-Computer Interaction with Mobile Devices and Services,2015:217-226.
[4]郭星,劉政怡,李煒,等.一種大屏幕人機(jī)交互系統(tǒng)的實(shí)現(xiàn)方法[J].計(jì)算機(jī)工程與應(yīng)用,2012,48(1):176-179.
[5]羅信.基于Procam交互系統(tǒng)的自然手勢(shì)識(shí)別方法研究[D].廣州:廣東工業(yè)大學(xué),2014.
[6]柳佳雯,梁光明,劉任任.融合色調(diào)統(tǒng)計(jì)特征的自適應(yīng)區(qū)域增長(zhǎng)算法[J].計(jì)算機(jī)應(yīng)用研究,2012,29(8):3176-3178.
[7]韓君佩.一種具有手指識(shí)別功能交互平臺(tái)的研究與設(shè)計(jì)[D].武漢:華中科技大學(xué),2015.
Design and Implementation of a Mobile Teaching Interactive Platform
ZHOU Ying1,SUN Huihui1,2,LI Min1
(1.School of Computer Science and Technology,Huaibei Normal University,235000,Huaibei,Anhui,China;2.National Engineering Research Center for E-learning China,Central Normal University,430079,Wuhan,Hubei,China)
In order to make the human-computer interaction technology get a better interactive experience in digital learning,this paper designs and implements a interactive platform of mobile teaching,which can achieve friendly teaching interaction by interacting directly with the projector,so as to achieve more natural and Humanized teaching interaction experience.The platform is assembled into a new teaching aids through common equipment,and a teaching interface with a specific function is designed to make it possible to active?ly search the projection plane.Experiments show that the new mobile teaching interactive platform is feasible and efficient,and its teaching effect is obvious.
mobile teaching platform;human-computer interaction;teaching interaction;regional growth algo?rithm
G 434
A
2095-0691(2017)02-0049-06
2017-01-13
安徽省自然科學(xué)基金資助項(xiàng)目(KJ2017A849)
周 影(1981— ),女,安徽淮北人,講師,碩士生,研究方向:信息安全、圖像處理.