張華書，李曉猛，劉連哲，施松新

（1.華中科技大學(xué)機(jī)械科學(xué)與工程學(xué)院，湖北武漢 430074；2.東莞華中科技大學(xué)制造工程研究院廣東省制造裝備數(shù)字化重點(diǎn)實(shí)驗(yàn)室，廣東東莞 523808）

會(huì)展業(yè)中互動(dòng)投影系統(tǒng)的研究與應(yīng)用*

張華書1，2，李曉猛1，劉連哲1，施松新1，2

（1.華中科技大學(xué)機(jī)械科學(xué)與工程學(xué)院，湖北武漢 430074；2.東莞華中科技大學(xué)制造工程研究院廣東省制造裝備數(shù)字化重點(diǎn)實(shí)驗(yàn)室，廣東東莞 523808）

受益于科技的進(jìn)步，會(huì)展行業(yè)正向著多元化、智能化的方向發(fā)展，基于人機(jī)交互技術(shù)的多媒體互動(dòng)投影系統(tǒng)在會(huì)展行業(yè)得到廣泛應(yīng)用?；?dòng)投影系統(tǒng)以人機(jī)交互技術(shù)為基礎(chǔ)，結(jié)合計(jì)算機(jī)視覺技術(shù)和多媒體投影顯示技術(shù)，在虛擬的環(huán)境中創(chuàng)造一種奇幻的動(dòng)態(tài)交互體驗(yàn)，帶來一種身臨其境的感覺，給人們的生活和工作帶來極大便利。

人機(jī)交互技術(shù)；互動(dòng)投影系統(tǒng)；動(dòng)態(tài)交互體驗(yàn)

0 引言

隨著科技的進(jìn)步和社會(huì)的發(fā)展，功能愈發(fā)強(qiáng)大的計(jì)算機(jī)對(duì)人們生活和工作的重要性愈加明顯，對(duì)于日漸多元化和智能化的展覽展示行業(yè)也不例外。如今的展覽展示行業(yè)突破了以圖片和文字為表現(xiàn)形式的傳統(tǒng)二維層面，向著與人互動(dòng)、更豐富的表現(xiàn)形式的方向發(fā)展。會(huì)展業(yè)中的多媒體互動(dòng)投影系統(tǒng)結(jié)合最新發(fā)展的人機(jī)交互技術(shù)，通過構(gòu)建逼真的虛擬環(huán)境，既能全面展示產(chǎn)品信息，也能帶給人們獨(dú)特的交互體驗(yàn)。

1 互動(dòng)投影技術(shù)

在2009年以前，互動(dòng)投影還不為人所熟知，隨著近年來互動(dòng)投影技術(shù)的快速發(fā)展，以及智能化的人機(jī)交互平臺(tái)的構(gòu)建，人與計(jì)算機(jī)之間能夠進(jìn)行更自然的溝通和交流。互動(dòng)投影技術(shù)是計(jì)算機(jī)視覺技術(shù)和多媒體投影顯示技術(shù)的結(jié)合，在人機(jī)交互技術(shù)的基礎(chǔ)下，使人們與虛擬的場(chǎng)景進(jìn)行互動(dòng)，投影系統(tǒng)營(yíng)造的場(chǎng)景虛實(shí)結(jié)合，讓人們感覺進(jìn)入了一個(gè)亦真亦幻的世界中?；?dòng)投影在投影上采用了大屏幕投影畫面顯示技術(shù)，在顯示上結(jié)合了先進(jìn)遙感技術(shù)和處理技術(shù)，其目的在于通過系統(tǒng)在屏幕投影畫面中與人的行為進(jìn)行互動(dòng)，使畫面仿佛真正的被人的實(shí)體動(dòng)作所影響。在互動(dòng)系統(tǒng)中，系統(tǒng)就會(huì)根據(jù)人的動(dòng)作采集相應(yīng)的視頻和圖像數(shù)據(jù)并做出實(shí)時(shí)反應(yīng)，以往的人機(jī)交互中，機(jī)器要通過人下達(dá)指定，然后再做出相應(yīng)的動(dòng)作，人和機(jī)器是主動(dòng)方和被動(dòng)方的關(guān)系。而在互動(dòng)投影系統(tǒng)中，人不需要對(duì)機(jī)器下達(dá)指令，系統(tǒng)會(huì)根據(jù)人的實(shí)時(shí)動(dòng)作來做出相應(yīng)的反應(yīng)，機(jī)器承擔(dān)主動(dòng)的一方。

互動(dòng)投影的運(yùn)作原理如下：首先是通過采集設(shè)備（主要通過紅外圖像采集技術(shù)進(jìn)行采集）對(duì)目標(biāo)（互動(dòng)過程的參與者）進(jìn)行捕捉拍攝，接著影像系統(tǒng)對(duì)采集到的視頻和數(shù)據(jù)進(jìn)行優(yōu)化和分析處理，得到互動(dòng)參與者的動(dòng)作信息，該動(dòng)作信息以數(shù)據(jù)的形式被影像互動(dòng)系統(tǒng)識(shí)別后，系統(tǒng)做出實(shí)時(shí)的反饋動(dòng)作，使參與者與投影屏幕之間產(chǎn)生互動(dòng)。

2 互動(dòng)投影系統(tǒng)

互動(dòng)投影系統(tǒng)主要由四個(gè)部分組成：第一，信號(hào)采集，系統(tǒng)會(huì)依據(jù)互動(dòng)流程對(duì)目標(biāo)進(jìn)行視頻或者圖像采集，采集的設(shè)備多種多樣，包括紅外線感應(yīng)器和視頻錄像機(jī)等；第二，信號(hào)處理，該部分主要功能是分析實(shí)時(shí)采集到的數(shù)據(jù)，并將分析的結(jié)果與虛擬場(chǎng)景系統(tǒng)吻合；第三，成像部分，利用相應(yīng)的設(shè)備將影像投放在指定的位置，除了投影機(jī)、液晶顯示器、等離子顯示器等液晶器件也可以作為顯像設(shè)備；第四，輔助設(shè)備，包括安裝部件、傳輸裝置和音響設(shè)備等。

互動(dòng)系統(tǒng)構(gòu)成圖如圖1所示。

圖1 互動(dòng)投影系統(tǒng)構(gòu)成圖

3 基于人機(jī)交互技術(shù)的互動(dòng)投影系統(tǒng)

基于人機(jī)交互技術(shù)的互動(dòng)投影系統(tǒng)，其核心是紅外線圖像采集與圖像定位的智能識(shí)別和精確控制，通過紅外線攝像機(jī)對(duì)實(shí)時(shí)數(shù)據(jù)進(jìn)行捕捉，然后將圖像傳送到圖像處理單元當(dāng)中，利用相應(yīng)的算法進(jìn)行動(dòng)態(tài)背景建模，將目標(biāo)從背景中分離，進(jìn)一步確定目標(biāo)的位置信息，最后將目標(biāo)的位置信息通過轉(zhuǎn)換器轉(zhuǎn)換成電腦的輸入信號(hào)，最后通過無線藍(lán)牙傳輸設(shè)備，實(shí)現(xiàn)對(duì)多媒體互動(dòng)投影系統(tǒng)的控制?；?dòng)投影數(shù)據(jù)處理流程為：紅外圖像采集——目標(biāo)與背景分離——濾波和形態(tài)學(xué)處理——目標(biāo)識(shí)別與跟蹤——控制信號(hào)編碼與發(fā)送。如圖2所示。

3.1 紅外圖像標(biāo)定

在捕捉設(shè)備進(jìn)行圖像和數(shù)據(jù)采集的過程中，相機(jī)鏡頭由于制造工藝會(huì)存在一定的變形，影響視頻和圖像數(shù)據(jù)的采集。為了得到更精確的分析數(shù)據(jù)，采用基于自由網(wǎng)格的紅外相機(jī)標(biāo)定技術(shù)對(duì)相機(jī)鏡頭進(jìn)行標(biāo)定。將標(biāo)記點(diǎn)區(qū)域設(shè)為正方形，標(biāo)定步驟如下：（1）按照P行Q列的方式，在投影區(qū)內(nèi)將標(biāo)記點(diǎn)均勻分布，如圖3（a）所示；（2）按照同樣的方式，在相機(jī)的拍攝畫面中，生成正方形的網(wǎng)格，拖動(dòng)網(wǎng)格定點(diǎn)，使網(wǎng)格定點(diǎn)與原始投影域中的標(biāo)記點(diǎn)重合；（3）通過線性插值法，將相機(jī)畫面中的對(duì)應(yīng)的區(qū)域內(nèi)容映射到標(biāo)定的結(jié)果畫面中，完成相機(jī)鏡頭的標(biāo)定，如圖3（b）、圖3（c）所示。

圖2 數(shù)據(jù)處理流程圖

圖3 鏡頭標(biāo)定

3.2 背景與目標(biāo)分離

圖像和視頻數(shù)據(jù)采集之后，需要將圖像數(shù)據(jù)中的目標(biāo)與背景分離開來，以便提取人的動(dòng)作信息。在互動(dòng)投影系統(tǒng)中，利用紅外檢測(cè)系統(tǒng)可將人體運(yùn)動(dòng)目標(biāo)從背景中分離，其原理是利用不同物體對(duì)紅外光反射的程度，由于分離的目標(biāo)是人體運(yùn)動(dòng)，整個(gè)人體結(jié)構(gòu)對(duì)紅外光線的反射差異很小，這樣就能夠根據(jù)反射紅外光線的程度進(jìn)行目標(biāo)與背景分離。一般來說，人體結(jié)構(gòu)對(duì)紅外光的反射率在0.34左右，人體衣服的反射率也在0.5以下，只要虛擬場(chǎng)景的背景材料的反射率與人體反射率相差較大，就能很好地分離出人體的運(yùn)動(dòng)信息。

3.3 濾波與圖像增強(qiáng)

由于視頻圖像在獲取時(shí)受到外界的影響大，很容易導(dǎo)致圖像的質(zhì)量降低，不利于后期的圖像識(shí)別和追蹤。互動(dòng)投影系統(tǒng)在獲得圖像數(shù)據(jù)之后，利用同態(tài)濾波算法提高圖像質(zhì)量，使要提取的信息更加突出。同態(tài)濾波算法主要根據(jù)周圍光線對(duì)圖像的影響特性來實(shí)現(xiàn)，周圍光線強(qiáng)度不均勻，就會(huì)影響圖像的對(duì)比度增強(qiáng)過程，這樣就得到同態(tài)濾波的照度——反射模型，正如上述模型給出的一樣，一幅圖像可以看成照度和反射的綜合體，受照度和反射兩個(gè)因素的影響：

將該模型應(yīng)用到圖像的頻域中，首先將依次進(jìn)行對(duì)數(shù)運(yùn)算和傅里葉變換，得：

再通過濾波函數(shù)H（u，v）對(duì)Z（u，v）進(jìn)行處理，有：

對(duì)S依次進(jìn)行反傅里葉變換和指數(shù)運(yùn)算，便得到符合要求的增強(qiáng)圖像g（x，y）：

圖4給出了利用同態(tài)濾波器將圖像增強(qiáng)的流程，其中，f（x，y）為原始圖像，g（x，y）為增強(qiáng)后的圖像。

4 互動(dòng)投影系統(tǒng)的應(yīng)用

展覽業(yè)中互動(dòng)投影逐漸成為主流的展覽方式，它新奇的互動(dòng)效果不僅能夠吸引人們的眼球，好的設(shè)計(jì)和藝術(shù)效果也可以增強(qiáng)展覽的互動(dòng)氛圍。如今，互動(dòng)投影的方式日新月異，獨(dú)特新穎，既有地面互動(dòng)、立面互動(dòng)，也有臺(tái)面互動(dòng)。歷史博物館中互動(dòng)展區(qū)的綠色水幕博人眼球，參觀者站在水幕面前，手指輕輕劃動(dòng)水幕，水幕就會(huì)緩緩打開展現(xiàn)展示內(nèi)容；世博會(huì)上加拿大館展示了立面互動(dòng)投影技術(shù)，屏幕前設(shè)有固定自行車，參觀者在踩動(dòng)踏板的過程中，屏幕上會(huì)呈現(xiàn)不同的美景；西藏館采用超大屏幕的地面互動(dòng)投影系統(tǒng)，在交互過程中給人帶來無限的樂趣和藝術(shù)美。

圖4 圖像增強(qiáng)流程圖

5 結(jié)語

多媒體互動(dòng)投影吸收和融合先進(jìn)的科學(xué)技術(shù)和藝術(shù)，不斷以新穎的表現(xiàn)形式吸引著人們，創(chuàng)造虛擬的現(xiàn)實(shí)，能夠?yàn)檎褂[展示行業(yè)和其他應(yīng)用領(lǐng)域創(chuàng)造更多的社會(huì)價(jià)值和經(jīng)濟(jì)價(jià)值，推動(dòng)社會(huì)的發(fā)展。

［1］王娜娜.交互式虛擬展品展示系統(tǒng)開發(fā)平臺(tái)關(guān)鍵技術(shù)的研發(fā)［D］.青島：青島大學(xué)，2007.

［2］孟祥旭，李學(xué)慶.人機(jī)交互技術(shù)：原理與應(yīng)用［M］.北京：清華大學(xué)出版社，2004.

［3］袁慶曙.數(shù)字化互動(dòng)陳展技術(shù)與系統(tǒng)研究.［D］.杭州：浙江大學(xué)，2009.

［4］薛玉梁.交互式大屏幕投影顯示系統(tǒng)設(shè)計(jì)［D］.杭州：浙江大學(xué)，2006.

［5］胡小強(qiáng).虛擬現(xiàn)實(shí)技術(shù)［M］.北京：北京郵電大學(xué)出版社，2005.

［6］王猛，白洪亮.同態(tài)濾波器在水下圖像增強(qiáng)中的應(yīng)用［J］.應(yīng)用科技，2003，30（7）：15-17.

Research and Application of Interaction Projection Systerm in the Convention and Exhibition Industry

ZHANG Hua-shu1，2，LI Xiao-meng1，LIU Lian-zhe1，SHI Song-xin1，2
（1.School of Mechanical Science&Engineering，Huazhong University of Science and Technology，Wuhan430074，China；2.DG-HUST Mechanical Engineering Institute，Dongguan523808，China）

Benefiting from the achievements brought by science and technology，the convention and exhibition industry steps into the period of diversification and intelligence，the interactive projection systems based on human-computer interaction technology are widely used in many kinds of exhibitions.Applied with computer vision technology and multi-media projection display technology， the interactive projection system is able to create a kind of fantasy and dynamic interaction experience，and brings the feeling of intimacy. The system has greatly facilitated people’s daily life and work.

human-computer interaction technology；interactive projection system；dynamic interaction experience

TS951.76

：A

：1009－9492(2014)12－0176－03

10.3969/j.issn.1009-9492.2014.12.045

張華書，男，1955年生，重慶人，教授。研究領(lǐng)域：機(jī)電一體化產(chǎn)品、裝備以及自動(dòng)線。

(編輯：王智圣)

*廣東省科技計(jì)劃項(xiàng)目（編號(hào)：2011B040300017）

2014－07－09