摘要：媒體認(rèn)知實(shí)驗(yàn)課程是清華大學(xué)電子信息學(xué)科在課程體系改革過(guò)程中提出的一門(mén)創(chuàng)新性前沿必修課程。文章闡述全面覆蓋人機(jī)感知交互、媒體信息處理、虛擬現(xiàn)實(shí)及信號(hào)處理領(lǐng)域的一套基于英特爾RealSense設(shè)備的探索前沿型實(shí)驗(yàn)教學(xué)課程內(nèi)容及平臺(tái)特點(diǎn)，分別介紹三維手勢(shì)識(shí)別實(shí)驗(yàn)項(xiàng)目和三維虛擬交互行為分析實(shí)驗(yàn)項(xiàng)目，旨在培養(yǎng)學(xué)生的智能感知技術(shù)開(kāi)發(fā)能力，掌握成為感知技術(shù)前沿領(lǐng)域高層次專(zhuān)業(yè)人才必需的各項(xiàng)基本技能和專(zhuān)業(yè)知識(shí)，采用集體創(chuàng)新培養(yǎng)和個(gè)人研究探索相結(jié)合，最終達(dá)到理工與人文、技術(shù)與藝術(shù)、感知與思考的高度融合。

關(guān)鍵詞：ReaISense；媒體認(rèn)知；智能感知；機(jī)器學(xué)習(xí)；人機(jī)交互

1 媒體與認(rèn)知實(shí)驗(yàn)課程建設(shè)概況

電子信息科學(xué)與技術(shù)是以物理和數(shù)學(xué)為基礎(chǔ)，研究通過(guò)電學(xué)形式表達(dá)和操控信息的基本規(guī)律以及運(yùn)用這些基本規(guī)律實(shí)現(xiàn)各種電子系統(tǒng)的方法。在進(jìn)入電子時(shí)代和信息社會(huì)的今天，電子信息科學(xué)技術(shù)已滲透到各個(gè)領(lǐng)域。隨著電子信息技術(shù)日新月異，電子信息教學(xué)領(lǐng)域也面臨著全新的挑戰(zhàn)，需要培養(yǎng)具有全方位視野和超強(qiáng)能力的新一代工程師及領(lǐng)導(dǎo)者。本著這一目標(biāo)，清華大學(xué)電子系自2008年開(kāi)始著手進(jìn)行課程改革，通過(guò)改革課程體系將原有課程重新整合，從學(xué)科范式的角度整理出電子工程本科教育的知識(shí)體系結(jié)構(gòu)，從而梳理出新的本科課程體系，形成了電子信息領(lǐng)域?qū)W科地圖。

媒體與認(rèn)知是電子系在課程改革中提出的一門(mén)全新的核心必修課程，位于電子信息領(lǐng)域?qū)W科地圖的最上層，通過(guò)對(duì)媒體信息、認(rèn)知科學(xué)及信號(hào)處理領(lǐng)域開(kāi)展具體、深入的研究及實(shí)踐，在學(xué)乍充分了解領(lǐng)域知識(shí)的前提下，用文、理、工相融合的眼光看待該學(xué)科發(fā)展歷史、研究現(xiàn)狀、最新研究進(jìn)展以及未來(lái)課題，為今后開(kāi)展高水平、創(chuàng)新性的研究鋪平道路。該課程結(jié)合清華大學(xué)電子系已經(jīng)落實(shí)的本科教學(xué)改革以及在教學(xué)、科研、學(xué)科建設(shè)等方面的實(shí)踐成果，通過(guò)培養(yǎng)學(xué)生的創(chuàng)新性思維推動(dòng)工程學(xué)和管理學(xué)、社會(huì)科學(xué)和人文科學(xué)的結(jié)合，培養(yǎng)素質(zhì)全面的人才。

媒體與認(rèn)知實(shí)驗(yàn)課程借鑒國(guó)際頂尖高校及清華大學(xué)電子工程系的前沿科研項(xiàng)目?jī)?nèi)容，實(shí)現(xiàn)智能感知和機(jī)器學(xué)習(xí)領(lǐng)域的科研成果向?qū)嶒?yàn)技術(shù)和實(shí)驗(yàn)教學(xué)轉(zhuǎn)化。該實(shí)驗(yàn)課程基于電子系梳理出新的本科課程體系，通過(guò)設(shè)計(jì)開(kāi)發(fā)一套完整的以實(shí)時(shí)智能感知技術(shù)為基礎(chǔ)的前沿探索型實(shí)驗(yàn)教學(xué)課程內(nèi)容及平臺(tái)，涵蓋三維人機(jī)感知交互、媒體信息處理、虛擬現(xiàn)實(shí)等領(lǐng)域；建立具有未來(lái)探索性的智能感知技術(shù)實(shí)驗(yàn)教學(xué)方法，實(shí)施跨學(xué)科、多層面、綜合性的學(xué)習(xí)與實(shí)踐，在課程量不變的同時(shí)提高教學(xué)效果和拓寬知識(shí)層面；突破傳統(tǒng)驗(yàn)證性實(shí)驗(yàn)課程及平臺(tái)因采取基于目標(biāo)或任務(wù)導(dǎo)向而導(dǎo)致高素質(zhì)人才培養(yǎng)與國(guó)際化培養(yǎng)方式存在較大差異的瓶頸，解決了知識(shí)量膨脹和學(xué)時(shí)有限之間的矛盾，實(shí)現(xiàn)了培養(yǎng)智能感知領(lǐng)域未來(lái)領(lǐng)軍人才的目標(biāo)，充分體現(xiàn)了實(shí)驗(yàn)教學(xué)科研工作在學(xué)校人才培養(yǎng)方面的重要意義。

2 媒體與認(rèn)知實(shí)驗(yàn)課程特點(diǎn)

媒體與認(rèn)知實(shí)驗(yàn)構(gòu)建了一套以實(shí)時(shí)智能感知技術(shù)為基礎(chǔ)的探索前沿型實(shí)驗(yàn)教學(xué)課程及平臺(tái)，在設(shè)備和設(shè)計(jì)內(nèi)容方面均與國(guó)際水平接軌，具有如下特點(diǎn)。

1）教學(xué)互促。

該課程采用教學(xué)互促的設(shè)計(jì)模式，通過(guò)設(shè)計(jì)實(shí)現(xiàn)一整套進(jìn)階互動(dòng)的實(shí)驗(yàn)教學(xué)方法和步驟，將教學(xué)互動(dòng)的理念貫穿于全部課程設(shè)計(jì)、平臺(tái)實(shí)施、項(xiàng)目更新等階段，充分實(shí)現(xiàn)教學(xué)互動(dòng)的作用。

2）知識(shí)延伸。

該課程設(shè)計(jì)上著重強(qiáng)調(diào)通識(shí)教育和學(xué)科交叉，提高學(xué)生的綜合素質(zhì)和適應(yīng)能力。通識(shí)教育有利于培養(yǎng)知識(shí)面寬的復(fù)合型人才，確保學(xué)生全面發(fā)展，提高學(xué)生的綜合素質(zhì)；文、理、工知識(shí)交叉滲透使學(xué)生可以從多角度和多學(xué)科運(yùn)用知識(shí)處理實(shí)際問(wèn)題。

3）技能拓展。

在對(duì)該平臺(tái)進(jìn)行學(xué)習(xí)和研發(fā)的過(guò)程中，學(xué)生的理論課程知識(shí)不斷鞏固加深，同時(shí)學(xué)生需要自主提出多個(gè)學(xué)科和研究方向上的全局及局部解決方案，拓展包括項(xiàng)目規(guī)劃、知識(shí)交叉、三維感知設(shè)計(jì)、跨平臺(tái)編程等多方面技能。

4）設(shè)備復(fù)用。

利用全新的英特爾三維智能感知設(shè)備ReaISense可以實(shí)現(xiàn)手勢(shì)識(shí)別、人臉識(shí)別、語(yǔ)音識(shí)別、場(chǎng)景識(shí)別等智能感知功能。英特爾的ReaISense設(shè)備是一種能通過(guò)采集視覺(jué)、深度、音頻等多種媒體信息獲得手勢(shì)、語(yǔ)音等表征意圖的智能感知設(shè)備，可以廣泛應(yīng)用于自然互動(dòng)、沉浸式協(xié)作與創(chuàng)作等創(chuàng)新應(yīng)用，能夠幫助開(kāi)發(fā)人員在游戲、娛樂(lè)和內(nèi)容創(chuàng)建交互方面實(shí)現(xiàn)新的突破。

3 三維手勢(shì)識(shí)別實(shí)驗(yàn)項(xiàng)目

肢體語(yǔ)言是人類(lèi)傳遞信息的一種重要方法，利用人體的姿態(tài)實(shí)現(xiàn)自然、高效的人機(jī)交互已經(jīng)成為熱門(mén)的研究方向。在以人為中心的環(huán)境中如何對(duì)人以及人的意圖進(jìn)行正確認(rèn)知，是提高人機(jī)交互水平的關(guān)鍵因素，而基于手勢(shì)識(shí)別的人機(jī)接口能夠保證人機(jī)交互更加自然和有效。手勢(shì)功能主要分為圖l中的幾種。

近年來(lái)，基于機(jī)器視覺(jué)的手勢(shì)識(shí)別技術(shù)正逐步成為人機(jī)交互研究的熱點(diǎn)。美國(guó)Stanford大學(xué)提出一種基于Kinect的手勢(shì)識(shí)別方法，通過(guò)Kinect獲取RGB圖像信息和深度數(shù)據(jù)，采用SURF變換算法實(shí)現(xiàn)高準(zhǔn)確度的手勢(shì)識(shí)別。瑞士蘇黎世聯(lián)邦理工大學(xué)計(jì)算機(jī)視覺(jué)實(shí)驗(yàn)室提出一種基于Haarlet的手勢(shì)識(shí)別系統(tǒng)，根據(jù)微軟Kinect設(shè)備獲取深度信息，檢測(cè)手勢(shì)的三維指向，將手勢(shì)轉(zhuǎn)換為交互命令，提高人與機(jī)器人交互的自然性。

該實(shí)驗(yàn)項(xiàng)目首先通過(guò)ReaISense的3D攝像頭捕捉多個(gè)手關(guān)節(jié)的運(yùn)動(dòng)圖像，從圖像中提取多個(gè)手關(guān)節(jié)的特征和位置，通過(guò)基于多個(gè)手關(guān)節(jié)的目標(biāo)檢測(cè)跟蹤算法對(duì)多個(gè)手關(guān)節(jié)目標(biāo)進(jìn)行檢測(cè)和跟蹤，最后根據(jù)多個(gè)手關(guān)節(jié)的運(yùn)動(dòng)軌跡進(jìn)行手勢(shì)識(shí)別。手勢(shì)分割階段需要將手勢(shì)從復(fù)雜的環(huán)境背景中分離出來(lái)，同時(shí)由于不同手勢(shì)之間會(huì)有一定的相似性，導(dǎo)致系統(tǒng)將非手勢(shì)空間誤識(shí)為手勢(shì)空間或者將手勢(shì)空間誤識(shí)為非手勢(shì)空間，因此降低環(huán)境噪聲是正確分割的前提。在特征提取與選擇方面，我們需要選擇具有一定代表性的、具有很強(qiáng)區(qū)分度的三維手勢(shì)特征向量，同時(shí)要求計(jì)算量較低，提高識(shí)別的魯棒性。最后，在三維手勢(shì)識(shí)別算法方面要提高算法的執(zhí)行效率，提高系統(tǒng)的實(shí)時(shí)處理能力。

4 三維虛擬交互行為分析實(shí)驗(yàn)項(xiàng)目

虛擬交互現(xiàn)實(shí)技術(shù)包括利用人類(lèi)的感官功能如聲音、觸覺(jué)等實(shí)現(xiàn)虛擬世界和真實(shí)世界交互。虛擬現(xiàn)實(shí)技術(shù)將實(shí)現(xiàn)“虛物實(shí)化”和“實(shí)物虛化”，洲涂物理對(duì)象和抽象對(duì)象、輸入裝置和輸出裝置在交互窄問(wèn)中的差別，為人提供多感覺(jué)通道的自然臨境體驗(yàn)。目前，大多數(shù)虛擬現(xiàn)實(shí)技術(shù)只是最為初級(jí)的虛擬體驗(yàn)，通過(guò)簡(jiǎn)單的屏幕顯示或者立體顯示完成。

美國(guó)UC Berkeley大學(xué)通訊實(shí)驗(yàn)室與美國(guó)Johns Hopkins大學(xué)圖像科學(xué)中心共同開(kāi)發(fā)了一套名為Berkeley MHAD的三維可理解多模式人類(lèi)行為數(shù)據(jù)庫(kù)，利用多基線(xiàn)雙聲道攝像機(jī)從多個(gè)視角進(jìn)行錄制，利用景深傳感器、加速計(jì)和多個(gè)麥克風(fēng)進(jìn)行信號(hào)采集，利用光學(xué)動(dòng)作捕捉系統(tǒng)獲得時(shí)間司步且空間幾何校準(zhǔn)的數(shù)據(jù)，該三維虛擬交互行為數(shù)據(jù)集為研究人員提供了一個(gè)包容性的測(cè)試平臺(tái)進(jìn)行技術(shù)開(kāi)發(fā)和標(biāo)準(zhǔn)制訂。瑞士聯(lián)邦技術(shù)研究所信號(hào)處理實(shí)驗(yàn)室P.Besson提出的基于多模式說(shuō)話(huà)人探測(cè)的信息理論框架利用視頻信息提取優(yōu)化后的語(yǔ)音特征，利用語(yǔ)音和視頻特征之問(wèn)的互信息目標(biāo)函數(shù)（mutual informationobj ective function）對(duì)多個(gè)候選目標(biāo)說(shuō)話(huà)人進(jìn)行識(shí)別，一般場(chǎng)景下的識(shí)別正確率在85%左右。

該實(shí)驗(yàn)項(xiàng)目結(jié)合ReaISense的語(yǔ)音識(shí)別模塊，通過(guò)定義統(tǒng)一的算法融合語(yǔ)義框架和語(yǔ)法規(guī)則，將來(lái)自語(yǔ)音和其他不同模式的語(yǔ)義進(jìn)行融合，最終通過(guò)多模式語(yǔ)法進(jìn)行打分得到最佳候選結(jié)果由于虛擬交互行為通常以語(yǔ)音為首選，岡此將其他人機(jī)對(duì)話(huà)方式與語(yǔ)音交互方式的關(guān)系定義為互補(bǔ)關(guān)系和獨(dú)立關(guān)系?；パa(bǔ)關(guān)系中的語(yǔ)音內(nèi)容必須和其他人機(jī)對(duì)話(huà)方式一起存在，才能構(gòu)成完整的語(yǔ)義，如當(dāng)用戶(hù)說(shuō)“請(qǐng)告訴我那個(gè)設(shè)備的川途”時(shí)，需要用戶(hù)同時(shí)提供該設(shè)備的具體位置或其他補(bǔ)充信息，才能做出下一步的反應(yīng)。在獨(dú)立關(guān)系下，其他人機(jī)對(duì)話(huà)方式與語(yǔ)音交互方式彼此獨(dú)立，它們之間沒(méi)有很強(qiáng)的約束關(guān)系，但有時(shí)可以提高彼此的表達(dá)效果，如當(dāng)人說(shuō)話(huà)時(shí)一手勢(shì)可以起到增強(qiáng)情感表達(dá)的作用，但語(yǔ)音通道仍起主要作用，通過(guò)這種不同層次上的分別處理能有效提高人機(jī)虛擬交互行為的自然度。

5 結(jié)語(yǔ)

媒體與認(rèn)知實(shí)驗(yàn)課程的建直使得學(xué)生能夠了解國(guó)際科學(xué)界及工業(yè)界最前沿的媒體認(rèn)知及智能感知技術(shù)熱點(diǎn)和難點(diǎn)問(wèn)題，利用平臺(tái)的基礎(chǔ)設(shè)施和設(shè)備構(gòu)建并實(shí)施多種解決方案。媒體認(rèn)知及智能感知類(lèi)前沿綜合實(shí)驗(yàn)課程作為在清華大學(xué)首度實(shí)現(xiàn)的跨行業(yè)、跨領(lǐng)域、跨學(xué)科課程，通過(guò)借助智能感知及人機(jī)交互知識(shí)作為工具和手段解決媒體信息處理、虛擬現(xiàn)實(shí)及人機(jī)交互的問(wèn)題，可以充分挖掘和激發(fā)理工科學(xué)生在交叉學(xué)科和前沿技術(shù)方面的實(shí)力和潛力。