王琳

摘 要：發(fā)現(xiàn)了一個新的潛在應(yīng)用多媒體技術(shù)，即提高駕駛安全的情感智能汽車界面。為了確定生理信號（如皮膚電反應(yīng)、心跳和溫度等）和某些相關(guān)的情緒（如沮喪、憤怒、恐慌、恐懼、無聊、困倦），設(shè)計(jì)了實(shí)驗(yàn)地圖。我們將演示描述如何使用這些結(jié)果來實(shí)現(xiàn)一個更自然的基于多通道的人機(jī)情感交互，使之應(yīng)用于未來司機(jī)駕駛的汽車界面中。

關(guān)鍵詞：虛擬現(xiàn)實(shí)；情感啟發(fā)；情感識別；生理信號

中圖分類號：TP39 文獻(xiàn)標(biāo)識碼：A 文章編號：2095-1302（2017）08-00-03

0 引 言

人類具有社會屬性，總是會夸張地表現(xiàn)感情，人的認(rèn)知會受自己的情緒影響。而情緒又會影響人類的認(rèn)知過程，包括感覺和記憶的組成、分類和喜好、目標(biāo)生成、評估、戰(zhàn)略規(guī)劃和決策等。先前的研究表明，人們在與計(jì)算機(jī)的交互中也會夸張地表現(xiàn)感情?？紤]到人機(jī)交互所涉及的情緒和情感與識別之間牢固的界定，我們希望機(jī)器的感知能夠捕獲相應(yīng)的現(xiàn)象，并采取相應(yīng)措施，以加強(qiáng)我們?nèi)粘C(jī)器的使用。

開車是人們?nèi)粘Ｉ钪械囊豁?xiàng)重要活動，在一次研究中表明，司機(jī)在駕駛汽車時(shí)會夸張地表現(xiàn)感情，且其情緒會影響駕駛。眾所周知，憤怒會極大地影響一個人的駕駛。當(dāng)司機(jī)的憤怒情緒影響他們正常的思維和判斷時(shí)，他們對事件看法的改變會導(dǎo)致對結(jié)果的誤判，其他擁有類似效果的情緒是沮喪、焦慮、恐懼、壓力。為了在公路上成為一個更安全的司機(jī)，他們需要更好的注意自己的情緒，并需有能力有效管理它們。

一旦司機(jī)意識到了自己的情緒狀態(tài)，那他們選擇一個安全的應(yīng)對方式就變得相對容易，但司機(jī)往往缺乏這種認(rèn)識。例如一些司機(jī)往往缺乏讓自己平靜下來的能力，尤其是當(dāng)他們感到憤怒或沮喪時(shí)。而困倦是最危險(xiǎn)的狀態(tài)之一。在開車時(shí)，當(dāng)人們發(fā)現(xiàn)他們昏昏欲睡時(shí)他們卻經(jīng)常強(qiáng)迫自己繼續(xù)開車，而非停下來休息。

美國學(xué)者詹姆斯和拉森[1]討論了如何利用司機(jī)的技術(shù)能力來管理自己的情緒。包括通過放松技巧來減少物理喚醒和對精神狀況的重新評價(jià)。而我們的目標(biāo)是創(chuàng)建一個情感智能汽車界面，通過促進(jìn)自然地人機(jī)交互幫助司機(jī)提高駕駛安全，從而幫助其更好地意識到其在開車時(shí)的情緒狀態(tài)。例如，當(dāng)智能系統(tǒng)識別到司機(jī)的憤怒情緒時(shí)，可以建議司機(jī)進(jìn)行呼吸練習(xí)。同樣，當(dāng)系統(tǒng)識別到司機(jī)的困倦情緒時(shí)，它可以自動改變電臺頻道，切換不同的曲調(diào)或搖下窗戶使新鮮空氣進(jìn)入車內(nèi)。該系統(tǒng)在尊重司機(jī)個人喜好的同時(shí)會提高駕駛的防范措施，使司機(jī)感覺好像車上存在一個真實(shí)的人在幫助他們安全駕駛。

駕駛員的情感狀態(tài)可以通過兩方面解釋，即在心理和生理評估后，還經(jīng)歷了由驅(qū)動程序控制的特定情緒組件。生理組件可以通過接收傳感器以不同的方式來識別和觀察，包括視覺（面部表情），動覺（自主神經(jīng)系統(tǒng)的覺醒和機(jī)能活動），聽覺（說話的語調(diào)，即V，K， A）。

目前，我們正專注于通過收集和分析他們的生理信號來識別駕駛者情感狀態(tài)的研究。

1 相關(guān)研究和初步實(shí)驗(yàn)

1.1 情感識別的生理信號

有些研究建立在對情感和生理覺醒之間的關(guān)系理解的基礎(chǔ)上。皮卡德[2]等人用個性化的意象和加載情感的圖片引出快樂，悲傷，憤怒，恐懼，厭惡，驚訝，中立等情緒。測量到的生理信號是皮膚電反應(yīng)、心跳、呼吸和心電圖。用于分析數(shù)據(jù)的算法是連續(xù)正向浮動選區(qū)（SFFS）和費(fèi)歇爾投影這兩種方法的混合，此法擁有81%的整體精度。而希利[3]專注于對司機(jī)的壓力測量并分析其生理信號（皮膚電導(dǎo)、心臟活動、呼吸和肌肉活動）。本研究的實(shí)驗(yàn)參與者分別在停車場、城市、高速公路上開車。結(jié)果表明，司機(jī)的壓力信號可能會分別被識別為停止（在停車場休息）、城市（行駛在波士頓的街道）和高速公路（在高速公路上兩個車道合并），此準(zhǔn)確率高達(dá)96%。

1.2 初步情感啟發(fā)和識別實(shí)驗(yàn)

在我們的情感誘導(dǎo)實(shí)驗(yàn)中，我們用電影片段和困難的數(shù)學(xué)問題來引出6種情緒：悲傷，憤怒，驚訝，恐懼，沮喪和高興。我們使用一個非植入性的無線可穿戴電腦Body Media Sense Wear臂帶來收集參與者的生理信號，包括皮膚電反應(yīng)，心臟速率和體溫。

數(shù)學(xué)問題被用來引起挫折情緒，電影片段被用來引起其他情緒。在關(guān)于導(dǎo)致引發(fā)目標(biāo)情緒的研究中，發(fā)現(xiàn)電影場景能夠更高程度引起特定的情緒。此外，我們選擇多通道刺激情感啟發(fā)，在電影片段和數(shù)學(xué)問題之后還提出了讓參與者觀看幻燈片的建議。在他們觀看幻燈片和進(jìn)行自我報(bào)告的過程中，繼續(xù)對參加者的生理信號進(jìn)行收集。對收集的生理信號進(jìn)行標(biāo)準(zhǔn)化，以減少參與者之間的個體差異并進(jìn)行最小值、最大值、平均值、方差等處理。從生理數(shù)據(jù)中提取每個生理數(shù)據(jù)類型 （共12個特征）。有三個監(jiān)督學(xué)習(xí)算法可以對這12個特點(diǎn)的分析進(jìn)行實(shí)現(xiàn)，即k-最近鄰（KNN），判別函數(shù)分析（DFA），馬夸特-反向傳播（MBP）算法。KNN，DFA，和MBP這三種算法識別情緒的準(zhǔn)確率分別為72.3%，75.0%和84.1%。

2 虛擬現(xiàn)實(shí)駕駛模擬器實(shí)驗(yàn)

上述討論的情感啟發(fā)實(shí)驗(yàn)的結(jié)果表明，通過分析駕駛員的生理信號可以了解人們所經(jīng)歷的情感。虛擬現(xiàn)實(shí)駕駛模擬器實(shí)驗(yàn)的目的是要引起駕駛員有關(guān)的情緒和狀態(tài)，包括驚恐/恐懼，沮喪/憤怒和無聊/困倦。駕駛模擬器被用作虛擬現(xiàn)實(shí)的駕駛環(huán)境，這種駕駛模擬器使用虛擬現(xiàn)實(shí)技術(shù)創(chuàng)建并通過中心先進(jìn)的交通系統(tǒng)仿真設(shè)施來運(yùn)行。

實(shí)驗(yàn)會設(shè)計(jì)一系列事件并使其在模擬器上實(shí)現(xiàn)并運(yùn)行，從而引起本實(shí)驗(yàn)參與者的恐慌/恐懼，沮喪/憤怒和無聊/困倦情緒。參與者的生理信號（皮膚電反應(yīng)，溫度和心臟速率）通過非植入性的穿戴式計(jì)算機(jī)Body Media Sense Wear臂帶被收集。與此同時(shí)，對參與者進(jìn)行視頻記錄，為方便以后對每個司機(jī)加以注釋和未來對面部表情的識別。分析這些記錄，以找到與獨(dú)特的生理信號相關(guān)的情緒模式。

2.1 駕駛模擬器實(shí)驗(yàn)場景

為了引出參與者駕駛時(shí)的有關(guān)情緒，我們創(chuàng)建了包含一系列事件的交通場景。該事件通過命令的方式使他們先引起恐慌/恐懼，然后無奈/憤怒，最后無聊/困倦?；€插入之前和之后都會有情緒被誘發(fā)。endprint

（1）恐慌和恐懼：事故現(xiàn)場是在開車下坡，一個孩子突然走到路中間并停住，司機(jī)不可避免地?fù)糁兴?。即使司機(jī)試圖避免觸及孩子，但由于實(shí)驗(yàn)設(shè)置為禁用汽車的制動，所以參與者無法選擇剎車，且在道路兩旁設(shè)置了路障，使司機(jī)不能變換車道。

（2）失望/憤怒：撞過孩子后下山，挫敗感和憤怒刺激了司機(jī)直接開到城市。因?yàn)橹挥幸粋€事件不足以引起目標(biāo)創(chuàng)建無奈/憤怒情緒，因此引起無奈/憤怒情緒要通過一系列事件。

第一個司機(jī)在路中間停止，等兩個一起拿著大玻璃的男人過馬路，但二人與另一個人在聊天，擋住了路。當(dāng)拿玻璃的男人們通過后，司機(jī)被要求在下一個十字路口向右轉(zhuǎn)，然而司機(jī)此時(shí)又被一輛汽車阻礙，所以需要花費(fèi)更多的時(shí)間到紅綠燈處右轉(zhuǎn)。當(dāng)司機(jī)終于右轉(zhuǎn)，行駛約20英尺后，道路再次受阻，有一個大垃圾車正試圖做一個直角轉(zhuǎn)彎且暫時(shí)?？?。此外，在參與者的車后還有出租車在不斷按喇叭激怒司機(jī)。

經(jīng)過垃圾車的停放后，司機(jī)被指示在紅綠燈處左轉(zhuǎn)。而此時(shí)有一個白色的車等候在參與者的車前面。當(dāng)對司機(jī)的燈變成綠色時(shí)，幾個行人開始橫穿馬路到對面，并且在司機(jī)左轉(zhuǎn)前燈光再次變?yōu)榧t色。

行人路過后，車開始在狹窄的道路上駕駛，一輛公交車一直在參與者的車輛右邊，且他們即將碰撞，但公交車司機(jī)在最后一刻剎住了公交車，但他在經(jīng)過參與者時(shí)辱罵了他。

（3）無聊/困倦：離開城市，在令人沮喪的事件發(fā)生后，參與者一直在一條直線上駕駛，漫長的道路再沒有事件發(fā)生。

基線：基線包含一個平凡的和愉快的情緒誘發(fā)事件，駕駛者在此之間駕駛。

希利的研究和我們研究的最大區(qū)別在于在哪里進(jìn)行實(shí)驗(yàn)。在希利的實(shí)驗(yàn)中，真實(shí)的交通被用在一個虛擬現(xiàn)實(shí)模擬器駕駛環(huán)境的對立面。虛擬現(xiàn)實(shí)環(huán)境完全受控，在該控制環(huán)境中對比不可預(yù)知的真實(shí)交通環(huán)境，優(yōu)點(diǎn)如下：

（1）每一位參與者經(jīng)歷完全相同，因此可以在參與者之間進(jìn)行比較，并得出平均結(jié)果。

（2）錯誤選項(xiàng)如噪聲和運(yùn)動影響的生理信號在每個場景中保持平等，包括基線，這使得它可以捕獲由于參與者的情緒狀態(tài)變化而響應(yīng)的變化。

2.2 駕駛模擬器實(shí)驗(yàn)設(shè)置

樣品：樣本包括41名學(xué)生（5名女性和36名男性），他們的年齡從18歲到25歲不等，由于對年齡沒有特定的要求，因此不用計(jì)算平均年齡。

過程：參與了這項(xiàng)研究的每個會話期間都有一個主題。簽署則同意表格，填寫預(yù)研問卷后，非植入性的Body Media Sense Wear臂章被放置在參與者的左臂（收集皮膚電反應(yīng)和溫度值）。臂章被激活后，極地胸帶，連接臂章被放置在參與者的胸部（收集心率值）。一旦胸帶暗示，它開始與臂章通信，參與者被告知如下信息：

（1） 他們在虛擬現(xiàn)實(shí)環(huán)境中駕駛自動變速器，即模擬汽車。

（2） 預(yù)計(jì)他們會遵守常規(guī)交通規(guī)則，如遇到紅燈和停止標(biāo)志時(shí)停車，開車速度不超過限制。

（3） 該模擬器畫面上的紅色和黃色箭頭將分別向哪個方向轉(zhuǎn)動。

（4） 汽車會運(yùn)動，因此駕駛者可能會出現(xiàn)暈車現(xiàn)象。為防止出現(xiàn)這種情況，他們應(yīng)該停車，而非繼續(xù)實(shí)驗(yàn)。

當(dāng)參與者坐到模擬器上的駕駛座位時(shí)，他們被告知扣好安全帶；打開點(diǎn)火鑰匙啟動汽車；把檔位放在' D '（驅(qū)動），開始駕駛。

一旦打開點(diǎn)火鑰匙，駕駛模擬器的場景便被激活。參與者駕駛汽車時(shí)，將對其臉部進(jìn)行記錄的數(shù)碼攝像機(jī)安裝在模擬器的儀表板上。保存這些視頻是為了未來對面部表情識別的研究。該場景持續(xù)了12～16 min，而時(shí)間長短則取決于每個參與者的駕駛速度。模擬器會在場景結(jié)束時(shí)用聲音警告參與者。停車后，被測試者的胸背帶和臂章被移除，并將臂章收集的數(shù)據(jù)下載到電腦。

2.3 情感識別和機(jī)器學(xué)習(xí)

生理信號在駕駛模擬器實(shí)驗(yàn)中測量，用k近鄰（KNN）、馬夸特-反向傳播（MBP）和彈性反向傳播（RBP）算法找到生理信號，通過模式匹配得到與駕駛相關(guān)的情緒。

2.3.1 特征提取

在確定對應(yīng)時(shí)間點(diǎn)的駕駛場景發(fā)現(xiàn)某預(yù)期情緒是最有可能被激發(fā)的，上述實(shí)驗(yàn)導(dǎo)致的生理記錄：29恐慌/恐懼，30沮喪/憤怒，27無聊/嗜睡。每個情感數(shù)據(jù)集的數(shù)量不同于總樣本量，因?yàn)闆]有完整收集這些參與者的數(shù)據(jù)，他們并未完成每一個情感。對數(shù)據(jù)進(jìn)行存儲和標(biāo)準(zhǔn)化，從數(shù)據(jù)中得到最小值，最大值，平均和標(biāo)準(zhǔn)偏差，及每個生理信號類型（皮膚電反應(yīng)、溫度和心率）的平均值。這些特性將作為模式識別算法的輸入。

2.3.2 KNN、MBP和彈性的反向傳播算法的情感識別精度

第一次我們只采用KNN和MBP算法分析數(shù)據(jù)。MBP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)使用反向傳播算法，它有12個節(jié)點(diǎn)的輸入層，17個隱藏節(jié)點(diǎn)和3個節(jié)點(diǎn)的輸出層。在對由情感引出實(shí)驗(yàn)電影片段引起的6個情緒的識別方面，MBP算法效果不理想。故在第二次識別中采用神經(jīng)網(wǎng)絡(luò)算法與彈性反向傳播（RBP）算法。

評估在實(shí)際生活中應(yīng)用算法性能的一個重要問題是假陰性結(jié)果（即系統(tǒng)不能識別用戶的消極情緒狀態(tài)）和假陽性結(jié)果（即系統(tǒng)可以識別的一種消極的情緒狀態(tài)，雖然用戶沒有產(chǎn)生這種狀態(tài)），得到用戶的生理信號。

鑒于情感識別問題的本質(zhì)，無法防止一切假陰性和假陽性出現(xiàn)，但假陰性和假陽性率可以借助各種技術(shù)來降低。而結(jié)合不同的模式識別算法便可以達(dá)到更高的識別準(zhǔn)確率。

3 結(jié) 語

為了使生理信號映射到相關(guān)情緒，駕駛實(shí)驗(yàn)在嚴(yán)格設(shè)計(jì)和控制的虛擬現(xiàn)實(shí)環(huán)境中進(jìn)行。駕駛場景創(chuàng)建包括各種交通事件引起的恐慌/恐懼、沮喪和憤怒等情感。Body Media Sense Wear臂章和極地胸帶被用來測量皮膚電反應(yīng)、心率、皮膚溫度。KNN和彈性反向傳播（RBP）算法被用于分類相應(yīng)生理信號的情緒。總而言之，KNN能夠以66.3%的成功率劃分這三種情感，MBP可以用76.7%的成功率進(jìn)行分類，而RBP的分類準(zhǔn)確率高達(dá)91.9%。endprint

所有本文討論的實(shí)驗(yàn)是在完全受控的環(huán)境中進(jìn)行的，并在所有這些實(shí)驗(yàn)中，分析生理數(shù)據(jù)的實(shí)驗(yàn)已經(jīng)完成。下一步，我們將收集、分析生理數(shù)據(jù)，以實(shí)時(shí)進(jìn)行情感識別。另一項(xiàng)改進(jìn)是我們的研究將采用不同的特征提取技術(shù)，并結(jié)合不同的模式識別算法來提高情感識別的精度。

參考文獻(xiàn)

[1] Healey. Wearable and Automotive Systems for Affect Recognition from Physiology[Z].PhD thesis， Massachusetts Institute of Technology， May 2000.

[2] Riedmiller，H. Braun. A direct adaptive method for faster backpropagation learning： The RPROP algorithm[C].In Proceedings of the IEEE International Conference on Neural Networks， San Francisco， CA， 1993.

[3]于冬梅.情感計(jì)算關(guān)鍵技術(shù)研究[D].上海：東華大學(xué)，2009

[4]寧淑榮，涂序彥.一種具有人工情感的智能控制系統(tǒng)研究[J].微計(jì)算機(jī)信息，2006，22（1）：19-21.

[5]楊國亮，任金霞，王志良.基于情緒心理學(xué)的情感建模[J].計(jì)算機(jī)工程，2007，33（22）：209-211.

[6] Zhao Li，Qian Xiangmin，Zou Cairong，et al.A study on emotional feature analysis and recognition in speech signal[J].Journal of China Institute of Communication，2000，1（4）：418-420.

[7]胡洋，吳黎慧，高磊，等.基于SVM的語音情感識別研究[J].電子測試，2011（9）：25-28.

[8]石鑫鑫，胡學(xué)鋼，林耀進(jìn).融合互近鄰和可信度的K-近鄰分類算法[J].合肥工業(yè)大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2014（9）：1055-1058.endprint