摘要:眾所周知,用意識(shí)來完成人工智能音樂的實(shí)現(xiàn)是一個(gè)難題。本論文嘗試以腦波、情緒為參照依據(jù),然后搭建實(shí)時(shí)生理信息監(jiān)測(cè)系統(tǒng)與人工智能音樂的交互實(shí)現(xiàn)的交互平臺(tái)。以穿戴式設(shè)備腦波儀為例來收集生理信息,然后使收集到的生理信息傳送至人工智能音樂系統(tǒng),人工智能音樂生成系統(tǒng)通過和弦、節(jié)奏、鼓組等主要音樂參數(shù)的生成與調(diào)整,完成使用者所需要的音樂生成與播放。
關(guān)鍵詞:人工智能音樂;腦波;交互
一、前言
人工智能音樂已經(jīng)躍入大眾視野,但當(dāng)下的人工智能音樂發(fā)展并未成熟,是在人工智能音樂的交互方面、虛擬與現(xiàn)實(shí)的系統(tǒng)搭建方面等介紹較少。本論文以穿戴式設(shè)備腦波儀為例,完成腦波儀與人工智能音樂系統(tǒng)交互平臺(tái)的構(gòu)建。筆者使用Mindwave腦波儀測(cè)量腦波信號(hào),且將信號(hào)與人的情緒相結(jié)合,統(tǒng)一到平面二維象限內(nèi),然后匯總到Max中作為輸入信號(hào),再通過Max軟件將接收到的信號(hào)對(duì)應(yīng)至音高、音程、節(jié)奏、力度等音樂參數(shù),并通過速度 、MIDI音軌、音色等決定音樂制作的整體,讓Max可以產(chǎn)與腦波信號(hào)相對(duì)應(yīng)的音樂。
二、腦波儀
腦波是指人腦內(nèi)的神經(jīng)細(xì)胞活動(dòng)時(shí)所產(chǎn)生的電流性運(yùn)動(dòng)。腦波一般強(qiáng)度會(huì)在10~100uV、頻率大多在0.1Hz~40Hz。腦波根據(jù)頻率可分為四類:β波、α波、θ波及δ波。這些腦波組合,反映了一個(gè)人的內(nèi)外在的行為、情緒及學(xué)習(xí)上的表現(xiàn)。本論文專注于β波及α波的表現(xiàn)與生理反應(yīng)的聯(lián)系。
本論文使用神念科技(NeuroSky)的腦波儀--Mindwave Mobile做腦波信號(hào)測(cè)量。該儀器可以輸出原始腦波數(shù)據(jù)、EEG腦電功能譜、專注度及放松度、眨眼監(jiān)測(cè)分析。通過將β波及α波轉(zhuǎn)換成專注度及放松度,我們可以將其與情緒的強(qiáng)烈或緩和程度作對(duì)應(yīng)。
三、Arduino開發(fā)
Arduino 為一個(gè)開源軟硬件平臺(tái),提供從軟件到硬件的開放電路整套單晶片設(shè)計(jì)系統(tǒng)。Arduino電路板設(shè)計(jì)使用各種微處理器和控制器。微控制器通常使用C和C ++程式語言進(jìn)行編程。
使用HC-05藍(lán)牙模組使Arduino接收腦波數(shù)值并導(dǎo)入電腦進(jìn)行計(jì)算。腦波儀通過前額的金屬貼片以及耳垂夾監(jiān)測(cè)腦波信號(hào),提取不同頻率的波長(zhǎng),并轉(zhuǎn)換成放松度與關(guān)注度的量化數(shù)據(jù)。通過神念科技的API取得的放松度與關(guān)注度數(shù)值范圍為0~100,10為每單位間隔,0是最放松,100是最專注。我們也可以通過Arduino程式取得這兩個(gè)數(shù)據(jù),然后把這兩個(gè)數(shù)據(jù)輸入到Max程式中,借以轉(zhuǎn)換成與情緒相對(duì)應(yīng)的音樂。
四、人工智能音樂生成系統(tǒng)
使用者將腦波信號(hào)的放松度與專注度輸入到二維情緒坐標(biāo)象限。橫軸為正向度 (Valence),正向代表情緒越正面;縱軸則是激昂度 (Arousal),正向代表情緒越激昂。隨著這兩個(gè)參數(shù)的輸入 ,人工智能音樂生成系統(tǒng)再經(jīng)過風(fēng)格選擇器、節(jié)奏產(chǎn)生器、和弦與旋律產(chǎn)生器,最后輸出 MIDI信號(hào)。本論文的人工智能音樂生成系統(tǒng),將根據(jù)音樂的基本參數(shù),包括調(diào)性檢測(cè)與生成、樂曲長(zhǎng)度、速度、節(jié)拍等,根據(jù)腦波的生理回饋信息,自動(dòng)產(chǎn)生并調(diào)整所需要的音樂生成參數(shù)。
最重要的音樂產(chǎn)生器包括和弦產(chǎn)生器、旋律產(chǎn)生器與鼓組產(chǎn)生器。和弦產(chǎn)生器根據(jù)Tonic- Subdominant- Dominant-Tonic(TSDT)功能和聲圈的方法自動(dòng)產(chǎn)生和弦;旋律產(chǎn)生器將通過AI自動(dòng)學(xué)習(xí)的方法,通過類神經(jīng)網(wǎng)絡(luò)的Long Short Term Memory (LSTM) 完成旋律的自動(dòng)生成。最后鼓組產(chǎn)生器,運(yùn)用機(jī)器學(xué)習(xí)中的SVM分類器 (Classifier) 將和弦信息、旋律信息、小節(jié)信息等整合并分類,完成所需要的人工智能音樂的生成。
人工智能音樂可即時(shí)生成后,隨著人體物理數(shù)值的輸入,執(zhí)行條件判斷并生成播放與情緒相對(duì)應(yīng)的音樂。當(dāng)人體為最冷靜放松的狀態(tài)時(shí),生成播放由鋼琴彈奏的純音樂;當(dāng)人體的情緒介于冷靜放松與些許情緒波動(dòng)之間,生成播放的音樂相對(duì)應(yīng)的在原旋律中加入些簡(jiǎn)單的節(jié)奏;當(dāng)人體情緒沒有特別放松或緊繃,處于一般狀態(tài)時(shí),生成播放的音樂可以包含完整的多個(gè)聲部與節(jié)奏;當(dāng)人體處于激動(dòng)亢奮的情緒狀態(tài)時(shí),除了加大節(jié)奏密度之外,也同時(shí)加入管弦樂器,營(yíng)造緊湊、磅礴的畫面以符合情緒。
五、結(jié)語
本論文以腦波儀、Arduino與MAX為例示范了穿戴式設(shè)備腦波儀與人工智能音樂系統(tǒng)交互平臺(tái)的搭建。在成熟的系統(tǒng)中,實(shí)時(shí)生理信息監(jiān)測(cè)系統(tǒng)的功能是提供生理信息,然后通過網(wǎng)絡(luò)云端可以將生理信息傳送至伺服器的人工智能音樂系統(tǒng),人工智能音樂生成系統(tǒng)通過和弦、節(jié)奏、鼓組等主要音樂參數(shù)的生成與調(diào)整,完成使用者所需要的音樂生成與播放,甚至還可以運(yùn)用類神經(jīng)網(wǎng)絡(luò)產(chǎn)生并調(diào)整對(duì)應(yīng)的旋律參數(shù),對(duì)音樂的生成進(jìn)行進(jìn)一步優(yōu)化。
作者簡(jiǎn)介:楊維佳(1994.7-),男,漢族,山東東營(yíng)人,濟(jì)南大學(xué)音樂學(xué)院2018級(jí)碩士研究生,研究方向?yàn)橐魳房萍寂c應(yīng)用。