基于機(jī)器學(xué)習(xí)的影視音效識(shí)別分類研究

吳 昊，張 瑩，楊嘉樂，楊元元

（上海大學(xué)上海電影學(xué)院，上海 200072）

在影視聲音領(lǐng)域，商用音效庫(kù)中的素材包含的內(nèi)容繁多。常規(guī)的素材包括帶有旋律性的音效、帶有人聲的音效、環(huán)境音效以及軟件合成的非自然音效。在影視聲音后期制作流程中，音效剪輯師需要對(duì)音效素材庫(kù)中的海量素材進(jìn)行篩選，選出合適的素材，然后在音頻工作站中進(jìn)行后期的加工處理。第一步是先根據(jù)畫面羅列所需要的音效，在音效庫(kù)中將帶有相應(yīng)標(biāo)注的音效素材聽一遍，篩選出與畫面貼合的素材。雖然商業(yè)音效庫(kù)會(huì)有商家根據(jù)音效內(nèi)容進(jìn)行詳細(xì)的文本標(biāo)注信息，但是音效庫(kù)中素材會(huì)達(dá)到成百上千的級(jí)別。在這個(gè)篩選環(huán)節(jié)，完全依靠人耳進(jìn)行聽辨標(biāo)注內(nèi)容，消耗了剪輯師大量精力，且長(zhǎng)時(shí)間的工作會(huì)導(dǎo)致聽覺疲勞而出現(xiàn)判斷失誤。因此，迫切需要研究探索復(fù)雜音效素材的自動(dòng)分類，以提高“聽辨”環(huán)節(jié)的工作效率。

計(jì)算機(jī)聽覺也可稱為機(jī)器聽覺，是一個(gè)面向數(shù)字音頻和音樂，研究用計(jì)算機(jī)軟件（主要是信號(hào)處理及機(jī)器學(xué)習(xí)）來分析和理解海量數(shù)字音頻內(nèi)容的算法和系統(tǒng)的學(xué)科。在計(jì)算機(jī)聽覺中，識(shí)別一段音頻內(nèi)所發(fā)生的事件的種類被稱為音頻事件識(shí)別。孫陳影等人針對(duì)復(fù)雜的城市場(chǎng)景聲源識(shí)別，提出了基于梅爾倒譜系數(shù)與卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別模型，取得特征圖后由卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練、測(cè)試獲得卷積神經(jīng)網(wǎng)絡(luò)特征，最后由支持向量機(jī)（Support Vector Machine，SVM）分類器識(shí)別分類，并將其與常見的音頻識(shí)別方法進(jìn)行對(duì)比分析，發(fā)現(xiàn)其在識(shí)別速度和識(shí)別率上均有所優(yōu)化［1］。李玲俐等人提出了一種基于梅爾倒譜系數(shù)和支持向量機(jī)（SVM）的方法，使用特征表示和學(xué)習(xí)優(yōu)化共同來實(shí)現(xiàn)辦公室10 種環(huán)境音的分類，通過改變梅爾倒譜系數(shù)參數(shù)的個(gè)數(shù)，更充分地表達(dá)聲音的特征，結(jié)果表明優(yōu)于傳統(tǒng)的識(shí)別方法［2］。Ma 等人針對(duì)日常生活中的音頻事件，提出了一個(gè)基于梅爾頻率倒譜系數(shù)特征和隱馬爾可夫分類模型的識(shí)別系統(tǒng)，識(shí)別準(zhǔn)確率達(dá)到92%。用低帶寬通信對(duì)分類器進(jìn)行優(yōu)化后，識(shí)別的準(zhǔn)確率可以達(dá)到96%［3］。目前，專門應(yīng)用于影視商用音效素材分類系統(tǒng)的研究?jī)?nèi)容甚少。張辛等人將機(jī)器學(xué)習(xí)的方法在廣播電視行業(yè)進(jìn)行應(yīng)用，對(duì)4 000 多條音效素材提取梅爾倒譜系數(shù)、短時(shí)能量以及短時(shí)過零率建立聲學(xué)特征集，實(shí)驗(yàn)研究了不同算法對(duì)聲學(xué)特征集的識(shí)別準(zhǔn)確率，提出了基于反向傳播神經(jīng)網(wǎng)絡(luò)的音效分類原型系統(tǒng)［4］。

根據(jù)在實(shí)際工作中的經(jīng)驗(yàn)，可以將音效大致分類成4 類——與人類行為相關(guān)的聲音、機(jī)械運(yùn)動(dòng)相關(guān)的聲音、自然界中的聲音以及是否有能夠清晰識(shí)別旋律的音樂存在。由于音效事件的多樣性和復(fù)雜性，常規(guī)用于音樂和語音信號(hào)的機(jī)器學(xué)習(xí)的分類算法并不適用于音效分類。因?yàn)樵诓煌h(huán)境的素材下會(huì)存在多個(gè)音效事件，且多種事件還會(huì)相互疊加、影響。因此，采用有效的特征提取方式以及建立高效、實(shí)用的機(jī)器學(xué)習(xí)算法，是實(shí)現(xiàn)音效素材自動(dòng)分類的兩個(gè)核心。本文主要針對(duì)音效類別中的環(huán)境音，提出了將機(jī)器學(xué)習(xí)應(yīng)用于影視聲音后期制作流程，采用梅爾頻率倒譜系數(shù)及其差分短時(shí)能量和短時(shí)過零率3 類特征參數(shù)，將長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)作為識(shí)別的分類模型，在有監(jiān)督學(xué)習(xí)下訓(xùn)練出分類模型，從而為影視環(huán)境音素材識(shí)別分類系統(tǒng)的建立提供新思路。

1 分類系統(tǒng)框架設(shè)計(jì)

從實(shí)際應(yīng)用的角度出發(fā)，一個(gè)完整的分類識(shí)別系統(tǒng)至少需要包括以下部分。第一部分是音頻信號(hào)的采集，其中最常用的是麥克風(fēng)的輸入。第二部分是信號(hào)的預(yù)處理，通過麥克風(fēng)采集到的數(shù)據(jù)經(jīng)常是多個(gè)聲源混雜在一起或是有多余噪聲，需要進(jìn)行預(yù)處理消除部分噪聲，增強(qiáng)有用信號(hào)。第三部分是根據(jù)具體的識(shí)別需求提取音頻信號(hào)的聲學(xué)特征，最后將音頻特征輸入已經(jīng)訓(xùn)練好的識(shí)別模型中輸出分類的標(biāo)簽［5］。機(jī)器學(xué)習(xí)模型通常采用有監(jiān)督學(xué)習(xí)，需要事先用標(biāo)注好的已知數(shù)據(jù)進(jìn)行訓(xùn)練。

基于上述要點(diǎn)，本文設(shè)計(jì)整個(gè)實(shí)驗(yàn)的分類系統(tǒng)框架圖如圖1 所示。由于本文使用的實(shí)驗(yàn)數(shù)據(jù)已經(jīng)采集好，故實(shí)驗(yàn)首先輸入預(yù)先標(biāo)注好的訓(xùn)練集，然后提取數(shù)據(jù)集的聲學(xué)特征。本文選取了梅爾倒譜系數(shù)與其差分參數(shù)、短時(shí)能量以及短時(shí)平均過零率作為聲學(xué)特征，且在特征提取的過程中已經(jīng)對(duì)聲音信號(hào)進(jìn)行了預(yù)處理。將特征輸入到長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練，最后進(jìn)行識(shí)別模型精度的驗(yàn)證。

1.1 特征提取

1.1.1 梅爾頻率倒譜系數(shù)

特征提取過程對(duì)音頻識(shí)別系統(tǒng)中的音頻訓(xùn)練和識(shí)別有很大影響。梅爾倒譜系數(shù)是一種性能穩(wěn)定和識(shí)別率高的典型聲學(xué)特征。大量研究發(fā)現(xiàn)：當(dāng)聲波頻率小于1 000 Hz 時(shí)，人耳的感知能力和頻率成線性關(guān)系；當(dāng)聲波頻率高于1 000 Hz 時(shí)，感知能力則與頻率成對(duì)數(shù)關(guān)系。為了描述人耳這種對(duì)不同頻率聲音的感知特性，Davies 和Mermelstein 提出梅爾倒譜的概念［6］。梅爾頻率倒譜系數(shù)是基于梅爾頻率的概念所提出的，結(jié)合了人耳聽覺仿生學(xué)原理和倒譜相關(guān)特性的梅爾頻率倒譜系數(shù)，同時(shí)可以補(bǔ)償卷積性信道的失真情況優(yōu)化特征。梅爾倒譜系數(shù)的這些優(yōu)點(diǎn)及眾多的語音識(shí)別成功案例，使得梅爾頻率倒譜系數(shù)成為目前常用的最有效的特征參數(shù)描述之一［7］。

梅爾倒譜系數(shù)的提取過程如下：先讓音頻素材通過一個(gè)高通濾波器進(jìn)行預(yù)加重、補(bǔ)償高頻成分；對(duì)加重后的素材進(jìn)行分幀，一般取10～20 ms 為一幀，并將每一幀代入加窗函數(shù)，以平滑單個(gè)信號(hào)幀兩端的不連續(xù)性；對(duì)加窗后的幀經(jīng)過快速傅里葉變換求出每幀的頻譜參數(shù)；將得到的每幀的頻譜參數(shù)通過梅爾濾波器組，對(duì)每個(gè)頻帶的輸出取對(duì)數(shù)、做逆變換得到梅爾倒譜系數(shù)。這個(gè)參數(shù)就是這幀音頻信號(hào)的特征。

大量的實(shí)驗(yàn)數(shù)據(jù)表明，在常規(guī)的梅爾倒譜系數(shù)特征中加入反映音頻信號(hào)動(dòng)態(tài)特性的差分參數(shù)，能夠有效提高系統(tǒng)的識(shí)別性能。

差分參數(shù)的計(jì)算為：

式中：dt表示第t個(gè)一階差分；Ct表示第t個(gè)倒譜系數(shù)；Q表示倒譜系數(shù)的階數(shù)；K表示一階導(dǎo)數(shù)的時(shí)間差，可取1 或2。將相關(guān)結(jié)果再代入式（1），就可以得到二階差分的參數(shù)。

1.1.2 短時(shí)能量

假設(shè)聲音音效素材的時(shí)域信號(hào)為x(n)，加入窗函數(shù)w(n)進(jìn)行分幀處理后得到的第i幀信號(hào)為yi(n)，則yi(n)滿足：

式中，n=1,2,…,L，i=1,2,…,fn，fn為分幀后的總幀數(shù)，L為幀長(zhǎng)，inc為幀移長(zhǎng)度。

1.1.3 短時(shí)平均過零率

給定聲音素材的波形時(shí)域信號(hào)為x(n)，加窗函數(shù)w(n)經(jīng)過分幀處理后得到的第i幀信號(hào)為yi(n)，幀長(zhǎng)為L(zhǎng)，則短時(shí)平均過零率z(i)為：

1.2 長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)模型

與常見的神經(jīng)網(wǎng)絡(luò)不同，循環(huán)神經(jīng)網(wǎng)絡(luò)具有獨(dú)特的結(jié)構(gòu)，即隱藏層的輸出將作為輸入反復(fù)迭代，這意味著隱藏層在一段時(shí)間內(nèi)與其自身具有自連接特性。因此，循環(huán)神經(jīng)網(wǎng)絡(luò)在處理時(shí)序相關(guān)數(shù)據(jù)方面具有很強(qiáng)的能力。然而，由于在模型訓(xùn)練期間網(wǎng)絡(luò)層數(shù)的增多會(huì)產(chǎn)生梯度消失或梯度爆炸等問題。長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)模型就是為了解決循環(huán)神經(jīng)網(wǎng)絡(luò)模型梯度彌散的問題而提出的。由于獨(dú)特的設(shè)計(jì)結(jié)構(gòu)，長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)特別適合于處理時(shí)序間隔和延遲非常長(zhǎng)的任務(wù)。因?yàn)樵跁r(shí)序數(shù)據(jù)中的重要事件之間可能存在持續(xù)時(shí)間的滯后，而長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)對(duì)間隙長(zhǎng)度的相對(duì)不敏感性，可以很好地獲取到時(shí)序數(shù)據(jù)中的信息特征。

長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)的基礎(chǔ)結(jié)構(gòu)如圖2 所示。長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)的神經(jīng)元通過取代傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)的隱藏神經(jīng)元來構(gòu)建隱藏層。長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)由4 部分組成的，即單元狀態(tài)和用于控制和保護(hù)單元狀態(tài)3 個(gè)門函數(shù)——輸入門、遺忘門以及輸出門。在單元狀態(tài)中，通過當(dāng)前輸入、上一個(gè)隱藏層信息、上一個(gè)單元信息以及3 個(gè)門函數(shù)來共同控制信息的增減。門是一種有選擇性地讓信息傳遞下去的方式，由一個(gè)Sigmoid 函數(shù)和一個(gè)點(diǎn)乘法的計(jì)算組成。這種結(jié)構(gòu)確保長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)的神經(jīng)元具有發(fā)現(xiàn)和記憶長(zhǎng)期依賴性的能力。

具體來說，假設(shè)隱藏單元個(gè)數(shù)為h，給定時(shí)間t的小批量輸入Xt∈Rn×d（樣本數(shù)為n，輸入個(gè)數(shù)為d）和上一時(shí)間步隱藏狀態(tài)Ht-1∈Rn×h。時(shí)間t的輸入門It∈Rn×h、遺忘門Ft∈Rn×h和輸出門Ot∈Rn×h分別計(jì)算如下：

2 實(shí)驗(yàn)過程

2.1 實(shí)驗(yàn)素材的選取

本文選取的實(shí)驗(yàn)數(shù)據(jù)是取自Google 在IEEE ICASSP 2017 大會(huì)上公開發(fā)布的Audioset 數(shù)據(jù)集［8］。AudioSet 包含了632 類的音頻類別和2 084 320 條人工標(biāo)記的每段10 s 長(zhǎng)度的聲音剪輯片段。該數(shù)據(jù)集覆蓋了大范圍的人類與動(dòng)物聲音、樂器與音樂流派聲音以及日常的環(huán)境聲音。本文主要使用其中的人群歡呼聲、交通聲、風(fēng)聲、海浪聲以及鳥叫聲作為實(shí)驗(yàn)數(shù)據(jù)集，每個(gè)類別的數(shù)據(jù)分別為200 條。在Audioset 中的數(shù)字id 分別為/m/03qtwd、/m/0btq2、/m/05kq4、/m/03mdz 以及/m/020bb7。該數(shù)據(jù)集包括了在影視聲音制作流程中使用率較高的音頻事件。在數(shù)據(jù)集中，每個(gè)種類中的音頻片段并不是單獨(dú)的音頻事件，可能包含多個(gè)音頻事件的標(biāo)簽。

2.2 網(wǎng)絡(luò)結(jié)構(gòu)的搭建

在大數(shù)據(jù)量的情況下，考慮到實(shí)驗(yàn)環(huán)境的硬件設(shè)備條件有限，進(jìn)行一次完整的訓(xùn)練需要耗費(fèi)大量時(shí)間，因?yàn)閷?duì)所有會(huì)影響模型的參數(shù)組合進(jìn)行枚舉一一評(píng)估是不現(xiàn)實(shí)的。因此，長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)需要權(quán)衡模型中的重要參數(shù)（如隱藏層數(shù)、神經(jīng)元數(shù)量、dropout），以平衡各方面的訓(xùn)練效果。

實(shí)驗(yàn)開始前，隨機(jī)拆分輸入的實(shí)驗(yàn)集，將實(shí)驗(yàn)集分為訓(xùn)練集（90%的數(shù)據(jù)）和測(cè)試集（10%的數(shù)據(jù)），確保訓(xùn)練集和測(cè)試集沒有重疊。通過Matlab分別提取訓(xùn)練集和測(cè)試集的梅爾倒譜系數(shù)及其差分、短時(shí)過零率和短時(shí)能量的特征向量，單個(gè)音頻片段的波形、短時(shí)能量以及短時(shí)平均過零率如圖3所示。

隱藏層是對(duì)輸入特征的多層次抽象。為了更好地劃分特征數(shù)據(jù)的類型，隱藏層的數(shù)量選擇主要是從識(shí)別準(zhǔn)確率、損失函數(shù)以及完整訓(xùn)練時(shí)間3 方面進(jìn)行考慮。在保持其他參數(shù)不變的情況下更改隱含層數(shù)量，可驗(yàn)證模型在訓(xùn)練時(shí)間上基本沒有差別。在隱藏層數(shù)量為2 時(shí)，識(shí)別準(zhǔn)確率和損失函數(shù)的結(jié)果最理想。

進(jìn)一步的優(yōu)化是確立隱藏層中的神經(jīng)元數(shù)量。神經(jīng)元節(jié)點(diǎn)太多會(huì)大幅增加訓(xùn)練時(shí)間，還可能會(huì)出現(xiàn)過擬合現(xiàn)象。通過對(duì)比驗(yàn)證后，確定設(shè)置本實(shí)驗(yàn)中的神經(jīng)元數(shù)為200。

dropout 是指在訓(xùn)練過程中會(huì)按照一定的概率將神經(jīng)元單位暫時(shí)從網(wǎng)絡(luò)中丟棄，因?yàn)槊恳淮斡?xùn)練都是在訓(xùn)練新的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，所以可以有效防止訓(xùn)練中出現(xiàn)過擬合現(xiàn)象。經(jīng)過對(duì)比試驗(yàn)，不同的dropout 參數(shù)的選取對(duì)訓(xùn)練時(shí)間的影響意義不大。在dropout 為50%時(shí)，識(shí)別準(zhǔn)確率和損失函數(shù)的結(jié)果最理想。

經(jīng)過分析對(duì)比，本文設(shè)計(jì)的識(shí)別網(wǎng)絡(luò)主要參數(shù)如下：輸入特征集的向量維度為40 維，其中梅爾倒譜系數(shù)及其差分占38 維，短時(shí)能量和短時(shí)過零率各占1 維；輸出維度5；網(wǎng)絡(luò)結(jié)構(gòu)第1 層為特征向量輸入層；第2、3層為長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)結(jié)構(gòu)的隱藏層，每個(gè)隱藏層包含有200 個(gè)神經(jīng)元單位，dropout 為50%；最后一層為全連接輸出層，與softmax 結(jié)合輸出分類結(jié)果。

3 實(shí)驗(yàn)結(jié)果分析

本文主要的目的是通過機(jī)器學(xué)習(xí)實(shí)現(xiàn)對(duì)影視聲音制作中常用的環(huán)境聲素材的識(shí)別。實(shí)驗(yàn)在Matlab 2020a 中運(yùn)行，實(shí)驗(yàn)的訓(xùn)練和測(cè)試結(jié)果曲線如圖4 所示。

從圖4 的訓(xùn)練曲線可以看出：經(jīng)過多輪迭代訓(xùn)練后，訓(xùn)練集的識(shí)別率達(dá)到了93.2%，而測(cè)試集的識(shí)別率為81.3%，訓(xùn)練集的損失率在不斷降低，測(cè)試集的損失率在減少到一定程度后開始提高，最后在1 附近波動(dòng)。雖然從最后的識(shí)別率上看，該識(shí)別模型可以達(dá)到初步的要求，但綜合訓(xùn)練曲線和損失曲線的走向分析，產(chǎn)生了訓(xùn)練網(wǎng)絡(luò)的過擬合現(xiàn)象。綜合訓(xùn)練集和識(shí)別模型分析，原因在于選取的Audioset 數(shù)據(jù)集是源于YouTube 上的真實(shí)音頻片段，音頻片段之間的差別十分明顯。但是，這個(gè)情況與實(shí)際中的應(yīng)用場(chǎng)景是相類似的。因此，解決的辦法是進(jìn)一步優(yōu)化提取到的音頻特征參數(shù)，使其能夠更好地表達(dá)標(biāo)簽特征。此外，增大實(shí)驗(yàn)的數(shù)據(jù)量也可以解決過擬合現(xiàn)象。整個(gè)訓(xùn)練和測(cè)試過程耗時(shí)超過5 min，參照對(duì)比目前已經(jīng)被廣泛運(yùn)用的語音識(shí)別系統(tǒng)的實(shí)時(shí)率，需要更進(jìn)一步優(yōu)化訓(xùn)練網(wǎng)絡(luò)的結(jié)構(gòu)，在確保高識(shí)別率的情況下，縮短訓(xùn)練時(shí)間。

4 結(jié)語

本文選取的是影視環(huán)境聲素材中最常用到的5類事件，然而在實(shí)際工作中所使用音頻素材的標(biāo)簽遠(yuǎn)不止于這5 類，因此在未來的實(shí)驗(yàn)優(yōu)化中需要加入更多的音頻標(biāo)簽訓(xùn)練集，以涵蓋實(shí)際工作中絕大多數(shù)音頻素材為目的。在環(huán)境聲的音效素材中往往包含多個(gè)標(biāo)簽，建立多標(biāo)簽的識(shí)別系統(tǒng)可以更好地匹配工作中的使用需求。本文將機(jī)器學(xué)習(xí)的分類模型運(yùn)用于影視聲音制作，通過提取音頻素材的梅爾倒譜系數(shù)、短時(shí)能量和短時(shí)過零率的特征參數(shù)，經(jīng)過訓(xùn)練后的長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)模型準(zhǔn)確率達(dá)到了81.3%，可為以后建立音效分類識(shí)別系統(tǒng)提供思路。但是，本文搭建的識(shí)別模型仍然還有局限性與不足，以后還需要持續(xù)改進(jìn)或者結(jié)合其他識(shí)別網(wǎng)絡(luò)如將卷積神經(jīng)網(wǎng)絡(luò)與長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)結(jié)合［9］進(jìn)行優(yōu)化。