邱志斌 王海祥 廖才波 盧祖文 況燕軍 張宇
摘要:為了輔助電網(wǎng)涉鳥(niǎo)故障的差異化防治,提出一種基于組合特征和卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)的電網(wǎng)危害鳥(niǎo)種鳴聲識(shí)別方法.根據(jù)歷史涉鳥(niǎo)故障的鳥(niǎo)種信息及輸電線路周邊鳥(niǎo)種調(diào)查結(jié)果,選擇13種高危鳥(niǎo)類(lèi)、8種微害鳥(niǎo)類(lèi)和2種無(wú)害鳥(niǎo)類(lèi)建立鳴聲樣本集;對(duì)鳥(niǎo)種鳴聲信號(hào)進(jìn)行分幀、加窗、降噪和剪裁等預(yù)處理,提取鳥(niǎo)鳴Mel倒譜系數(shù)(Mel-frequency Cepstrum Coefficients,MFCC)、Gammatone倒譜系數(shù)(Gammatone Frequency Cepstrum Coefficients,GFCC)和短時(shí)能量(Short-term Energy,STE)特征.針對(duì)單一特征表達(dá)能力不足的問(wèn)題,將MFCC及其一階差分、GFCC及其一階差分和STE歸一化后進(jìn)行組合,生成新的鳴聲特征集.搭建卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)組合特征進(jìn)行訓(xùn)練和識(shí)別,鳥(niǎo)種鳴聲測(cè)試集的識(shí)別正確率達(dá)91.8%,較單一MFCC和GFCC特征表現(xiàn)更為優(yōu)異.
關(guān)鍵詞:輸電線路;卷積神經(jīng)網(wǎng)絡(luò);涉鳥(niǎo)故障;鳥(niǎo)鳴識(shí)別;組合特征
中圖分類(lèi)號(hào):TM726.3文獻(xiàn)標(biāo)志碼:A
Identification of Harmful Bird Species in Power Grid Based on Combined Sound Features and CNN
QIU Zhibin1,WANG Haixiang1,LIAO Caibo1,LU Zuwen1,KUANG Yanjun2,ZHANG Yu2
(1. School of Information Engineering,Nanchang University,Nanchang 330031,China;2. Electric Power Research Institute of State Grid Jiangxi Electric Power Co.,Ltd.,Nanchang 330096,China)
Abstract:In order to assist differentiated prevention of bird-related faults in power grid,this paper proposes a method for the identification of bird species related to power grid faults based on combined features and a Convolutional Neural Network (CNN). Firstly,based on the information from historical bird-related faults in the power grid and the investigation results of bird species around transmission lines,13 high-risk,8 low-risk,and 2 harmless bird species were selected to build a sound sample set. Then,the Mel-frequency Cepstrum Coefficients (MFCC),Gammatone Frequency Cepstrum Coefficients(GFCC),and Short-term Energy (STE)features of bird sounds were extractedafter preprocessing such as framing,windowing,noise reduction,and clipping. To solve the problem of insufficient expression ability of a single feature set,a new sound feature set was generated combining MFCC,GFCC,their first- order differences,and STE features after normalization. Finally,a CNN was built to train and recognize the combined features. The identification accuracy of the test set reaches 91.8%,which is better than those with a single MFCC and GFCC feature set.
Key words:transmission lines;convolutional neural networks;bird-related fault;birdsong recognition;combined features
隨著生態(tài)環(huán)境的不斷改善,鳥(niǎo)類(lèi)活動(dòng)與電網(wǎng)運(yùn)行的矛盾日益突出,涉鳥(niǎo)故障已成為導(dǎo)致輸電線路跳閘的重要原因[1-3].引起電網(wǎng)故障的危害鳥(niǎo)種具有地區(qū)差異,且鳥(niǎo)種體型、習(xí)性、活動(dòng)范圍各異,所造成的故障類(lèi)型與故障機(jī)理也各不相同[4]為了提高鳥(niǎo)害防治的有效性,電網(wǎng)運(yùn)維人員需要了解并識(shí)別輸電線路周邊活動(dòng)的鳥(niǎo)種,針對(duì)不同鳥(niǎo)種可能引起的故障類(lèi)型采取差異化的防治措施.
鳥(niǎo)種識(shí)別的方法包括圖像識(shí)別和鳴聲識(shí)別,近年來(lái),研究人員針對(duì)影響電網(wǎng)安全的鳥(niǎo)種開(kāi)展了圖像或鳴聲識(shí)別研究.通過(guò)提取巡檢圖像中的鳥(niǎo)類(lèi)形狀、顏色和紋理等特征信息作為輸入量,利用智能學(xué)習(xí)算法構(gòu)建分類(lèi)器[5],或者通過(guò)大樣本數(shù)據(jù)集訓(xùn)練深度學(xué)習(xí)目標(biāo)檢測(cè)算法[6-7],可以實(shí)現(xiàn)鳥(niǎo)種圖像識(shí)別.由于夜間活動(dòng)或飛行中的鳥(niǎo)類(lèi)圖像采集存在一定困難,有必要將圖像與鳴聲信息共同作為電網(wǎng)危害鳥(niǎo)種識(shí)別的手段.鳴聲識(shí)別是以鳥(niǎo)鳴信號(hào)作為特征提取對(duì)象,利用不同鳥(niǎo)類(lèi)鳴叫聲的差異性進(jìn)行分類(lèi).
通過(guò)鳴聲信息進(jìn)行鳥(niǎo)種識(shí)別一般包括信號(hào)預(yù)處理、特征提取、算法識(shí)別等過(guò)程.常用的鳥(niǎo)類(lèi)鳴聲特征參數(shù)包含Mel倒譜系數(shù)(Mel-frequency Cepstrum Coefficients,MFCC)[8-10]、Gammatone倒譜系數(shù)(Gammatone Frequency Cepstrum Coefficients,GFCC)[11]、線性預(yù)測(cè)倒譜系數(shù)[12-13]、功率譜密度[14]、Mel子帶參數(shù)[15]和時(shí)頻譜圖特征[16-17]等.鳥(niǎo)種分類(lèi)算法包括高斯混合模型[18-19]、隱馬爾科夫模型[20-22]、隨機(jī)森林[14,16,23]、支持向量機(jī)[15,24-25],以及卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)等深度學(xué)習(xí)算法[17-18,26-27].文獻(xiàn)[15]通過(guò)Mel濾波器組輸出各個(gè)子帶的能量序列,然后基于自回歸模型分別對(duì)各個(gè)子帶輸出的隨時(shí)間變化的能量序列進(jìn)行建模,得到野外環(huán)境下11種鳥(niǎo)類(lèi)的鳴聲參數(shù)化特征,并利用支持向量機(jī)進(jìn)行分類(lèi).文獻(xiàn)[17]利用動(dòng)態(tài)系統(tǒng)擴(kuò)充數(shù)據(jù)集,生成替代訓(xùn)練的數(shù)據(jù),提取鳥(niǎo)鳴信號(hào)的時(shí)頻譜圖特征,結(jié)合CNN對(duì)6種鳥(niǎo)類(lèi)進(jìn)行分類(lèi).文獻(xiàn)[19]以MFCC作為特征參數(shù),結(jié)合高斯混合模型對(duì)陜西省8 種鳥(niǎo)類(lèi)的鳴叫聲和鳴唱聲分別進(jìn)行建模識(shí)別.文獻(xiàn)[27]利用較容易獲取的鳥(niǎo)類(lèi)鳴聲數(shù)據(jù)集和環(huán)境聲音對(duì)ResNet-50網(wǎng)絡(luò)進(jìn)行訓(xùn)練,把訓(xùn)練好的模型遷移到鳴聲獲取較為困難的小數(shù)據(jù)集上進(jìn)行分類(lèi),獲得了79%的準(zhǔn)確率.文獻(xiàn)[28]對(duì)MFCC和GFCC進(jìn)行融合,利用CNN對(duì)環(huán)境聲音進(jìn)行分類(lèi),結(jié)果表明融合特征分類(lèi)模型具有更高的識(shí)別精度.目前,對(duì)鳥(niǎo)類(lèi)鳴聲的識(shí)別研究多是在較小的數(shù)據(jù)集上進(jìn)行種類(lèi)較少的鳥(niǎo)種分類(lèi),且使用單一的鳥(niǎo)鳴特征.由于輸電線路跨越距離較長(zhǎng),沿線經(jīng)過(guò)不同的地理環(huán)境,涉及的危害鳥(niǎo)種具有多樣化特點(diǎn).為了輔助涉鳥(niǎo)故障防治,提高危害鳥(niǎo)種的識(shí)別準(zhǔn)確率,有必要在多種類(lèi)大數(shù)據(jù)集上開(kāi)展鳥(niǎo)種鳴聲識(shí)別研究.
本文針對(duì)與輸電線路相關(guān)的23種鳥(niǎo)類(lèi),通過(guò)對(duì)收集的鳴聲信號(hào)進(jìn)行降噪與剪輯等預(yù)處理,構(gòu)建了包含3 290段鳴聲信號(hào)的數(shù)據(jù)集,然后計(jì)算鳥(niǎo)鳴信號(hào)的MFCC、GFCC和短時(shí)能量(Short-term Energy,STE)特征,經(jīng)過(guò)組合與歸一化后得到新的特征集,將其作為CNN模型的輸入,對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,利用Soft- max 層進(jìn)行分類(lèi)識(shí)別.算例結(jié)果表明,本文所提出的方法對(duì)涉鳥(niǎo)故障相關(guān)鳥(niǎo)種具有較高的識(shí)別率,可為運(yùn)維人員開(kāi)展輸電線路鳥(niǎo)種識(shí)別與涉鳥(niǎo)故障防治提供參考.
1鳥(niǎo)種鳴聲信號(hào)處理
1.1鳴聲信號(hào)降噪與剪裁
由于鳥(niǎo)種鳴聲信號(hào)大多是在野外條件下采集的,其中含有大量噪聲,為了獲取更加清晰的鳴聲信號(hào)特征,提高鳥(niǎo)種鳴聲識(shí)別的準(zhǔn)確率,需要對(duì)鳥(niǎo)鳴信號(hào)進(jìn)行降噪處理.鳥(niǎo)鳴信號(hào)中含有的噪聲多為風(fēng)聲和流水聲,可以看作加性噪聲.本文采用改進(jìn)譜減法去除鳥(niǎo)鳴信號(hào)中的這類(lèi)背景噪聲.
譜減法[29-30]是一種有效的降噪方法,在噪聲處理與語(yǔ)音增強(qiáng)方面應(yīng)用廣泛.其基本原理是采用帶噪鳥(niǎo)鳴信號(hào)的功率譜減去噪聲段的平均能量值,從而得到降噪后的鳥(niǎo)鳴信號(hào).已知鳥(niǎo)鳴信號(hào)前導(dǎo)噪聲段對(duì)應(yīng)的幀數(shù)為T(mén),采用Xi(k)表示經(jīng)過(guò)快速傅里葉變換后的鳥(niǎo)鳴信號(hào),則噪聲段的平均能量值D(k)可表示為:
式(2)利用每一幀的值進(jìn)行譜減,降噪效果較差,為得到較小的譜估算方差,提高鳥(niǎo)鳴音頻中環(huán)境噪聲的降噪效果,改進(jìn)譜減法采用鳥(niǎo)鳴信號(hào)相鄰幀之間的平均值Yi(k)代替式(2)中的Xi(k)進(jìn)行譜減計(jì)算.Yi(k)的表達(dá)式為:
對(duì)于第i幀,在Xi-p(i),…,Xi(k),…,Xi+P(k)之間計(jì)算其平均值Yi(k).
此外,由于鳥(niǎo)鳴信號(hào)中噪聲是隨機(jī)的,在降噪過(guò)程中會(huì)存在噪聲譜線的譜值大于a·D(k)的情況,若按式(2)進(jìn)行計(jì)算會(huì)導(dǎo)致噪聲不能被完全消除.改進(jìn)譜減法在降噪過(guò)程中從前導(dǎo)噪聲段保留了噪聲的最大值,利用噪聲最大值對(duì)含噪聲頻進(jìn)行譜減,從而在譜減過(guò)程中盡可能減少噪聲殘留.本文將功率譜作為譜減對(duì)象,取式(3)中的P=1,即在相鄰3幀之間取平均值Y(k)進(jìn)行譜減計(jì)算.以高危鳥(niǎo)種大杜鵑的一段鳴聲信號(hào)為例,原始大杜鵑鳴聲信號(hào)如圖(a)所示,經(jīng)過(guò)改進(jìn)譜減法降噪后的鳴聲信號(hào)波形如圖1(b)所示.可見(jiàn),改進(jìn)譜減法有效濾除了原始鳴聲信號(hào)中的噪聲,使得鳥(niǎo)鳴信號(hào)更加清晰.
降噪后的鳥(niǎo)種鳴聲信號(hào)大多持續(xù)時(shí)間較長(zhǎng),而且可能包含其他鳥(niǎo)類(lèi)鳴聲的干擾,為了節(jié)約計(jì)算資源并減少干擾,需要對(duì)降噪后的鳥(niǎo)鳴信號(hào)進(jìn)行剪裁.自然界中,絕大多數(shù)鳥(niǎo)類(lèi)一聲?shū)Q叫的時(shí)間都在1 s以內(nèi).因此,本文將鳥(niǎo)鳴信號(hào)樣本均剪裁為1 s,構(gòu)建鳥(niǎo)鳴樣本集,用于特征提取.以圖1 (b)中的大杜鵑信號(hào)為例,剪裁為1s后的信號(hào)波形如圖1(c)所示.
1.2涉鳥(niǎo)故障相關(guān)鳥(niǎo)種鳴聲樣本集
根據(jù)電網(wǎng)運(yùn)行部門(mén)關(guān)于歷史涉鳥(niǎo)故障及相關(guān)鳥(niǎo)種的統(tǒng)計(jì)結(jié)果,本文以某省電網(wǎng)引起輸電線路涉鳥(niǎo)故障的13種高危鳥(niǎo)類(lèi)、8種微害鳥(niǎo)類(lèi)和2種無(wú)害鳥(niǎo)類(lèi)為對(duì)象,構(gòu)建23種鳥(niǎo)類(lèi)的鳴聲信號(hào)樣本集,每種鳥(niǎo)類(lèi)的樣本數(shù)目為106~209個(gè)不等,共計(jì)3 290個(gè)樣本,其中高危、微害和無(wú)害鳥(niǎo)種樣本數(shù)量分別為1 848、1 193和249,每個(gè)樣本時(shí)長(zhǎng)均為1 s,采樣頻率為16 kHz.上述用以鳴聲識(shí)別研究的電網(wǎng)涉鳥(niǎo)故障相關(guān)鳥(niǎo)種樣本數(shù)量及導(dǎo)致的故障類(lèi)型如圖2所示. 為保證數(shù)據(jù)集的可信度和真實(shí)性,采用不同噪聲環(huán)境和錄音條件下的鳥(niǎo)類(lèi)鳴聲構(gòu)建數(shù)據(jù)集,同一段鳴聲不重復(fù)使用.
2鳥(niǎo)種鳴聲特征提取
2.1短時(shí)能量
短時(shí)能量是鳥(niǎo)鳴信號(hào)時(shí)域特征,由于不同的鳥(niǎo)鳴音節(jié)之間能量差別十分顯著,因此可以通過(guò)短時(shí)能量的變化來(lái)分析不同鳥(niǎo)種的發(fā)音特點(diǎn).已知降噪后并進(jìn)行分幀加窗處理的鳥(niǎo)鳴時(shí)域信號(hào)為xi(u),短時(shí)能量Esl(i)的計(jì)算公式為:
式中:R表示幀長(zhǎng);I表示鳥(niǎo)鳴音頻總幀數(shù).
2.2MFCC特征參數(shù)
MFCC特征是聲音識(shí)別領(lǐng)域最常用的特征之一,它將時(shí)域信號(hào)轉(zhuǎn)化為頻域,然后基于人耳的聽(tīng)覺(jué)機(jī)理來(lái)分析語(yǔ)音頻譜,具有特征表達(dá)準(zhǔn)確、特征維度低的優(yōu)點(diǎn).MFCC提取流程如下:
1)計(jì)算每一幀信號(hào)的線譜能量Ei(k),即
Ei(k)=[Xi(k)]2(5)
2)將每一幀信號(hào)的線譜能量通過(guò)Mel濾波器組,計(jì)算在Mel濾波器組中的能量Si(m),即
式中:m表示濾波器編號(hào);M為濾波器的個(gè)數(shù);Hm(k)為濾波器的頻率響應(yīng);N為譜線條數(shù).
3)將通過(guò)Mel濾波器的能量取對(duì)數(shù)后進(jìn)行離散余弦變換(Discrete Cosine Transform,DCT),得到鳥(niǎo)鳴信號(hào)的MFCC特征參數(shù),即
式中:d為進(jìn)行DCT后的譜線,1≤d≤D,D為MFCC特征維數(shù).通過(guò)式(7)計(jì)算得到的MFCC特征參數(shù)為二維矩陣,將其轉(zhuǎn)化為圖像,橫、縱坐標(biāo)分別表示幀數(shù)和特征維度,采用顏色深淺代表參數(shù)值大小,即可得到鳥(niǎo)鳴信號(hào)的MFCC特征圖.
2.3GFCC特征參數(shù)
鳥(niǎo)鳴信號(hào)的GFCC特征與MFCC特征提取流程的主要差別在于使用的濾波器不同,GFCC特征是將鳥(niǎo)鳴信號(hào)輸入n通道的Gammatone濾波器[31],其表達(dá)式為:
g(f,t)=Atn-1e-2πstcos(2πft+φ)u(t)(8)
式中:f、t、φ分別為頻率、時(shí)間和相位;A為濾波器增益的常數(shù);n為濾波器的階數(shù);u(t)為單位階躍函數(shù);s為濾波器帶寬,其計(jì)算式為:
式中:BER(f)為等效矩形帶寬.
Gammatone濾波器對(duì)鳥(niǎo)種鳴聲信號(hào)的濾波過(guò)程可以表示為:
式中:Si(g)為第g個(gè)濾波器輸出的對(duì)數(shù)能量值;Hg(k)為Gammatone濾波器頻率響應(yīng);g為濾波器編號(hào);G為濾波器的個(gè)數(shù)-對(duì)每個(gè)濾波器的輸出取對(duì)數(shù)后進(jìn)行離散余弦變換,其表達(dá)式為:
式中:Gi(q)為第q維GFCC特征參數(shù),1≤q≤Q,Q為GFCC特征維數(shù).
2.4組合特征
鳥(niǎo)鳴識(shí)別相較于人類(lèi)聲音識(shí)別更為困難,單一類(lèi)型特征往往無(wú)法對(duì)鳥(niǎo)鳴特點(diǎn)進(jìn)行完全表達(dá),故需要進(jìn)行特征的組合.由于GFCC特征與MFCC特征使用不同的濾波器組,二者組合能夠有效改善MFCC 特征能量泄漏問(wèn)題,而GFCC和MFCC特征都是頻域特征,引入短時(shí)能量可以增加時(shí)域信息.所以本文將MFCC特征及其一階差分、GFCC特征及其一階差分和短時(shí)能量特征進(jìn)行組合,然后刪除差分為零的幀,經(jīng)過(guò)歸一化得到鳥(niǎo)種鳴聲的組合特征集.組合特征計(jì)算流程如圖3所示,相關(guān)計(jì)算參數(shù)如表1所示.
MFCC和GFCC特征都屬于靜態(tài)特征,為了獲取鳥(niǎo)鳴信號(hào)的動(dòng)態(tài)特性,對(duì)MFCC和GFCC特征的一階差分進(jìn)行計(jì)算.同時(shí),為了降低信號(hào)中的毛刺對(duì)一階差分動(dòng)態(tài)特征的影響,計(jì)算相鄰三幀的一階差分并求取其平均值.以MFCC特征為例,一階差分特征的計(jì)算方法為:
以圖2所示的大杜鵑鳴聲信號(hào)為例,取MFCC和GFCC特征維數(shù)均為12,通過(guò)上述方法計(jì)算所得的MFCC特征圖、GFCC特征圖、二者的一階差分特征圖以及組合特征圖如圖4所示.
將上述不同特征進(jìn)行組合,可以對(duì)鳥(niǎo)種鳴聲包含的聽(tīng)覺(jué)信息進(jìn)行綜合表征.組合特征集的維數(shù)由MFCC,GFCC和短時(shí)能量特征維數(shù)決定.由于一階差分是通過(guò)對(duì)不同幀進(jìn)行差分運(yùn)算,差分前后特征維數(shù)不變,而短時(shí)能量特征只有一維,故組合特征維數(shù)為2(D+Q)+1,不同特征的維度如表2所示.由于采用相鄰三幀計(jì)算差分的方法,導(dǎo)致首尾兩幀一階差分值為不包含信息的零值,因此將首尾兩幀刪除.
鳥(niǎo)種鳴聲的短時(shí)能量、MFCC特征與GFCC特征的計(jì)算方法不同,導(dǎo)致數(shù)值上存在較大差異,為防止特征尺度與量綱不同對(duì)識(shí)別結(jié)果造成影響,需要將各個(gè)特征量歸一化到[0,1].特征量歸一化方法為:
式中:Fmax和Fmin分別表示特征量F的最大值和最小值.以大杜鵑的鳴聲信號(hào)為例,將各個(gè)特征量進(jìn)行歸一化后,組合特征如圖4(e)所示.
3電網(wǎng)危害鳥(niǎo)種鳴聲識(shí)別算例
3.1卷積神經(jīng)網(wǎng)絡(luò)
本文構(gòu)建24層卷積神經(jīng)網(wǎng)絡(luò)用于鳥(niǎo)種鳴聲特征的訓(xùn)練與鳥(niǎo)種識(shí)別,網(wǎng)絡(luò)主要包含5個(gè)卷積層+ ReLU、5個(gè)批量歸一化層和4個(gè)池化層.卷積核和池化核大小分別為[3×3]和[2×2],設(shè)置卷積步幅為1,池化步幅為2.卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示.
網(wǎng)絡(luò)輸入大小為224×224×3,將保存為相同大小的組合特征作為網(wǎng)絡(luò)的輸入,經(jīng)Conv_1、Conv_2、Conv_3卷積層進(jìn)行卷積,通道數(shù)分別為12、24和48,卷積前后特征大小保持不變.在每次卷積之后進(jìn)行池化操作,池化以后通道數(shù)目不變,特征大小變?yōu)樵瓉?lái)的1/2.Conv_4和Conv_5的卷積核個(gè)數(shù)都為48,卷積前后特征圖大小和通道數(shù)均保持不變,卷積后的池化層使特征大小變?yōu)樵瓉?lái)的1/2,最終輸出大小為14×14×48,經(jīng)過(guò)全連接層后輸出一個(gè)包含23種鳥(niǎo)類(lèi)可能性的概率分布.
3.2仿真環(huán)境與參數(shù)設(shè)置
本文開(kāi)展的電網(wǎng)危害鳥(niǎo)種鳴聲識(shí)別算例是在Matlab 2021a的軟件環(huán)境以及CPU為AMD Core R7- 5800H、主頻3.2 GHz,16 GB內(nèi)存,GPU為NVIDIA GeForce RTX3060、顯存大小為6 GB的硬件環(huán)境下完成.采用小批量梯度下降法(Mini-Batch Gradient Descent,MBGD)進(jìn)行網(wǎng)絡(luò)優(yōu)化,設(shè)置批大小為16,最大輪數(shù)為8,初始學(xué)習(xí)率為0.000 3,每經(jīng)6輪訓(xùn)練學(xué)習(xí)率降低為原來(lái)的50%,由此對(duì)23種鳥(niǎo)類(lèi)鳴聲信號(hào)進(jìn)行分類(lèi)識(shí)別.
3.3算例及結(jié)果分析
利用本文構(gòu)建的涉鳥(niǎo)故障相關(guān)鳥(niǎo)種鳴聲樣本集對(duì)CNN進(jìn)行訓(xùn)練,識(shí)別鳥(niǎo)種鳴聲,具體流程如圖6 所示.
由于不同的數(shù)據(jù)集劃分比例會(huì)對(duì)識(shí)別結(jié)果產(chǎn)生影響,分別按照訓(xùn)練集、驗(yàn)證集和測(cè)試集比例為8:1:1、7:1:2、7:2:1和6:2:2劃分?jǐn)?shù)據(jù)集,設(shè)置組合特征維度為57維時(shí)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,識(shí)別結(jié)果如表3所示. 可見(jiàn),當(dāng)數(shù)據(jù)集劃分比例為8:1:1時(shí)驗(yàn)證準(zhǔn)確率最高為91.49%,測(cè)試準(zhǔn)確率最高為91.21%.
為了探究組合特征集的識(shí)別效果,設(shè)置數(shù)據(jù)集劃分比例為8:1:1,同時(shí)以MFCC、GFCC、MFCC+STE、GFCC+STE、MFCC+GFCC作為CNN模型的輸入,將其作為對(duì)照組.當(dāng)MFCC和GFCC的特征維數(shù)D、Q均取12時(shí),以驗(yàn)證集準(zhǔn)確率作為評(píng)價(jià)指標(biāo).上述各組特征集對(duì)應(yīng)的CNN訓(xùn)練結(jié)果如圖7所示.
由圖7可知,采用單一MFCC和GFCC特征作為輸入對(duì)CNN進(jìn)行8輪訓(xùn)練后,驗(yàn)證準(zhǔn)確率分別為88.75%和88.14%;引入短時(shí)能量STE特征后,驗(yàn)證準(zhǔn)確率提升為89.06%和89.67%.采用MFCC+GFCC 組合特征作為網(wǎng)絡(luò)輸入后,驗(yàn)證準(zhǔn)確率可進(jìn)一步提升至91.50%.以本文組合特征作為輸入時(shí),CNN模型的驗(yàn)證準(zhǔn)確率達(dá)到了92.40%,相比于5個(gè)對(duì)照組分別提高了3.65%、4.26%、3.34%、2.73%和0.9%,這一結(jié)果表明,采用組合特征作為網(wǎng)絡(luò)輸入,可使CNN 取得更好的訓(xùn)練效果.
MFCC和GFCC特征包含的鳥(niǎo)種鳴聲信息量受到特征維數(shù)D和Q的影響,特征維數(shù)低,包含的鳥(niǎo)鳴信息較少;特征維數(shù)高,則干擾更為嚴(yán)重且計(jì)算量增大,占用更多計(jì)算資源.為了研究組合特征維數(shù)對(duì)識(shí)別結(jié)果的影響,設(shè)置數(shù)據(jù)集劃分比例為8:1:1,D=Q且分別取值6、10、14、18、22、26,即組合特征維數(shù)分別為25、41、57、73、89和105,比較不同特征維數(shù)下CNN模型的驗(yàn)證集準(zhǔn)確率,結(jié)果如圖8所示.可見(jiàn),當(dāng)組合特征維數(shù)從25增加至73時(shí),驗(yàn)證準(zhǔn)確率逐漸增大,分別增大至86.63%、90.58%、91.50%、93.31%;當(dāng)特征維數(shù)增加至89和105時(shí),驗(yàn)證準(zhǔn)確率反而下降,分別下降至91.79%和90.58%.因此,本文取73維組合特征訓(xùn)練后的CNN模型用以測(cè)試集的鳥(niǎo)種識(shí)別.
采用訓(xùn)練后的CNN模型對(duì)23種鳥(niǎo)類(lèi)鳴聲測(cè)試集進(jìn)行識(shí)別,結(jié)果如圖9所示.由圖9可知,識(shí)別正確率分布在61.1%~100%內(nèi),總體識(shí)別正確率可達(dá)92.2%. 13種高危鳥(niǎo)類(lèi)和8種微害鳥(niǎo)類(lèi)的平均識(shí)別正確率分別為94.3%和89.9%,高危鳥(niǎo)種鳴聲的識(shí)別效果表現(xiàn)更為優(yōu)異,其中大杜鵑、戴勝、蒼鷺等8種高危鳥(niǎo)種,大天鵝、松鴉、翠鳥(niǎo)3種微害鳥(niǎo)種的測(cè)試樣本識(shí)別正確率均為100%,其余5種高危鳥(niǎo)種和5種微害鳥(niǎo)種的識(shí)別正確率為61%~80%的有2種,為81%~ 90%的有5種,在90%以上(不包含100%)的有3種. 無(wú)害鳥(niǎo)種作為干擾選項(xiàng)仍然具有較好的識(shí)別效果,鵪鶉和環(huán)頸斑鳩的識(shí)別正確率分別為92.3%和83.3%.
在樣本預(yù)測(cè)類(lèi)別結(jié)果中,大嘴烏鴉對(duì)其他鳥(niǎo)種識(shí)別的干擾最為嚴(yán)重,5個(gè)禿鼻烏鴉、2個(gè)赤麻鴨樣本均被錯(cuò)誤識(shí)別為大嘴烏鴉.禿鼻烏鴉識(shí)別正確率最低,這是由于同科鳥(niǎo)種鳴聲非常相似,造成了識(shí)別難度增大.以蒼鷹、鶻、風(fēng)頭麥雞、喜鵲、大杜鵑、大天鵝6種鳥(niǎo)類(lèi)的其中一個(gè)鳴聲樣本為例,其識(shí)別結(jié)果如圖10所示.由圖10可知,確定概率均在83%以上,說(shuō)明網(wǎng)絡(luò)模型對(duì)測(cè)試集具有較好的識(shí)別效果.
4結(jié)論
本文提出了一種用以電網(wǎng)涉鳥(niǎo)故障危害鳥(niǎo)種識(shí)別的方法.通過(guò)對(duì)鳥(niǎo)種鳴聲信號(hào)進(jìn)行降噪等預(yù)處理,提取MFCC、GFCC與短時(shí)能量等構(gòu)成鳴聲組合特征集.采用CNN構(gòu)建鳥(niǎo)種識(shí)別模型,按照8:1:1比例劃分訓(xùn)練集、驗(yàn)證集和測(cè)試集,以73維組合特征作為模型輸入時(shí)可取得最優(yōu)識(shí)別效果.對(duì)23種輸電線路涉鳥(niǎo)故障相關(guān)鳥(niǎo)種的整體識(shí)別正確率可達(dá)92.2%,其中高危鳥(niǎo)種可達(dá)94.3%.本文研究可為電網(wǎng)運(yùn)維人員開(kāi)展鳥(niǎo)種智能識(shí)別與差異化防治提供參考.
參考文獻(xiàn)
[1]張宇,況燕軍,陳銘業(yè),等.架空輸電線路絕緣子在典型鳥(niǎo)糞污染條件下的閃絡(luò)特性[J].高電壓技術(shù),2018,44(6):18001805.
ZHANG Y,KUANG Y J,CHEN MY,et al. Flashover performance of insulator for overhead transmission line under typical bird contamination conditions [J]. High Voltage Engineering,2018,44 (6):1800-1805. (In Chinese)
[2]周軍,張祥全,王勝輝,等.±400 kV青藏直流線路鳥(niǎo)糞閃絡(luò)故障分析及治理[J].電網(wǎng)技術(shù),2020,44(3):1168-1174.
ZHOU J,ZHANG X Q,WANG SH,et al. Fault analysis and treatment of bird dropping flashover on ±400 kV Qinghai-Tibet DC transmission line [J]. Power System Technology,2020,44(3):1168-1174.(In Chinese)
[3] IEEE Guide for reducing bird-related outages:IEEE Std 16512010[S]. New York,USA:IEEE,2011:3-9.
[4]李陽(yáng)林,張宇,郭志鋒,等.架空輸電線路涉鳥(niǎo)故障防治[M].北京:中國(guó)電力出版社,2018:1-35.
LI Y L,ZHANG Y,GUO Z F,et al. Bird-related outage prevention of overhead transmission lines [M]. Beijing:China Electric Power Press,2018:1-35. (In Chinese)
[5]陳林波.基于圖像處理與支持向量機(jī)的輸電線路相關(guān)鳥(niǎo)種智能識(shí)別[D].南昌:南昌大學(xué),2020:24-32.
CHEN L B. Transmission lines based on image processing and support vector machines intelligent identification of related bird species[D]. Nanchang:Nanchang University,2020:24-32.(In Chinese)
[6]陳詠秋,孫凌卿,張永澤,等.基于YOLO v3的輸電線路鳥(niǎo)類(lèi)檢測(cè)技術(shù)研究[J].計(jì)算機(jī)工程,2020,46(4):294-300.
CHEN Y Q,SUN L Q,ZHANG Y Z,et al. Research on bird detection technology for electric transmission line based on YOLO v3[J]. Computer Engineering,2020,46(4):294-300.(In Chinese)
[7]邱志斌,朱軒,廖才波,等.基于目標(biāo)檢測(cè)的電網(wǎng)涉鳥(niǎo)故障相關(guān)鳥(niǎo)種智能識(shí)別[J].電網(wǎng)技術(shù),2022,46(1):369-377.
QIU Z B,ZHU X,LIAO C B,et al. Intelligent recognition of bird species related to power grid faults based on object detection[J]. Power System Technology,2022,46(1):369-377. (In Chinese)
[8]徐淑正,孫憶南,皇甫麗英,等.基于MFCC和時(shí)頻圖等多種特征的綜合鳥(niǎo)聲識(shí)別分類(lèi)器設(shè)計(jì)[J].實(shí)驗(yàn)室研究與探索,2018,37(9):81-86.
XU S Z,SUN Y N,HUANGFU L Y,et al. Design of synthesized bird sounds classifier based on multi feature extraction classifiers and time-frequency chat[J]. Research and Exploration in Laboratory,2018,37(9):81-86. (In Chinese)
[9]VENTURA T M,DE OLIVEIRA A G,GANCHEV T D,et al. Audio parameterization with robust frame selection for improved bird identification[J]. Expert Systems with Applications,2015,42 (22):8463-8471.
[10] KUCUKTOPCU O,MASAZADE E,UNSALAN C,et al. A realtime bird sound recognition system using a low-cost microcon- troller[J]. Applied Acoustics,2019,148:194-201.
[11]王浩安.基于多層能量檢測(cè)的動(dòng)物聲音檢測(cè)與識(shí)別[D].福州:福州大學(xué),2013:23-26.
WANG H A. Animal sounds detection and recognition based on multilayer energy detection [D]. Fuzhou:Fuzhou University,2013:23-26. (In Chinese)
[12] JUANG C F,CHEN T M. Birdsong recognition using predictionbased recurrent neural fuzzy networks[J]. Neurocomputing,2007,71(1/2/3):121-130.
[13] LIU H Z,BERGMANN N W. An FPGA softcore based implementation of a bird call recognition system for sensor networks [C]//2010 Conference on Design and Architectures for Signal and Image Processing(DASIP).Edinburgh:IEEE,2010:1-6.
[14]況燕軍,邱志斌,李陽(yáng)林,等.基于鳥(niǎo)鳴功率譜密度的輸電線路涉鳥(niǎo)故障相關(guān)鳥(niǎo)種智能識(shí)別[J].水電能源科學(xué),2021,39(2):156-159.
KUANG YJ,QIUZB,LIYL,et al. Intelligent recognition of bird species related to transmission line bird faults based on power spectrum density of birdsong [J]. Water Resources and Power,2021,39⑵:156-159. (In Chinese)
[15]張賽花,趙兆,許志勇,等.基于Mel子帶參數(shù)化特征的自動(dòng)鳥(niǎo)鳴識(shí)別[J].計(jì)算機(jī)應(yīng)用,2017,37(4):1111-1115.
ZHANG S H,ZHAO Z,XU Z Y,et al. Automatic bird vocalization identification based on Mel-subband parameterized feature [J]. Journal of Computer Applications,2017,37(4):1111- 1115.(In Chinese)
[16]魏靜明,李應(yīng).利用抗噪紋理特征的快速鳥(niǎo)鳴聲識(shí)別[J].電子學(xué)報(bào),2015,43(1):185-190.
WEI J M,LI Y. Rapid bird sound recognition using anti-noise texture features[J]. Acta Electronica Sinica,2015,43(1):185- 190.(In Chinese)
[17] TUBARO P L,MINDLIN G B. A dynamical system as the source of augmentation in a deep learning problem[J]. Chaos,Solitons & Fractals,2019,2:100012.
[18] MOHANTY R,MALLIK B K,SOLANKI S S. Automatic bird species recognition system using neural network based on spike [J]. Applied Acoustics,2020,161:107177.
[19]王恩澤,何東健.基于MFCC和雙重GMM的鳥(niǎo)類(lèi)識(shí)別方法[J].計(jì)算機(jī)工程與設(shè)計(jì),2014,35(5):1868-1871.
WANG E Z,HE D J. Bird recognition based on MFCC and dual- GMM[J]. Computer Engineering and Design,2014,35(5):1868-1871.(In Chinese)
[20] DE OLIVEIRA A G,VENTURA T M,GANCHEV T D,et al. Speeding up training of automated bird recognizers by data reduction of audio features[J]. Peerj,2020,8:e8407.
[21] STASTNY J,MUNK M,JURANEK L. Automatic bird species recognition based on birds vocalization[J].EURASIP Journal on Audio,Speech,and Music Processing,2018(1):1-7.
[22] JANCOVIC P,KOKUER M. Bird species recognition using unsupervised modeling of individual vocalization elements [J]. IEEE/ACM Transactions on Audio,Speech,and Language Processing,2019,27(5):932-947.
[23]陳莎莎,李應(yīng).結(jié)合時(shí)-頻紋理特征的隨機(jī)森林分類(lèi)器應(yīng)用于鳥(niǎo)聲識(shí)別[J].計(jì)算機(jī)應(yīng)用與軟件,2014,31(1):154-157.
CHEN S S,LI Y. Applying random forest classifier combined with time-frequency texture features to bird sounds recognition [J]. Computer Applications and Software,2014,31(1):154-157.(In Chinese)
[24] ZHAO Z,ZHANG S H,XU Z Y,et al. Automated bird acoustic event detection and robust species classification[J]. Ecological Informatics,2017,39:99-108.
[25]陳唯實(shí),閆軍,張潔,等.基于支持向量機(jī)的機(jī)場(chǎng)智能驅(qū)鳥(niǎo)決策[J].北京航空航天大學(xué)學(xué)報(bào),2018,44(7):1547-1553.
CHEN W S,YAN J,ZHANG J,et al. Intelligent decision making for airport bird-repelling with support vector machine[J]. Journal of Beijing University of Aeronautics and Astronautics,2018,44 (7):1547-1553.(In Chinese)
[26] XIE J,HU K,ZHU M Y,et al. Investigation of different CNNbased models for improved bird sound classification[J]. IEEE Access,2019,7:175353-175361.
[27] EFREMOVA D B,SANKUPELLAY M,KONOVALOV D. Data- efficient classification of birdcall through convolutional neural networks transfer learning[C]//2019 Digital Image Computing:Techniques and Applications (DICTA). Perth,Australia:IEEE,2019:294-301.
[28]張科,蘇雨,王靖宇,等.基于融合特征以及卷積神經(jīng)網(wǎng)絡(luò)的環(huán)境聲音分類(lèi)系統(tǒng)研究[J].西北工業(yè)大學(xué)學(xué)報(bào),2020,38(1):162-169.
ZHANG K,SU Y,WANG J Y,et al. Environment sound classification system based on hybrid feature and convolutional neural network[J]. Journal of Northwestern Polytechnical University,2020,38(1):162-169.(In Chinese)
[29]趙力.語(yǔ)音信號(hào)處理[M].北京:機(jī)械工業(yè)出版社,2009:271-283.
ZHAO L. Speech signal processing[M]. Beijing:China Machine Press,2009:271-283.(In Chinese)
[30]吳曉文,周年光,裴春明,等.特高壓交流變電站可聽(tīng)噪聲分離方法[J].高電壓技術(shù),2016,42(8):2625-2632.
WU X W,ZHOU N G,PEI C M,et al. Separation methodology of audible noises of UHV AC substations[J]. High Voltage Engineering,2016,42(8):2625-2632.(In Chinese)
[31]耿琪深,王豐華,金霄.基于Gammatone濾波器倒譜系數(shù)與鯨魚(yú)算法優(yōu)化隨機(jī)森林的干式變壓器機(jī)械故障聲音診斷[J].電力自動(dòng)化設(shè)備,2020,40(8):191-196.
GENG Q S,WANG F H,JIN X. Mechanical fault sound diagnosis based on GFCC and random forest optimized by whale algorithm for dry type transformer[J]. Electric Power Automation Equipment,2020,40(8):191-196.(In Chinese)