李良超, 劉海軍*, 單維鋒, 雷東興, 袁靜,陳俊, 王浩然, 袁國銘

1 防災(zāi)科技學(xué)院, 河北廊坊 065201

2 安徽省地震局, 合肥 230031

0 引言

地磁學(xué)是以觀測為基礎(chǔ)的學(xué)科,地磁觀測數(shù)據(jù)是開展地球基本磁場變化規(guī)律、震磁關(guān)系及地震預(yù)報等領(lǐng)域研究工作的基礎(chǔ)(姚休義,2015;姚休義等,2018)．我國已經(jīng)建成了數(shù)字化地磁前兆觀測網(wǎng)絡(luò),積累了大量的地磁時變觀測數(shù)據(jù)(姚休義等,2018)．高壓直流(High Voltage Direct Current,HVDC)輸電技術(shù)以其輸電損耗低和輸電距離遠(yuǎn)等優(yōu)點,在電網(wǎng)建設(shè)中廣泛使用．高壓直流輸電線和換流站周圍會產(chǎn)生干擾磁場,這種干擾信號與地磁場正常信號一起被儀器記錄下來(戴琛,2008;于長春等,2011)．這種干擾磁場疊加在正常磁場之上,形成高壓直流輸電干擾．識別并清除地磁時變觀測數(shù)據(jù)中的高壓直流輸電干擾,得到干凈的地磁時變觀測數(shù)據(jù)十分重要．由于高壓直流輸電干擾持續(xù)時間長短各異、干擾形態(tài)不一(楊興悅等, 2020),在海量地磁時變觀測數(shù)據(jù)中,其準(zhǔn)確識別十分困難．

目前高壓直流輸電干擾事件識別方法主要有三類：(1)基于統(tǒng)計的方法(陳俊等,2014;楊學(xué)慧等,2020);(2)基于機器學(xué)習(xí)(Fan et al.,2022;Li,2016;Hsu et al.,2015)的方法;(3)基于深度學(xué)習(xí)的方法(Wang et al.,2017;Cui et al.,2016)．基于統(tǒng)計的方法主要包括一階差分、快速傅里葉變換、小波變換等方法．陳俊等(2014)通過挑選輸電線兩側(cè)的臺站作為基準(zhǔn)臺站,利用一階差分計算觀測值與基準(zhǔn)臺站的差值,當(dāng)差值達(dá)到閾值時,將其識別為高壓直流輸電干擾,利用該方法識別高壓直流輸電干擾,其準(zhǔn)確率達(dá)到了95%．楊學(xué)慧等(2020)使用一階差分、參考分量斜率反算和線性插值等方法形成了一套自動識別地磁干擾的方法．基于統(tǒng)計方法的高壓直流輸電干擾識別方法均需要選擇基準(zhǔn)臺站作為背景場,將地磁時變觀測數(shù)據(jù)與背景場進(jìn)行對比、統(tǒng)計,該類方法需要假設(shè)基準(zhǔn)臺站不受干擾,但對于很多地區(qū)來說,選擇合適的基準(zhǔn)臺站十分困難．基于機器學(xué)習(xí)算法有支持向量機(Support Vector Machine, SVM)、動態(tài)時間規(guī)整(Dynamic Time Warping,DTW)、公共主成分分析等．Fan等(2022)使用帶有徑向基函數(shù)核函數(shù)的SVM設(shè)計了一個干擾識別模型．Hsu等(2015)提出動態(tài)時間規(guī)整算法,通過伸縮時間序列匹配計算兩個時間序列之間的相似度來識別干擾波形．Li(2016)提出了一種基于公共主成分分析的多元時間序列準(zhǔn)確高效的分類方法,試驗結(jié)果表明該方法處理不同長度的多元時間序列更靈活和高效．王靜等(2020)提出基于離散Gabor變換的磁暴識別算法．首先對地磁數(shù)據(jù)進(jìn)行Gabor變換得到Gabor譜圖,然后選擇Gabor譜圖的均值和方差作為特征,最后通過SVM實現(xiàn)對正常樣本和磁暴樣本的自動分類識別．算法對榆林等4個臺站的正常與磁暴干擾樣本進(jìn)行分類,結(jié)果表明該算法對地磁正常樣本和磁暴主相樣本識別效果更好,而磁暴的初相和恢復(fù)相樣本譜圖的特征不明顯,導(dǎo)致算法出現(xiàn)錯誤識別,因此該算法的識別性能受到人工特征設(shè)計的局限性影響．徐鵬深等(2018)提出了一種基于信號指紋的地磁異常識別算法．該算法包含指紋提取和指紋匹配兩個階段：在指紋提取階段,采用短時傅里葉變換、小波變換和文本相似性哈希計算,將一定時間長度內(nèi)的地磁波形數(shù)據(jù)轉(zhuǎn)換為指紋;在指紋匹配階段,對指紋索引進(jìn)行聚類,使得波形相似的波形具有相同的指紋．在紅山地磁臺的地磁時變觀測數(shù)據(jù)中的異常數(shù)據(jù)識別結(jié)果表明,該算法在識別干擾信號類型方面表現(xiàn)出色．對比基于統(tǒng)計方法,該方法避免了選擇基準(zhǔn)臺站的困難問題．然而,該方法對于在指紋聚類后,異常數(shù)據(jù)的指紋類型需要人工判斷,且對于頻率單一的異常波形,需要研究者有針對的調(diào)整參數(shù)．人工干預(yù)一方面效率低下,另一方面,受研究人員主觀因素影響較大,容易出現(xiàn)漏檢、誤檢．地磁時變觀測數(shù)據(jù)屬于時間序列數(shù)據(jù),而高壓直流輸電干擾的識別屬于時間序列分類問題．目前深度學(xué)習(xí)中的一維卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)和長短期記憶網(wǎng)絡(luò)(Hochreiter and Schmidhuber,1997)以其出色的自動特征提取功能,被廣泛應(yīng)用于時間序列分類．目前應(yīng)用于時間序列分類的一維卷積神經(jīng)網(wǎng)絡(luò)主要有全卷積網(wǎng)絡(luò)模型(Full Convolutional Neural Networks,FCN)(Wang et al.,2017)、殘差神經(jīng)網(wǎng)絡(luò)(Residual Network,ResNet)(Wang et al., 2017)等．近年來,國內(nèi)的研究者將深度學(xué)習(xí)技術(shù)應(yīng)用于高壓直流輸電干擾事件識別中．王軍等(2021)將地震前兆臺網(wǎng)觀測時序數(shù)據(jù)保存為圖像,通過CNN網(wǎng)絡(luò)模型自動識別異常圖像,驗證了CNN網(wǎng)絡(luò)應(yīng)用于異常識別的可行性．Liu等(2022)則通過支持向量機、多層感知機和CNN分別構(gòu)建了3種地磁干擾事件識別模型,結(jié)果顯示CNN模型在地磁干擾事件的準(zhǔn)確識別方面表現(xiàn)良好．本研究團隊中的單維鋒等(2023)將卷積神經(jīng)網(wǎng)絡(luò)和長短期記憶網(wǎng)絡(luò)結(jié)合起來,提出了IICM-HVDCT-CNN-LSTM模型,并將其應(yīng)用于高壓直流輸電干擾識別,其識別準(zhǔn)確率達(dá)到92.94%．然而,這些深度學(xué)習(xí)模型雖然實現(xiàn)了高壓直流輸電干擾自動特征提取,卻未考慮到干擾事件持續(xù)時間的差異,只能提取到固定時間尺度的干擾特征,導(dǎo)致模型在識別持續(xù)時間差異較大的高壓直流輸電干擾事件時,準(zhǔn)確率不高．為了解決這一問題,Cui等(2016)提出了多尺度卷積網(wǎng)絡(luò)(Multi-Scale Convolutional Neural Networks),通過等間隔降采樣的方法得到輸入樣本的多尺度表示,并將多尺度樣本輸入到卷積神經(jīng)網(wǎng)絡(luò)中自動特征提取,并將多尺度特征融合,提高了識別的準(zhǔn)確率(Zou et al.,2019),然而,通過等間隔降采樣的方法生成多尺度數(shù)據(jù)時,原始數(shù)據(jù)中的噪聲依然被保留下來,這會影響模型的識別性能．

為了能自動識別持續(xù)時間長短不一的高壓直流輸電干擾事件,本文先將地磁時變觀測數(shù)據(jù)進(jìn)行多尺度表示,再對每個尺度分別進(jìn)行特征提?。紤]到數(shù)據(jù)中包含噪聲,會干擾特征提取及分類效果,為盡可能抑制數(shù)據(jù)中的噪聲,本文采用小波技術(shù)對地磁時變觀測數(shù)據(jù)進(jìn)行多尺度分解,保留每次小波分解后的低頻分量作為地磁時變觀測數(shù)據(jù)的多尺度表示．同時設(shè)計了含有多個輸入分支的卷積網(wǎng)絡(luò)模型,每個輸入分支分別接收小波分解后的不同尺度的地磁時變觀測樣本,并采用卷積層對其進(jìn)行特征提取,采用池化層對提取的特征進(jìn)行降維,并添加CBAM(Convolutional Block Attention Module)注意力機制對不同尺度的特征進(jìn)行自適應(yīng)加權(quán),最后利用全連接層和SoftMax函數(shù)進(jìn)行分類．

1 數(shù)據(jù)及其預(yù)處理

1.1 樣本制作與數(shù)據(jù)預(yù)處理

本文試驗數(shù)據(jù)由中國地震前兆臺網(wǎng)中心提供,包含3年全國地磁時變觀測數(shù)據(jù)干擾事件處理日志．其中地磁時變觀測數(shù)據(jù)包含地磁場多個測項分量,包括水平H分量、垂直Z分量、磁偏角D分量和總強度F分量．蔣延林等(2014)和鮑海英等(2020)的研究工作表明,高壓直流輸電干擾主要表現(xiàn)在地磁時變觀測數(shù)據(jù)垂直Z分量上,其他分量表現(xiàn)不明顯(林秀娜等,2020)．因此,本文選擇地磁時變觀測數(shù)據(jù)垂直Z分量數(shù)據(jù)作為試驗數(shù)據(jù)．干擾事件處理日志包含由中國地震前兆臺網(wǎng)中心標(biāo)注的干擾開始時間、結(jié)束時間、臺站、測點、測項和干擾類別等信息．本文只對高壓直流輸電干擾事件進(jìn)行識別,因此制作樣本時,干擾樣本只選擇高壓直流輸電干擾事件．

采用卷積神經(jīng)網(wǎng)絡(luò)識別高壓直流輸電干擾事件時,需要截取固定長度的地磁時變觀測數(shù)據(jù)垂直Z分量作為樣本的特征x．因此,需要確定合適的樣本長度,樣本長度過長,則會導(dǎo)致計算時間復(fù)雜度過高;樣本長度過短,則無法包含完整的高壓直流輸電干擾事件．本文樣本長度參考單維鋒等(2023)的處理方法,對于正常地磁時變觀測樣本,選擇連續(xù)2個小時沒有任何干擾的地磁時變觀測數(shù)據(jù)垂直Z分量,對于高壓直流輸電干擾樣本,選擇從干擾事件處理日志中,包含干擾起止位置的長度為2個小時的觀測數(shù)據(jù)．最終,制作高壓直流輸電干擾事件樣本和正常地磁時變觀測樣本各12896條,總計25792條樣本．

樣本制作完成后,接下來對樣本特征x和樣本的類別進(jìn)行預(yù)處理．為了提高數(shù)據(jù)的可比較性,本文對特征x采用z-score進(jìn)行規(guī)范化處理,如公式(1)所示：

(1)

其中,xi為第i個樣本的特征,x′i為特征規(guī)范化后第i個樣本特征,μ為所有樣本特征的均值,σ為所有樣本特征的標(biāo)準(zhǔn)差．

對類別的預(yù)處理為對類別進(jìn)行編碼．本文中的類別為兩類,分別為正常地磁時變觀測樣本和高壓直流輸電干擾事件．本文將正常地磁時變觀測樣本編碼為“0”,高壓直流輸電干擾事件編碼為“1”．

數(shù)據(jù)處理完成后,接著劃分樣本集．本文采用分層采樣的方法,在正常地磁時變觀測樣本和高壓直流輸電干擾樣本中各隨機選擇80%作為訓(xùn)練樣本,其余作為測試樣本．最終的數(shù)據(jù)集如表1所示.

1.2 地磁時變觀測樣本的多尺度表示

由于高壓直流輸電干擾事件持續(xù)時間不確定,為了自適應(yīng)識別持續(xù)時間不同的高壓直流輸電干擾事件,需要生成多尺度樣本．Cui等(2016)使用多次等間隔降采樣的方法,對樣本進(jìn)行多尺度表示．這種等間隔降采樣的方法不能抑制原始數(shù)據(jù)的噪聲,影響識別性能．本文采用小波技術(shù)生成多尺度地磁時變觀測樣本,一方面實現(xiàn)了樣本的多尺度表示,另一方面可以抑制噪聲．圖1展示了利用小波技術(shù)和等間隔降采樣進(jìn)行多尺度表示的對比效果．可以看出,直接采用等間隔降采樣對數(shù)據(jù)進(jìn)行多尺度表示時,原始樣本中的噪聲依然保留．而采用小波技術(shù)對樣本進(jìn)行多尺度表示時,原始數(shù)據(jù)中的噪聲得到了一定程度的抑制,尤其是第三次采用小波技術(shù)分解與第三次等間隔降采樣對比,小波技術(shù)抑制噪聲效果尤其明顯．

表1 高壓直流輸電干擾數(shù)據(jù)集Table 1 HVDC transmission disturbance dataset

小波技術(shù)通過將尺度函數(shù)和小波函數(shù)分別與樣本進(jìn)行卷積處理．尺度函數(shù)相當(dāng)于一個低通濾波器,將尺度函數(shù)與樣本進(jìn)行卷積處理,然后進(jìn)行一次下采樣,得到地磁樣本下采樣后的近似部分(低頻);而小波函數(shù)相當(dāng)于一個高通濾波器,將小波函數(shù)與樣本進(jìn)行卷積處理,然后進(jìn)行一次下采樣,得到地磁時變觀測樣本下采樣后的細(xì)節(jié)部分(高頻)．每進(jìn)行一次小波分解,相當(dāng)于進(jìn)行一次高通濾波和一次低通濾波．在做完一次高低通的濾波操作之后,再對低頻部分進(jìn)行小波分解,直到分解到我們需要到的尺度為止．小波分解詳細(xì)過程如圖2所示,其中H和G代表尺度函數(shù)(低通濾波器)和小波函數(shù)(高通濾波器)．濾波器將樣本中的高、低頻信息分離,cDi為第i次分解的高頻部分,包含原始樣本的細(xì)節(jié)部分,細(xì)節(jié)部分包含了樣本的噪聲;cAi是第i次分解的低頻部分,包含原始樣本的近似部分,近似部分蘊含著信號的特征(張學(xué)軍等,2021)．地磁時變觀測垂直Z分量樣本每經(jīng)過1次小波分解,其近似部分長度均為上一次的一半．原始樣本經(jīng)過多次小波分解后,就得到多個長短不一的近似部分,在每次小波分解時,丟棄高頻部分,只保留近似部分,將其作為原始樣本的多尺度表示,抑制了原始樣本中的噪聲．圖3展示了一個高壓直流輸電干擾事件樣本及其經(jīng)過三次離散小波分解后的近似部分．可以看出,一個樣本進(jìn)行3次離散小波分解后,樣本的長短發(fā)生了變化,可以看作是3個不同尺度的樣本,這3個不同尺度的樣本均保留了原始高壓直流輸電干擾事件的“臺階”特征．

圖1 小波技術(shù)與等間隔降采樣方法對地磁時變觀測樣本多尺度表示效果對比

圖2 地磁時變觀測數(shù)據(jù)垂直Z分量離散小波分解過程

圖3 高壓直流輸電干擾事件原始數(shù)據(jù)及經(jīng)過3次小波分解的近似部分

2 CBAM-MCNN高壓直流輸電干擾識別模型

地磁時變觀測樣本經(jīng)過小波分解,得到原始樣本的多尺度表示．為了提取每個尺度樣本的特征,論文設(shè)計了一個含有多個輸入分支的卷積神經(jīng)網(wǎng)絡(luò),每個輸入分支接收一個尺度的樣本,使用卷積層和池化層的組合對其進(jìn)行特征提取,最后,將每個分支提取到的特征連接起來,形成一個包含多個尺度特征的特征向量．通過這種模型設(shè)計,解決了高壓直流輸電干擾持續(xù)時間長短不一、特征提取困難的問題．

2.1 多輸入卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)具有自動特征提取功能,廣泛應(yīng)用于計算機視覺領(lǐng)域．CNN的基本結(jié)構(gòu)由輸入層、卷積層(Conv layer)、池化層(Pooling layer)、全連接層(Dense layer)和輸出層等組成(LeCun et al.,1989;Krizhevsky et al.,2017)．輸入層接收需要卷積層提取特征的樣本;卷積層通過多個卷積核與樣本進(jìn)行卷積,來提取輸入樣本的局部特征,生成帶有特征信息的特征圖;池化層通過降采樣的方式減少特征圖的空間尺寸并降低模型的計算量,池化層包含最大池化層和平均池化層,本文采用最大池化層(MaxPooling layer);全連接層由多個神經(jīng)元構(gòu)成,通過學(xué)習(xí)特征圖的重要程度來執(zhí)行分類任務(wù),在CNN中起到分類器的作用;輸出層采用SoftMax函數(shù),計算每個類別的概率,并輸出模型對每個類別的預(yù)測概率．多輸入卷積神經(jīng)網(wǎng)絡(luò)(Multi-input Convolutional Neural Network,MCNN)是包含多個輸入分支、多分支并行提取特征的卷積神經(jīng)網(wǎng)絡(luò), MCNN通過輸入多組數(shù)據(jù),提取更多特征來提高分類性能．在本文高壓直流輸電干擾事件識別中,將小波分解的多尺度地磁時變觀測樣本作為MCNN的輸入,每個分支通過堆疊卷積層和最大池化層來提取多尺度地磁時變觀測樣本的特征,得到多個特征圖．通過堆疊多個卷積層和池化層,能提取到更高級的特征(王先圣和嚴(yán)珂, 2022),然后通過特征融合層(Concatenate layer),將多尺度特征進(jìn)行融合．

2.2 卷積神經(jīng)網(wǎng)絡(luò)中的注意力機制

每個卷積層中包含多個卷積核,每個卷積核都會輸出一個特征圖,因此,每個卷積層會輸出多個通道的特征圖．特征圖的空間維度表示了一個卷積核在該樣本提取的全部特征信息．在沒有注意力機制的CNN中,經(jīng)過卷積、池化層提取的特征圖的權(quán)重是相同的(Hu et al.,2018;時文華等,2019),無法體現(xiàn)特征圖的哪些通道、哪些空間特征更有助于分類．為了增強特征選擇能力,本文在每個池化層后添加了CBAM(Convolutional Block Attention Module,CBAM)層(Woo et al., 2018)．CBAM層包含通道注意力模塊和空間注意力模塊兩個部分,接受前面池化層傳遞過來的特征圖,分別在特征圖的通道和空間兩個獨立的維度上自適應(yīng)調(diào)整特征圖的權(quán)重,并用該權(quán)重對特征圖進(jìn)行加權(quán)處理,來強化特征圖中更有利于模型識別性能的特征,實現(xiàn)自適應(yīng)特征細(xì)化．CBAM注意力機制結(jié)構(gòu)如圖4所示．

圖5 CBAM-MCNN網(wǎng)絡(luò)結(jié)構(gòu)

2.3 CBAM-MCNN模型結(jié)構(gòu)

本文把MCNN模型與CBAM注意力層相結(jié)合,稱為CBAM-MCNN(Multi-input Convolutional Neural Networks based CBAM,CBAM-MCNN),其詳細(xì)結(jié)構(gòu)如圖5所示．該模型包含多個輸入分支,分別接受經(jīng)過離散小波分解后得到的不同尺度的地磁時變觀測樣本,受VGG網(wǎng)絡(luò)(Simonyan and Zisserman,2015)啟發(fā),本文在設(shè)計CBAM-MCNN時,每個分支包含3個特征提取單元,每個特征提取單元由2個一維卷積層、1個最大池化層和1個CBAM注意力層堆疊組成,其中,每個卷積層的卷積核尺寸全部設(shè)置為3×1,使用小尺寸的卷積核能提取到更細(xì)致的特征．在兩個卷積層后使用最大池化層對卷積層提取的特征圖進(jìn)行降采樣,新的特征圖被輸入到CBAM注意力層中,模型訓(xùn)練過程中,CBAM注意力層不斷調(diào)整特征圖的權(quán)重,使模型更關(guān)注重要特征．MCNN模型的每個分支都設(shè)置3個特征提取單元,這種組合實現(xiàn)了地磁時變觀測樣本特征的整合和增強．同時,參考VGG模型,本文在不同特征提取單元中卷積層卷積核數(shù)量分別為32,64和128．利用多個分支分別提取到不同尺度樣本的特征后,用拼接層將所有分支的特征拼接起來,作為最終的特征向量,該向量包含了輸入樣本的多個尺度的特征．最后將該多尺度特征輸入全連接層和輸出層,輸出層激活函數(shù)選擇SoftMax,用于對樣本進(jìn)行分類．

3 試驗與結(jié)果分析

3.1 模型評價標(biāo)準(zhǔn)

為了驗證CBAM-MCNN模型的識別性能,論文采用準(zhǔn)確率(Accuracy)和F1值作為模型性能的評價指標(biāo)．這兩個指標(biāo)均可以從高壓直流輸電干擾事件識別結(jié)果的混淆矩陣中得出．表2為高壓直流輸電干擾事件識別結(jié)果的混淆矩陣,用于展示高壓直流輸電干擾事件測試樣本的分類情況．其中TP(True Positive)表示真實類別和預(yù)測類別都是高壓直流輸電干擾事件的樣本數(shù)量,TN(True Negative)表示真實類別和預(yù)測類別都為正常地磁時變觀測樣本的數(shù)量,FN(False Negative)為將高壓直流輸電干擾事件識別為正常地磁時變觀測樣本的數(shù)量,FP(False Positive)為將正常地磁時變觀測樣本識別為高壓直流輸電干擾事件的數(shù)量．

從表2的混淆矩陣中可以衍生出四個評價指標(biāo)：準(zhǔn)確率(Accuracy)、查全率(Recall)、查準(zhǔn)率(Precision)和F1值．準(zhǔn)確率表示模型分類正確的樣本占總樣本的比例,其定義如公式(2)所示;查全率如公式(3)所示,反映了測試集中所有的高壓直流輸電干擾樣本中正確識別出來的比例．查全率越高,則代表測試樣本中越多的高壓直流干擾樣本被識別出來;查準(zhǔn)率如公式(4)所示,反應(yīng)了模型識別為高壓直流干擾事件的樣本中,真正是高壓直流輸電干擾樣本所占的比例．查準(zhǔn)率和查全率是一對矛盾的指標(biāo),查準(zhǔn)率高時,查全率往往偏低,反之亦然,因此論文評估模型時,沒有采用查準(zhǔn)率和查全率,而采用了F1值．F1值是查準(zhǔn)率(Precision)和查全率的調(diào)和平均,其計算如公式(5)所示．

(2)

(3)

(4)

(5)

3.2 試驗條件

本文所有試驗均在Windows操作系統(tǒng)下使用Keras深度學(xué)習(xí)框架完成,運行設(shè)備的硬件配置為Intel core i7-8700k,顯卡為GTX 1070Ti．訓(xùn)練過程使用Adam優(yōu)化器,初始學(xué)習(xí)率為0.0005,模型迭代40次,使用交叉熵作為損失函數(shù),交叉熵用來衡量類別標(biāo)簽和概率之間的距離,交叉熵值越小,分類效果越好．交叉熵計算如公式(5)所示：

(6)

其中yi為第i個樣本的類別(0或1),n為訓(xùn)練樣本數(shù)量,pi為模型將第i個樣本的預(yù)測為高壓直流輸電干擾的概率．

3.2.1 小波基函數(shù)與分解次數(shù)的選擇

在使用離散小波對地磁時變觀測樣本進(jìn)行多尺度表示時,需要選擇小波基函數(shù)及確定分解次數(shù),由此確定CBAM-MCNN模型的輸入分支數(shù)量．本文使用Haar小波、Daubechies小波族(db1、db2、db3)、Symlets小波族(sym2、sym3)和Biorthogonal小波族(bior1.1、bior1.3)共8個小波基函數(shù)對地磁時變觀測樣本進(jìn)行多尺度分解,每種小波基函數(shù)分別對樣本進(jìn)行4次分解,得到4個尺度的近似部分cA1、cA2、cA3和cA4．為了確定最優(yōu)分解次數(shù),本文共設(shè)置了三種多輸入模型：

(1)雙輸入模型：包含2個輸入分支,分別接收小波分解后的cA1和cA2;

(2)三輸入模型：包含3個輸入分支,分別接收cA1、cA2、cA3;

(3)四輸入模型：包含4個輸入分支,分別接收cA1、cA2、cA3、cA4．

試驗結(jié)果如表3所示.從表3可以看到,采用db3小波三次分解,構(gòu)造三輸入的CBAM-MCNN模型識別效果最好,其準(zhǔn)確率為97.14%,F1值為97.12%．因此,本文選擇使用db3小波基函數(shù)對原始地磁時變觀測樣本進(jìn)行連續(xù)三次分解,將三次分解的近似部分cA1、cA2和cA3作為原始樣本3個不同尺度的表示,輸入到含有3個分支的CBAM-MCNN模型進(jìn)行特征提取和識別．最終的CBAM-MCNN模型結(jié)構(gòu)如圖6所示．

表3 不同小波基函數(shù)與不同模型結(jié)構(gòu)下識別結(jié)果對比Table 3 Comparison of recognition results using different wavelet basis functions and model structures

圖6 三輸入CBAM-MCNN模型結(jié)構(gòu)

3.2.2 不同多尺度表示方法的識別性能對比

論文對比了使用等間隔降采樣和離散小波分解兩種多尺度表示方法下模型識別效果．其中,等間隔降采樣方法使用間隔為2的降采樣方法,對原始樣本連續(xù)降采樣3次,以此保證與離散小波分解具有相同的數(shù)據(jù)長度,等間隔降采樣方法選擇第1至3次降采樣得到的三組尺度數(shù)據(jù)作為模型輸入;離散小波分解方法則使用3.2.1節(jié)的db3小波基分解3次的多尺度數(shù)據(jù)．兩種方法生成的多尺度數(shù)據(jù)均用于3.2.1節(jié)的三輸入模型的訓(xùn)練,識別結(jié)果如表4所示,可以看出,與等間隔降采樣相比,使用離散小波分解方法進(jìn)行多尺度表示時,模型的識別準(zhǔn)確率提高了1.75%,F1值提高了1.78%．

表4 采用不同多尺度表示方法的識別效果對比Table 4 Comparison of recognition performance using different multi-scale representation methods

3.2.3 CBAM-MCNN試驗結(jié)果

根據(jù)前面的試驗結(jié)果,本文最終確定使用db3小波基函數(shù),連續(xù)分解三次,將分解得到的cA1,cA2,cA3作為3個尺度地磁樣本,分別輸入到本文所設(shè)計的CBAM-MCNN模型中進(jìn)行訓(xùn)練,并且在測試集上進(jìn)行預(yù)測．模型預(yù)測結(jié)果的混淆矩陣如圖7所示,測試集中高壓直流輸電干擾事件共2612條,其中有2543條被CBAM-MCNN模型正確識別,占測試集中高壓直流輸電干擾事件樣本總數(shù)的97.35%,只有2.65%的高壓直流輸電干擾樣本被錯誤識別為正常地磁時變觀測樣本;正常地磁時變觀測樣本中96.92%被正確識別,3.08%被錯誤識別．CBAM-MCNN模型的準(zhǔn)確率和F1值分別達(dá)到了97.14%和97.12%．

圖7 CBAM-MCNN在測試集預(yù)測結(jié)果的混淆矩陣

3.2.4 識別結(jié)果分析

為了查明本文模型的不足之處,論文對漏檢樣本(將高壓直流輸電干擾事件識別為正常地磁時變觀測樣本)、誤檢樣本(將正常地磁時變觀測樣本識別為高壓直流輸電干擾事件)進(jìn)行進(jìn)一步分析．

漏檢樣本分析：圖8(a—d)展示了部分未被正確識別的高壓直流輸電干擾事件樣本．從圖中可以看到,未被正確識別的高壓直流干擾樣本主要分為3類,第1類為干擾持續(xù)時間過短,模型不容易捕捉干擾特征,例如圖8a和圖8b．圖8a中的地磁時變觀測樣本在400～1000 s時間內(nèi)出現(xiàn)了一個階梯狀的高壓直流輸電干擾,干擾持續(xù)時間占樣本總長度的1/12,圖8b中高壓直流輸電干擾發(fā)生在0～300 s期間,干擾持續(xù)時間占總長度的1/24,這兩個樣本中高壓直流干擾事件持續(xù)時間較短,在經(jīng)過多次小波分解后,持續(xù)時間更短,導(dǎo)致模型漏檢;第2類中,高壓直流輸電干擾持續(xù)時間夠長,但干擾的波形為緩變,例如圖8c,干擾的“上凸”波形從600 s開始,在2400 s結(jié)束,干擾起止處的上升和下降變化比較緩慢;未被正確識別的第3類為干擾的幅度比較小的樣本,例如圖8d．從該圖可以看到,從第4300 s開始,樣本記錄出現(xiàn)了多個階梯波形,但每個波形的幅度不大,導(dǎo)致被漏檢．綜上,可以得出,本文所提出的CBAM-MCNN模型,在識別持續(xù)時間特別短、干擾幅度特別小、干擾波形變化緩慢的樣本時,存在漏檢問題．對于圖8中(a)、(b)兩種情況,此時,干擾幅度夠大,只是持續(xù)時間過短,可以采用一階差分配合閾值的方法來輔助識別,較短的高壓直流干擾事件的波形一階差分會出現(xiàn)短期內(nèi)成對的足夠大的正負(fù)邊緣,可以利用該特點有效識別．對于圖8c中的樣本,由于高壓直流輸電干擾波形比較緩慢,接近正常地磁時變觀測樣本波形,因此現(xiàn)有的機器學(xué)習(xí)辦法無法有效解決;對于圖8d第3種情況,干擾幅度較小,此時可以通過數(shù)據(jù)增強的辦法來提高干擾的振幅,再進(jìn)行識別．

誤檢樣本分析：圖9展示了部分誤檢樣本,即正常地磁時變觀測樣本被模型識別為高壓直流輸電干擾樣本．可以看出,樣本(a)、(b)中,密集出現(xiàn)數(shù)據(jù)突跳,雖然突跳幅度不大,但是非常密集;樣本(d)中,出現(xiàn)局部出現(xiàn)連續(xù)較大的數(shù)據(jù)突跳．這些突跳是由不明原因引起的噪聲,且均呈現(xiàn)臺階狀,與高壓直流輸電干擾事件的臺階狀特征非常類似,因此被模型誤分類．樣本(c)中,干擾數(shù)據(jù)較少,但是在5700～6300 s之間,數(shù)據(jù)短時間內(nèi)出現(xiàn)較大波動,因此被模型誤分類．可見本文提出的模型在噪聲較小時性能較好,但在出現(xiàn)較大的噪聲、密集出現(xiàn)較小噪聲或短時間數(shù)據(jù)出現(xiàn)較大波動時,處理能力還不夠．

3.3 不同模型識別性能對比

本文將CBAM-MCNN模型與不加注意力機制的MCNN模型、全卷積網(wǎng)絡(luò)模型(Full Convolutional Neural Networks,FCN)、殘差神經(jīng)網(wǎng)絡(luò)(Residual network,ResNet)(Wang et al.,2017)、IICM-HVDCT-CNN-LSTM(單維鋒等,2023)進(jìn)行了對比試驗．其中,MCNN模型為圖7中不加入CBAM層的模型,輸入數(shù)據(jù)仍使用由db3小波對樣本進(jìn)行多尺度分解得到的cA1、cA2和cA3．

圖8 未被正確識別的高壓直流輸電干擾樣本示例(a—b) 干擾持續(xù)時間過短的樣本; (c) 緩變波形的樣本; (d) 干擾幅度較小的樣本.

圖9 誤被識別為高壓直流輸電干擾事件的正常樣本

圖10 FCN和ResNet模型結(jié)構(gòu)

FCN模型結(jié)構(gòu)如圖10a所示,FCN由三組基本塊組成,每個基本塊包含一個卷積層,一個批量歸一化層(Batch Normalization,BN),該層采用ReLU激活函數(shù),之后是全局池化層(Global Pooling),再通過SoftMax層輸出樣本所屬類別概率．該模型為單輸入模型,試驗時選擇小波分解后的cA3輸入到模型中．

ResNet模型結(jié)構(gòu)如圖10b所示,ResNet的基本塊包括3組特征提取單元,每個單元包括3組卷積層、批量歸一化層(Batch Normalization,BN)和ReLU激活函數(shù)的組合,ResNet模型的每個單元還使用跳路連接,即存在一條支路跳過一個特征提取單元,通過這種設(shè)計可以將網(wǎng)絡(luò)結(jié)構(gòu)拓展更深(He et al.,2016)．該模型也為單輸入模型,試驗時選擇小波分解后的cA3輸入到模型中．

表5為FCN、ResNet、MCNN、IICM-HVDCT-CNN-LSTM和CBAM-MCNN的識別結(jié)果．從表5可以看出：(1)多輸入模型識別性能優(yōu)于單輸入模型.FCN、ResNet和IICM-HVDCT-CNN-LSTM模型為單輸入模型,三者均使用單一尺度地磁時變觀測樣本進(jìn)行訓(xùn)練,其準(zhǔn)確率分別為82.07%、86.11%和92.86%,F1值分別為83.58%、85.06%和92.87%;MCNN和CBAM-MCNN為多輸入模型,其準(zhǔn)確率和F1值均明顯的高于三種單輸入模型,達(dá)到了94.33%和97.14%．這表明通過離散小波對地磁時變觀測樣本進(jìn)行多尺度表示,并將多尺度數(shù)據(jù)分別輸入到包含多個分支結(jié)構(gòu)的模型中,對多尺度數(shù)據(jù)分別特征提取和融合,模型識別高壓直流輸電干擾事件的性能明顯提高．(2)CBAM注意力機制明顯提高識別性能.通過對比未添加注意力機制的MCNN模型與添加了注意力機制的CBAM-MCNN模型的識別結(jié)果,可以看出,CBAM-MCNN模型識別準(zhǔn)確率和F1值分別達(dá)到了97.14%和97.12%,相比無注意力機制的MCNN模型的準(zhǔn)確率提升了 2.81%,F1值提高了2.9%,識別性能明顯提高．這表明,添加了CBAM注意力機制后,模型自適應(yīng)調(diào)整特征圖的權(quán)重,強化了特征圖中更有利于模型識別性能的特征,增強了模型特征選擇能力,提高了模型識別性能．

表5 五種模型的識別性能對比Table 5 Comparison of recognition performance among five models

4 結(jié)論

高壓直流輸電干擾事件識別是提高地磁時變觀測數(shù)據(jù)質(zhì)量的重要環(huán)節(jié)．目前有研究者將深度學(xué)習(xí)技術(shù)引入高壓直流輸電干擾事件識別中,但其只針對單一尺度的原始樣本進(jìn)行特征提取,在干擾持續(xù)時間、干擾幅度變化較大時,漏檢、誤檢率較高,本文采用小波分解技術(shù)得到高壓直流輸電干擾樣本的多尺度表示,然后設(shè)計了包含多個輸入分支的卷積神經(jīng)網(wǎng)絡(luò),每個分支接收小波分解后的不同尺度樣本,利用卷積神經(jīng)網(wǎng)絡(luò)自動特征提取功能,得到高壓直流輸電干擾樣本的多尺度特征,解決了高壓直流輸電干擾持續(xù)時間長短不一,特征提取困難的問題．論文分別采用Haar小波、Daubechies小波族(db1, db2, db3)、Symlets小波族(sym2, sym3)和Biorthogonal小波族(bior1.1, bior1.3)共8個小波基函數(shù),對地磁時變觀測樣本進(jìn)行多次分解,試驗結(jié)果表明,采用db3小波基對地磁時變觀測樣本進(jìn)行3次分解,識別準(zhǔn)確率最高．論文對比了采用db3小波及采用等間隔降采樣對樣本進(jìn)行多尺度表示的識別效果,以及單一尺度的識別效果,發(fā)現(xiàn)：(1)多尺度優(yōu)于單一尺度;(2)采用db3進(jìn)行多尺度表示,優(yōu)于采用等間隔降采樣的多尺度表示．本文還在模型中添加了CBAM注意力機制,使模型能自適應(yīng)計算每一特征圖的重要程度,為其分配相應(yīng)的權(quán)重,使模型在識別時,能更關(guān)注重要的特征．論文對比了CBAM-MCNN與不添加注意力機制的MCNN模型的識別效果,試驗結(jié)果表明添加CBAM注意力機制能夠顯著地提高模型識別性能．

本文提出了一種高壓直流輸電干擾識別模型,試驗表明,該模型性能明顯優(yōu)于對比模型,但是在實際應(yīng)用中,該模型仍然存在以下幾個問題：

(1)應(yīng)用深度學(xué)習(xí)解決高壓直流輸電干擾識別問題的時,要求樣本長度一致,本文對三年中高壓直流輸電干擾事件持續(xù)時間進(jìn)行統(tǒng)計,發(fā)現(xiàn)2小時之內(nèi)的高壓直流輸電干擾樣本占74.7%,故論文選擇樣本長度為2小時．對于超過2小時的干擾數(shù)據(jù),選擇了前2小時,但是在具體應(yīng)用時,可以采用長度為2小時的滑動窗口來分割數(shù)據(jù),制作樣本,這樣確保干擾事件起點或者終點能落入某一樣本窗口內(nèi);

(2)在數(shù)據(jù)多尺度表示時,本文只對比了離散小波技術(shù)和等間隔降采樣技術(shù),沒有考慮其他多尺度表示方法,未來將嘗試采用經(jīng)驗?zāi)B(tài)分解等其他數(shù)據(jù)多尺度表示方法;

(3)本文所提出的模型在噪聲較大,或者小幅度噪聲出現(xiàn)較密集,以及短時間內(nèi)數(shù)據(jù)波動幅度較大時會造成誤檢．

(4)本文只討論了在地磁時變觀測Z分量上的高壓直流輸電干擾事件識別方法,未來將考慮將更多地磁時變觀測分量聯(lián)合起來,研究更高效的地磁時變觀測數(shù)據(jù)干擾識別算法．