蘇耘

（內(nèi)蒙古工業(yè)大學(xué)信息工程學(xué)院 內(nèi)蒙古自治區(qū)呼和浩特市 010021）

1 引言

時間序列數(shù)據(jù)廣泛存在于各類任務(wù)中，例如電子健康記錄、人類動作識別、聲學(xué)場景分類以及網(wǎng)絡(luò)安全等，時間序列分類（TSC）是數(shù)據(jù)挖掘中最具挑戰(zhàn)性的問題之一。

為了對時間序列數(shù)據(jù)進(jìn)行準(zhǔn)確分類，已經(jīng)提出了數(shù)百種TSC算法。最流行和傳統(tǒng)的TSC方法之一是使用最近鄰（NN）分類器和距離函數(shù)進(jìn)行分類，特別是與神經(jīng)網(wǎng)絡(luò)分類器一起使用的動態(tài)時間扭曲（DTW）距離取得了較好的效果。Lines等證明對具有不同的距離度量的神經(jīng)網(wǎng)絡(luò)分類器進(jìn)行融合，其的性能優(yōu)于所有的單個組件。這一思想推動了名為COTE的分類器集合的開發(fā)，COTE里包括35個獨立的分類器。Lines等過利用具有概率投票的新分級結(jié)構(gòu)，對COTE進(jìn)行了進(jìn)一步拓展，新集合稱之為HIVE-COTE，其獨立分類器個數(shù)達(dá)到了37個。HIVE-COTE目前被認(rèn)為是時間序列分類的最先進(jìn)算法，但HIVE-COTE運算時間長，計算復(fù)雜，很難在真實場景的大型數(shù)據(jù)集上使用，同時其37個分類器的決策也難以被領(lǐng)域?qū)＜依斫夂徒忉尅?/p>

深度神經(jīng)網(wǎng)絡(luò)在計算機視覺和自然語言處理、語音識別等領(lǐng)域取得了巨大成功，在一些任務(wù)中已經(jīng)達(dá)到甚至超越人類的水平。自然語言處理和語音識別任務(wù)的數(shù)據(jù)都具有時序性，而這也是時間序列數(shù)據(jù)的主要特征之一，這種相似性激發(fā)了人們將深度學(xué)習(xí)應(yīng)用于時間序列的研究熱情。

2 時間序列分類的定義

在介紹不同類型的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)之前，我們先對TSC進(jìn)行一些形式化定義。

數(shù) 據(jù) 集D={(X,Y),(X,Y),…,(X,Y)}是 對（X，Y）的集合，其中X可以是一個單變量或多變量時間序列，Y作為其對應(yīng)的獨熱標(biāo)簽向量。對于包含K個類的數(shù)據(jù)集，一個獨熱標(biāo)簽向量Y是長度為K的向量，其中每個元素j∈[1, K]，如果X的類別是j，則等于1，否則等于0。TSC的任務(wù)就是在數(shù)據(jù)集D上訓(xùn)練分類器，從輸入空間映射得到輸出標(biāo)簽的概率分布。

3 深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)

深度神經(jīng)網(wǎng)絡(luò)是由稱為層的L個參數(shù)函數(shù)組成，其中每一層都被視為輸入域的表示。神經(jīng)網(wǎng)絡(luò)層由若干個神經(jīng)元組成，神經(jīng)元是計算層輸出的一個元素的最小單位。神經(jīng)網(wǎng)絡(luò)層將其前一層的輸出作為輸入，并且應(yīng)用非線性激活函數(shù)來計算其自身的輸出。這些非線性變換的行為由每層的一組參數(shù)控制，將前一層的輸入鏈接到當(dāng)前層的輸出。在深度學(xué)習(xí)領(lǐng)域中，這些參數(shù)通常被稱為權(quán)重。

在訓(xùn)練期間，需要向網(wǎng)絡(luò)提供足夠數(shù)量的已知輸入和輸出樣例。訓(xùn)練開始前，首先對權(quán)重進(jìn)行隨機初始化，而后進(jìn)行正向傳遞的計算，得到輸出向量。輸出向量的維度同類別個數(shù)相同，向量中每一個元素是屬于對應(yīng)類別的估計概率。最后使用損失函數(shù)計算模型的預(yù)測損失，并使用梯度下降法，在反向過程中更新權(quán)重以傳播誤差。因此，通過迭代地進(jìn)行前向傳遞，然后進(jìn)行反向傳播，以最小化訓(xùn)練數(shù)據(jù)損失的方式更新模型參數(shù)。另一種行之有效并被廣泛使用的方法是遷移學(xué)習(xí)，即在相似的大型數(shù)據(jù)集上預(yù)先訓(xùn)練模型，將模型參數(shù)遷移到目標(biāo)任務(wù)的模型中，并在目標(biāo)數(shù)據(jù)集上進(jìn)行微調(diào)。

如圖1所示，在測試期間，概率分類器在未知標(biāo)簽的數(shù)據(jù)上進(jìn)行測試，這一階段也被稱為推理階段：在未知標(biāo)簽的輸入數(shù)據(jù)上進(jìn)行前向傳遞，然后進(jìn)行類別預(yù)測，概率最大的類別判定為最終的預(yù)測類別。與非概率分類器相比，深度神經(jīng)網(wǎng)絡(luò)的優(yōu)勢之一就是網(wǎng)絡(luò)是做出基于概率的決策，因此可以評測模型給出的某個預(yù)測結(jié)果的置信度。

圖1：時間序列分類問題的深度學(xué)習(xí)統(tǒng)一框架

4 生成式模型和判別式模型

時間序列分類中的深度學(xué)習(xí)模型可以分為生成式和判別式兩個類別，如圖2所示。

圖2：基于深度學(xué)習(xí)的時間序列分類方法分類

生成式模型認(rèn)為時間序列數(shù)據(jù)有其內(nèi)在的規(guī)律，首先通過無監(jiān)督學(xué)習(xí)的方式讓模型學(xué)習(xí)數(shù)據(jù)的潛在表示，可選擇的模型包括自回歸模型、馬爾可夫模型或核模型等。而后接一個分類器，如SVM或隨機森林，對輸入數(shù)據(jù)對類別進(jìn)行預(yù)測。生成式模型的關(guān)鍵在于是否能夠較好的學(xué)習(xí)得到時間序列數(shù)據(jù)的內(nèi)在規(guī)律，這種類型的網(wǎng)絡(luò)在TSC社區(qū)中被稱為基于模型的分類器。

判別式深度學(xué)習(xí)模型則本身就是一種分類器，它直接使用時間序列的原始數(shù)據(jù)或加工后的特征做為輸入，輸出為標(biāo)簽類別的概率分布。判別式模型通過對分類器結(jié)構(gòu)改進(jìn)和訓(xùn)練過程的優(yōu)化來提升分類效果。根據(jù)是否對原始時間序列進(jìn)行特征加工，判別式模型可以分為兩類：

（1）具有手工特征的深度學(xué)習(xí)模型；

（2）端到端深度學(xué)習(xí)模型。

端到端的深度學(xué)習(xí)模型旨在結(jié)合特征學(xué)習(xí)過程，同時微調(diào)判別分類器。這種類型的深度學(xué)習(xí)方法是領(lǐng)域無關(guān)的，并且不包括任何特定于領(lǐng)域的預(yù)處理步驟。

5 深度學(xué)習(xí)模型

我們選擇具有代表性的模型和最新的模型，介紹如下。

5.1 多層感知器（MLP）

MLP是DNN的最傳統(tǒng)形式，由Wang等中提出，作為TSC的基線架構(gòu)。該網(wǎng)絡(luò)總共包含4層，其中每一層都完全連接到其前一層的輸出。最后一層是softmax分類器，它完全連接到前一層的輸出，包含的神經(jīng)元數(shù)量等于數(shù)據(jù)集中的類數(shù)量。所有三個隱藏的FC層都由500個神經(jīng)元組成，以ReLU作為激活函數(shù)。第一層、第二層、第三層和第四層的速率分別為0.1、0.2、0.1和0.3。MLP沒有任何一層的參數(shù)數(shù)量在不同長度的時間序列中是不變的，這意味著網(wǎng)絡(luò)具有一定可轉(zhuǎn)移性，網(wǎng)絡(luò)的參數(shù)數(shù)量直接取決于輸入時間序列的長度。

5.2 全卷積神經(jīng)網(wǎng)絡(luò)（FCN）

Wang等首次提出了全卷積神經(jīng)網(wǎng)絡(luò)（FCN），用于對單變量時間序列進(jìn)行分類。該體系結(jié)構(gòu)的主要特征之一是用全局平均池（GAP）層代替?zhèn)鹘y(tǒng)的最終FC層，這一改變在減少參數(shù)數(shù)量的同時也獲得了更好的效果。該架構(gòu)首先由結(jié)構(gòu)相似的三個卷積塊組成，其中每個卷積塊均包含三個部分：卷積、批量歸一化，以及ReLU激活函數(shù)。第三卷積塊的結(jié)果在對應(yīng)于GAP層的整個時間維度上平均。最后，GAP層的結(jié)果傳給softmax層產(chǎn)生預(yù)測標(biāo)簽的類別概率輸出。所有卷積的步長均等于1，并以零做為填充，以保持卷積后時間序列的精確長度。第一次卷積包含128個濾波器，濾波器長度等于8，然后是256個濾波器的第二次卷積，濾波器長度為5，然后被饋送到第三個也是最后一個卷積層，該層由128個濾波器組成，每個濾波器的長度等于3。FCN既不包含任何池化，也不包含正則化操作。此外，F(xiàn)CNs的優(yōu)點之一是跨不同長度時間序列的4層的參數(shù)數(shù)量不變性。這種不變性允許使用轉(zhuǎn)移學(xué)習(xí)方法，可以在特定源數(shù)據(jù)集上訓(xùn)練模型，然后在目標(biāo)數(shù)據(jù)集上對其進(jìn)行微調(diào)。

5.3 殘差網(wǎng)絡(luò)（ResNet）

Wang等提出的第三個也是最后一個架構(gòu)是相對較深的殘差網(wǎng)絡(luò)（ResNet）。對于TSC，這是最深的體系結(jié)構(gòu)，有11層，其中前9層是卷積的，然后是間隙層，用于在時間維度上對時間序列進(jìn)行平均。RESNET的主要特征是連續(xù)卷積層之間的快捷剩余連接。實際上，與常規(guī)卷積（如FCN）的不同之處在于，添加了一條線性捷徑，將殘差塊的輸出與其輸入連接起來，從而使梯度直接通過這些連接流動，這通過減少消失梯度效應(yīng)，使DNN的訓(xùn)練更容易。該網(wǎng)絡(luò)由三個剩余塊組成，后接Gap層和最終的softmax分類器，其神經(jīng)元數(shù)量等于數(shù)據(jù)集中的類數(shù)。每個殘差塊首先由三個卷積組成，其輸出與殘差塊的輸入相加，然后饋送到下一層。所有卷積的濾波器數(shù)量固定為64，ReLU激活函數(shù)之前有一個批標(biāo)準(zhǔn)化操作。在每個殘差塊中，對于第一、第二和第三卷積，濾波器的長度分別設(shè)置為8、5和3。與FCN模型類似，ResNet體系結(jié)構(gòu)中的層在不同的數(shù)據(jù)集上具有不變數(shù)量的參數(shù)。這就是說，可以輕松地在源數(shù)據(jù)集上預(yù)訓(xùn)練模型，然后在目標(biāo)數(shù)據(jù)集上傳輸和微調(diào)模型，而無需修改網(wǎng)絡(luò)的隱藏層。

5.4 多尺度卷積神經(jīng)網(wǎng)絡(luò)（MCNN）

多尺度卷積神經(jīng)網(wǎng)絡(luò)（MCNN）最初由Cui等提出，是驗證UCR檔案上端到端深度學(xué)習(xí)架構(gòu)的最早方法。MCNN的架構(gòu)非常類似于傳統(tǒng)的CNN模型：兩個卷積，然后是FC層和最后的softmax層。另一方面，這種方法非常復(fù)雜，需要大量的數(shù)據(jù)預(yù)處理步驟。在任何訓(xùn)練之前，子序列將經(jīng)歷三種轉(zhuǎn)換：

（1）身份映射；

（2）下采樣和；

（3）平滑。

因此，將一元輸入時間序列轉(zhuǎn)換為多元輸入時間序列。對于第一變換，輸入子序列保持不變，原始子序列將用作獨立第一卷積的輸入。下采樣技術(shù)將導(dǎo)致具有不同長度的較短子序列，該子序列隨后將經(jīng)歷與第一卷積并行的另一個獨立卷積。至于平滑技術(shù)，結(jié)果是長度等于輸入原始子序列的平滑子序列，該子序列也將被饋送到與第一和第二卷積并行的獨立卷積。第一卷積級中每個卷積的輸出被級聯(lián)以形成后續(xù)卷積層的輸入。在第二層之后，使用sigmoid激活函數(shù)部署了一個FC層，其中包含256個神經(jīng)元。最后，使用通常的softmax分類器，神經(jīng)元數(shù)量等于數(shù)據(jù)集中的類數(shù)量。兩個體系結(jié)構(gòu)超參數(shù)交叉驗證，使用網(wǎng)格搜索來自訓(xùn)練集的一個看不見的分割：過濾器長度和確定最大池操作的池大小的池因子。該網(wǎng)絡(luò)中的總層數(shù)為4，其中只有前兩個卷積層是不變的。最后，由于WS方法也在測試時使用，輸入時間序列的類別由提取的子序列的預(yù)測標(biāo)簽上的多數(shù)投票決定。

5.5 多通道卷積（MCDCNN）

Yi等提出了多通道深度卷積神經(jīng)網(wǎng)絡(luò)（MCDCNN），并在兩個多變量時間序列數(shù)據(jù)集上進(jìn)行了驗證。所提出的架構(gòu)主要是傳統(tǒng)的深度CNN，對MTS數(shù)據(jù)進(jìn)行了一次修改：卷積并行應(yīng)用于輸入MTS的每個維度。輸入MTS每個維度將經(jīng)歷兩個卷積階段，具有8個長度為5的濾波器，ReLU作為激活函數(shù)。每個卷積之后是最大池化運算，長度為2。所有維度的第二個卷積級的輸出在通道軸上串聯(lián)，然后饋送到具有732個神經(jīng)元的FC層，以ReLU作為激活函數(shù)。最后，使用softmax分類器，神經(jīng)元數(shù)量等于數(shù)據(jù)集中的類數(shù)量。通過在softmax分類器之前使用FC層，該網(wǎng)絡(luò)的可傳輸性僅限于第一和第二卷積層。

5.6 時間扭曲不變回聲狀態(tài)網(wǎng)絡(luò)（TWIESN）

時間扭曲不變回聲狀態(tài)網(wǎng)絡(luò)采用非卷積遞歸架構(gòu)。回聲網(wǎng)絡(luò)最初是為時間序列預(yù)測而提出的，Tanisaro等將其修改后直接使用原始輸入時間序列并應(yīng)用于分類問題。事實上，對于輸入時間序列中的每個元素，存儲空間用于將該元素投影到更高維空間。因此，對于單變量時間序列，元素被投影到一個空間中，該空間的尺寸由儲層的大小推斷。然后，針對每個元素，訓(xùn)練嶺回歸分類器，以預(yù)測每個時間序列元素的類別。在測試時，對于輸入測試時間序列的每個元素，已訓(xùn)練的嶺回歸分類器將輸出數(shù)據(jù)集中類的概率分布。然后在所有時間序列元素上對每個類的后驗概率進(jìn)行平均，從而為每個輸入測試時間序列分配平均概率最大的標(biāo)簽。

5.7 基于LSTM的集成模型（Integration model based on LSTM）

同傳統(tǒng)機器學(xué)習(xí)類似，針對深度學(xué)習(xí)的網(wǎng)絡(luò)進(jìn)行集成也可以取得優(yōu)異的效果。Fazle 等人將長短期遞歸神經(jīng)網(wǎng)絡(luò)LSTM和FCN的輸出結(jié)果進(jìn)行拼接，提出了LSTM-FCN模型，在大多數(shù)UCR基準(zhǔn)數(shù)據(jù)集上取得了最佳結(jié)果。

在LSTM-FCN模型的基礎(chǔ)上，F(xiàn)azle等人進(jìn)一步提出了多變量MLSTM-FCN和多變量注意力MALSTM-FCCN模型，將各單變量模型轉(zhuǎn)換為了多變量變量模型。新結(jié)構(gòu)將擠壓和激發(fā)塊擴展到一維序列模型的情況，并擴展LSTM-FCN和ALSTM-FCN模型的全卷積塊以提高分類精度。由于數(shù)據(jù)集現(xiàn)在由多變量時間序列組成，可以將時間序列數(shù)據(jù)集定義為形狀張量（N，Q，M），其中N是數(shù)據(jù)集中的樣本數(shù)，Q是所有變量中的最大時間步數(shù)，M是每個時間步處理的變量數(shù)。因此，單變量時間序列數(shù)據(jù)集是上述定義的特例，其中M為1。新模型對LSTM-FCN和ALSTM-FCN模型的輸入進(jìn)行修改，以每個時間步接受M個輸入，而不是每個時間步接收單個輸入。與LSTM-FCN和ALSTM-FCN類似，拓展后的模型包括一個完全卷積塊和一個LSTM塊。全卷積塊包含三個時間卷積塊，用作特征提取器。卷積塊包含一個卷積層，具有多個濾波器（128、256和128），內(nèi)核大小分別為8、5和3。每個卷積層之后是批量歸一化，動量設(shè)置為0.99。批量歸一化層之后是ReLU激活函數(shù)。此外，前兩個卷積塊結(jié)束。通過擠壓和激勵塊，將多元時間序列模型模型與單變量時間序列模型LSTM-FCN和ALSTM-FCN區(qū)分開來。對于所有壓縮和激勵塊，將縮減比設(shè)置為16。最后的時間卷積塊后面是一個全局平均池層。

張可等提出將PCA和LSTM綜合應(yīng)用于多時間序列分類，利用PCA提取索引維度特征，利用LSTM遺忘門學(xué)習(xí)時間維度特征，從而建立了基于PCA-LSTM的多元時間序列分類算法。該方法在獲得了高精度的實驗結(jié)果的同時，還降低了計算復(fù)雜度。

5.8 時間序列自監(jiān)督變換器(STraTS)

時間序列自監(jiān)督變換器（STraTS）是針對醫(yī)療數(shù)據(jù)提出的。在重癥監(jiān)護環(huán)境中，很多人體觀測指標(biāo)都是以多變量時間序列的形式存在，這些數(shù)據(jù)往往帶有信息缺失和時間間隔不規(guī)則的問題，給使用帶來困難。傳統(tǒng)的應(yīng)對方法是聚類法或插值法，雖然會緩解問題，但會引入噪聲，干擾對細(xì)粒度有效信息的使用。STraTS從模型角度提出了解決稀疏和非規(guī)則間隔問題的思路。

與大多數(shù)以時間序列矩陣為輸入的現(xiàn)有方法不同，STraTS將其輸入定義為一組觀測三元組。使用初始三元組嵌入模塊嵌入輸入中的每個觀察三元組。然后，初始三元組嵌入通過上下文三元組嵌入式模塊，該模塊利用Transformer架構(gòu)對每個三元組的上下文進(jìn)行編碼。然后，融合自關(guān)注模塊通過自關(guān)注機制組合這些上下文嵌入，以生成輸入時間序列的嵌入，并通過前饋網(wǎng)絡(luò)進(jìn)行最終預(yù)測。它采用了一種新的連續(xù)值嵌入技術(shù)來編碼連續(xù)時間和可變值，而不需要離散化。它由具有多個頭部注意層的變壓器組件組成，使其能夠?qū)W習(xí)上下文三元組嵌入，同時避免遞歸架構(gòu)中出現(xiàn)的遞歸和消失梯度問題。此外，為了解決標(biāo)記數(shù)據(jù)可用性有限的問題，STraTS通過利用未標(biāo)記數(shù)據(jù)進(jìn)行自我監(jiān)控，通過使用時間序列預(yù)測作為輔助代理任務(wù)來學(xué)習(xí)更好的表示。在真實世界多變量臨床時間序列基準(zhǔn)數(shù)據(jù)集上的實驗表明，在標(biāo)記數(shù)據(jù)有限的情況下，STraTS在死亡率預(yù)測方面取得了最優(yōu)的預(yù)測性能。

5.9 基于Transformer的雙塔式模型（Gated Transformer Networks）

Liu等將Transformer模型引入時間序列分類，并構(gòu)建了雙塔結(jié)構(gòu)對時間特征和通道特征分別進(jìn)行編碼，該模型可以對模型學(xué)習(xí)的特征可視化，具有一定的可解釋性。多變量時間序列具有多個通道，其中每個通道是單變量時間序列。捕捉時間分步和空間通道信息是多變量時間序列研究的關(guān)鍵。與其他利用原始Transformer進(jìn)行時間序列分類和預(yù)測的工作不同，GTN設(shè)計了雙塔框架的簡單擴展，其中每個塔中的編碼器通過注意和掩蔽、分步編碼器顯式捕獲分步和信道相關(guān)。為了對時間特征進(jìn)行編碼，GTN通過計算所有時間步長中的成對注意力權(quán)重，使用帶掩碼的自注意力來關(guān)注穿過所有通道的每個點。在多頭自注意力中，縮放點積注意在所有時間步長上形成權(quán)重矩陣。同其他原始Transformer架構(gòu)一樣，位置方向全連接前饋層堆疊在每個多頭注意力層上，用于增強特征提取。圍繞兩個子層中的每一個子層的剩余連接也被保持以引導(dǎo)信息和梯度流，隨后是層歸一化。逐通道編碼器同時間特征編碼保持一致，也計算所有不同通道之間的注意力權(quán)重。在所有通道上進(jìn)行掩蔽的注意力層可以在所有時間步長上顯式捕捉通道之間的相關(guān)性。

6 結(jié)論

在本文中，我們描述了時間序列分類任務(wù)，解釋了DNN如何被分為兩大類：生成模型和區(qū)分模型，并介紹以MLP、CNN、RNN、Transformer為基礎(chǔ)的一系列深度學(xué)習(xí)方法。與計算機視覺和自然語言處理任務(wù)不同，時間序列分類的深度學(xué)習(xí)仍然缺乏對數(shù)據(jù)增強和轉(zhuǎn)移學(xué)習(xí)的深入研究。同時多數(shù)研究仍集中在單變量時間序列的研究，多變量時間序列研究仍相對較少。