馬健，劉 柱，石育榕，羅冰顯，鄭 鋒

（1.南方科技大學工學院，深圳 518055；2.中國科學院大學，北京 100049；3.中國科學院國家空間科學中心；4.中國科學院空間環(huán)境態(tài)勢感知技術(shù)重點實驗室：北京 100190）

0 引言

地球空間環(huán)境變化源于太陽活動，而太陽活動是指太陽大氣局部區(qū)域能量輻射增強形成的許多瞬間變化現(xiàn)象。太陽活動分為緩變型和爆發(fā)型，緩變型活動包括太陽黑子、普斑和光斑等；爆發(fā)型活動包括耀斑、日珥、暗條和日冕物質(zhì)拋射等。

太陽耀斑指太陽表面局部區(qū)域劇烈的能量釋放過程，是最強烈的太陽爆發(fā)活動之一。太陽耀斑對地球空間環(huán)境安全造成很大威脅：耀斑爆發(fā)會增強到達地球的紫外線輻射，引起地球大氣的溫度和密度升高，影響航天飛行器的飛行軌道；耀斑粒子經(jīng)過地球大氣層時，和大氣層的粒子碰撞，會破壞電離層結(jié)構(gòu)，導致無線電波在電離層中反射失效，從而使無線電通信受到干擾甚至中斷；耀斑爆發(fā)導致的地磁場強烈變化產(chǎn)生地磁感應(yīng)電流，在長距離輸電線路上產(chǎn)生直流感生電流，引發(fā)變壓器大量發(fā)熱造成變壓器損壞；此外，油氣管道等由于地磁場的變化也會產(chǎn)生感生電流，導致管道的流量表數(shù)據(jù)異常和侵蝕率增加。因此，太陽耀斑預(yù)報是太陽活動預(yù)測中十分重要的研究領(lǐng)域，一方面，太陽耀斑預(yù)報可以為人類活動提供預(yù)警信息，以便提前采取應(yīng)對措施；另一方面，太陽耀斑研究對理解太陽活動的內(nèi)在機理具有科學的指導意義。

太陽黑子群又稱為太陽活動區(qū)，出現(xiàn)在太陽光球?qū)?，與耀斑、日冕物質(zhì)拋射等太陽活動密切相關(guān)[1]。某些類型的太陽黑子群和太陽耀斑爆發(fā)有關(guān)[2-3]，因此可以通過對太陽黑子群的分類來進行太陽耀斑爆發(fā)的預(yù)測。早期的太陽黑子群分類采用人工圖像分類，但由于太陽黑子群數(shù)據(jù)內(nèi)的特征信息沒有被充分提取利用，造成誤檢和漏檢，所以分類的準確率不高。

太陽黑子群的常見分類標準有McIntosh 分類、Wilson 分類和Zurich 分類[4]。太陽黑子群的結(jié)構(gòu)越復雜，發(fā)生耀斑的概率越高。耀斑等級有A、B、C、M和X 級5種，其爆發(fā)能量依次增強。自1966年10月開始，美國空間天氣預(yù)報中心對獲得的太陽黑子群數(shù)據(jù)均采用McIntosh 分類規(guī)則，并逐漸被一些知名天文機構(gòu)和單位所采用。目前，國內(nèi)的太陽黑子群數(shù)據(jù)也使用這種分類系統(tǒng)，并已積累大量觀察數(shù)據(jù)。

目前的太陽耀斑預(yù)報模型主要采用統(tǒng)計學方法和機器學習方法建立[5-6]，通常分為兩步——提取太陽黑子群的物理參量和建立這些物理參量與太陽耀斑爆發(fā)間的聯(lián)系。在物理參量提取方面，McIntosh基于太陽黑子群磁場觀測數(shù)據(jù)，提出用于刻畫磁場偏離勢場程度和磁場復雜性的物理參量，如磁場梯度、中性線長度等。然而，目前對這些參量的預(yù)報能力非常有限，因此常采用一些統(tǒng)計和機器學習方法來建立這些參量與太陽耀斑爆發(fā)間的聯(lián)系，如泊松統(tǒng)計方法、回歸分析方法等，雖然有一定進展，但準確率和實時性都不高。

近年來，深度學習方法發(fā)展迅速，為許多領(lǐng)域提供了具有促進性的研究方法。其中卷積神經(jīng)網(wǎng)絡(luò)可以通過學習自動提取圖像中的相關(guān)特征，特別是提取出抽象的高層語義信息，直接利用圖像和相對應(yīng)的類別標簽建立預(yù)報模型，而不需要設(shè)計復雜的算法來提取特定的物理參量，降低了模型設(shè)計的難度，準確率也可得到大幅提升。

本文以太陽黑子群磁圖和磁特征參量為輸入，利用卷積神經(jīng)網(wǎng)絡(luò)和全連接神經(jīng)網(wǎng)絡(luò)，訓練出黑子群磁圖分類模型和磁特征參量分類模型，并對這2種分類模型的分類結(jié)果進行融合。

1 建模

模型輸入包含2種類型數(shù)據(jù)——太陽黑子群磁圖和磁特征參量。對于太陽黑子群磁圖數(shù)據(jù)，采用由2種卷積神經(jīng)網(wǎng)絡(luò)組成的圖片分類模型進行特征提取和分類；對于磁特征參量，采用由2層全連接神經(jīng)網(wǎng)絡(luò)組成的磁特征參量分類模型進行數(shù)據(jù)分類。在得到這2種數(shù)據(jù)的分類結(jié)果之后，針對太陽耀斑爆發(fā)事件的連續(xù)性和這2種分類模型各自的優(yōu)點，融合分類結(jié)果，以進一步提高太陽耀斑預(yù)報的準確率。

1.1 多模態(tài)太陽耀斑預(yù)報模型整體架構(gòu)

多模態(tài)太陽耀斑預(yù)報模型主要由2個模塊構(gòu)成——黑子群磁圖分類模型和磁特征參量分類模型，如圖1所示。黑子群磁圖分類模型將太陽黑子群磁圖作為輸入，經(jīng)過模型推理后輸出磁圖的類別標簽；磁特征參量分類模型以10種磁特征參量作為輸入，輸出類別標簽。

圖1 多模態(tài)太陽耀斑預(yù)報模型結(jié)構(gòu)Fig.1 Structure of multi-modal solar flareforecasting model

黑子群磁圖分類模型由ResNet34[7]（deep residual network,深度殘差網(wǎng)絡(luò)）和Inception V4[8]兩種卷積神經(jīng)網(wǎng)絡(luò)構(gòu)成，提取出高區(qū)分度圖像特征進行分類。但是太陽黑子群外觀、形狀、粒子分布迥異，不同區(qū)域的黑子群磁圖分布差異巨大，即使在同一個區(qū)域內(nèi)，黑子群的外在表觀也會隨時間的推移產(chǎn)生顯著的變化；此外，黑子群由于內(nèi)部磁場、外部環(huán)境的不同，擁有各自不同的特性，不同區(qū)域的黑子群衍變發(fā)生太陽耀斑事件的速度、條件等也有巨大差異。因此，僅僅通過黑子群磁圖分類模型得到的分類結(jié)果精度有限。

磁特征參量分類模型輸入的是人工提取的特征參量，其特征魯棒性相對更高，故可以對最終分類結(jié)果起到一定的指示作用。

在模型融合階段，分別利用這2種分類模型的優(yōu)點，對它們的分類結(jié)果進行融合和后處理。即在太陽黑子群磁圖分類模型預(yù)測的分類結(jié)果中保留那些由磁特征參量分類模型預(yù)測為發(fā)生太陽耀斑事件的觀測對象，再根據(jù)太陽黑子群衍變過程具有連續(xù)性的特點對模型融合后的結(jié)果進行后處理校正。

1.2 黑子群磁圖分類模型

目前，太陽耀斑爆發(fā)的物理機理并不完全清晰，無法建立精確的物理模型來對未來是否發(fā)生太陽耀斑事件進行精確判斷，因此太陽耀斑預(yù)報本質(zhì)上還是以太陽黑子群特征為基礎(chǔ)的概率預(yù)測。一般而言，機器學習方法可以較好地找出物理參量與太陽耀斑爆發(fā)間的關(guān)系，但是傳統(tǒng)機器學習方法的瓶頸在于黑子群特征提取，而太陽物理學家人工提取黑子群物理參量的能力有限，因此本文采用經(jīng)訓練的卷積神經(jīng)網(wǎng)絡(luò)自動提取圖像特征，建立預(yù)報模型。

計算機視覺領(lǐng)域研究人員設(shè)計出多種結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，常用的有LeNet[9]、AlexNet[10]、VGGNet[11]、GoogLeNet[12]、ResNet、DenseNet[13]等，還有為了減少模型參數(shù)量而設(shè)計的SqueezeNet[14]、MobileNet V1[15]、MobileNet V2[16]、ShuffleNet[17]等，使卷積神經(jīng)網(wǎng)絡(luò)模型的性能持續(xù)提高，而模型需要的參數(shù)量和計算量大規(guī)模減少。

不同區(qū)域太陽黑子群磁圖的外在特征變化巨大，從磁圖中提取出的低級和中級特征無法擁有良好的分類性能，因此太陽黑子群磁圖分類模型需要提取出足夠多的高層語義信息，且這些語義信息要具有強魯棒性。本文采用比較流行的2種卷積網(wǎng)絡(luò)結(jié)構(gòu)——ResNet34和Inception V4作為太陽黑子群磁圖分類模型的骨干網(wǎng)絡(luò)。

ResNet 可以解決深度卷積神經(jīng)網(wǎng)絡(luò)難以訓練的問題，其根據(jù)卷積層數(shù)的不同分為ResNet34、ResNet50和ResNet152等結(jié)構(gòu)。在本文的數(shù)據(jù)集中，由于訓練集和測試集的分布差異，采用較大的模型會使卷積神經(jīng)網(wǎng)絡(luò)在訓練集中產(chǎn)生過擬合現(xiàn)象，即在訓練集中性能非常好，然而在測試集中性能產(chǎn)生斷崖式下跌。因此，本文選取參數(shù)量和卷積層數(shù)適中的結(jié)構(gòu)——ResNet34，既可防止過擬合現(xiàn)象的發(fā)生，又可提取魯棒的高層語義信息，以平衡訓練集和測試集間的分布差異。

在黑子群磁圖中，由于不同觀測點的黑子群發(fā)生的條件和狀態(tài)等不同，所以不同區(qū)域的黑子群尺寸會有劇烈的變化；而ResNet 基本只采用1種尺寸的卷積核，因此感受野比較單一，提取的特征多樣性較差，不能提取出足夠多形態(tài)的黑子群特征。為此，本文在黑子群磁圖分類模型中同時采用了Inception V4網(wǎng)絡(luò)。Inception 結(jié)構(gòu)的主要特點是：采用多種尺寸的卷積核，擁有多種感受野，可提取不同尺度物體的特征，并對特征拼接進行不同尺度特征的融合；可以更方便地實現(xiàn)特征對齊。

在本文多模態(tài)太陽耀斑預(yù)報模型中，ResNet34和Inception V4組合為太陽黑子群磁圖分類模型，在分別得到2種卷積網(wǎng)絡(luò)的分類結(jié)果后，將結(jié)果進行第一步融合。這一步融合過程采用比較激進的策略，即這2種卷積網(wǎng)絡(luò)中只要任何1個網(wǎng)絡(luò)的分類結(jié)果為發(fā)生太陽耀斑事件，融合輸出結(jié)果即判定為發(fā)生太陽耀斑，如圖2所示。

圖2 太陽黑子群磁圖分類模型的融合策略示意Fig.2 Fusion strategy of magnetogram classification network of sunspot group

1.3 磁特征參量分類模型

磁特征參量數(shù)據(jù)是由太陽物理學家在太陽黑子群磁圖中人工提取出的物理參量，這些參量特征魯棒性強，本文設(shè)計了一個2層全連接神經(jīng)網(wǎng)絡(luò)進行訓練。

磁特征參量分類網(wǎng)絡(luò)包括輸入層、隱藏層和輸出層，同時在神經(jīng)網(wǎng)絡(luò)層間采用常用的ReLU 激活函數(shù)增加網(wǎng)絡(luò)的非線性，將神經(jīng)元的輸出限制在一定范圍內(nèi)。

如1.2節(jié)所述，由于數(shù)據(jù)集中訓練集和測試集分布差異巨大，如果采用較深或者較寬的網(wǎng)絡(luò)結(jié)構(gòu)會出現(xiàn)過擬合現(xiàn)象，所以磁特征參量分類網(wǎng)絡(luò)的神經(jīng)元節(jié)點數(shù)較少。磁特征參量共有10種物理參量，故輸入層節(jié)點數(shù)為10，每個節(jié)點接收1 個參量作為輸入；隱藏層的節(jié)點數(shù)僅為200；輸出層節(jié)點數(shù)為2，代表著太陽耀斑是/否發(fā)生的2種類別，類別標簽分別為“1”—是、“0”—否。

1.4 模型融合

由太陽黑子群磁圖和磁特征參量2種數(shù)據(jù)對應(yīng)訓練出來的模型特點不同，主要表現(xiàn)為：太陽黑子群磁圖分類模型的召回率較高，但是精確率低，且預(yù)測出的觀測對象很分散，即該模型預(yù)測為發(fā)生太陽耀斑的圖片數(shù)多，但是其分類正確率較低；而磁特征參量分類模型的精確率較高，召回率較低，且預(yù)測出的觀測對象比較集中，即該模型預(yù)測為發(fā)生太陽耀斑的圖片數(shù)目較少，但是其分類正確率較高。簡單來說就是，太陽黑子群磁圖分類模型的泛化性能較好，但是特征區(qū)分度相對較差，而磁特征參量分類模型區(qū)分度較好，但是泛化性較弱。

因此綜合利用這2種模型的優(yōu)點，在分別得到太陽黑子群磁圖分類模型和磁特征參量分類模型的分類結(jié)果后，對這2種結(jié)果進行融合，具體步驟如圖3所示，包括：

1）在磁特征參量分類模型的結(jié)果中，不對單張圖片的分類結(jié)果進行處理，只提取分類為發(fā)生太陽耀斑且圖片數(shù)量超過5張的觀測對象，并將這些觀測對象預(yù)測為最終發(fā)生太陽耀斑的太陽黑子群。

2）在太陽黑子群磁圖分類模型的結(jié)果中，如果分類為發(fā)生太陽耀斑事件的觀測對象不在第1）步得到的太陽黑子群當中，則其最終分類結(jié)果為未發(fā)生太陽耀斑事件。

圖3 模型融合示意Fig.3 Schematic diagram of model fusion

1.5 后處理

太陽耀斑事件一般是連續(xù)的多張圖片，經(jīng)過統(tǒng)計，發(fā)生了太陽耀斑事件的觀測對象的圖片數(shù)量絕大多數(shù)都會超過5，其中少于和多于5張圖片的觀測對象的數(shù)量比約為1∶17.5。因此，本文在最終結(jié)果中會剔除“孤島”事件——預(yù)測出發(fā)生太陽耀斑而其圖片數(shù)少于5的觀測對象，將其分類為不發(fā)生太陽耀斑。同時，利用太陽耀斑事件的連續(xù)性剔除另一種“孤島”事件，將預(yù)測出發(fā)生太陽耀斑事件的觀測對象但中間結(jié)果有間斷的事件予以校正，例如，在連續(xù)多張圖片的預(yù)測為發(fā)生太陽耀斑事件的結(jié)果中，若中間有圖片預(yù)測為未發(fā)生太陽耀斑事件，則將該圖片預(yù)測類別校正為發(fā)生太陽耀斑事件，即將其類別標簽由“0”校正為“1”，如圖4所示。

圖4 “孤島”事件處理策略示意Fig.4 The strategy of handling the “isolated island” event

2 數(shù)據(jù)

目前，太陽黑子群數(shù)據(jù)主要有SDO/HMI 數(shù)據(jù)和SOHO/MDI數(shù)據(jù)。自1996年來，這2 種數(shù)據(jù)提供了持續(xù)、高質(zhì)量的太陽黑子數(shù)據(jù)。其中，SOHO/MDI的數(shù)據(jù)起止時間為1996年1月1日—2011 年4 月12日；SDO/HMI是SOHO/MDI的繼任者，自2010年4月30日開始日常觀測至今。SOHO/MDI數(shù)據(jù)可以在Joint Science Operations Center(JSOC)網(wǎng)站上獲取[18]，其采樣頻率為96 min-1；SDO/HMI數(shù)據(jù)自2010年5月1日開始收集后，已積累10余年的數(shù)據(jù)，其采樣頻率為12 min-1。一個黑子群的磁圖展示該區(qū)域的磁通分布。

本文最終采用圖像數(shù)據(jù)質(zhì)量較高的SDO/HMI數(shù)據(jù)，同時為了減少數(shù)據(jù)量，將其采樣頻率降到96 min-1，采取了2010年—2019年約10年的數(shù)據(jù)；并將2010年—2015年的數(shù)據(jù)劃分為訓練集，2016年—2019年的數(shù)據(jù)劃分為測試集。以未來48 h 是/否發(fā)生太陽耀斑事件作為類別標簽。

該數(shù)據(jù)存在以下特點：

1）數(shù)據(jù)分布不平衡。由于太陽耀斑事件的自然特性，發(fā)生太陽耀斑的樣本量遠遠小于未發(fā)生太陽耀斑的樣本量，在訓練集中，這2種類型的數(shù)據(jù)樣本數(shù)分別為2837和56 869。

2）訓練集和測試集的樣本分布存在很大偏差，如圖5所示，同一類別中不同觀測對象的黑子群磁圖尺寸、外觀、不同磁極的分布等差異巨大，當模型參數(shù)量較大時，極易出現(xiàn)過擬合現(xiàn)象。

圖5 訓練集和測試集的樣本分布差異示意Fig.5 Differences of sample distributions between training set and test set

3）由于太陽黑子群的活動是連續(xù)的演化過程，所以同一個觀測對象的數(shù)據(jù)存在著時序連續(xù)性。

3 模型評價指標

由于太陽黑子群數(shù)據(jù)的不平衡性，僅通過單一的評價指標難以評價模型的優(yōu)劣。本文同時采用F1 score、召回率（Recall）、虛報率（FAR）和正確率（PC）這4種指標綜合判斷模型性能，各評價指標的優(yōu)先級順序為：F1 score＞Recall＞FAR＞PC。各指標的計算式如下：

式中H、M、F、CN的含義參見表1。

表1 混淆矩陣Table 1 Confusion matrix

4 實驗驗證

圖像分類模型的數(shù)據(jù)增強策略包括：1）調(diào)整輸入圖片尺寸，將ResNet34的圖片尺寸調(diào)整為(128,128)，Inception V4的圖片尺寸調(diào)整為(512,512)；2）水平翻轉(zhuǎn)輸入圖像；3）豎直翻轉(zhuǎn)輸入圖像。每批量數(shù)據(jù)大小設(shè)置為64，優(yōu)化器采用隨機梯度下降，損失函數(shù)為交叉熵損失函數(shù)，初始學習率為0.01，并且在第20、30個回合時將學習率分別調(diào)低為原來的0.1倍，共訓練40個回合。

對于磁特征參量分類模型，由于樣本的不平衡，在訓練模型的過程中，先利用SMOTE[19]方法對少數(shù)類進行過采樣（TOTUSJH 和AREA_ACR 參數(shù)的SMOTE過采樣如圖6所示），以平衡數(shù)據(jù)集類別；然后將SMOTE 后的數(shù)據(jù)按特征進行歸一化后輸入磁特征參量分類模型中進行訓練。每批量數(shù)據(jù)大小設(shè)置為10，優(yōu)化器采用隨機梯度下降，損失函數(shù)為交叉熵損失函數(shù)，共訓練100個回合。

圖6 TOTUSJH 和AREA_ACR 參數(shù)的SMOTE 過采樣示意Fig.6 SMOTE oversampling diagram of TOTUSJH andAREA_ACR parameters

本文同時采用傳統(tǒng)的Sigmoid 對圖片進行分類，并對比多個模型的分類結(jié)果，見表2。表中指標箭頭向上代表該指標值越大越好，反之代表該指標值越小越好，并以紅色粗體突出顯示了各評價指標中的最優(yōu)值。

表2 多個模型的分類結(jié)果對比Table 2 Comparison of results obtained with various models

從表2中可得：

Sigmoid 函數(shù)對磁特征參量的分類能力較強，但是只能利用1種數(shù)據(jù)，不能充分有效地利用太陽黑子群磁圖信息，提升空間有限；ResNet34模型召回率較低，虛報率較高，太陽耀斑的分類準確率較低，性能較差；Inception V4模型雖然召回率較高，但虛報率也很高，相應(yīng)的，其F1 score 結(jié)果也很低；磁特征參量分類模型召回率最低，但是其虛報率也最低，綜合性能在5種模型中最差。

ResNet34 和Inception V4這2種卷積神經(jīng)網(wǎng)絡(luò)提取出的高層語義信息對模型分類結(jié)果貢獻巨大，相應(yīng)模型的性能均超過僅利用磁特征參量的分類模型。

多模態(tài)太陽耀斑預(yù)報模型綜合利用了太陽黑子群磁圖和磁特征參量信息，對不同類型數(shù)據(jù)建模，既利用全連接神經(jīng)網(wǎng)絡(luò)對數(shù)據(jù)信息的建模能力，又利用卷積神經(jīng)網(wǎng)絡(luò)對圖片數(shù)據(jù)的強大特征表達能力，尤其是在提取高層語義特征方面。因此從實驗結(jié)果看，多模態(tài)太陽耀斑預(yù)報模型的F1 score結(jié)果比其他模型至少提高了7.8%。

需要說明的是，本文采用未來48 h 是/否發(fā)生太陽耀斑事件的數(shù)據(jù)，在應(yīng)用于24 h、72 h 等數(shù)據(jù)上時，需要對模型參數(shù)設(shè)置進行調(diào)整；并且由于數(shù)據(jù)量有限，在應(yīng)用較大深度學習模型時易出現(xiàn)過擬合現(xiàn)象。

5 結(jié)束語

本文基于深度學習方法，建立了一個多模態(tài)太陽耀斑預(yù)報模型。與傳統(tǒng)的機器學習相比，該模型不僅利用從太陽黑子群磁場中提取的物理參量，而且直接利用太陽黑子群磁圖自動提取太陽黑子群的特征，使模型的預(yù)報性能獲得了有效提升。本工作驗證了深度學習在太陽耀斑預(yù)報中的有效性，間接說明了高層語義信息在太陽黑子群磁圖分類中的重要作用，也證明了傳統(tǒng)人工提取的物理參量同樣具有一定的分辨能力。同時，由于本文中采用的實驗數(shù)據(jù)限制，若應(yīng)用到更廣泛的場景中，需要對模型的一些設(shè)置進行適當?shù)恼{(diào)整。在未來的工作中，可以使用多種太陽黑子群磁圖信息，比如24 h、72 h 的數(shù)據(jù)，并且利用深度學習的特征表達，提取太陽黑子群特征并建立模型，同時針對該數(shù)據(jù)的特點設(shè)計專門的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，來進一步提高太陽耀斑預(yù)報的準確率。