基于改進(jìn)Faster RCNN的臺風(fēng)云系識別

薛超培，唐春暉

（上海理工大學(xué)光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093）

0 引言

我國臺風(fēng)災(zāi)害有次數(shù)多、季節(jié)性強(qiáng)、受災(zāi)程度重、影響范圍廣等特征［1］，準(zhǔn)確的監(jiān)測預(yù)警可降低臺風(fēng)造成的災(zāi)害。

為了更好地對臺風(fēng)進(jìn)行監(jiān)測，必須對臺風(fēng)中心進(jìn)行定位，而臺風(fēng)云系識別是臺風(fēng)中心定位的基礎(chǔ)。近年來臺風(fēng)云系識別方法包括傳統(tǒng)圖像處理方法［2-3］和基于深度學(xué)習(xí)的目標(biāo)檢測方法［4］。

傳統(tǒng)圖像處理方法進(jìn)行臺風(fēng)云系識別首先需要設(shè)置閾值對云系進(jìn)行分割，再通過紋理特征等進(jìn)行臺風(fēng)云系識別，由于閾值選擇困難，自動(dòng)化能力較弱，導(dǎo)致識別精度不高。

由于計(jì)算機(jī)硬件水平的提高，基于深度學(xué)習(xí)的目標(biāo)檢測算法成為研究熱點(diǎn)。深度學(xué)習(xí)方法以卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）為基礎(chǔ)，相較于傳統(tǒng)算法可以學(xué)習(xí)并提取圖像中的深層特征，不需要人為干預(yù)，具有更強(qiáng)的泛化能力與自動(dòng)化能力?；谏疃葘W(xué)習(xí)的目標(biāo)檢測算法通常按是否生成候選區(qū)域分為一階法（One stage）和二階法（Two stage）兩種。一階法的代表網(wǎng)絡(luò)為SSD（Single Shot MultiBox Detector）［8］和YOLO（You Only Look Once）［9］及其優(yōu)化算法YOLOv2［10］、YOLOv3［11］等。二階法的代表網(wǎng)絡(luò)為區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Region Convolutional Neural Network，RCNN）［5］及其優(yōu)化算法快速區(qū)域卷積神經(jīng) 網(wǎng) 絡(luò)（Fast Region Convolutional Neural Network，F(xiàn)ast RCNN）［6］和更快的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Faster Region Convolutional Neural Network，F(xiàn)aster RCNN）［7］。一階法的優(yōu)勢在于檢測速度快，但檢測精度略低，二階法的優(yōu)勢在于檢測精度高，但檢測速度較慢。

由于臺風(fēng)各個(gè)階段尺寸與紋理結(jié)構(gòu)差異較大，存在識別難度大、準(zhǔn)確率低的問題，同時(shí)鑒于傳統(tǒng)的圖像處理算法的魯棒性、準(zhǔn)確性等問題，本文選擇Faster RCNN 作為臺風(fēng)云系識別基礎(chǔ)框架。但直接采用原始的Faster RCNN 進(jìn)行臺風(fēng)云系識別可能存在錨框尺寸與比例選取不合理而導(dǎo)致的模型退化、感興趣區(qū)域池化層的兩次量化導(dǎo)致候選框信息丟失，以及訓(xùn)練過程中候選區(qū)域的正負(fù)樣本的失衡而導(dǎo)致模型準(zhǔn)確率較低。

針對原始的Faster RCNN 在臺風(fēng)云系識別中存在的問題，本文提出改進(jìn)的Faster RCNN。首先分析ResNet-50［12］、ResNet-101［12］及其改進(jìn)版本Res2Net101［13］這3 種特征提取網(wǎng)絡(luò)，選擇合適的特征提取網(wǎng)絡(luò)，再通過改進(jìn)錨框生成的尺寸和比例，優(yōu)化區(qū)域建議網(wǎng)絡(luò)、利用感興趣區(qū)域?qū)R算法（ROI Align）［14］替代之前的感興趣區(qū)域池化（ROI Pooling）算法，降低由于量化導(dǎo)致的信息丟失問題。在訓(xùn)練過程中引入在線困難樣本挖掘（Online Hard Example Mining，OHEM）［15］機(jī)制，解決訓(xùn)練過程中樣本不平衡問題，優(yōu)化目標(biāo)模型以提高臺風(fēng)云系識別的準(zhǔn)確率。

1 臺風(fēng)云系識別方法

1.1 Faster RCNN 算法

本文基于Faster RCNN 模型對衛(wèi)星云圖進(jìn)行臺風(fēng)云系識別，識別模型如圖1 所示。

Fig.1 Typhoon cloud system recognition model based on Faster RCNN圖1 基于Faster RCNN 的臺風(fēng)云系識別模型

對于一張輸入圖像，模型首先通過卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征并生成特征圖。區(qū)域建議網(wǎng)絡(luò)（Region Proposal Network，RPN）提取卷積神經(jīng)網(wǎng)絡(luò)最后一層特征圖，使用卷積核遍歷特征圖，將特征圖中各個(gè)像素點(diǎn)映射原圖并設(shè)置k 個(gè)錨（anchor）框生成多個(gè)候選框；再使用Softmax 函數(shù)判斷各個(gè)候選區(qū)域?yàn)榍熬盎蛘弑尘暗母怕?，利用SmoothL1 函數(shù)對候選框的位置進(jìn)行調(diào)整，使得候選框與真實(shí)框更接近從而生成候選區(qū)域。感興趣區(qū)域池化層接收卷積神經(jīng)網(wǎng)絡(luò)生成的特征圖和區(qū)域建議網(wǎng)絡(luò)生成的候選區(qū)域，將區(qū)域建議網(wǎng)絡(luò)根據(jù)原圖生成的不同尺寸候選區(qū)域映射到特征圖對應(yīng)位置，再通過極大值池化生成固定大小的候選區(qū)域特征圖，然后再次利用Softmax 函數(shù)計(jì)算候選區(qū)域類別，同時(shí)利用SmoothL1 函數(shù)得到邊框的準(zhǔn)確位置。Softmax 函數(shù)定義如下：

其中，ai表示第i節(jié)點(diǎn)的輸出值，N為輸出節(jié)點(diǎn)的個(gè)數(shù)。

SmoothL1 函數(shù)定義如下：

式中，x表示真實(shí)框和候選框的坐標(biāo)差值。

1.2 改進(jìn)的Faster RCNN 臺風(fēng)云系識別

為使Faster RCNN 模型能更好地應(yīng)用于臺風(fēng)云系識別，選擇合適的特征提取網(wǎng)絡(luò)有助于模型收斂。殘差網(wǎng)絡(luò)不僅能加速超深神經(jīng)網(wǎng)絡(luò)訓(xùn)練，而且可以大幅提升深度網(wǎng)絡(luò)準(zhǔn)確率，在很大程度上避免了隨著網(wǎng)絡(luò)層數(shù)的增加而產(chǎn)生的梯度消失或梯度爆炸問題［16］。鑒于殘差網(wǎng)絡(luò)優(yōu)點(diǎn)，本文采用殘差網(wǎng)絡(luò)作為特征提取網(wǎng)絡(luò)。首先分析ResNet-50、ResNet-101 和Res2Net101 這3 種殘差網(wǎng)絡(luò)在臺風(fēng)云系識別任務(wù)中的性能，在原始Faster RCNN 基礎(chǔ)上優(yōu)化區(qū)域建議網(wǎng)絡(luò)、改進(jìn)感興趣區(qū)域池化網(wǎng)絡(luò)以及在訓(xùn)練過程中采用在線困難樣本挖掘策略來提高模型性能。

1.2.1 區(qū)域建議網(wǎng)絡(luò)優(yōu)化

RPN 中的錨框數(shù)量與比例是網(wǎng)絡(luò)很重要的參數(shù)，該參數(shù)直接影響后續(xù)的候選區(qū)域生成。原始的Faster RCNN 在每個(gè)滑動(dòng)窗口生成3 個(gè)不同尺寸（128×128，256×256，512×512）和3 個(gè)不同寬高比（1∶2，1∶1，2∶1）共計(jì)9 個(gè)候選區(qū)域，最后使用非極大值抑制算法剔除多余的候選區(qū)域。本文數(shù)據(jù)集中，臺風(fēng)各個(gè)時(shí)期的直徑不會(huì)超過200，具有類圓形形狀特點(diǎn)，原始模型的錨框參數(shù)并不契合臺風(fēng)云系識別任務(wù)。因此，將原始參數(shù)中尺寸大小為512×512 的錨框刪除，并將原始參數(shù)中的長寬比1∶2 和2∶1 的參數(shù)刪除，最終形成2 個(gè)錨點(diǎn)，尺度大小分別為（128×128，256×256），長寬比為1∶1。實(shí)驗(yàn)證明，本文設(shè)置的錨框參數(shù)可以更好地契合臺風(fēng)目標(biāo)尺寸，提高模型性能。

1.2.2 改進(jìn)感興趣區(qū)域池化網(wǎng)絡(luò)

RPN 生成的候選區(qū)域是根據(jù)原圖生成的，ROI Pooling層需要接收RPN 網(wǎng)絡(luò)生成的不同尺寸候選區(qū)域并映射到特征圖中，進(jìn)而生成固定大小的特征圖用于后續(xù)的分類和回歸。在原始的Faster RCNN 中，ROI Pooling 在將候選區(qū)域映射特征圖過程中進(jìn)行了一次量化操作，在將特征圖中的候選區(qū)域部分生成固定大小的特征圖時(shí)又進(jìn)行了一次量化，兩次量化操作將導(dǎo)致候選區(qū)域產(chǎn)生一定的誤差，進(jìn)而影響后續(xù)的分類與回歸。本文采用ROI Align 算法替代原ROI Pooling 算法，ROI Align 在候選區(qū)域映射特征圖及生成固定大小的特征圖過程中均保留浮點(diǎn)數(shù)，最后通過雙線性插值方法求得最終固定大小特征圖中的像素值。實(shí)驗(yàn)證明，采用ROI Align 能較大地提升模型性能。

1.2.3 在線困難樣本挖掘機(jī)制

在Faster RCNN 模型訓(xùn)練過程中，RPN 網(wǎng)絡(luò)生成多個(gè)候選區(qū)域。由于臺風(fēng)在圖像中通常僅有一個(gè)目標(biāo)，并且目標(biāo)在圖像中所占比例不大，導(dǎo)致生成的候選區(qū)域大多數(shù)為負(fù)樣本，正負(fù)樣本存在嚴(yán)重的不平衡現(xiàn)象。因此，在原始的Faster RCNN 訓(xùn)練過程中，RPN 網(wǎng)絡(luò)生成大約2 000 個(gè)候選區(qū)域，其中大多數(shù)為負(fù)樣本，ROI Pooling 層隨機(jī)抽取其中的128 個(gè)候選區(qū)域進(jìn)行分類與回歸訓(xùn)練，通常設(shè)置正負(fù)樣本比例為1∶3，這樣可以在一定程度上平衡正負(fù)樣本失衡現(xiàn)象。但由于隨機(jī)挑選樣本存在一定的隨機(jī)性，抽取的樣本中存在很多無用樣本，導(dǎo)致模型容易產(chǎn)生漏檢和誤檢。

為解決正負(fù)樣本的不平衡現(xiàn)象，加強(qiáng)對損失較大的困難樣本的訓(xùn)練，提高模型性能，本文將OHEM 引入Faster RCNN 網(wǎng)絡(luò)訓(xùn)練過程中，在不需要人為設(shè)置正負(fù)樣本的前提下對困難樣本進(jìn)行挑選和訓(xùn)練，提高模型性能。引入OHEM 的Faster RCNN 模型如圖2 所示。

Fig.2 RCNN network model after introducing online hard example mining圖2 引入OHEM 的Faster RCNN 網(wǎng)絡(luò)模型

將Faster RCNN 中感興趣池化層和后續(xù)的分類網(wǎng)絡(luò)稱為感興趣區(qū)域網(wǎng)絡(luò)，將OHEM 機(jī)制應(yīng)用于Faster RCNN 感興趣區(qū)域網(wǎng)絡(luò)中，做法為擴(kuò)展一個(gè)感興趣區(qū)域網(wǎng)絡(luò)。擴(kuò)展后的感興趣區(qū)域網(wǎng)絡(luò)與原始的感興趣區(qū)域網(wǎng)絡(luò)共享參數(shù)，它提取RPN 網(wǎng)絡(luò)生成的所有候選區(qū)域，只進(jìn)行前向傳播計(jì)算邊框回歸和分類損失，最后按損失大小排序挑選出困難樣本（本文設(shè)置的困難樣本個(gè)數(shù)為128 個(gè)）。原始的感興趣區(qū)域網(wǎng)絡(luò)接收擴(kuò)展的感興趣區(qū)域網(wǎng)絡(luò)挑選出的困難樣本，進(jìn)行前向和反向傳播進(jìn)而優(yōu)化分類網(wǎng)絡(luò)參數(shù)。OHEM 機(jī)制在不需要人為設(shè)定正負(fù)樣本比例的前提下解決了正負(fù)樣本不平衡問題，并針對較難學(xué)習(xí)的困難樣本進(jìn)行學(xué)習(xí)，進(jìn)一步提高了模型性能。實(shí)驗(yàn)發(fā)現(xiàn)該機(jī)制增強(qiáng)了模型的判別能力，提高了模型精度。

2 實(shí)驗(yàn)分析

2.1 實(shí)驗(yàn)數(shù)據(jù)集

本文選用FY-4A 星多通道掃描成像輻射計(jì)（AGRI）的中國區(qū)域L1 級數(shù)據(jù)，數(shù)據(jù)格式為HDF，數(shù)據(jù)來源于國家衛(wèi)星氣象中心。此數(shù)據(jù)含有14 個(gè)通道數(shù)據(jù)，波長為0.47～13.5μm，分辨率為0.5～4.0km。

通道12 位于大氣窗區(qū)，波長為10.8μm，分辨率為4km，可以全天觀測地球表面和云頂溫度［17］。本文根據(jù)各通道特點(diǎn)選擇使用云層豐富的長波紅外12 通道數(shù)據(jù)。HDF 文件主要包含NOMChannel 圖像數(shù)據(jù)層、CALChannel 定標(biāo)表和其他參數(shù)指標(biāo)。為生存合適的圖像數(shù)據(jù)，本文首先將文件中的定標(biāo)表映射圖像數(shù)據(jù)層，再根據(jù)國家氣象衛(wèi)星中心提供的數(shù)據(jù)行列號和經(jīng)緯度的互相轉(zhuǎn)換方法計(jì)算出數(shù)據(jù)中各像素點(diǎn)的經(jīng)緯度。行列號轉(zhuǎn)換為經(jīng)緯度的換算方法如式（3）～（12）所示。

（1）求x，y。

式中，c，l分別為NOMChannel 圖像數(shù)據(jù)上的列號與行號，COFF、LOFF分別代表列偏移和行偏移，CFAC、LFAC為列比例因子和行比例因子。

（2）求Sd，Sn，S1，S2，S3，Sxy。

式中，h表示地心到衛(wèi)星質(zhì)心的距離，ea表示地球的半長軸，eb表示地球的短半軸。

（3）求lon，lat。

式中，lon，lat分別代表經(jīng)度與緯度，λD為衛(wèi)星星下點(diǎn)所在經(jīng)度。

最后根據(jù)大多數(shù)臺風(fēng)的路徑截取西太平洋海域（東經(jīng)95°至東經(jīng)135°，北緯10°至北緯50°）圖像作為本文實(shí)驗(yàn)數(shù)據(jù)，圖像大小為800×800，分辨率為0.5°，格式為jpg 格式。

本文選取2018 和2019 年多個(gè)臺風(fēng)發(fā)展階段的HDF 數(shù)據(jù)文件，為避免數(shù)據(jù)過于相似而導(dǎo)致模型退化，選取的兩幅圖像時(shí)間間隔不低于3 小時(shí)。本文共處理705 個(gè)HDF 數(shù)據(jù)文件并轉(zhuǎn)換成圖像，部分衛(wèi)星云圖如圖3 所示。采用LabelImg 標(biāo)注工具對臺風(fēng)目標(biāo)進(jìn)行標(biāo)注，生成對應(yīng)的xml 標(biāo)注文件，并按照8∶2 的比例劃分為實(shí)驗(yàn)訓(xùn)練集與測試集。

Fig.3 Part of the satellite cloud image圖3 部分衛(wèi)星云圖

2.2 模型評估方法

本文將訓(xùn)練好的模型采用目標(biāo)檢測算法中的綜合評價(jià)指標(biāo)平均精度（Average Precision，AP）對模型進(jìn)行評估，AP 表示在不同召回率（Recall）下精確率（Precision）的平均值。Precision 的計(jì)算公式如式（13）所示，Recall 的計(jì)算公式如式（14）所示，評價(jià)指標(biāo)計(jì)算公式如式（15）所示。

其中，TP（True Positives）表示正樣本被正確識別，F(xiàn)P（False Positives）表示負(fù)樣本被錯(cuò)誤識別為正樣本，F(xiàn)N（False Negatives）表示正樣本被錯(cuò)誤識別為負(fù)樣本。

2.3 實(shí)驗(yàn)結(jié)果與分析

本文的實(shí)驗(yàn)硬件平臺和參數(shù)配置如下：Windows10 64位操作系統(tǒng)，GeForce RTX 2060s 8G 顯卡，Intel Corei5-8500CPU 處理器，16GB 運(yùn)行內(nèi)存。使用的深度學(xué)習(xí)框架為Pytorch1.3 結(jié)合CUDA10.1 和Cudnn7.5，代碼運(yùn)行環(huán)境為Python3.7，最大迭代次數(shù)為2 820 步。學(xué)習(xí)率Learning rate 為0.002 5，動(dòng)量為0.9，權(quán)值衰減值設(shè)置為0.000 1。

2.3.1 不同特征提取網(wǎng)絡(luò)實(shí)驗(yàn)對比

為選擇合適的特征提取網(wǎng)絡(luò)，本文在Faster RCNN 基礎(chǔ)上分別對目前性能較好的ResNet50、ResNet101 和Res2Net101 這3 種特征提取網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練。為使模型得到較好的識別效果，采用遷移學(xué)習(xí)策略，利用ImageNet的預(yù)訓(xùn)練權(quán)重初始化主干網(wǎng)絡(luò)參數(shù)。隨著模型迭代次數(shù)的增加，不同特征提取網(wǎng)絡(luò)訓(xùn)練的模型損失曲線如圖4 所示（彩圖掃OSID 碼可見）。

Fig.4 Comparison of total loss of Faster RCNN model under different feature extraction networks圖4 不同特征提取網(wǎng)絡(luò)下Faster RCNN 模型總損失對比

從圖4 可以看出，基于ResNet50 的Faster RCNN 在本文數(shù)據(jù)集中收斂速度更快，損失較其他兩種網(wǎng)絡(luò)更小，因此本文在后續(xù)實(shí)驗(yàn)中均采用ResNet50 作為Faster RCNN 的特征提取網(wǎng)絡(luò)。

2.3.2 不同改進(jìn)策略實(shí)驗(yàn)對比

為驗(yàn)證本文方法的有效性，分別使用不同的改進(jìn)策略對模型進(jìn)行訓(xùn)練和測試，實(shí)驗(yàn)效果如表1 所示。

Table 1 Test results using different improved strategy models表1 使用不同改進(jìn)策略模型的測試效果

從表1 中可以看出不同改進(jìn)策略對模型檢測平均精度的影響。策略1 代表的是原始的Faster RCNN 模型；策略2為進(jìn)行了區(qū)域建議網(wǎng)絡(luò)優(yōu)化，將原始的9 個(gè)錨框進(jìn)行改進(jìn)，刪除了較大尺寸的錨框并將錨框的寬高比固定為1∶1，錨框參數(shù)與本文數(shù)據(jù)集契合，使得模型的平均精度提高了1.4%；策略3 表示在感興趣區(qū)域池化層中使用ROI Align 算法替代原始的ROI Pooling 算法，降低了之前的量化操作帶來的誤差，使得模型的平均精度提高了1.8%；策略4 表示將OHEM 機(jī)制引入到Faster RCNN 的訓(xùn)練過程中解決了樣本不均衡問題，模型精度提高了2.4%；策略5 表示將區(qū)域建議網(wǎng)絡(luò)優(yōu)化、ROI Align 和OHEM 機(jī)制結(jié)合在一起對Faster RCNN 進(jìn)行改進(jìn)，實(shí)驗(yàn)結(jié)果表明模型的檢測精度提升了4.7%。

本文算法的Precision-Recall 曲線如圖5 所示。實(shí)驗(yàn)證明，本文提出的3 種改進(jìn)方法均能提高模型的檢測性能，將3 種改進(jìn)方法結(jié)合在一起效果最好。

Fig.5 Precision-Recall curve of the algorithm in this paper圖5 本文算法的Precision-Recall 曲線

3 結(jié)語

本文針對目前臺風(fēng)云系識別算法由于臺風(fēng)各個(gè)階段尺寸與紋理結(jié)構(gòu)差異較大存在識別難度大、準(zhǔn)確率低的問題，提出改進(jìn)的Faster RCNN 臺風(fēng)云系識別方法。在ResNet50 為特征提取網(wǎng)絡(luò)的基礎(chǔ)上通過優(yōu)化區(qū)域建議網(wǎng)絡(luò)參數(shù)，采用ROI Align 算法替代原ROI Pooling 算法，將OHEM 機(jī)制引入模型的訓(xùn)練階段進(jìn)行改進(jìn)。實(shí)驗(yàn)結(jié)果表明，本文方法在臺風(fēng)云系識別精度上有明顯提高，可用于臺風(fēng)監(jiān)測任務(wù)。但目前仍有一部分非臺風(fēng)云系被誤檢為臺風(fēng)云系，如何剔除這部分非臺風(fēng)云系是后續(xù)的研究方向。