基于改進FCN網(wǎng)絡的GOCI綠潮分類研究

趙尊強　陳鑫　劉慧芳　楊光

摘 要：為提高GOCI影像中綠潮分類的精度和速度，并克服傳統(tǒng)方法中閾值難以確定的缺點，基于全卷積網(wǎng)絡，提出一種新的網(wǎng)絡結構用于綠潮和海水分類。首先降低全卷積網(wǎng)絡深度，然后加強網(wǎng)絡結構中高層特征與底層特征網(wǎng)絡的鏈接，最后通過Softmax層生成高級語義特征進行最終分類。在GOCI數(shù)據(jù)集上的實驗結果表明，改進的網(wǎng)絡模型可以取得很好的競爭性，召回率、F1系數(shù)和Kappa系數(shù)分別達到83.0%、84.4%和83.7%。與傳統(tǒng)方法相比，基于深度學習模型的GOCI影像綠潮分類，不僅提供了更加詳細的綠潮分布信息，而且縮短了整個綠潮解譯圖制作流程。

關鍵詞：GOCI;綠潮分類;全卷積網(wǎng)絡;深度學習;綠潮解譯圖

DOI：10. 11907/rjdk. 192330????????????????????????????????????????????????????????????????? 開放科學（資源服務）標識碼（OSID）：

中圖分類號：TP301 ? 文獻標識碼：A??????????????? 文章編號：1672-7800（2020）003-0069-05

Greentide Classification for GOCI Based on Improved FCN Network

ZHAO Zun-qiang，CHEN Xin，LIU Hui-fang，YANG Guang

（School of Computer Science & Engineering，Shandong University of Science & Technology，Qingdao 266590，China）

Abstract： In order to improve the accuracy and speed of greentide classification in GOCI images， and to overcome the shortcomings of thresholds in traditional methods， we propose a new network structure for greentide and seawater classification based on a full convolutional network. Firstly， the depth of the full convolutional network is reduced. Secondly， the link between the high-level features of the network structure and the underlying feature network is strengthened. Finally， the generated high-level semantic features are finally classified by the Softmax layer. The experimental results on the GOCI dataset show that the improved network model can achieve good competition， and the recall rate， F1 coefficient and Kappa coefficient reach 83%，84.4% and 83.7%. Compared with the existing traditional methods， the GOCI image greentide classification based on the deep learning model not only provides more detailed greentide distribution information， but also shortens the production process of the entire greentide interpretation map.

Key Words： GOCI; green tide classification; full convolutional network; deep learning; green tide interpretation map

0 引言

在過去的十幾年中，高光譜圖像（HSI）發(fā)揮了重要作用。綠潮（Green Tide）作為一種生存能力和繁殖能力較強的大型藻類[1]，其大規(guī)模暴發(fā)對我國近海岸生態(tài)環(huán)境、旅游業(yè)和海洋生產都會造成影響[2]。2008奧運會期間黃海海域爆發(fā)的綠潮，覆蓋面積達到600km2，嚴重影響了第29屆青島國際奧帆賽的順利進行[3]。2010年6月韓國發(fā)射了世界第一顆地球同步軌道海洋水色衛(wèi)星（Geostationary Ocean Color Image，GOCI），每天可提供8景空間分辨率為500m、時間分辨率為1小時的多光譜圖像[4]。由于GOCI影像能覆蓋我國黃海、渤海和東海海域，目前GOCI數(shù)據(jù)已廣泛應用于綠潮的檢測和監(jiān)測[5-6]。

綠潮分類是東部沿海綠潮監(jiān)測的主要任務。目前基于GOCI影像的綠潮分類方法有兩種：①基于某一植被指數(shù)指標[7-9];②基于特定的遙感圖像處理軟件直接進行特征分類。比值植被指數(shù)（Ratio Vegetation Index，RVI）在1969年首次被提出，之后創(chuàng)新了很多新的植被指數(shù)。如今，歸一化植被指數(shù)（NDVI，Normalized Difference Vegetation Index）和增強型植被指數(shù)（EVI，Enhanced Vegetation Index）廣泛應用于植被檢測。Son等[10]分析了綠潮在不同水質的光譜特點，針對GOCI影像提出了一種浮動綠藻指數(shù)（IGAG，Index of floating Green Algle for GOCI）;蔡曉晴等[11]研究了GOCI圖像的主流綠潮探測方法，指出NDVI方法明顯優(yōu)于其它植被指數(shù)且比IGAG更加穩(wěn)定。除了基于某一植被指標外，曾韜等[12]采用監(jiān)督分類的方法結合GIS軟件對青島近海岸進行綠潮分類;潘斌等[13]提出用光譜解混方法對GOCI影像進行綠潮覆蓋面積估計，取得了一定的成果;辛蕾等提出用混合像元分解的方法對綠潮進行精細化提取。以上計算某一指數(shù)的方法需要一定的專業(yè)人士進行閾值選取，如果借助于GIS軟件作監(jiān)督分類，還需要提前設計特征，受限于先驗知識。

近年基于深度學習的分類研究取得巨大進步，其中也包括遙感圖像分類[14-15]，在大規(guī)模數(shù)據(jù)集上的表現(xiàn)往往勝過一些傳統(tǒng)方法。作為機器學習中的一項重要技術，深度學習框架提供了一個實用的學習過程，可以自動將低級特征融合在一起，通過組合低級特征獲得更高級別的特征[16]。例如可以使用傳統(tǒng)的卷積神經網(wǎng)絡（CNN，Convolutional Neural Network）作分類，通過對特征圖不斷進行卷積和池化操作，輸出更加詳細的高級特征。胡等[17]用CNN對高光譜圖像進行分類;牟等[18]利用RNN直接對遙感圖像進行特征提取;陳天華[19]等采用改進的DeepLab網(wǎng)絡，對遙感圖像中的建筑物進行分類，證明該方法對遙感圖像建筑物分類有明顯優(yōu)勢。使用深度學習模型融合GOCI影像低級特征，可以產生更加抽象的高級特征進行最終分類。與傳統(tǒng)方法相比，改進的FCN網(wǎng)絡具有以下優(yōu)點：①不用提前設計特征;②空間信息利用更加充分;③具有良好的遷移能力;④縮短了綠潮分類流程。將深度學習方法應用到綠潮提取與分類領域是一種趨勢。

1 模型與方法

1.1 全卷積神經網(wǎng)絡

2012年Krizhevsky等[20]提出AlexNet網(wǎng)絡，通過droupout方法降低網(wǎng)絡結構中的過擬合問題，在ILSVRC比賽中奪得冠軍，卷積神經網(wǎng)絡從此又受到學術界的普遍關注。之后在AlexNet基礎上誕生了很多經典的網(wǎng)絡模型，例如Simounyan等提出的VGG和Szegedy等[21]提出的GoogleNet，都在不斷創(chuàng)造著新紀錄。2014年Jonathan Long等[22]提出全卷積神經網(wǎng)絡（Fully Convolutional Network，F(xiàn)CN），其將傳統(tǒng)CNN網(wǎng)絡模型的全連接層轉化為卷積層，然后再上采樣原圖像大小，即從圖像級別分類進一步延伸到端到端和像素到像素級別的分類，對輸入圖像的尺寸不再限制。以AlexNet為例，傳統(tǒng)的FCN模型結構如圖1所示，其中包括卷積層、池化層、上采樣層和Softmax分類層。

卷積層是卷神經網(wǎng)絡的重要組成部分，每個卷積單元的參數(shù)通過反向傳播算法優(yōu)化得到，主要作用是學習和提取有效特征。以FCN卷積層為例，其計算形式可以表示為：

其中，[l]表示層數(shù)，[Xlj]表示第[l]層卷積后第[j]個神經元的輸出，[Xl-1j]代表第[l-1]層卷積后第[i]個神經元的輸出，“[？]”代表卷積操作，[Wlij]表示卷積核，[Blj]表示偏置項。

池化層又叫下采樣層，獲得更加抽象的特征以提高網(wǎng)絡魯棒性，主要有平均池化和最大池化，其中平均池化計算公式為：

其中，[n]為局部抽樣窗口大小，[Xl-1j]表示第[i-1]層第[j]個卷積神經元輸出，[Xlj]表示池化后的輸出。

上采樣層（反卷積）是卷積的逆過程，是一種特殊的卷積。由于經過池化層作用，使得特征圖尺寸和分辨率都會小于原輸入圖像，并且會丟失一部分信息。因此反卷積層的主要作用是恢復到原圖像大小，并且彌補一部分信息丟失問題，最后的上采樣特征圖經過Softmax層再作像素分類。由于FCN采用的是高倍上采樣（雙線性差值8倍、16倍、32倍），導致分類結果不明晰，缺乏輪廓細節(jié)，并且在分類過程中每個像素點獨立于周圍的像素點，在通過高倍上采樣時很容易產生大面積孔洞[23]。綠潮有濃度高低之分，部分海水的顏色和低濃度綠潮極為相似，在低分辨率的GOCI影像中，如果直接使用高倍上采樣，很容易把相近區(qū)域的海水誤分為綠潮。

1.2 改進的FCN模型

為彌補傳統(tǒng)FCN在GOCI影像中的綠潮分類問題，本文通過改進FCN模型，在分類準確度和速度上都得到一定的提升，改進的模型結構如圖2所示。去掉原來FCN上采樣方式（高倍上采樣），采用反池化代替，主要過程如下：①首先輸入裁切后的[16×16×8]圖像;②經過不斷地卷積池化后輸出特征圖E和特征圖F;③對特征圖E和特征圖F分別進行上采樣，再經過在通道維度上相加融合得到特征圖G;④特征圖G和特征圖A在圖像空間維度上融合，再經過上采樣得到特征圖H;⑤將特征圖H和特征圖B融合并且上采樣后得到特征圖I;⑥最后得到的特征圖經過argmax層進行最終分類。為了彌補池化后信息丟失問題，步驟③、步驟④和步驟⑤分別在通道和空間維度上作進一步融合，以保證整個網(wǎng)絡能獲取更加完整的全局上下文信息，緩解FCN在綠潮分類邊緣不清晰和局部嚴重分類錯誤的問題。其中主要包括6個卷積層、4個上采樣層和1個分類層，卷積核大小均為3×3。

1.3 反池化

反池化主要包括反最大池化和反平均池化。反最大池化的前提是網(wǎng)絡需要記住池化前各元素的相對位置（池化過程中記錄最大激活值的坐標位置），其主要操作是在非相對位置處填充0，這樣會丟失大部分信息。針對特定的GOCI圖像和綠潮大面積分布不均的特點，上采樣方式主要利用反平均池化，其主要原理是平均填充，如圖3所示，這樣盡可能保全整體綠潮分布信息，避免在特征圖像上直接進行多倍反卷積（上采樣）而帶來的大面積預測錯誤問題。

1.4 通道融合塊

對于多波段遙感圖像，各個波段并不是獨立存在而是密切相關的，不同波段間假彩色組合會展現(xiàn)出各種地物分布，所以有效提取和利用遙感圖像的多波段信息，對于地物分類非常重要，這也是遙感學界普遍關注的焦點。為防止空間信息過多丟失，本文除采用反池化方式外，還在特征圖融合時添加了特定的通道融合塊，即通過卷積輸出的特征圖進一步在通道上融合，這樣就有效利用了GOCI圖像8個波段的信息，進一步加強了整體信息的融合，提高了模型健壯性，具體流程如圖4所示。

2 實驗

2.1 實驗數(shù)據(jù)集

本文研究區(qū)域主要為我國東部沿海綠潮暴發(fā)嚴重的黃海和山東半島區(qū)域，32°N～37°N，119°E～124°E。確定研究區(qū)域后在韓國GOCI官網(wǎng)下載2011-2017年的影像，然后選取少云并且清晰的影像作為本文數(shù)據(jù)集。

數(shù)據(jù)集處理流程包括陸地掩膜、目標區(qū)域選取和標注標簽。ENVI作為遙感圖像主要的處理軟件之一，前兩部分主要借助ENVI工具，然后手動標注標簽，最后再批量把圖像以及對應的標簽裁切成小圖片輸入到模型，如圖5所示，每張小圖片大小為[16×16]。數(shù)據(jù)集分為訓練集、驗證集和測試集，具體分布、大小和數(shù)量如表1所示。

2.2 模型訓練

本文實驗均采用Keras框架實現(xiàn)，在NVIDIA K80上訓練100次，使用Adam作為優(yōu)化器，其中學習率為?? 0.000 1，batch size設置為2，采用交叉驗證方式訓練，即90%的樣本用于訓練，10%的樣本用于驗證。上采樣方式均采用最鄰近插值算法代替原來的反卷積，參數(shù)padding設為same，strides設為1。

2.3 評價方法

基于卷積神經網(wǎng)絡的圖像分類，主要是對圖像進行像素級分類，即對圖像的每個像素點進行分類。對綠潮分類的性能評估方法主要有準確率（P）、召回率（R）和F1分數(shù)（F1），分類結果如表2所示。

其中Lable為圖像標簽，Predict為分類結果，每個像素點對應一個值，數(shù)字1表示為綠潮，數(shù)字0表示為非綠潮。每個指標計算如下：

式中，TP、FN、FP、TN分別表示真正例、假反例、假正例和真反例。

2.4 實驗結果

傳統(tǒng)方法雖然流程繁瑣，但在專業(yè)人士參與下也會得到令人滿意的結果，例如傳統(tǒng)的NDVI和SVM等都是比較流行的綠潮提取方法。因此將這兩種傳統(tǒng)方法進行對比，如圖6所示。

由圖6及表3提供的數(shù)據(jù)可以清晰地發(fā)現(xiàn)，傳統(tǒng)RVI、EVI、IGAG、SVM和NDVI算法在綠潮海水分類方面確實有一定的表現(xiàn)能力，但主要是借助了大量先驗知識和必要的專業(yè)人士參與。其中，RVI和IGAG算法借助近紅外和紅光波段間的比值，但沒有考慮到其它波段帶來的影響和空間上的聯(lián)系，要提高分類準確度需要添加更多先驗信息以彌補空間上的不足;EVI增強算法雖然在波段間增加了影響因子等參數(shù)，但由于GOCI圖像的差異性，難以確定一個有效的參數(shù)標準。為了提高精度，SVM分類要提前設計大量特征，并在NDVI算法后期通過不斷試驗找到合適的閾值。對比傳統(tǒng)方法，基于深度學習的方法成功避免了以上參數(shù)難以確定的問題。但在使用傳統(tǒng)FCN時，由于上采樣采用的是高倍上采樣（雙線性插值），結果在輪廓和局部有大量海水或陸地被錯分類為綠潮。由圖4的FCN結果顯示，綜合以上問題以及綠潮影像自身的特點（沒有明顯的輪廓細節(jié)），改進的FCN模型更加適合綠潮海水分類。

為了驗證模型的普遍適用性，對2014、2017、2018和2019年比較清晰的GOCI圖像進行驗證，實驗結果如圖7所示。通過預測圖像和真值圖對比可以清晰地發(fā)現(xiàn)，改進后的模型預測結果實用性更高，能制作比較清晰的綠潮解譯圖，滿足相關部門對綠潮進一步監(jiān)測的需求。

對不同年份的GOCI圖像預測準確性進行評估，如表4所示，4幅圖像的Kappa系數(shù)平均在83%左右，說明模型穩(wěn)定性良好。

由于傳統(tǒng)方法注入了大量先驗知識，且整個業(yè)務流程主要由相關專業(yè)人士參與，所以只計算了模型改進前和改進后單張圖片的測試時間。通過表5可以看出，改進后的FCN模型在單張圖片訓練速度上，比改進前的FCN模型有所提升。實驗表明，改進后的FCNS模型優(yōu)于改進前的FCN模型，更加適合本文的GOCI數(shù)據(jù)集。

3 結語

本文使用深度學習方法，在全卷積網(wǎng)絡基礎上加以進一步改進。經過在自建的綠潮數(shù)據(jù)集上訓練和調試，對GOCI影像中的綠潮和海水進行分類，提升了綠潮分類速度和精度。與NDVI、SVM等傳統(tǒng)方法相比，不用花費大量時間提前選取閾值和標記樣本，縮短了原有基于GOCI影像的綠潮解譯圖制作流程，在召回率、F1系數(shù)、Kappa系數(shù)方面優(yōu)于改進前的方法。但本文方法在細微邊緣部分仍存在一定的誤差，整個網(wǎng)絡模型仍有改進空間。今后將進一步優(yōu)化模型，滿足相關業(yè)務部門需求。

參考文獻：

[1]NELSON T A， LEE D J， SMITH B C. Are "green tides" harmful algal blooms？toxic properties of water-soluble extracts from two bloom-forming macroalgae， ulva fenestrata and ulvaria obscura （Ulvophyceae）[J]. Journal of Phycology， 2003， 39（5）： 874-879.

[2]BLOMSTER J， B？CK S， FEWER D P， et al. Novel morphology in enteromorpha （ulvophyceae） forming green tides[J]. American Journal of Botany， 2002， 89（11）： 1756-1763.

[3]HU C， HE M X. Origin and offshore extent of floating algae in olympic sailing area[J]. Eos， Transactions American Geophysical Union， 2008， 89（33）： 302-303.

[4]RYU J H， HAN H J， CHO S， et al. Overview of geostationary ocean color imager （GOCI） and GOCI data processing system （GDPS）[J]. Ocean Science Journal， 2012， 47（3）： 223-233.

[5]SON Y B， MIN J E， RYU J H. Detecting massive green algae （ulva prolifera） blooms in the yellow sea and east china sea using geostationary ocean color imager （GOCI） data[J]. Ocean Science Journal， 2012， 47（3）： 359-375.

[6]LOU X， HU C. Diurnal changes of a harmful algal bloom in the east china sea： observations from GOCI[J]. Remote Sensing of Environment， 2014（140）： 562-572.

[7]HU C， LI D， CHEN C， et al. On the recurrent ulva prolifera blooms in the yellow sea and east china sea[J]. Journal of Geophysical Research： Oceans， 2010， 115（C5）：1321-1330.

[8]SHANMUGAM P， AHN Y H， SANJEEVI S. A comparison of the classification of wetland characteristics by linear spectral mixture modelling and traditional hard classifiers on multispectral remotely sensed imagery in southern India[J]. Ecological Modelling，2006，194（4）： 379-394.

[9]SHANMUGAM P， SURESH M， SUNDARABALAN B. OSABT： an innovative algorithm to detect and characterize ocean surface algal blooms[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2012， 6（4）： 1879-1892.

[10]SON Y B， CHOI B J， KIM Y H， et al. Tracing floating green algae blooms in the yellow sea and the east China sea using GOCI satellite data and Lagrangian transport simulations[J]. Remote Sensing of Environment， 2015（156）： 21-33.

[11]蔡曉晴. 基于靜止軌道海洋水色衛(wèi)星數(shù)據(jù)的綠潮遙感探測方法和逐時變化特征研究[D]. 青島：中國海洋大學， 2014.

[12]曾韜， 劉建強. “北京一號” 小衛(wèi)星在青島近海滸苔災害監(jiān)測中的應用[J]. 遙感信息， 2009（3）： 34-37.

[13]PAN B，SHI Z，AN Z， et al. A novel spectral-unmixing-based green algae area estimation method for GOCI data[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2016， 10（2）： 437-449.

[14]ZHU X， TUIA D， MOU L， et al. Deep learning in remote sensing： a comprehensive review and list of resources[J]. IEEE Geoscience and Remote Sensing Magazine， 2017， 5（4）： 8-36.

[15]MOU L， BRUZZONE L， ZHU X. Learning spectral-spatial-temporal features via a recurrent convolutional neural network for change detection in multispectral imagery[J]. IEEE Transactions on Geoscience and Remote Sensing， 2018， 57（2）： 924-935.

[16]孫志軍，薛磊. 深度學習研究綜述[J]. 計算機應用研究， 2012， 29（8）：2806-2810.

[17]HU F， XIA G， HU J， et al. Transferring deep convolutional neural networks for the scene classification of high-resolution remote sensing imagery[J]. Remote Sensing， 2015， 7（11）： 14680-14707.

[18]MOU L， GHAMISI P， XIAO X Z. Deep recurrent neural networks for hyperspectral image classification[J]. IEEE Transactions on Geoscience & Remote Sensing， 2017， 55（7）：1-17.

[19]陳天華， 鄭司群，于峻川. 采用改進DeepLab網(wǎng)絡的遙感圖像分割[J]. 測控技術， 2018， 37（11）：40-45.

[20]SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[C]. International Conference on Learning Representations，2015：1-14.

[21]SZEGEDY C， LIU W， JIA Y， et al. Going deeper with convolutions[C]. Proceedings of the IEEE conference on computer vision and pattern recognition，2015： 1-9.

[22]LONG J， SHELHAMER E， DARRELL T. Fully convolutional networks for semantic segmentation[C].Proceedings of the IEEE conference on computer vision and pattern recognition，2015： 3431-3440.

[23]楊朔，陳麗芳，石瑀. 基于深度生成式對抗網(wǎng)絡的藍藻語義分割[J]. 計算機應用，2018，38（6）：1554-1561.

（責任編輯：杜能鋼）

收稿日期：2019-09-20

作者簡介：趙尊強（1991-），男，山東科技大學計算機科學與工程學院碩士研究生，研究方向為云計算與大數(shù)據(jù)處理、機器學習;陳鑫（1996-），男，山東科技大學計算機科學與工程學院碩士研究生，研究方向為智能信息處理、機器學習;劉慧芳（1995-），女，山東科技大學計算機科學與工程學院碩士研究生，研究方向為智能信息處理、機器學習;楊光（1995-），男，山東科技大學計算機科學與工程學院碩士研究生，研究方向為智能信息處理、機器學習。本文通訊作者：趙尊強。