李 濤,金 煒,符冉迪,李 綱,尹曹謙
寧波大學(xué)信息科學(xué)與工程學(xué)院,浙江 寧波 315211
海霧是受海洋影響發(fā)生在海上或沿海地區(qū)低層大氣中的凝結(jié)現(xiàn)象,通常會(huì)使大氣水平能見(jiàn)度小于1 km[1]。海霧不僅對(duì)海上交通運(yùn)輸、漁業(yè)捕撈等活動(dòng)產(chǎn)生很大安全隱患,而且對(duì)沿海地區(qū)的交通、農(nóng)業(yè)、電力、空氣質(zhì)量也具有一定影響,嚴(yán)重威脅人民的生命財(cái)產(chǎn)安全。因此,監(jiān)測(cè)或跟蹤海霧的生消變化,能為有關(guān)部門實(shí)施科學(xué)調(diào)控和管理應(yīng)對(duì)提供依據(jù),對(duì)海上防災(zāi)減災(zāi)具有重要現(xiàn)實(shí)意義。
由于海上只有少數(shù)的觀測(cè)站點(diǎn),缺乏實(shí)地觀測(cè)資料,且天氣和環(huán)境生態(tài)系統(tǒng)變化迅速,因此海霧無(wú)法像陸地霧一樣使用常規(guī)監(jiān)測(cè)方式進(jìn)行大范圍、長(zhǎng)時(shí)間的連續(xù)監(jiān)測(cè)。衛(wèi)星遙感具有快速、覆蓋范圍廣、可連續(xù)觀測(cè)等優(yōu)勢(shì),已成為海霧監(jiān)測(cè)中不可或缺的重要技術(shù)手段。利用遙感數(shù)據(jù)對(duì)海霧的監(jiān)測(cè)始于上世紀(jì)70年代,經(jīng)過(guò)多年的研究,已趨于成熟。研究人員通過(guò)分析不同類型云霧在衛(wèi)星多通道光譜信息上的差異,建立閾值或者機(jī)器學(xué)習(xí)模型用于大霧的監(jiān)測(cè)。Shin等[2]在海洋和氣象衛(wèi)星(communication,ocean and meteorological satellite,COMS)數(shù)據(jù)的基礎(chǔ)上引入海表亮溫?cái)?shù)據(jù),并根據(jù)海霧紅外通道亮溫差與海表云頂亮溫差的特性建立無(wú)監(jiān)督算法來(lái)學(xué)習(xí)優(yōu)化數(shù)據(jù)的顯著特征,自動(dòng)設(shè)置最佳閾值,完成了對(duì)夜間海霧的檢測(cè)。Kim 等[3]基于地球靜止海洋彩色成像儀和葵花8 號(hào)(Himawari-8)雙衛(wèi)星觀測(cè)數(shù)據(jù),通過(guò)分析海霧的光學(xué)和空間特性,建立了決策樹(shù)算法實(shí)現(xiàn)了海霧的動(dòng)態(tài)監(jiān)測(cè)。郝姝馨等[4]基于新一代靜止氣象衛(wèi)星Himawari-8 高時(shí)空分辨率多通道數(shù)據(jù),對(duì)2018-2019 年黃、渤海海霧事件的多通道紅外亮溫輻射特性進(jìn)行了分析,通過(guò)設(shè)置海霧、晴空水體和一般云系分離指數(shù),建立多指數(shù)概率分布算法,完成了對(duì)夜間海霧的監(jiān)測(cè)。
近年來(lái),深度學(xué)習(xí)快速發(fā)展,在醫(yī)學(xué)分割、云檢測(cè)與云圖生成等領(lǐng)域取得不錯(cuò)的成績(jī)[5-9]。目前,已有研究人員成功地將深度學(xué)習(xí)技術(shù)遷移到海霧監(jiān)測(cè)任務(wù)上。Jeon 等[10]基于GOCI 的紅外亮溫和可見(jiàn)光反射率數(shù)據(jù),對(duì)衛(wèi)星云圖進(jìn)行分析標(biāo)注,建立了霧分類數(shù)據(jù)集,并在此基礎(chǔ)上,采用遷移學(xué)習(xí)的方法,將在自然圖像數(shù)據(jù)集上預(yù)訓(xùn)練過(guò)的卷積神經(jīng)網(wǎng)絡(luò)遷移到海霧數(shù)據(jù)集上,開(kāi)展了不同波段組合對(duì)海霧識(shí)別精度影響的研究。Xu 等[11]借助無(wú)監(jiān)督域自適應(yīng)的方法,將豐富的標(biāo)注陸地霧樣本和未標(biāo)注海霧樣本有效結(jié)合進(jìn)行海霧檢測(cè),提高了海霧識(shí)別準(zhǔn)確率。文獻(xiàn)[12-14]將基于深度學(xué)習(xí)的分割技術(shù)推廣到海霧識(shí)別,使用融合空間信息的圖像級(jí)別檢測(cè)代替?zhèn)鹘y(tǒng)單像元檢測(cè),解決了傳統(tǒng)海霧檢測(cè)缺乏空間語(yǔ)義信息的問(wèn)題,實(shí)現(xiàn)了霧區(qū)的精細(xì)化反演。雖然深度學(xué)習(xí)方法能夠表征數(shù)據(jù)語(yǔ)義信息,具有特征學(xué)習(xí)能力強(qiáng)、預(yù)測(cè)精度高等優(yōu)點(diǎn),但其通常以“端到端”模式進(jìn)行訓(xùn)練和推理,具有“黑盒子”特性,即難以解釋其推理過(guò)程。另外,深度學(xué)習(xí)模型通常需要大量有標(biāo)簽的樣本進(jìn)行訓(xùn)練,而上述基于深度學(xué)習(xí)的海霧監(jiān)測(cè)研究大多針對(duì)于日間場(chǎng)景。通過(guò)結(jié)合云圖分析專家對(duì)可見(jiàn)光與紅外波段數(shù)據(jù)分析后的建議,對(duì)海霧樣本進(jìn)行手工標(biāo)注。由于夜間缺乏可見(jiàn)光波段數(shù)據(jù),因此難以快速準(zhǔn)確地對(duì)樣本進(jìn)行標(biāo)注,這也導(dǎo)致深度學(xué)習(xí)方法在夜間海霧識(shí)別中應(yīng)用難度更大。
針對(duì)上述問(wèn)題,本文首先借助能夠穿透云層,獲取大氣剖面信息的星載激光雷達(dá)對(duì)樣本進(jìn)行標(biāo)注。相比手工標(biāo)注,該方法更加便捷準(zhǔn)確,能夠獲取海量的云、霧及下墊面標(biāo)注數(shù)據(jù),可以滿足深度學(xué)習(xí)對(duì)訓(xùn)練數(shù)據(jù)量的要求。然后基于葵花8 號(hào)氣象衛(wèi)星多通道數(shù)據(jù)提取標(biāo)注樣本的亮溫、紋理特征,建立夜間海霧監(jiān)測(cè)數(shù)據(jù)集。最后根據(jù)海霧監(jiān)測(cè)的需求,抽象出對(duì)應(yīng)的推理決策樹(shù),并將其嵌入到卷積神經(jīng)網(wǎng)絡(luò)中,建立深度神經(jīng)決策樹(shù)模型,在高精度識(shí)別海霧的同時(shí)具備較強(qiáng)的可解釋性,實(shí)現(xiàn)對(duì)夜間海霧的有效監(jiān)測(cè)。
本文基于葵花8 號(hào)靜止衛(wèi)星數(shù)據(jù)進(jìn)行研究??? 號(hào)靜止氣象衛(wèi)星是日本氣象廳運(yùn)營(yíng)的第三代地球靜止氣象衛(wèi)星,2014 年10 月7 日發(fā)射上空,2015年7 月投入使用,現(xiàn)位于赤道上方東經(jīng)140.7°。其搭載的高級(jí)葵花成像儀(advanced Himawari imager,AHI),覆蓋了可見(jiàn)光與紅外共16 個(gè)波段,空間分辨力為0.5 km~2 km,時(shí)間分辨力為6 次/小時(shí)。相比于上代靜止氣象衛(wèi)星,葵花8 號(hào)靜止氣象衛(wèi)星在波段數(shù)量、空間與時(shí)間分辨力上均得到了大幅度提升。因此,本文使用葵花8 號(hào)氣象衛(wèi)星數(shù)據(jù)進(jìn)行海霧的監(jiān)測(cè)與識(shí)別研究。
云-氣溶膠激光雷達(dá)和紅外探測(cè)者衛(wèi)星(Cloud-Aerosol LiDAR and Infrared Pathfinder Satellite Observations,CALIPSO)由美國(guó)國(guó)家航天局與法國(guó)國(guó)家航天中心合作研制,于2006 年4 月28 日成功發(fā)射,在太陽(yáng)同步軌道上運(yùn)行,距地高度705 km,傾角98.2°。其攜帶的探測(cè)器星載激光雷達(dá)(cloud-aerosol LiDAR with orthogonal polarization,CALIOP)是第一個(gè)可以測(cè)量全球大氣狀態(tài)的星載偏振激光雷達(dá),能夠持續(xù)不斷發(fā)射和接收激光脈沖,穿透云層及氣溶膠,獲取大氣垂直剖面結(jié)構(gòu)信息。
目前CALIOP 的公開(kāi)數(shù)據(jù)分為一級(jí)(Level 1)、二級(jí)(Level 2)和三級(jí)(Level 3)產(chǎn)品(下載地址:https://subset.larc.nasa.gov/calipso/login.php)。其中二級(jí)垂直特征掩模產(chǎn)品(vertical feature mask,VFM)提供了背向散射的連續(xù)大氣區(qū)域的類別信息,如云、氣溶膠、晴空等。VFM 產(chǎn)品雖沒(méi)有霧這一類別,但是霧實(shí)際上就是貼地的云,當(dāng)產(chǎn)品中識(shí)別為水云且云貼地時(shí)即認(rèn)為是霧。除此之外,由于海霧的云底高度非常低,接近于海平面,在CALIOP 數(shù)據(jù)反演無(wú)法計(jì)算海霧的底層高度信息時(shí),就把海霧歸為同樣無(wú)法計(jì)算底層高度信息的海水一類中,即出現(xiàn)海表誤判[15]。吳東等[16]統(tǒng)計(jì)了大氣低層云霧和氣溶膠的衰減后向散射系數(shù),給出了海表誤判區(qū)剔除氣溶膠的閾值。綜上,本文獲取海霧標(biāo)簽的方法為:在VFM 產(chǎn)品數(shù)據(jù)中,當(dāng)分類結(jié)果為云,且云底距海表不超過(guò)一個(gè)測(cè)量單元時(shí),認(rèn)為是海霧;當(dāng)分類結(jié)果是海表,并且超出水平高度兩個(gè)及以上的測(cè)量單元也判為海霧;此外,為了消除氣溶膠的影響,在上述判斷的基礎(chǔ)上,需要同時(shí)滿足1064 nm 衰減后向散射系數(shù)且532 nm 總衰減后向散射系數(shù)本文利用CALIOP 數(shù)據(jù),將樣本標(biāo)記為中高云、低云、海霧與晴空海表四類。
提取豐富的特征是準(zhǔn)確識(shí)別海霧的基礎(chǔ)。受太陽(yáng)光照的影響,Himawari-8 衛(wèi)星在夜間場(chǎng)景下可見(jiàn)光波段與近紅外波段數(shù)據(jù)缺失,只有紅外波段數(shù)據(jù)可用。因此,本文基于Himawari-8 紅外波段通道進(jìn)行了特征提取。為了增強(qiáng)對(duì)空間信息的挖掘,本文選取以樣本中心大小3×3 的局部窗口作為樣本的亮溫特征。由于低云和海霧的組成相似,海霧抬升成為低云,低云下沉變?yōu)楹lF,因此兩者在物理和光學(xué)性質(zhì)上都表現(xiàn)出一致性。雖然難以從物理和光學(xué)性質(zhì)上辨別,但可以利用紋理特征對(duì)其進(jìn)行區(qū)分。通常海霧是在穩(wěn)定大氣條件下由暖濕空氣平流到冷的表面上形成的,其紋理一般比較均勻,在圖像上表現(xiàn)為頂部光滑且邊緣整齊清晰,易受地表的影響,霧區(qū)像素的亮溫值波動(dòng)更加穩(wěn)定[1]。因此,紋理特征能加大海霧與低云的可區(qū)分性,提高模型識(shí)別海霧的精度。
本文首先提取了局部二值模式(local binary patterns,LBP)特征。LBP 通過(guò)比較中心像素與3×3鄰域像素的灰度值進(jìn)行閾值運(yùn)算,并按照指定的編碼規(guī)則生成編碼,最終的編碼值能夠體現(xiàn)中心像素和3×3 鄰域像素灰度值的大小關(guān)系。由于LBP 僅采樣局部3×3 鄰域,不能體現(xiàn)更大范圍的紋理分布情況,為提取更大鄰域的紋理特征,本文選取以樣本為中心的7× 7 大小矩陣計(jì)算了灰度共生矩陣(gray-level cooccurrence matrix,GLCM),灰度游程矩陣(gray-level run length matrix,GLRLM)與灰度區(qū)域大小矩陣(graylevel size zone matrix,GLSZM)三種紋理特征并以此作為樣本的紋理特征。其中GLCM 保存了鄰域內(nèi)所有灰度組合在定義的距離和方向條件下“共生”的頻數(shù)。GLRLM 保存了鄰域內(nèi)具有相同灰度值的連續(xù)像素的長(zhǎng)度和個(gè)數(shù)信息。GLSZM 保存了鄰域內(nèi)具有相同灰度強(qiáng)度的連通域大小和個(gè)數(shù)信息。
最終,本文基于Himawari-8 紅外波段通道提取了亮溫特征與紋理特征共128 維的向量作為構(gòu)造的樣本特征,以進(jìn)行夜間海霧識(shí)別研究。
2.4.1 網(wǎng)絡(luò)整體結(jié)構(gòu)設(shè)計(jì)
傳統(tǒng)海霧監(jiān)測(cè)算法通常借助云霧對(duì)于衛(wèi)星不同通道的反照率或者亮溫分布差異,建立單通道或者多通道模型來(lái)逐步分離晴空海表、中高云、低云,最終達(dá)到識(shí)別海霧的目的。雖然此方法簡(jiǎn)單高效、可解釋強(qiáng),但其海霧識(shí)別精度通常較低,且易受季節(jié)、區(qū)域等因素影響。卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)的主要方法,具有特征學(xué)習(xí)能力強(qiáng)、預(yù)測(cè)精度高等優(yōu)點(diǎn),被廣泛應(yīng)用于云圖相關(guān)領(lǐng)域。雖然目前已有不少研究將卷積神經(jīng)網(wǎng)絡(luò)遷移到海霧監(jiān)測(cè)任務(wù)上,但都局限于日間海霧監(jiān)測(cè)。相較于日間監(jiān)測(cè)場(chǎng)景,夜間缺乏可見(jiàn)光波段數(shù)據(jù),海霧識(shí)別的精度較低,有必要借助卷積神經(jīng)網(wǎng)絡(luò)來(lái)提升夜間海霧識(shí)別的精度。盡管卷積神經(jīng)網(wǎng)絡(luò)能夠提高海霧識(shí)別的精度,但其通常以“端到端”模式進(jìn)行訓(xùn)練和推理,具有“黑盒子”特性,即難以對(duì)其推理過(guò)程進(jìn)行解釋。
為使得模型高精度識(shí)別海霧的同時(shí)具備合理的解釋性,本文通過(guò)分析傳統(tǒng)海霧識(shí)別方法,抽象出了符合海霧監(jiān)測(cè)需求的決策樹(shù),并將此決策樹(shù)嵌入卷積神經(jīng)網(wǎng)絡(luò)中,建立對(duì)應(yīng)的深度神經(jīng)決策樹(shù)模型,對(duì)海霧進(jìn)行識(shí)別研究。本文方法如圖1 所示。
圖1 算法流程圖Fig.1 Overall algorithm flow chart
首先對(duì)云圖中提取的128 維的特征進(jìn)行預(yù)處理,如圖1(a)所示。使用零填充的方式將其填充為144 維的特征向量,并對(duì)填充后的特征向量進(jìn)行變換,轉(zhuǎn)換成大小為12×12 的特征矩陣,以滿足卷積網(wǎng)絡(luò)的輸入需求。之后將此特征矩陣輸入卷積網(wǎng)絡(luò),如圖1(b)所示。特征矩陣輸入卷積網(wǎng)絡(luò)后首先經(jīng)過(guò)conv0進(jìn)行處理,conv0 包含了一層卷積與批次歸一化(BatchNorm)[18]操作。隨后輸入4 組級(jí)聯(lián)的卷積塊block 進(jìn)行特征變換與學(xué)習(xí)。每個(gè)卷積塊block 都包含兩組卷積、批次歸一化以及ReLU 函數(shù)激活操作。卷積塊之間使用跳躍連接的方式進(jìn)行連接,以輸入的殘差為學(xué)習(xí)的目標(biāo),有助于梯度的反向傳播,加速網(wǎng)絡(luò)的學(xué)習(xí)。
卷積網(wǎng)絡(luò)最終輸出特征圖被展平為d維的特征向量x=(x1,x2,...,xd)。此時(shí)傳統(tǒng)的深度網(wǎng)絡(luò)通常直接使用全連接層將特征向量x映射到輸出類別空間中,如圖1(c)所示。雖然這種方式簡(jiǎn)單直接,但喪失了可解釋性,使得我們無(wú)法了解模型的推理過(guò)程。為使深度網(wǎng)絡(luò)在高精度的同時(shí)具備更加清晰的決策過(guò)程,符合海霧監(jiān)測(cè)的常規(guī)流程,本文根據(jù)海霧識(shí)別的需求建立了二叉決策樹(shù),并將其轉(zhuǎn)換為對(duì)應(yīng)的推理規(guī)則嵌入到深度網(wǎng)絡(luò)中進(jìn)行訓(xùn)練,使得網(wǎng)絡(luò)能夠按照預(yù)先建立的規(guī)則進(jìn)行推理。
2.4.2 海霧識(shí)別決策樹(shù)
本文建立的海霧識(shí)別二叉決策樹(shù)如圖1(e)所示。由圖可知,此決策樹(shù)符合常規(guī)的海霧監(jiān)測(cè)思想,圖中綠色標(biāo)注的節(jié)點(diǎn)為決策樹(shù)葉子節(jié)點(diǎn),對(duì)應(yīng)數(shù)據(jù)集中具體類別,分別為晴空海表(sea surface)、中高云(middle/high clouds)、低云(stratus)和海霧(sea fog)四類。灰色標(biāo)注的節(jié)點(diǎn)是非葉子節(jié)點(diǎn),為虛擬節(jié)點(diǎn),即數(shù)據(jù)集中并不存在對(duì)應(yīng)的具體類別,分別為整體(whole)、云(cloud)和低層云(low level cloud)。決策樹(shù)中父節(jié)點(diǎn)所對(duì)應(yīng)的類別與子節(jié)點(diǎn)所對(duì)應(yīng)的類別在邏輯上為父子關(guān)系。如海霧和低云的父節(jié)點(diǎn)為低層云,則表示低層云包含海霧和低云。通過(guò)此決策樹(shù)對(duì)輸入樣本進(jìn)行逐級(jí)判斷后,輸入樣本將歸屬到某葉子節(jié)點(diǎn),即晴空海表、中高云、低云和海霧中的一類。綜上,所建立的決策樹(shù)能夠從邏輯上完成海霧識(shí)別任務(wù),輸入樣本從決策樹(shù)根節(jié)點(diǎn)轉(zhuǎn)移至葉子節(jié)點(diǎn)即完成分類。
2.4.3 深度推理規(guī)則
為使得網(wǎng)絡(luò)能夠按照決策樹(shù)指定的規(guī)則進(jìn)行訓(xùn)練與推理,需在卷積網(wǎng)絡(luò)與決策樹(shù)之間建立聯(lián)系。本文基于卷積網(wǎng)絡(luò)的全連接層權(quán)重與目標(biāo)決策樹(shù)建立了可嵌入學(xué)習(xí)的推理規(guī)則來(lái)顯式約束網(wǎng)絡(luò)。推理規(guī)則是與目標(biāo)決策樹(shù)相對(duì)應(yīng)的樹(shù)形結(jié)構(gòu),不同之處在于推理規(guī)則的節(jié)點(diǎn)與卷積網(wǎng)絡(luò)的參數(shù)相關(guān)聯(lián),如圖1(d)所示。設(shè)y1,y2,...,y4分別表示晴空海表、中高云、低云和海霧四類。推理規(guī)則的葉子節(jié)點(diǎn)分別為w1,w2,...,w4,對(duì)應(yīng)圖1(c)全連接層y1,y2,...,y4的參數(shù),為d維的權(quán)重向量。推理規(guī)則的非葉子節(jié)點(diǎn)在全連接層中無(wú)對(duì)應(yīng)參數(shù),使用以非葉子節(jié)點(diǎn)為根節(jié)子樹(shù)的所有葉子節(jié)點(diǎn)的均值進(jìn)行填充[19],即w5=(w3+w4)/2,w6=(w2+w3+w4)/3,w7=(w1+w2+w3+w4)/4。推理規(guī)則可代替決策樹(shù)進(jìn)行推理,其葉節(jié)點(diǎn)與決策樹(shù)的節(jié)點(diǎn)一一對(duì)應(yīng),表示不同類別,并且節(jié)點(diǎn)權(quán)重與卷積網(wǎng)絡(luò)相關(guān)聯(lián),能夠?qū)W(wǎng)絡(luò)起到約束。從推理規(guī)則根節(jié)點(diǎn)轉(zhuǎn)移到葉節(jié)點(diǎn)即可完成推理,計(jì)算方式如下:
設(shè)輸入樣本經(jīng)卷積網(wǎng)絡(luò)處理后的特征為x=(x1,x2,...,xd),非葉節(jié)點(diǎn)i的子結(jié)點(diǎn)集合C(i)={C(i)1,C(i)2,...,C(i)n},則輸入樣本從父節(jié)點(diǎn)i轉(zhuǎn)移到子節(jié)點(diǎn)C(i)j,j=1,2,...,n的概率為
其中:p(nj+1|nj)表示從父節(jié)點(diǎn)nj轉(zhuǎn)移至子節(jié)點(diǎn)nj+1的概率,m為根節(jié)點(diǎn)到葉節(jié)點(diǎn)的路徑長(zhǎng)度,p(l)表示樣本從根節(jié)點(diǎn)轉(zhuǎn)移到葉節(jié)點(diǎn)l的概率,即樣本歸屬葉節(jié)點(diǎn)l對(duì)應(yīng)類別的概率。從根節(jié)點(diǎn)轉(zhuǎn)移至所有葉節(jié)點(diǎn)的概率計(jì)算完成后,選擇概率最大的作為網(wǎng)絡(luò)最終預(yù)測(cè)的類別:
其中:y? 表示網(wǎng)絡(luò)最終預(yù)測(cè)的類別,p(l)為從推理規(guī)則根節(jié)點(diǎn)轉(zhuǎn)移至葉節(jié)點(diǎn)l的概率,即樣本屬于類別l的概率。如圖1(d)展示了輸入的樣本為海霧時(shí)推理規(guī)則推理的過(guò)程,圖中標(biāo)注為紫色的部分即為輸入樣本的轉(zhuǎn)移路徑,節(jié)點(diǎn)旁數(shù)字表示從對(duì)應(yīng)的父節(jié)點(diǎn)轉(zhuǎn)移至子節(jié)點(diǎn)的概率。由圖可知,最終y4對(duì)應(yīng)的葉節(jié)點(diǎn)的概率為p1×p2×p3=50.4%,大于其它葉節(jié)點(diǎn)概率,因此海霧為網(wǎng)絡(luò)預(yù)測(cè)的類別。
2.4.4 損失函數(shù)
為顯式約束卷積網(wǎng)絡(luò)遵從決策規(guī)則的方式進(jìn)行推理,使用決策樹(shù)損失對(duì)網(wǎng)絡(luò)進(jìn)行約束。另外,卷積網(wǎng)絡(luò)原始分類損失表征模型預(yù)測(cè)類別與樣本真實(shí)類別之間的誤差大小,能夠引導(dǎo)模型參數(shù)進(jìn)行優(yōu)化,因此在決策樹(shù)損失的基礎(chǔ)上引入分類損失對(duì)網(wǎng)絡(luò)訓(xùn)練過(guò)程進(jìn)行監(jiān)督[19]。綜上,網(wǎng)絡(luò)損失函數(shù)如下所示:
其中:y為真實(shí)標(biāo)簽,為推理規(guī)則預(yù)測(cè)的類別概率,y? 為原始網(wǎng)絡(luò)的預(yù)測(cè)類別概率,λ為超參數(shù),用于控制模型原始分類損失與決策樹(shù)損失的比重。H(·,·)為交叉熵?fù)p失,如式(5)所示:
其中:p是樣本標(biāo)簽,q為模型的預(yù)測(cè)結(jié)果。
本文實(shí)驗(yàn)環(huán)境為64 位版本的Ubuntu16.04 操作系統(tǒng),CPU 為Intel Core i7-11700k,顯存為12 G 的NVIDIA GTX 3080Ti 顯卡。使用的編程語(yǔ)言為Python,采用了Pytorch,Sklearn 等框架。在模型的訓(xùn)練過(guò)程中,使用隨機(jī)值初始化權(quán)重,將批量大小設(shè)置為256,學(xué)習(xí)率設(shè)置為0.001,損失權(quán)重 λ設(shè)置為1[19],并使用Adam 作為優(yōu)化器進(jìn)行訓(xùn)練。為了測(cè)試本文模型在海霧識(shí)別中的有效性,將數(shù)據(jù)集按照8:2的比例隨機(jī)劃分為訓(xùn)練集和測(cè)試集,使用訓(xùn)練集對(duì)模型進(jìn)行訓(xùn)練并驗(yàn)證模型在測(cè)試集的性能,其中訓(xùn)練集包含16693 個(gè)樣本,測(cè)試集包含4173 個(gè)樣本。
為了定量評(píng)價(jià)本文方法是否能正確識(shí)別海霧區(qū)域,本文使用了命中率(probability of detection,POD,用Pd表示),誤判率(false alarm ratio,FAR,用Fr表示)和臨界成功指數(shù)(critical success index,CSI,用Cs表示)三種指標(biāo)對(duì)模型進(jìn)行了評(píng)價(jià),如下所示。
1) 命中率,模型正確識(shí)別正樣本數(shù)量與真實(shí)正樣本數(shù)量的比值,其值越大則模型錯(cuò)誤地將正樣本識(shí)別為負(fù)樣本的比例越小,即漏檢數(shù)量越少。
2) 誤判率,模型錯(cuò)誤識(shí)別的正樣本數(shù)量占所有識(shí)別為正樣本的比例,其值越小,模型錯(cuò)誤地將負(fù)樣本識(shí)別為正樣本的比例越小,即誤檢數(shù)量越少。
3) 臨界成功指數(shù),綜合了命中率和誤判率的結(jié)果,其值越高說(shuō)明模型的綜合性能越好。
上述公式中,真陽(yáng)性(true positive,TP)表示模型正確檢測(cè)到的正樣本數(shù)量,假陽(yáng)性(false positive,FP)表示模型錯(cuò)誤檢測(cè)到的正樣本數(shù)量,假陰性(false negative,FN)表示模型錯(cuò)誤檢測(cè)到負(fù)樣本數(shù)量。
為了確定卷積網(wǎng)絡(luò)的深度,對(duì)網(wǎng)絡(luò)中block 的組數(shù)進(jìn)行實(shí)驗(yàn)。本文以3 組block 模塊為初始,依次增加,實(shí)驗(yàn)結(jié)果如表1 所示。
表1 不同網(wǎng)絡(luò)層數(shù)實(shí)驗(yàn)結(jié)果Table 1 Experimental results of different network layers
由表可知,6 組block 網(wǎng)絡(luò)的中高云命中率最高,為91.99%,但其誤判率較高為11.67%,對(duì)于其它類別,4 組block 網(wǎng)絡(luò)命中率相對(duì)較高。從平均評(píng)價(jià)指標(biāo)來(lái)看,4 組block 網(wǎng)絡(luò)最高,平均臨界成功指數(shù)為77.36%。綜合考慮識(shí)別精度與效率,選擇4 組block網(wǎng)絡(luò)為訓(xùn)練模型。
為了探討不同形式卷積網(wǎng)絡(luò)對(duì)模型識(shí)別海霧的影響,分別使用二維卷積網(wǎng)絡(luò)(CNN_2D)與一維卷積網(wǎng)絡(luò)(CNN_1D)構(gòu)建深度決策樹(shù)進(jìn)行對(duì)比。一維卷積網(wǎng)絡(luò)除了將二維卷積替換為一維卷積外,其余結(jié)構(gòu)與二維卷積網(wǎng)絡(luò)相同。不同卷積網(wǎng)絡(luò)識(shí)別結(jié)果如表2所示。
表2 不同卷積網(wǎng)絡(luò)結(jié)果對(duì)比Table 2 Comparison of results of different convolution networks
由表可知,一維卷積網(wǎng)絡(luò)的平均命中率為83.42%,平均誤判率為16.33%,平均臨界成功指數(shù)為72.20%,二維卷積網(wǎng)絡(luò)的平均命中率為87.32%,平均誤判率為13.19%,平均臨界成功指數(shù)為77.36%。二維卷積網(wǎng)絡(luò)在識(shí)別精度上相比于一維卷積網(wǎng)絡(luò)有較大的提升。這表明二維卷積網(wǎng)絡(luò)能夠?qū)W習(xí)更有效的特征組合模式,增強(qiáng)了不同類別樣本的特征區(qū)分度,因此提高了對(duì)應(yīng)模型的識(shí)別精度。
為了驗(yàn)證紋理特征以及決策樹(shù)監(jiān)督損失對(duì)模型識(shí)別海霧的影響,分別對(duì)深度決策樹(shù)的紋理特征與決策樹(shù)損失進(jìn)行消融實(shí)驗(yàn),結(jié)果如表3 所示。
表3 消融結(jié)果對(duì)比Table 3 Comparison of ablation results
表中,ATF 表示消融紋理特征后的模型(ablationtexture features,ATF),ATL 表示消融決策樹(shù)損失后的模型(ablation tree loss,ATL),WOA 表示未進(jìn)行消融的模型(without ablation,WOA)。由表可知,消融紋理特征后模型的平均命中率為81.24%,平均誤判率為19.03%,平均臨界成功指數(shù)為68.65%,引入紋理特征后模型的性能得到了提升,平均命中率為87.32%,平均誤判率為13.19%,平均臨界成功指數(shù)為77.36%。上述現(xiàn)象表明紋理特征能夠有效區(qū)分不同類別的樣本,提升模型的識(shí)別精度。對(duì)比表中ATL 與WOA 兩種方法可知,引入決策樹(shù)損失后模型的精度得到了一定的提升,平均命中率提升1.98%,平均誤判率下降1.47%,平均臨界成功指數(shù)提升2.58%,不同類別的識(shí)別精度也得到了提升。這不僅表明引入決策樹(shù)損失能夠有效地監(jiān)督模型,也間接說(shuō)明本文所建立的決策樹(shù)具有區(qū)分不同類別樣本的能力。
為了客觀地評(píng)價(jià)本文方法在海霧監(jiān)測(cè)中的應(yīng)用潛力,使用測(cè)試集對(duì)該模型進(jìn)行了測(cè)試,并展示了測(cè)試結(jié)果的混淆矩陣,如表4 所示。
表4 模型分類混淆矩陣Table 4 Confusion matrix of model
由表可知,本文模型對(duì)于中高云和晴空海表具有較強(qiáng)的區(qū)分能力,這與云圖影像中所展示的跡象相一致。中高云和晴空海表的圖像特征通常比低層云霧更明顯。由于海霧和低云在組成成分、光學(xué)特征和物理性質(zhì)十分接近,海霧上升演變?yōu)榈驮疲驮葡陆党蔀楹lF,因此識(shí)別低層云霧相比其它類別更加困難。本文模型在區(qū)分低云和海霧的能力上有一定的改進(jìn)空間。對(duì)于這種差異,下一步可以考慮結(jié)合不同區(qū)域、時(shí)間段樣本以及多衛(wèi)星觀測(cè)資料,充分挖掘海霧的空間特征,來(lái)提高模型的鑒別能力。
為了驗(yàn)證本文方法對(duì)海霧識(shí)別的決策過(guò)程具備可解釋性,對(duì)2020 年6 月2 日出現(xiàn)在黃渤海區(qū)域的海霧進(jìn)行了識(shí)別,并可視化了模型識(shí)別海霧的推理過(guò)程,如圖2 所示。
其中圖2(a) 為模型識(shí)別結(jié)果,識(shí)別出的海霧標(biāo)記為綠色,圖2(b) 為模型對(duì)經(jīng)緯度為120.4°E,38.4°N的樣本點(diǎn)A 的推理過(guò)程,節(jié)點(diǎn)旁邊文字代表節(jié)點(diǎn)的類別,數(shù)字代表樣本點(diǎn)A 歸屬本節(jié)點(diǎn)類別的概率。圖中標(biāo)記為紫色路徑的節(jié)點(diǎn)為模型對(duì)樣本A 的推理路徑,即A 以91%的概率歸屬云(cloud),然后以98%的概率歸屬低層云(low level cloud),最后以99%的概率歸屬海霧(sea fog)類別。樣本A 最終歸屬海霧類別的概率為推理路徑上所有概率的乘積,即91%×98%×99%=88%。模型預(yù)測(cè)A 為海霧節(jié)點(diǎn)的概率大于其它三個(gè)葉子節(jié)點(diǎn)的概率,因此樣本A 最終的類別為海霧。上述現(xiàn)象表明深度決策樹(shù)模型對(duì)海霧進(jìn)行識(shí)別時(shí)能夠按照預(yù)先建立的決策規(guī)則對(duì)樣本進(jìn)行逐層判斷,符合常規(guī)的海霧識(shí)別監(jiān)測(cè)流程,具有較好的可解釋性。
圖2 模型推理示例Fig.2 An example of the model inference process
為了驗(yàn)證算法的有效性,本文進(jìn)行了對(duì)比實(shí)驗(yàn)。對(duì)比模型包括支持向量機(jī)(support vector machine,SVM)、決策樹(shù)(decision tree,DT)與卷積神經(jīng)網(wǎng)絡(luò)ResNet[20]。將上述模型的識(shí)別結(jié)果與本文模型進(jìn)行比較,分析不同模型在海霧識(shí)別中的有效性。不同模型使用POD、FAR 和CSI 進(jìn)行評(píng)估,結(jié)果如表5 所示。
表5 不同海霧識(shí)別方法分類結(jié)果對(duì)比Table 5 Classification accuracy of different sea fog recognition methods
從單類別的角度來(lái)看,對(duì)于中高云,不同模型均具有相對(duì)較高的臨界成功指數(shù),其中決策樹(shù)最低為68.07%,本文方法最高為83.44%。對(duì)于晴空海表,ResNet 的臨界成功指數(shù)最高為88.36%,其次是本文方法為85.99%,決策樹(shù)最低為69.43%。海霧和低云相比于中高云、晴空海表來(lái)說(shuō),模型的識(shí)別精度較低。本文方法對(duì)低云和海霧的臨界成功指數(shù)分別為68.23%和71.78%,ResNet 的臨界成功指數(shù)分別為68.94%、71.74%,基于傳統(tǒng)機(jī)器學(xué)習(xí)模型的方法相對(duì)較差。從不同方法類型來(lái)看,對(duì)于機(jī)器學(xué)習(xí)方法,支持向量機(jī)相比于決策樹(shù)具有更好的性能,平均命中率為79.39%,平均誤判率為20.19%,平均臨界成功指數(shù)為67.07%。深度學(xué)習(xí)方法相比于傳統(tǒng)機(jī)器學(xué)習(xí)方法具有較大的提高。對(duì)于深度學(xué)習(xí)方法,本文方法對(duì)中高云和海霧的臨界成功指數(shù)分別為83.44%、71.78%,識(shí)別效果優(yōu)于ResNet,而對(duì)于低云和晴空海表的識(shí)別效果相對(duì)較差。ResNet 的平均命中率為87.58%,平均誤判率為12.67%,平均臨界成功指數(shù)為78.05%,整體的性能最優(yōu)。本文方法的平均命中率為87.32%,平均誤判率為13.19%,平均臨界成功指數(shù)為77.36%,略低于ResNet。上述現(xiàn)象表明,相比其它類別,海霧與低云的識(shí)別難度較高,傳統(tǒng)機(jī)器學(xué)習(xí)模型難以有效地對(duì)它們進(jìn)行區(qū)分,本文將顯式的決策規(guī)則引入卷積網(wǎng)絡(luò)中,建立的深度決策樹(shù)模型能夠有效地對(duì)海霧進(jìn)行識(shí)別,整體識(shí)別精度能夠達(dá)到常規(guī)深度學(xué)習(xí)方法的水平,并且具有較好的可解釋性。
為了更加直觀地比較模型,本文選取了2020 年6 月5 日出現(xiàn)在黃渤海區(qū)域的海霧天氣進(jìn)行分析。使用不同模型對(duì)UTC 18:20 時(shí)刻的衛(wèi)星云圖進(jìn)行海霧識(shí)別,結(jié)果如圖3 所示。
圖3 黃渤海區(qū)域2020 年6 月5 日UTC 18:20 時(shí)刻的海霧識(shí)別圖Fig.3 Sea fog identification result at UTC 18:20 on June 5,2020 in the Yellow Sea and Bohai Sea
圖中3(a)、3(b)、3(c)、3(d)分別為通過(guò)SVM 模型、決策樹(shù)、ResNet 以及深度決策樹(shù)進(jìn)行預(yù)測(cè)的海霧識(shí)別圖。圖中黑色實(shí)線表示星載激光雷達(dá)在該時(shí)間段的運(yùn)行軌跡線,軌跡線標(biāo)記為青色的部分是通過(guò)星載激光雷達(dá)資料判定為海霧樣本的像元。圖中綠色部分為模型識(shí)別為海霧的區(qū)域。由圖可知,相比深度學(xué)習(xí)模型,傳統(tǒng)機(jī)器學(xué)習(xí)模型海霧識(shí)別效果較差。支持向量機(jī)與決策樹(shù)模型都產(chǎn)生了不同程度的漏檢,錯(cuò)誤識(shí)別星載激光雷達(dá)軌跡線上標(biāo)記的海霧樣本。ResNet 與深度決策樹(shù)基本完全識(shí)別出星載激光雷達(dá)軌跡線上的海霧樣本,效果較優(yōu)。上述現(xiàn)象說(shuō)明基于深度決策樹(shù)模型進(jìn)行海霧識(shí)別具有較好的性能。
國(guó)家氣象中心發(fā)布了海霧預(yù)報(bào):2020 年6 月5日夜間到6 日白天,由于偏南暖濕氣流加強(qiáng),導(dǎo)致黃海中部和南部海域、山東南部和江蘇東部沿岸海域能見(jiàn)度小于1 km,出現(xiàn)了海霧天氣,影響了我國(guó)北方海域。本文利用深度決策樹(shù)模型對(duì)此次海霧過(guò)程進(jìn)行了分析。圖4 給出了基于深度決策樹(shù)對(duì)2020 年6 月5 日UTC 15:00~20:00 整點(diǎn)時(shí)刻的海霧監(jiān)測(cè)結(jié)果。由海霧監(jiān)測(cè)結(jié)果可知,在15:00 時(shí)刻海霧出現(xiàn)在黃海西部沿岸區(qū)域,主體呈三角狀,少量散布于渤海沿岸;15:00~20:00 之間,海霧處于發(fā)展期,主體逐漸向南、東、北方向進(jìn)行蔓延;到20:00 時(shí)刻,海霧主體擴(kuò)張到最大,南至33°N,北至37°N,東至125°E 附近。海霧主體接壤山東半島,跨越黃海中部,延伸至朝鮮半島西部。監(jiān)測(cè)結(jié)果清晰地展現(xiàn)了本次海霧動(dòng)態(tài)發(fā)展、穩(wěn)定的過(guò)程。
圖4 黃渤海區(qū)域2020 年6 月5 日UTC 15:00~20:00 海霧監(jiān)測(cè)圖Fig.4 The monitoring results of sea fog in the Yellow Sea and Bohai Sea from 15:00 to 20:00 UTC on June 5,2020
海霧因其惡劣的能見(jiàn)度而對(duì)海上及沿岸地區(qū)的交通運(yùn)輸、海洋捕撈和海洋開(kāi)發(fā)工程以及軍事活動(dòng)等造成不良影響,因此對(duì)于海霧的實(shí)時(shí)監(jiān)測(cè)和預(yù)報(bào)就顯得尤為重要。目前,越來(lái)越多的研究人員開(kāi)始借助深度學(xué)習(xí)方法來(lái)進(jìn)行海霧的識(shí)別,但深度學(xué)習(xí)通常對(duì)標(biāo)簽具有較高要求,需要專業(yè)的云圖分析專家對(duì)海霧進(jìn)行標(biāo)注,是一項(xiàng)艱巨而繁瑣的工作,而且難以對(duì)深度學(xué)習(xí)方法進(jìn)行合理解釋。為了解決這些問(wèn)題,本文利用Himawari-8 靜止衛(wèi)星與星載激光雷達(dá)對(duì)海霧進(jìn)行標(biāo)注,提取其亮溫特征和紋理特征,并構(gòu)建深度決策樹(shù)模型對(duì)夜間海霧進(jìn)行自動(dòng)識(shí)別。通過(guò)實(shí)驗(yàn)對(duì)模型有效性進(jìn)行了分析并與不同模型進(jìn)行了對(duì)比,結(jié)果表明,該方法在較高精度識(shí)別海霧的同時(shí)具備可解釋性,可作為實(shí)踐中進(jìn)行識(shí)別海霧的輔助工具。當(dāng)然,該方法也還存在一些不足之處,區(qū)分海霧和低云的能力還有提升空間,未來(lái)可進(jìn)一步研究海霧與低云的物理性質(zhì)差異、結(jié)合多衛(wèi)星觀測(cè)數(shù)據(jù)提取更具辨別度的特征,以及借助生成對(duì)抗網(wǎng)絡(luò)生成夜間偽可見(jiàn)光數(shù)據(jù)等方式,提升模型識(shí)別海霧的能力。