項(xiàng)海兵, 吳 濤, 張玉營(yíng), 盛佳佳
(1.中國(guó)電子科技集團(tuán)公司第三十八研究所, 安徽合肥 230088;2.孔徑陣列與空間探測(cè)安徽省重點(diǎn)實(shí)驗(yàn)室, 安徽合肥 230088)
機(jī)載合成孔徑雷達(dá)(SAR)作為一種對(duì)地觀測(cè)手段,具有全天候、全天時(shí)、探測(cè)距離遠(yuǎn)、幅寬大、響應(yīng)快速、分辨率高等諸多優(yōu)點(diǎn)。目前國(guó)內(nèi)外已發(fā)展了大量的機(jī)載SAR系統(tǒng),廣泛應(yīng)用于各個(gè)方面,如土地利用分類(lèi)、地形測(cè)繪、災(zāi)害監(jiān)測(cè)、海洋油污監(jiān)測(cè)、目標(biāo)檢測(cè)識(shí)別等[1-3]。針對(duì)機(jī)載SAR系統(tǒng)來(lái)說(shuō),SAR圖像處理方式包括在線處理和離線處理兩種。在線處理指飛行采集數(shù)據(jù)的同時(shí),針對(duì)輸出的每幀圖像實(shí)時(shí)進(jìn)行顯示、存儲(chǔ)和處理等;離線處理指飛行時(shí)僅采集數(shù)據(jù),飛行后在地面再對(duì)圖像數(shù)據(jù)進(jìn)行存儲(chǔ)、顯示和處理等。
SAR圖像解譯是當(dāng)前機(jī)載SAR系統(tǒng)應(yīng)用的瓶頸問(wèn)題,主要體現(xiàn)在以下三個(gè)方面:(1)海量SAR圖像數(shù)據(jù)的存儲(chǔ)管理需求。一般地,機(jī)載SAR系統(tǒng)每次飛行任務(wù)都會(huì)產(chǎn)生至少幾百個(gè)GB的回波數(shù)據(jù)和圖像數(shù)據(jù)。不同類(lèi)型的數(shù)據(jù)需要分類(lèi)存儲(chǔ),海量的歷史數(shù)據(jù)需要有效的存儲(chǔ)和管理,只有通過(guò)足夠大的數(shù)據(jù)中心、合適的數(shù)據(jù)庫(kù)工具,才能有序管理數(shù)據(jù)。然而,實(shí)際應(yīng)用中SAR數(shù)據(jù)通常采用硬盤(pán)的形式保存,雜亂無(wú)序,缺乏有效的數(shù)據(jù)庫(kù)記錄,不利于圖像的深入挖掘。因此,迫切需要對(duì)SAR數(shù)據(jù)進(jìn)行有效的管理。(2)SAR圖像數(shù)據(jù)的態(tài)勢(shì)顯示需求。機(jī)載SAR系統(tǒng)獲取的連續(xù)SAR圖像數(shù)據(jù)如何在地理信息系統(tǒng)中顯示、準(zhǔn)確定位,是圖像準(zhǔn)確判圖基礎(chǔ)。隨著SAR系統(tǒng)性能越來(lái)越高,如分辨率越來(lái)越高、圖像越來(lái)越大,在解譯端開(kāi)展SAR圖像數(shù)據(jù)顯示分析的壓力也越來(lái)越大。當(dāng)前的普遍問(wèn)題是:(a)SAR圖像只是進(jìn)行了縮略圖顯示,沒(méi)有進(jìn)行全分辨率圖的解譯分析;(b)SAR圖像沒(méi)有與地理信息融合,無(wú)法判明當(dāng)前SAR圖像覆蓋區(qū)域的地理環(huán)境;(c)大圖像數(shù)據(jù)的更新顯示緩慢。如今GIS技術(shù)日趨成熟,如何將SAR圖像與GIS結(jié)合,解決流暢顯示和準(zhǔn)確定位的問(wèn)題迫在眉睫。(3)SAR圖像快速解譯的需求。時(shí)效性是圖像判讀的重要指標(biāo)。當(dāng)前,SAR圖像信息提取的實(shí)時(shí)性還比較弱。一方面,面對(duì)海量圖像數(shù)據(jù),人工判讀速度相對(duì)慢;另一方面由于目標(biāo)的多樣性,很難找到統(tǒng)一的檢測(cè)、識(shí)別方法,計(jì)算機(jī)輔助功能弱。同時(shí),計(jì)算資源的約束也是一個(gè)重要的影響因素。
針對(duì)以上應(yīng)用需求,本文提出了一種機(jī)載SAR圖像解譯系統(tǒng)的解決方案。系統(tǒng)采用客戶(hù)端/服務(wù)器端(C/S)架構(gòu),客戶(hù)端完成數(shù)據(jù)顯示和用戶(hù)交互,服務(wù)器端完成數(shù)據(jù)存儲(chǔ)服務(wù)和圖像解譯計(jì)算服務(wù)。
機(jī)載SAR圖像解譯系統(tǒng)采用客戶(hù)端/服務(wù)器端(C/S)架構(gòu)。系統(tǒng)架構(gòu)如圖1所示,其組成包括數(shù)據(jù)管理軟件、數(shù)據(jù)態(tài)勢(shì)顯示軟件、圖像解譯標(biāo)繪軟件三個(gè)客戶(hù)端應(yīng)用軟件,以及數(shù)據(jù)服務(wù)軟件和計(jì)算服務(wù)軟件兩個(gè)后臺(tái)服務(wù)軟件。
圖1 系統(tǒng)軟件組成和架構(gòu)圖
1) 數(shù)據(jù)服務(wù)軟件提供各種數(shù)據(jù)的存儲(chǔ)和分發(fā)服務(wù);數(shù)據(jù)主要包括SAR圖像、GMTI航跡數(shù)據(jù)、目標(biāo)檢測(cè)結(jié)果和用戶(hù)等業(yè)務(wù)數(shù)據(jù)和矢量電子地圖、影像地圖等基礎(chǔ)地理數(shù)據(jù)。
2) 計(jì)算服務(wù)軟件具有基于并行計(jì)算實(shí)現(xiàn)圖像解譯的核心計(jì)算功能,如圖像預(yù)處理、目標(biāo)檢測(cè)與識(shí)別、變化檢測(cè)等。
3) 數(shù)據(jù)管理軟件實(shí)現(xiàn)在線或離線圖像數(shù)據(jù)、動(dòng)目標(biāo)數(shù)據(jù)、情報(bào)數(shù)據(jù)和地理數(shù)據(jù)的存儲(chǔ)、管理、備份和導(dǎo)入導(dǎo)出等;與數(shù)據(jù)服務(wù)系統(tǒng)之間采用C/S(客戶(hù)端/服務(wù)器)架構(gòu),可部署在不同的終端,支持不同用戶(hù)協(xié)同操作。
4) 數(shù)據(jù)態(tài)勢(shì)顯示軟件實(shí)現(xiàn)圖像/動(dòng)目標(biāo)實(shí)時(shí)瀏覽、標(biāo)繪、數(shù)據(jù)查詢(xún)等。
5) 圖像解析標(biāo)繪軟件實(shí)現(xiàn)圖像/動(dòng)目標(biāo)實(shí)時(shí)瀏覽、人工解譯、目標(biāo)檢測(cè)與識(shí)別、變化檢測(cè)等。
針對(duì)存儲(chǔ)海量數(shù)據(jù)(SAR影像數(shù)據(jù)、航跡數(shù)據(jù)、目標(biāo)數(shù)據(jù)、電子地圖數(shù)據(jù)),且需支持多用戶(hù)聯(lián)合操作、實(shí)時(shí)處理、數(shù)據(jù)共享等需求,搭建一個(gè)小型的服務(wù)器/客戶(hù)端架構(gòu)(或者擴(kuò)展為分布式架構(gòu))的系統(tǒng),如圖2所示。系統(tǒng)包括數(shù)據(jù)服務(wù)器、計(jì)算服務(wù)器以及多個(gè)用戶(hù)終端。數(shù)據(jù)服務(wù)器主要完成數(shù)據(jù)存儲(chǔ)管理,計(jì)算服務(wù)器主要完成涉及大數(shù)據(jù)量運(yùn)算的圖像處理。用戶(hù)終端是用戶(hù)的主要操作界面,用戶(hù)提交數(shù)據(jù)請(qǐng)求、功能請(qǐng)求等,服務(wù)器端響應(yīng)請(qǐng)求,執(zhí)行相關(guān)操作并返回結(jié)果。
圖2 便攜式情報(bào)終端硬件架構(gòu)設(shè)計(jì)
所有的服務(wù)器與客戶(hù)端都支持靈活部署,可分布在不同的機(jī)器,亦可分布在同一機(jī)器。通過(guò)簡(jiǎn)單配置,即可實(shí)現(xiàn)網(wǎng)絡(luò)環(huán)境下的協(xié)同工作和單機(jī)環(huán)境下的緊湊型工作。
本系統(tǒng)的主要關(guān)鍵技術(shù)包括多源異構(gòu)海量數(shù)據(jù)管理技術(shù)、基于OSGEarth的地圖和圖像疊加顯示技術(shù)、大圖像壓縮顯示技術(shù)和基于深度學(xué)習(xí)的目標(biāo)自動(dòng)檢測(cè)與識(shí)別技術(shù)。
采用結(jié)構(gòu)化關(guān)系型空間數(shù)據(jù)庫(kù)和非結(jié)構(gòu)化的NoSQL數(shù)據(jù)庫(kù)相結(jié)合的混合空間數(shù)據(jù)存儲(chǔ)管理系統(tǒng),實(shí)現(xiàn)影像數(shù)據(jù)、地理信息數(shù)據(jù)、目標(biāo)數(shù)據(jù)等海量空間數(shù)據(jù)的分布式存儲(chǔ)管理,解決海量空間數(shù)據(jù)的存儲(chǔ)和快速并行訪問(wèn)問(wèn)題。
SAR圖像數(shù)據(jù)的單個(gè)文件較大,達(dá)到GB級(jí)規(guī)模,不適合關(guān)系型數(shù)據(jù)管理。因此,采用文件系統(tǒng)和關(guān)系型數(shù)據(jù)庫(kù)相結(jié)合的管理模式。關(guān)系型數(shù)據(jù)庫(kù)存儲(chǔ)影像數(shù)據(jù)的元數(shù)據(jù)信息;文件系統(tǒng)存儲(chǔ)實(shí)際的影像數(shù)據(jù)。在檢索影像數(shù)據(jù)時(shí),首先在元數(shù)據(jù)庫(kù)中檢索影像的元數(shù)據(jù),檢索到之后再根據(jù)記錄的影像文件地址,獲取影像數(shù)據(jù)。
由于矢量數(shù)據(jù)規(guī)模中等查詢(xún)復(fù)雜,因此采用基于關(guān)系數(shù)據(jù)庫(kù)的空間數(shù)據(jù)庫(kù)進(jìn)行管理??臻g數(shù)據(jù)庫(kù)主要采用PostgreSQL數(shù)據(jù)庫(kù)+PostGIS空間插件。
對(duì)于用作背景的柵格影像地圖采用NoSQL數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)管理;MongoDB數(shù)據(jù)庫(kù)是一種文檔類(lèi)型數(shù)據(jù)NoSQL數(shù)據(jù)庫(kù),具有讀寫(xiě)速度快、支持較復(fù)雜結(jié)構(gòu)數(shù)據(jù)和易于擴(kuò)展的特點(diǎn)。MongoDB 將數(shù)據(jù)存儲(chǔ)為一個(gè)文檔,數(shù)據(jù)結(jié)構(gòu)由鍵值(key?value)對(duì)組成。基于MongoDB數(shù)據(jù)庫(kù)創(chuàng)建的地圖影像底圖數(shù)據(jù)庫(kù),用于存儲(chǔ)影像瓦片圖數(shù)據(jù)。數(shù)據(jù)庫(kù)表結(jié)構(gòu)內(nèi)容如表1所示。
表1 瓦片數(shù)據(jù)庫(kù)表結(jié)構(gòu)
機(jī)載SAR圖像解譯系統(tǒng)中態(tài)勢(shì)顯示作為其核心顯示模塊需具有極高的性能要求,不僅需要顯示地圖底圖,還需要疊加顯示大數(shù)量的SAR圖像數(shù)據(jù),同時(shí)支持大量的人機(jī)交互操作。為了更好的性能和用戶(hù)體驗(yàn),本文選擇采用OSGEarth作為態(tài)勢(shì)地圖的核心驅(qū)動(dòng)技術(shù),重點(diǎn)解決地圖和圖像的疊加顯示問(wèn)題。
1) 地圖數(shù)據(jù)加載
OSGEarth是基于三維引擎OSG開(kāi)發(fā)的三維數(shù)字地球引擎庫(kù),在OSG基礎(chǔ)上實(shí)現(xiàn)了瓦片調(diào)度插件,可選的四叉樹(shù)調(diào)度插件,更多的地理數(shù)據(jù)加載插件(包括GDAL,OGR,WMS,TMS,VPB,F(xiàn)ILESYSTEM等),再結(jié)合一套地理投影轉(zhuǎn)換插件,從而實(shí)現(xiàn)高效處理加載調(diào)度地理數(shù)據(jù)在三維地球上的顯示,實(shí)現(xiàn)三維虛擬地球。
OSGEarth使用自己的earth文件,簡(jiǎn)單指定各種數(shù)據(jù)源,而不用關(guān)心數(shù)據(jù)如何渲染,便能顯示各種地理數(shù)據(jù)。OSGEarth加載地圖數(shù)據(jù)整體流程如圖3所示。
圖3 OSGEarth數(shù)據(jù)加載整體流程
2) 圖像數(shù)據(jù)加載
SAR圖像解析系統(tǒng)圖像數(shù)據(jù)加載通過(guò)請(qǐng)求圖像切片服務(wù),實(shí)現(xiàn)對(duì)顯示的圖像進(jìn)行切片和縮略圖生成,通過(guò)OSGEarth的ImageOverlay控件進(jìn)行圖像顯示。圖像數(shù)據(jù)加載流程如圖4所示。
圖4 圖像數(shù)據(jù)加載處理流程
(1) 新增圖像:當(dāng)主軟件客戶(hù)端需要新增圖像時(shí),通過(guò)http協(xié)議發(fā)送注冊(cè)圖像請(qǐng)求至圖像切片服務(wù)軟件,服務(wù)判斷圖像是否存、返回注冊(cè)結(jié)果。在返回注冊(cè)成功后,獲取圖像縮略圖和圖像切片數(shù)據(jù),并在地圖上顯示。
(2) 地圖刷新:當(dāng)?shù)貓D顯示進(jìn)行移動(dòng)、比例尺變化時(shí),通過(guò)http重新請(qǐng)求圖像切片數(shù)據(jù),并刷新圖像顯示。
(3) 圖像平移:在用戶(hù)提交圖像平移處理后,根據(jù)平移的偏移量發(fā)送平移矯正請(qǐng)求后重新獲取圖像切片數(shù)據(jù),并刷新圖像顯示。
單幅SAR圖像的像素?cái)?shù)量可能在32 768× 32 768以上,其大小至少在1 GB以上。對(duì)于如此大圖像數(shù)據(jù)的傳輸和顯示,給系統(tǒng)的穩(wěn)定、流暢運(yùn)行帶來(lái)了壓力。本系統(tǒng)在這方面重點(diǎn)進(jìn)行了突破,采用多分辨率金字塔壓縮技術(shù),實(shí)現(xiàn)對(duì)大圖像的壓縮,并根據(jù)顯示比例,快速調(diào)用對(duì)應(yīng)級(jí)別的圖像。
在GIS中,圖像都是柵格數(shù)據(jù),其物理存儲(chǔ)采用“金字塔層-波段-數(shù)據(jù)分塊”的多級(jí)索引機(jī)制進(jìn)行組織,采用金字塔結(jié)構(gòu)存放多種空間分辨率的柵格數(shù)據(jù),同一分辨率的柵格數(shù)據(jù)被組織在一個(gè)層面(Layer)內(nèi),而不同分辨率的柵格數(shù)據(jù)具有上下的垂直組織關(guān)系;越靠近頂層,數(shù)據(jù)的分辨率越小,數(shù)據(jù)量也越小,只能反映原始數(shù)據(jù)的概貌;越靠近底層,數(shù)據(jù)的分辨率越大,數(shù)據(jù)量也越大,更能反映原始詳情。
金字塔通過(guò)檢索使用指定分辨率(取決于顯示要求)的數(shù)據(jù),可以加快柵格數(shù)據(jù)的顯示速度[4]。利用金字塔,可在繪制整個(gè)數(shù)據(jù)時(shí),快速顯示較低分辨率的數(shù)據(jù)副本。而隨著放大操作的進(jìn)行,各個(gè)更精細(xì)的分辨率等級(jí)將逐漸得到繪制,但性能將保持不變。如果不使用金字塔等級(jí),則必須從磁盤(pán)中讀取整個(gè)數(shù)據(jù)文件,然后將其重采樣為更小的大小。
式中,En—林木資源資產(chǎn)經(jīng)濟(jì)價(jià)值量;W—銷(xiāo)售總收入;C—林木資源資產(chǎn)的各項(xiàng)經(jīng)營(yíng)成本;F—林木資源資產(chǎn)經(jīng)營(yíng)期間的合理利潤(rùn)。
每個(gè)柵格數(shù)據(jù)只需構(gòu)建一次金字塔,之后每次查看柵格數(shù)據(jù)時(shí)都會(huì)訪問(wèn)這些金字塔。柵格數(shù)據(jù)越大,創(chuàng)建金字塔所花費(fèi)的時(shí)間越長(zhǎng),這也意味著將來(lái)顯示會(huì)節(jié)省更多時(shí)間。
圖5為金字塔構(gòu)建模型。在構(gòu)建圖像金字塔時(shí),由低一層圖像得到高一層圖像的過(guò)程一般是:先濾波,然后以2為步長(zhǎng)進(jìn)行采樣。根據(jù)金字塔的不同,所采取的濾波操作也不同,如采用鄰域平均可以生成均值金字塔,采用高斯低通濾波可以生成高斯金字塔等。
圖5 影像金字塔構(gòu)建模型
國(guó)內(nèi)針對(duì)SAR圖像的目標(biāo)檢測(cè)與識(shí)別的研究已經(jīng)有20多年的歷史,一直是SAR圖像解譯應(yīng)用的核心任務(wù)[5-6]。近年來(lái),隨著深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)技術(shù)的發(fā)展,傳統(tǒng)基于先驗(yàn)知識(shí)進(jìn)行目標(biāo)模板匹配和機(jī)器學(xué)習(xí)的方法已經(jīng)落后,主流的研究是采用訓(xùn)練樣本數(shù)據(jù)進(jìn)行深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型參數(shù)訓(xùn)練,得到目標(biāo)識(shí)別網(wǎng)絡(luò)模型,再將網(wǎng)絡(luò)模型應(yīng)用于SAR圖像的目標(biāo)檢測(cè)與識(shí)別。對(duì)本系統(tǒng)來(lái)說(shuō),需要將深度學(xué)習(xí)目標(biāo)檢測(cè)與識(shí)別網(wǎng)絡(luò)進(jìn)行工程應(yīng)用[7]。
目前,深度學(xué)習(xí)目標(biāo)檢測(cè)識(shí)別分為兩大類(lèi)算法,一種是“兩階段”算法,一種是“單階段”算法?!皟呻A段”就是常見(jiàn)的基于候選區(qū)的目標(biāo)檢測(cè)方法,包括RCNN系列和RPN等,比較代表性的為Faster RCNN;“單階段”是單次檢測(cè)器,代表性的有YOLO(You Only Look Once)、SSD(Single Shot Detection)等。
“兩階段”方法主要是通過(guò)區(qū)域估計(jì)產(chǎn)生大量的可能包含待檢測(cè)物體的潛在目標(biāo)框,再用分類(lèi)器去判斷每個(gè)目標(biāo)框里是否包含有物體,以及物體所屬類(lèi)別的概率或者置信度,如RCNN, Fast RCNN, Faster RCNN等,這類(lèi)算法由于速度問(wèn)題,始終未達(dá)到工業(yè)應(yīng)用的要求[8-9]。
“單階段”方法將物體檢測(cè)任務(wù)作為一個(gè)回歸問(wèn)題來(lái)處理,使用一個(gè)神經(jīng)網(wǎng)絡(luò),直接從一幅圖像來(lái)預(yù)測(cè)出目標(biāo)框的坐標(biāo)和置信度。代表性的方法就是YOLO V1,V2,V3系列以及SSD算法。YOLO V2在YOLO V1基礎(chǔ)上增加很多技巧,并增加輸出類(lèi)別至9 000類(lèi)。YOLO V3融合了FPN結(jié)構(gòu),增強(qiáng)了小目標(biāo)檢測(cè)能力。
通過(guò)關(guān)鍵技術(shù)攻關(guān),實(shí)現(xiàn)了機(jī)載SAR圖像解譯原型系統(tǒng),主要包括數(shù)據(jù)管理、SAR圖像顯示、SAR圖像目標(biāo)檢測(cè)識(shí)別等功能。
針對(duì)業(yè)務(wù)數(shù)據(jù),采用關(guān)系型數(shù)據(jù)庫(kù)進(jìn)行管理,主要包括對(duì)基本數(shù)據(jù)(用戶(hù)、項(xiàng)目等)、偵察數(shù)據(jù)(SAR圖像數(shù)據(jù))、處理結(jié)果數(shù)據(jù)(目標(biāo)檢測(cè)數(shù)據(jù))等的存儲(chǔ)、查詢(xún)、管理(添加、編輯、刪除)等操作。圖6所示為數(shù)據(jù)管理軟件中查詢(xún)SAR圖像的效果圖。用戶(hù)可以利用SAR圖像的目標(biāo)類(lèi)型、成像模式、極化、波段、地理位置、成像時(shí)間等信息,非常便捷地查詢(xún)到所需歷史數(shù)據(jù),并且可疊加在影像地圖上。
圖6 數(shù)據(jù)管理主界面(圖像查詢(xún)結(jié)果)
離線或者實(shí)時(shí)在線的SAR圖像數(shù)據(jù)都可以在地圖上進(jìn)行精確的疊加顯示,如圖7所示。地圖疊加顯示可方便用戶(hù)了解SAR圖像的成像范圍、背景信息,為判圖工作提供良好的解譯環(huán)境。
圖7 SAR圖像疊加顯示
對(duì)離線或者實(shí)時(shí)在線的SAR圖像數(shù)據(jù)都可以進(jìn)行目標(biāo)檢測(cè)識(shí)別操作,返回帶有目標(biāo)信息(位置、目標(biāo)類(lèi)型、大小、置信度等)的識(shí)別結(jié)果疊加顯示在地圖上,如圖8所示,亦可以結(jié)合背景地圖對(duì)識(shí)別結(jié)果進(jìn)一步人工判讀,刪除虛警目標(biāo),提交入庫(kù),并生成更準(zhǔn)確的情報(bào)信息。
圖8 自動(dòng)目標(biāo)檢測(cè)及目標(biāo)顯示
針對(duì)機(jī)載SAR系統(tǒng)應(yīng)用的海量SAR圖像數(shù)據(jù)的存儲(chǔ)管理、SAR圖像數(shù)據(jù)的態(tài)勢(shì)顯示、SAR圖像快速解譯等需求,本文提出了基于客戶(hù)端/服務(wù)器端(C/S)架構(gòu)的機(jī)載SAR圖像解譯系統(tǒng)的解決方案,并進(jìn)行了原型系統(tǒng)研發(fā),突破了海量數(shù)據(jù)的有序管理和查詢(xún)使用,有效地解決了海量SAR圖像數(shù)據(jù)的存儲(chǔ)管理問(wèn)題;實(shí)現(xiàn)了SAR圖像數(shù)據(jù)的高精度地圖疊加顯示,為圖像解譯奠定堅(jiān)實(shí)基礎(chǔ);集成了基于深度學(xué)習(xí)的智能檢測(cè)識(shí)別功能,可實(shí)現(xiàn)SAR圖像實(shí)時(shí)快速解譯。后續(xù),將進(jìn)一步優(yōu)化系統(tǒng)性能,提高運(yùn)行效率。