薛武 趙玲,2 王鵬

星地協(xié)同光學(xué)遙感影像目標(biāo)識別技術(shù)驗(yàn)證研究

薛武1趙玲1,2王鵬1

（1 航天工程大學(xué)，北京 101416）（291039部隊(duì)，北京 102400）

為了提高光學(xué)遙感衛(wèi)星信息處理的時(shí)效性，文章提出了星地協(xié)同光學(xué)遙感影像在軌目標(biāo)智能識別技術(shù)框架。將基于遙感大數(shù)據(jù)的深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練等數(shù)據(jù)量大、運(yùn)算量大、計(jì)算復(fù)雜、要求較高的處理任務(wù)部署在地面服務(wù)器，將深度學(xué)習(xí)訓(xùn)練得到的模型進(jìn)行壓縮并上注至衛(wèi)星，衛(wèi)星在軌利用輕量化模型對影像進(jìn)行推理計(jì)算，最后把目標(biāo)識別結(jié)果下傳至用戶。為了對所提出的技術(shù)框架進(jìn)行驗(yàn)證，在高性能服務(wù)器和嵌入式開發(fā)板上進(jìn)行了驗(yàn)證試驗(yàn)，利用YOLO-v5算法和DIOR遙感數(shù)據(jù)集進(jìn)行了測試，結(jié)果表明：在模擬星載計(jì)算環(huán)境下，處理100km2范圍1m分辨率遙感影像耗時(shí)17.74s，平均精確度（Mean Average Precision，mAP）為87.2%。文章提出的星地協(xié)同智能目標(biāo)識別技術(shù)框架實(shí)時(shí)性和精度上能夠滿足應(yīng)用需求，具備一定的可行性，可以進(jìn)一步開展在軌驗(yàn)證試驗(yàn)。

星地協(xié)同 目標(biāo)識別 深度學(xué)習(xí) 驗(yàn)證試驗(yàn) 遙感應(yīng)用

0 引言

經(jīng)過多年的建設(shè)發(fā)展，中國逐步構(gòu)建了比較完備的航天遙感、地理測繪、海洋監(jiān)測等對地觀測衛(wèi)星體系，在地理國情監(jiān)測、資源普查、基礎(chǔ)測繪等領(lǐng)域發(fā)揮了重要的作用，取得了顯著的經(jīng)濟(jì)和社會(huì)效益。特別在“高分”專項(xiàng)的持續(xù)推動(dòng)下，中國遙感衛(wèi)星進(jìn)入了空前發(fā)展時(shí)期，多平臺、多傳感器、多時(shí)相的海量對地觀測數(shù)據(jù)，為國民經(jīng)濟(jì)建設(shè)提供日益豐富的數(shù)據(jù)資源[1]。但受限于空間環(huán)境、質(zhì)量、體積、功耗等因素，目前遙感衛(wèi)星在軌信息處理能力較弱，主要完成數(shù)據(jù)采集和少量預(yù)處理工作。數(shù)據(jù)處理主要通過地面設(shè)備和人員進(jìn)行，因此導(dǎo)致衛(wèi)星對地觀測數(shù)據(jù)處理自動(dòng)化程度低，信息提取的時(shí)效性較差等問題。隨著各行業(yè)對于衛(wèi)星遙感信息時(shí)效性要求越來越高，傳統(tǒng)的“衛(wèi)星數(shù)據(jù)獲取—地面站接收處理—數(shù)據(jù)分發(fā)—專業(yè)應(yīng)用”的模式無法滿足用戶的時(shí)效性要求。

因此，在努力追求更高空間分辨率、光譜分辨率和時(shí)間分辨率，提高數(shù)據(jù)獲取品質(zhì)的同時(shí)，應(yīng)提高遙感信息處理的時(shí)效性，特別是提高衛(wèi)星在軌的數(shù)據(jù)處理能力。目前來看，受限于衛(wèi)星的質(zhì)量、體積、功耗以及信息處理硬件的發(fā)展水平，將信息處理設(shè)備直接“搬運(yùn)”到星上的方式是尚不具備可行性。僅以當(dāng)前光學(xué)遙感影像智能目標(biāo)識別為例，以卷積神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)算法取得了傳統(tǒng)機(jī)器學(xué)習(xí)算法難以達(dá)到的效果，展現(xiàn)出巨大的應(yīng)用潛力[2-3]。但深度學(xué)習(xí)需要依賴高性能的服務(wù)器進(jìn)行模型的訓(xùn)練與驗(yàn)證工作，對硬件的計(jì)算和存儲(chǔ)能力要求都很高，即使是模型推理，也十分消耗硬件資源，就目前衛(wèi)星的計(jì)算能力來看，無法滿足深度學(xué)習(xí)算法的需求。

各航天大國一直很重視對星上信息處理技術(shù)的研究，已有不少在遙感衛(wèi)星上采用高速處理器件實(shí)現(xiàn)特定實(shí)時(shí)處理功能的先例。目前的星上處理任務(wù)主要集中在圖像預(yù)處理、海量數(shù)據(jù)存儲(chǔ)與格式轉(zhuǎn)換、數(shù)據(jù)壓縮與轉(zhuǎn)發(fā)、原始數(shù)據(jù)的自動(dòng)分析及目標(biāo)的特征提取等功能上，力圖依靠星上自主處理，最大限度地減少地面干預(yù)。

美海軍“地球繪圖觀測者”衛(wèi)星采用了美國海軍研究所研制的光學(xué)實(shí)時(shí)適應(yīng)信號識別系統(tǒng)，能夠進(jìn)行星上超光譜數(shù)據(jù)的實(shí)時(shí)自動(dòng)數(shù)據(jù)分析、特征提取和10:1～20:1數(shù)據(jù)壓縮處理，并實(shí)時(shí)地以戰(zhàn)術(shù)下行線路將觀測結(jié)果從衛(wèi)星直接傳送到戰(zhàn)場[4]。美國為了實(shí)現(xiàn)向作戰(zhàn)單兵提供實(shí)時(shí)遙感情報(bào)分發(fā)，發(fā)射了“戰(zhàn)術(shù)星-3”（TacSat-3）試驗(yàn)衛(wèi)星，能夠在10min內(nèi)完成從發(fā)出觀測任務(wù)指令到作戰(zhàn)人員接收信息的全過程[5]。

德國宇航局的雙光譜紅外探測小衛(wèi)星主要用于地面火災(zāi)監(jiān)視，其有效載荷包括雙光譜紅外過熱點(diǎn)識別系統(tǒng)，其在軌處理系統(tǒng)實(shí)現(xiàn)了可見光、中波紅外和熱紅外3個(gè)波段圖像在星上的輻射校正、幾何校正、紋理提取和神經(jīng)網(wǎng)絡(luò)分類等處理，實(shí)現(xiàn)對亞像元級熱點(diǎn)的探測[4]。

法國研制的高分辨的光學(xué)衛(wèi)星“Pleiades”采用了可重構(gòu)FPGA作為模塊化的星上圖像數(shù)據(jù)處理器（Module Video Processor，MVP）核心，實(shí)現(xiàn)片上的數(shù)據(jù)采集、像元對齊、熱控、電控等功能。其中的圖像壓縮模塊采用基于小波的圖像壓縮算法，壓縮比7:l（標(biāo)準(zhǔn)方法4.8:1），依據(jù)國際空間數(shù)據(jù)系統(tǒng)咨詢委員會(huì)規(guī)范對輸出數(shù)據(jù)進(jìn)行打包[4]。

文獻(xiàn)[5]從遙感衛(wèi)星技術(shù)與信息技術(shù)深度融合的角度，闡述了未來遙感衛(wèi)星運(yùn)營模式和服務(wù)模式可能的變革方向。提出了未來新型智能遙感衛(wèi)星的總體概念設(shè)想及一種具備開放軟件平臺、網(wǎng)絡(luò)接入、可以支持第三方靈活開發(fā)并上注應(yīng)用程序的智能遙感衛(wèi)星，給出了一種由智能遙感衛(wèi)星、云服務(wù)中心、星地網(wǎng)絡(luò)組成的智能遙感衛(wèi)星系統(tǒng)；文獻(xiàn)[6]在分析未來空間信息系統(tǒng)發(fā)展需求以及現(xiàn)有空間信息系統(tǒng)建設(shè)所存在的弊端的基礎(chǔ)上，從頂層設(shè)計(jì)入手，提出了以“軟件星”為基礎(chǔ)的空間信息系統(tǒng)發(fā)展新策略，并提出了基于“軟件星”的綜合一體化空間信息系統(tǒng)建設(shè)的初步設(shè)想；文獻(xiàn)[7]提出了智能高光譜衛(wèi)星的概念，智能高光譜衛(wèi)星成像系統(tǒng)包括前視預(yù)判相機(jī)和主相機(jī)，前視相機(jī)用于云監(jiān)測、氣溶膠光學(xué)厚度以及水汽含量的反演，以及成像區(qū)域地表覆蓋與背景輻射信息的初步估算，為主相機(jī)成像提供重要依據(jù)，主相機(jī)以最優(yōu)化模式對地表進(jìn)行光譜成像；文獻(xiàn)[8]提出了未來空間信息網(wǎng)絡(luò)環(huán)境下對地觀測腦的概念，即基于事件感知的智能化對地觀測系統(tǒng)，并介紹了對地觀測腦的概念模型及需要解決的關(guān)鍵技術(shù)，舉例說明了對地觀測腦初級階段的感知、認(rèn)知過程。將來對地觀測腦可以回答何時(shí)、何地、何目標(biāo)發(fā)生了何種變化，并在規(guī)定的時(shí)間和地點(diǎn)把這些正確的信息推送給需要的人的手機(jī)或其他智能終端，全球用戶可實(shí)時(shí)獲得所需的任何數(shù)據(jù)、信息和知識。

然而，以上研究仍然主要集中在數(shù)據(jù)預(yù)處理相關(guān)的初級算法，實(shí)現(xiàn)基于專業(yè)模型直接生成用戶可用的信息產(chǎn)品的高級算法仍存在較大困難。因此，未來智能遙感衛(wèi)星將衛(wèi)星數(shù)據(jù)的獲取和應(yīng)用結(jié)合在一起，將應(yīng)用分析模塊固化到衛(wèi)星上，使得數(shù)據(jù)處理和分析與有效載荷數(shù)據(jù)獲取系統(tǒng)連為一體，數(shù)據(jù)獲取后可在星上直接處理生成信息產(chǎn)品，為用戶提供實(shí)時(shí)服務(wù)。

本文結(jié)合當(dāng)前主流衛(wèi)星計(jì)算能力和嵌入式設(shè)備算力的發(fā)展現(xiàn)狀，提出了星地協(xié)同光學(xué)遙感影像在軌目標(biāo)智能識別技術(shù)框架。所謂星地協(xié)同，就是將歷史數(shù)據(jù)的深度挖掘、基于遙感大數(shù)據(jù)的深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練等數(shù)據(jù)量大、運(yùn)算量大、計(jì)算復(fù)雜、要求較高的處理任務(wù)部署在地面系統(tǒng)，將深度學(xué)習(xí)訓(xùn)練得到的模型參數(shù)等上注至衛(wèi)星，在軌通過模型推理對影像進(jìn)行實(shí)時(shí)智能處理，直接將處理結(jié)果下傳至用戶，大幅提高衛(wèi)星的智能化水平和遙感信息應(yīng)用的時(shí)效性。

為闡述星地協(xié)同的遙感信息智能處理的理念并進(jìn)行原理性驗(yàn)證，本文以高分辨率光學(xué)衛(wèi)星影像在軌目標(biāo)識別為例，開展了相關(guān)研究和實(shí)踐工作。

1 技術(shù)框架及關(guān)鍵技術(shù)

1.1 技術(shù)框架

星地協(xié)同光學(xué)遙感影像在軌目標(biāo)智能識別技術(shù)框架的核心思想是構(gòu)建“地面模型訓(xùn)練—模型壓縮—模型上傳—星上處理—結(jié)果下傳—地面檢核—模型修正—更新上傳”的良性循環(huán)回路，如圖1所示。衛(wèi)星在軌實(shí)時(shí)處理遙感影像，將信息產(chǎn)品傳輸至地面用戶，提高了遙感信息應(yīng)用的時(shí)效性。同時(shí)，隨著深度學(xué)習(xí)模型的持續(xù)優(yōu)化迭代，在軌處理結(jié)果的可靠性與精度不斷提高。星地協(xié)同光學(xué)遙感影像在軌目標(biāo)智能識別技術(shù)框架涉及多項(xiàng)關(guān)鍵技術(shù)，技術(shù)流程如圖2所示。技術(shù)流程圖展示的是星地協(xié)同處理的完整技術(shù)流程，本文重點(diǎn)對其中的模型訓(xùn)練、模型壓縮和迭代優(yōu)化技術(shù)進(jìn)行研究。

1.2 關(guān)鍵技術(shù)

（1）基于深度學(xué)習(xí)的光學(xué)遙感影像目標(biāo)檢測識別技術(shù)

基于深層神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法在目標(biāo)識別研究中取得了良好的效果，并展示出巨大的應(yīng)用潛力。按照“是否生成區(qū)域建議”，可以分為“兩步法”和“一步法”。

“兩步法”將目標(biāo)檢測框架分為兩個(gè)階段。第一階段的重點(diǎn)是生成一系列可能包含目標(biāo)的候選區(qū)域建議。第二階段的目標(biāo)是將第一階段獲得的候選區(qū)域建議分類為目標(biāo)類或背景，并進(jìn)一步微調(diào)邊界框的坐標(biāo)。比較具有代表性的“兩步法”目標(biāo)識別算法有R-CNN[9]、Fast R-CNN[10]、Faster R-CNN[11]、Mask R-CNN[12-13]等；“一步法”是指直接將檢測簡化為一個(gè)回歸問題。與基于區(qū)域建議的方法相比，基于回歸的方法更簡單、更有效，因?yàn)椴恍枰珊蜻x區(qū)域建議和隨后的特征重新采樣。比較具有代表性的“一步法”目標(biāo)識別方法有You Look Only Once（YOLO）[14-15]、Single Shot multibox Detector（SSD）[16]和RetinaNet[17]等。

圖1 技術(shù)框架示意

圖2 關(guān)鍵技術(shù)流程

在眾多的目標(biāo)檢測識別算法中，YOLO算法憑借其良好的性能和效率在諸多領(lǐng)域取得了成功的應(yīng)用，并相繼推出了v1～v5多個(gè)版本。文獻(xiàn)[16-17]開源了YOLO-v4，采用多種改進(jìn)策略，在COCO數(shù)據(jù)集上幾乎是當(dāng)時(shí)綜合性能最好的算法。Ultralytics更新了YOLO-v5（https://github.com/ultralytics/yolov5），包括4個(gè)不同的版本：YOLO-v5 s、YOLO-v5 m、YOLO-v5 l、YOLO-v5 x，其s版本體積只有YOLO-v4的十分之一，推理速度是v4版本的近3倍。

光學(xué)遙感衛(wèi)星在軌目標(biāo)檢測識別對算法的精度和速度均有較高的要求，為驗(yàn)證在軌處理的可行性，本文對具有代表性的目標(biāo)檢測識別最新算法YOLO-v5開展試驗(yàn)測試。

為了使試驗(yàn)測試具有一定的可比性，選擇在遙感公開數(shù)據(jù)集上開展試驗(yàn)。目前，光學(xué)遙感影像處理領(lǐng)域的公開數(shù)據(jù)集主要有TAS、SZTAKI-INRIA、NWPU VHR-10、VEDAI、UCAS-AOD、DOTA、DIOR等[18-19]。其中，DIOR數(shù)據(jù)集包含23 463幅遙感影像和190 288個(gè)目標(biāo)實(shí)例，目標(biāo)尺度變化大、影像類型豐富多樣、類間相似性和類內(nèi)多樣性高，在眾多數(shù)據(jù)集中具有明顯的優(yōu)勢，適宜作為試驗(yàn)測試的基準(zhǔn)。

（2）深層神經(jīng)網(wǎng)絡(luò)輕量化與加速技術(shù)

深度學(xué)習(xí)被認(rèn)為是目前計(jì)算機(jī)圖像處理領(lǐng)域中最先進(jìn)的技術(shù)之一，雖然其功能強(qiáng)大，但網(wǎng)絡(luò)中大規(guī)模的權(quán)值參數(shù)消耗了大量的計(jì)算和內(nèi)存資源，如：AlexNet模型超過200Mbyte，YOLO-v4模型約250Mbyte，YOLO-v5 x模型約350Mbyte，VGG-16模型超過了500Mbyte，若將其傳輸至星上將相當(dāng)耗費(fèi)時(shí)間，且模型在星上運(yùn)行還會(huì)占用相當(dāng)大的計(jì)算和內(nèi)存資源[20]。因此，需要研究深層神經(jīng)網(wǎng)絡(luò)輕量化與加速技術(shù)，以便于目標(biāo)特征模型傳輸和部署到星上。網(wǎng)絡(luò)模型輕量化的原則是在精度損失可接受的范圍內(nèi)盡可能壓縮模型的大小，以便于在星上嵌入式系統(tǒng)部署和運(yùn)行。

主流的深層神經(jīng)網(wǎng)絡(luò)輕量化與加速技術(shù)主要包括輕量化設(shè)計(jì)、模型剪枝、參數(shù)共享、低秩分解、知識蒸餾、權(quán)值量化和編碼等技術(shù)，在邊緣計(jì)算、移動(dòng)端應(yīng)用、在軌數(shù)據(jù)處理等領(lǐng)域有重要的價(jià)值[21-23]。

不同的深層神經(jīng)網(wǎng)絡(luò)輕量化與加速技術(shù)各有其優(yōu)缺點(diǎn)，關(guān)于如何選擇哪種技術(shù)尚無明確的準(zhǔn)則，目前可供參考的經(jīng)驗(yàn)主要有[21]：

1）對于在線計(jì)算內(nèi)存存儲(chǔ)有限的應(yīng)用場景或設(shè)備，可以選擇參數(shù)共享和參數(shù)剪枝方法，特別是二值量化權(quán)值和激活結(jié)構(gòu)化剪枝，其他方法雖然能夠有效的壓縮模型中的權(quán)值參數(shù)，但無法減小計(jì)算中隱藏的內(nèi)存大小，如特征圖；

2）如果在應(yīng)用中用到的緊性模型需要利用預(yù)訓(xùn)練模型，那么參數(shù)剪枝、參數(shù)共享以及低秩分解將成為首要考慮的方法，相反地若不需要借助預(yù)訓(xùn)練模型則可以考慮緊性濾波設(shè)計(jì)及知識蒸餾方法；

3）若需要一次性端對端訓(xùn)練得到壓縮與加速后模型，可以利用基于緊性濾波設(shè)計(jì)的深度神經(jīng)網(wǎng)絡(luò)壓縮與加速方法；

4）一般情況下，參數(shù)剪枝特別是非結(jié)構(gòu)化剪枝能大大壓縮模型大小且不容易丟失分類精度．對于需要穩(wěn)定的模型分類的應(yīng)用非結(jié)構(gòu)化剪枝成為首要選擇；

5）若采用的數(shù)據(jù)集較小時(shí)，可以考慮知識蒸餾方法，對于小樣本的數(shù)據(jù)集學(xué)生網(wǎng)絡(luò)能夠很好地遷移教師模型的知識提高學(xué)生網(wǎng)絡(luò)的判別性；

6）主流的幾個(gè)深度神經(jīng)網(wǎng)絡(luò)壓縮與加速算法相互之間是正交的，可以結(jié)合不同技術(shù)進(jìn)行進(jìn)一步的壓縮與加速。

針對星上計(jì)算資源、功耗、內(nèi)存受限的現(xiàn)狀，瞄準(zhǔn)任務(wù)實(shí)時(shí)性、可靠性要求高的難題，研究星上智能計(jì)算架構(gòu)設(shè)計(jì)、星上智能算法設(shè)計(jì)以及基于星載嵌入式系統(tǒng)的運(yùn)算加速技術(shù)，為星上智能實(shí)時(shí)處理提供技術(shù)支撐，提升空間系統(tǒng)的智能化水平和實(shí)時(shí)響應(yīng)能力。

（3）星地協(xié)同模型迭代優(yōu)化技術(shù)

星地協(xié)同計(jì)算一個(gè)突出的優(yōu)勢就是在星上計(jì)算資源有限的情況下，充分利用了地面系統(tǒng)的計(jì)算能力，將預(yù)先訓(xùn)練好的模型上注至衛(wèi)星，獲取影像的同時(shí)執(zhí)行推理計(jì)算，得到目標(biāo)檢測結(jié)果。由于歷史積累數(shù)據(jù)與真實(shí)數(shù)據(jù)之間存在差異，預(yù)訓(xùn)練模型的精度有待進(jìn)一步提高。模型的優(yōu)化是一個(gè)迭代的過程，需要星地協(xié)同配合實(shí)現(xiàn)，以光學(xué)衛(wèi)星為例，其具體流程如下：地面模型遷移學(xué)習(xí)—預(yù)訓(xùn)練模型—模型上注—在軌推理—地面結(jié)果復(fù)核—地面模型持續(xù)訓(xùn)練優(yōu)化—模型更新上注。

由于當(dāng)前主流的深度學(xué)習(xí)目標(biāo)檢測算法已經(jīng)有研究人員在計(jì)算機(jī)視覺開源數(shù)據(jù)庫上進(jìn)行了訓(xùn)練，并將訓(xùn)練結(jié)果開源。遙感領(lǐng)域的目標(biāo)檢測模型訓(xùn)練可以充分利用這些資源，節(jié)約較多的時(shí)間。由于遙感數(shù)據(jù)和計(jì)算機(jī)視覺數(shù)據(jù)在成像方式、尺度、目標(biāo)類型、背景分布等方面有較大差異，因此直接利用計(jì)算機(jī)視覺開源數(shù)據(jù)集訓(xùn)練得到的模型進(jìn)行推理的精度較差。利用計(jì)算機(jī)視覺中訓(xùn)練好的模型在遙感數(shù)據(jù)集上進(jìn)行遷移學(xué)習(xí)訓(xùn)練，能夠有效降低模型訓(xùn)練所需要的時(shí)間。遷移學(xué)習(xí)后可以得到目標(biāo)識別的預(yù)訓(xùn)練模型，模型的精度取決于算法本身的精度以及采用的訓(xùn)練數(shù)據(jù)集與真實(shí)數(shù)據(jù)之間的相似性。

為了提高目標(biāo)檢測的精度，需要對遷移學(xué)習(xí)后得到的預(yù)訓(xùn)練模型進(jìn)行迭代優(yōu)化，即隨著衛(wèi)星在軌運(yùn)行采集遙感數(shù)據(jù)的積累進(jìn)行模型的持續(xù)學(xué)習(xí)，形成目標(biāo)檢測的閉環(huán)控制。

星地協(xié)同模型迭代優(yōu)化技術(shù)主要研究星地協(xié)同智能處理閉環(huán)控制的實(shí)現(xiàn)方案，關(guān)鍵技術(shù)包括目標(biāo)特征模型更新頻率的自適應(yīng)確定、抽樣檢核方案設(shè)計(jì)以及先驗(yàn)知識約束下的模型的迭代優(yōu)化等。

2 模擬試驗(yàn)與分析

為了對本文提出的星地協(xié)同目標(biāo)智能識別技術(shù)框架進(jìn)行驗(yàn)證，搭建了驗(yàn)證環(huán)境，開展了演示驗(yàn)證試驗(yàn)，并進(jìn)行了總結(jié)分析。

2.1 模擬驗(yàn)證環(huán)境搭建

由于在軌驗(yàn)證試驗(yàn)開展難度較大，本文在實(shí)驗(yàn)室搭建了星地協(xié)同目標(biāo)智能識別的模擬環(huán)境。地面處理部分采用AMAX高性能服務(wù)器（GPU），軟硬件配置如表1所示，模擬星上計(jì)算設(shè)備采用NVIDIA嵌入式開發(fā)板Jetson AGX XAVIER，軟硬件配置情況如表2所示，測試數(shù)據(jù)采用DIOR數(shù)據(jù)集。

表1 AMAX高性能GPU服務(wù)器配置

Tab.1 AMAX high performance GPU server configuration

表2 Jetson AGX XAVIER配置

Tab.2 Configuration of Jetson AGX Xavier

2.2 地面模型訓(xùn)練

在AMAX服務(wù)器上利用DIOR數(shù)據(jù)集開展YOLO-v5模型訓(xùn)練，DIOR數(shù)據(jù)集中不同類別的目標(biāo)數(shù)量如圖5所示，目標(biāo)在影像上的分布情況統(tǒng)計(jì)如圖6所示，目標(biāo)大小情況統(tǒng)計(jì)如圖7所示。YOLO-v5有多個(gè)版本，本文選擇了x和s兩個(gè)版本，x版本的網(wǎng)絡(luò)模型最復(fù)雜，模型參數(shù)最多，理論上效率最慢、效果最好；s版本的網(wǎng)絡(luò)模型結(jié)構(gòu)最簡單，參數(shù)最少，理論上效率最高、效果最差。通過兩個(gè)版本的對比測試，可以驗(yàn)證YOLO算法的性能，為地面模型訓(xùn)練和星上推理驗(yàn)證提供依據(jù)。訓(xùn)練時(shí)利用了開源的COCO數(shù)據(jù)集預(yù)訓(xùn)練的模型進(jìn)行遷移學(xué)習(xí)，訓(xùn)練過程中主要參數(shù)設(shè)置情況如表3所示，部分影像測試結(jié)果如圖8所示。從隨機(jī)抽取的影像中可以看出，無論是操場、網(wǎng)球場等大型目標(biāo)，還是汽車、風(fēng)車、船只等小型目標(biāo)，均能夠正確識別出來，說明遷移學(xué)習(xí)的有效性。訓(xùn)練結(jié)束后在驗(yàn)證數(shù)據(jù)集上，對兩個(gè)版本模型的性能進(jìn)行測試驗(yàn)證，統(tǒng)計(jì)其平均精確度（Mean Average Precision，mAP）、運(yùn)行時(shí)間等，結(jié)果如表4、表5所示。

圖5 訓(xùn)練數(shù)據(jù)集中不同類別目標(biāo)數(shù)量

圖6 目標(biāo)在影像上分布位置情況統(tǒng)計(jì)

圖7 目標(biāo)大小情況統(tǒng)計(jì)

表3 訓(xùn)練過程參數(shù)設(shè)置

Tab.3 Parameter setting of training process

圖8 部分影像測試結(jié)果

表4 YOLO-v5-x性能測試結(jié)果

Tab.4 YOLO-v5-x Performance test results

表5 YOLO-v5-s性能測試結(jié)果

Tab.5 YOLO-v5-s Performance test results

2.3 模擬星上模型部署與推理驗(yàn)證

在AMAX服務(wù)器上模型訓(xùn)練結(jié)束后，將結(jié)果部署在嵌入式開發(fā)板Jetson AGX XAVIER中，利用DIOR數(shù)據(jù)集中的測試數(shù)據(jù)進(jìn)行模型推理性能測試，并統(tǒng)計(jì)其mAP、耗時(shí)等指標(biāo)。兩個(gè)版本的統(tǒng)計(jì)結(jié)果如表6所示。

表6 模型推理性能測試結(jié)果

Tab.6 Model inference performance test results

2.4 模型優(yōu)化與更新

在實(shí)際工程應(yīng)用中，地面訓(xùn)練模型上注到衛(wèi)星后，其精度需要通過持續(xù)學(xué)習(xí)不斷迭代優(yōu)化進(jìn)行提升。主要方法是根據(jù)真實(shí)場景，在新獲取數(shù)據(jù)積累到一定數(shù)量后，對模型進(jìn)行繼續(xù)訓(xùn)練，不斷提高其精度。由于本文所采用的訓(xùn)練數(shù)據(jù)集與真實(shí)光學(xué)衛(wèi)星影像的一致性很高，推理的精度與訓(xùn)練數(shù)據(jù)集比較一致，因此沒有進(jìn)行模型的再次更新。

對于新型傳感器或新成像方式的衛(wèi)星則必須進(jìn)行模型的持續(xù)優(yōu)化，否則受限于模型的泛化能力，基于公開數(shù)據(jù)集訓(xùn)練得到的模型精度較低，無法滿足在軌目標(biāo)識別的精度要求。

2.5 試驗(yàn)結(jié)果分析

1）分析2.2地面模型訓(xùn)練的結(jié)果可知，YOLO-v5模型具有良好的性能，在DIOR數(shù)據(jù)集上有良好的性能表現(xiàn)，x版本和s版本的mAP分別達(dá)到了0.887和0.872，AP值最高達(dá)0.98，滿足大多數(shù)情況下的應(yīng)用需求；

2）不同版本YOLO模型的精度差別不大，s版本僅比x版本下降了1.5個(gè)百分點(diǎn)，而模型大小不到其1/13，在嵌入式開發(fā)板上的推理速度是x版本的2.19倍，說明通過模型的輕量化設(shè)計(jì)實(shí)現(xiàn)了幾乎不損失精度的前提下提高推理效率、節(jié)約內(nèi)存資源開銷的目的；

3）從表6中可以看出，運(yùn)行軟硬件環(huán)境的的變化并未對兩個(gè)版本YOLO模型的mAP帶來變化，即在嵌入式計(jì)算環(huán)境下其性能沒有下降；

表7 推理效率等效計(jì)算

Tab.7 Equivalent calculation of inference efficiency

4）為了更加形象的表示模型的推理速度，便于衛(wèi)星遙感領(lǐng)域應(yīng)用分析，本文將YOLO-v5兩個(gè)版本的推理效率換算到地面分辨率1m，像幅10 000像元×10 000像元的遙感影像，其地面覆蓋范圍10km×10km，其時(shí)間消耗情況如表7所示。

從表7可以看出，在單個(gè)Jetson AGX XAVIER開發(fā)板上采用YOLO-v5的s版本的模型處理百平方千米遙感影像消耗時(shí)間為17.74 s，mAP為87.2%，能夠滿足在軌快速處理的應(yīng)用需求。

3 結(jié)束語

隨著遙感衛(wèi)星的快速發(fā)展，在軌處理、星地協(xié)同處理成為重要的發(fā)展趨勢。本文提出了星地協(xié)同光學(xué)遙感影像在軌目標(biāo)智能識別的技術(shù)框架，介紹了其基本原理和關(guān)鍵技術(shù)。基于構(gòu)建的星地模擬計(jì)算環(huán)境，利用開源數(shù)據(jù)集，開展了演示驗(yàn)證試驗(yàn)。試驗(yàn)結(jié)果表明本文提出的星地協(xié)同智能目標(biāo)識別技術(shù)框架實(shí)時(shí)性和精度上能夠滿足在軌處理應(yīng)用需求，具備一定的可行性，可以進(jìn)一步開展在軌驗(yàn)證試驗(yàn)。

[1] 李德仁, 童慶禧, 李榮興, 等. 高分辨率對地觀測的若干前沿科學(xué)問題[J]. 中國科學(xué): 地球科學(xué), 2012, 42(6): 805-813.

LI Deren, TONG Qingxi, LI Rongxing, et al. Current Issues in High-resolution Earth Observation Technology[J]. Scientia Sinica (Terrae), 2012, 42(6): 805-813. (in Chinese)

[2] 趙申劍. 深度學(xué)習(xí)[M]. 北京: 人民郵電出版社, 2017.

ZHAO Shenjian. Deep Learning[M]. Beijing: People's Posts and Telecommunications Press, 2017. (in Chinese)

[3] DENG J, DONG W, SOCHER R, et al. ImageNet: A Large-scale Hierarchical Image Database[C]// 2009 IEEE Conference on Computer Vision & Pattern Recognition, June 20-25, 2009, Miami, FL, USA. IEEE, 2009.

[4] 高昆, 劉迎輝, 倪國強(qiáng), 等. 光學(xué)遙感圖像星上實(shí)時(shí)處理技術(shù)的研究[J]. 航天返回與遙感, 2008, 29(1): 50-54.

GAO Kun, LIU Yinghui, NI Guoqiang, et al. Study on On-board Real-time Image Processing Technology of Optical Remote Sensing[J]. Spacecraft Recovers & Remote Sensing, 2008, 29(1): 50-54. (in Chinese)

[5] 楊芳, 劉思遠(yuǎn), 趙鍵, 等. 新型智能遙感衛(wèi)星技術(shù)展望[J]. 航天器工程, 2017, 26(5): 74-81.

YANG Fang, LIU Siyuan, ZHAO Jian, et al. Technology Prospective of Intelligent Remote Sensing Satellite[J]. Spacecraft Engineering, 2017, 26(5): 74-81. (in Chinese)

[6] 楊小牛. 基于“軟件星”的綜合一體化空間信息系統(tǒng)[J]. 中國電子科學(xué)研究院學(xué)報(bào), 2004(4): 15-22.

YANG Xiaoniu. Integrated Spatial Information System Based on “Software Star”[J]. Journal of Chinese Academy of Electronic Sciences, 2004(4): 15-22. (in Chinese)

[7] 張兵. 智能遙感衛(wèi)星系統(tǒng)[J]. 遙感學(xué)報(bào), 2011, 15(3): 415-431.

ZHANG Bing. Intelligent Remote Sensing Satellite System[J]. Journal of Remote Sensing, 2011, 15(3): 415-43l. (in Chinese)

[8] 李德仁, 王密, 沈欣, 等. 從對地觀測衛(wèi)星到對地觀測腦[J]. 武漢大學(xué)學(xué)報(bào)(信息科學(xué)版), 2017, 42(2): 143-149.

LI Deren, WANG Mi, SHEN Xin, et al. From Earth Observation Satellite to Earth Observation Brain[J]. Geomatics and Information Science of Wuhan University, 2017, 42(2): 143-149. (in Chinese)

[9] GIRSHICK, DONAHUE R, DARRELL J, et al. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition, June 23-28, 2014, Columbus, OH, USA. IEEE, 2014: 580-587.

[10] GIRSHICK R. Fast R-CNN[C]//2015 IEEE International Conference on Computer Vision (ICCV), December 7-13, 2015, Santiago, Chile. IEEE, 2015: 1440-1448.

[11] REN S, HE K, GIRSHICK R, et al. Faster R-CNN: Towards Real-time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149.

[12] LIN T Y, DOLLáR P, GIRSHICK R, et al. Feature Pyramid Networks for Object Detection[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 21-26, 2017, Honolulu, HI, USA. IEEE, 2017.

[13] HE K, GKIOXARI G, DolláR P, et al. Mask R-CNN[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 42(2): 386-397.

[14] REDMON J, DIVVALA S, GIRSHICK R, et al. You Only Look Once: Unified, Real-time Object Detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 27-30, 2016,Las Vegas, NV, USA. IEEE, 2016.

[15] BOCHKOVSKIY A, WANG C Y, LIAO H. YOLOv4: Optimal Speed and Accuracy of Object Detection[EB/OL]. [2020-10-11]. https://arxiv.org/abs/2004.10934.

[16] LIU W, ANGUELOV D, ERHAN D, et al. SSD: Single Shot Multibox Detector[EB/OL]. (2016-09-17)[2020-10-11]. https://arxiv.org/abs/1512.02325.

[17] LIN T, GOYAL P, GIRSHICK R, et al. Focal Loss for Dense Object Detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 42(2): 318-327.

[18] XIA G, BAI X, DING J, et al. DOTA: A Large-scale Dataset for Object Detection in Aerial Images[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, June 18-23, 2018, Salt Lake City, UT, USA. IEEE, 2018.

[19] LI K, WAN G, CHENG G, et al. Object Detection in Optical Remote Sensing Images: A Survey and a New Benchmark[EB/OL]. [2020-10-11]. https://arxiv.org/abs/1909.00133v2.

[20] 袁秋壯, 魏松杰, 羅娜. 基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的SAR星上目標(biāo)識別系統(tǒng)研究[J]. 上海航天, 2017, 34(5): 46-53.

YUAN Qiuzhuang, WEI Songjie, LUO Na. Research on SAR Satellite Target Recognition System Based on Deep Learning Neural Network[J]. Aerospace Shanghai, 2017, 34(5): 46-53. (in Chinese)

[21] 紀(jì)榮嶸, 林紹輝, 晁飛, 等. 深度神經(jīng)網(wǎng)絡(luò)壓縮與加速綜述[J]. 計(jì)算機(jī)研究與發(fā)展, 2018, 55(9): 1871-1888.

JI Rongrong, LIN Shaohui, CHAO Fei, et al. Deep Neural Network Compression and Acceleration: A Review[J]. Journal of Computer Research and Development, 2018, 55(9): 1871-1888. (in Chinese)

[22] HAN S, MAO H, DALLY W J. Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding[EB/OL]. [2020-10-11]. https://arxiv.org/abs/1510.00149v3.

[23] HAN S. Efficient Methods and Hardware for Deep Learning[D]. San Francisco: Stanford University, 2017.

Satellite-earth Coordinated On-orbit Intelligent Target Recognition of Optical Remote Sensing Images

XUE Wu1ZHAO Ling1,2WANG Peng1

（1 Space Engineering University, Beijing 101416, China）（291039 Troops, Beijing 102400, China）

To improve the timeliness of optical remote sensing satellite information processing, we propose a technical framework for satellite-earth coordinated on-orbit intelligent target recognition using optical remote sensing images. Processing tasks with large amounts of data and high computation requirements, such as deep learning based on remote sensing big data and neural network model training, are deployed on the ground computing server, while the model obtained from deep learning training is compressed and transmitted to the satellite. The satellite uses a lightweight model for on-orbit inference and computation before finally transmitting the target recognition results to the user. To validate the proposed technical framework, we conducted a verification experiment on GPU server and embedded development board, and used YOLO-v5 algorithms and DIOR remote sensing data set for testing. The results show that under a simulated onboard computing environment, the processing time of 1m-resolution remote sensing images in a range of 100km2is 17.74 s, and the mAP is 87.2%. The experimental results suggest that the proposed technical framework for satellite-earth coordinated intelligent target recognition is able to meet the application requirements in both real-time performance and accuracy with certain feasibility, warranting on-orbit experiments for further verification.

satellite-earth coordination; target recognition; deep learning; verification experiment; remote sensing application

P237

A

1009-8518(2021)03-0128-10

10.3969/j.issn.1009-8518.2021.03.014

2020-11-11

薛武, 趙玲, 王鵬. 星地協(xié)同光學(xué)遙感影像目標(biāo)識別技術(shù)驗(yàn)證研究[J]. 航天返回與遙感, 2021, 42(3): 128-137. XUE Wu, ZHAO Ling, WANG Peng. Satellite-earth Coordinated On-orbit Intelligent Target Recognition of Optical Remote Sensing Images[J]. Spacecraft Recovery & Remote Sensing, 2021, 42(3): 128-137. (in Chinese)

薛武，男，1988年生，2017年獲信息工程大學(xué)測繪科學(xué)與技術(shù)專業(yè)博士學(xué)位，助理研究員。研究方向?yàn)榭臻g感知信息智能處理。E-mail：xuewu_81@126.com。

（編輯：龐冰）