于雙銘 武文波 竇潤(rùn)江 劉力源 劉劍 吳南健

基于視覺處理器芯片的遙感圖像智能處理系統(tǒng)設(shè)計(jì)與驗(yàn)證

于雙銘1,2武文波3竇潤(rùn)江1,2劉力源1,4劉劍1,2吳南健1,2

（1 中國(guó)科學(xué)院半導(dǎo)體研究所半導(dǎo)體超晶格國(guó)家重點(diǎn)實(shí)驗(yàn)室，北京 100083）（2 中國(guó)科學(xué)院大學(xué)材料科學(xué)與光電技術(shù)學(xué)院，北京 100049）（3 北京空間機(jī)電研究所，北京 100094）（4 中國(guó)科學(xué)院大學(xué)電子電氣與通信工程學(xué)院，北京 100049）

隨著遙感衛(wèi)星成像技術(shù)向高分辨率、高幀率的方向快速發(fā)展，星上遙感圖像處理技術(shù)面臨海量數(shù)據(jù)處理速度慢、有效信息提取能力不足、載荷功耗高等瓶頸問(wèn)題。文章提出一種面向星上處理的遙感圖像智能處理系統(tǒng)，系統(tǒng)架構(gòu)設(shè)計(jì)基于一款邊緣型視覺處理器芯片，該芯片為可重構(gòu)并行處理器架構(gòu)，可通過(guò)指令編程兼容支持圖像預(yù)處理算法、計(jì)算機(jī)視覺算法和深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)算法?；谒惴?硬件協(xié)同設(shè)計(jì)思想，對(duì)圖像處理算法進(jìn)行了剪枝和量化等壓縮優(yōu)化，在芯片上實(shí)現(xiàn)算法的高效部署。搭建基于視覺處理器芯片的遙感圖像智能處理系統(tǒng)，進(jìn)行實(shí)驗(yàn)驗(yàn)證。結(jié)果表明，該系統(tǒng)能夠完成對(duì)遙感圖像的實(shí)時(shí)目標(biāo)檢測(cè)等智能化處理，系統(tǒng)處理能力達(dá)到200 M像素/s，芯片峰值計(jì)算能效達(dá)到2×1012次/W（300 MHz時(shí)）。

遙感圖像 圖像處理 視覺處理器 深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)

0 引言

航天遙感衛(wèi)星可實(shí)時(shí)獲取地球表面的高分辨率遙感圖像數(shù)據(jù)，已成為航天電子信息領(lǐng)域的關(guān)鍵技術(shù)之一[1-4]。遙感圖像獲取采集技術(shù)向高分辨率、高幀率的方向發(fā)展迅速，如美國(guó)DigitalGlobe公司具有QuickBird、WorldView和GeoEye等多個(gè)系列衛(wèi)星群，其遙感圖像的分辨率大多在0.3～0.5 m[5-6]。此外還有歐洲的SPOT、Pleiades系列衛(wèi)星，以及印度的ResourceSat系列衛(wèi)星等。2015年我國(guó)長(zhǎng)光衛(wèi)星技術(shù)有限公司研制發(fā)射了吉林一號(hào)商業(yè)遙感衛(wèi)星，可以獲取分辨率0.92 m的彩色視頻[7]。2016年發(fā)射的高景一號(hào)衛(wèi)星是中國(guó)首個(gè)商業(yè)化運(yùn)營(yíng)的高分辨率遙感衛(wèi)星星座，可提供分辨率0.5 m拼接幅寬大于60 km的遙感圖像[8]。隨著遙感衛(wèi)星數(shù)據(jù)總量的快速獲取和累積，遙感圖像數(shù)據(jù)的高性能處理技術(shù)成為航天領(lǐng)域未來(lái)的研究重點(diǎn)。

然而，圖像處理技術(shù)正逐漸面臨新的挑戰(zhàn)。第一，實(shí)時(shí)采集的海量遙感圖像數(shù)據(jù)難以在星上完成實(shí)時(shí)的處理任務(wù)。第二，應(yīng)用領(lǐng)域從傳統(tǒng)圖像處理應(yīng)用向智能化應(yīng)用拓展，在星上對(duì)有效信息的智能化提取能力不足。第三，遙感衛(wèi)星對(duì)圖像處理載荷的功耗有嚴(yán)苛的限制。為了滿足以上對(duì)星上圖像處理系統(tǒng)的處理能力、智能化水平和功耗提出的更高要求，邊緣計(jì)算技術(shù)成為了突破瓶頸的重要方法。視覺處理器芯片作為一種具備高速圖像信息智能處理能力的專用芯片，具有處理速度快、可編程和功耗低的優(yōu)點(diǎn)，特別適用于邊緣型智能化應(yīng)用場(chǎng)景。因此，開發(fā)基于視覺處理器芯片的遙感圖像智能化處理系統(tǒng)，對(duì)滿足星上遙感圖像大數(shù)據(jù)在軌實(shí)時(shí)處理應(yīng)用需求具有重要的意義。

本文提出一種面向星上處理的遙感圖像智能處理系統(tǒng)，系統(tǒng)架構(gòu)設(shè)計(jì)基于一款邊緣型視覺處理器芯片，該芯片能夠通過(guò)指令編程兼容支持圖像預(yù)處理算法、計(jì)算機(jī)視覺算法和深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)處理算法，可以對(duì)遙感圖像進(jìn)行低功耗的實(shí)時(shí)目標(biāo)檢測(cè)等智能化處理，通過(guò)實(shí)拍遙感圖像驗(yàn)證了系統(tǒng)功能。此外，展望了未來(lái)遙感成像與處理技術(shù)的應(yīng)用前景和發(fā)展方向。

1 遙感圖像處理特征

高分辨率光學(xué)遙感圖像具有以下顯著特點(diǎn)：第一，為了更清晰地獲得地面物體的結(jié)構(gòu)、形狀和紋理等細(xì)節(jié)信息，遙感圖像通常具有更高分辨率。第二，為了動(dòng)態(tài)監(jiān)測(cè)各種目標(biāo)運(yùn)動(dòng)變化情況，必須要對(duì)同一個(gè)區(qū)域進(jìn)行連續(xù)拍攝，圖像采集的幀速率顯著增加。第三，遙感圖像通常包含大量無(wú)目標(biāo)的海洋背景或受云霧遮擋的無(wú)效圖像，少數(shù)含有感興趣目標(biāo)的圖像也是背景較為單一的稀疏圖像，星載存儲(chǔ)器的“圖像有效信息密度”很低[9-12]。本文針對(duì)這種高分辨率海洋稀疏背景遙感圖像提出智能化實(shí)時(shí)處理方案。

圖1展示了遙感圖像處理流程及特征，首先完成遙感圖像采集，然后進(jìn)行視覺圖像信息處理，最后輸出處理結(jié)果。圖像處理算法按照并行度和計(jì)算復(fù)雜度可以劃分為3個(gè)層次：像素級(jí)并行處理、區(qū)域級(jí)并行處理和全局級(jí)并行處理。像素級(jí)并行處理一般以像素為單位并行計(jì)算，包括彩色處理、圖像增強(qiáng)、數(shù)據(jù)切割等圖像預(yù)處理操作，對(duì)成像質(zhì)量不足的圖像進(jìn)行預(yù)處理可以有效減少各類噪聲、低對(duì)比度等成像因素對(duì)圖像特征提取的影響，方便后續(xù)復(fù)雜的圖像處理。區(qū)域級(jí)并行處理可以將圖像分塊處理得到特征向量，圖像塊之間相互獨(dú)立并行處理，包括直方圖統(tǒng)計(jì)、圖像分割和特征提取等傳統(tǒng)計(jì)算機(jī)視覺算法，所提取的特征可以是邊緣、角點(diǎn)、紋理和特殊結(jié)構(gòu)等，分割出圖像中感興趣目標(biāo)圖像與背景圖像。全局級(jí)并行處理利用提取的圖像特征對(duì)圖像或目標(biāo)進(jìn)行整體的綜合分析和處理，包括基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)算法（Convolutional Neural Network，CNN）等，得到最終處理結(jié)果，實(shí)現(xiàn)圖像分類、目標(biāo)檢測(cè)和追蹤等功能。上述圖像處理算法對(duì)于硬件計(jì)算資源的需求各不相同，不論是傳統(tǒng)計(jì)算機(jī)視覺算法，還是深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)算法，都需要相當(dāng)?shù)挠?jì)算規(guī)模，深度學(xué)習(xí)算法更是以計(jì)算密集和訪存密集為顯著特點(diǎn)。因此，針對(duì)稀疏背景遙感圖像的星上處理系統(tǒng)，需要具備兼容多種圖像處理算法的大規(guī)模并行計(jì)算能力，以及從海量稀疏背景中快速提取目標(biāo)的只能化水平，同時(shí)達(dá)到較低的系統(tǒng)功耗。

圖1 遙感稀疏圖像信息處理流程及特征

為了滿足上述對(duì)遙感圖像處理系統(tǒng)的要求，本文設(shè)計(jì)了基于智能視覺處理器芯片的目標(biāo)檢測(cè)智能處理系統(tǒng)，采用軟硬件協(xié)同設(shè)計(jì)方法開發(fā)視覺處理器芯片，使其具備大規(guī)模并行計(jì)算能力以及可重構(gòu)運(yùn)算功能，既包含傳統(tǒng)計(jì)算視覺算子，又包含大規(guī)模神經(jīng)網(wǎng)絡(luò)計(jì)算單元和存儲(chǔ)器單元，可通過(guò)指令編程實(shí)現(xiàn)稀疏背景遙感圖像目標(biāo)檢測(cè)功能。此外，系統(tǒng)采用周期性片上指令刷新技術(shù)使其具有一定容錯(cuò)能力。

2 智能視覺處理器芯片

2.1 芯片架構(gòu)

智能視覺處理器芯片架構(gòu)框圖如圖2所示，主要由視覺核心、微控制模塊、存儲(chǔ)器訪問(wèn)網(wǎng)絡(luò)、數(shù)據(jù)傳輸通路、指令和數(shù)據(jù)存儲(chǔ)器等部分構(gòu)成。視覺核心為視覺處理器提供了主要的計(jì)算能力，具有可編程和可重構(gòu)并行處理功能。微控制模塊負(fù)責(zé)調(diào)度整個(gè)芯片的工作流程，向視覺核心發(fā)布數(shù)據(jù)處理任務(wù)，向數(shù)據(jù)傳輸通路發(fā)布數(shù)據(jù)傳輸任務(wù)。微控制模塊和視覺核心都是可編程處理模塊，編程指令存儲(chǔ)在指令存儲(chǔ)器中。數(shù)據(jù)存儲(chǔ)器用來(lái)存儲(chǔ)從外部輸入待處理的圖像數(shù)據(jù)、圖像處理的中間結(jié)果、以及待輸出的圖像處理結(jié)果。每次圖像處理任務(wù)中，微控制模塊首先控制數(shù)據(jù)傳輸通路從外部輸入待處理圖像、算法指令和參數(shù)，然后啟動(dòng)視覺核心執(zhí)行特定的圖像處理算法，最后通過(guò)傳輸通路向片外輸出圖像處理結(jié)果。

圖2 視覺處理器芯片架構(gòu)

2.2 關(guān)鍵電路設(shè)計(jì)

（1）可重構(gòu)并行視覺核心電路

視覺核心是視覺處理器的核心電路，它具有可重構(gòu)并行處理能力。如圖3所示，視覺核心采用兼容計(jì)算機(jī)視覺處理和深度學(xué)習(xí)處理的可重構(gòu)視覺架構(gòu)，它可以時(shí)分復(fù)用地重構(gòu)為計(jì)算機(jī)視覺處理模式和深度學(xué)習(xí)處理模式。視覺核心的可重構(gòu)特性具體體現(xiàn)在可以通過(guò)編程不同的指令編碼，執(zhí)行可變向量寬度的單指令多向量的并行運(yùn)算工作機(jī)制，提供靈活高效的可重構(gòu)并行處理能力。視覺核心主要包含256個(gè)處理單元（Processing Element，PE），每個(gè)PE均可獨(dú)立完成計(jì)算操作，多個(gè)PE也可以根據(jù)向量運(yùn)算操作數(shù)的寬度動(dòng)態(tài)重構(gòu)為多個(gè)PE Group（PEG），每個(gè)PEG包含與向量寬度一致的PE數(shù)量，執(zhí)行對(duì)應(yīng)向量寬度的向量運(yùn)算。視覺核心根據(jù)不同的向量寬度對(duì)所有PE進(jìn)行動(dòng)態(tài)重構(gòu)，支持配置的向量寬度為256、128、64、32、16、8，分別構(gòu)成1、2、4、8、16、32個(gè)PEG。PEG中包含多組并行的算數(shù)單元，因此可以并行地執(zhí)行向量運(yùn)算。

圖3 可重構(gòu)并行視覺核心架構(gòu)

靈活動(dòng)態(tài)可重構(gòu)的視覺核心架構(gòu)為圖像處理帶來(lái)了以下優(yōu)勢(shì)：第一，在計(jì)算機(jī)視覺算法中，對(duì)于輸入尺寸較大的圖像，可以對(duì)圖像進(jìn)行切割，將小塊圖像送入視覺核心并行處理，對(duì)于尺寸較小的圖像，可以將視覺核心重構(gòu)成多個(gè)小處理單元塊，并行處理不同區(qū)域的圖像，提高了算法執(zhí)行的并行度。第二，CNN算法中的卷積運(yùn)算包含豐富的變化，包括特征圖尺寸變化、卷積核尺寸變化和卷積滑動(dòng)步長(zhǎng)變化，可重構(gòu)的視覺核心可以靈活地適配CNN算法中不同的卷積運(yùn)算，提供高效的CNN并行計(jì)算能力。

（2）多粒度存儲(chǔ)器訪問(wèn)網(wǎng)絡(luò)

存儲(chǔ)器訪問(wèn)網(wǎng)絡(luò)負(fù)責(zé)為存儲(chǔ)器和PEG的各級(jí)寄存器組之間進(jìn)行靈活多粒度的數(shù)據(jù)加載和存儲(chǔ)。它支持在多個(gè)PEG之間廣播共享數(shù)據(jù)，例如用同一輸入特征圖與不同卷積模板進(jìn)行卷積運(yùn)算，或者用相同卷積模板對(duì)不同特征圖進(jìn)行卷積運(yùn)算，提高了數(shù)據(jù)的共享重用率。訪問(wèn)網(wǎng)絡(luò)還可以根據(jù)不同的數(shù)據(jù)向量寬度，自適應(yīng)地將不同寬度的共享運(yùn)算數(shù)據(jù)廣播到PEG中，例如向量寬度為W，存儲(chǔ)器訪問(wèn)網(wǎng)絡(luò)從存儲(chǔ)器中讀取一個(gè)寬度為W的向量數(shù)據(jù)，將其廣播到256/W個(gè)PEG中，操作過(guò)程如圖4所示。這種訪存方式相當(dāng)于將寬度為W的向量數(shù)據(jù)復(fù)制了256/W次，恢復(fù)得到一個(gè)寬度為256的向量數(shù)據(jù)，寫入到256個(gè)PE中。

圖4 靈活多粒度的存儲(chǔ)器訪問(wèn)網(wǎng)絡(luò)電路

（3）視覺處理專用指令集

本文為視覺核心設(shè)計(jì)了自定義的視覺處理專用指令集。視覺處理專用指令集根據(jù)處理器支持的圖像處理算法多級(jí)并行的特點(diǎn)而設(shè)計(jì)，主要包含三個(gè)大類：標(biāo)量類型指令、向量類型指令以及控制類型指令。標(biāo)量類型指令主要負(fù)責(zé)串行的標(biāo)量數(shù)據(jù)處理，以及分支和跳轉(zhuǎn)指令。向量類型指令主要負(fù)責(zé)大規(guī)模數(shù)據(jù)并行處理，可同時(shí)對(duì)多個(gè)向量數(shù)據(jù)并行地執(zhí)行運(yùn)算操作?？刂祁愋椭噶钪饕?fù)責(zé)配置視覺核心的工作狀態(tài)。多樣的指令集提高了處理器的可編程性，使得處理器兼容支持計(jì)算機(jī)視覺算法和深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)算法。另外，視覺處理專用指令集根據(jù)神經(jīng)網(wǎng)絡(luò)算法進(jìn)行了新的調(diào)整和擴(kuò)展，在向量類型指令中加入了乘累加運(yùn)算指令、神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)移動(dòng)指令和數(shù)據(jù)截?cái)嘀噶?，在控制類型指令中加入了向量寬度配置指令和PEG邊界填充配置指令，這些指令都有效提高了深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)算法的運(yùn)行效率。

2.3 算法-硬件協(xié)同設(shè)計(jì)

視覺處理器芯片硬件上的計(jì)算單元數(shù)量、存儲(chǔ)容量、面積和功耗都有諸多限制，為了在芯片上實(shí)現(xiàn)深度學(xué)習(xí)算法這種復(fù)雜的圖像處理操作，本文仔細(xì)分析目標(biāo)檢測(cè)算法的計(jì)算特點(diǎn)和硬件需求，從算法-硬件協(xié)同設(shè)計(jì)的視角出發(fā)，對(duì)算法進(jìn)行剪枝和量化壓縮，從而實(shí)現(xiàn)算法在硬件上的高效部署。

（1）算法設(shè)計(jì)

遙感圖像下船只目標(biāo)具有以下特征：1）船只目標(biāo)較為稀疏，在遙感圖像中分布較為分散；2）遙感圖像中船只目標(biāo)尺寸相對(duì)較?。?）不同船只目標(biāo)尺寸變化范圍較小。因此，針對(duì)海洋稀疏背景遙感圖像目標(biāo)檢測(cè)的應(yīng)用需求，本文使用一種“粗看-細(xì)看”融合的高效率視覺處理算法[13]，該算法通過(guò)低運(yùn)算量的處理實(shí)現(xiàn)圖像背景的快速排除，再對(duì)疑似船只目標(biāo)區(qū)域進(jìn)行精確的分類檢測(cè)，從而提取船只目標(biāo)的精確位置信息，算法流程如圖5所示。首先對(duì)遙感圖像進(jìn)行預(yù)處理操作，提高原始圖像的質(zhì)量，然后采用計(jì)算機(jī)視覺算法分割出存在可疑目標(biāo)的感興趣圖像區(qū)域，最后使用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)算法提取特征，分類檢測(cè)出遙感目標(biāo)。

圖5 “粗看-細(xì)看”融合的類腦視覺處理算法流程

（2）算法壓縮

為了便于圖像處理算法部署在視覺處理器芯片硬件上，本文采用了算法剪枝和量化的壓縮方法對(duì)卷積神經(jīng)網(wǎng)絡(luò)算法模型進(jìn)行壓縮。由于神經(jīng)網(wǎng)絡(luò)中包含了很多對(duì)模型的推理精度影響很小的權(quán)重參數(shù)，利用這一特性可以簡(jiǎn)化神經(jīng)網(wǎng)絡(luò)運(yùn)算，把卷積核包含的非重要權(quán)重參數(shù)置0，消除不必要的計(jì)算量，這個(gè)過(guò)程稱為算法剪枝。本文使用基于飽和懲罰項(xiàng)的剪枝方法對(duì)算法主干網(wǎng)絡(luò)進(jìn)行裁剪，保留重要的通道，裁剪掉非重要的通道，以達(dá)到算法剪枝降低計(jì)算量的目的[14]。算法量化是一種壓縮網(wǎng)絡(luò)參數(shù)量、減少運(yùn)算復(fù)雜度的算法優(yōu)化技術(shù)，通過(guò)對(duì)32bit浮點(diǎn)數(shù)進(jìn)行量化操作轉(zhuǎn)換為定點(diǎn)8bit數(shù)值格式，可以大幅降低硬件存儲(chǔ)開銷。本文采用基于離群值感知的Post-Training量化方法，通過(guò)均勻采樣確定量化因子的手段，有效解決了因?yàn)榱炕x群值引起的量化誤差過(guò)大的問(wèn)題[15]，達(dá)到了在不明顯損失精度的條件下壓縮網(wǎng)絡(luò)模型的目的。

本文設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)算法采用剪枝和量化技術(shù)進(jìn)行模型壓縮優(yōu)化，模型參數(shù)量從4.1MB壓縮至0.7 MB，極大地便于在視覺處理器芯片硬件上完成算法部署。

（3）抗輻照刷新技術(shù)

在遙感衛(wèi)星應(yīng)用場(chǎng)景下，輻照效應(yīng)會(huì)嚴(yán)重影響芯片功能，尤其視覺處理器中大量指令流水線、多種功能存儲(chǔ)器以及運(yùn)算單元的使用，更造成視覺處理器對(duì)單粒子翻轉(zhuǎn)輻照效應(yīng)敏感性大大提高[16]。然而，視覺處理器的可編程特性決定了其內(nèi)部只有指令存儲(chǔ)器收到輻照影響才會(huì)導(dǎo)致功能錯(cuò)誤。因此，為了以最小的功能、功耗和面積代價(jià)提升視覺處理器的抗輻照性能，我們應(yīng)該主要提升指令存儲(chǔ)器的容錯(cuò)性能。提出針對(duì)指令存儲(chǔ)器的周期性刷新緩解技術(shù)，由微控制模塊編程控制周期性地刷新指令存儲(chǔ)器數(shù)據(jù)，刷新周期可根據(jù)輻照環(huán)境的具體情況編程配置。采用這種技術(shù)，在保證視覺處理器功能可用的前提下，可減少整個(gè)工作期間內(nèi)修復(fù)過(guò)程所占的時(shí)間比例，從而提高處理器的工作效率和抗輻照性能。

3 目標(biāo)檢測(cè)應(yīng)用與驗(yàn)證系統(tǒng)

3.1 驗(yàn)證系統(tǒng)設(shè)計(jì)

本文設(shè)計(jì)的遙感圖像目標(biāo)檢測(cè)智能處理系統(tǒng)的系統(tǒng)架構(gòu)基于智能視覺處理芯片和FPGA，具體如圖6所示。系統(tǒng)中視覺處理器芯片主要負(fù)責(zé)對(duì)輸入的遙感圖像完成圖像預(yù)處理、計(jì)算機(jī)視覺算法和深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)算法等圖像處理算法，可以實(shí)現(xiàn)實(shí)時(shí)的目標(biāo)檢測(cè)功能。數(shù)據(jù)轉(zhuǎn)換板上集成的FPGA芯片負(fù)責(zé)完成系統(tǒng)各功能模塊間的數(shù)據(jù)傳輸、數(shù)據(jù)轉(zhuǎn)換和流程控制。DDR3存儲(chǔ)顆粒用于緩存圖像數(shù)據(jù)。板間高速數(shù)據(jù)傳輸采用標(biāo)準(zhǔn)高速接口，同時(shí)支持Aurora 64B/66B、Aurora 8B/10B、SRIO、10G Base-kr等多種通信協(xié)議，保障了應(yīng)用靈活性。高分相機(jī)型號(hào)采用Cameralink接口與FPGA相連，通過(guò)上位機(jī)配置分辨率、幀率、輸出增益等工作參數(shù)。

圖6 遙感圖像目標(biāo)檢測(cè)智能處理系統(tǒng)架構(gòu)

系統(tǒng)的工作流程如圖7所示。具體流程如下：

1）初始化視覺處理器芯片。視覺處理器芯片初始化過(guò)程是為芯片提供指令數(shù)據(jù)，F(xiàn)PGA先從板上Flash中讀取指令數(shù)據(jù)，發(fā)送給視覺處理器芯片。指令數(shù)據(jù)包括微控制模塊指令、視覺核心指令和圖像處理算法參數(shù)。

2）啟動(dòng)相機(jī)拍攝并緩存圖像。利用上位機(jī)啟動(dòng)相機(jī)拍攝圖像并將圖像數(shù)據(jù)發(fā)送至數(shù)據(jù)轉(zhuǎn)接板，F(xiàn)PGA將寬幅高分辨率圖像按照視覺處理器芯片輸入要求進(jìn)行裁切后，緩存至DDR3顆粒中，等待視覺處理器芯片的讀取。

3）圖像處理并返回結(jié)果。視覺處理器芯片監(jiān)測(cè)到拍攝圖像緩存完成后，通過(guò)FPGA啟動(dòng)板間接口和數(shù)據(jù)轉(zhuǎn)換模塊，依次將裁切好的圖像塊輸入至處理器芯片，在片內(nèi)完成多種圖像處理算法，并輸出處理結(jié)果緩存至DDR3中。

4）讀回并顯示處理結(jié)果。FPGA將緩存在DDR3中的原始圖像和處理結(jié)果通過(guò)HDMI高清視頻接口直接顯示目標(biāo)檢測(cè)結(jié)果，完成完整的工作流程。

圖7 驗(yàn)證系統(tǒng)工作流程

高速數(shù)據(jù)傳輸通路的暢通和穩(wěn)定是整個(gè)系統(tǒng)實(shí)現(xiàn)實(shí)時(shí)圖像拍攝和處理的關(guān)鍵。因此，有必要對(duì)系統(tǒng)數(shù)據(jù)傳輸鏈路進(jìn)行數(shù)據(jù)帶寬分析，以保證芯片和系統(tǒng)性能最大化。原始圖像由高分相機(jī)拍攝產(chǎn)生，圖像像素規(guī)模為4 k×3 k@8 bit，幀率18幀/s，圖像數(shù)據(jù)帶寬約1 700 Mbit/s。板間的高速接口峰值帶寬最高可達(dá)10 Gbit/s，實(shí)際運(yùn)行帶寬2.5Gbit/s。板上DDR3顆粒頻率運(yùn)行在666.6 MHz，數(shù)據(jù)位寬64 bit，數(shù)據(jù)帶寬約42 Gbit/s。視覺處理器芯片接口頻率為50 MHz，數(shù)據(jù)位寬為64 bit，對(duì)應(yīng)數(shù)據(jù)帶寬約3 Gbit/s。由此可見，所有關(guān)鍵節(jié)點(diǎn)數(shù)據(jù)帶寬均高于數(shù)據(jù)源帶寬，相機(jī)拍攝的圖像數(shù)據(jù)先緩存到DDR3緩存中，供視覺處理器芯片連續(xù)不間斷地讀取圖像并執(zhí)行目標(biāo)檢測(cè)處理算法。因此，系統(tǒng)設(shè)計(jì)可以滿足圖像數(shù)據(jù)實(shí)時(shí)處理的需求。

本文設(shè)計(jì)了面向硬件的卷積神經(jīng)網(wǎng)絡(luò)圖像目標(biāo)檢測(cè)算法，并將算法部署在智能視覺處理器芯片上，可執(zhí)行實(shí)時(shí)目標(biāo)檢測(cè)圖像處理任務(wù)。圖8給出了圖像目標(biāo)檢測(cè)算法流程，采用面向硬件加速的輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，整個(gè)算法包含“粗看”和“細(xì)看”兩個(gè)階段?！按挚础彪A段網(wǎng)絡(luò)模型包含4層卷積層，各卷積層分別包含2、4、8、16個(gè)卷積模板?！凹?xì)看”階段的網(wǎng)絡(luò)模型主要由一個(gè)主干網(wǎng)絡(luò)、一個(gè)類別生成分支、一個(gè)實(shí)例分割分支組成。主干網(wǎng)絡(luò)主要包含4個(gè)卷積層；類別生成分支的輸入為主干網(wǎng)絡(luò)輸出的特征圖，經(jīng)過(guò)卷積層和softmax等處理后輸出該圖像塊所屬類別為船只目標(biāo)或背景（云、陸地、海洋）；實(shí)例分割分支輸入也為主干網(wǎng)絡(luò)輸出的特征圖，經(jīng)過(guò)卷積轉(zhuǎn)置和激活函數(shù)后輸出船只目標(biāo)實(shí)例分割Mask。本文在Airbus數(shù)據(jù)集和實(shí)際拍攝圖像數(shù)據(jù)的基礎(chǔ)上構(gòu)建了適用于兩階段目標(biāo)檢測(cè)算法訓(xùn)練的數(shù)據(jù)集，并分別對(duì)“粗看”和“細(xì)看”兩個(gè)階段網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。

圖8 船只目標(biāo)檢測(cè)算法流程

3.2 測(cè)試結(jié)果

本文搭建了遙感圖像目標(biāo)檢測(cè)智能處理系統(tǒng)，該系統(tǒng)由高分相機(jī)、圖像目標(biāo)檢測(cè)模塊、上位機(jī)和模擬遙感沙盤組成，數(shù)據(jù)轉(zhuǎn)換板和智能圖像處理板通過(guò)高速接口接插件固定在圖像目標(biāo)檢測(cè)模塊中，圖像目標(biāo)檢測(cè)模塊主要完成了圖像數(shù)據(jù)收集、智能圖像處理和結(jié)果輸出的功能，是系統(tǒng)的核心功能模塊。為保障系統(tǒng)長(zhǎng)時(shí)間的穩(wěn)定工作，圖像目標(biāo)檢測(cè)模塊內(nèi)部采用風(fēng)冷散熱，視覺處理器芯片和FPGA芯片加裝散熱鋁片和風(fēng)扇，并在模塊外殼兩側(cè)制作開孔加強(qiáng)空氣流通散熱。圖像目標(biāo)檢測(cè)模塊加裝外殼（不包含鏡頭）后的尺寸為250 mm×190 mm×80 mm（長(zhǎng)×高×寬）。

本文采用兩種方法對(duì)該系統(tǒng)進(jìn)行測(cè)試。

方法1：我們制作了模擬遙感拍攝圖像的沙盤實(shí)物，沙盤尺寸2.5 m×2.5 m，遙感目標(biāo)船只尺寸約10～15 cm，成像距離2.5 m。使用高分相機(jī)對(duì)沙盤進(jìn)行拍攝，將獲取的彩色圖像裁切成256×256像素分辨率大小的圖像塊，送入視覺處理器芯片實(shí)時(shí)地進(jìn)行目標(biāo)檢測(cè)處理，檢測(cè)出目標(biāo)的位置坐標(biāo)，處理結(jié)果通過(guò)顯示器實(shí)時(shí)顯示檢測(cè)效果，測(cè)試結(jié)果如圖9(a)所示，成像分辨率為4 k×3 k像素，成像幀率為18幀/s。

方法2：通過(guò)Google地圖、Airbus等來(lái)源獲取真實(shí)遙感圖像和視頻數(shù)據(jù)，將數(shù)據(jù)通過(guò)高速接口直接連續(xù)地輸入到系統(tǒng)中，系統(tǒng)中的FPGA芯片將圖像進(jìn)行裁切及下采樣等預(yù)處理后，以256×256像素分辨率大小的圖像塊送入視覺處理器芯片完成目標(biāo)檢測(cè)功能，并將處理得到的船只目標(biāo)坐標(biāo)信息實(shí)時(shí)傳回至上位機(jī)顯示檢測(cè)結(jié)果，測(cè)試效果如圖9(b)所示。

利用檢測(cè)精度來(lái)評(píng)價(jià)算法的有效性，定義如下[17]

式中T指被正確地檢測(cè)為目標(biāo)的圖像數(shù)量；F指被錯(cuò)誤地檢測(cè)為目標(biāo)的圖像數(shù)量。本文統(tǒng)計(jì)將1 500個(gè)圖像塊送入視覺處理系統(tǒng)，其中102個(gè)圖像塊含有目標(biāo)，1 398個(gè)圖像塊為背景（不考慮圖像塊同時(shí)含目標(biāo)和背景的情況）。

經(jīng)測(cè)試，系統(tǒng)正確檢測(cè)出目標(biāo)圖像塊77個(gè)，誤檢為目標(biāo)的圖像塊5個(gè)。因此根據(jù)公式（1）計(jì)算，本系統(tǒng)目標(biāo)檢測(cè)精度為93.9%。系統(tǒng)處理能力達(dá)到200 M像素/s，芯片峰值計(jì)算能效達(dá)到2×1012次/W（300 MHz時(shí)），系統(tǒng)性能參數(shù)如表1所示。

圖9 遙感圖像目標(biāo)檢測(cè)系統(tǒng)測(cè)試結(jié)果

表1 遙感圖像智能處理系統(tǒng)性能參數(shù)

Tab.1 Performance of vision processor and verification system

4 結(jié)束語(yǔ)

針對(duì)遙感圖像數(shù)據(jù)量激增、處理速度慢、有效信息提取能力不足以及載荷功耗高等限制與挑戰(zhàn)，本文提出一種面向星上處理的遙感圖像智能處理系統(tǒng)，系統(tǒng)搭載視覺處理器芯片和FPGA，可實(shí)現(xiàn)圖像預(yù)處理算法、計(jì)算機(jī)視覺算法和深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)算法等多種圖像處理算法，采用實(shí)拍模擬遙感圖像沙盤和直接輸入真實(shí)遙感圖像數(shù)據(jù)兩種方式對(duì)芯片和系統(tǒng)進(jìn)行了測(cè)試驗(yàn)證，芯片峰值計(jì)算能效達(dá)到2×1012次/W（300 MHz時(shí)），系統(tǒng)處理能力達(dá)到200 M像素/s。

基于本文的研究工作，面向更高集成度、更強(qiáng)處理能力和更低功耗的目標(biāo)，未來(lái)我們將圍繞以下內(nèi)容開展下一階段的研究：

1）為了進(jìn)一步提升智能視覺系統(tǒng)的算力和集成度，采用三維集成工藝技術(shù)將不同工藝制作的高分辨率傳感器芯片和智能視覺處理器芯片實(shí)現(xiàn)堆疊集成，構(gòu)成完整視覺系統(tǒng)芯片，單芯片實(shí)現(xiàn)高性能、高能效、高帶寬和小尺寸的傳感、計(jì)算與存儲(chǔ)功能[18]。

2）近年來(lái)，視覺處理器單芯片的算力已經(jīng)達(dá)到很高的程度，基于芯粒（Chiplet）的集成封裝技術(shù)將多個(gè)單功能分立式芯片集成封裝在一塊基板上[19]，互連成為一個(gè)完整復(fù)雜功能的系統(tǒng)級(jí)芯片。待解決高速數(shù)據(jù)接口、低功耗集成技術(shù)以及互連標(biāo)準(zhǔn)化等關(guān)鍵技術(shù)問(wèn)題后，“芯?！奔夹g(shù)有望極大地提升芯片性能，增加芯片設(shè)計(jì)靈活性。

[1] 張財(cái)廣, 熊博蒞, 匡綱要. 光學(xué)衛(wèi)星遙感圖像艦船目標(biāo)檢測(cè)綜述[J]. 電波科學(xué)學(xué)報(bào), 2020, 35(5): 637-647. ZHANG Caiguang, XIONG Boli, KUANG Gangyao. A Survey of Ship Detection in Optical Satellite Remote Sensing Images[J]. Chinese Journal of Radio Science, 2020, 35(5): 637-647. (in Chinese)

[2] 肖化超, 王鵬, 張建華, 等. 遙感衛(wèi)星在軌圖像智能處理設(shè)計(jì)與驗(yàn)證[J]. 航天器工程, 2022, 37(2): 43-48. XIAO Huachao, WANG Peng, ZHANG Jianhua, et al. Design and Verification of On-board Intelligent Processing Technology for Remote Sensing Satellites[J]. Spacecraft Engineering, 2022, 37(2): 43-48. (in Chinese)

[3] 李想, 楊燦坤, 周春平, 等. 高分辨率光學(xué)衛(wèi)星圖像目標(biāo)運(yùn)動(dòng)信息提取研究綜述[J]. 國(guó)土資源遙感, 2019, 31(3): 1-9. LI Xiang, YANG Cankun, ZHOU Chunping, et al. A Review of Target Motion Information Extraction from High-resolution Optical Satellite Images[J]. Remote Sensing for Land and Resources, 2019, 31(3): 1-9. (in Chinese)

[4] 唐紹富, 段蘭蘭. 基于遙感圖像的船舶目標(biāo)識(shí)別技術(shù)[J]. 艦船科學(xué)技術(shù), 2020, 42(14): 85-87. TANG Shaofu, DUAN Lanlan. Research on Ship Target Recognition Technology Based on Remote Sensing Image[J]. Ship Science and Technology, 2020, 42(14): 85-87. (in Chinese)

[5] 仇曉蘭, 胡玉新, 上官松濤, 付琨. 遙感衛(wèi)星大數(shù)據(jù)高精度一體化處理技術(shù)[J]. 大數(shù)據(jù), 2022, 8(2): 15-27. QIU Xiaolan, HU Yuxin, SHANGGUAN Songtao, FU Kun. Remote Sensing Satellite Big Data High-recision Integration Processing Technology[J]. Big Data Research, 2022, 8(2): 15-27. (in Chinese)

[6] 劉韜. 國(guó)外視頻衛(wèi)星發(fā)展研究[J]. 國(guó)際太空, 2014(9): 50-56. LIU Tao. Research of National and International Video Satellites[J]. Space International, 2014(9): 50-56. (in Chinese)

[7] 李貝貝, 韓冰, 田甜, 等. 吉林一號(hào)視頻衛(wèi)星應(yīng)用現(xiàn)狀與未來(lái)發(fā)展[J]. 衛(wèi)星應(yīng)用, 2018(3): 23-27. LI Beibei, HAN Bing, TIAN Tian, et al. Application Status and Future Development of Jilin-1 Video Satellite[J]. Satellite Applications, 2018(3): 23-27. (in Chinese)

[8] 孫偉偉, 楊剛, 陳超, 等. 中國(guó)地球觀測(cè)遙感衛(wèi)星發(fā)展現(xiàn)狀及文獻(xiàn)分析[J]. 遙感學(xué)報(bào), 2020, 24(5): 479-510. SUN Weiwei, YANG Gang, CHEN Chao, et al．Development Status and Literature Analysis of China's Earth Observation Remote Sensing Satellites[J]. Journal of Remote Sensing, 2020, 24(5): 479-510. (in Chinese)

[9] 李鴻龍, 楊杰, 張忠星, 等. 用于實(shí)時(shí)目標(biāo)檢測(cè)的高速可編程視覺芯片[J]. 紅外與激光工程, 2020, 49(5): 193-202. LI Honglong, YANG Jie, ZHANG Zhongxing, et al. A High Speed Programmable Vision Chip for Real-time Object Detection[J]. Infrared and Laser Engineering, 2020, 49(5): 193-202. (in Chinese)

[10] 羅遷. 面向視覺芯片的深度學(xué)習(xí)視覺處理器關(guān)鍵技術(shù)研究[D]. 北京: 中國(guó)科學(xué)院半導(dǎo)體研究所, 2022. LUO Qian. Research on Key Technologies of Deep Learning Vision Processor for Vision Chip[D]. Beijing: Institute of Semiconcluctors, Chinese Academy of Sciences, 2022.

[11] ZHENG Xuemin, CHENG Li, ZHAO Mingxin, et al. ViP: A Hierarchical Parallel Vision Processor for Hybrid Vision Chip[J]. IEEE Transactions on Circuits and Systems II: Express Briefs, 2022, 69(6): 2957-2961.

[12] 王密, 楊芳. 智能遙感衛(wèi)星與遙感影像實(shí)時(shí)服務(wù)[J]. 測(cè)繪學(xué)報(bào), 2019, 48(12): 1586-1594. WANG Mi, YANG Fang. Intelligent Remote Sensing Satellite and Remote Sensing Image Real-time Service[J]. Acta Geodaetica et Cartographica Sinica, 2019, 48(12): 1586-1594. (in Chinese)

[13] ZHANG Zhongxing, LI Honglong, ZHANG Guangqian, et al. CCNet: A High-speed Cascaded Convolutional Neural Network for Ship Detection with Multispectral Images[J]. Journal of Infrared and Millimeter Waves, 2019, 38(3): 290-295.

[14] ZHAO Mingxin, PENG Junbo, YU Shuangming, et al. Exploring Structural Sparsity in CNN via Selective Penalty[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2022, 32(3): 1658-1666.

[15] ZHAO Mingxin, NING Ke, YU Shuangming, et al. Quantizing Oriented Object Detection Network via Outlier-Aware Quantization and IoU Approximation[J]. IEEE Signal Processing Letters, 2020, 27: 1914-1918.

[16] DI Qian, ZHANG Zhongxing, LI Honglong, et al. Single Event Upset Failure Probability Evaluation and Periodic Scrubbing Techniques for Hierarchical Parallel Vision Processors[J]. IEICE Electronics Express, 2019, 16(21): 20190544.

[17] 李曉斌, 江碧濤, 楊淵博, 等. 光學(xué)遙感圖像目標(biāo)檢測(cè)技術(shù)綜述[J]. 航天返回與遙感, 2019, 40(4): 95-104. LI Xiaobin, JIANG Bitao, YANG Yuanbo, et al. A Survey on Object Detection Technology in Optical Remote Sensing Images[J]. Spacecraft Recovery & Remote Sensing, 2019, 40(4): 95-104. (in Chinese)

[18] CHAN Chihang, CHENG Lin, DENG Wei, et al. Trending IC Design Directions in 2022[J]. Journal of Semiconductors, 2022, 43(7): 071401.

[19] 蔣劍飛, 王琴, 賀光輝, 等. Chiplet技術(shù)研究與展望[J]. 微電子學(xué)與計(jì)算機(jī), 2022, 39(1): 1-6． JIANG Jianfei, WANG Qin, HE Guanghui, et al. Research and Prospect on Chiplet Technology[J]. Microelectromcs & Computer, 2022, 39(1): 1-6. (in Chinese)

Design and Implementation of Remote Sensing Image Processing System with Intelligent Vision Processor

YU Shuangming1,2WU Wenbo3DOU Runjiang1LIU Liyuan1,4LIU Jian1,2WU Nanjian1,2

（1 State Key Laboratory of Superlattices and Microstructures, Institute of Semiconductors, Chinese Academy of Sciences, Beijing 100083, China）（2 University of Chinese Academy of Sciences, College of Materials Science and Opto-Electronic Technology, Beijing 100049, China）（3 Beijing Institute of Space Mechanics & Electricity, Beijing 100094, China）（4 University of Chinese Academy of Sciences, School of Electronic Electrical and Communication Engineering, Beijing 100049, China）

With the rapid development of remote sensing satellite imaging technology, image processing technology is faced with challenges, such as slow data processing, detection and high power consumption. This paper presents a remote sensing image processing system with a vision processor chip for intelligently processing remote sensing images. The chip has a dynamically reconfigurable parallel architecture is proposed to flexibly and efficiently implement image preprocessing, computer vision algorithms and deep learning neural network algorithms. The algorithm/hardware co-design method is used to compact algorithm models by pruning and quantization techniques. The processing system for remote sensing image processing is built and tested with real remote images. The test results show that the vision processor designed and implemented in the paper achieves an energy efficiency of 2TOPS/W @300 MHz clock frequency. The system can realize remote sensing image target detection function with a performance of 200M pixel/second.

remote sensing image; image processing; vision processor; deep learning neural network

V445

A

1009-8518(2023)05-0054-11

10.3969/j.issn.1009-8518.2023.05.007

于雙銘，男，1987年生，2015年獲中國(guó)科學(xué)院半導(dǎo)體研究所微電子學(xué)與固體電子學(xué)博士學(xué)位，現(xiàn)為中國(guó)科學(xué)院半導(dǎo)體研究所副研究員。主要研究方向?yàn)槿斯ぶ悄芤曈X芯片、低功耗數(shù)?；旌霞呻娐?。E-mail：yushuangming@semi.ac.cn。

2022-06-11

國(guó)家自然科學(xué)基金（62274154，U20A20205，U21A20504）；國(guó)家重點(diǎn)研發(fā)計(jì)劃（2019YFB2204300）；中國(guó)科學(xué)院青年創(chuàng)新促進(jìn)會(huì)項(xiàng)目（2021109）

于雙銘, 武文波, 竇潤(rùn)江, 等. 基于視覺處理器芯片的遙感圖像智能處理系統(tǒng)設(shè)計(jì)與驗(yàn)證[J]. 航天返回與遙感, 2023, 44(5): 54-64.

YU Shuangming, WU Wenbo, DOU Runjiang, et al. Design and Implementation of Remote Sensing Image Processing System with Intelligent Vision Processor[J]. Spacecraft Recovery & Remote Sensing, 2023, 44(5): 54-64. (in Chinese)

（編輯：毛建杰）