凡遵林，王 浩，管乃洋，葉婷婷，孫騫沖,4

〈綜述與評論〉

單幀紅外圖像弱小目標(biāo)檢測研究綜述

凡遵林1，王 浩2，管乃洋1，葉婷婷3，孫騫沖1,4

（1. 軍事科學(xué)院，北京 100071；2. 天津（濱海）人工智能創(chuàng)新中心，天津 300000；3. 中國人民解放軍96911部隊，北京 100089；4. 國防科技大學(xué) 計算機(jī)學(xué)院，湖南 長沙 410073）

遠(yuǎn)距離廣視角場景中由于紅外熱成像儀成像原理的局限性、大氣環(huán)境的干擾、遠(yuǎn)距離傳輸介質(zhì)對紅外輻射的衰減，檢測目標(biāo)面臨巨大挑戰(zhàn)。本文在詳細(xì)分析了圖像背景復(fù)雜、目標(biāo)特性弱小、圖像對比度低和結(jié)構(gòu)特性缺失等紅外弱小目標(biāo)圖像特性的基礎(chǔ)上，從基于目標(biāo)突顯和背景預(yù)測兩大類概述了單幀紅外圖像弱小目標(biāo)檢測技術(shù)的研究現(xiàn)狀，并探討了紅外弱小目標(biāo)檢測研究的發(fā)展趨勢。

紅外弱小目標(biāo)檢測；目標(biāo)突顯；背景預(yù)測；數(shù)理驅(qū)動；數(shù)據(jù)驅(qū)動

0 引言

自然界一切溫度高于絕對零度（－273.15℃）的物體都會發(fā)射紅外輻射。根據(jù)場景溫度分布，紅外熱成像系統(tǒng)被動接收紅外輻射，獲取人眼能看到的紅外圖像[1-3]。相比合成孔徑雷達(dá)和激光成像等主動式成像系統(tǒng)，紅外熱成像系統(tǒng)被動接收場景紅外輻射，具有隱蔽性好、角分辨率高和抗電磁干擾能力強的優(yōu)點；相比可見光成像系統(tǒng)，它不依賴外部光線照射而能全天候工作，受雨雪和煙霧等干擾影響較小，不受局部強光或逆光影響，抗復(fù)雜光照能力強；還具備體積小、重量輕和機(jī)動性強等優(yōu)勢[4-7]。因此，紅外熱成像被廣泛應(yīng)用于監(jiān)視、偵察以及導(dǎo)航等軍事領(lǐng)域，成為現(xiàn)代精確制導(dǎo)武器中的主要手段之一。

紅外熱像儀成像原理的局限性、大氣環(huán)境的干擾、遠(yuǎn)距離傳輸介質(zhì)對紅外輻射的衰減、場景物體和背景之間較小的溫度差，導(dǎo)致了紅外弱小目標(biāo)圖像存在圖像背景復(fù)雜、目標(biāo)特性弱小、圖像對比度低和結(jié)構(gòu)特性缺失等挑戰(zhàn)，下文將詳細(xì)分析紅外弱小目標(biāo)特性。因此，開展復(fù)雜背景下紅外弱小目標(biāo)檢測研究，對擴(kuò)大現(xiàn)代化高技術(shù)武器作戰(zhàn)距離和提升反應(yīng)速度具有重要的實際價值。目前，國內(nèi)外學(xué)者對于紅外小目標(biāo)檢測的問題已做了很多富有成效的工作，取得了長足發(fā)展。紅外弱小目標(biāo)檢測主要包括檢測前跟蹤和跟蹤前檢測兩大研究方向[8]。檢測前跟蹤算法：在序列圖像中跟蹤眾多潛在目標(biāo)軌跡基礎(chǔ)上，判斷軌跡的真實性以檢測目標(biāo)。跟蹤前檢測算法：即單幀紅外弱小目標(biāo)檢測，處理單幀圖像提升目標(biāo)和背景的可分離性，隨后利用門限檢測目標(biāo)。檢測前跟蹤算法在處理信雜比低圖像時具有一定優(yōu)勢，但算法復(fù)雜度高和數(shù)據(jù)存儲量大，實際工程中實時性差，應(yīng)用較少。跟蹤前檢測算法復(fù)雜度較低，實時性好，易于硬件實現(xiàn)，近年來對單幀圖像算法的研究已成為紅外弱小目標(biāo)檢測算法的主要研究方向。

在單幀紅外弱小目標(biāo)檢測算法中，可把從復(fù)雜背景中檢測紅外弱小目標(biāo)問題看成二分類的模式識別問題。提升目標(biāo)和背景之間的可分離性是檢測紅外單幀圖像弱小目標(biāo)的有效途徑之一。本文首先詳細(xì)分析了遠(yuǎn)距離紅外圖像特性，其次重點綜述單幀紅外弱小目標(biāo)檢測研究現(xiàn)狀，最后分析了紅外弱小目標(biāo)檢測研究的發(fā)展趨勢。

1 遠(yuǎn)距離紅外圖像特性分析

1）圖像背景復(fù)雜

紅外熱成像系統(tǒng)監(jiān)視如天空或海面的遠(yuǎn)距離場景時，大氣傳輸和外界環(huán)境對紅外輻射的衰減是紅外圖像背景復(fù)雜的主要因素[9-11]。圖1展示了3種典型復(fù)雜背景下受強雜波干擾的紅外弱小目標(biāo)圖像。圖1(a)中，不同海拔空氣溫度變化較大，云層分布不均勻，圖像背景雜波變化起伏；圖1(b)中，連綿起伏海浪的紅外輻射形成了圖像背景大面積的雜波；圖1(c)內(nèi)，由于?？账魵鉂穸雀?，對紅外輻射衰減嚴(yán)重，圖像中艦船目標(biāo)幾乎被背景完全淹沒?？偨Y(jié)遠(yuǎn)距離紅外圖像的背景特性：同一行或同一列之間像素點灰度值有較大差異，存在邊緣起伏和局部亮的區(qū)域；其像素灰度值不服從高斯分布，具有明顯的非平穩(wěn)性和復(fù)雜性。

2）目標(biāo)特性弱小

遠(yuǎn)距離紅外圖像的目標(biāo)呈現(xiàn)出弱、小特征，即“弱”的灰度值和“小”的像素尺寸[12-13]。如圖1(a)紅色方框的目標(biāo)，其直徑是幾米甚至幾十米，但在遠(yuǎn)距離寬視角場景中約只占幾個或十幾個的像素點，目標(biāo)在圖像視場內(nèi)呈現(xiàn)“小”的特性。圖1(b)和(c)紅色方框內(nèi)的目標(biāo)，紅外輻射受到大氣衰減和湍流干擾影響，到達(dá)成像系統(tǒng)的能量很低，加上光學(xué)系統(tǒng)和讀出電路環(huán)節(jié)中能量衰減過程，目標(biāo)灰度值在圖像視場內(nèi)呈現(xiàn)“弱”的特性。

3）圖像對比度低

圖像對比度是指圖像的灰度值從最暗到最亮的漸變層次，能反映一幅圖像灰度反差的大小。目標(biāo)和背景之間的本身溫差較小，經(jīng)過遠(yuǎn)距離大氣傳輸和成像系統(tǒng)的因素進(jìn)一步造成熱輻射能量損失，導(dǎo)致場景內(nèi)目標(biāo)和背景之間溫度差異更小。同時，紅外熱成像系統(tǒng)獲取原始數(shù)據(jù)的存儲格式通常是14bit，而當(dāng)前大部分顯示設(shè)備只能顯示256個灰度級，即8bit存儲格式，會進(jìn)一步壓縮原始數(shù)據(jù)的灰度動態(tài)范圍。因此，遠(yuǎn)距離紅外圖像灰度動態(tài)范圍較小，對比度較低[14-16]。

4）結(jié)構(gòu)特征缺失

紅外焦平面陣列上熱敏材料的研制工藝復(fù)雜，價格昂貴。即便熱敏材料的研制技術(shù)快速進(jìn)步，紅外焦平面陣列分辨率的提升仍然趕不上（Charge Coupled Device，CCD）或（Complementary Metal Oxide Semi-conductor，COMS）可見光圖像傳感器分辨率的高速發(fā)展。表面溫度一致的物體或溫度相近的不同物體發(fā)射的紅外熱輻射經(jīng)過大氣媒介到達(dá)紅外焦平面陣列，紅外圖像缺乏整體層次感，目標(biāo)和背景差別很小，目標(biāo)邊緣模糊，細(xì)節(jié)紋理特征丟失嚴(yán)重，不具備一般可見光圖像所具備的清晰結(jié)構(gòu)特征[17-19]。

2 單幀紅外弱小目標(biāo)檢測研究現(xiàn)狀

在單幀紅外弱小目標(biāo)檢測算法中，把從復(fù)雜背景中檢測紅外弱小目標(biāo)問題看成二分類的模式識別問題[20]。圍繞弱小目標(biāo)和背景雜波特性，本文將分離目標(biāo)和背景的研究歸納為突顯目標(biāo)、預(yù)測背景、兼顧目標(biāo)與背景三類。

2.1 側(cè)重突顯目標(biāo)的目標(biāo)檢測算法

紅外背景往往呈現(xiàn)大面積連續(xù)分布狀態(tài)，在灰度空間分布內(nèi)具有較大相關(guān)性，可將目標(biāo)看作圖像孤立的奇異點。目標(biāo)的紅外輻射強度與背景的輻射強度無關(guān)，且一般高于背景的輻射強度。從信號頻譜角度分析，一般情況下目標(biāo)處于信號的高頻部分，而背景處于信號的低頻成分。因而，分離圖像高低頻部分的方式可從紅外背景中檢測目標(biāo)。

1）基于空間域濾波

空間域濾波核心思想是在空間域上利用像素灰度差異突出目標(biāo)，去除周圍背景噪聲干擾。早期的空域高通濾波器利用紅外弱小目標(biāo)灰度值高且背景灰度值較低的差異，指定某頻率為界，保留高于此頻率成分并濾除低于此頻率成分。該方法的優(yōu)勢在于計算復(fù)雜度低，便于硬件實現(xiàn)，但使得小目標(biāo)和孤立的噪聲點均可以通過，導(dǎo)致檢測率低、虛警率高，同時存在振鈴現(xiàn)象。為兼顧避免振鈴現(xiàn)象和增強濾波效果，巴特沃斯高通濾波器被用于簡單的高通濾波[21]。為提升高通濾波器對復(fù)雜背景的適應(yīng)性，文獻(xiàn)[22]采用基于圖像的信息熵自適應(yīng)調(diào)節(jié)高通濾波器的截止頻率。

作為理想高通濾波器的延伸和改進(jìn)，高斯濾波器差分法[23]通過對多個不同尺度核函數(shù)的高斯濾波器提取的成分做差分的方式，得到紅外弱小目標(biāo)圖像的多尺度特征。該類改進(jìn)方法在紅外弱小目標(biāo)檢測檢測領(lǐng)域得到廣泛研究?？紤]紅外弱小目標(biāo)圖像背景的復(fù)雜性，利用目標(biāo)與背景邊緣在方向性上的差異，將圓形的高斯核函數(shù)替換為橢圓形的Gabor核函數(shù)，從而達(dá)到通過調(diào)整橢圓的長軸角度實現(xiàn)濾波器方向區(qū)分能力，能進(jìn)一步抑制背景邊緣的干擾[24]?；诩t外弱小目標(biāo)周圍相鄰區(qū)域的強度大致呈墨西哥帽分布的假設(shè)，Zhang等采用改進(jìn)的頂帽變換和高斯濾波差分法處理紅外圖像，再選擇符合墨西哥帽分布的像素作為目標(biāo)候選區(qū)域，而后經(jīng)最大強度定位分割得到目標(biāo)[25]。也有將高斯濾波器差分法和其他變換域相結(jié)合的應(yīng)用：首先在經(jīng)傅里葉變換后的圖像對數(shù)譜內(nèi)，計算頻譜殘差轉(zhuǎn)換到空間域后得到相應(yīng)的顯著性圖；再將對用頻譜殘差方法處理后的圖像進(jìn)行差分高斯尺度空間擴(kuò)展與關(guān)鍵點檢測；最后，經(jīng)特征圖像融合與信息熵分割，突顯紅外弱小目標(biāo)[26]。

2）基于變換域濾波

空間域內(nèi)濾波算法往往考慮目標(biāo)信息不夠全面，對濾波器模板形狀和尺寸要求高且適應(yīng)性低，容易出現(xiàn)檢測概率低和虛警率高問題。因此不少學(xué)者研究在變換域內(nèi)處理圖像。變換域濾波檢測紅外弱小目標(biāo)的思路是將原始圖像利用數(shù)學(xué)方法轉(zhuǎn)換到變換域，利用紅外目標(biāo)和復(fù)雜背景在變換域內(nèi)成分的差異，經(jīng)過某種處理突顯目標(biāo)成分后逆變換至空間域，實現(xiàn)紅外弱小目標(biāo)的檢測。

小波變換是數(shù)學(xué)理論和工程應(yīng)用完美結(jié)合的產(chǎn)物，具有良好的時頻局域性和多分辨率性，對點奇異分段函數(shù)具有稀疏的表示特性[27]。在小波域內(nèi)，通過聚類方式將屬于目標(biāo)或背景的特征向量分組，提取并放大目標(biāo)系數(shù)，經(jīng)小波逆變換后實現(xiàn)目標(biāo)檢測[28]。文獻(xiàn)[29]在小波變換域內(nèi)抑制紅外圖像背景噪聲，采用非負(fù)矩陣分解方式將多尺度小波系數(shù)融合提取圖像目標(biāo)。由于小波變換缺少多方向性和各向異性，難以準(zhǔn)確表示如邊緣、輪廓和紋理等高維奇異特征。為此，很多研究者陸續(xù)提出了多尺度幾何分析，如脊波變換[30]、曲線波變換[31]、輪廓波變換[32]和剪切波變換[33-35]等。多尺度幾何分析方法在每個尺度所分解的方向上系數(shù)是靈活可變的，可以較好地去除背景干擾及噪聲，提升弱小目標(biāo)檢測性能。由于紅外圖像存在結(jié)構(gòu)背景邊緣和噪聲，其與目標(biāo)都處于圖像的高頻部分，干擾目標(biāo)的提取。相比空域濾波方法，變換域內(nèi)精細(xì)的信息能夠提升目標(biāo)檢測的可靠性，但正逆變換的運用增加了計算量，對實際工程的實時性應(yīng)用也提出了較高挑戰(zhàn)。

3）基于人類視覺特性

人類視覺特性在計算機(jī)視覺領(lǐng)域應(yīng)用非常廣泛。紅外弱小目標(biāo)檢測方法主要利用顯著性原理：人眼通過獲取視覺顯著性區(qū)域的方式區(qū)別目標(biāo)和背景，從而迅速定位感興趣區(qū)域找到感興趣目標(biāo)。因此，在此基礎(chǔ)上引入了局部對比度、視覺顯著性和多尺度等理論機(jī)制。

基于局部對比度的方法主要利用空間域的局部信息：基于計算圖像塊與其鄰域間的局部對比度構(gòu)建顯著圖，然后通過閾值分割顯著圖獲取小目標(biāo)的像素位置，達(dá)到檢測紅外弱小目標(biāo)的目的，其中得到顯著圖的方式是該類算法的關(guān)鍵，直接影響算法性能[36]。例如針對復(fù)雜場景的小目標(biāo)檢測，有學(xué)者提出了基于導(dǎo)數(shù)熵對比度測量局部信息獲取顯著圖的方法，通過幅度和位置信息得到更好的檢測結(jié)果，但分塊效應(yīng)仍然存在[37]。基于人眼視覺系統(tǒng)的注意力機(jī)制對圖像對比度、目標(biāo)運動和預(yù)測等特征的自適應(yīng)性，Li等改進(jìn)高斯濾波差分法提出了利用自適應(yīng)多尺度局部對比度提取目標(biāo)顯著區(qū)域的方法，分析光譜尺度抑制背景，增強目標(biāo)中心區(qū)域，突顯紅外弱小目標(biāo)[38]。在文獻(xiàn)[39]中，為更好抑制紅外背景雜波，利用局部灰度殘差能抑制平緩背景、局部強度均值能剔除孤立背景點干擾和梯度方向能剔除強邊緣雜波干擾的特性，融合多種局部特征形成顯著圖，并結(jié)合閾值分割實現(xiàn)弱小目標(biāo)與背景的分離。類似的，為快速準(zhǔn)確地從紅外搜索與跟蹤圖像檢測出弱小紅外目標(biāo)，文獻(xiàn)[40]提出了基于視覺顯著性和高斯濾波差分法的快速目標(biāo)檢測方法。該方法根據(jù)目標(biāo)與背景的全局特征差異，在粗檢測階段提出了基于快速譜尺度空間和全局特征的顯著性模型；根據(jù)目標(biāo)與背景的局部對比度差異，在精細(xì)檢測階段采用自適應(yīng)局部對比度的高斯濾波差分法精細(xì)改善目標(biāo)在視覺顯著區(qū)域的對比度；最后經(jīng)自適應(yīng)閾值分割目標(biāo)。

2.2 側(cè)重預(yù)測背景的目標(biāo)檢測算法

從紅外弱小目標(biāo)圖像準(zhǔn)確預(yù)測目標(biāo)和背景雜波圖像是檢測目標(biāo)的有效途徑之一。描述基于預(yù)測目標(biāo)和背景的目標(biāo)檢測算法框架如下[41]：

processed＝1×＋2×target－3×background

式中：為原圖像；target為預(yù)測的弱小目標(biāo)圖像；background為預(yù)測的雜波背景圖像；processed為處理后圖像；1、2和3對應(yīng)各成分的權(quán)重。權(quán)重1表示處理后圖像保持原圖像基本信息的程度，權(quán)重2和3分別控制增強目標(biāo)和抑制背景的程度。

復(fù)雜的雜波背景和微弱的目標(biāo)特征給分離目標(biāo)和背景帶來了巨大挑戰(zhàn)。預(yù)測的背景圖像保留了過多目標(biāo)細(xì)節(jié)，弱小目標(biāo)將會當(dāng)作背景雜波被減除；相反的，預(yù)測的背景圖像濾除了邊緣和細(xì)節(jié)等結(jié)構(gòu)特征，將會在處理后圖像保留明顯的雜波干擾。此類算法的核心是準(zhǔn)確預(yù)測背景圖像。

2.2.1 基于形態(tài)學(xué)濾波

數(shù)學(xué)形態(tài)學(xué)濾波是一種非線性濾波方式，在圖像處理領(lǐng)域得到廣泛應(yīng)用，其基本運算是膨脹與腐蝕[42]。利用形態(tài)學(xué)濾波預(yù)測紅外弱小目標(biāo)和背景圖像的基本思想是通過選取具有一定形態(tài)的結(jié)構(gòu)元素有針對性地分離出比結(jié)構(gòu)元素小的相對較亮的突起結(jié)構(gòu)（即小目標(biāo)特征信息），同時保持圖像原始灰度值和大面積的背景區(qū)域不變（即背景特征信息）。其中，結(jié)構(gòu)元素的選擇至關(guān)重要，不同的結(jié)構(gòu)元將給圖像產(chǎn)生不同的幾何結(jié)構(gòu)信息分析和處理。

近年來，基于形態(tài)學(xué)濾波對紅外弱小目標(biāo)檢測開展了廣泛研究，并取得了一些成果。如經(jīng)典的Top-hat變換能較好預(yù)測背景，同時提取與結(jié)構(gòu)元素相似的目標(biāo)和少量干擾噪聲，但由于結(jié)構(gòu)元素的單一性，難以準(zhǔn)確預(yù)測目標(biāo)附近的背景區(qū)域[43]。考慮目標(biāo)具有結(jié)構(gòu)化邊緣的先驗和背景間的自相關(guān)性，文獻(xiàn)[44]提出了一種基于Top-hat正則化與低秩張量相結(jié)合的紅外小目標(biāo)檢測方法，能夠提高紅外弱小目標(biāo)檢測的信雜比增益和穩(wěn)健性。為增強形態(tài)學(xué)濾波操作的邊緣信息，Bai等提出了邊緣增強形態(tài)學(xué)[45]。首先，改進(jìn)形態(tài)學(xué)濾波操作得到邊緣增強膨脹和侵蝕操作；其次，定義由邊緣增強膨脹操作和腐蝕操作導(dǎo)出的偽算子；最后，利用對稱的邊緣增強腐蝕與膨脹操作提取紅外弱小目標(biāo)圖像的多尺度特征以預(yù)測圖像目標(biāo)和背景。文獻(xiàn)[46]中結(jié)合這種新型Top-hat變換和局部對比度的方法，采用局部對比度的方法篩選新型Top-hat變換檢測后的目標(biāo)以降低了虛警率。

2.2.2 基于自適應(yīng)濾波

由于濾波模板參數(shù)隨圖像特征自適應(yīng)調(diào)整變化，自適應(yīng)濾波在圖像處理領(lǐng)域占據(jù)著重要地位。尤其面向預(yù)測復(fù)雜紅外背景的需求，基于自適應(yīng)濾波的方法在紅外弱小目標(biāo)檢測領(lǐng)域得到了更多關(guān)注。

二維最小均方濾波器由濾波器演變而來，輸入紅外圖像迭代求取期望圖像和預(yù)測圖像之間的誤差函數(shù)，自適應(yīng)計算濾波器模板參數(shù)，當(dāng)誤差小于一定閾值時停止迭代并輸出預(yù)測背景圖像[47]?；诖艘泊嬖诤罄m(xù)優(yōu)化。文獻(xiàn)[48]結(jié)合二維最小均方濾波和基于鄰域灰度差度量，夠有效去除殘留背景雜波干擾。文獻(xiàn)[49]則在二維最小均方濾波的基礎(chǔ)上提出了一種基于自適應(yīng)雙層二維最小均方濾波的紅外小目標(biāo)檢測算法，能有效降低弱小目標(biāo)虛警率，但犧牲了算法的實時性。

在圖像處理領(lǐng)域，作為非線性濾波器，雙邊濾波算法根據(jù)背景區(qū)域和目標(biāo)區(qū)域的不同自適應(yīng)改變兩個高斯濾波器的標(biāo)準(zhǔn)差，達(dá)到平滑背景和保留邊緣等結(jié)構(gòu)特征的目的。Bae等綜合考慮空間距離與灰度分布特性聯(lián)合使用空間域和強度域的高斯濾波器，在分析和提取圖像邊緣方向的基礎(chǔ)上改進(jìn)雙邊濾波以作為背景預(yù)測器，在保持較強背景預(yù)測能力的同時提升了紅外弱小目標(biāo)檢測的魯棒性和檢測效率[50]。Zhao等首先采用不同分解層次的高斯帶寬函數(shù)從原始圖像中預(yù)測得到不同頻率分量的子圖像；其次，基于局部調(diào)頻的特征檢測方法有效提取各子圖像的弱小目標(biāo)區(qū)域生成顯著性圖，并增強不同分解尺度下的子圖像；最后，合成所有子圖像預(yù)測得到目標(biāo)結(jié)果[51]。

2.3 兼顧目標(biāo)和背景的目標(biāo)檢測算法

2.3.1 基于圖像數(shù)據(jù)結(jié)構(gòu)

由于一般紅外圖像的背景區(qū)域具有強自相似性而弱小目標(biāo)具有稀釋特性，近來年有學(xué)者從圖像數(shù)據(jù)結(jié)構(gòu)的方向開展紅外弱小目標(biāo)檢測的研究。此類算法的核心是將小目標(biāo)的檢測問題轉(zhuǎn)化為恢復(fù)低秩矩陣和稀疏矩陣的問題，即低秩稀疏矩陣恢復(fù)的凸優(yōu)化問題。

引進(jìn)應(yīng)用于分類任務(wù)的稀疏表示，利用頻率特征差異實現(xiàn)目標(biāo)檢測。低秩稀釋分解模型的核心是采用增廣拉格朗日乘子法優(yōu)化迭代基于圖像數(shù)據(jù)構(gòu)造的背景或目標(biāo)字典，有效描述噪聲數(shù)據(jù)的具體結(jié)構(gòu)。Lu等基于在線學(xué)習(xí)訓(xùn)練雙稀疏字典構(gòu)造的背景字典，并利用稀疏表示模型將目標(biāo)圖像分解為背景分量、目標(biāo)分量和噪聲分量，最后采取邊緣雜波抑制策略提高檢測弱小目標(biāo)的魯棒性[52]。此類算法具有較強的抗噪聲能力，虛警率較低、魯棒性更好，但抑制背景效果有限。

為充分提升抑制紅外圖像背景效果，Gao等最先提出紅外圖像塊模型，先通過“滑窗”方式對圖像分塊，再重新排布紅外圖像塊以加強圖像塊之間的空間自相關(guān)性，接著采用穩(wěn)定主成分追蹤方法從數(shù)據(jù)矩陣中恢復(fù)背景低秩分量和目標(biāo)稀疏量，最后經(jīng)圖像重建和分割，得到最終的檢測目標(biāo)[53]。后續(xù)有很多學(xué)者開始相關(guān)研究：聚焦于改進(jìn)矩陣恢復(fù)和權(quán)重設(shè)置。

在改進(jìn)矩陣恢復(fù)方面，傳統(tǒng)主成分追蹤模型只考慮了背景圖像的低階特征，在非均勻、非光滑的場景中檢測能力較差。Wang等選擇全變分正則化項描述背景特征，提出了基于全變分和主成分追蹤模型，以便處理非平滑、非均勻的背景[54]。針對處理目標(biāo)較暗且背景復(fù)雜的紅外圖像時虛警率高的問題，Zhang等提出一種非凸秩逼近最小化與加權(quán)L1與L2范數(shù)的紅外弱小目標(biāo)檢測方法，以聯(lián)合L1和L2范數(shù)正則化圖像邊緣特征的方式更好抑制紅外背景，降低虛警率[55]。

在改進(jìn)權(quán)重設(shè)置方面，Dai等基于圖像塊的結(jié)構(gòu)先驗信息為每列塊結(jié)構(gòu)設(shè)置自適應(yīng)的權(quán)重，將紅外弱小目標(biāo)和背景的分離問題轉(zhuǎn)為加權(quán)魯棒主成分分析問題，以更好地保留紅外弱小目標(biāo)和抑制較強的邊緣[56]。文獻(xiàn)[57]則在紅外圖像塊模型的基礎(chǔ)上，融合圖像背景的低秩特征和目標(biāo)的稀疏特征提出了自適應(yīng)加權(quán)方差信息熵權(quán)重方法。

2.3.2 基于深度學(xué)習(xí)

受背景雜波和噪聲影響，圖像中頻率最高的成分不一定對應(yīng)目標(biāo)。固定的高斯帶寬函數(shù)、稀疏字典、全變分正則化模型和形態(tài)學(xué)濾波結(jié)構(gòu)元仍難以適應(yīng)紅外圖像雜波背景的復(fù)雜多變，其適應(yīng)性不強，容易混淆背景強雜波和弱小目標(biāo)。同時需要借助先驗信息選擇合適濾波器模板或者變換域參數(shù)，導(dǎo)致算法魯棒性下降、應(yīng)用范圍受限。

得益于深層非線性響應(yīng)的網(wǎng)絡(luò)模型逼近復(fù)雜函數(shù)和大量數(shù)據(jù)驅(qū)動，深度學(xué)習(xí)算法展現(xiàn)了強大學(xué)習(xí)能力。在預(yù)測和生成圖像背景方面，受限波爾茲曼機(jī)、深度自編碼網(wǎng)絡(luò)、深度全卷積網(wǎng)絡(luò)和生成對抗網(wǎng)絡(luò)等深度學(xué)習(xí)網(wǎng)絡(luò)模型都扮演了重要角色[58]。Sheri等為更好利用像素點均值和方差生成圖像背景和前景，引入高斯混合約束，提出了基于高斯-伯努利的受限波爾茲曼機(jī)網(wǎng)絡(luò)，從給定的輸入圖像學(xué)習(xí)重建圖像背景[59]。Farnoosh等設(shè)計基于變分自編碼的深度概率背景模型，在可變自動編碼器的編碼部分將具有冗余特性的背景部分壓縮到低維空間，能較好適應(yīng)場景光照變化，但受限于兩方面假設(shè)：背景成分屬于低維度的變量表示空間；非線性映射的視頻幀背景符合高斯分布模型[60]。為提升深度卷積神經(jīng)網(wǎng)絡(luò)對圖像背景的表征和目標(biāo)結(jié)構(gòu)細(xì)節(jié)的恢復(fù)，Akilan等[61]提出包含壓縮編碼和擴(kuò)展解碼的全卷積網(wǎng)絡(luò)模型，且兩個子網(wǎng)絡(luò)均采用特征圖上采樣和殘差連接方式，通過學(xué)習(xí)圖像的局部和全局特征，達(dá)到預(yù)測前景目標(biāo)和場景背景之間的平衡。針對光照變化、非平穩(wěn)背景和重影等挑戰(zhàn)，Zheng等[62]提出了基于并行視覺和貝葉斯生成對抗網(wǎng)絡(luò)的背景預(yù)測算法：先采用中值濾波算法提取背景圖像，后利用貝葉斯生成對抗網(wǎng)絡(luò)對每個像素進(jìn)行目標(biāo)和背景的分類，并利用平行視覺理論改進(jìn)復(fù)雜場景下的背景預(yù)測效果?？紤]不同尺度卷積特征對預(yù)測背景圖像的影響，Lim等提出了兩種生成多尺度編碼特征的深度卷積神經(jīng)網(wǎng)絡(luò)：使用相同編-解碼器配置，以3個尺度的編碼器獲取輸入，將圖像嵌入多尺度特征空間；在輸入編碼器的頂部插入特征池模塊，以提取中間層的多尺度特征。兩種模型在解碼部分都采用轉(zhuǎn)置卷積網(wǎng)絡(luò)學(xué)習(xí)從特征空間到圖像空間的映射[63]。針對目標(biāo)模糊和背景復(fù)雜的問題，F(xiàn)an等提出一種增強小目標(biāo)和抑制背景雜波的卷積神經(jīng)網(wǎng)絡(luò)增強方法，該算法通過預(yù)測小目標(biāo)和背景有針對性地處理，以提高背景雜波嵌入小目標(biāo)的弱紅外圖像的對比度[64]。Zhang等利用殘差網(wǎng)絡(luò)作為特征提取的主干網(wǎng)絡(luò)，通過引入自注意力機(jī)制融合增強多尺度深度特征，同時基于全局上下文的注意力機(jī)制獲取不同層深度語義和特征之間的全局關(guān)聯(lián)，提升低級和深層語義特征的利用率[65]。

Wang等人利用卷積神經(jīng)網(wǎng)絡(luò)和條件生成對抗網(wǎng)絡(luò)實現(xiàn)了紅外小目標(biāo)檢測漏檢和虛警之間平衡[66]?；冢╯ingle-frame infrared small target，SIRST）的目標(biāo)分割，Dai等設(shè)計了非對稱上下文調(diào)制的ACMNet[67]，補充了自底向上的調(diào)制方式，以突出高層語義和微妙的低層細(xì)節(jié)。為了保持深層紅外小目標(biāo)的信息，Li等人提出了一種密集嵌套注意網(wǎng)絡(luò)DNA-Net[68]，實現(xiàn)高層和低層特征的遞進(jìn)交互?；谀繕?biāo)或背景的像素彼此相關(guān)的假設(shè)，Wang等人提出了用于紅外小目標(biāo)檢測的由粗到細(xì)的內(nèi)部注意力感知網(wǎng)絡(luò)IAANet[69]。Yan等人提出了時空差分多尺度注意網(wǎng)絡(luò)STDMANet[70]，使用多尺度時間特征提取器獲得時空特征，在保持小目標(biāo)位置信息的前提下增強時空特征語義，并引入掩碼加權(quán)熱圖以設(shè)計損失函數(shù)。

在紅外弱小目標(biāo)數(shù)據(jù)方面，也有一些學(xué)者開源了研究過程中的數(shù)據(jù)集，例如427幅紅外圖像的NUAA-SIRST數(shù)據(jù)集[67]和包含1000幅紅外圖像的IRSTD-1k數(shù)據(jù)集[71]、包含17598艘?guī)ё⑨尩男★w船和48幅10000×10000像素紅外圖像的NUDT-SIRST-Sea數(shù)據(jù)集[72]、地下/空中背景下紅外圖像小目標(biāo)數(shù)據(jù)集DSAT[73]和雜波背景下紅外運動小目標(biāo)數(shù)據(jù)集SIATD[74]。

通常基于深度學(xué)習(xí)的紅外弱小目標(biāo)方法依賴大量帶標(biāo)簽樣本的數(shù)據(jù)，這也是紅外弱小目標(biāo)檢測研究難以避免的挑戰(zhàn)。但由于紅外弱小目標(biāo)圖像的應(yīng)用范圍比較敏感，被廣泛采用且高質(zhì)量標(biāo)注的大型紅外弱小目標(biāo)數(shù)據(jù)集稀缺。

3 單幀紅外弱小目標(biāo)檢測研究發(fā)展趨勢

在實際應(yīng)用中，目標(biāo)和背景的復(fù)雜性遠(yuǎn)遠(yuǎn)超出了人們的想象，近年來隨著紅外弱小目標(biāo)檢測技術(shù)不斷發(fā)展，近年來針對特定復(fù)雜背景的檢測方法也不斷被提出。從關(guān)鍵技術(shù)、數(shù)據(jù)庫和實際應(yīng)用三個方面分析單幀紅外弱小目標(biāo)檢測研究的發(fā)展趨勢：

1）結(jié)合目標(biāo)和背景特征分析關(guān)鍵技術(shù)發(fā)展?；谕伙@目標(biāo)的紅外弱小目標(biāo)檢測技術(shù)的本質(zhì)是圖像增強技術(shù)。相對圖像復(fù)原技術(shù)，缺乏一定的理論支撐和數(shù)學(xué)推導(dǎo)。可類比霧霾自然圖像退化現(xiàn)象，考慮外界環(huán)境影響、大氣傳輸衰減和紅外焦平面陣列自身干擾等因素，建立不同背景條件下紅外圖像質(zhì)量退化模型，為提升紅外圖像質(zhì)量的技術(shù)研究奠定理論基礎(chǔ)。尤其針對天地背景、海空背景等典型遠(yuǎn)距離場景，建立適用場景的目標(biāo)模型和背景模型。同時，人類視覺系統(tǒng)是功能強大的視覺處理系統(tǒng)。視覺系統(tǒng)初級視覺皮質(zhì)層神經(jīng)元處理外界信息具有方向選擇性、多尺度性、局部性和稀疏特性?；谏鲜鎏匦?，建立模擬人眼視覺特性的數(shù)學(xué)模型，提取紅外弱小目標(biāo)的不同維度的特征，也是解決當(dāng)前紅外弱小目標(biāo)檢測難題的思路之一。

基于背景預(yù)測的紅外弱小目標(biāo)檢測技術(shù)的核心是目標(biāo)和背景特征的學(xué)習(xí)與提取?；跀?shù)理知識支撐的特征提?。旱湫痛碛懈咚篂V波差分法、高斯帶寬函數(shù)、稀疏字典、全變分正則化模型、形態(tài)學(xué)濾波和變換域方法等。這類方法經(jīng)過嚴(yán)格的數(shù)學(xué)推導(dǎo)和理論分析，具有學(xué)習(xí)效率高、解釋性強的優(yōu)點，但沒有考慮數(shù)據(jù)間的關(guān)聯(lián)，效果局限于部分場景，魯棒性較差?；诖罅繑?shù)據(jù)驅(qū)動的特征學(xué)習(xí)：其核心是大量數(shù)據(jù)和標(biāo)簽樣本進(jìn)行端對端的監(jiān)督學(xué)習(xí)，能夠從數(shù)據(jù)中學(xué)習(xí)深度層次特征和數(shù)據(jù)擬合能力。但基于深度學(xué)習(xí)預(yù)測紅外弱小目標(biāo)圖像的雜波背景存在挑戰(zhàn)：需要大量標(biāo)簽數(shù)據(jù)和端對端的監(jiān)督訓(xùn)練，否則難以無偏差預(yù)測數(shù)據(jù)規(guī)律，前文已分析樣本量和標(biāo)簽是目前遇到的現(xiàn)實問題；缺乏理論支撐，模型解釋性不強，局限于學(xué)習(xí)輸入數(shù)據(jù)和網(wǎng)絡(luò)任務(wù)層的映射關(guān)系。面對目標(biāo)特征弱小、圖像背景復(fù)雜、圖像對比度低和結(jié)構(gòu)特征缺失等挑戰(zhàn)，為避免手工特征提取符的不完備性同時增強深度學(xué)習(xí)網(wǎng)絡(luò)模型特征的解釋性，很有必要開展內(nèi)嵌數(shù)理知識和數(shù)據(jù)驅(qū)動的無監(jiān)督特征學(xué)習(xí)研究。將數(shù)理知識嵌入深度網(wǎng)絡(luò)模型、優(yōu)化卷積核特征學(xué)習(xí)的方式是高效學(xué)習(xí)紅外弱小目標(biāo)圖像特征的有效途徑之一。

2）建立紅外弱小目標(biāo)圖像標(biāo)準(zhǔn)數(shù)據(jù)庫是至關(guān)重要的。其一，標(biāo)準(zhǔn)數(shù)據(jù)庫可為處理算法提供不同場景下的數(shù)據(jù)，驗證算法的普適性；其二，在標(biāo)準(zhǔn)的數(shù)據(jù)庫上可公平對比不同處理算法的性能，便于評價不同算法處理結(jié)果的圖像質(zhì)量；其三，標(biāo)準(zhǔn)數(shù)據(jù)庫也能為數(shù)據(jù)驅(qū)動的紅外弱小目標(biāo)特征學(xué)習(xí)算法提供足夠數(shù)據(jù)基礎(chǔ)。

3）將關(guān)鍵技術(shù)研究轉(zhuǎn)為實際應(yīng)用任重道遠(yuǎn)?；趫D像數(shù)據(jù)結(jié)構(gòu)等紅外弱小目標(biāo)檢測算法對計算量較大，難以滿足算法處理的實時性。在實際工程中應(yīng)用該類算法，可以考慮使用快速算法以提升收斂速度，快速重構(gòu)約束條件下的矩陣。基于深度學(xué)習(xí)型算法檢測性能較好，但需依賴高性能的圖形處理單元（GPU）才能實現(xiàn)實時。而針對類似于彈載平臺等計算資源受限的硬件處理單元，有必要開展知識蒸餾和模型裁剪等模型輕量化技術(shù)研究，以及結(jié)合硬件處理單元特性設(shè)計定制化的網(wǎng)絡(luò)模型。

[1] BAI X, ZHOU F. Analysis of new top-hat transformation and the application for infrared dim small target detection[J]., 2010, 43(6): 2145-2156.

[2] Jakubowicz J, Lefebvre S, Maire F, et al. Detecting aircraft with a low-resolution infrared sensor[J]., 2012, 21(6): 3034-3041.

[3] 凡遵林, 管乃洋, 王之元, 等. 紅外圖像質(zhì)量的提升技術(shù)綜述[J]. 紅外技術(shù), 2019, 41(10): 941-946. FAN Zunlin, GUAN Naiyang, WANG Zhiyuan, et al. Infrared image quality improvement technology: a review[J]., 2019, 41(10): 941-946.

[4] 楊俊彥, 吳建東, 宋敏敏. 紅外成像制導(dǎo)技術(shù)發(fā)展展望[J]. 紅外, 2016, 37(8): 1-6. YANG Junyan, WU Jiandong, SONG Minmin. Development and prospect of infrared imaging guidance technology[J]., 2016, 37(8): 1-6.

[5] Ahmadi K, Salari E. Small dim object tracking using frequency and spatial domain information[J]., 2016, 58(3): 227-234.

[6] JIA Y, GAO T, ZHAO J. Texture based infrared military target extraction[J]., 2011, 44-47: 2489-2493.

[7] LAW W, XU Z, YONG K. Manganese-doped near-infrared emitting nanocrystals for in vivo biomedical imaging[J]., 2016, 24: 17553-17561.

[8] 任向陽, 王杰, 馬天磊, 等. 紅外弱小目標(biāo)檢測技術(shù)綜述[J]. 鄭州大學(xué)學(xué)報: 理學(xué)版, 2020, 52(2): 1-21. REN Xiangyang, WANG Jie, MA Tianlei, et al. Review on infrared dim and small target detection technology[J].:Natural Science Edition, 2020, 52(2): 1-21.

[9] ZHENG C, LI H. Small infrared target detection based on harmonic and sparse matrix decomposition[J]., 2013, 52(6): 066401.

[10] ZHANG B, ZHANG T, CAO Z, et al. Fast new small-target detection algorithm based on a modified partial differential equation in infrared clutter[J]., 2007, 46(10): 106401.

[11] BAI X, ZHOU F, XUE B. Infrared dim small target enhancement using toggle contrast operator[J]., 2012, 55: 177-182.

[12] Bae T, ZHANG F, Kweon I. Edge directional 2D LMS filter for infrared small target detection[J]., 2012, 55(1): 137-145.

[13] Karal? A, Okman O, Ayta? T. Adaptive enhancement of sea-surface targets in infrared images based on local frequency cues[J]., 2010, 27(3): 509-517.

[14] Angaitkar P, Saxena P. Enhancement of infrared image: a review[J]., 2012, 2(2): 1186-1189.

[15] Janani V, Dinakaran M. Infrared image enhancement techniques - a review[C]//, 2014: 167-173.

[16] Morris N, Avidan S, Matusik W, et al. Statistics of infrared images[C]//, 2007: 1-7.

[17] Nanhakumar N, Aggarwal J. Integrated analysis of thermal and visual images for scene interpretation[J]., 1988, 10(4): 469-481.

[18] 穆為磊, 高建民, 陳富民, 等. 符合人眼視覺特性的焊縫射線數(shù)字圖像增強方法[J].西安交通大學(xué)學(xué)報, 2012, 46(3): 90-93. MU Weilei, GAO Jiammin, CHEN Fumin, et al. Weld radiographic image enhancement conforming to human visual system [J]., 2012, 46(3): 90-93.

[19] 龔昌來, 羅聰, 楊冬濤, 等. 基于正弦灰度變換的紅外圖像增強算法[J]. 激光與紅外, 2013, 43(2): 200-203. GONG Changlai, LUO Cong, YANG Dongtao, et al. Infrared image enhancement based on sine gray level transformation[J]., 2013, 43(2): 200-203.

[20] 汪國有, 陳振學(xué), 李喬亮. 復(fù)雜背景下紅外弱小目標(biāo)檢測的算法研究綜述[J]. 紅外技術(shù), 2006, 28(5): 287-292. WANG Gouyou, CHEN Zhenxue, LI Qiaoliang. A review of infrared weak and small targets detection under complicated background[J]., 2006, 28(5): 287-292.

[21] Mahata S, Kar R, Mandal D. Optimal fractional-order highpass Butterworth magnitude characteristics realization using current-mode filter[J]., 2019, 102: 78-89.

[22] YANG L, YANG J, YANG K. Adaptive detection for infrared small target under sea-sky complex background[J]., 2004, 40(17): 1083-1085.

[23] DONG X, HUANG X, ZHENG Y. Infrared dim and small target detecting and tracking method inspired by human visual system[J]., 2014, 62: 100-109.

[24] HAN J, MA Y, HUANG J. An infrared small target detecting algorithm based on human visual system [J]., 2016, 13(3): 452-456.

[25] ZHANG Y, ZHENG L, ZHANG Y. Small infrared target detection via a Mexican-hat distribution[J]., 2019, 5: 5570.

[26] 周姣, 辛云宏. 基于顯著性與尺度空間的紅外弱小目標(biāo)檢測[J]. 激光與紅外, 2015, 45(4): 452-456. ZHOU Jiao, XIN Yunhong. Infrared dim small target detection based on saliency and scale-space[J]., 2015, 45(4): 452-456.

[27] Srivastava H, Khatterwani K, Upadhyay S. A certain family of fractional wavelet transformations[J]., 2019, 42(9): 3103-3122.

[28] Boccignone G. Small target detection using wavelets[C]//, 1998: 1776-1778.

[29] Davidson G, Griffiths H. Wavelet detection scheme for small target in sea clutter[J]., 2002, 38(19): 1128-1130.

[30] Candes E. Ridgelets: Theory and Application[D]. Stanford: Stanford University, 1998.

[31] Starck J, Candes E, Donoho D. The curvelet transform for image denoising[J]., 2002, 11(6): 131-141.

[32] Do M, Vetterli M. The Contourlet transform: an efficient directional multi-resolution image representation[J]., 2005, 14(12): 2091-2106.

[33] Easley G, Labate D, Lim W. Sparse directional image representation using the discrete shearlet transforms[J]., 2008, 25: 25-46.

[34] Lim W. Nonseparable shearlet transform[J]., 2013, 22(5): 2056-2065.

[35] PENG L, ZHANG T, LIU Y, et al. Infrared dim target detection using shearlet's kurtosis maximization under non-uniform background[J]., 2019, 11(5): 723.

[36] CHEN C, LI H, WEI Y. A local contrast method for small infrared target detection[J]., 2014, 52(1): 574-581.

[37] BAI X, BI Y. Derivative entropy-based contrast measure for infrared small-target detection[J]., 2018, 56(4): 2452-2466.

[38] LI S, LI C, YANG X, et al. Infrared dim target detection method inspired by human vision system[J]., 2020, 206: 164167.

[39] 危水根, 王程偉, 張聰炫, 等. 多信息融合的紅外弱小目標(biāo)檢測[J]. 紅外技術(shù), 2019, 41(9): 857-865. WEI Shuigen, WANG Chengwei, ZHANG Congxuan, et al. Infrared dim target detection based on multi-information fusion[J]., 2019, 41(9): 857-865.

[40] YI X, WANG B, ZHOU H, et al. Dim and small infrared target fast detection guided by visual saliency[J]., 2019, 97: 6-14.

[41] 黃蘇琦. 時空譜多特征聯(lián)合紅外弱小目標(biāo)檢測方法研究[D]. 成都: 電子科技大學(xué), 2020. HUANG Suqi. Infrared Dim Small Target Detection Based on Joint Temporal-Spatial-Spectral Features[D]. Chengdu: University of Electronic Science and Technology of China, 2020.

[42] Serra J.[M]. New York: Academic Press, 1982.

[43] BAI X, ZHOU F. Analysis of new top-hat transformation and the application for infrared dim small target detection[J]., 2010, 43(6): 2145-2156.

[44] ZHU H, LIU S, DENG L. Infrared small target detection via low-rank tensor completion with top-hat regularization[J]., 2019, 58(2): 1004-1016.

[45] BAI X, ZHOU F. Analysis of new top-hat transformation and the application for infrared dim small target detection[J]., 2010, 43(6): 2145-2156.

[46] 劉源, 湯心溢, 李爭. 基于新Top Hat變換局部對比度的紅外小目標(biāo)檢測[J]. 紅外技術(shù), 2015, 37(7): 544-552. LIU Yuan, TANG Xinyi, LI Zheng. A new top hat local contrast based algorithm for infrared small target detection[J]., 2015, 37(7): 544-552.

[47] Ohki S. Two-dimensional LMS adaptive filters[J]., 1991, 37(1): 66-73.

[48] LV P, SUN S, SUN C, et al. Space moving target detection and tracking method in complex background[J].2018, 91: 107-118.

[49] 張藝璇, 李玲, 辛云宏. 基于自適應(yīng)雙層TDLMS濾波的紅外小目標(biāo)檢測[J]. 光子學(xué)報, 2019, 48(9): 186-198. ZHANG Yixuan, LI Ling, XIN Yunhong. Infrared small target detection based on adaptive double-layer TDLMS filter[J]., 2019, 48(9): 186-198.

[50] Bae T, Sohng K. Small target detection using bilateral filter based on edge component[J]., 2010, 31(6): 735-743.

[51] ZHAO J, CHEN Y, FENG H, et al. Infrared image enhancement through saliency feature analysis based on multi-scale decomposition[J]., 2014, 62: 86-93.

[52] LU Y, HUANG S, ZHAO W. Sparse representation based infrared small target detection via an online learned double sparse background dictionary[J]., 2019, 99: 14-27.

[53] GAO C, MENG D, YANG Y, et al. Infrared patch-image model for small target detection in a single image[J]., 2013, 22(12): 4996-5009.

[54] WANG X, PEN Z, KONG D, et al. Infrared dim target detection based on total variation regularization and principal component pursuit[J]., 2017, 63: 1-9.

[55] ZHANG L, PENG L, ZHANG T, et al. Infrared small target detection via non-convex rank approximation minimization Joint/2,1norm[J]., 2018, 10(11): 1821.

[56] DAI Y, WU Y, SONG Y. Infrared small target and background separation via column-wise weighted robust principal component analysis[J]., 2018, 77: 421-430.

[57] 熊斌, 黃心漢, 王敏. 基于自適應(yīng)目標(biāo)圖像恢復(fù)的紅外弱小目標(biāo)檢測[J]. 華中科技大學(xué)學(xué)報: 自然科學(xué)版, 2017, 45(10): 25-30. XIONG Bin, HUANG Xinhan, WANG Min. Infrared small target detection based on adaptive double-layer TDLMS filter[J].: Natural Science Edition, 2017, 45(10): 25-30.

[58] Bouwmans T, Javed S, Sultana M, et al. Deep neural network concepts for background subtraction: A systematic review and comparative evaluation [J]., 2019,117: 8-66.

[59] Sheri A, Rafique M, Jeon M, et al. Background subtraction using Gaussian-Bernoulli restricted Boltzmann machine[J]., 2018, 12(9): 1646-1654.

[60] Farnoosh A, Rezaei B, Ostadabbas S. DeepPBM: Deep probabilistic background model estimation from video sequences [J/OL]., 2019, https://arxiv.org/abs/1902. 00820v1.

[61] Akilan T, WU J. sEnDec: An improved image to image CNN for foreground localization[J]., 2019, 21(10): 4435-4443.

[62] ZHENG W, WANG K, WANG F. A novel background subtraction algorithm based on parallel vision and Bayesian GANs[J]., 2020, 394: 178-200.

[63] Lim L, Keles H. Foreground segmentation using convolutional neural networks for multiscale feature encoding [J]., 2018, 112: 256-262.

[64] FAN Z, BI D, XIONG L, et al. Dim infrared image enhancement based on convolutional neural network[J]., 2018, 272: 396-404.

[65] ZHANG T, CAO S, PU T, et al. AGPCNet: attention-guided pyramid context networks for infrared small target detection[J/OL]., 2021, https://arxiv.org/abs/2111.03580.

[66] WANG H, ZHOU L, WANG L. Miss detection vs. false alarm: Adversarial learning for small object segmentation in infrared images[C]//(ICCV), 2019: 8508-8517.

[67] DAI Y, WU Y, ZHOU F, et al. Asymmetric contextual modulation for infrared small target detection[C]//(WACV), 2021: 949-958.

[68] LI B, XIAO C, WANG L, et al. Dense nested attention network for infrared small target detection[J/OL]., 2022, Doi: 10.1109/TIP.2022.3199107.

[69] WANG K, DU S, LIU C, et al. Interior attention-aware network for infrared small target detection[J]., 2022, 60: 1-13.

[70] YAN P, HOU R, DUAN X, et al. STDMANet: spatio-temporal differential multiscale attention network for small moving infrared target detection[J]., 2023, 61: 5602516.

[71] HU Y, MA Y, PAN Z, et al. Infrared dim and small target detection from complex scenes via multi-frame spatial–temporal patchtensor model[J]., 2022, 14(9): 2234.

[72] WU T, LI B, LUO Y, et al. MTU-Net: multilevel transUNet for space-based infrared tiny ship detection[J]., 2023, 61: 5601015.

[73] SONG Z, HUI B. A dataset for infrared image dim-small aircraft target detection and tracking underground/air background[DB/OL]//, [2019-10-28]. https://www.scidb.cn/en/detail?dataSetId=7206264 20933459968&dataSetType=journal.

[74] SUN X, GUO L, ZHANG W, et al. A dataset for small infrared moving target detection under clutter background[DB/OL]., [2023-10-24]. https://cstr.cn/31253.11.sciencedb.j00001.00231.

Review of Dim Small Target Detection Research in Single Infrared Image

FAN Zunlin1，WANG Hao2，GUAN Naiyang1，YE Tingting3，SUN Qianchong1,4

(1. Academy of Military Sciences PLA China, Beijing 100071, China;2. Tianjin Artificial Intelligence Innovation Center, Tianjin 300000, China;3. Unit 96911 of Chinese People's Liberation Army, Beijing 100089, China;4. College of Computer, National University of Defense Technology, Changsha 410073, China)

For long-distance and wide field-of-view scenes, infrared target detection has significant challenges owing to the principle of a thermal imager, interference of the atmospheric environment, and attenuation of infrared radiation by long-distance transmission media. Based on the characteristic analysis of small-target infrared images, such as complex background, dim and small targets, low image contrast, and lack of image structures, we reviewed the research status of infrared dim small-target detection from target highlight and background estimation and discussed the development trend of infrared dim small-target detection.

infrared dim small target detection, target highlight, background estimation, mathematical driven, data driven

TP391.41

A

1001-8891(2023)11-1133-08

2022-09-23；

2023-03-28.

凡遵林（1991-），男，助理研究員，主要從事紅外技術(shù)、光電圖像處理和計算機(jī)視覺等方面的研究。E-mail：18191261397@163.com。

孫騫沖（1984-），男，博士，主要從事紅外技術(shù)、計算機(jī)視覺和人工智能等方面的研究。E-mail：sunqianchong@hotmail.com。

國家自然科學(xué)基金“數(shù)理和數(shù)據(jù)雙驅(qū)動的紅外弱小目標(biāo)檢測技術(shù)研究”（62106280）。