基于引導(dǎo)濾波和分塊自適應(yīng)閾值的單幀紅外弱小目標(biāo)檢測

楊德振，黃靜穎，喻松林，馮進(jìn)軍，李江勇，劉彤

（1 華北光電技術(shù)研究所，北京 100015）

（2 北京真空電子技術(shù)研究所，北京 100015）

0 引言

紅外探測技術(shù)不僅可以全天時(shí)探測識(shí)別目標(biāo)，同時(shí)能有效捕獲電磁隱身目標(biāo)和低空飛行目標(biāo)，彌補(bǔ)雷達(dá)盲區(qū)，在探測領(lǐng)域具有特殊優(yōu)勢。伴隨紅外成像技術(shù)的迅速發(fā)展，紅外探測技術(shù)廣泛應(yīng)用于遠(yuǎn)程偵察告警系統(tǒng)中［1］。

通常隨著探測距離的增加，遠(yuǎn)程偵察告警系統(tǒng)檢測的目標(biāo)尺寸和信雜比也進(jìn)一步降低，因此紅外弱小目標(biāo)檢測逐漸成為當(dāng)前紅外目標(biāo)檢測領(lǐng)域的研究重點(diǎn)，單幀紅外弱小目標(biāo)檢測大致可以分成三類：第一類是基于空域或變換域?yàn)V波的方式（例如形態(tài)學(xué)濾波［2］、最大均值、中值濾波［4］、高通濾波［5］等），這類方法的思路是抑制背景噪聲干擾，同時(shí)增強(qiáng)弱小目標(biāo)；第二類方法基于人類視覺系統(tǒng)，常見的有局部對比度［6］（Local Contrast Method，LCM）、局部梯度分布［7］（Local Maximum Gradient ，LCG）、局部顯著性映射［8］（Local Saliency Map，LSM），這類方法的核心是突出目標(biāo)與背景的局部特征差異；第三類為基于圖像數(shù)據(jù)結(jié)構(gòu)的方法，如多尺度窗口紅外塊圖像（Multiscale windows-Infrared Patch Image，MW-IPI）、穩(wěn)健主成分分析［9］（Robust Principal Component Analysis，RPCA），這類算法利用紅外圖像中背景非局部自相似性和目標(biāo)稀疏性，將弱小目標(biāo)檢測問題轉(zhuǎn)化為低秩矩陣和稀疏矩陣的恢復(fù)問題，實(shí)現(xiàn)目標(biāo)檢測。前兩類的算法的計(jì)算復(fù)雜度低，易于硬件實(shí)現(xiàn)，然而在復(fù)雜背景下難以區(qū)分目標(biāo)信號和圖像邊緣，容易產(chǎn)生邊緣虛警；最后一類算法比較耗時(shí)，在當(dāng)前的信號處理硬件算力下難以滿足實(shí)際工程應(yīng)用的實(shí)時(shí)性需求。本文對多種復(fù)雜場景下的紅外弱小目標(biāo)進(jìn)行高檢出率、低虛警率、高場景適應(yīng)性、高實(shí)時(shí)性的檢測，提出了一種結(jié)合引導(dǎo)濾波和九宮格濾波進(jìn)行目標(biāo)增強(qiáng)，通過不同復(fù)雜度的區(qū)域進(jìn)行分塊自適應(yīng)閾值分割的單幀紅外弱小目標(biāo)檢測算法。

1 復(fù)雜背景下的遠(yuǎn)程目標(biāo)特性分析

遠(yuǎn)程偵察告警系統(tǒng)的紅外目標(biāo)特征有著典型的目標(biāo)成像特征，是紅外探測技術(shù)研究的難點(diǎn)，因此有必要切實(shí)地對其展開分析。一方面，為了實(shí)現(xiàn)盡早告警的目的，通常需要遠(yuǎn)距離大視場的成像；另一方面，由于成像距離遠(yuǎn)，目標(biāo)尺寸通常只有若干像素，不具備形狀、紋理等易于分辨的特性。此外遠(yuǎn)距離大視場會(huì)進(jìn)一步地增加背景復(fù)雜度，目標(biāo)容易淹沒在背景中，信雜比極低。圖1 為不同場景下遠(yuǎn)程紅外告警系統(tǒng)的目標(biāo)與背景灰度分布（其中黑色框區(qū)域?yàn)槟繕?biāo)所在的區(qū)域），顯而易見目標(biāo)在不同場景下均弱于其他背景雜波，且無顯著目標(biāo)特征，很難在有效檢出目標(biāo)的同時(shí)避免虛警［2］。因此，復(fù)雜場景中的紅外弱小目標(biāo)低虛警檢測具有很強(qiáng)的挑戰(zhàn)性。

圖1 不同背景的目標(biāo)特性Fig.1 Target characteristics for different backgrounds

結(jié)合單幀紅外弱小目標(biāo)檢測算法的發(fā)展和工程應(yīng)用背景，針對現(xiàn)有算法難以區(qū)分目標(biāo)信號和圖像邊緣，容易產(chǎn)生邊緣虛警的問題，本文提出基于引導(dǎo)濾波和分塊自適應(yīng)閾值的紅外弱小目標(biāo)檢測方法。算法從區(qū)域內(nèi)目標(biāo)灰度分布和區(qū)域間灰度差異性兩個(gè)方面進(jìn)行算法設(shè)計(jì)，首先采用保邊性能良好的引導(dǎo)濾波［11］預(yù)測圖像的背景，然后用原始圖像減去預(yù)測的背景圖像得到潛在目標(biāo)圖像，初步抑制圖像背景。為進(jìn)一步降低虛警，利用目標(biāo)具有的局部灰度最大特性，借鑒軟閾值非極大值抑制［12］思想，提出九宮格濾波，計(jì)算每個(gè)像素位置屬于目標(biāo)的概率，通過將目標(biāo)概率與背景抑制結(jié)果加權(quán)進(jìn)一步抑制不滿足目標(biāo)特性的潛在目標(biāo)，同時(shí)增強(qiáng)潛在目標(biāo)之間的信號。最后，采用分塊計(jì)算閾值策略對自適應(yīng)閾值分割［13］進(jìn)行改進(jìn)，設(shè)計(jì)了一種根據(jù)不同場景自動(dòng)計(jì)算自適應(yīng)閾值分割中依靠人工經(jīng)驗(yàn)設(shè)置參數(shù)的映射方式，提升算法在復(fù)雜場景下的檢測能力。

2 目標(biāo)檢測系統(tǒng)

基于引導(dǎo)濾波和分塊自適應(yīng)閾值的目標(biāo)檢測系統(tǒng)主要由三個(gè)算法單元組成：一是基于引導(dǎo)濾波的背景抑制；二是基于九宮格濾波的目標(biāo)概率計(jì)算和加權(quán)；三是分塊自適應(yīng)閾值分割。所設(shè)計(jì)的算法總體流程如圖2。

圖2 算法總體流程Fig.2 The overall algorithm flow

2.1 基于引導(dǎo)濾波的背景抑制

在紅外弱小目標(biāo)的成像建模［14］中，通常將紅外圖像fO(x，y)劃分為三部分，分別為背景分量fB(x，y)，目標(biāo)分量fT(x，y)和隨機(jī)噪聲分量fN(x，y)，具體表示為

式中，(x，y)表示像素點(diǎn)的位置坐標(biāo)。從上述模型可以看出，紅外弱小目標(biāo)檢測通?？梢苑殖蓛蓚€(gè)步驟：1）通過估計(jì)噪聲fN(x，y)、預(yù)測背景fB(x，y)、求解模型（式（2））得到圖像中的疑似目標(biāo)，這一步驟又被稱為背景抑制；2）通過目標(biāo)篩選得到檢測的最終結(jié)果。

迄今為止很多算法可以通過背景抑制完成目標(biāo)檢測，這些算法將背景和目標(biāo)分別當(dāng)作低頻和高頻信號進(jìn)行區(qū)分，在預(yù)測背景的過程中將邊緣高頻信息同時(shí)濾除，導(dǎo)致模型求解過程中殘留著許多邊緣雜波，容易造成虛警（如圖3）。其中Max-Median 和Top-Hat 都是采用5×5 模板。針對上述問題，在背景估計(jì)的過程中，引入了保邊性能更好的引導(dǎo)濾波。

圖3 背景抑制結(jié)果Fig.3 Background suppression results

與其他濾波算法不同的是，引導(dǎo)濾波［11］在進(jìn)行濾波時(shí)需要額外的一幅參考圖像，濾波的過程中要求輸出結(jié)果與參考圖像的梯度信息保持一致。因此，當(dāng)參考圖像與輸入圖像具有相同的邊緣梯度信息，該濾波操作具有良好的保邊性能，能有效地區(qū)分目標(biāo)和邊緣。引導(dǎo)濾波的具體定義為

式中，qi是輸出像素的值，Ii是參考圖像，i和k分別是像素索引，a和b是當(dāng)窗口中心位于k時(shí)該線性函數(shù)的系數(shù)。該濾波器的代價(jià)函數(shù)可表示為

式中，ε為正則化系數(shù)，pi為待濾波圖像像素值。

通過最小二乘法求解，即

式中，uk和σ2k為參考圖像Ii在窗口wk中的均值和方差，|w|為窗口wk中的參數(shù)數(shù)量，系數(shù)ε用于調(diào)節(jié)引導(dǎo)濾波器保邊程度，符號“?”表示點(diǎn)乘操作，“”表示變量在窗口wk中的均值。

將待濾波圖像作為引導(dǎo)圖像，即I=p，帶入式（5）和式（6）后，系數(shù)ak的計(jì)算表達(dá)式為

2.2 九宮格濾波目標(biāo)概率計(jì)算和加權(quán)

從圖4 中可以直觀地看出圖像中目標(biāo)、邊緣和背景等干擾的區(qū)域灰度特性，目標(biāo)區(qū)域滿足灰度值局部最大的特性。為了最大限度降低目標(biāo)檢測的虛警率，提出了九宮格濾波用于計(jì)算每個(gè)像素位置屬于目標(biāo)的概率，通過將此概率與引導(dǎo)濾波背景抑制的結(jié)果進(jìn)行加權(quán)融合，對潛在目標(biāo)做了進(jìn)一步的篩選。九宮格濾波利用目標(biāo)區(qū)域的平均灰度值和其8 鄰域的灰度平均值關(guān)系，計(jì)算目標(biāo)權(quán)重。該操作定義為

圖4 圖像中不同區(qū)域灰度值對應(yīng)的熱圖（區(qū)域2 為目標(biāo)所在區(qū)域）Fig.4 Heat maps corresponding to grayscale values for different areas in the image （zone 2 is the target region）

式中，vi表示第i個(gè)目標(biāo)區(qū)域的灰度均值，N8(i)表示目標(biāo)區(qū)域i的八鄰域集合，wi表示目標(biāo)i的概率值。計(jì)算具體步驟為：1）計(jì)算候目標(biāo)區(qū)域內(nèi)（圖5 中區(qū)域0）灰度平均值；2）分別計(jì)算區(qū)域8 個(gè)鄰域（圖5 中1～8）對應(yīng)的灰度平均值，并取其中的最大值；3）根據(jù)式（8）分別計(jì)算各個(gè)目標(biāo)的概率。最后，按照式（9）歸一化權(quán)重。

圖5 目標(biāo)區(qū)域及其8 鄰域示意（區(qū)域0 表示目標(biāo)區(qū)域，區(qū)域1～8 表示目標(biāo)周圍的8 鄰域）Fig.5 Schematic of background suppression results（zone 0 represents the target area and zones 1～8 represents its 8 neighborhoods）

2.3 分塊自適應(yīng)閾值分割

在復(fù)雜場景下，一幅圖像同時(shí)包含不同的場景，其中的干擾往往也不相同。例如，與純空區(qū)域相比，卷云區(qū)域干擾更強(qiáng)。全局閾值分割（如OTSU 和最大熵）算法計(jì)算全局圖像的閾值，難以適應(yīng)圖像中不同區(qū)域的變化，容易導(dǎo)致目標(biāo)漏檢和虛警（如圖6，采用高的全局閾值容易出現(xiàn)漏檢，低的全局閾值會(huì)導(dǎo)致較多的虛警）。為了在保持較低虛警的前提下提高目標(biāo)的檢測率，本文提出一種分塊自適應(yīng)閾值分割的方式，首先將整幅圖像劃分成N×N個(gè)圖像塊，然后分別計(jì)算各個(gè)圖像塊的自適應(yīng)閾值，最后分別對各個(gè)圖像塊進(jìn)行閾值分割。

圖6 不同區(qū)域背景抑制結(jié)果及其三維特性Fig.6 Background suppression results of different regions and their 3-dimensional characteristics

本文的分塊自適應(yīng)閾值分割是基于快速自適應(yīng)閾值分割［10］進(jìn)行改進(jìn)。在快速自適應(yīng)閾值分割中，閾值T是由圖像灰度值的均值u和標(biāo)準(zhǔn)差σ 決定，圖像中灰度大于T的被標(biāo)記為目標(biāo)，具體可表示為

式中，參數(shù)k用于控制算法的檢測率和虛警率。在不同的場景下，為了獲得更好的檢測效果，需要精細(xì)地調(diào)整k的取值。為了使本文提出的閾值計(jì)算方式更好地適應(yīng)一幅圖像中不同區(qū)域中包含的不同場景，對k值的計(jì)算進(jìn)行了改進(jìn)。

復(fù)雜場景中干擾較多，需要較高閾值才能剔除干擾。在簡單場景中，則反之，由于圖像的場景復(fù)雜度和灰度值的標(biāo)準(zhǔn)差呈正相關(guān)，該模塊借鑒Sigmoid 函數(shù)設(shè)計(jì)了灰度值標(biāo)準(zhǔn)差到參數(shù)k的映射曲線，具體表示為

式中，w表示基準(zhǔn)參數(shù)，m用于調(diào)整映射曲線的平移，圖7 為不同參數(shù)m與k值的映射曲線。

圖7 不同參數(shù)m 對k 值映射曲線的影響Fig.7 The influence of different parameters m on the value k mapping curve

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)設(shè)置

將本文方法與Top-Hat、LCM、Max-Median 三種方法進(jìn)行對比，在五種不同場景公開的紅外弱小目標(biāo)圖像和3 段帶標(biāo)注的紅外視頻數(shù)據(jù)［17］驗(yàn)證本文方法的性能。其中Top-Hat、LCM、Max-Median 三種方法的濾波窗口皆為5×5。本文方法中，引導(dǎo)濾波中平滑系數(shù)ε=0.001，窗口wk為3×3，候選框的大小設(shè)為3×3，濾波的感受野與對比方法保持一致。閾值分割時(shí)，三種對比方法均采用快速自適應(yīng)閾值分割［2］，其中參數(shù)k=3。本文分塊自適應(yīng)閾值分割中分塊數(shù)N=4， 基準(zhǔn)權(quán)重w=3，m=2。

3.2 評價(jià)指標(biāo)

采用信噪比（SNR）、背景抑制因子（BSF）［15］兩個(gè)背景抑制評價(jià)參量指標(biāo)，進(jìn)一步對比驗(yàn)證算法抑制背景雜波的有效性。SNR 用于衡量信號和背景噪聲的比值， BSF 用于衡量算法處理后的圖像比原始圖像的背景減少的程度，分別定義為

式中，ut和ub分別表示目標(biāo)和背景區(qū)域的平均亮度，σb表示背景區(qū)域像素的標(biāo)準(zhǔn)差；σin，σout分別代表原圖和背景抑制圖像的背景方差。本文采用的前景是目標(biāo)周圍11×11 大小為的目標(biāo)區(qū)域，背景區(qū)域是目標(biāo)周圍31×31 大小除去前景的區(qū)域，其中SNR 和BSF 的值越高，表示性能越好。

通過統(tǒng)計(jì)不同算法檢測結(jié)果與標(biāo)注框的位置關(guān)系，得到不同算法檢測的召回率［16］，具體計(jì)算表達(dá)式為

式中，R表示召回率，TP 和FP 分別表示正確和錯(cuò)誤檢測的目標(biāo)數(shù)，正確檢測目標(biāo)數(shù)定義為檢測結(jié)果位于10×10 的標(biāo)注框內(nèi)（含）目標(biāo)總數(shù)。

3.3 實(shí)驗(yàn)結(jié)果

3.3.1 消融性實(shí)驗(yàn)

設(shè)置了兩組對比實(shí)驗(yàn)，分別驗(yàn)證基于軟閾值非極大值抑制的候選框篩選和不同分塊數(shù)量對檢測性能的影響，實(shí)驗(yàn)結(jié)果如圖8 所示。

圖8 消融性實(shí)驗(yàn)結(jié)果Fig.8 Ablation experiment results

從圖8 可以直觀地看出，非極大值抑制候選框篩選的步驟能夠有效地剔除山地的反光，同時(shí)提升目標(biāo)的信號。

選取3 段不同場景的公開視頻數(shù)據(jù)［18］（如圖9，分別為純空、地面和建筑），分別計(jì)算不同分塊條件下算法檢測的召回率。從表1 可以看出（最佳結(jié)果用加粗標(biāo)出，次佳結(jié)果用下劃線標(biāo)出），對于簡單的場景（data1），分塊自適應(yīng)閾值計(jì)算對檢測的召回率沒有提升，對于復(fù)雜的場景（data9），分塊數(shù)量的增加能夠有效提升算法檢測的召回率。綜合來說，分塊自適應(yīng)閾值策略能夠有效地提升算法的檢測性能。

表1 消融性實(shí)驗(yàn)檢測召回率對比結(jié)果Table 1 Ablation experiments test recall comparison results

圖9 不同測試視頻圖像示例Fig.9 Example of different test video figure

3.3.2 與其他算法對比實(shí)驗(yàn)

為了驗(yàn)證本文提出算法背景抑制的性能，從公開的紅外弱小目標(biāo)數(shù)據(jù)集中選取了五種典型的場景（受云層干擾的天空、山地、強(qiáng)噪聲、遠(yuǎn)距離純空、海面、建筑）與三種典型的算法Top-Hat、Max-Median（簡稱Max-Med）、LCM 進(jìn)行對比。表2 中展示了各方法在圖10 中五種不同場景SNR 和BSF 兩個(gè)客觀指標(biāo)的對比結(jié)果，表中性能最好的數(shù)據(jù)加粗顯示，性能次佳的數(shù)據(jù)用下劃線顯示。從實(shí)驗(yàn)結(jié)果及其性能指標(biāo)中可以看出，在這五種場景中本文方法對目標(biāo)信噪比的提升效果明顯，背景抑制因子提升最大，具有優(yōu)異的背景抑制性能，同時(shí)能夠有效地增強(qiáng)目標(biāo)信號。

表2 各方法SNR 和BSF 指標(biāo)結(jié)果對比Table 2 Comparison of SNR and BSF index results of each method

圖10 五種典型的場景測試圖Fig.10 Five typical scenario test figure

圖11 為Top-Hat、Max-Med 和本文方法的處理結(jié)果，偶數(shù)行分別是奇數(shù)行的灰度圖歸一化后的三維特性圖。可以看出，對于山地場景，Top-Hat、Max-Med 處理結(jié)果中均存在著大量反光點(diǎn)，這類反光點(diǎn)受大氣傳輸特性影響存在圖像序列幀之間的不規(guī)則偏移，閾值分割之后經(jīng)過實(shí)時(shí)性要求較高的多幀關(guān)聯(lián)處理也無法有效剔除，容易導(dǎo)致虛警，而本文方法能夠有效地剔除地面反光背景的干擾；對于噪聲干擾強(qiáng)、目標(biāo)距離遠(yuǎn)的場景，本文方法的抗噪聲能力明顯優(yōu)于其他兩種對比方法，同時(shí)有效保留目標(biāo)信號。對于受云層干擾的天空場景，Top-Hat 算法受到背景的邊緣干擾最大，背景抑制結(jié)果中殘留著明顯的邊緣雜波；Max-Med 算法對背景邊緣和角點(diǎn)較為敏感；本文算法背景抑制效果最好，能夠有效的抑制邊緣雜波，抗噪聲的干擾能力強(qiáng)。綜合背景抑制結(jié)果的三維特性圖來看，本文方法邊緣抑制和抗噪聲干擾能力較強(qiáng)，對不同場景都具有較高的魯棒性。

圖11 各方法在五種典型的場景視覺結(jié)果對比Fig.11 Comparison of visual results of each method in five typical scenarios

選取3 段不同背景復(fù)雜度的場景公開視頻數(shù)據(jù)［17］（如圖9），通過計(jì)算不同算法檢測的召回率，驗(yàn)證本文算法的目標(biāo)檢測能力，實(shí)驗(yàn)結(jié)果如表3。實(shí)驗(yàn)結(jié)果表明本文方法對不同場景檢測的召回率最高，對不同場景的檢測穩(wěn)定性優(yōu)于其他方法。其中Max-Med 算法對大目標(biāo)的檢測性能最差，而LCM 算法對這兩種場景的性能最差。

表3 各方法在不同視頻數(shù)據(jù)檢測召回率對比Table 3 Comparison of recall rates of various methods in different video data detection

3.3.3 算法硬件實(shí)現(xiàn)效果

為了驗(yàn)證實(shí)際應(yīng)用中該算法的實(shí)時(shí)性和算法適應(yīng)性，將本文算法在基于FPGA+DSP 的信號處理架構(gòu)硬件進(jìn)行了實(shí)現(xiàn)，單幀處理主要實(shí)現(xiàn)硬件為Virtex-7 系列的FPGA，其最終的弱小目標(biāo)檢測效果如圖12?？梢钥闯鲈诓煌瑥?fù)雜度的場景下，單幀紅外目標(biāo)檢測采用了基于引導(dǎo)濾波和分塊自適應(yīng)閾值的方法均能有效檢測目標(biāo)，且具備可靠的抑制虛警的能力。在實(shí)時(shí)性方面，在分辨率為320×256 紅外圖像下的處理速度達(dá)到75 幀/s。

圖12 本文方法在不同復(fù)雜度場景下的硬件實(shí)現(xiàn)效果Fig.12 The hardware implementation effect of the proposed method in different complexity scenarios

4 結(jié)論

本文提出基于分塊自適應(yīng)閾值和引導(dǎo)濾波的單幀紅外弱小目標(biāo)檢測方法。首先采用保邊、去噪性能更好的引導(dǎo)濾波對圖像估計(jì)圖像背景，與原始圖像做殘差得到初步背景抑制結(jié)果；其次采用九宮格濾波計(jì)算目標(biāo)局部區(qū)域的概率，通過加權(quán)的方式進(jìn)一步抑制背景，增強(qiáng)信號；最后通過分塊閾值自適應(yīng)計(jì)算分割閾值，通過閾值分割完成目標(biāo)檢測。實(shí)驗(yàn)結(jié)果表明，所提方法在背景抑制客觀指標(biāo)和主觀視覺效果上均優(yōu)于其他單幀紅外弱小目標(biāo)檢測方法，能有效增強(qiáng)目標(biāo)信號，提升目標(biāo)檢測的召回率，并且對不同場景具有較好的魯棒性能。在不同視頻序列數(shù)據(jù)下的實(shí)驗(yàn)結(jié)果進(jìn)一步表明本方法對紅外弱小目標(biāo)具有更好的檢測能力，同時(shí)不會(huì)提升檢測的虛警。后續(xù)將通過多幀目標(biāo)的運(yùn)動(dòng)軌跡關(guān)聯(lián)，進(jìn)一步抑制虛警。同時(shí)，聯(lián)合基于模型驅(qū)動(dòng)傳統(tǒng)算法和數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)算法進(jìn)行雙邊網(wǎng)路融合提取紅外弱小目標(biāo)，最終達(dá)到實(shí)時(shí)檢測、實(shí)用化、工程化的目的。