傅里葉域內雙背景模型的海上紅外序列圖像目標檢測

周安然 謝維信 裴繼紅

（1.成都大學計算機學院，四川成都 610106；2.深圳大學電子與信息工程學院，廣東深圳 518060）

1 引言

海洋環(huán)境對我國的經濟社會發(fā)展有重要的影響，海洋環(huán)境監(jiān)控在海防領域有著重要的應用［1］。在軍事安全方面，海洋監(jiān)控有助于對海上突發(fā)事件的高效指揮、對入侵目標的鎖定和防御等。在民事安全方面，海洋監(jiān)控有助于對海上險情的及時搜救、對海洋漁業(yè)及港口碼頭的智能監(jiān)控等。在生態(tài)環(huán)境方面，其應用包括對油船的監(jiān)控、對船只傾瀉垃圾行為的監(jiān)控等。紅外制冷攝像儀具有作用距離遠、對天氣的適應性強等優(yōu)點，在海上視頻監(jiān)控中被廣泛應用。多幀的海上紅外圖像含有豐富的海背景信息，構建準確的海背景模型可有效的改善檢測效果，但海場景的隨機變化性較強［2］，背景模型較難準確跟上海場景的變化。

利用概率模型估計背景的統(tǒng)計分布是常見的一類背景建模法，通過將測試幀的特征與背景模型的統(tǒng)計分布進行比較，對像素點進行分類。離散余弦域的背景建模法（BMDC）［3］用單高斯分布對海水的離散余弦譜進行建模，但對波動性較強的海場景其檢測性能會降低。時域混合高斯法（GMM）［4］將每個像素點的灰度值建模為加權高斯分布的混合，但對低對比度場景會造成目標含有空洞。共享的GMM模型（SGMM）［5］將每個像素和其鄰域內的背景模型和前景模型進行匹配，根據最大匹配概率實現前景檢測。類型2 的模糊混合高斯背景建模法［6］用不確定的均值向量去代替GMM 的均值向量，得到不確定均值向量的混合高斯模型（T2FGMM-UM）。復雜場景下基于特征穩(wěn)定性的自適應背景建模法（SOAF）［7］根據特征直方圖確定主特征和次特征，并分別對主特征和次特征進行混合高斯背景建模?；跁r空樣本的自適應背景混合模型法（STS）［8］，采用時空域的聯合特征來描述像素，通過加權邊緣高斯概率密度函數對像素進行分類。

非參數的背景建模法也是很流行的一類算法，優(yōu)勢在于可避免過多參數的調節(jié)?；谙袼攸c的自適應分割算法（PBAS）［9］采用動態(tài)的自適應學習率，且提出背景復雜程度的度量，但對低對比度的圖像，易將目標檢測為背景。自適應碼本背景模型（SACB）［10］為每個碼字引入自適應的學習率，根據輸入像素和背景碼字的色彩偏離度進行檢測。一種像素級的運動目標檢測算法（SuBSENSE）［11］，結合了顏色特征和二值紋理特征進行背景建模，并結合歐式距離與漢明距離的度量方式進行目標像素點判斷。Andrew 等人提出的背景模型（GMG）由RGB 色彩空間中每個像素的非參數分布組成［12］，采用貝葉斯估計對前景進行分類，但不適用于高度動態(tài)的海背景。雙目標策略的背景建模法（DTNBM）［13］，用灰度值和梯度值的結合特征來表示每個像素，但其像素表示中的梯度值成分導致目標含有空洞。局部統(tǒng)計雙模式背景減除法（LSDS）［14］利用輸入幀和背景模型的局部統(tǒng)計特性的差異進行前景分割，但不適用于波動劇烈的海場景。

海波的運動類似于正弦波的平移，而正弦波在傅里葉域內幅度譜的穩(wěn)定性強于灰度值的穩(wěn)定性，因此在傅里葉域內對海水的幅度譜進行背景建模。不同地點、天氣下的海場景具有不同的海水波動模式，用單一的模型構建海背景會存在偏差。因此，本文對海水的波動程度進行判別，將海水分為波動劇烈的場景和波動相對平緩的場景，構建了傅里葉域內的雙海水背景模型（FDBM），根據不同的海水波動程度選擇不同的海背景模型實現目標檢測。

2 傅里葉域內的雙海水背景模型（FDBM）

分析了海水的波動程度，提出了傅里葉域內的雙海水背景模型（Dual Background Modeling in the Fourier Domain，FDBM）。當海水波動劇烈時，目標和海水的對比度較低，利用傅里葉域內的概率型單高斯背景模型（Probability Single Gaussian Model in the Fourier Domain，FPSGM）［15］進行目標檢測；當海水波動相對平緩時，利用傅里葉域內的混合高斯模型（Mixture Gaussian Model in the Fourier Domain，FGMM）［16］進行目標檢測。然后對所采用模型的輸出結果進行閾值分割，得到最終的輸出結果。FDBM的目標檢測流程圖如圖1所示。

3 傅里葉域概率型單高斯背景模型（FPSGM）

對海水波動劇烈的場景，目標和海水的對比度較低，海背景的幅度譜序列近似服從高斯分布，利用單高斯函數來表征海水幅度譜序列的分布。由于純海水行的總能量譜在較短的時間內是近似守恒的，根據測試幀及更新背景的行方向能量譜的絕對差異構建權重矩陣，對單高斯模型進行加權，即傅里葉域的概率單高斯模型。由于測試幀中船只所在行和更新背景對應行的能量譜差異較大，海水所在行和更新背景對應行的能量譜差異較小，此概率加權單高斯模型可顯著提高目標和海水的對比度。

假設第k幀海上紅外圖像為fk(x，y)，大小為M×N，對其進行行方向傅里葉變換：

概率單高斯背景模型的參數訓練分為參數初始化和參數學習兩個階段。首先將海上紅外序列圖像進行行方向的傅里葉變換，獲得每幀圖像的幅度譜和相位譜。在背景模型的初始化階段，將背景均值初始化為第一幀圖像的幅度譜，背景方差初始化為和圖像等大小的零矩陣。在參數學習階段，讀入第k幀純海水圖像時，第k幀背景的均值和方差分別更新為：

其中，μk和σk分別為訓練階段第k幀更新背景的均值和方差，Ak為第k幀圖像的幅度譜。

將第k測試幀的幅度譜和更新背景均值的絕對差值，同標準差的適當倍數進行比較，即

由于船只頻率點對應的幅度譜序列不服從高斯背景模型，從而得以檢測。定義粗判別矩陣dM×N，若式（5）成立，則d(i，j)=1，表明(i，j)為船只頻率點；反之，則d(i，j)=0，表明(i，j)處為海浪頻率點。同時，對背景模型進行更新：

其中α為學習率參數。

海水的波動在水平方向類似于正弦波從左往右的平移，即波動能量由此及彼的傳播。因而，在一個持續(xù)較短的時間范圍內，每幀純海水圖像每q行的能量譜之和近似不變。q的取值和船只的大小有關。顯然，測試幀目標區(qū)域和更新背景具有較大的行能量譜差異，測試幀海水區(qū)域和更新背景具有較小的行能量譜差異。因此，可利用測試幀和更新背景的行能量譜的差異構建概率矩陣，來增強目標和抑制海背景。當前測試幀和更新背景每q行的能量譜差異為：

則歸一化的概率加權矩陣為：

式（8）中，l=1，q+1，2q+1，...，pq+1，且(p+1)q≤M。

利用加權矩陣及粗判別矩陣對測試幀幅度譜進行頻域濾波，并結合相位譜，反傅里葉變換回空域，即

式（10）中，R1表示FPSGM 的初步檢測結果，γ表示可調整的常系數，IFT(·)表示行方向反傅里葉變換，Φk為第k幀圖像的相位譜。

4 傅里葉域混合高斯背景模型（FGMM）

對海水波動相對平緩、海水和目標具有一定對比度的場景，海水的幅度譜序列呈現多模態(tài)分布，對海水構建傅里葉域的混合高斯模型。由于海水幅度譜和目標幅度譜具有一定的對比度，測試幀幅度譜和背景模型具有一定的差異，從而可較準確的檢測出目標。將每個頻率點的幅度譜序列用混合高斯模型來表示，和背景分布不匹配的頻率點被視為前景點。

海上紅外圖像每個頻率點(x，y)的幅度譜序列用{A1(x，y)，A2(x，y)，...，At(x，y)}表示，則第t幀圖像幅度譜的概率分布為：

其中K表示混合高斯模型中高斯分布的個數，wi，t、μi，t、σi，t、η分別表示第i個高斯分布在t時刻的權重、均值、標準差和概率密度函數。

對剩余K-1 個不匹配的高斯分布，其均值和方差保持不變。同時，K個高斯分布的權重作如下調整：

其中，α為學習率，Mi，t是一個二值變量。若當前的幅度譜值與第i個高斯分布匹配，則Mi，t取1；對剩余K-1 個不匹配的高斯分布，則Mi，t取0。如果當前的幅度譜值和K個高斯背景分布均不匹配，則對具有最小概率值的高斯分布進行替換，新的高斯分布的均值為當前的幅度譜值，方差為一個較大的值，而權重賦予較小值。同時，對調整后的權重進行歸一化。將更新后的各個高斯分布按wi，tσi，t的大小進行排序，將排序后的前B個高斯分布作為混合背景模型，B計算如下：

其中，T是閾值，T的取值影響著高斯分布的個數。

定義粗判別矩陣d'M×N，若幅度譜值At(x，y)和背景的匹配次序出現在前B個高斯背景分布里，判定該頻率點為背景頻率點，則d'(x，y)=0。否則為前景頻率點，則d'(x，y)=1。利用粗判別矩陣對測試幀的幅度譜進行頻域濾波，并結合相位譜，反傅里葉變換回空域，即

式（17）中，R2表示FGMM 的初步檢測結果，γ表示可調整的常系數。

5 海水波動程度的判別

FPSGM 和FGMM 分別適用于海水波動劇烈和海水波動相對平緩的場景，因此需對海水的波動程度進行判別。在訓練階段判別圖像序列的海水波動性大小，考慮由訓練階段的連續(xù)q幀純海水圖像每個頻率點(i，j)處幅度譜序列的方差來度量海水的波動程度。如果方差較大，則頻率點(i，j)處幅度譜值變化較劇烈；如果方差較小，則頻率點(i，j)處幅度譜值變化較緩慢。若波動劇烈的海水點所占比例較大，則海水波動劇烈。若波動劇烈的海水點所占比例較小，則海水波動緩慢。

本文建立了基于蒙特卡羅方法和束流光學的帶電粒子輸運程序，對磁譜儀進行了全過程物理建模和性能模擬，獲得了反沖質子在焦平面上的空間分布和相互關聯的性能參數，可為反沖質子磁譜儀的優(yōu)化設計、能量刻度及應用提供參考。

在訓練階段，利用頻率點(i，j)處連續(xù)q幀純海水圖像的幅度譜值構建行向量H，即

令V(i，j)表示向量H的方差，則V(i，j)表示連續(xù)q幀純海水圖像頻率點(i，j)處幅度譜序列的波動大小。若q的取值過大，會影響算法的運行速度。若q的取值過小，則樣本數據過少，不足以表明海水幅度譜序列的波動大小。因此，q是可調整的變量，在實驗中q的取值為3～7。

設定海水波動判別標志c，具體的判決規(guī)則為：

其中，b是可調整的常系數，在實驗中b的取值為0.1～0.2。μ為V的均值。若c(i，j)=0，則(i，j)點海水波動平緩；若c(i，j)=1，則(i，j)點海水波動劇烈。則波動劇烈的海水點占整張圖像的百分比為：

若p＞a%，認為波動劇烈的海水點所占比例較大，海場景波動劇烈；否則，若p≤a%，認為波動劇烈的海水點所占比例較小，海場景波動平緩。其中，a是波動劇烈的海水點所占百分比的比較閾值，在實驗中a的取值為4～6。

6 雙背景模型目標檢測

當海水波動劇烈時，采用FPSGM 進行目標檢測，FDBM的初步檢測結果為R1；當海水波動相對平緩時，采用FGMM 進行目標檢測，FDBM 的初步檢測結果為R2。則FDBM的初步檢測結果為：

然后，對圖像fo進行閾值分割，實現前景檢測。閾值分割如下［17］，

其中T1為閾值，μ'和σ'分別為fo(x，y)的灰度均值和灰度標準差，l1為可調整的常系數。

實驗所用的海上紅外序列圖像為課題組采用紅外制冷攝像儀在深圳灣及南澳海域實地拍攝的數據集。FDBM 的兩個模型的目標檢測對比結果如圖2 和圖3 所示。圖2（a）為原圖，圖2（a）的前三列中，近處的海波起伏較大，船只較小。圖2（b）和2（c）分別為FPSGM 和FGMM 的檢測結果，可看出FPSGM 和FGMM 在檢測目標的完整度上接近，但FGMM 比FPSGM 殘存更少的海雜波。將測試幀的目標所在行和更新背景對應行的能量譜差異記為DT，純海水所在行和更新背景對應行的能量譜差異記為DB。由于目標較弱小，DT值較小。近處海波波動差異大，DB值較大，導致DT和DB的差異較小，因此，FPSGM 的檢測結果中殘存了部分海雜波。而FGMM 將這種起伏相對平緩的海波的幅度譜用混合高斯模型來描述，由于目標和海水仍具有一定的對比度，通過比較測試幀和背景模型的差異，能較準確的檢測出目標，而殘存極少的海雜波。圖2（a）的后三列中，前后幀的海水波動差異不大，部分船身亮于海水，部分船身暗于海水，從圖2（b）和2（c）可看出，FPSGM 和FGMM 均能檢測到較完整的船體，但FGMM 的檢測結果里殘存更少的海雜波。由于目標和海水具有一定的對比度，DT和DB的差異較大，FPSGM 能分割出完整的目標。同樣，FGMM能較好的描述海背景的多模態(tài)，而較完整的檢測出目標，并徹底的抑制了海雜波。

圖3（a）為原圖，圖3（a）中海波起伏劇烈，船只較大，圖3（b）和3（c）分別為FPSGM 和FGMM 的檢測結果，可看出FPSGM 的檢測結果中海雜波殘存較少，且目標檢測較完整。FGMM 的檢測結果中，殘存了大量的海雜波，且檢測到的目標面積小于FPSGM。由于船只面積較大、亮度高，DT值較大。盡管海波變化劇烈，但幀間行方向海波的能量譜之和近似守恒，DB值較小。因此DT和DB的差異較大，FPSGM 利用能量譜的差異作為概率權重，具有更優(yōu)的檢測性能。對劇烈波動的海場景，FGMM雖然將海雜波用多個混合高斯分布來描述，但目標和較亮海浪的對比度較低，目標的幅度譜和背景模型的差異較小，導致檢測結果中殘存了大量的海雜波。從圖2 和圖3 的檢測結果可看出，對海水波動相對平緩的情形，FGMM 的檢測性能優(yōu)于FPSGM；當海浪波動劇烈時，FPSGM 的檢測性能優(yōu)于FGMM。

7 實驗結果及分析

7.1 定性比較

選取4 組不同類型的海上紅外序列圖像，分別如圖4（a）和5（a）所示。分別選用類型2 的模糊混合高斯背景建模法（Type 2 Fuzzy Mixture Gaussian Model of Uncertain Mean Vector，T2FGMM_UM）［6］、幾何多重法（Geometric Multigid，GMG）［12］、基于像素點的自適應分割法（Pixel-Based Adaptive Segmenter，PBAS）［9］，一種基于局部自適應敏感度的通用變化檢測算法（A Universal Change Detection Method with Local Adaptive Sensitivity，SuBSENSE）［11］、空域中的混合高斯背景模型法（Mixture Gaussian Model，GMM）［4］、局部統(tǒng)計雙模式背景減除法（Double Mode Background Subtraction Method of Local Statistics，LSDS）［14］、離散余弦域內的背景模型法（Background Modeling in the Discrete Cosine Domain，BMDC）［3］以及雙目標策略的背景建模法（Background modeling of dual-target strategy，DTNBM）［13］與FDBM 算法進行視覺對比，9 種算法的目標檢測結果分別如圖4和圖5的（b）-（j）所示。

圖4（a）的前3 列為低對比度的紅外暗小船只，分別為序列圖像的第232 幀、289 幀和298 幀。從圖4（b）、（c）、（d）和（e）可看 出，T2FGMM_UM、GMG、PBAS 和SuBSense 均無法檢測出暗小船只，且GMG將部分海水檢測為了目標。圖4（f）表明，GMM可以檢測出目標的位置，但少量海水有殘存，檢測的船體的輪廓大于真實輪廓，船體存在空洞，這是由于當船只運動較慢時，被誤分類為海背景。從圖4（g）可看出，LSDS能檢測到完整的目標，但殘存的海波較多。圖4（h）表明，BMDC 可檢測出較完整的目標，且殘存海雜波很少。圖4（i）表明，DTNBM能檢測出大致的船體部分，但存在部分船體缺失。圖4（j）表明，FDBM 檢測出的目標較完整，小船及船上的人均清晰可見，海雜波殘存較少。FDBM 對GMM 的目標空洞現象有較好的改善，海雜波殘留較少。

圖4（a）的后3列為夜間拍攝的灰度分布不均勻的船只，分別為序列圖像的第220 幀、230 幀和251 幀。從圖4（b）、（c）可看出，GMG 比T2FGMM_UM 能檢測到更多的船體，但船身仍存在缺失，且有部分海雜波殘存。從圖4（d）可看出，PBAS 的檢測結果中海水被抑制的較徹底，但較暗的船身被漏檢。圖4（e）表明，SuBSense 的檢測結果中海水得到了很好的抑制，但檢測的船體大于實際的船體，這是由于其背景更新機制采取了同時隨機更新鄰域內像素點的方式。圖4（f）表明，GMM 僅檢測出較亮的船體，同時船體存在空洞，且有部分海雜波殘存。圖4（g）表明，LSDS 的檢測結果中目標保留較完整，但有較少量的海雜波殘存。圖4（h）和4（i）分別表明，BMDC 與DTNBM 僅能檢測出較亮的船燈部分，船體缺失較多。圖4（j）表明，FDBM 能清晰準確的檢測出船體，且船體不存在空洞現象，海雜波被抑制的較徹底。

圖5（a）的前3列為一艘中等大小的快艇行駛在海浪波動較劇烈的海面，分別為序列圖像的第210 幀、220 幀和228 幀。圖5（b）表明，T2FGMM_UM 將海水抑制的較徹底，但目標存在明顯的缺失。圖5（c）表明，GMG比T2FGMM_UM 檢測到更大的船只面積，但仍不完整，且有大量的海雜波殘存。圖5（d）的表明，PBAS 可檢測出大部分船體，但殘存少量的海雜波。圖5（e）表明，SuBSense 可檢測出船體，但船身略大于實際船身，且少量的海雜波被誤檢為目標。從圖5（f）可看出，GMM 可基本檢測出船身，但有部分海雜波殘存。圖5（g）表明，LSDS 在基本檢測到目標的同時，有部分海雜波殘存。圖5（h）表明，BMDC檢測到的船體存在明顯的缺失，且殘存少量的海雜波。從圖5（i）可看出，DTNBM 可檢測出大致的船體部分，但存在少部分船體缺失且有少量海雜波殘存。從圖5（j）可看出，FDBM 檢測到的目標較完整，且殘存的海雜波極少。

圖5（a）的后3 列是海浪較大、海水灰度變化劇烈的場景，分別為序列圖像的第183 幀、230 幀和251 幀。圖5（b）表明，T2FGMM_UM 檢測的目標存在嚴重的缺失。圖5（c）表明，GMG檢測的目標較完整，但存在粘連和形狀失真，且較多的海雜波殘存，造成嚴重的虛檢。圖5（d）表明，PBAS能檢測出大部分目標，但少量的海雜波殘存。從圖5（e）可看出，SuBSense 檢測的船體相對較完整，但目標粘連在一起，輪廓大于實際值，且有部分海雜波殘留。圖5（f）表明，GMM 檢測到的目標內部存在空洞，且有部分海雜波殘留。圖5（g）表明，LSDS的檢測結果中殘存了大量的海雜波。從圖5（h）可看出，在波動劇烈的海面下，BMDC 對海雜波的抑制不徹底。圖5（i）表明，DTNBM 檢測到的船體存在缺失，且有部分大塊浪花殘存。從圖5（j）可看出，FDBM 不僅能較徹底的抑制海雜波，也能清晰完整的檢測出目標。

7.2 定量比較

為了進一步驗證FDBM 算法的有效性，對9 種背景建模檢測算法進行定量比較。采用檢測率DR［18］和虛警率FR［18］兩個指標對實驗結果進行定量分析，分別如式（24）和（25）所示。式（24）中，DR表示被正確檢測為船只的像素點數占被檢測為正類樣本的像素點數的百分比，NTP表示被正確檢測為船只的像素點數，NFP表示檢測結果中殘存的海水像素點數。式（25）中，FR 表示檢測結果中殘存的海水像素點數占原圖中海水像素點數的百分比，NTN表示檢測結果中被正確分類為海水的像素點數。

九種算法的評價指標曲線如圖6 所示，圖6 中選取了24 張圖片進行測試，其中序號1-6 的圖片對應于圖5（a）前3 列中海水波動劇烈、船只中等大小的場景，序號7-12 的圖片對應于圖4（a）前3 列中弱小紅外船只的場景，序號13-18 的圖片對應于圖4（a）后3 列中目標灰度不均勻的場景，序號19-24 的圖片對應于圖5（a）后3 列中海水波動劇烈、船只較大的場景。從圖6（a）可看出，FDBM 的檢測率明顯高于GMM，虛警率明顯低于GMM。SuBSense 雖然對一些場景的檢測率要高于FDBM，但其對弱小紅外船只的場景檢測率降為0，且SuBSense 在多組場景下的虛警率明顯高于FDBM。PBAS 在弱小紅外船只的場景下完全檢測不出目標，且在多組場景下的虛警率明顯高于FDBM。T2FGMM_UM 和GMG 的檢測性能明顯弱于FDBM。BMDC 僅在弱小紅外船只場景下的檢測率略高于FDBM，虛警率略低于FDBM。在海水波動劇烈的場景及目標灰度不均勻的場景，BMDC 的檢測率遠低于FDBM，虛警率高于FDBM。DTNBM 在四種場景下的檢測率均明顯低于FDBM，僅在弱小紅外船只的場景下，其虛警率略低于FDBM。綜合看來，FDBM 的檢測率和虛警率在9 種算法中最優(yōu)，反映出FDBM 算法對背景抑制的有效性和目標提取的準確性。因此，FDBM 是一種有效的傅里葉域背景建模目標檢測算法，在不同類型的海場景下均具有最優(yōu)的檢測性能。

8 結論

本文提出了一種傅里葉域內基于每個頻率點的雙背景模型的目標檢測算法，通過判斷海水的波動程度而分別采用兩種不同的背景模型。其中，FPSGM 適用于波動顯著的海面，FGMM 適用于波動相對平緩的海面。FPSGM 將測試幀和更新背景行方向能量譜的絕對差異作為概率權重，對傅里葉域內的單高斯模型進行加權。FGMM 將每個頻率點的幅度譜序列的分布建模為多個高斯分布的混合。實驗結果表明，這種雙模型策略使得算法具有更好的魯棒性，對波動劇烈的場景及暗弱目標的場景均具有較優(yōu)的檢測性能。