基于結(jié)構(gòu)化稀疏表示的海上船舶視覺建模與跟蹤

史蓓蕾　張秀山　梁英杰　郭晶晶

(海軍工程大學電子工程學院計算機工程系　武漢　430033)

?

基于結(jié)構(gòu)化稀疏表示的海上船舶視覺建模與跟蹤

史蓓蕾張秀山梁英杰郭晶晶

(海軍工程大學電子工程學院計算機工程系武漢430033)

摘要海上船舶視頻跟蹤一直是視覺跟蹤中的重點課題。通用的目標建模和跟蹤算法不適用于海上船舶,為獲得魯棒的跟蹤效果,論文結(jié)合稀疏表示的思想,首先通過不同角度復雜采樣,建立了海上常見目標的基函數(shù)字典,并提出一種對字典及測試樣本進行塊稀疏向量生成的方法,將結(jié)構(gòu)化稀疏表示算法與目標稀疏系數(shù)之間相互關(guān)聯(lián)信息進行調(diào)整。在塊之間相關(guān)性足夠小的情況下,采用塊正交匹配追蹤算法,解決了適當條件下編碼復雜性的最優(yōu)化問題,并將論文算法首次應用于海戰(zhàn)場目標識別跟蹤,采用論文目標跟蹤測試集進行測試,并與近期提出的效果較好的跟蹤算法進行對比,對比實驗表明論文提出的算法具有較好的魯棒性和穩(wěn)定性。

關(guān)鍵詞目標跟蹤; 結(jié)構(gòu)化稀疏表示; 稀疏表示; 塊正交匹配追蹤

Sea Target Tracking Based on Structured Sparse Representation

SHI BeileiZHANG XiushanLIANG YingjieGUO Jingjing

(Electronic Eng. College, Naval University of Engineering, Wuhan430033)

AbstractGeneral tracking algorithms and techniques hardly can directly be used to sea target tracking, which brings difficulties to decision support. Structured sparse representation and sea target characteristics of low sampling rate, easy to block and complex feature are combined. Firstly through the complex sampling with different angles, a maritime dictionary of common objective is established, a block sparse vector generated method of dictionary and test samples is proposed. After adjusting structured sparse coefficient and target-related information, block orthogonal matching pursuit algorithm is used to solve the coding complexity optimization problem when correlation between the blocks is small enough. The structured sparse representation algorithm is firstly applied to sea target tracking. With our target tracking test set, comparative experiments show that the proposed algorithm has better robustness and stability than other recently proposed recognition algorithm.

Key Wordstarget recognition, structured sparsity representation(SSR), sparsity representation(SR), Block-OMP(BOMP)

Class NumberTP391

1引言

海上船舶視頻跟蹤方法對于海上交通、安全、監(jiān)控和軍事情報都有重要作用,一直是視覺跟蹤領(lǐng)域的研究重點。海上環(huán)境復雜多變,目標難以采樣,易受遮擋,環(huán)境(外觀、姿態(tài)、光照)變化,干擾等因素影響,加大了目標跟蹤難度。稀疏表示(SR)打破了傳統(tǒng)奈奎斯特-香農(nóng)采樣定理(NS)的信息量度限制,提供了從少量非自適應線性測量值中恢復原始信號的方法,這一特性恰好適用于海上目標跟蹤。SR理論指出在復雜多維數(shù)據(jù)空間中,目標信號只和大量樣本中的部分密切相關(guān),從而大大簡化問題處理過程,因此對于圖像處理和目標跟蹤中高維復雜數(shù)據(jù)集處理,具有較大潛在應用和研究價值。

SR相關(guān)重要理論思想和結(jié)果來源于Candes、Tao和Donoho在數(shù)學領(lǐng)域的探討和研究[1~3],包括SR算法的表述、字典學習、SR解的唯一性與穩(wěn)定性和求解基本方法等。其在視覺跟蹤方面的理論發(fā)展經(jīng)歷了標準SR[1]、魯棒SR[4]、自適應SR[5]、結(jié)構(gòu)化SR[6]、SR分類[7]、魯棒稀疏編碼[8]、正則化魯棒編碼(Regularized Robust Coding,RRC)[9]等,主要應用包括:特征表示與選取、字典學習、稀疏引導的相識度度量、稀疏編碼分類框架、高維非線性學習、貝葉斯壓縮感知、稀疏子空間學習等。Hong Cheng等對稀疏表示和學習在視覺對象跟蹤中的理論與應用進行了綜述[10]。John Wright等研究了SR理論用于人臉識別的方法,通過1-范數(shù)來優(yōu)化測試樣本權(quán)重系數(shù)x以及測量矩陣進行特征選擇來進一步降維,確定SR的最優(yōu)解。Junzhou Huang等基于編碼復雜度和結(jié)構(gòu)之間的關(guān)聯(lián),開發(fā)了一套SSR理論,采用StructOMP把編碼方案近似的塊結(jié)構(gòu)來限制搜索空間,有效求出SSR的解[5]。Zhengjun Han等研究了基于樣本的自適應SR(AdaSR)視覺目標跟蹤,采用L1范數(shù)最小化選取樣本集,并利用卡爾曼濾波器自適應計算解決外觀變化和遮擋時的稀疏表示問題[11]。

以上方法存在一定的限制,或者訓練庫中的樣本具有局限性,或者對目標遮擋效果不明顯,或者難以解決目標跟蹤。本文主要研究結(jié)構(gòu)化稀疏表示(SSR)在海戰(zhàn)場目標跟蹤方面的應用,SSR引入了稀疏系數(shù)之間的相關(guān)性先驗信息,可以提高稀疏分解算法精度,其適合任意結(jié)構(gòu)的特征集。本文結(jié)合SSR特點和海戰(zhàn)場目標特征提取算法,將SSR與目標稀疏系數(shù)之間相互關(guān)聯(lián)信息和實時目標結(jié)構(gòu)變化進行調(diào)整,采用塊正交匹配追蹤解決了在適當?shù)臈l件下編碼復雜性的最優(yōu)化問題,可以有效解決遮擋、樣本集局限性以及目標跟蹤問題。

2群稀疏海戰(zhàn)場目標特征集結(jié)構(gòu)化字典學習

SR理論基本前提在很短時間間隔內(nèi),針對足夠大的訓練樣本空間,測試樣本可以由訓練樣本中同類的樣本子空間線性表示[12]。如果測試樣本由整個樣本空間表示,則表示系數(shù)是稀疏的。給定y∈RL為測試樣本,AT=[a1,a2,…,ad]∈RL×d(L>d)為訓練樣本空間,即過完備字典或基函數(shù)字典,x=(x1,x2,…,xd)∈Rd為定義在字典中每個模板的相應目標系數(shù)向量,‖x‖0≤d,則稀疏域模型描述為

y≈ATx=a1x1+a2x2+…+adxd

(1)

為解決目標跟蹤中可能會遇到的遮擋問題,加入一個稀疏誤差e∈RL,則觀測樣本y表示如下:

(2)

其中,A=[ATAe]∈RL×(d+L)是由目標模板集和遮擋模板集組成的訓練樣本基礎(chǔ)庫,Ae為單位矩陣。此外引入稀疏系數(shù)之間的相關(guān)性先驗信息來建立稀疏相關(guān)系數(shù)ω,能夠大幅度提高稀疏分解算法精度。ω∈Rd+L是一個密度非均勻稀疏系數(shù)向量,ω中誤差部分e是稀疏的,稀疏向量部分x是密集的。這主要是因為大部分視頻系統(tǒng)幀速率平均適中,目標遮擋面積隨著時間而不斷改變。在迭代過程中,假設ATx|t可表示目標外觀模型與遮擋模型之和(即Aω|(t-1)),移動時間步長Δt遮擋引起的誤差ê只占用一個稀疏空間向量。當向量x足夠稀疏,目標系數(shù)x和稀疏誤差e可以通過解決l0范數(shù)極小化問題共同解決。公式如下所示:

(3)

其中,‖·‖0為l0范數(shù),代表非零項的數(shù)量,‖·‖2為l2范數(shù),參數(shù)e表示重構(gòu)誤差。上式為解決欠定最小化0范數(shù)問題,解不穩(wěn)定且又是NP-hard問題。在約束等距性(Restricted Isometry Property,RIP)條件下,0范數(shù)優(yōu)化問題與1范數(shù)優(yōu)化問題具有相同的解。l0最小化問題可以轉(zhuǎn)化為l1凸優(yōu)化問題等價求解,則目標模板集和相應目標系數(shù)的積與恢復圖像之間,具有最小殘差的圖像便為跟蹤結(jié)果(即argmin‖y-ATx‖2)。除此轉(zhuǎn)化之外,為適應跟蹤過程中外觀及遮擋變化,提出一個啟發(fā)式的在線模板更新方案。

雖然l1最小化能通過凸優(yōu)化算法解決多項式稀疏表示問題,但計算耗時且實施復雜,很難達到實時視覺跟蹤。貪婪方法,如匹配追蹤(MP)和正交匹配追蹤(OMP)等算法在效率、計算成本和結(jié)果方面比l0范數(shù)有優(yōu)勢。當訓練樣本基礎(chǔ)庫A和稀疏系數(shù)向量x具有塊結(jié)構(gòu)特點時,MP和OMP可有效解決稀疏表示問題。接下來討論塊稀疏性質(zhì)以及塊稀疏正交匹配追蹤(BOMP)算法在視覺跟蹤應用和實現(xiàn)問題在第5節(jié)討論。

3從稀疏表示到結(jié)構(gòu)化稀疏表示

稀疏表示的原理框架適用于目標外觀和遮擋的建模,并不需要考慮稀疏系數(shù)任何先驗分布。實際上,式(2)中的ω經(jīng)常有一個基本的結(jié)構(gòu)順序。假如查詢樣本具有低于20%連續(xù)遮擋,預期的非零項都集中在目標系數(shù)向量x中,那么測試目標樣本y可以更好地近似訓練模板集的線性表示。另一方面,實際視覺跟蹤過程中,部分遮擋通常表示為所觀察目標樣本一個連續(xù)的空間分布,分析圖像的局部特征可以提高對未知但連續(xù)的遮擋的跟蹤性能。我們采取這樣的局部區(qū)域分塊方法來解決部分遮擋問題,具有塊稀疏表示的特點。觀察到的樣品與訓練模板間一對一空間映射關(guān)系如圖1(深顏色為遮擋部分)所示,首先把觀測到的樣本和訓練模板按照“列分類”分別堆疊成一維向量,相應連接形成一維觀察樣本y和訓練模板ai,i∈[1,d]。通過局部區(qū)域分析,連續(xù)遮擋可作為非零項塊稀疏向量來編碼。

圖1　塊稀疏向量生成

最近對塊結(jié)構(gòu)稀疏來恢復閾值和提高效率的研究,取得了明顯的進步。在這項工作中,我們采取上述結(jié)構(gòu)稀疏表示方法,在視圖中串聯(lián)(R+1)相同的塊,來考慮基礎(chǔ)庫A=[ATI]和稀疏系數(shù)向量ω=[xe]T(圖2)。A和x分塊的第一部分分別對應目標模板集A和目標相關(guān)系數(shù)X,而余下的塊對應局部分區(qū)區(qū)域和它們的系數(shù)。假定,觀測目標樣本y在式(1)中所觀察到的維數(shù)是L,塊的長度是d,L=Rd(R為整數(shù))。因此,式(2)中基礎(chǔ)庫A可以被看作是一個串聯(lián)的具有相同的長度d的R的相同塊的串聯(lián)。加入噪聲分布的塊稀疏向量表示如式(4)所示:

(4)

基于塊劃分基本壓縮感知模型(式(4))稱為塊稀疏模型,基礎(chǔ)庫向量A=[ATI]可以劃分為d個塊結(jié)構(gòu)(每個塊結(jié)構(gòu)包含的元素有多有少),而d的非零元素聚集在少數(shù)幾個塊內(nèi)?；趬K稀疏模型,目前已經(jīng)有了不少算法,比如Group Lasso[13],Block-OMP[14],Block-CoSaMP[15]等。但很少有算法考慮每個塊內(nèi)的元素之間的相關(guān)性(塊內(nèi)相關(guān)性)。

其中,ai∈RL和A[l]∈RL×d分別代表基礎(chǔ)庫A的第i個列和第l個塊。因此,定義塊稀疏系數(shù)向量ω為

(5)

其中,ωi、ω[l]∈Rd分別是向量x的第i個輸入和第l個塊。通常一個向量x如果具有至多m個非零項,則被稱為向量m稀疏。稀疏性的定義中可以擴展到塊稀疏。塊K-稀疏向量x被定義為最多有k個ω[l]非零歐幾里德范數(shù)的向量,即‖ω‖2,0≤k[12]。記為

(6)

其中,I(·)是指標函數(shù)。

在文獻[14]中,作者證明了正交塊內(nèi)的列,能夠達到更高的恢復閾值。它也表明,此正交保留的塊稀疏度,即如果對基礎(chǔ)庫內(nèi)每個區(qū)塊正交化,x中非零塊的分布將不會改變。遮擋模板集是必須是單位矩陣且所有列相互正交。然而,目標模板集通常不是正交的,但具有強相關(guān)性,因為模板之間比較相似。因此,我們利用主成分分析(PCA)的方法,正交目標模板集,形成一個特征值模板來代替。

(7)

其中D=[UAe]∈RL×(d+L)是新的基礎(chǔ)庫,由構(gòu)成的特征模板集U∈RL×d和最初的遮擋模板集Ae=I組成。向量a=[ce]T∈Rd+L包含對應特征模板集和遮擋模板集的分解系數(shù),特征模板集U是通過奇異值分解(SVD)獲得的:AT=U∑VT。

使用本征代替原始模板的模板可以解決文獻[16]中提出的最初啟發(fā)式模板更新計劃。首先,原始模板子空間的稀疏表示是有限的,不能解決視角和姿態(tài)的重大變化。因為它只涉及到解決從以前的幾個時間瞬間獲得的模板。在基礎(chǔ)庫更新后遇到背景斑點或跟蹤結(jié)果顯著遮擋情況下,原型l1跟蹤器是容易跟蹤失敗。這主要是因為在遇到背景噪音和目標遮擋后,很可能用錯誤的模板來表示圖像以達到與圖像最相似。特征模板可以解決并避免這些問題,因為它通過獲得增量SVD更新程序的之前外觀數(shù)據(jù),具有學習模板相關(guān)性的能力。這個模板已經(jīng)成功地運用于目標跟蹤場景。自學習特征模板能夠比原始模板在解決重大姿勢改變時,對目標提供更豐富的描述。因為它們能夠獲得對當前和過去的跟蹤模型都最小重構(gòu)誤差的最優(yōu)子空間。此外,它也能夠解決由之前外觀信息轉(zhuǎn)換成目標模板集,即錯誤更新而帶來的漂移問題。并且,我們不采用文獻[16]中的非負約束,因為PCA允許特征模板和系數(shù)是任意信號,并涉及復雜的正負數(shù)間的抵消。增加非負約束條件,可能會導致重構(gòu)失敗。

4塊正交匹配追蹤

塊稀疏信號y可以從觀測樣本y=Dx中恢復,在塊之間相關(guān)性足夠小的情況下,即可以采用l1/l2混合最優(yōu)化算法求解,也可以采用BOMP算法求解?？紤]到塊結(jié)構(gòu)的稀疏表示特點,應用BOMP來更有效的解決目標稀疏表示的稀疏線性組合。BOMP算法遞歸地對已選擇向量集合進行正交化以保證迭代的最優(yōu)性,可減少迭代次數(shù),每次迭代包括三個主要階段:匹配階段、估計階段和更新階段。BOMP和標準OMP之間主要差別是匹配階段。BOMP選擇具有最高相關(guān)性的塊,而OMP選擇唯一最佳匹配模板。

在估計階段,塊一旦建立之后,相應系數(shù)通過最小二乘方最小化估計求出,剩余在第三階段更新。BOMP算法具有能夠判斷觀測樣本是否有效的辨識能力。一個有效的觀察應更好地表示目標模板,而不是遮擋模板,這才能夠?qū)崿F(xiàn)與目標模板集的最高相關(guān)性。匹配階段,從而可以作為一個分類器,通過判斷目標模板集是否在第一次迭代中出現(xiàn)來消除異常值。另外,如果在早期階段一旦觀察到的樣本被確定為異常值便終止循環(huán),可以縮短該算法的運行時間,并同時促進視覺跟蹤中的效率和準確性。在目標跟蹤過程中,首先對觀測樣本進行分塊,并初始化目標搜索窗,然后,通過l2范數(shù)表示稀疏向量系數(shù),最后采用BMOP算法得出目標表示的線性組合,實現(xiàn)目標跟蹤。本文的BOMP的步驟為

輸入: 1) 根據(jù)圖1對觀測樣本進行分塊,建立目標的過完備字典D(本文提供的圖像格式pgm,像素大小91×112),給定觀測樣本y。

2) 初始化其他項r0=y,s=1,a=[]。

3) 匹配階段:根據(jù)以下公式選擇一個與rs-1最匹配的塊。

(8)

其中,D[i]為基礎(chǔ)庫D的第i個塊。

3) 異值消除:如果s=1且is≠1時,中斷并返回y,把y作為異值消除。

4) 估計階段:求解最小平方問題。

(9)

其中,as[i]為矢量a的候選指數(shù)集(I=[i1,…,is])估計塊系數(shù)。

5) 更新階段:更新殘差。

(10)

6)s=s+1,并回到步驟2),直到殘差‖rs‖2的l2范數(shù)低于目標閾值或最大迭代次數(shù)。

輸出:稀疏系數(shù)向量a。

5實驗驗證

我們應用這種方法在海戰(zhàn)場目標跟中,海上數(shù)據(jù)以其數(shù)據(jù)的高維復雜性成為模式跟蹤較少研究并仍未突破的難點之一。我們主要關(guān)注在兩種情況下的海上目標跟蹤。,

在跟蹤過程中假定海上目標從圖像中已經(jīng)經(jīng)過如檢測、分割、正規(guī)化等預處理。我們在兩個不同的數(shù)據(jù)庫上做跟蹤實驗,分別是海戰(zhàn)場背景單一、亮度差距較大且圖像無損壞的場景,即只有海水為背景,噪聲較少,無遮擋的情況,另一種是背景較復雜、有陰影且圖像有損壞的場景,即具有天空、海水、內(nèi)陸背景,船舶有陰影存在并且有遮擋情況存在的情況。前后者分別有12個不同海上的船舶,每個船舶有5張圖像,總共60張圖像,圖像格式為pgm,像素大小為91×112,因此基礎(chǔ)庫D為m×n=10304×60的矩陣,測試圖像為一維的10304×1矩陣。這些圖像有不同的拍攝角度,如有的正面取景,有的則側(cè)面取景,但角度在±15°之間。所有圖像都有相同的海水背景。本文的實驗環(huán)境已足夠演示本文結(jié)構(gòu)化稀疏表示方法的各個特性。

圖2　結(jié)構(gòu)化稀疏表示跟蹤結(jié)果

為驗證上述算法的有效性,本文實驗的硬件環(huán)境為PC機器配置(CPU為8核Intel(R) Core(TM) i7-3770@3.40GHz,內(nèi)存1×8G,顯卡NVIDIA Geforce GTX660Ti),操作系統(tǒng)為Microsoft Windows 7專業(yè)版,32位操作系統(tǒng),實驗開發(fā)環(huán)境是Matlab7.12.0。本文算法部分的跟蹤結(jié)果截圖如圖2所示,從表1統(tǒng)計數(shù)據(jù)可以看出,在本文采樣率前期下,本文算法的檢測準確率比其他跟蹤算法有一定的提高。

表1　不同方法跟蹤結(jié)果比較

經(jīng)過120幅具有不同噪聲、陰影以及云層遮擋的復雜海面船舶圖像實驗,結(jié)果表明特征角點法適用于圖像噪聲較小,目標與周圍環(huán)境像素差大的跟蹤環(huán)境,優(yōu)點是跟蹤速度快,并可直接用于跟蹤;背景模型法適用于采用率高且采樣角度變化較小,背景無明顯變化,目標陰影不明顯的跟蹤環(huán)境,優(yōu)點是可用于多目標跟蹤。而本文算法對于遙感圖像中復雜海面上的艦船檢測是有效的,并且對于噪聲、陰影、對比度和亮度具有很好的魯棒性。

6結(jié)語

本文將近期提出的結(jié)構(gòu)化稀疏表示方法應用于海戰(zhàn)場目標跟蹤中,通過不同角度復雜采樣,建立了海上常見目標的基函數(shù)字典,并提出一種對字典及測試樣本進行塊稀疏向量生成的方法。將結(jié)構(gòu)化稀疏表示方法與目標稀疏系數(shù)之間相互關(guān)聯(lián)信息和實時目標結(jié)構(gòu)變化進行調(diào)整,采用塊正交匹配追蹤解決了在適當?shù)臈l件下編碼復雜性的最優(yōu)化問題,實現(xiàn)在在采樣率較低的情況下,對海上目標的稀疏表示和準確跟蹤。最后經(jīng)過試驗驗證,本文提出的方法可以有效解決遮擋、樣本集局限性以及目標跟蹤問題,具有較好的魯棒性和穩(wěn)定性。

參 考 文 獻

[1] Donoho D L, Elad M. Optimally sparse representation in general dictionaries via1 minimization[J]. Proceedings of the National Academy of Sciences,2003,100(5):2197-2202.

[2] Candes E J, Romberg J K, Tao T. Stable signal recovery from incomplete and inaccurate measurements[J]. Communications on Pure and Applied Mathematics,2006,59(8):1207-1223.

[3] Candes E J, Tao T. Near-optimal signal recovery from random projections: Universal encoding strategies[J]. Information Theory, IEEE Transactions on,2006,52(12):5406-5425.

[4] Wright J, Yang A Y, Ganesh A, et al. Robust face recognition via sparse representation[J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on,2009,31(2):210-227.

[5] Han Z, Jiao J, Zhang B, et al. Visual object tracking via sample-based Adaptive Sparse Representation[J]. Pattern Recognition,2011,44(9):2170-2183.

[6] He L, Chen H, Carin L. Tree-structured compressive sensing with variational bayesian analysis[J]. Signal Processing Letters, IEEE,2010,17(3):233-236.

[7] Huang K, Aviyente S. Sparse representation for signal classification[C]//NIPS,2006:609-616.

[8] Yang M, Zhang D, Yang J. Robust sparse coding for face recognition[C]//Computer Vision and Pattern Recognition,2011:625-632.

[9] Yang M, Zhang L, Yang J, et al. Regularized robust coding for face recognition[J]. Image Processing,2013,22(5):1753-1766.

[10] Cheng H, Liu Z, Yang L, et al. Sparse representation and learning in visual recognition: Theory and applications[J]. Signal Processing,2013,93(6):1408-1425.

[11] Huang J, Zhang T, Metaxas D. Learning with structured sparsity[J]. The Journal of Machine Learning Research,2011,12(11):3371-3412.

[12] Donoho D L, Tsaig Y, Drori I, et al. Sparse solution of underdetermined systems of linear equations by stagewise orthogonal matching pursuit[J]. Information Theory,2012,58(2):1094-1121.

[13] Meier L, Van De Geer S, Bühlmann P. The group lasso for logistic regression[J]. Journal of the Royal Statistical Society: Series B(Statistical Methodology),2008,70(1):53-71.

[14] Eldar Y C, Kuppinger P, Bolcskei H. Block-sparse signals: Uncertainty relations and efficient recovery[J]. Signal Processing,2010,58(6):3042-3054.

[15] Baraniuk R G, Cevher V, Duarte M F, et al. Model-based compressive sensing[J]. Information Theory, IEEE Transactions on,2010,56(4):1982-2001.

[16] Mei X, Ling H. Robust visual tracking using1 minimization[C]//Computer Vision, 12th International Conference on. IEEE,2009:1436-1443.

中圖分類號TP391

DOI:10.3969/j.issn.1672-9722.2016.01.012

作者簡介:史蓓蕾,女,碩士,講師,研究方向:模式識別,可視化。張秀山,博士,教授,研究方向:虛擬仿真。梁英杰,博士,講師,研究方向:模式識別。郭晶晶,碩士,講師,研究方向:可視化。

收稿日期:2015年7月7日,修回日期:2015年8月27日