基于顏色相似和位移一致的運(yùn)動目標(biāo)歸并算法研究

摘 要：基于運(yùn)動學(xué)信息的目標(biāo)檢測無須依賴數(shù)據(jù)訓(xùn)練，但存在被分割為多個(gè)離散目標(biāo)的情況，通過提取各離散目標(biāo)的色度、飽和度、亮度信息，構(gòu)建HSI顏色特征向量并定義相似度函數(shù)，在當(dāng)前幀中根據(jù)HSI顏色特征相似度實(shí)現(xiàn)第一次目標(biāo)歸并?；谇昂髱伾卣飨蛄拷⑸舷挛念伾嗨凭仃?，對于相似度高的目標(biāo)，基于離散目標(biāo)質(zhì)心運(yùn)動方向和距離進(jìn)行位移一致性評價(jià)，實(shí)現(xiàn)第二次歸并。實(shí)驗(yàn)結(jié)果表明，所消耗時(shí)間控制在30 ms左右，運(yùn)動目標(biāo)的檢測正確率較未歸并前提高了27個(gè)百分點(diǎn)，保證了運(yùn)動目標(biāo)檢測的完整性。

關(guān)鍵詞：目標(biāo)歸并；HSI顏色特征；相似矩陣；位移一致性

中圖分類號：TP391" " 文獻(xiàn)標(biāo)志碼：A" " 文章編號：1671-0797（2024）14-0058-05

DOI：10.19514/j.cnki.cn32-1628/tm.2024.14.013

0" " 引言

運(yùn)動目標(biāo)的檢測方法主要有基于運(yùn)動學(xué)信息的幀差法、背景減法、光流法和依賴于單幀特征信息的檢測方法或?qū)深惙椒ńY(jié)合[1]。幀差法[2]和背景減法[3]檢測過程的最后一步是通過分割二值圖像獲得目標(biāo)輪廓，由于相機(jī)抖動、光照變化、目標(biāo)運(yùn)動不連貫、靜止背景遮擋等原因，差分閾值后的二值圖像會出現(xiàn)離散現(xiàn)象，基于二值圖像的目標(biāo)分割會將一個(gè)目標(biāo)誤分為多個(gè)小目標(biāo)。當(dāng)前，區(qū)域連通性分析多用于醫(yī)學(xué)圖像、車牌字母、工件計(jì)數(shù)等領(lǐng)域[4]，其目的是將粘連、堆疊的目標(biāo)進(jìn)行分離。在離散目標(biāo)歸并領(lǐng)域，目前研究文獻(xiàn)較少，分離與歸并本是一對問題，在歸并研究上可以借鑒分離的研究方法和思想。

離散目標(biāo)歸并是完整檢測的重要一步，文獻(xiàn)[4]依據(jù)像素級距離信息和特征相似信息對圖像塊進(jìn)行整合。文獻(xiàn)[5]利用HSI空間中色調(diào)、飽和度、亮度分量信息的相似性與基本形態(tài)學(xué)操作結(jié)合，定義了一種彩色形態(tài)學(xué)處理方法用于圖像邊緣提取，能夠較好地保存邊緣信息。在遙感圖像方面，文獻(xiàn)[6]基于YCbCr顏色空間對亮度、藍(lán)色色度、紅色色度分量進(jìn)行閾值化，初步確定候選陰影區(qū)域，基于候選區(qū)域提取紋理特征用于陰影消融；文獻(xiàn)[7]利用YCbCr顏色空間特征來表征大豆粒子外觀品質(zhì)特性，對大豆進(jìn)行精細(xì)分類。文獻(xiàn)[8]提出了一種復(fù)雜布局分析的混合技術(shù)，為了連接相鄰區(qū)域和檢測分割線，將形態(tài)學(xué)操作應(yīng)用于前景和背景，輪廓跟蹤用于提取形狀和大小信息以及連接部件的分類。

本文以幀差后的運(yùn)動目標(biāo)二值圖像為起點(diǎn)，分別從小目標(biāo)區(qū)域?yàn)V除、離散目標(biāo)的質(zhì)心歐幾里得距離判定、HSI空間顏色特征相似度計(jì)算、前后幀離散目標(biāo)位移一致性評價(jià)等方面進(jìn)行歸并方法研究。

1" " HSI空間顏色相似性

相機(jī)獲取的圖像是RGB顏色空間，每個(gè)通道都包含同種信息，HSI顏色空間更符合生物視覺系統(tǒng)[9]，H、S、I分別代表色調(diào)、飽和度、亮度，兩空間轉(zhuǎn)換可表示：

式中：B表示藍(lán)色分量；G表示綠色分量；R表示紅色分量；θ為色調(diào)角度。

設(shè)一離散區(qū)域Ω，v={vH，vS，vI}表示在HSI顏色空間下Ω的每個(gè)像素點(diǎn)的顏色矢量，進(jìn)一步計(jì)算區(qū)域Ω內(nèi)總體顏色特征矢量u={vH，vS，vI，σH，σS，σI}，其中vH，vS，vI分別表示區(qū)域內(nèi)各分量均值，σH，σS，σI表示各分量的標(biāo)準(zhǔn)差。在一幀圖像中會出現(xiàn)多個(gè)離散目標(biāo)區(qū)域，則整幀圖像的顏色特征表示為U={u1，u2，…，un}，n為單幀圖像中離散目標(biāo)區(qū)域的數(shù)量。

各離散目標(biāo)的顏色相似度測算是離散目標(biāo)是否歸并的重要依據(jù)，通常來講，不同類型目標(biāo)在顏色特征上有較大差異，但離散目標(biāo)顏色特征和完整目標(biāo)顏色特征具有相似性，同屬一個(gè)整體目標(biāo)的各離散目標(biāo)之間距離較短，顏色特征也具有相似性。

式中：dH、dS、dI為定義的色度、飽和度、亮度的相似測度函數(shù)，均以e為底數(shù)的減函數(shù)定義；下標(biāo)i，j表示任意兩個(gè)離散目標(biāo)；a，b，c分別為各分量測度參數(shù)，均在區(qū)間（0，+∞）保證了測度函數(shù)遞減性，對于同樣的兩個(gè)顏色向量，因?yàn)閰?shù)不同表現(xiàn)出不同的相似性，符合生物感知世界的模糊性。

以分量差值的絕對值為變量，保證定義域大于等于零，將其值域歸一化到[0，1]區(qū)間內(nèi)，差值的絕對值越小，計(jì)算結(jié)果越向1趨近，各分量相似性越高，同屬一個(gè)目標(biāo)的概率越大；否則，屬于同一目標(biāo)的概率越小。

顏色總體特征的相似性由三個(gè)分量相似性共同決定：

D（ui，uj）∈[0，1]，該值接近1時(shí)，表示兩個(gè)離散目標(biāo)的顏色信息更加接近，同屬于一個(gè)整體目標(biāo)的概率大。

2" " 上下幀位移一致性

運(yùn)動目標(biāo)在前后幀中所處的位置會有移動，但是其顏色特征保持穩(wěn)定。設(shè)當(dāng)前幀和前一幀的顏色特征向量分別是UC，UP，上下幀相似性矩陣如下：

式中：D（uCm，uPk）表示兩區(qū)域的顏色特征相似性；Tb表示顏色相似閾值；o（u）表示區(qū)域的質(zhì)心，p1（x1，y1），p2（x2，y2）分別為o（uPm）和o（uCk）的坐標(biāo)，Euc[o（uCm），o（uCk）]表示兩質(zhì)心間歐幾里得距離，以表征目標(biāo)在前后幀的位移距離；TD2表示當(dāng)前幀和前一幀兩兩離散目標(biāo)的歐幾里得距離閾值。

二值化要同時(shí)滿足兩個(gè)條件：1）顏色特征相似性高于Tb；2）雖然運(yùn)動目標(biāo)在前后幀中會發(fā)生位移，但是由于兩幀間隔時(shí)間較短，位移距離應(yīng)小于TD2。

式中：dx，dy表示質(zhì)心點(diǎn)在水平和垂直方向的移動距離；d（ri，rj）由兩個(gè)方向移動距離差值合成，當(dāng)其小于閾值TM則認(rèn)為兩目標(biāo)位移具有一致性。

3" " 歸并步驟

步驟1，讀入原圖像src及所對應(yīng)的二值圖像src_b，并將原圖像src由RGB顏色空間轉(zhuǎn)換為HSI空間得到src_hsi。

步驟2，對二值圖像src_b進(jìn)行膨脹操作，然后查找輪廓，對輪廓面積小于閾值Ts的區(qū)域，將區(qū)域內(nèi)所有像素設(shè)置為0，得到最新src_b，達(dá)到濾除小目標(biāo)作用，膨脹操作還會對微小距離的離散目標(biāo)進(jìn)行歸并。

步驟3，對src_b再次查找輪廓并找到其最小外接矩形框和質(zhì)心，將矩形框映射到原圖像src中，計(jì)算HSI顏色空間下映射區(qū)域顏色特征U，判斷是否為初始幀，若為初始幀，則同時(shí)保存為當(dāng)前幀和前一幀。否則，更新為當(dāng)前幀數(shù)據(jù)。

步驟4，計(jì)算當(dāng)前幀兩兩離散目標(biāo)之間的歐幾里得距離Euc[o（ui），o（uj）]，當(dāng)其值小于當(dāng)前幀中兩個(gè)離散目標(biāo)的歐氏距離閾值TD1時(shí)，近一步計(jì)算其顏色特征相似性，當(dāng)D（ui，uj）大于相似度閾值TC1則認(rèn)為兩個(gè)離散目標(biāo)間相似度高，可視為同一目標(biāo)。

步驟5，依據(jù)當(dāng)前幀和前一幀的顏色特征向量UC，UP，求解上下幀相似矩陣A，并對矩陣二值化得到Ab，對元素值為1所對應(yīng)的離散區(qū)域進(jìn)行位移一致性評價(jià)，當(dāng)d（ri，rj）小于閾值TM則認(rèn)為目標(biāo)在運(yùn)動方向和距離上保持一致，可以歸并為同一目標(biāo)。

步驟6，在src_b1上，將判定為同一目標(biāo)的各離散區(qū)域通過連接線完成目標(biāo)歸并，查找src_b1輪廓并獲得外接矩形框。

步驟7，將當(dāng)前幀的顏色特征信息更新為前一幀數(shù)據(jù)。重新回到步驟1對下一幀圖像做同樣處理。

4" " 實(shí)驗(yàn)結(jié)果及分析

選取三段視頻序列驗(yàn)證算法的效果和適用性能，視頻1為靜態(tài)相機(jī)下監(jiān)控視頻，視頻2為運(yùn)動相機(jī)下所拍攝的視頻，視頻3為運(yùn)動相機(jī)所拍攝，但視頻中存在多個(gè)距離相近、顏色特征相似的運(yùn)動目標(biāo)。通過VS2017和OpenCV 4.1編程實(shí)現(xiàn)驗(yàn)證，在PC（CPU為8核3.5 GHz，內(nèi)存8 GB）上運(yùn)行。

實(shí)驗(yàn)1：基于HSI顏色特征相似性對離散目標(biāo)進(jìn)行第一次歸并。本文中相似度測度參數(shù)a、b、c均設(shè)為10，歐氏距離閾值TD1設(shè)為30，相似度閾值TC1設(shè)為0.75。如圖1所示，第一行視頻目標(biāo)的離散程度低，濾除小目標(biāo)后的二值圖像已經(jīng)呈現(xiàn)出比較完整的人體輪廓。第二行視頻人與相機(jī)同時(shí)運(yùn)動，相機(jī)運(yùn)動補(bǔ)償不足或過度補(bǔ)償導(dǎo)致目標(biāo)不連貫，離散程度大，由于目標(biāo)上下著裝顏色一白一黑，其顏色相似度低，將上下半身分別歸并，人體仍然是離散狀態(tài)。由此可見，當(dāng)一個(gè)完整目標(biāo)各部分顏色對比度較強(qiáng)時(shí)，僅依據(jù)顏色特征相似度歸并能力有限。第三行視頻飛機(jī)漆裝顏色單一，基于顏色相似度歸并效果較好。三架飛機(jī)為同一顏色，由于TD1設(shè)置比較小，飛機(jī)之間沒有出現(xiàn)歸并。

實(shí)驗(yàn)2：基于上下幀位移一致性進(jìn)行歸并，本文中將TD2設(shè)置為80，Tb設(shè)為0.6，TM設(shè)為30。第二次歸并是在第一次歸并后進(jìn)行，對于一個(gè)完整目標(biāo)，各部分的位移距離和方向具有一致性，在視頻2中體現(xiàn)明顯，第一次歸并后，人體上下半身仍然分離，第二次歸并后，上下半身歸并為一體，人體輪廓檢測完整，如圖2所示。

定義準(zhǔn)確率P=Nt/N，其中N為目標(biāo)總數(shù)量，Nt為完整檢測目標(biāo)的數(shù)量。準(zhǔn)確率P1表示直接對二值圖像查找輪廓進(jìn)行目標(biāo)檢測，P2表示對離散目標(biāo)歸并后再查找目標(biāo)輪廓，由表1可知，歸并后目標(biāo)完整檢測的準(zhǔn)確率有了大幅提高，平均提高27個(gè)百分點(diǎn)。

5" " 結(jié)束語

本文為提高基于二值圖像目標(biāo)檢測的正確率，提出了一種基于HSI空間顏色相似度和上下幀位移一致性的目標(biāo)歸并方法，首先濾除小目標(biāo)區(qū)域，然后基于顏色特征的相似度對離散目標(biāo)進(jìn)行第一次歸并，在此基礎(chǔ)上，結(jié)合離散目標(biāo)在前后幀中位移的一致性進(jìn)行第二次歸并，達(dá)到將離散目標(biāo)合體的效果。采用三段不同場景不同拍攝條件的視頻對方法進(jìn)行驗(yàn)證，結(jié)果表明了方法的有效性。圖像的內(nèi)涵信息是豐富的，本文只考慮了顏色特征和位移一致性，未來的研究中可加入更多的圖像特征，例如紋理特征、梯度特征等。

[參考文獻(xiàn)]

[1] ROZANTSEV A，LEPETIT V，F(xiàn)UA P.Detecting flying objects using a single moving camera[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（5）：879-892.

[2] 王智文，王宇航，蔣聯(lián)源，等.基于關(guān)聯(lián)幀差分法的運(yùn)動目標(biāo)檢測與跟蹤[J].現(xiàn)代電子技術(shù)，2021，44（2）：174-178.

[3] 戚亞明，陳樹越，孫磊.基于改進(jìn)ViBe算法的雙流CNN跌倒檢測[J].計(jì)算機(jī)工程與設(shè)計(jì)，2023，44（6）：1812-1819.

[4] 康世英，姚斌.快速連通域標(biāo)記算法在堆疊棒材計(jì)數(shù)中的應(yīng)用研究[J].機(jī)械與電子，2018，36（11）：29-33.

[5] 何曉軍，徐愛功，李玉.利用HSI空間相似性的彩色形態(tài)學(xué)圖像處理方法[J].計(jì)算機(jī)科學(xué)，2019，46（4）：285-292.

[6] 方嵐，于鳳芹.去除鬼影及陰影的視覺背景提取運(yùn)動目標(biāo)檢測算法[J].激光與光電子學(xué)進(jìn)展，2019，56（13）：71-78.

[7] 林萍，何堅(jiān)強(qiáng)，鄒志勇，等.基于可見光譜圖的大豆外觀品質(zhì)判別方法[J].光學(xué)學(xué)報(bào)，2019，39（8）：208-215.

[8] VASILOPOULOS N，KAVALLIERATOU E.Complex layout ana-

lysis based on contour classification and morpho-

logical operations[J].Engineering Applications of Artificial Intelligence，2017，65： 220-229.

[9] 宋瑞霞，李達(dá)，王小春.基于HSI色彩空間的低照度圖像增強(qiáng)算法[J].圖學(xué)學(xué)報(bào)，2017，38（2）：217-223.

收稿日期：2024-03-26

作者簡介：李玉虎（1995—），男，山東濟(jì)寧人，碩士，助理實(shí)驗(yàn)師，研究方向：測控技術(shù)與儀器、自動化技術(shù)。

基金項(xiàng)目：廣州市教育局2022年高?？蒲校ㄇ嗄耆瞬牛╉?xiàng)目（202235284）；廣州市示范性職業(yè)教育集團(tuán)項(xiàng)目（2023ZYJYJT004）