胡明娣, 霍艷艷
(西安郵電大學 通信與信息工程學院, 陜西 西安 710121)
圖像檢索是在圖像庫的眾多圖像中,搜索包含指定特征或指定內容的圖像[1]。隨著車輛的增多,交通肇事行為也急劇增長,使得交通管理部門存在海量的圖像數據,需要快速并準確地進行統(tǒng)計和篩選。因此,對目標車輛圖像進行檢索已成為圖像檢索的重要研究方向。
自然場景下,車輛顏色是車輛最為顯著的特征[2],且車輛顏色較為符合人眼視覺感知,所以基于顏色特征的車輛圖像檢索方法使用最為普遍[3]。全局顏色直方圖方法[4],即一維顏色直方圖法,是對顏色特征的統(tǒng)計,當圖像顏色的空間位置信息丟失時,直方圖與圖像會出現一對多的情況,并且,在顏色特征統(tǒng)計過程中,特征維數過高。利用輕量卷積神經網絡的車輛顏色檢索方法,采用空間金字塔匹配(spatial pyramid matching,SPM)策略劃分特征圖[5],對每個SPM子區(qū)域進行編碼,從而生成特征向量,但此方法需要對較大圖像庫進行訓練,不滿足快速檢索需求。對于這種情況,可采用模糊理論[6]構建合理的隸屬度函數,實現對車輛色度空間模糊信息的分明刻畫,對顏色描述更精確。基于梯形或三角形隸屬度函數檢索方法,采用模糊直方圖構造算法和模糊C均值聚類算法對圖像顏色進行聚類[7-8],對量化的色度區(qū)間邊緣進行模糊判斷,雖然可以滿足快速檢索的要求,但查準率較低。
運用非均勻量化、三角形和梯形模糊隸屬度對車輛圖片顏色進行量化,可在歐氏距離和加權距離相似度量下,對車輛圖像庫進行檢索[9];將Vague集引入模糊量化,通過梯形隸屬度函數得到任意顏色在模糊區(qū)域的Vague隸屬度值,根據歐式距離得到相似圖像[10]。上述隸屬度函數在對顏色進行分類時,區(qū)間寬度是由人為設置,具有較大的主觀性。
為了提高基于顏色特征的車輛圖像檢索的準確率,本文提出一種基于Gamma隸屬度的車輛圖像檢索算法。利用廣義直方圖提取的圖像顏色特征,包含顏色空間位置信息,對合成分量L使用Gamma函數刻畫隸屬度值,從而進行相似度測量。此隸屬度值的獲得完全由圖像自身的直方圖信息獲得,區(qū)別于三角形隸屬度中模糊區(qū)間的人為主觀性。
廣義直方圖[11]根據像素點間的空間相關性,較好地表達了像素的空間信息,改善了傳統(tǒng)直方圖缺少顏色空間信息的問題。一般情況下,通過廣義直方圖可提取圖像顏色特征,獲取過程如圖1所示。
圖1 獲取廣義直方圖流程
圖像中任意一點的像素點值,可用該點像素鄰域內所有顏色像素點值的平均值表示。圖像平滑效果隨鄰域范圍的增大而增強,但是,當鄰域過大時,平滑圖像將會丟失圖像的邊緣信息。因此,采用均值濾波[12]獲取平滑圖像時,可選取適合鄰域范圍的3×3平滑模板進行圖像平滑,3×3模板如圖2所示。
f(i-1,j-1)f(i-1,j)f(i-1,j+1)f(i,j-1)f(i,j)f(i,j+1)f(i+1,j-1)f(i+1,j)f(i+1,j+1)
圖2 3×3的平滑模板
設M×N的圖像P中,任意一點(i,j)處的像素點值為f(i,j),經3×3模板平滑后像素點值為
(1)
當圖像P中所有像素點值經過3×3模板平滑后,得到平滑圖像Q,圖像P和圖像Q對應的像素點值組合形成的二元組(P,Q),為圖像P的廣義圖像,提取廣義圖像的顏色特征即得到廣義直方圖。在廣義直方圖像提取顏色特征時,選用更符合人眼視覺的HSV空間,按照人的視覺感知,對分量H、S和V進行非均勻量化[13],其表達式分別為
(2)
其中,h為色調,s為飽和度,v為亮度。為方便計算,將分量H,S,V合成特征[13]
L=9H+3S+V,
(3)
圖像P的特征記為Lp,圖像Q的特征記為Lq,其廣義直方圖的特征可表示為
LPQ=LP+LQ=9HP+3SP+VP+9HQ+3SQ+VQ,
(4)
取值范圍為[0,143]。
根據式(4),對圖像庫圖像A的LPQ進行特征提取,得到廣義直方圖h1,同理,可獲得目標圖像B的廣義直方圖h2。
從Gamma分布中得到的Gamma隸屬度函數,是對模糊信息的一種分明刻畫[14]。Gamma分布的概率密度函數[14]為
(5)
其中,γ是形狀參數,m是位置參數,β是尺度參數,Γ是Gamma函數。
當β=1,γ=1,m≠0時,式(5)可表示為[14]
f(x)=exp[-(x-m)]。
(6)
將顏色劃分為144個顏色區(qū)間,對應為直方圖顏色bin。在圖像檢索過程,以目標圖像廣義直方圖第n個bin的值h2(n)替代m,即圖像庫圖像廣義直方圖第n個bin值為h1(n)(n=1,2,…,144),則h2(n)和h1(n)相對于目標圖像的隸屬度值分別為
μ2(n)=exp{-[h2(n)-h2(n)]constL},
(7)
μ1(n)=exp[-|h1(n)-h2(n)|constL]。
(8)
constl為常數,控制隸屬度值在[0,1]范圍內,其表達式為
(9)
其中k=1,2,…,K,K為圖像總數。
由式(8)可知,μ1(n)的取值與h2(n)有關,說明通過Gamma隸屬度函數可獲得廣義直方圖的隸屬度值,從而改善了人為設定模糊區(qū)域的主觀性問題。
圖像檢索是度量兩個圖像之間的模糊相似性[15]。廣義Tversky指數(generalized Tversky’ sindex,GTI)作為相似性度量函數,提供了基于人類感知的相似性評估集合理論指數[16],可表示為
(10)
z(h1,h2)=f(h1∩h2)+
αf(h1-h2)+βf(h2-h1)。
其中,α與β是賦予圖像A與B獨特的特征權重,當α>β時,檢索結果突出A的獨特特征。h1∩h2是圖像A和B的共同特征,h1-h2指在圖像A中存在但在圖像B中不存在的特征。
對μ1(n)和μ2(n)進行相似性測度,式(10)可改寫為
(11)
其中,
當直方圖顏色bin的隸屬度值相近時,表示兩個圖像的共同特征較多,而獨特特征較少,意味著兩個圖像是相似的。在該算法中,圖像A與圖像B的特征權重α與β均為0.5,則式(11)可簡化為
(12)
由式(8)和式(12)可推知,當兩幅圖像完全相同時,G值為1。
基于Gamma隸屬度的圖像檢索算法,將圖像通過3×3模板進行平滑處理獲得廣義圖像,在HSV空間中提取圖像顏色特征獲得廣義直方圖;使用Gamma隸屬度算法獲得圖像直方圖顏色bin的隸屬度值,并通過Tversky進行相似性測度,根據相似度量值排序輸出檢索結果。算法流程如圖3所示。
圖3 算法流程
采集291個品牌的3 237個車系全部顏色的所有車輛圖像,構建車輛圖像庫。該車輛圖像庫包括正視圖、側視圖和后視圖等3種不同視角下的車輛視圖,如圖4所示。檢索前將圖像進行裁剪處理,統(tǒng)一車輛側視圖像素大小為180×80,車輛正視圖及后視圖像素大小為140×100。
圖4 不同視角下的同一車輛圖像
分別在Corel標準圖像庫和車輛圖像庫中提取車輛圖像,以查準率和查全率[17]為評價指標,對比非均勻量化算法、三角形隸屬度量化算法及本文算法的檢索效果。
實驗1在Corel標準圖像庫中隨機選取10張圖像,分別使用3種算法進行相似檢索。3種算法的查準率與查全率結果分別如表1和表2所示。
由表1和表2可以看出,非均勻量化算法的查準率為70%,查全率為42%;三角形隸屬度量化算法的查準率為75%,查全率為45%;本文算法的查準率為85%,查全率為51%。
實驗2在車輛圖像庫隨機選取10張圖像,分別使用3種算法進行相似檢索。3種算法的查準率與查全率結果分別如表3和表4所示。
由表3和表4可以看出,在車輛圖像庫進行檢索時,非均勻量化的查準率為83%,查全率為16%;三角形隸屬度量化算法的查準率為84%,查全率為17%;本文算法的查準率為92%,查全率為18%。
表1 3種算法的查準率
表2 3種算法的查全率
表3 3種算法的查準率
表4 3種算法的查全率
由上述兩組實驗數據可以得出,基于Gamma隸屬度的車輛圖像檢索算法的查準率與查全率均高于非均勻量化算法和三角形隸屬度量化算法,檢索效果較好。
基于Gamma隸屬度的車輛圖像檢索算法,利用廣義直方圖在HSV空間提取圖像顏色特征,獲得特征分量L,對其利用Gamma函數尋找隸屬度值,改善了傳統(tǒng)隸屬度值獲取的主觀性問題。最后,根據基于Tversky的相似性測度進行檢索并輸出相似圖像。對比實驗結果表明,基于Gamma隸屬度的車輛圖像檢索算法的查準率與查全率均高于非均勻量化算法和三角形隸屬度量化算法,檢索效果較好。