許允喜　陳方

特征聯(lián)合和旋轉(zhuǎn)不變空間分割聯(lián)合的局部圖像描述符

許允喜1陳方1

提出了一種新的局部圖像描述符:特征聯(lián)合和旋轉(zhuǎn)不變空間分割聯(lián)合描述符（Feature combination and rotation invariant space division combination descriptor，F(xiàn)CSCD）.提出了一種新的局部特征:WLBP（Weber local binary pattern），該特征由局部二進(jìn)制模式和韋伯二進(jìn)制差分激勵(lì)聯(lián)合得到.提出了一種新的用于特征匯聚的旋轉(zhuǎn)不變空間分割方法，該方法由強(qiáng)度序空間分割和圓環(huán)空間分割聯(lián)合得到.WLBP在局部旋轉(zhuǎn)不變坐標(biāo)系計(jì)算得到，強(qiáng)度序和圓環(huán)空間分割本身也具有旋轉(zhuǎn)不變性，所以FCSCD描述符在不需要計(jì)算圖像塊主方向下保持了旋轉(zhuǎn)不變性.與現(xiàn)有的局部描述符相比，本文的聯(lián)合方法編碼了多種類(lèi)型的信息在描述符直方圖中，所以FCSCD辨別能力更強(qiáng)，魯棒性更強(qiáng).圖像匹配實(shí)驗(yàn)結(jié)果表明了本文方法的有效性和優(yōu)越性，所提出的描述符具有很高的匹配性能，優(yōu)于其他的主流局部描述符（SIFT、CS-LBP、OSID、LIOP、EOD和MRRID）.

局部圖像描述符，SIFT，圖像匹配，旋轉(zhuǎn)不變

引用格式許允喜，陳方.特征聯(lián)合和旋轉(zhuǎn)不變空間分割聯(lián)合的局部圖像描述符.自動(dòng)化學(xué)報(bào)，2016，42（4）:617?630

局部圖像描述符已廣泛應(yīng)用于從運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)［1］、機(jī)器人導(dǎo)航［2］、目標(biāo)識(shí)別［3］、圖像搜索［4］、圖像分類(lèi)［5］、圖像拼接［6］等眾多計(jì)算機(jī)視覺(jué)和圖像處理領(lǐng)域.

SIFT描述符［7］是目前最流行、應(yīng)用最為廣泛的局部圖像描述符，其描述8個(gè)方向的梯度特征的空間分布，采用4×4笛卡兒坐標(biāo)網(wǎng)格的空間匯聚方法，產(chǎn)生128維直方圖向量.隨后，研究者提出了各種SIFT描述符變體.針對(duì)SIFT描述符的高維度，Ke和Sukthankar［8］利用主分量分析方法對(duì)SIFT進(jìn)行了維數(shù)約簡(jiǎn)，得到了低維的PCASIFT描述符.針對(duì)PCA-SIFT中對(duì)本征向量空間的求解非常耗時(shí)的缺點(diǎn)，顏雪軍等［9］提出了采用2DPCA對(duì)梯度向量塊進(jìn)行降維的局部區(qū)域描述方法.Mikolajczyk等［10］提出了采用新的空間匯聚方法的GLOH（Gradient location and orientation histogram）描述符，該描述符采用3個(gè)徑向方向和8個(gè)角度方向的log-polar網(wǎng)格坐標(biāo)對(duì)興趣區(qū)域進(jìn)行空間劃分.Mikolajczyk等［10］并對(duì)各類(lèi)局部圖像描述符（形狀上下文、矩、復(fù)雜濾波器、互相關(guān)描述符、微分描述符、方向可調(diào)描述符、Spin描述符、SIFT、PCA-SIFT、GLOH）進(jìn)行了性能評(píng)價(jià).評(píng)價(jià)結(jié)果表明：SIFT描述符及其變體在各種圖像變換下的性能都優(yōu)于其他類(lèi)型的描述符.接著，Bay等［11］提出了SURF（Speeded up robust features）描述符，其利用Box濾波代替高斯濾波，利用哈爾濾波器代替梯度.相對(duì)于SIFT描述符，SURF描述符的計(jì)算速度提高了3～7倍.Tola等［12］提出了應(yīng)用于寬基線(xiàn)立體和稠密特征提取的DAISY描述符，該描述符采用了分布在中心圓環(huán)上的不同圓形區(qū)域進(jìn)行空間匯聚.Brown等［13］提出了利用機(jī)器學(xué)習(xí)的方法來(lái)學(xué)習(xí)最佳的、與DAISY類(lèi)似的空間匯聚策略.但Brown等采用的優(yōu)化準(zhǔn)則不是解析的，容易陷入局部最小.針對(duì)該問(wèn)題，Simonyan等［14］提出了采用凸優(yōu)化的局部描述符學(xué)習(xí)方法.當(dāng)然，除了這些采用梯度特征的SIFT描述符及其變體外還存在許多其他局部描述符.Heikkil¨a等［15］提出了中心對(duì)稱(chēng)局部二進(jìn)制模式（Center-symmetric local binary pattern，CS-LBP）描述符，描述了中心對(duì)稱(chēng)像素對(duì)強(qiáng)度對(duì)比的空間分布.Tang等［16］提出了序空間強(qiáng)度分布（Ordinal spatial intensity distribution，OSID）描述符，該描述符是空間位置和強(qiáng)度序的二維分布.受韋伯準(zhǔn)則啟發(fā)，Chen等［17］提出了韋伯局部描述符（Weber local descriptor，WLD），該描述符包含差分激勵(lì)和方向二部分.WLD主要用于紋理分類(lèi)和人臉檢測(cè).Kim等［18］提出了一種基于精確序的局部描述符（Exact order based descriptor，EOD）.EOD對(duì)CS-LBP和OSID兩種描述符進(jìn)行改進(jìn)和融合，其計(jì)算分為三步：1）為了解決OSID中相同強(qiáng)度像素的序模糊性，通過(guò)把圖像的離散強(qiáng)度值轉(zhuǎn)化為k維的連續(xù)值得到精確的序圖像，從而得到GEOF（Global exact order feature）特征；2）為了解決CS-LBP描述符對(duì)高斯噪聲敏感的問(wèn)題，利用哈爾特征算子進(jìn)行改進(jìn)得到LEOF（Local exact order feature）特征；3）使用離散余弦變換對(duì)直接級(jí)聯(lián)的LEOF和GEOF特征進(jìn)行維數(shù)約簡(jiǎn)，得到最后的EOD描述符.

上面提到的SIFT及其他局部描述符都需要估計(jì)圖像塊的主方向來(lái)達(dá)到旋轉(zhuǎn)不變性.然而，主方向估計(jì)是不可靠、不精確的.Lazebnik等［19］提出了旋轉(zhuǎn)不變特征變換（Rotation invariant feature transform，RIFT）描述符.RIFT采用旋轉(zhuǎn)不變圓環(huán)空間分割方法，圓形歸一化圖像塊分成4個(gè)相同寬度的同心環(huán)，在局部旋轉(zhuǎn)不變坐標(biāo)系統(tǒng)下計(jì)算每個(gè)圓環(huán)內(nèi)的梯度方向直方圖.由于圓環(huán)空間分割方法的分組數(shù)目非常有限，丟失了許多空間信息，所以RIFT描述符的辨別性很低［20］.Fan等［20］提出了2個(gè)在多支撐域上計(jì)算的基于強(qiáng)度序匯聚局部特征的圖像描述符：基于序的多支撐域梯度直方圖（Multisupport region order-based gradient histogram，MROGH）和多支撐域旋轉(zhuǎn)和強(qiáng)度單調(diào)不變描述符（Multisupport region rotation and intensity monotonic invariant descriptor，MRRID）.MROGH采用方向梯度作為局部特征，MRRID采用LBP作為局部特征.強(qiáng)度序作為一種空間分割方法對(duì)局部特征進(jìn)行匯聚形成統(tǒng)計(jì)直方圖.Wang等［21］提出了局部強(qiáng)度序模式（Local intensity order pattern，LIOP）描述符，其空間分割方法也采用強(qiáng)度序，局部特征采用局部強(qiáng)度序模式.和RIFT一樣，MROGH、MRRID和LIOP中的局部特征也都在局部旋轉(zhuǎn)不變坐標(biāo)系統(tǒng)下計(jì)算得到，保持旋轉(zhuǎn)不變性.RIFT采用的圓環(huán)空間分割方法具有旋轉(zhuǎn)不變性，MROGH、MRRID和LIOP采用的強(qiáng)度序空間分割方法也具有旋轉(zhuǎn)不變性.所以，RIFT、MROGH、MRRID和LIOP具有內(nèi)在的旋轉(zhuǎn)不變性，在不需要估計(jì)圖像塊的主方向條件下達(dá)到了旋轉(zhuǎn)不變.

本文聯(lián)合WLD描述符中的韋伯二進(jìn)制差分激勵(lì)和LBP，得到新的WLBP（Weber local binary pattern）局部特征.WLBP在局部旋轉(zhuǎn)不變坐標(biāo)系統(tǒng)下計(jì)算，是旋轉(zhuǎn)不變的.韋伯二進(jìn)制差分激勵(lì)從另一個(gè)方面描述了像素的局部鄰域信息，所以相對(duì)于LBP，WLBP對(duì)局部鄰域的描述能力更強(qiáng).提出了一種新的用于特征匯聚的旋轉(zhuǎn)不變空間聯(lián)合分割方法，該方法由強(qiáng)度序空間分割和圓環(huán)空間分割聯(lián)合得到.通過(guò)該旋轉(zhuǎn)不變空間聯(lián)合分割方法匯聚WLBP局部特征得到新的局部圖像描述符FCSCD.相對(duì)于單獨(dú)利用強(qiáng)度序空間分割或圓環(huán)空間分割的方法相比，聯(lián)合分割方法能更好地描述不同類(lèi)型圖像塊的局部特征空間分布.綜合而言，相對(duì)于存在的其他局部描述符，F(xiàn)CSCD在直方圖中編碼了多種類(lèi)型的信息，所以其性能也更加優(yōu)越.

最后，進(jìn)行了標(biāo)準(zhǔn)數(shù)據(jù)集上的匹配實(shí)驗(yàn)來(lái)驗(yàn)證本文算法的有效性.實(shí)驗(yàn)結(jié)果表明：本文提出的描述符匹配性能優(yōu)于其他的主流局部圖像描述符（SIFT、CS-LBP、OSID、LIOP、EOD和MRRID）.

1　局部圖像描述符的設(shè)計(jì)

1.1局部特征提取

MRRID描述符中計(jì)算LBP特征采用局部旋轉(zhuǎn)不變坐標(biāo)系統(tǒng)，本文的LBP特征計(jì)算方法和MRRID一樣.由于維數(shù)限制，用于局部圖像描述符的LBP特征都是指CS-LBP［15，20］，所以本文的LBP特征也為CS-LBP.如圖1所示，假定P為興趣點(diǎn)，Xc為其支撐域中的一個(gè)像素點(diǎn).設(shè)為正y軸，則建立了該像素點(diǎn)的局部xy坐標(biāo)系統(tǒng).該局部坐標(biāo)系是旋轉(zhuǎn)不變的，則在該坐標(biāo)系下計(jì)算得到的局部特征也具有旋轉(zhuǎn)不變性.在該局部坐標(biāo)系統(tǒng)下旋轉(zhuǎn)不變局部二進(jìn)制模式和韋伯二進(jìn)制差分激勵(lì)（Weber binary differential excitation，WBDE）計(jì)算如下：

其中，Xj為中心像素點(diǎn)Xc在局部xy坐標(biāo)系統(tǒng)下沿x和y軸分布的鄰居點(diǎn)，如圖1所示.R為周?chē)従狱c(diǎn)的半徑，N為鄰居點(diǎn)數(shù)目.根據(jù)文獻(xiàn)［15，17，20］的研究，R取2、N取8時(shí)最好.I（Xj）表示Xj的強(qiáng)度.WBDE特征是韋伯差分激勵(lì)［17］的二進(jìn)制版本.LBP計(jì)算與中心像素對(duì)稱(chēng)的2個(gè)像素之間的強(qiáng)度差，大于0或小于0表示一個(gè)像素的強(qiáng)度大于或小于另一個(gè)像素的強(qiáng)度.WBDE計(jì)算所有鄰居點(diǎn)與中心像素之間的強(qiáng)度差之和，大于0表示周?chē)c(diǎn)比中心像素點(diǎn)更亮，小于0表示周?chē)c(diǎn)比中心像素點(diǎn)更黑.由此可見(jiàn)，WBDE特征和LBP特征對(duì)局部鄰域的描述是完全不同的，具有一定的互補(bǔ)性.聯(lián)合WBDE特征和LBP特征將增強(qiáng)像素的局部鄰域描述能力.本文對(duì)WBDE特征和LBP特征進(jìn)行二維聯(lián)合，再把二維特征聯(lián)合轉(zhuǎn)化為一維特征，得到本文的WLBP特征，計(jì)算如下：

WLBP特征維數(shù)m=2N/2+1.因?yàn)镹取8時(shí)最好，所以m=32.

圖1　局部旋轉(zhuǎn)不變坐標(biāo)系統(tǒng)Fig.1　Local rotation-invariant coordinate system

1.2空間分割

1.2.1強(qiáng)度序空間分割

對(duì)支撐域中所有像素點(diǎn)根據(jù)其強(qiáng)度值進(jìn)行排序，得到每個(gè)像素點(diǎn)的強(qiáng)度序值.這樣就把原始的強(qiáng)度值轉(zhuǎn)化為序值.強(qiáng)度序?qū)D像塊的旋轉(zhuǎn)保持不變.設(shè)支撐域中共有n個(gè)像素點(diǎn)，每個(gè)像素點(diǎn)有唯一的強(qiáng)度序，則像素點(diǎn)的強(qiáng)度序值取值范圍為1～n.把1～n從小到大平均分為k段，每個(gè)像素點(diǎn)根據(jù)其強(qiáng)度序值進(jìn)行分組：

其中，d（Xj）為像素點(diǎn)Xj的強(qiáng)度序值.因?yàn)槊總€(gè)像素的強(qiáng)度序是唯一的，所以每個(gè)像素所屬的組別也是唯一的.因?yàn)閺?qiáng)度序的分組數(shù)目不能太大，僅利用強(qiáng)度序空間分割方法匯聚局部特征的描述符性能是受限的，后面的圖像匹配實(shí)驗(yàn)也證實(shí)了該結(jié)論.

1.2.2圓環(huán)區(qū)域空間劃分

文獻(xiàn)［19］把支撐區(qū)域分為4個(gè)互不相交的圓環(huán)區(qū)域.這種劃分方法有兩個(gè)缺點(diǎn)：1）因?yàn)橹螀^(qū)域半徑是有限的（通常為20.5個(gè)像素），劃分為4個(gè)區(qū)域?qū)е聢A環(huán)的寬度很窄，得到的描述符對(duì)大的幾何形變是不魯棒的；2）相同徑向尺寸的圓環(huán)區(qū)域，離圓心越近的圓環(huán)區(qū)域所包含的像素越少.所以?xún)H利用圓環(huán)空間分割方法匯聚局部特征的RIFT描述符辨別性很低，遠(yuǎn)低于非旋轉(zhuǎn)不變的空間分割方法（如SIFT）［20］.

所以，本文給出了一種相互重疊的圓環(huán)區(qū)域劃分，且離圓心越近的圓環(huán)區(qū)域其徑向尺寸越大.圖2給出了2個(gè)相互重疊的圓環(huán)區(qū)域劃分方法，同一種線(xiàn)型2個(gè)不同半徑的內(nèi)外圓組成1個(gè)圓環(huán)區(qū)域.其中，最靠近圓心的一個(gè)圓環(huán)區(qū)域的內(nèi)圓半徑為0，所以圓環(huán)區(qū)域就變?yōu)閳D2中一個(gè)虛線(xiàn)的圓.若支撐域分為d個(gè)相互重疊的圓環(huán)區(qū)域，則d個(gè)區(qū)域分別表示為Sbin1，Sbin2，···，Sbind.由于圓環(huán)區(qū)域有一定的重疊，所以有些像素所屬的組別不是唯一的.

圖2　相互重疊的兩個(gè)圓環(huán)區(qū)域劃分Fig.2　Two overlapping annular regions division

1.2.3旋轉(zhuǎn)不變空間分割聯(lián)合

假定一像素點(diǎn)位于Ibini強(qiáng)度序分組中并且也位于圓環(huán)空間區(qū)域分組Sbinj中，則該像素點(diǎn)位于分組ISbinl中.ISbinl分組表達(dá)如下：

由上式可知：ISbinl分組是強(qiáng)度序分組Ibini和圓環(huán)空間區(qū)域分組Sbinj的空間分割聯(lián)合，是2種區(qū)域分組的交集，是像素點(diǎn)的聯(lián)合二維空間分類(lèi)，ISbinl的維數(shù)S=k×d.像素的強(qiáng)度序描述了一個(gè)圖像塊中像素的全局亮度屬性.像素的2D圓環(huán)位置描述了像素的空間幾何屬性.這2種空間分割方法是完全不同的，聯(lián)合這2種互補(bǔ)的空間分割方法將更好地描述不同類(lèi)型圖像塊的局部特征空間分布.因?yàn)橛行┫袼厮鶎俚腟binj不是唯一的，所以這些像素所屬的ISbinl也不是唯一的.圖3給出了旋轉(zhuǎn)不變空間分割聯(lián)合過(guò)程.首先對(duì)如圖3（a）所示的歸一化圓形支撐區(qū)域進(jìn)行強(qiáng)度序和圓環(huán)空間分割，圖3（b）和圖3（c）為2個(gè)圓環(huán)空間分割，圖3（d）、圖3（e）和圖3（f）為3個(gè)強(qiáng)度序空間分割.最終得到的如圖3（g）、圖3（h）、圖3（i）、圖3（j）、圖3（k）和圖3（l）所示的6個(gè)空間分組區(qū)域，由2個(gè)圓環(huán)空間分割和3個(gè)強(qiáng)度序空間分割的空間交集聯(lián)合得到.

圖3　通過(guò)聯(lián)合空間分割匯聚支撐域中局部特征的流程Fig.3　The procedure of pooling local features in a support region by the combination of space divisions

1.3局部特征空間匯聚

FCSCD描述符的構(gòu)建過(guò)程如圖3所示，在每個(gè)空間分組ISbinm中匯聚WLBP特征，然后把它們級(jí)聯(lián)起來(lái)，得到我們的描述符.數(shù)學(xué)上，F(xiàn)CSCD描述符的計(jì)算如下：

FCSCD描述符的維數(shù)為S×m=k×d×m.最后，對(duì)描述符進(jìn)行歸一化.

1.4多支撐域討論

區(qū)域檢測(cè)子提取用于計(jì)算描述符的興趣區(qū)域.為了得到尺度或仿射不變性，局部興趣區(qū)域需要?dú)w一化為一個(gè)標(biāo)準(zhǔn)區(qū)域（通常為41×41像素的圓形區(qū)域），然后在這個(gè)標(biāo)準(zhǔn)區(qū)域中計(jì)算描述符，CS-LBP［15］、OSID［16］、MRRID［20］、LIOP［21］和EOD［18］都在該標(biāo)準(zhǔn)區(qū)域上計(jì)算.這個(gè)歸一化的標(biāo)準(zhǔn)區(qū)域也稱(chēng)為支撐域.尺度或仿射區(qū)域不變檢測(cè)子提取的興趣區(qū)域用對(duì)稱(chēng)矩陣A∈R2×2表示，則區(qū)域中的任何一點(diǎn)X可表示為［20］

歸一化區(qū)域中的像素點(diǎn)需滿(mǎn)足以下條件：

r為歸一化區(qū)域的半徑（一般為20.5個(gè)像素）.由式（8）和式（9）可以得到下式［20］：

所以，利用式（10）和興趣區(qū)域的像素點(diǎn)強(qiáng)度值可以計(jì)算得到歸一化區(qū)域中每個(gè)像素點(diǎn)的強(qiáng)度值.由式（8）可知：對(duì)矩陣A乘以一個(gè)尺度因子，在不改變興趣區(qū)域形狀的條件下可以改變興趣區(qū)域的尺寸.所以，對(duì)矩陣A分別乘以幾個(gè)不同的尺度因子可以得到幾個(gè)不同尺寸的興趣區(qū)域，再對(duì)這些興趣區(qū)域進(jìn)行歸一化就得到幾個(gè)不同的支撐域，如圖4所示.局部描述符［15?16，18，20?21］都在該歸一化的標(biāo)準(zhǔn)支撐域上計(jì)算，所以多支撐域?qū)儆趨^(qū)域歸一化步驟，任何局部描述符都有多支撐域形式.不同場(chǎng)景的2個(gè)特征點(diǎn)在某個(gè)局部區(qū)域可能會(huì)出現(xiàn)相似的外觀.然而，不同場(chǎng)景的2個(gè)特征點(diǎn)在幾個(gè)不同大小的局部區(qū)域出現(xiàn)相似外觀的可能更小.所以，在多個(gè)支撐域上構(gòu)建描述符將提高他們的辨別性能.文獻(xiàn)［20］選擇4個(gè)以興趣點(diǎn)為中心的不同尺寸大小的橢圓區(qū)域，對(duì)其分別進(jìn)行歸一化，得到4個(gè)支撐區(qū)域，如圖4所示.在每個(gè)支撐域i上獨(dú)立計(jì)算一個(gè)局部描述符向量Di.在4個(gè)支撐域上計(jì)算得到的所有局部描述符向量級(jí)聯(lián)起來(lái)形成多支撐域局部描述符（D1，D2，D3，D4）.

圖4　四個(gè)支撐區(qū)域選擇及其歸一化Fig.4　The selection of four support regions and their normalization

使用多支撐域的描述符通常都比使用單支撐域的描述符具有更高的性能，不同的是：有些描述符提高得很少，如SIFT；有些描述符提高得很多，如MRRID.多支撐域局部描述符的計(jì)算復(fù)雜度很高，因?yàn)槎嘀斡蛑忻總€(gè)不同尺寸的局部區(qū)域都需要重新歸一化，對(duì)每個(gè)歸一化的區(qū)域都必須重新計(jì)算描述符.所以，N個(gè)支撐域的局部描述符的計(jì)算量通常是單支撐域的N倍.本文主要研究單支撐域局部描述符，但為了表明本文描述符在多支撐域條件下也有很好的性能，后面的實(shí)驗(yàn)對(duì)FCSCD的多支撐域形式也進(jìn)行了性能評(píng)估.

1.5算法復(fù)雜度分析

FCSCD描述符的構(gòu)建過(guò)程主要包括局部特征提取、空間分割、空間匯聚幾個(gè)步驟.在計(jì)算WLBP時(shí)，支撐域中每個(gè)像素點(diǎn)都要建立局部旋轉(zhuǎn)不變坐標(biāo)系統(tǒng)，每個(gè)像素點(diǎn)周?chē)栌?jì)算8個(gè)鄰居點(diǎn)的強(qiáng)度值.由于8個(gè)鄰居點(diǎn)不一定剛好在像素點(diǎn)網(wǎng)格上，所以需要利用雙線(xiàn)性?xún)?nèi)插方法計(jì)算這8個(gè)鄰居點(diǎn)的強(qiáng)度值，每個(gè)像素點(diǎn)的雙線(xiàn)性?xún)?nèi)插需要計(jì)算8次乘法運(yùn)算和11次加減法運(yùn)算，所以局部旋轉(zhuǎn)不變坐標(biāo)系統(tǒng)的乘法運(yùn)算次數(shù)為64×n，加減法運(yùn)算次數(shù)為88 ×n.建立局部旋轉(zhuǎn)不變坐標(biāo)系統(tǒng)后，LBP的計(jì)算需要4次加減法運(yùn)算，WBDE需要8次加減法運(yùn)算，聯(lián)合特征操作需要1次乘法運(yùn)算和1次加減法運(yùn)算，所以WLBP的乘法運(yùn)算次數(shù)為n，加減法運(yùn)算次數(shù)為13×n.所以局部旋轉(zhuǎn)不變坐標(biāo)系統(tǒng)的計(jì)算復(fù)雜度遠(yuǎn)遠(yuǎn)高于特征提取本身的計(jì)算復(fù)雜度.FCSCD和MRRID都需要計(jì)算局部旋轉(zhuǎn)不變坐標(biāo)系統(tǒng)，所以在整個(gè)局部特征提取中FCSCD比MRRID只增加了很小的計(jì)算量.空間分割中強(qiáng)度序分割需要對(duì)n個(gè)數(shù)進(jìn)行排序，其計(jì)算復(fù)雜度為O（n×logn）.而圓環(huán)空間分割的計(jì)算復(fù)雜度僅為O（n）.所以FCSCD描述符的聯(lián)合空間分割比MRRID的強(qiáng)度序空間分割只增加了很小的計(jì)算量.

空間匯聚的計(jì)算復(fù)雜度和描述符維數(shù)Dim相關(guān)，其計(jì)算復(fù)雜度為O（Dim）.n的值遠(yuǎn)大于Dim，所以相對(duì)于局部特征提取和空間分割兩個(gè)步驟，空間匯聚的計(jì)算量很小.

從以上分析可以得出：相對(duì)于MRRID，F(xiàn)CSCD雖然采用了特征聯(lián)合和旋轉(zhuǎn)不變空間匯聚聯(lián)合兩個(gè)策略，但增加的計(jì)算復(fù)雜度很小，可以忽略，這在后面的描述符計(jì)算時(shí)間實(shí)驗(yàn)中也得到了驗(yàn)證.

2　實(shí)驗(yàn)

實(shí)驗(yàn)使用標(biāo)準(zhǔn)圖像數(shù)據(jù)集［10］對(duì)本文方法進(jìn)行了測(cè)試.該數(shù)據(jù)集包含了視角變換、圖像模糊、JPG壓縮、光照變化、旋轉(zhuǎn)和尺度變換這6種變換下的場(chǎng)景圖像.圖5展示了評(píng)價(jià)局部圖像描述符性能所采用的6組實(shí)驗(yàn)數(shù)據(jù).每組數(shù)據(jù)包含6幅圖像，第1幅為基準(zhǔn)圖像，其余5幅為變換后的圖像，從第2幅到第6幅其圖像變換越來(lái)越大.第1組Bikes為圖像模糊變化，第2組Leuven為光照變化，第3組Boat為旋轉(zhuǎn)和尺度變化，第4組UBC為JPG圖像壓縮，第5組Wall為紋理圖像的視角變化，第6組Graffiti為結(jié)構(gòu)圖像的視角變化.

圖5　實(shí)驗(yàn)數(shù)據(jù)集Fig.5　Data sets for the experiments

本文采用和文獻(xiàn)［10］一樣的評(píng)價(jià)準(zhǔn)則，其計(jì)算圖像對(duì)的正確匹配數(shù)和錯(cuò)誤匹配數(shù).描述符之間的匹配依賴(lài)于匹配策略.匹配方法主要有基于距離閥值的匹配、最近鄰匹配、基于最近鄰和次近鄰比值的匹配三種.文獻(xiàn)［10］指出：不同局部描述符的性能排序?qū)τ谌N匹配方法是相似的，但描述符之間的距離是主要的相似性度量準(zhǔn)則，基于距離閥值的匹配結(jié)果反映了描述符的空間分布，所以基于距離閥值的匹配方法是局部描述符最合適的匹配準(zhǔn)則.因此，本文的實(shí)驗(yàn)也采用基于距離閥值的匹配方法.在基于距離閥值的匹配方法中，如果兩個(gè)描述符之間的距離小于某個(gè)閥值則表示它們相互匹配.變化距離閥值則得到一條曲線(xiàn)：查全率-查錯(cuò)率曲線(xiàn).查全率是正確匹配數(shù)占對(duì)應(yīng)特征數(shù)目的比率，查錯(cuò)率是錯(cuò)誤匹配數(shù)目占總匹配數(shù)目的比率.好的局部描述符應(yīng)該能夠在提高查全率的同時(shí)降低查錯(cuò)率.

為了對(duì)局部圖像描述符進(jìn)行公平的對(duì)比，本文采用廣泛應(yīng)用于局部描述符評(píng)價(jià)的區(qū)域檢測(cè)子.和文獻(xiàn)［10］一樣，本文采用Hession仿射不變和Harris仿射不變兩個(gè)區(qū)域檢測(cè)子［22］來(lái)評(píng)價(jià)描述符的性能.限于篇幅限制，本文僅給出Hession仿射不變區(qū)域的實(shí)驗(yàn)結(jié)果.雖然每個(gè)描述符的性能隨不同的特征檢測(cè)子變化，但不同描述符的相對(duì)性能是一致的.區(qū)域特征檢測(cè)子和SIFT描述符均從牛津大學(xué)仿射不變特征研究小組網(wǎng)站上下載.

2.1參數(shù)設(shè)置實(shí)驗(yàn)

本文的FCSCD描述符有兩個(gè)參數(shù)需要設(shè)置：圓環(huán)空間分組數(shù)目和強(qiáng)度序分組數(shù)目.一般而言，分組數(shù)越多，描述符捕獲的信息越多.但如果分組數(shù)太多，則會(huì)使描述符對(duì)圖像噪聲（變化）很敏感，從而導(dǎo)致描述符性能下降.而且，分組數(shù)越多，描述符的維數(shù)越高.本文采用wall序列來(lái)研究分組參數(shù)設(shè)置對(duì)匹配性能的影響.如表1，本文對(duì)各種參數(shù)組合進(jìn)行了描述符匹配對(duì)比實(shí)驗(yàn).從圖6可以看出，k=3，d=2（192）性能最差；其次是k=4，d=2（256），k=3，d=3（288）和k=5，d=2（320），三者性能相差不大；k=4，d=3（384）和k=5，d=3（480）性能最好，二者性能相當(dāng).綜合考慮匹配性能和復(fù)雜度（維數(shù)），本文采用k=4，d=2的參數(shù)設(shè)置.所以FCSCD描述符的維數(shù)為256，后面的實(shí)驗(yàn)均采用該參數(shù)設(shè)置.

表1　FCSCD描述符的參數(shù)設(shè)置Table 1　The setting of parameters for FCSCD descriptor

圖6　不同參數(shù)下FCSCD描述符的匹配性能Fig.6　Matching performances of FCSCD under different parameter settings

2.2特征聯(lián)合和空間分割聯(lián)合性能評(píng)價(jià)

SCD128是指僅采用空間分割聯(lián)合，沒(méi)有特征聯(lián)合，局部特征采用LBP的描述符，其維數(shù)為128維.FCD128是指僅采用特征聯(lián)合，沒(méi)有空間分割聯(lián)合，空間分割采用強(qiáng)度序的描述符，其維數(shù)為128維. FCD256與FCD128不同的是：強(qiáng)度序分組數(shù)目設(shè)為8，其維數(shù)為256維.限于篇幅限制，圖7給出了部分匹配結(jié)果，其他數(shù)據(jù)集也得到相似的結(jié)果.從圖7可以看出，相對(duì)于SCD128、FCD128和FCD256，本文的FCSCD256匹配性能更高.特征聯(lián)合和空間分割聯(lián)合方法都能顯著提高描述符的局部圖像塊描述能力，從而提高了描述符的匹配性能.在僅利用強(qiáng)度序空間分割方法匯聚局部特征的情況下，即使增加強(qiáng)度序分組數(shù)目對(duì)描述符的性能提高也是非常有限的，在圖7（b）和圖7（d）的圖像變化條件下FCD256的性能比FCD128略有提高，在圖7（c）的圖像變化條件下FCD256的性能和FCD128相當(dāng)，在圖7（a）的圖像變化條件下FCD256的性能反而比FCD128略有下降.

2.3多支撐域性能評(píng)價(jià)

MFCSCD（2）指在2個(gè)支撐域上計(jì)算的FCSCD多支撐域描述符版本.MRRID（4）為文獻(xiàn)［20］中提出的多支撐域描述符，其在4個(gè)支撐域上計(jì)算得到.本文把MFCSCD（2）與FCSCD和MRRID（4）做了詳細(xì)的性能對(duì)比.限于篇幅限制，圖8給出了部分匹配結(jié)果，其他數(shù)據(jù)集也得到了相似的結(jié)果.圖8可以看出，相對(duì)于單支撐域FCSCD描述符，MFCSCD（2）有了很大的性能提高，且高于4個(gè)支撐域的MRRID（4）描述符.

圖7　各種聯(lián)合情況下FCSCD描述符的匹配性能對(duì)比Fig.7　Matching performance comparisons of FCSCD under different combination situations

2.4FCSCD描述符與其他局部描述符的匹配性能對(duì)比

最后，本文把FCSCD描述符與SIFT，LIOP，MRRID，CS?LBP，EOD和OSID描述符進(jìn)行了性能對(duì)比.SIFT是目前最流行的局部描述符，LIOP，MRRID，CS-LBP，EOD和OSID是最近提出的并且和本文相關(guān)的局部描述符.LIOP和MRRID都采用強(qiáng)度序匯聚局部特征，具有旋轉(zhuǎn)不變性.LIOP匯聚局部強(qiáng)度序模式，MRRID匯聚LBP特征.CSLBP采用非旋轉(zhuǎn)不變空間分割方法匯聚LBP特征. OSID采用強(qiáng)度序和非旋轉(zhuǎn)不變空間分割方法，不匯聚局部特征，是強(qiáng)度序和空間位置的二維分布. SIFT，CS-LBP，EOD和OSID都需要估計(jì)圖像塊的主方向達(dá)到旋轉(zhuǎn)不變性.其他描述符都是單支撐域描述符，所以為了公平評(píng)價(jià)，MRRID和FCSCD也采用單支撐域形式.圖9給出了牛津大學(xué)數(shù)據(jù)集中每個(gè)圖像序列的第2幅、第4幅和基準(zhǔn)圖像之間的描述符匹配結(jié)果.第2幅代表較小的圖像變化，第4幅代表較大的圖像變化［21］.相對(duì)于評(píng)價(jià)的其他描述符，F(xiàn)CSCD描述符的總體性能最優(yōu)越.FCSCD描述符在圖像模糊、視角變化、光照變化、JEPG壓縮、旋轉(zhuǎn)和尺度變化這幾種圖像幾何和光度變化下都表現(xiàn)出了超越其他描述符的優(yōu)越性能，這主要?dú)w功于本文的聯(lián)合編碼方法.聯(lián)合編碼方法（特征聯(lián)合和旋轉(zhuǎn)不變空間分割聯(lián)合）在FCSCD描述符直方圖中編碼了多種類(lèi)型的信息.為了更直觀地展示局部描述符的匹配性能，圖10給出了各描述符的圖像匹配圖.和查全率-查錯(cuò)率曲線(xiàn)一樣，匹配策略也采用基于距離閥值的匹配.限于篇幅限制，圖10僅給出了Graffiti 1～4和Wall 1～4的匹配結(jié)果，其他數(shù)據(jù)集也得到相似的結(jié)果.圖10中，白線(xiàn)表示正確匹配，黑線(xiàn)表示錯(cuò)誤匹配.從圖10可以看出，F(xiàn)CSCD描述符的匹配性能優(yōu)于其他描述符.

圖8　多支撐域條件下FCSCD描述符的匹配性能對(duì)比Fig.8　Matching performance comparisons of FCSCD under multiple support regions

圖9　FCSCD描述符和其他主流描述符的匹配性能對(duì)比Fig.9　Matching performance comparisons of FCSCD and other popular descriptors

圖10　FCSCD描述符和其他主流描述符的圖像匹配圖Fig.10　Image matching results of FCSCD and other popular descriptors

最后，對(duì)描述符的計(jì)算時(shí)間進(jìn)行了評(píng)價(jià).表2給出了本文描述符和其他7個(gè)描述符的計(jì)算時(shí)間，算法在主頻為2.2GHz的Intel Core 2 Duo T6600筆記本電腦上運(yùn)行.從表2可以看出：在所有單支撐域描述符中，CS-LBP的計(jì)算時(shí)間最短，EOD的計(jì)算時(shí)間最長(zhǎng)，F(xiàn)CSCD和MRRID的計(jì)算時(shí)間相當(dāng)，所有單支撐越描述符的計(jì)算時(shí)間都相差不大.計(jì)算時(shí)間最長(zhǎng)的多支撐域描述符MRRID（4）是單支撐域MRRID的四倍.

表2　描述符運(yùn)行時(shí)間對(duì)比Table 2　Comparison of run-time of descriptors

3　總結(jié)

本文提出了一種新的基于特征聯(lián)合和空間分割聯(lián)合的局部圖像描述符.提出的聯(lián)合特征WLBP由局部二進(jìn)制模式和韋伯二進(jìn)制差分激勵(lì)聯(lián)合得到.提出的聯(lián)合空間分割方法由強(qiáng)度序空間分割和圓環(huán)空間分割聯(lián)合得到.由這兩種聯(lián)合方法得到的FCSCD描述符編碼了多種類(lèi)型的信息在直方圖中.標(biāo)準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果驗(yàn)證了本文方法的有效性和優(yōu)越性，F(xiàn)CSCD描述符的匹配性能優(yōu)于目前主流的局部圖像描述符.

References

1 Dong Z L，Zhang G F，Jia J Y，Bao H J.Efficient keyframebased real-time camera tracking.Computer Vision and Image Understanding，2014，118:97?110

2 Cummins M，Newman P.Appearance-only SLAM at largescale with FAB-MAP 2.0.The International Journal of Robotics Research，2011，30（9）:1100?1123

3 Gui Zhen-Wen，Wu Ting，Peng Xin.A novel recognition approach for mobile image fusing inertial sensors.Acta Automatica Sinica，2015，41（8）:1394?1404（桂振文，吳侹，彭欣.一種融合多傳感器信息的移動(dòng)圖像識(shí)別方法.自動(dòng)化學(xué)報(bào)，2015，41（8）:1394?1404）

4 Zhou W G，Li H Q，Hong R C，Lu Y J，Tian Q.BSIFT: toward data-independent codebook for large scale image search.IEEE Transactions on Image Processing，2015，24（3）:967?979

5 Liu Pei-Na，Liu Guo-Jun，Guo Mao-Zu，Liu Yang，Li Pan.Image classification based on non-negative localityconstrained linear coding.Acta Automatica Sinica，2015，41（7）:1235?1243（劉培娜，劉國(guó)軍，郭茂祖，劉揚(yáng)，李盼.非負(fù)局部約束線(xiàn)性編碼圖像分類(lèi)算法.自動(dòng)化學(xué)報(bào)，2015，41（7）:1235?1243）

6 Zhu Ji-Hua，Zhou Yi，Wang Xiao-Chun，Han Wen-Xin，Ma Liang.Grid map merging approach based on image registration.Acta Automatica Sinica，2015，41（2）:285?294（祝繼華，周頤，王曉春，邗汶鋅，馬亮.基于圖像配準(zhǔn)的柵格地圖拼接方法.自動(dòng)化學(xué)報(bào)，2015，41（2）:285?294）

7 Lowe D G.Distinctive image features from scale-invariant keypoints.International Journal of Computer Vision，2004，60（2）:91?110

8 Ke Y，Sukthankar R.PCA-SIFT:a more distinctive representation for local image descriptors.In:Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Washington，USA:IEEE，2004.II-506?II-513

9 Yan Xue-Jun，Zhao Chun-Xia，Yuan Xia.2DPCA-SIFT:an efficient local feature descriptor.Acta Automatica Sinica，2014，40（4）:675?682（顏雪軍，趙春霞，袁夏.2DPCA-SIFT:一種有效的局部特征描述方法.自動(dòng)化學(xué)報(bào)，2014，40（4）:675?682）

10 Mikolajczyk K，Schmid C.A performance evaluation of local descriptors.IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27（10）:1615?1630

11 Bay H，Ess A，Tuytelaars T，van Gool L.Speeded-up robust features（SURF）.Computer Vision and Image Understanding，2008，110（3）:346?359

12 Tola E，Lepetit V，F(xiàn)ua P.DAISY:an efficient dense descriptor applied to wide-baseline stereo.IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32（5）: 815?830

13 Brown M，Gang H，Winder S.Discriminative learning of local image descriptors.IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33（1）:43?57

14 Simonyan K，Vedaldi A，Zisserman A.Learning local feature descriptors using convex optimisation.IEEE Transactions on Pattern Analysis and Machine Intelligence，2014，36（8）: 1573?1585

15 Heikkil¨a M，Pietik¨ainen M，Schmid C.Description of interest regions with local binary patterns.Pattern Recognition，2009，42（3）:425?436

16 Tang F，Lim S H，Change N L，Tao H.A novel feature descriptor invariant to complex brightness changes.In:Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition.Miami，F(xiàn)L:IEEE，2009.2631?2638

17 Chen J，Shan S G，He C，Zhao G Y，Pietikainen M，Chen X L，Gao W.WLD:a robust local image descriptor.IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32（9）:1705?1720

18 Kim B，Yoo H，Sohn K.Exact order based feature descriptor for illumination robust image matching.Pattern Recognition，2013，46（12）:3268?3278

19 Lazebnik S，Schmid C，Ponce J.A sparse texture representation using local affine regions.IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27（8）:1265?1278

20 Fan B，Wu F C，Hu Z Y.Rotationally invariant descriptors using intensity order pooling.IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34（10）:2031?2045

21 Wang Z H，F(xiàn)an B，Wu F C.Local intensity order pattern for feature description.In:Proceedings of the 2011 IEEE Conference on Computer Vision.Barcelona，Spain:IEEE，2011.603?610

22 Mikolajczyk K，Tuytelaars T，Schmid C，Zisserman A，Matas J，Schaffalitzky F，Kadir T，van Gool L.A comparison of affine region detectors.International Journal of Computer Vision，2005，65（1?2）:43?72

許允喜湖州師范學(xué)院信息工程學(xué)院講師.主要研究方向?yàn)橛?jì)算機(jī)視覺(jué)，圖像處理和機(jī)器學(xué)習(xí).本文通信作者.E-mail:xuyunxi@hutc.zj.cn

（XU Yun-XiLecturer at the School of Information Engineering，Huzhou University.His research interest covers computer vision，image processing，and machine learning.Corresponding author of this paper.）

陳方湖州師范學(xué)院信息工程學(xué)院講師.主要研究方向?yàn)橛?jì)算機(jī)視覺(jué)和圖像處理.E-mail:cf@hutc.zj.cn

（CHENFangLectureratthe School of Information Engineering，Huzhou University.Her research interest covers computer vision and image processing.）

Local Image Descriptor of Feature Combination and Rotation Invariant Space Division Combination

XU Yun-Xi1CHEN Fang1

This paper proposes a novel local image descriptor called FCSCD（feature combination and rotation invariant space division combination descriptor）.A new local feature，WLBP（Weber local binary pattern），is proposed which combines Weber binary differential excitation and local binary pattern.A new rotation-invariant space division for feature pooling is also proposed which combines intensity order space division and annular space division.WLBP is computed in a rotation invariant local coordinate system.Intensity order and annular space division are inherently rotation invariant. So，F(xiàn)CSCD obtains rotation invariance without computing principle orientation of the image patch.Compared with other existing descriptors，this combination method makes FCSCD encode various types of information into a histogram，and so it is more distinctive and robust.Experimental results on image matching demonstrate the effectiveness and superiorities of the proposed descriptor compared to the state-of-the-art descriptors including SIFT，CS-LBP，OSID，LIOP，EOD，and MRRID.

Local image descriptor，SIFT，image matching，rotation invariance

Manuscript April 10，2015；accepted December 11，2015

10.16383/j.aas.2016.c150206

Xu Yun-Xi，Chen Fang.Local image descriptor of feature combination and rotation invariant space division combination.Acta Automatica Sinica，2016，42（4）:617?630

2015-04-10錄用日期2015-12-11

國(guó)家自然科學(xué)基金（61370173），湖州市重點(diǎn)科技創(chuàng)新團(tuán)隊(duì)（2012KC 04）資助

Supported by National Natural Science Foundation of China（61370173）and Key Science and Technology Innovation Team of Huzhou City（2012KC04）

本文責(zé)任編委黃慶明

Recommended by Associate Editor HUANG Qing-Ming

1.湖州師范學(xué)院信息工程學(xué)院湖州313000

1.School of Information Engineering，Huzhou University，Huzhou 313000