李 燁，鄒 銘

(上海理工大學(xué) 光電信息與計算機工程學(xué)院，上海 200093)

1 引 言

目標檢測作為計算機視覺領(lǐng)域的研究熱點，其研究主要分為兩個方向：1)以自動駕駛、人臉檢測等應(yīng)用為代表的“高速度”方向，該應(yīng)用方向?qū)τ跈z測速度通常有極高的要求，但可犧牲一些精度；2)以自動圖像標注、目標提取等應(yīng)用為代表的“高精度”方向，此類應(yīng)用方向通?？扇萑谈臋z測速度，但追求極致的邊界框定位能力.特別是在自動圖像標注的應(yīng)用領(lǐng)域內(nèi)，檢測器定位效果越好節(jié)省的人力成本就越大，可創(chuàng)造巨大的經(jīng)濟效益.

目前主流的檢測網(wǎng)絡(luò)可以分為單階段和兩階段兩大類.單階段檢測算法以SSD[1]、YOLOv3[2]、RetinaNet[3]等為代表.這些方法沒有提取感興趣區(qū)域(Region Of Interest，ROI)的過程，而是直接在圖片上預(yù)測目標區(qū)域，相比兩階段算法具有更快的計算速度，但在檢測精度和定位性能上略差.此外，一階段的anchor free方法在公開數(shù)據(jù)集上也取得了較好的成果[4-7].兩階段檢測算法以R-CNN[8]、Fast R-CNN[9]以及Faster R-CNN[10]為代表.目前的兩階段算法一般以Faster R-CNN為基礎(chǔ)框架，通過區(qū)域建議網(wǎng)絡(luò)(Region Proposal Network，RPN)在圖片上提出建議區(qū)域，再將建議區(qū)域池化后送入檢測頭對其進行定位精修和分類.兩階段算法的定位準確性更好，但檢測速度較慢.近期提出的Cascade R-CNN[11]、Libra R-CNN[12]、Dynamic R-CNN[13]等兩階段算法在定位、樣本平衡等方面做出了改進，提升了檢測器的性能.除網(wǎng)絡(luò)結(jié)構(gòu)之外，近年來目標檢測算法的研究重點在特征表達的增強上，混合特征圖、特征金字塔以及特征注意力單元等方法都取得了較好的成果[14].

目標檢測算法的檢測頭含有定位子網(wǎng)絡(luò)和分類子網(wǎng)絡(luò).定位子網(wǎng)絡(luò)預(yù)測每個框的位置坐標，而分類子網(wǎng)絡(luò)預(yù)測每個檢測框的類別，并給出一個分類置信度.在標準的非極大值抑制(Non Maximum Suppression，NMS)[15]方法中通?；诜诸愔眯哦葘χ貜?fù)檢測框進行篩選，但由于分類置信度和定位準確性的之間沒有強相關(guān)性，基于分類置信度的篩選會對檢測器的定位準確性造成很大的影響[16].如圖 1所示，雖然box2的定位性能優(yōu)于box1，但由于box2的分類置信度稍低，因此在NMS過程中box2反而被box1所抑制，導(dǎo)致定位性能差的檢測框被輸出，從而影響檢測器的定位性能.

圖1 檢測框的分類置信度與定位性能情況Fig.1 Classification score and localization performance of bounding boxes

為解決此問題，IoU-Net[16]使用邊界框的定位置信度指導(dǎo)重復(fù)邊界框選擇，以此提升檢測器的定位性能.受該方法啟發(fā)，提出一種基于定位置信度預(yù)測的兩階段目標檢測方法Loc-aware R-CNN(Location-aware R-CNN).在實際交通場景數(shù)據(jù)集上的對比實驗表明，新方法在定位性能方面取得了較大的提升.

2 相關(guān)工作

目前關(guān)于檢測器定位性能的研究主要集中于以下3個方面：

1)改進檢測框架，通過迭代回歸、調(diào)整檢測器閾值等方法提升檢測器的定位性能.Cascade R-CNN設(shè)計了級聯(lián)結(jié)構(gòu)，通過逐級提升檢測器的正負樣本分辨閾值，解決了直接提升檢測器的正負樣本分辨閾值造成的訓(xùn)練過程中正樣本不足的問題，提升了定位能力.Dynamic R-CNN與Cascade R-CNN的出發(fā)點類似，但沒有使用級聯(lián)結(jié)構(gòu)，而是在訓(xùn)練時動態(tài)調(diào)整分配正負樣本的閾值，避免了訓(xùn)練初期直接提升閾值造成正樣本不足、訓(xùn)練效果差的問題.

2)采用更合適的定位損失函數(shù).文獻[17]定義了更準確的IoU計算指標GIoU(Generalized Intersection over Union)，并將GIoU Loss作為定位分支的損失函數(shù)來指導(dǎo)訓(xùn)練.文獻[18]設(shè)計了DIoU和CIoU，在NMS中使用DIoU替代IoU來進行邊界框篩選，并提出了DIoU Loss和CIoU Loss，進一步提升檢測器的定位性能.Dynamic R-CNN設(shè)計了動態(tài)損失函數(shù)，為smoothL1損失函數(shù)添加了動態(tài)參數(shù).在訓(xùn)練過程中使得損失函數(shù)自適應(yīng)于樣本分布的改變，保證高質(zhì)量樣本對模型訓(xùn)練的貢獻，提高模型對于高質(zhì)量樣本的學(xué)習(xí)能力.

3)引入定位置信度.主要分為兩種方法，一種是將檢測框坐標建模為某種數(shù)據(jù)分布，據(jù)此計算檢測框的定位置信度.KL Loss[19]和Gaussian YOLOv3[20]都在算法中引入了高斯分布，例如Gaussian YOLOv3將檢測框的中心坐標x值和y值及其寬度w和高度h4個變量均建模為高斯分布，用方差描述預(yù)測坐標的不確定性，并在邊界框篩選判據(jù)中結(jié)合了基于方差得到的定位不確定度.文獻[21]將Gaussian YOLOv3方法用于表面缺陷檢測，驗證了Gaussian YOLOv3相比其它算法在定位精度上的優(yōu)勢.此外，Softer NMS[22]在KL Loss方法的基礎(chǔ)上重新設(shè)計了NMS算法，利用預(yù)測的方差進行重復(fù)檢測框篩選.另一種方法是直接使用IoU作為定位置信度指標.IoU-Net基于Faster R-CNN設(shè)計了獨立的IoU預(yù)測分支，預(yù)測每個邊界框的IoU作為定位置信度，并提出了IoU-guided NMS后處理方法對重復(fù)邊界框進行篩選.IoU-aware RetinaNet[23]在RetinaNet的回歸分支中設(shè)計了IoU預(yù)測分支，并設(shè)計了全新的定位置信度使用方法.

3 基于定位置信度預(yù)測的目標檢測方法

Loc-aware R-CNN與常見以IoU作為定位置信度的方法不同之處在于：

1)使用GIoU替代IoU，并設(shè)計一種新的基于GIoU非線性變換的定位置信度指標，以增強邊界框選擇時的魯棒性.

2)直接在檢測頭后輸出定位置信度，而非增加獨立的定位置信度預(yù)測分支.

3)提出Score-guided NMS方法.對定位置信度與分類置信度采用更合理的融合方式，將融合的結(jié)果用于重復(fù)檢測框篩選.

3.1 定位置信度指標

對于前述引入定位置信度的兩種方法，IoU相比分布的方差能更直觀地體現(xiàn)定位性能的好壞，但是直接使用IoU作為定位置信度無法精確地反映檢測框與真值框(Ground Truth，GT)的重疊情況[17].因此引入GIoU作為檢測框的定位性能衡量指標，GIoU定義為:

(1)

其中，B為檢測框，G為真值框，C為可以將B和G包含在內(nèi)的最小封閉區(qū)域.相比IoU，GIoU考慮到了兩個邊界框之間的非重疊區(qū)域，能夠反映出兩者的重疊方式，從而更好地體現(xiàn)檢測框之間的定位性能差距.

不過，重復(fù)檢測框之間的GIoU值差異通常比較小，若直接將GIoU作為定位置信度，在NMS中與分類置信度進行融合時，融合結(jié)果更易受到后者影響，導(dǎo)致定位置信度對于邊界框選擇的指導(dǎo)作用較弱，因而有必要放大GIoU差值.另一方面，較高的GIoU值通常反映更高的定位準確度，而低GIoU值的檢測框價值不高.因此，設(shè)計非線性變換對GIoU進行轉(zhuǎn)換，得到如下新的定位置信度指標:

(2)

其中，ThrGIoU為進行變換的GIoU閾值，小于ThrGIoU的樣本定位置信度置為0；γ參數(shù)用于控制曲線的彎曲程度.圖2示意了不同γ值的定位置信度變換曲線.

圖2 定位置信度映射Fig.2 Localization confidence mapping

非線性變換使得低GIoU的部分更為平緩，而高GIoU的部分更為陡峭，從而抑制低GIoU樣本之間的定位置信度差異，并放大高GIoU樣本之間的定位置信度差異，有利于對重復(fù)檢測框的篩選.這種非線性變換同樣可應(yīng)用于IoU或其它類似的指標.

3.2 帶定位置信度預(yù)測分支的檢測頭

在IoU-Net中，分類分支與回歸分支共享兩個全連接層(Full Connection，F(xiàn)C)，而定位置信度分支另含兩個FC，不同分支的FC需要獨立訓(xùn)練.但顯然定位置信度信息有助于提高BBox回歸分支中檢測框的定位準確度，因此設(shè)計如圖 3所示模型，將定位置信度分支放入檢測頭中，3個分支共享FC.定位置信度分支參與訓(xùn)練時會使得FC更好的學(xué)習(xí)如何提取定位特征，提升定位檢測框的定位準確性.同時，這一設(shè)計也減少了模型的計算量.

圖3 帶有定位置信度預(yù)測分支的檢測頭Fig.3 Detection head with a localization confidence prediction branch

為了對分類分支、邊界框回歸分支和定位置信度預(yù)測分支進行聯(lián)合訓(xùn)練，將3個分支的損失加權(quán)求和作為檢測器的總損失.

Ltotal=Lcls+λLreg+δLloc

(3)

其中λ和δ參數(shù)分別用于調(diào)整邊界框回歸分支和定位置信度分支損失的權(quán)重.分類分支和邊界框回歸分支的損失函數(shù)與Faster R-CNN相同，分別為交叉熵損失和smoothL1損失.

(4)

(5)

(6)

3.3 Score-Guided NMS

NMS的實現(xiàn)方法對算法的定位能力有很大的影響.NMS的目標是通過迭代，保留準確的檢測框，而抑制重合率大且冗余的.例如在IoU-Net中，IoU-Guided NMS以IoU作為定位置信度，選擇定位置信度最高的檢測框，采用置信度聚類(confidence clustering)的方法更新其分類置信度，然后刪除冗余檢測框，最終輸出各輪次定位置信度最高且分類置信度得以更新的檢測框.IoU-Guided NMS的問題在于，IoU并不能準確反映檢測框的定位性能，而且受遮擋等環(huán)境因素影響大，僅僅依據(jù)定位置信度排序的可靠性較差.文獻[23]將分類置信度和定位置信度進行融合，提高了檢測框選擇的魯棒性，但仍然采用IoU作為定位置信度.

鑒于此，提出一種基于分類置信度和定位置信度融合分數(shù)的NMS方法(Score-guided NMS)，偽代碼如算法1所示.同文獻[23]，融合分數(shù)定義為分類置信度與定位置信度指數(shù)加權(quán)的乘積:

(7)

其中Scoredet為融合分數(shù)，cls_confidencei和loc_confidencei分別為第i個檢測框的分類置信度與定位置信度，參數(shù)α用于控制分類置信度和定位置信度的融合權(quán)重.不同之處在于這里的定位置信度采用式(2)定義的loc_confidence (GIoU)而非IoU，從而改善IoU作為定位置信度不夠準確的問題.Score-guided NMS采用置信度聚類的方法對分類置信度進行更新，即對于匹配同一GT的一組檢測框，以這組檢測框分類置信度最大值作為該檢測框的分類置信度.此外，Score-Guided NMS在重復(fù)檢測框選擇和計算檢測框的最終分數(shù)過程中使用不同的組合權(quán)重，前者定位置信度權(quán)重更大，以選出定位性能更好的檢測框，而后者分類置信度權(quán)重更大，以利用分類置信度計算檢測框的最終分數(shù).在后續(xù)使用環(huán)節(jié)中，通常會設(shè)定一個閾值用于剔除誤檢框.在低于分數(shù)閾值的檢測框中，如果檢測框定位置信度很高，即使分類置信度偏低，實際上也很有可能包含待檢測目標，因此將分類置信度與定位置信度相融合，有利于提高檢測框的最終分數(shù)，從而降低漏檢的可能；而如果分類置信度和定位置信度都很低，二者融合會拉低檢測框的最終分數(shù)，不會導(dǎo)致虛檢增多.

算法 1.Score-guided NMS

輸入：B={b1，…，bn}，C={c1，…，cn}，L={l1，…，ln}，σNMS，α，β

B為一組檢測框集合，C和L分別為檢測框?qū)?yīng)的分類置信度和定位置信度集合，σNMS為NMS閾值，α為排序階段置信度融合的權(quán)重，β為計算最終邊界框分數(shù)時置信度融合的權(quán)重.

輸出：帶分數(shù)的檢測框集合D

1.D←?

3.whileB≠ ?do

4.bm←argmaxS(bj)

5.B←B{bm}

6.forbj∈Bdo

7.ifIoU(bm，bj)>σNMSthen

8.c←max(C(bm),C(bj))

9.B←B{bj}

10.endif

11.endfor

12.s←cβ·L(bm)(1-β)

13.D←D∪{}

14.endwhile

15.returnD

4 實驗與分析

實驗環(huán)境為Ubuntu v18.04操作系統(tǒng)，GPU為NVIDIA TESLA V100 32GB，CPU為Intel Xeon Gold 6140.深度學(xué)習(xí)框架采用PyTorch.實驗數(shù)據(jù)為手工標注的交通場景人車目標數(shù)據(jù)集，圖像截取自自采的交通道路視頻，包含城市道路、高速公路、郊外道路等環(huán)境和晴天、陰天、雨天等多種天氣場景，目標類別包含汽車、卡車、公交車、自行車、摩托車、行人、騎行者等多種常見的交通參與者.數(shù)據(jù)集共有40828張圖片，包含80多萬個目標，其中訓(xùn)練集36351張，測試集4527張.

實驗中設(shè)定用于控制非線性變換的參數(shù)γ為1.7；損失函數(shù)權(quán)重參數(shù)λ和δ分別為1和2；Score-Guided NMS中融合分數(shù)的權(quán)重α和β分別為0.3和0.7.共計訓(xùn)練35個epoch，采用Adam優(yōu)化器進行優(yōu)化，衰減系數(shù)為0.0005，初始學(xué)習(xí)率設(shè)置為0.002，在第12和第20個epoch分別衰減為0.0001和0.00005.訓(xùn)練的batch size為16，輸入分辨率為1024×512.對比實驗使用平均準確率(Average Precision，AP)作為對比指標，并且主要關(guān)注AP85、AP95的提升情況來體現(xiàn)方法對于算法定位性能的提升.

4.1 定位置信度分支對定位性能的影響

在檢測頭中添加定位置信度分支將影響共享全連接層的訓(xùn)練，從而影響到回歸分支的定位性能.表 1給出了相關(guān)實驗結(jié)果，其中Loc-aware R-CNN (IoU)和Loc-aware R-CNN (GIoU)表示在標準Faster R-CNN的基礎(chǔ)上，分別包含了以IoU和GIoU作為定位置信度的分支.為保證實驗結(jié)果僅受到網(wǎng)絡(luò)結(jié)構(gòu)影響，Loc-aware R-CNN在測試時未使用定位置信度分支輸出的信息，同F(xiàn)aster R-CNN一樣也采用標準NMS進行后處理.由實驗結(jié)果可見，加入定位置信度分支后，Loc-aware R-CNN (IoU)和Loc-aware R-CNN (GIoU)的AP分別有0.3%和0.4%的提升，而AP80和AP85則有0.5%～0.7%的提升，這表明增加定位置信度分支對于邊界框回歸分支的定位能力有所改善.值得注意的是，使用IoU和GIoU作為定位置信度都有類似的效果，說明定位置信度分支對共享全連接層的影響并非偶然結(jié)果.

表1 定位置信度分支對定位性能的影響Table 1 Influence of localization confidence branch on localization performance

4.2 定位置信度指標的有效性

為了驗證所提出定位置信度指標的有效性，基于5種定位置信度指標分別訓(xùn)練Loc-aware R-CNN做對比實驗.包括IoU、DIoU、GIoU以及基于IoU和GIoU經(jīng)式(2)非線性變換得到的loc_confidence (IoU)和loc_confidence (GIoU).各模型均采用Score-Guided NMS進行后處理，實驗結(jié)果如表2所示.從表中分析可以得出，在前三者中，IoU和DIoU表現(xiàn)相近，而基于GIoU的定位效果最佳，這說明GIoU能更精確地描述檢測框與GT的相交程度，更適合作為定位置信度.loc_confidence (IoU)和loc_confidence (GIoU)相比于GIoU其AP進一步有0.5%的提升，這是由于loc_confidence非線性變換增大了高GIoU檢測框之間的定位置信度差異，更利于后續(xù)NMS篩選檢測框.

表2 不同定位置信度指標效果對比Table 2 Comparison of the effects of different localization confidence indicators

4.3 Score-guided NMS效果分析

對比研究不同的后處理方案，包括文獻[23]的NMS方法、IoU-Net的IoU-guided NMS以及本文的Score-guided NMS.如表 3所示，實驗結(jié)果表明，IoU-guided NMS除AP50稍高于文獻[23]方法，其余指標均更低，原因在于目標密集或受遮擋的場景下IoU本身的預(yù)測可靠性較差，僅是用IoU作為排序依據(jù)會受到目標密集、遮擋等因素的影響，降低定位的準確性.文獻[23]將分類置信度和IoU進行相乘融合，一定程度克服了這一問題.Score-guided NMS的各項指標均高于其它兩種方法，這是由于其在排序和計算最終檢測框分數(shù)時采用不同的權(quán)重，使得各環(huán)節(jié)能得到更合理的融合分數(shù).

表3 不同后處理算法效果對比Table 3 Comparison of the effects of different post-processing algorithms

4.4 消融實驗

表4給出了消融實驗的結(jié)果，其中：方法1為Faster R-CNN；方法2在Faster R-CNN基礎(chǔ)上加入定位分支、但僅采用常規(guī)NMS，以驗證定位置信度分支訓(xùn)練對模型定位性能的影響；方法3在方法2的基礎(chǔ)上將NMS換成了Score-guided NMS，以驗證Score-guided NMS方法的效果；方法4在方法3的基礎(chǔ)上換用loc_confidence (GIoU)作為定位置信度，分析加入定位置信度非線性變換對于模型性能的提升效果.

表4 消融實驗Table 4 Ablation experiments

由實驗結(jié)果可得，方法2相比Faster R-CNN，獲得了0.4%的AP提升，方法3相比于方法2獲得了1.5%的AP提升，而方法4相較于方法3，AP進一步提升了0.7%.從上述分析可知，加入定位置信度分支、對定位置信度做非線性變換以及采用Score-guided NMS，這3種機制都不同程度地提高了算法的定位性能.

4.5 與典型算法對比

表5給出了RetinaNet、Faster R-CNN和所提算法Loc-aware R-CNN使用不同骨干網(wǎng)絡(luò)(backbone)時在測試結(jié)果.可以看出，F(xiàn)aster R-CNN除了采用ResNet50和ResNet101作為骨干網(wǎng)絡(luò)時AP95值稍低于RetinaNet，其余情形下均更優(yōu)，而Loc-aware R-CNN則全面優(yōu)于Faster R-CNN，以ResNet101為骨干網(wǎng)絡(luò)為例，Loc-aware R-CNN的AP值提升了2.6%，APS、APM和APL也都有一定程度的提升，說明其對于不同尺度目標的定位能力均得到了加強.而且，Loc-aware R-CNN的性能提升在高定位要求指標上表現(xiàn)更為明顯，例如采用ResNet101骨干網(wǎng)絡(luò)時，AP50的提升為0.8%，而AP85和AP95則分別提升了4.3%和2.7%，表明模型的精確定位能力提升明顯.

表5 算法性能對比Table 5 Algorithms′ performance comparison

圖4給出了Loc-aware R-CNN與Faster R-CNN的檢測效果示例.容易看出，F(xiàn)aster R-CNN給出的檢測框貼合不夠緊密，例如圖4第1行的黑色越野車及第2行遠處的行人，而Loc-aware R-CNN給出了更好的定位效果.其次，Loc-aware R-CNN對于被遮擋目標的定位效果也有明顯提升，例如對于圖4第2行近處被部分遮擋的騎行者和自行車，自行車檢測框及騎行者和自行車的組合檢測框明顯更為準確.此外，從圖4第2行的對比可以看出，Loc-aware R-CNN檢出了Faster R-CNN漏檢的行人.這是由于行人類別受到不同類別目標的樣本數(shù)量不均衡以及光照、遮擋等條件的影響，分類置信度普遍偏低，易造成漏檢.但Score-guided NMS在計算最終檢測分數(shù)時融入了定位置信度信息，提高了可能含有目標的檢測框的分數(shù)，降低了漏檢的概率.

圖4 檢測效果Fig.4 Detection effect

5 結(jié) 語

提出了一種基于定位置信度預(yù)測的二階段目標檢測方法，為Faster R-CNN框架添加定位置信度預(yù)測分支，對分類、邊界框定位和定位置信度3個分支進行聯(lián)合訓(xùn)練，進而將定位置信度與分類置信度相融合，設(shè)計了基于融合分數(shù)的非極大值抑制后處理算法.此外，設(shè)計了一種新的基于GIoU非線性變換的定位置信度指標，增大高GIoU檢測框之間的定位置信度差異，以利于非極大值抑制過程中重復(fù)檢測框的篩選.所提方法有效提升了目標檢測的定位性能，特別是對于需要高定位性能的應(yīng)用場景具有很大的實際意義.下一步，定位置信度的準確預(yù)測值得研究，其很大程度上影響到NMS中對檢測框定位性能的判斷.