孫世強(qiáng) 左海維 趙露婷
摘要:非極大值抑制(Non-Maximum Suppression,NMS)算法作為Faster R-CNN(region-based convolutional neural net-work,R-CNN)的后置處理算法,從物理空間判定檢測(cè)框的重疊比例,忽略內(nèi)在特征聯(lián)系,造成漏檢和誤檢問題。因此提出聯(lián)合特征相似性度量和交并比的檢測(cè)框優(yōu)選方法(Optimized box Based on lou and Feature similarity,OBIF)。該方法首先計(jì)算兩個(gè)檢測(cè)框的交并比(Intersection over Union,lou),判斷檢測(cè)框之間的重疊比例;然后計(jì)算閔式距離,表示重疊的檢測(cè)框之間的特征相近性,進(jìn)行深層次判斷;最后聯(lián)合閔氏距離和交并比實(shí)現(xiàn)檢測(cè)框優(yōu)選。當(dāng)運(yùn)行效率一致和時(shí)間復(fù)雜度相同時(shí),將Faster R-CNN+OBIF應(yīng)用到PASCAL VOC 2007數(shù)據(jù)集和結(jié)直腸腺癌數(shù)據(jù)集,比較傳統(tǒng)NMS算法,平均識(shí)別準(zhǔn)確率分別提高了1.4%和1.1%,方法檢測(cè)精度得到顯著的提升。
關(guān)鍵詞:目標(biāo)檢測(cè);非極大值抑制算法;FasterR-CNN;交并比;特征相似性度量
中圖分類號(hào):TP391.41 文獻(xiàn)標(biāo)識(shí)碼:A
文章編號(hào):1009-3044(2019)29-0190-04
根據(jù)2018年的世界癌癥報(bào)告,癌癥已成為主要的公共健康問題和首要死亡原因。早期癌癥可以臨床治愈,治愈率達(dá)80%,而對(duì)于中晚期癌癥,通過正規(guī)治療,可以延長生命期,但治愈率較低,不足20%。與中晚期癌癥患者相比,早期病人的長期生存率和生活質(zhì)量都有顯著提高,治療費(fèi)用也大幅下降,所以早期診斷和治療意義重大。
在臨床上,病理學(xué)檢查往往被視為癌癥診斷的金標(biāo)準(zhǔn)。其中,病理圖像是對(duì)患者病變部位的組織進(jìn)行切片,在顯微鏡下進(jìn)行放大成像得到的圖像。能夠直接反映出組織內(nèi)部所發(fā)生的病變,是醫(yī)生進(jìn)行癌癥診斷的重要依據(jù),甚至是最終依據(jù)。由于病理學(xué)人才的缺失、病患人數(shù)的增加、對(duì)癌癥準(zhǔn)確診斷率和診斷時(shí)間的更高要求,目前將深度學(xué)習(xí)技術(shù)嘲融入計(jì)算機(jī)輔助系統(tǒng),承擔(dān)病理圖像前期預(yù)分析工作,將病理圖像中存在問題的細(xì)胞核進(jìn)行框選,最終由醫(yī)生進(jìn)展針對(duì)性診斷,可以較大程度縮短早期病理診斷時(shí)間,減少和舒緩病理醫(yī)生的工作量和精力,提高癌癥診斷效率。
本文實(shí)驗(yàn)采用Faster R-CNN(region-based eonvolutionalneural network,R-CNN)框架應(yīng)用至結(jié)直腸腺癌數(shù)據(jù)集,癌癥病理圖像特征圖經(jīng)RPN網(wǎng)絡(luò)嗍(Region Proposal Network,RPN)后會(huì)生成大量的檢測(cè)框。NMS (Non-Maximum Suppression,NMs)算法對(duì)檢測(cè)框集合進(jìn)行合理篩選,合并同類別檢測(cè)框,以達(dá)到問題細(xì)胞核分類和檢測(cè)框回歸的目的。由于NMS算法僅將交并比(Intersection over Union,IoU)作為評(píng)價(jià)指標(biāo),容易造成目標(biāo)的漏檢和誤檢。此外,NMS算法忽略各檢測(cè)框特征圖的內(nèi)在特征聯(lián)系,不具有特征敏感性。所以本文提出聯(lián)合特征相似性度量和交并比的檢測(cè)框篩選方法(optimized box Based on louand Feature similarity,OBIF),通過設(shè)置合理OBIF指標(biāo)閾值,完成病理圖像中問題細(xì)胞核的檢測(cè)工作,輔助醫(yī)生完成癌癥診斷。
1相關(guān)知識(shí)
1.1Faster R-CNN
Faster R-CNN是目標(biāo)檢測(cè)領(lǐng)域經(jīng)典算法,它將feature既-traction、proposal提取、bounding box regression、classification整合在一個(gè)網(wǎng)絡(luò)中。如圖1所示,F(xiàn)asterR-CNN分為4個(gè)主要內(nèi)容:
(1)Faster R-CNN采用一組基礎(chǔ)的conv+relu+pooling層提取圖像的特征圖。該特征圖被共享給RPN和全連接層。
(2)RPN網(wǎng)絡(luò)用于生成region proposals。RPN實(shí)際分為兩條操作線,一條通過softmax分類anchor屬于foreground或者background,另一條計(jì)算對(duì)于anchor的框回歸偏移量,修正an-chor獲得精確的proposals。
(3)Roi Pooling層收集輸入的feature maps和proposals,綜合后提取proposalfeaturemaps,送入全連接層判定目標(biāo)類別。
(4)利用proposalfeaturemaps計(jì)算proposal的類別,同時(shí)再次框回歸獲得檢測(cè)框最終的精確位置。
其中,特征圖經(jīng)過RPN網(wǎng)絡(luò)后產(chǎn)生約20K個(gè)anchor,但如此數(shù)量的檢測(cè)框不可能全部送入Fast R-CNN。一方面這20K個(gè)anchor中存在大量重疊的檢測(cè)框,另一方面會(huì)產(chǎn)生巨大的計(jì)算開銷,造成檢測(cè)速度下降。因此在RPN網(wǎng)絡(luò)生成檢測(cè)框后要采用一定的機(jī)制來進(jìn)行優(yōu)化篩選,在Faster R-CNN中,目前采用的是非極大值抑制的方式,具體如下:
(1)檢測(cè)框集合P,檢測(cè)框置信度集合c和保留檢測(cè)框集合K;
(21將集合c從大到小排列,將置信度最大所對(duì)應(yīng)的檢測(cè)框移至集合K中,并在集合P中將該檢測(cè)框刪除;
(3)計(jì)算集合P剩余檢測(cè)框與該檢測(cè)框的IoU值,刪除大于設(shè)定閾值T的檢測(cè)框;
(4)重復(fù)(2)和(3)的操作步驟,直至集合P為空。
1.2閔可夫斯基距離
在智能分類算法中,為區(qū)分樣本之間的差異性,通常需要做樣本特征的相似性分析,并以“距離”作為評(píng)價(jià)指標(biāo)。根據(jù)數(shù)據(jù)特性的不同,可以采用不同的相似性度量方法,本文選用的是閔可夫斯基距離。
閔式距離是衡量數(shù)值點(diǎn)之間距離的一種非常常見的方法,兩個(gè)n維向量