基于生成對抗網(wǎng)絡(luò)的乳腺癌病理圖像可疑區(qū)域標(biāo)記

劉海東，楊小渝，朱林忠

1. 中國科學(xué)院計算機(jī)網(wǎng)絡(luò)信息中心，北京 100190

2. 中國科學(xué)院大學(xué)計算機(jī)與控制學(xué)院，北京 100049

3. 北京大學(xué)腫瘤醫(yī)院，北京 100142

引言

當(dāng)前，乳腺癌成為女性人群中常見的一種癌癥疾病，嚴(yán)重的影響了女性的生活。乳腺癌的診斷首先通過 X 射線成像來進(jìn)行檢查，初步確定病灶的性質(zhì)，然后穿刺獲得該組織結(jié)構(gòu)，并將其染色制成樣本，得到組織切片。通過對組織進(jìn)行切片，然后由病理醫(yī)生在顯微鏡下通過觀察該切片診斷得出是否為乳腺癌。在臨床醫(yī)學(xué)中，病理圖像分析是重要的癌癥確診方法。針對乳腺癌病理診斷過程，諾丁漢分級系統(tǒng)提出，病理切片中所呈現(xiàn)的三種組織細(xì)胞形態(tài)學(xué)特征，包括腺小管的構(gòu)成，細(xì)胞核的多形態(tài)和核分裂象的數(shù)量是乳腺癌評估的關(guān)鍵指標(biāo)。這是診斷癌癥常用的比較準(zhǔn)確的方法?，F(xiàn)在越來越多的工作是將顯微鏡觀察后的結(jié)果轉(zhuǎn)變?yōu)閿?shù)字病理圖像，病理學(xué)家可以通過電腦來分析這些病理圖像，進(jìn)而得出診斷結(jié)果。

目前在臨床醫(yī)院，對于組織切片的常規(guī)分析仍然是一個艱苦的、漫長的過程，需要人工手動完成，而且需要具備長期經(jīng)驗的病理學(xué)家才能完成這個過程。由于染色劑濃度、成像模式以及在制作病理切片中人為操作的影響，嚴(yán)重的影響病理圖像的質(zhì)量。并且手動觀察，標(biāo)記產(chǎn)生的有標(biāo)記的乳腺癌病理圖像的數(shù)量有限，使得病理圖像分析成為當(dāng)前該領(lǐng)域的一大難題。

目前在醫(yī)療領(lǐng)域，給出詳細(xì)的病理圖像標(biāo)記是十分昂貴的，如何利用這些少量的有標(biāo)記 (僅標(biāo)記該病理圖像是否為乳腺癌) 的病理圖像數(shù)據(jù)來提高病理圖像識別的準(zhǔn)確率以及采用弱監(jiān)督學(xué)習(xí)的方式給出可疑區(qū)域是急需解決的問題。一旦這類任務(wù)得到解決，則會極大的提高病理專家診斷的速度，減少由于醫(yī)生疲勞而造成的錯誤診斷。

為此本論文提出了一種基于弱監(jiān)督學(xué)習(xí)的可疑區(qū)域標(biāo)記網(wǎng)絡(luò)。它是一種基于生成對抗網(wǎng)絡(luò) (Generative Adversarial Network, GAN) 的病理圖像特征提取和可疑區(qū)域標(biāo)記網(wǎng)絡(luò)。該網(wǎng)絡(luò)首先訓(xùn)練一個基于 GAN 的特征提取網(wǎng)絡(luò)，其中該特征提取網(wǎng)絡(luò)后接一個分類網(wǎng)絡(luò)，通過利用有標(biāo)記數(shù)據(jù) (僅標(biāo)記該病例圖像是否為乳腺癌) 來完成分類網(wǎng)絡(luò)的有監(jiān)督訓(xùn)練。然后融合提取到的特征，給出最終的病理圖像可疑區(qū)域標(biāo)記。實驗證明，該網(wǎng)絡(luò)提取到的病理圖像特征具有好的判別能力，經(jīng)臨床醫(yī)生評估，得到的可疑區(qū)域標(biāo)記結(jié)果初步符合病理學(xué)專家的直觀，說明使用我們的方法提取到的特征具有比較好的判別性。

其中需要指出的是，本文提出的基于弱監(jiān)督學(xué)習(xí)病理圖像可疑區(qū)域標(biāo)記方法，需要基于有標(biāo)記的病理圖像數(shù)據(jù)來訓(xùn)練分類網(wǎng)絡(luò)，只有保證該分類網(wǎng)絡(luò)的識別準(zhǔn)確率足夠高的情況下，才能保證該網(wǎng)絡(luò)中的特征提取模塊能夠提取到具有判別力的特征，通過對提取到的特征進(jìn)行融合，來給出病理圖像的可疑區(qū)域標(biāo)記結(jié)果。

1 相關(guān)工作

1.1 傳統(tǒng)病理圖像分類方法

傳統(tǒng)病理圖像分類方法的主要是乳腺癌病理專家通過經(jīng)驗手動設(shè)計特征提取方法，來完成病理圖像特征提取進(jìn)而識別出是否是乳腺癌。針對癌癥圖像自動診斷技術(shù)的研究已經(jīng)超過了 40 年[1]。但是由于醫(yī)療圖像的復(fù)雜性，癌癥圖像診斷仍然是一個巨大的挑戰(zhàn)。例如 Kowal 等人[2]針對細(xì)胞核分割，比較和測試了多種不同的算法，這些實驗均在 500 個圖像數(shù)據(jù)上進(jìn)行，數(shù)據(jù)包含兩個類別，一個是良性腫瘤，一個是惡性腫瘤，最終的分割準(zhǔn)確率達(dá)到 96% 到 100%。Filipczuk 等人[3]設(shè)計并實現(xiàn)了一個乳腺癌診斷系統(tǒng)，這個診斷系統(tǒng)針對細(xì)針活檢得到的細(xì)胞病理圖片進(jìn)行分類，來辨別是腫瘤的類型，該系統(tǒng)在 737 張圖像上進(jìn)行實驗，達(dá)到了 98% 的準(zhǔn)確率。與以上兩個工作相似，George 等人[4]也實現(xiàn)了一個系統(tǒng)，該系統(tǒng)是針對乳腺癌細(xì)針活檢得到的圖片進(jìn)行細(xì)胞核分割。使用多種不同的機(jī)器學(xué)習(xí)方法，例如神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)，在 92 張圖片中，達(dá)到的準(zhǔn)確率為 76% 到94%。Zhang 等人[5]提出了一種級聯(lián)的方法，在第一層級聯(lián)，作者希望解決簡單的問題，難的問題交由第二級聯(lián)來完成，在第二級聯(lián)使用了更加復(fù)雜的模式分類系統(tǒng)來完成。他們在以色列理工學(xué)院提供的 361 張圖像組成的數(shù)據(jù)集上，得到的 97% 的分類準(zhǔn)確率。同一個作者的另一個工作[6]，使用了集成分類器，在這個數(shù)據(jù)集上得到了 92% 的準(zhǔn)確率。

直到現(xiàn)在，大多數(shù)的工作是在乳腺癌病理圖像分析上進(jìn)行的，使用的都是非常小的數(shù)據(jù)集，而且在科學(xué)界也很難拿到這些數(shù)據(jù)。為了解決這種情況，Spanhol 等人[7]提供了包含 7909 張乳腺癌病理圖像數(shù)據(jù)集，在該研究中，作者評估了 6 種不同的紋理特征描述子和不同的分類器，進(jìn)行了一系列的實驗，準(zhǔn)確率從 80% 到 85%，識別的準(zhǔn)確率主要這取決于病理圖像的放大倍數(shù)。[7]中得出的結(jié)果表明紋理特征可以為乳腺癌病理圖像分類提供更好的特征表示。然而，現(xiàn)在許多機(jī)器學(xué)習(xí)方法的弱點在于強(qiáng)烈依賴于特征工程，LeCun 等人[8]認(rèn)為機(jī)器學(xué)習(xí)算法應(yīng)該更少的依賴于特征工程，算法可以從數(shù)據(jù)中自動對圖像中的模式進(jìn)行提取和組織?，F(xiàn)有深度學(xué)習(xí)方法主要基于卷積神經(jīng)網(wǎng)絡(luò)[18](CNN) 來進(jìn)行圖像的特征提取和分類。

1.2 基于深度卷積網(wǎng)絡(luò)的病理圖像分類方法

基于卷積神經(jīng)網(wǎng)絡(luò) (CNN) 的方法在圖像特征提取和分類任務(wù)上取得了很好的效果。CNN 由 LeCun等人[9]提出，使用該技術(shù)在多個不同的模式識別問題上[10-11]上取得了很好結(jié)果。CNN 在大量有標(biāo)記的數(shù)據(jù)集上取得了非常好的效果，例如 ImageNet 等數(shù)據(jù)集上。如圖 1 所示，是典型的由 CNN 網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)成的 AlexNet 網(wǎng)絡(luò)，由此網(wǎng)絡(luò)來完成圖像分類任務(wù)。

Hafemann 等人[12]的實驗顯示，在微觀和宏觀的圖片上，CNN 提取得到的紋理特描述符的表征能力超過了傳統(tǒng)的紋理描述符，進(jìn)一步說明 CNN 在病理圖像識別任務(wù)中取得了非常明顯的效果。除此之外，使用傳統(tǒng)方法提取病理圖像中的特征需要大量的領(lǐng)域知識，而且根據(jù)這些領(lǐng)域知識得到的結(jié)果并不適用于其他的情況。在 BreaKHis 數(shù)據(jù)集上進(jìn)行的一系列實驗[7]顯示，CNN 要比其他的使用了紋理描述符的機(jī)器學(xué)習(xí)算法的結(jié)果好。通過使用簡單的融合規(guī)則，合并不同的 CNN 結(jié)構(gòu)，例如最大池化，乘積，求和等操作后，得到的病理圖像識別結(jié)果相比于[7]中的識別準(zhǔn)確率，提高了 6%。

CNN 在醫(yī)學(xué)圖像領(lǐng)域同樣得到了很大的關(guān)注，但是并沒有得到全面的推廣，阻礙其應(yīng)用的主要原因是缺少大量的醫(yī)學(xué)標(biāo)記數(shù)據(jù)，因此便不能通過 CNN來得到好的特征，最終導(dǎo)致分類任務(wù)的準(zhǔn)確率并不能得到極大的提升。近期針對 CNN 方法，Bayramoglu等人[24]提出的基于深度學(xué)習(xí)的放大倍數(shù)獨立的乳腺癌病理圖像分類器，準(zhǔn)確率比傳統(tǒng)的針對不同放大倍數(shù)分別訓(xùn)練的分類器的準(zhǔn)確率高。Spanhol 等人[25]等人提出了基于 DeCAF 特征的乳腺癌病理圖像分類算法，該算法利用預(yù)訓(xùn)練來初始化模型參數(shù)，最終得到目前最高的分類準(zhǔn)確率。

1.3 基于生成對抗網(wǎng)絡(luò)的病理圖像分類方法

近期生成對抗網(wǎng)絡(luò) (Generative Adversarial Network, GAN)[14]的提取在擬合數(shù)據(jù)分布方面取得了很好的效果?；?GAN 方法分別訓(xùn)練一個生成器和一個判別器，判別器用于判別數(shù)據(jù)來自于真實訓(xùn)練數(shù)據(jù)還是生成器生成的數(shù)據(jù)。通過采用博弈訓(xùn)練的方式來使生成器生成符合真實訓(xùn)練數(shù)據(jù)分布的數(shù)據(jù)。但是這種方法無法生成具有標(biāo)記的數(shù)據(jù)，Mirza 等人[16]提出的條件生成對抗網(wǎng)絡(luò)用于生成指定標(biāo)記的圖像，這樣便給擴(kuò)充樣本量提供條件。通過增加樣本數(shù)據(jù)可以防止模型過擬合，提高模型的識別準(zhǔn)確率。Radford等人[26]提出的深度卷積生成對抗網(wǎng)絡(luò)，其中將 GAN用于圖像特征提取，實現(xiàn)了半監(jiān)督的圖像識別，但是并沒有說明具體細(xì)節(jié)，而且只是用到了簡單的圖像識別場景。前面提到大大多數(shù)基于 GAN 的圖像生成方法，只能生成小分辨率的圖像，而對于高分辨率的圖像，Denton 等人[17]使用拉普拉斯金字塔，將卷機(jī)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)引入到拉普拉斯金字塔方法中，在每一層使用[14]中提到的 GAN 來訓(xùn)練生成圖像，逐層生成高質(zhì)量的圖像，最終得到高分辨率的可用于擴(kuò)充訓(xùn)練數(shù)據(jù)的有效圖像。

1.4 物體檢測算法

傳統(tǒng)的物體檢測的研究重點在于特征提取和分類器。最早的工作是由 Viola 和 Jones[30]提出的，他們的工作中使用類似 Haar 的特征提取方法和增強(qiáng)的分類器對滑動窗口上的區(qū)域進(jìn)行分類來檢測是否存在物體。[31]中的算法提出使用 HOG 特征提取和線性 SVM來完成行人檢測。DPM 算法[32]提出了不可變圖模型，將隱 SVM 作為滑動窗口分類器。選擇性搜索算法[33]采用空間金字塔特征和 SIFT 特征[34]，并引入核SVM 完成分類。Regionlet 方法[35]在 HOG 特征和其他特征上學(xué)習(xí)一個增強(qiáng)的分類器。卷積層可以應(yīng)用在任意大小的圖像上，并能產(chǎn)生按比例大小的特征圖。在 Overfeat 方法[36]中，在卷積特征圖后接全連接網(wǎng)絡(luò)，實現(xiàn)分類，定位和檢測。在基于 SPP 網(wǎng)絡(luò)的方法[37]中，對建議區(qū)域的卷積特征圖進(jìn)行池化操作，將得到的特征送入全連接網(wǎng)絡(luò)，給出最終的分類結(jié)果。與[37]中的工作類似，同期還有幾個工作[38-41]，使用了SPP 網(wǎng)絡(luò)的特征池化，采用相同的全局特征共享和區(qū)域多層感知機(jī)作為區(qū)域分類器，在最終的檢測準(zhǔn)確率上得到提升。在 Fast R-CNN[38]方法中，通過興趣區(qū)域 (Region-of-Interest, ROI) 網(wǎng)絡(luò)層實現(xiàn)端到端的共享卷積層的微調(diào)。在 Faster R-CNN[39]，共享特征被用來得到建議區(qū)域，這樣就減少了產(chǎn)生建議區(qū)域的負(fù)擔(dān)。[40]中的方法不需要建議區(qū)域，而使用 SPPnet[37]中預(yù)定義的區(qū)域。基于多區(qū)域的方法[41]，提取多個尺度下的圖像特征，然后進(jìn)行池化，訓(xùn)練讀個模型然后進(jìn)行集成，給出最終的分類結(jié)果。

圖1 AlexNet 網(wǎng)絡(luò)結(jié)構(gòu)Fig. 1 Network structure of AlexNet

2 一種基于生成對抗網(wǎng)絡(luò)的病理圖像特征提取與可疑區(qū)域標(biāo)記模型

本節(jié)將闡述基于生成對抗網(wǎng)絡(luò)提出的乳腺癌病理圖像可疑區(qū)域標(biāo)記網(wǎng)絡(luò)。其中，2.1 節(jié)具體介紹生成對抗網(wǎng)絡(luò)的基本概念和主要思想。2.2 節(jié)介紹我們提出的可疑區(qū)域標(biāo)記網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)設(shè)置。2.3 節(jié)介紹模型訓(xùn)練方法。

2.1 生成對抗網(wǎng)絡(luò) (Generative Adversarial Network,GAN) 概述

生成對抗網(wǎng)絡(luò) (GAN) 在擬合數(shù)據(jù)分布具有很強(qiáng)的能力，通過該模型可以以對抗的方式學(xué)習(xí)到數(shù)據(jù)中隱藏的抽象特征，進(jìn)而利用這些特征可以提高模型的識別準(zhǔn)確率。GAN 通過訓(xùn)練兩個不同的網(wǎng)絡(luò)：一個生成網(wǎng)絡(luò) (又稱生成器)G，和一個判別式網(wǎng)絡(luò) (又稱判別器)D。生成模型G捕捉數(shù)據(jù)的分布，判別模型D是一個二分類器，估計一個樣本來自于訓(xùn)練數(shù)據(jù)(而非生成數(shù)據(jù)) 的概率。G和D為一般的非線性映射函數(shù)，可采用全連接神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)等實現(xiàn)。通過不斷調(diào)整G和D，直到D不能數(shù)據(jù)區(qū)分出來為止。在訓(xùn)練過程中，需要：(1) 優(yōu)化G，使得它盡可能的讓D混淆，(2) 優(yōu)化D，使得它盡可能的區(qū)分出數(shù)據(jù)來自于真實數(shù)據(jù)分布還是生成器。D和G進(jìn)行博弈的過程按照公式1最小化最大化優(yōu)化公式：

其中：x是真實的圖像數(shù)據(jù)，z是從均勻分布采樣得到的噪聲數(shù)據(jù)。

這里假設(shè)G采用的 FCN (全連接神經(jīng)網(wǎng)絡(luò))，這個網(wǎng)絡(luò)用來將隨機(jī)噪聲向量z通過一系列的轉(zhuǎn)化，生成圖像G(z)。D采用 CNN 和全連接網(wǎng)絡(luò)構(gòu)成，用來評估輸入的圖像是否來自于原有的訓(xùn)練數(shù)據(jù)集中，這個網(wǎng)絡(luò)便可以區(qū)分輸入的圖像是真實的還是合成的。這兩個網(wǎng)絡(luò)是同時訓(xùn)練的，具體的優(yōu)化公式如下：

對于生成器G,希望優(yōu)化如下公式：

公式 2 和公式 3 是求解公式 1 得到的兩個優(yōu)化子問題，通過優(yōu)化公式 2 和公式 3 便可以完成模型的訓(xùn)練。判別器D盡可能去辨別此時的病理圖像從哪里產(chǎn)生，而G網(wǎng)絡(luò)負(fù)責(zé)產(chǎn)生圖像病理，與此同時，G網(wǎng)絡(luò)盡可能產(chǎn)生更加真實的病理圖像。

最終利用判別器D中的特征提取模塊作為病理圖像特征提取模塊，提取病理圖像的顯著判別力的特征，以此增加乳腺癌病理圖像識別網(wǎng)絡(luò)的魯棒性和泛化性能。

2.2 基于 GAN 的病理圖像可疑區(qū)域標(biāo)記網(wǎng)絡(luò)的架構(gòu)

如圖 2 所示，為基于 GAN 的病理圖像可疑區(qū)域標(biāo)記網(wǎng)絡(luò)。該對抗分類網(wǎng)絡(luò)主要由 GAN 和基于 CNN的分類網(wǎng)絡(luò)這兩部分構(gòu)成，最終通過融合多個卷積層的輸出特征圖來給出病理圖像的可疑區(qū)域標(biāo)記結(jié)果。相對于傳統(tǒng)的基于 CNN 的分類網(wǎng)絡(luò)，我們提出的對抗分類網(wǎng)絡(luò)的主要特點在于兩部分共用了特征提取網(wǎng)絡(luò)實現(xiàn)了圖像中有判別力的特征提取。該方法的機(jī)理在于：(1) 通過對抗分類網(wǎng)絡(luò) GAN 中生成器所生成的病理圖像數(shù)據(jù)為判別特征提取網(wǎng)絡(luò)的訓(xùn)練提供了更多的數(shù)據(jù)，防止了判別網(wǎng)絡(luò)的過擬合，進(jìn)而使得判別特征提取網(wǎng)絡(luò)具有更好的通用性，使用少量的病理圖像數(shù)據(jù)訓(xùn)練得到的特征提取網(wǎng)絡(luò)就可以從病理圖像中提取更具判別力的特征用于分類任務(wù)。(2) 通過共用特征提取網(wǎng)絡(luò)，可以使分類網(wǎng)絡(luò)充分利用基于 GAN 訓(xùn)練得到的特征提取網(wǎng)絡(luò)來完成病理圖像的特征提取，進(jìn)而進(jìn)行可疑區(qū)域標(biāo)記。

該網(wǎng)絡(luò)使用 GAN 來完成高維圖像數(shù)據(jù)分布的建模。在該網(wǎng)絡(luò)內(nèi)引入了基于 CNN 的特征提取模塊。通過對抗方式訓(xùn)練 GAN，也同時完成了圖像特征提取模塊的訓(xùn)練。從圖中可以看到，該模型共分為三個部分：第一部分為圖中左下部分，該模塊完成了病理圖像特征提取和 GAN 的對抗訓(xùn)練；第二部分為圖中右上部分，該模塊完成了有監(jiān)督的病理圖像分類任務(wù)。第三部分通過融合 CNN 的輸出特征圖來得到病理圖像可疑區(qū)域的標(biāo)記結(jié)果。

2.2.1 基于對抗訓(xùn)練的特征提取網(wǎng)絡(luò)

在病理圖像分類任務(wù)中，如何提取病理圖像中豐富的紋理特征是十分關(guān)鍵的。好的特征很大程度決定病理圖像分類的準(zhǔn)確率。如圖 3 (a) 所示，該特征提取網(wǎng)絡(luò)的輸入是乳腺癌病理圖像，該圖像逐層通過該網(wǎng)絡(luò)，在每一層分別提取圖像中的紋理特征，不斷提取圖像的高層抽象特征，用于最終的分類任務(wù)。

該網(wǎng)絡(luò)第一層由 Inception 模塊構(gòu)成，緊接著是5×5 的卷積層，然后是 3×3 的最大池化層。通過層疊該結(jié)構(gòu)，最終構(gòu)成了特征提取網(wǎng)絡(luò)。該網(wǎng)絡(luò)最主要是使用了 GoogleNet[19]中的 Inception 模塊，該模塊分別使用了 1×1，3×3 和 5×5 的卷積核，分別從多個不同的尺度來提取圖像中的紋理特征。

圖2 病理圖像可疑區(qū)域標(biāo)記網(wǎng)絡(luò)的結(jié)構(gòu)圖，該結(jié)構(gòu)圖共包含三部分：一部分為左下方的基于GAN的特征提取模塊，第二部分為右上方的基于CNN的分類網(wǎng)絡(luò)模塊（其中，Uniform samples是指從均勻分布中采樣得到的100維樣本數(shù)據(jù)，Dense是指全連接層,Conv指卷積層，relu（rectified linear unit）是指修正線性單元，一種激活函數(shù)，Maxpool最大池化層，Global Average Pooling是指全局平均池化層，ADD是一種層與層相加的運算操作），第三部分為中間的特征融合層，實現(xiàn)了最終的病理圖像可疑區(qū)域標(biāo)記Fig. 2 The structure diagram of pathological image suspicious region labeling network. The structure diagram contains three parts:one part is the left bottom GAN-based feature extraction module, and the second part is the upper right CNN-based classi fi cation network module (where Uniform samples refer to uniformly sampled 100-dimensional sample data, Dense refers to the fully connected layer, Conv refers to the convolutional layer, relurefers to a recti fi ed linear unit, an activation function, Maxpoolrefers to maximization pooling layer, GlobalAveragePooling refers to the global Average pooling layer, ADD is a layer-to-layer addition operation. and the third part is the middle feature fusion layer, which labels the fi nal pathological image suspicious region.

圖3 特征提取模塊, (a) 表示基于 GAN 的特征提取模塊以及每層提取到的特征，最終通過融合各層的特征圖得到可疑區(qū)域標(biāo)記結(jié)果 (b) 表示 Inception 網(wǎng)絡(luò)模塊，其中Maxpool 表示最大池化層，Conv 表示卷積網(wǎng)絡(luò)層，F(xiàn)ilter concatenation 表示多特征融合層Fig. 3 Suspicious region labeling module,(a) indicates the feature extraction module and the features extracted at each layer. Finally, the suspicious regionlabeling result is obtained by fusing the feature maps of each layer. (b) indicates the Inception network module, where Maxpool represents the maximization pooling layer, Conv represents the convolutional network layer,and Concat represents multiple features Fusion layer

2.2.2 分類網(wǎng)絡(luò)

如圖 2 中所示，分類網(wǎng)絡(luò)主要由分支全連接網(wǎng)絡(luò)來完成，其采用對抗特征提取網(wǎng)絡(luò)的輸出作為輸入，然后對特征進(jìn)行多次非線性映射。采用多個卷積神經(jīng)網(wǎng)絡(luò)對之前得到的特征進(jìn)一步抽象，最終使用全局平均池化層給出乳腺癌病理圖像分類結(jié)果。

2.2.3 可疑區(qū)域標(biāo)記

在第二階段完成了有監(jiān)督的病理圖像分類網(wǎng)絡(luò)的訓(xùn)練。在該階段盡可能保證該分類模型具有較高的分類準(zhǔn)確率。這樣便使得卷積層提取到的特征更具有判別性，然后通過融合多個網(wǎng)絡(luò)層的輸出特征圖，給出最終的病理圖像可疑區(qū)域標(biāo)記結(jié)果。

2.3 網(wǎng)絡(luò)的訓(xùn)練過程

對抗分類網(wǎng)絡(luò)主要包括圖 2 中左下方所示的基于生成對抗的特征提取網(wǎng)絡(luò)，以及圖中右上方的基于CNN 的分類網(wǎng)絡(luò)。因此對抗分類網(wǎng)絡(luò)的訓(xùn)練主要包含 2 個階段，分別是基于生成對抗的特征提取網(wǎng)絡(luò)的訓(xùn)練和基于 CNN 的分類網(wǎng)絡(luò)的訓(xùn)練。訓(xùn)練數(shù)據(jù)主要來自于 BreaKHis[7]乳腺癌病理圖像數(shù)據(jù)集，具體介紹在 4.2 部分。

2.3.1 基于生成對抗的特征提取網(wǎng)絡(luò)的訓(xùn)練

該特征提取網(wǎng)絡(luò)的訓(xùn)練與 GAN 的訓(xùn)練相似。該網(wǎng)絡(luò)的輸入包含兩部分，分別是真實的乳腺癌病理圖像和來自均勻分布采樣結(jié)果。該 100 維樣本首先通過全連接網(wǎng)絡(luò)進(jìn)行映射，得到 128 個大小為 16×16 的特征圖，然后通過 strides 為 2 的上采樣網(wǎng)絡(luò)層完成特征圖的上采樣，最終得到的 128 個大小為 32×32 的特征圖。然后緊跟著是激活層用來對上一層網(wǎng)絡(luò)的輸出做一個非線性變換。通過這樣的上采樣和非線性激活，最終得到的生成圖像大小為 128×128×3。將生成的圖像標(biāo)記為 0，原始的輸入圖像標(biāo)記為 1，然后使用這些有標(biāo)記的數(shù)據(jù)來完成判別器的有監(jiān)督訓(xùn)練。從圖 2中可以看到，判別器是由特征提取層構(gòu)成，這樣在訓(xùn)練 GAN 的同時，也完成了圖像特征提取網(wǎng)絡(luò)參數(shù)的訓(xùn)練。由于采用 GAN 的對抗訓(xùn)練方式，因此稱該特征提取網(wǎng)絡(luò)為對抗特征提取網(wǎng)絡(luò)。由于傳統(tǒng)的 GAN包含生成器和判別器，因此訓(xùn)練的過程中采用隨機(jī)梯度下降的算法。

在實際訓(xùn)練過程中，由于不能直接得到解析解，因此采用迭代的數(shù)值計算方式對模型進(jìn)行訓(xùn)練。如算法1 中，直接在內(nèi)循環(huán)中訓(xùn)練判別器D的計算量很大，而且在有限的數(shù)據(jù)集上訓(xùn)練，容易導(dǎo)致D出現(xiàn)過擬合現(xiàn)象。因此我們選擇訓(xùn)練k(k的選擇可以根據(jù)D的復(fù)雜度和數(shù)據(jù)量的大小決定，實驗中k取 2) 次訓(xùn)練D，1 次訓(xùn)練生成器G。只要G的變換足夠慢，D在每一輪完整的訓(xùn)練 (k次D訓(xùn)練和 1 次G訓(xùn)練) 后都維持在最優(yōu)解的附近。通過多輪訓(xùn)練，最終實現(xiàn) GAN 的訓(xùn)練。相應(yīng)的對抗特征提取網(wǎng)絡(luò)參數(shù)也以對抗的方式得到了訓(xùn)練。

2.3.2 分類網(wǎng)絡(luò)訓(xùn)練

在通過以上階段的訓(xùn)練，得到了穩(wěn)定的對抗特征提取網(wǎng)絡(luò)，在此訓(xùn)練階段，固定該特征提取網(wǎng)絡(luò)，只對分類網(wǎng)絡(luò)進(jìn)行單獨的訓(xùn)練。輸入的病理圖像大小為128×128×3，通過圖 3 中所示的特征提取網(wǎng)絡(luò)后，得到的特征大小為 3×3×128。然后經(jīng)過全局平局池化層將特征映射到 128 維，然后再使用卷積神經(jīng)網(wǎng)絡(luò)和全局平均池化層完成最終的分類任務(wù)。

算法 1：生成對抗網(wǎng)絡(luò)批量隨機(jī)梯度下降訓(xùn)練算法。對于判別器D訓(xùn)練的次數(shù)k是超參數(shù)，為了最小化計算量，實驗中選擇k=2

3 模型實現(xiàn)

3.1 基本硬件配置和實驗環(huán)境

硬件配置：實驗采用 NVIDIA? Tesla? K80 GPU計算集群，該集群共包含 13 個 GPU 卡，每個卡含有11G 顯存以及 40 個 4.2GHz CPU 核心和 256G 內(nèi)存。

本論文代碼實現(xiàn)采用的編程環(huán)境為 Ubuntu 16.04，采用 python 作為編程語言。本論文中網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計采用 Google 開源的 Tensorflow 深度學(xué)習(xí)框架進(jìn)行對抗分類網(wǎng)絡(luò)設(shè)計 (通過 python 代碼實現(xiàn))，并進(jìn)行實驗。

3.2 乳腺癌病理圖像數(shù)據(jù)集

本實驗采用的數(shù)據(jù)集是國際乳腺癌病理圖像數(shù)據(jù)集 BreaKHis[7]，該數(shù)據(jù)集采集了 82 個人在 2014 年全年的病理圖像數(shù)據(jù)，該數(shù)據(jù)集包含 4 個放大倍數(shù)下觀測得到的病理圖像數(shù)據(jù)，如下表 1 所示。

如圖 4 所示，是放大倍數(shù)為 400X 乳腺癌病理圖像，其中共分為 8 個病理組織切片圖。

表1 病理圖像數(shù)據(jù)集數(shù)據(jù)構(gòu)成Table 1 Composition of Pathological Image Data Set

圖4 400X 放大倍數(shù)的乳腺癌病理圖像，來自于 BreaKHis數(shù)據(jù)集，其中展示了 2 種不同組織的乳腺病理切片圖 (每種展示兩張圖片)，類型分為良性腫瘤和惡性腫瘤Fig. 4 400X magni fi cation of breast cancer pathology images from the BreaKHis dataset showing mammary pathological sections of 2 different tissues (each showing two images), divided into benign and malignant tumors type

3.3 數(shù)據(jù)預(yù)處理

由于制作病理組織切片圖的過程中，需要對組織進(jìn)行染色處理，因此染色的不同也會造成病理圖像的不同觀測結(jié)果，不同區(qū)域具有明顯的不均衡現(xiàn)象，因此需要對圖像進(jìn)行歸一化處理，消除圖像不均衡現(xiàn)象。為了提高模型的泛化性能，對病理圖像進(jìn)行了圖像擴(kuò)增，其中包括圖像平移，圖像旋轉(zhuǎn)，圖像鏡像，圖像亮度變化，裁剪和縮放。

4 驗證

該實驗部分主要論述提出的網(wǎng)絡(luò)結(jié)構(gòu)對于病理圖像紋理特征的提取具有很好的效果。比近期提出的基于深度神經(jīng)網(wǎng)絡(luò)的方法[20]識別準(zhǔn)確率高 3 個百分點。其中 4.1 節(jié)主要說明對抗特征提取網(wǎng)絡(luò)得到很強(qiáng)的判別性。4.2 節(jié)介紹該網(wǎng)絡(luò)在 BreaKHis[7]數(shù)據(jù)集的測試結(jié)果。

4.1 基于對抗特征提取網(wǎng)絡(luò)，提取具有高判別性的深度圖像特征

如圖 3 (a) 所示，為主要的特征提取模塊。該模塊主要由 Inception 模塊 (如圖 3 (b) 所示) 和卷積模塊構(gòu)成。該模型主要從多個尺度來提取病理圖像中的細(xì)節(jié)紋理特征，這些特征可用于病理圖像識別網(wǎng)絡(luò)來判斷該病理圖像是良性還是惡性。從圖中可以看到，輸入圖像為乳腺癌病理圖像，首先通過Inception 模塊，圖中截取了部分特征圖用于顯示，可以看出神經(jīng)網(wǎng)絡(luò)的前幾層提取到的特征圖包含的紋理特征占據(jù)整張圖。隨著網(wǎng)絡(luò)的深入，模塊提取到的特征更加抽象。

在對病理圖像識別任務(wù)中，最重要的是圖像中的紋理特征。如何從病理圖像中更加有效的提取出紋理細(xì)節(jié)特征直接決定了病理圖像的分類效果。圖5是截取的由對抗分類網(wǎng)絡(luò)中的特征提取網(wǎng)絡(luò)的一些特征提取層的輸出結(jié)果。從圖中可以看到，采用生成對抗方式訓(xùn)練的特征提取網(wǎng)絡(luò)可以提取到具有判別力的特征，而且對于病理圖像中的紋理信息也得到了很完整的提取。從特征圖看出，病理圖像中很多細(xì)節(jié)紋理信息得到保留，同時特征圖也提取到了對于可疑區(qū)域標(biāo)記任務(wù)十分有用的特征。

從圖 5 中可以看出，得到的特征圖保留了病理圖像中原有的紋理特征。且得到的特征圖具有一定的可判別性，使用圖 5 得到的特征圖進(jìn)一步融合得到如圖6 的可疑區(qū)域，從圖中可以看到，可疑區(qū)域準(zhǔn)確的定位到細(xì)胞發(fā)生畸變的區(qū)域。由于沒有明確的已標(biāo)記的可疑區(qū)域數(shù)據(jù)，因此無法評價可疑區(qū)域的準(zhǔn)確率，但通過與臨床醫(yī)生討論，認(rèn)為利用提取到的特征圖得到的可疑區(qū)域基本符合病理學(xué)學(xué)家的直觀判斷，證明使用本論文提取到的特征具有較好的判別能力，用來找到一張病理圖像中的可疑區(qū)域。

4.2 識別準(zhǔn)確率對比實驗

圖5 特征提取網(wǎng)絡(luò)層輸出，(a) 為輸入原始乳腺癌病理圖像，從 (b)-(d) 依次為對抗特征提取網(wǎng)絡(luò)由淺層到深層的輸出特征圖Fig. 5 Output of Feature extraction network layer, (a) Original breast cancer pathology image, and (b)-(d) are output feature maps from the shallow layer to the deep layer

圖6 可疑區(qū)域：融合不同網(wǎng)絡(luò)層產(chǎn)生的特征圖得到可疑區(qū)域，其中上面為原始圖像，下面為相應(yīng)的標(biāo)記后的可疑區(qū)域圖Fig. 6 Suspicious region: Fusing the feature maps generated by different network layers to obtain suspicious region, in which the top is the original image, and the following is the corresponding labeled suspicious region map.

由于最終的可疑區(qū)域標(biāo)記是針對 400x 放大倍數(shù)的圖片，因此針對放大倍數(shù)為 400x 的 1820 張訓(xùn)練數(shù)據(jù)集，進(jìn)行了如表 2 中所示的 5 種劃分方式，產(chǎn)生了5 種分類難度不同的數(shù)據(jù)集，來驗證本論文提出的方法通過訓(xùn)練分類網(wǎng)絡(luò)來得到高判別力的特征，其中數(shù)據(jù)集的5種劃分方式，是按照[7]的作者提供的代碼進(jìn)行數(shù)據(jù)集的劃分。

從表中可以看出，本論文提出的對抗分類網(wǎng)絡(luò)在Fold1 數(shù)據(jù)集上取得了 85.23% 的準(zhǔn)確率。在放大倍數(shù)為400x 的 5 種數(shù)據(jù)集上，達(dá)到的平均準(zhǔn)確率為 83.8%。

本論文提出的以對抗方式訓(xùn)練的網(wǎng)絡(luò)不僅可以利用少量的數(shù)據(jù)來完成特征提取網(wǎng)絡(luò)的訓(xùn)練，而且得到的特征提取網(wǎng)絡(luò)可以從病理圖像中提取更具判別力的特征。由于好的病理圖像識別結(jié)果，才能進(jìn)一步保證特征提取模塊提取到了具有判別力的特征。已有的病理圖像識別方法大多對訓(xùn)練數(shù)據(jù)分片，通過數(shù)據(jù)增量來訓(xùn)練復(fù)雜的深度神經(jīng)網(wǎng)絡(luò)，這樣便破環(huán)了原始圖像的空間信息。而本文為了保留了原圖的信息，并沒有對圖像進(jìn)行切分，使得可以對全圖進(jìn)行可疑區(qū)域標(biāo)記 (進(jìn)行分片數(shù)據(jù)擴(kuò)增的方法無法進(jìn)行全圖可疑區(qū)域標(biāo)記)。

本文提出的網(wǎng)絡(luò)在部分?jǐn)?shù)據(jù)集上取得的分類效果比較好，但是仍然在一些數(shù)據(jù)集上不如已有分類方法的準(zhǔn)確率高。近期提出的基于預(yù)訓(xùn)練的深度卷機(jī)網(wǎng)絡(luò)分類器[25]在該數(shù)據(jù)集上得到了目前最高的準(zhǔn)確率，但該方法僅提高了分類準(zhǔn)確率，但并不能對病理圖像中的可疑區(qū)域進(jìn)行標(biāo)記。

表2 放大倍數(shù)為 400x 的乳腺癌病理圖像訓(xùn)練集與測試集劃分以及模型測試結(jié)果，其中將 1820 張病理圖像劃分為 5個實驗數(shù)據(jù)集 (不同實驗數(shù)據(jù)集劃分的識別難度不同, 劃分代碼按照數(shù)據(jù)提供者給出)Table 2 The division of Breast cancer pathological image training set and test set and model test results at a magni fi cation of 400x, of which 1820 pathological images are divided into 5 experimental data sets (different experimental data sets have different recognition dif fi culties, and the dividing code is given by data Providers)

圖7 基于對抗分類網(wǎng)絡(luò)提取到的特征進(jìn)行可疑區(qū)域標(biāo)記結(jié)果，上面部分為原始的乳腺癌病理圖像，下面部分是對應(yīng)的可疑區(qū)域標(biāo)記結(jié)果Fig. 7 Suspicious region labeling results. The top part is the original breast cancer pathology image, and the bottom part is the corresponding suspicious regionlabeling result.

5 討論

本論文提出的基于 GAN 的乳腺癌病理圖像可疑區(qū)域標(biāo)記網(wǎng)絡(luò)。我們不直接使用 GAN 生成乳腺癌病理圖像，而是利用 GAN 中的對抗訓(xùn)練思想，來端到端的訓(xùn)練特征提取模型。實驗證明以對抗方式訓(xùn)練提取得到的特征具有更好的判別能力。同時根據(jù)提取到的特征，對得到的特征圖進(jìn)行上采樣，與原始輸入圖像融合，可以給出乳腺癌病理圖像可疑區(qū)域的標(biāo)記。如圖 7 所示。對乳腺癌病理圖像標(biāo)記的結(jié)果并不理想，仍然存在一些區(qū)域不能給出準(zhǔn)確的標(biāo)記。

本文提出的對抗分類網(wǎng)絡(luò)也同樣存在可以改進(jìn)的地方：(1) 由于考慮到硬件資源的限制，選擇的輸入圖像的低分辨率作為輸入 (尺度為 128*128)，一定程度圖像紋理信息提取不夠精確，導(dǎo)致在部分病理圖像可疑區(qū)域標(biāo)記做的不夠好。后面的實驗可以通過增大輸入圖像的分辨率來進(jìn)行實驗，并調(diào)整訓(xùn)練過程中的模型參數(shù)以提高病理圖像可疑區(qū)域標(biāo)記的準(zhǔn)確率。 (2) 由于數(shù)據(jù)只有兩類標(biāo)記，并沒有給出已有可疑區(qū)域標(biāo)記的病理圖像數(shù)據(jù)，因此將來可以考慮融入已有可疑區(qū)域標(biāo)記的圖像數(shù)據(jù)，運用半監(jiān)督的方式進(jìn)一步提高病理圖像可疑區(qū)域標(biāo)記的準(zhǔn)確率。

6 結(jié)論

本論文提出了一種新的乳腺癌病理圖像可疑區(qū)域標(biāo)記方法。該方法不需要訓(xùn)練數(shù)據(jù)具有可疑區(qū)域標(biāo)記，而僅包含該腫瘤是良性還是惡性等弱標(biāo)記即可。該方法將對抗神經(jīng)網(wǎng)絡(luò)應(yīng)用到乳腺癌病理圖像特征提取中，并將從圖像中提取到的特征應(yīng)用到圖像可疑區(qū)域標(biāo)記任務(wù)中，取得了很好的標(biāo)記效果。該方法能夠利用少量乳腺癌病理圖像數(shù)據(jù)，采用有監(jiān)督的方式訓(xùn)練分類器，即訓(xùn)練網(wǎng)絡(luò)可以給出輸入的乳腺癌病理圖像是良性還是惡性。由于在模型訓(xùn)練過程中借鑒了 GAN 中的對抗訓(xùn)練方式，因此該模型中的特征提取網(wǎng)絡(luò)提取到的特征更具有判別性，進(jìn)而間接地給出準(zhǔn)確的病理圖像可疑區(qū)域標(biāo)記結(jié)果?；谠摲椒?，能夠?qū)θ橄侔┎±韴D像進(jìn)行可疑區(qū)域標(biāo)記，幫助臨床醫(yī)學(xué)快速準(zhǔn)確的定位乳腺癌病理圖像中的可疑區(qū)域，加快診斷過程。本論文提出的對抗特征提取方式具有很好的泛化能力。基于本論文提出的乳腺癌病理圖像特征提取和可疑區(qū)域標(biāo)記，同樣可以應(yīng)用到其他類型癌癥圖像的分析任務(wù)中。并且，未來該方法還將拓展到CT 圖像，核磁圖像，以及更多的癌癥類型任務(wù)。

[1]B. Stenkvist, S. Westman-Naeser, J. Holmquist, B.Nordin, E. Bengtsson, J. Vegelius, O. Eriksson, and C. H.Fox, “Computerized nuclear morphometry as an objective method for characterizing human cancer cell populations,”Cancer Research, vol. 38, no. 12, pp. 4688–4697, 1978.

[2]M.Kowal, P. Filipczuk, A. Obuchowicz, J. Korbicz,and R. Monczak,”Computer-aided diagnosis of breast cancer based on fi ne needle biopsy microscopic images,”Computers in Biology and Medicine, vol. 43, no. 10, pp.1563–1572, 2013.

[3]P. Filipczuk, T. Fevens, A. Krzy˙zak, and R. Monczak,“Computer-aided breast cancer diagnosis based on the analysis of cytological images of fine needle biopsies,”IEEE Transactions on Medical Imaging, vol. 32, no. 12,pp. 2169–2178, 2013.

[4]Y. M. George, H. L. Zayed, M. I. Roushdy, and B. M.Elbagoury, “Remote computer-aided breast cancer detection and diagnosis system based on cytological images,” IEEE Systems Journal, vol. 8, no. 3, pp. 949–964, 2014.

[5]Y. Zhang, B. Zhang, F. Coenen, and W. Lu, “Breast cancer diagnosis from biopsy images with highly reliable random subspace classifier ensembles,” Machine Vision and Applications, vol. 24, no. 7, pp. 1405 – 1420, 2013.

[6]Y. Zhang, B. Zhang, F. Coenen, J. Xiau, and W. Lu,“One-class kernel subspace ensemble for medical image classi fi cation,” EURASIP Journal on Advances in Signal Processing, vol. 2014, no. 17, pp. 1–13, 2014.

[7]F. Spanhol, L. S. Oliveira, C. Petitjean, and L. Heutte,“A dataset for breast cancer histopathological image classification,” IEEE Transactions of Biomedical Engineering, 2016.

[8 Y. LeCun, Y. Bengio, and G. Hinton, “Deep learning,”Nature, vol. 521, pp. 436–444, 2015.

[9]Y. LeCun, B. Boser, J. S. Denker, D. Henderson, R. E.Howard, W. Hubbard, and L. D. Jackel, “Backpropagation applied to handwritten zip code recognition,” Neural Computation, vol. 1, no. 4, pp. 541–551, 1989.

[10]A. Krizhevsky, I. Sutskever, and G. E. Hinton, “Imagenet classi fi cation with deep convolutional neural networks,” in Advances in Neural Information Processing Systems 25,2012, pp. 1097–1105.

[11]X. X. Niu and C. Y. Suen, “A novel hybrid cnn–svm classifier for recognizing handwritten digits,” Pattern Recognition, vol. 45, no. 13181325, 2012.

[12]L. G. Hafemann, L. S. Oliveira, and P. Cavalin, “Forest species recognition using deep convolutional neural networks,” in International Conference on Pattern Recognition, 2014, pp. 1103–1107.

[13]D. J Brenner and Eric J Hall. Computed tomography?an increasing source of radiation exposure. N. Engl. J. Med.,357(22):2277–2284, 2007.

[14]I. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, SherjilOzair, Aaron Courville,and YoshuaBengio. Generative adversarial nets. In Advances in Neural Information Processing Systems,pages 2672–2680, 2014.

[15]N. Dong, T. Roger, P. Caroline, R. Su and S. Dinggang.Medical Image Synthesis with Context-Aware Generative Adversarial Networks. eprint arXiv:1612.05362, 2016.

[16]M. Mirza and S. Osindero. Conditional generative adversarial nets. CoRR, abs/1411.1784, 2014.

[17]Denton, Emily L, Chintala, Soumith, Szlam, Arthur,and Fergus, Rob. Deep generative image models using a laplacian pyramid of adversarial networks. In Cortes,C., Lawrence, N.D., Lee, D.D., Sugiyama, M., Garnett,R., and Garnett, R. (eds.), Advances in Neural Information Processing Systems 28, pp. 1486–1494. Curran Associates, Inc., 2015.

[18]Y. LeCun, B. Boser, J. S. Denker, D. Henderson,R. E.Howard, W. Hubbard, and L. D. Jackel.Backpropagationapplied to handwritten zip code recognition. Neural computation,1(4):541–551, 1989.

[19]Szegedy, C., Liu, W., Jia, Y., Sermanet, P., Reed, S.E., Anguelov, D., ... &Rabinovich, A. (2015). Going deeper with convolutions. computer vision and pattern recognition,, 1-9.

[20]Spanhol F A, Oliveira L S, Petitjean C, et al. Breast cancer histopathological image classi fi cation using Convolutional Neural Networks[C]. international symposium on neural networks, 2016: 2560-2567.

[21]S. Targ, D. Almeida, and K. Lyman. Resnet inresnet:Generalizing residual architectures. arXiv preprintarXiv:1603.08029, 2016.

[22]A. Krizhevsky, I. Sutskever, and G. E. Hinton.Imagenetclassification with deep convolutional neural networks. InNIPS, 2012.

[23]O. Russakovsky, J. Deng, H. Su, J. Krause, S. Satheesh,S.Ma, Z. Huang, A. Karpathy, A. Khosla, M. Bernstein,et al. Imagenet large scale visual recognition challenge.International Journal of Computer Vision, 115(3):211–252,2015.

[24]Bayramoglu N, Kannala J, Heikkil? J. Deep learning for magnification independent breast cancer histopathology image classification[C]// International Conference on Pattern Recognition. IEEE, 2017:2440-2445.

[25]Spanhol F A, Oliveira L S, Cavalin P R, et al. Deep features for breast cancer histopathological image classification[C]// IEEE International Conference on Systems, Man and Cybernetics. IEEE, 2017:1868-1873.

[26]Radford A, Metz L, Chintala S. Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks[J]. Computer Science, 2015.

[27]Z Zhong, J Li Generative Adversarial Networks and Probabilistic Graph Models for Hyperspectral Image Classification arXiv preprint arXiv:1802.03495, 2018 -arxiv.org.

[28]He Z, Liu H, Wang Y, et al. Generative Adversarial Networks-Based Semi-Supervised Learning for Hyperspectral Image Classification[J]. Remote Sensing,2017, 9(10):1042.

[29]Guibas J T, Virdi T S, Li P S. Synthetic Medical Images from Dual Generative Adversarial Networks[J]. 2018.

[30]P. Viola and M. Jones, “Rapid object detection using a boosted cascade of simple features,” in CVPR, 2001.

[31]N. Dalal and B. Triggs, “Histograms of oriented gradients for human detection,” in CVPR, 2005.

[32]P. F. Felzenszwalb, R. B. Girshick, D. McAllester, and D.Ramanan, “Object detection with discriminatively trained partbased models,” TPAMI, 2010.

[33]J. R. Uijlings, K. E. van de Sande, T. Gevers, and A. W.Smeulders, “Selective search for object recognition,”IJCV,2013.

[34]D. G. Lowe, “Distinctive image features from scaleinvariant keypoints,” IJCV, 2004.

[35]X. Wang, M. Yang, S. Zhu, and Y. Lin, “Regionlets for generic object detection,” in ICCV, 2013.

[36]P. Sermanet, D. Eigen, X. Zhang, M. Mathieu, R.Fergus, and Y. LeCun, “Overfeat: Integrated recognition,localization anddetection using convolutional networks,”in ICLR, 2014.

[37]K. He, X. Zhang, S. Ren, and J. Sun, “Spatial pyramid pooling in deep convolutional networks for visual recognition,” inECCV, 2014.

[38]R. Girshick, “Fast R-CNN,” in ICCV, 2015.

[39]S. Ren, K. He, R. Girshick, and J. Sun, “Faster R-CNN:Towards real-time object detection with region proposal etworks,” in NIPS, 2015.

[40]K. Lenc and A. Vedaldi, “R-cnn minus r,” in BMVC, 2015.

[41]S. Gidaris and N. Komodakis, “Object detection via a multiregion& semantic segmentation-aware cnn model,”in ICCV,2015.