楊帆

摘 要 為擁有大量圖片的用戶提供按照以面孔為單位進(jìn)行圖片管理的方法，同時(shí)能夠在眾多圖片中快速定位圖片，實(shí)現(xiàn)高效準(zhǔn)確的圖片搜索，提高圖片管理和檢索效率。

關(guān)鍵詞 圖像檢索;深度學(xué)習(xí);特征表示

引言

傳統(tǒng)的檢索方法通常選擇一些為多媒體相似性搜索提取低級(jí)特征，如歐幾里得距離或余弦相似性?；趦?nèi)容的圖像檢索是圖像檢索的基礎(chǔ)之一，該方法旨在通過分析它們的視覺內(nèi)容搜索圖像，從而形象地表現(xiàn)出目標(biāo)圖像。然而，固定的相似性/距離函數(shù)可能會(huì)造成復(fù)雜圖像檢索任務(wù)的失敗，提取低層視覺特征的語(yǔ)義鴻溝以及高層次的人類感知成為檢索圖像的挑戰(zhàn)[1]。

1基于內(nèi)容圖像檢索的深度學(xué)習(xí)

通過對(duì)CBIR任務(wù)應(yīng)用深度學(xué)習(xí)，給出了所提框架的總體視圖，其中為了實(shí)現(xiàn)深度CNN學(xué)習(xí)，該模型已經(jīng)成功地在imageNet的ILSVRC-2012數(shù)據(jù)集上進(jìn)行了訓(xùn)練并找到狀態(tài)[2]。

深度卷積網(wǎng)絡(luò)框架由兩部分組成：卷積層和最大匯集層以及完全連接層和輸出層。在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中第一層為輸入層，該層像素均值中心原始RGB像素。利用兩種增強(qiáng)數(shù)據(jù)的方法來避免過度擬合，可以簡(jiǎn)單概括為：首先在尺寸為256×256的原始圖像中隨機(jī)抽取補(bǔ)丁，補(bǔ)丁數(shù)為224×224，利用這些補(bǔ)丁生成了能夠水平反射和平移的輸入圖像，這些補(bǔ)丁能夠支持網(wǎng)絡(luò)進(jìn)行訓(xùn)練。其次，照明和顏色不變性的捕捉工作，添加RGB到整個(gè)數(shù)據(jù)集，其中對(duì)RGB像素值的主要分量作隨機(jī)倍數(shù)的改變，模型中測(cè)試集誤差將會(huì)至少降低1%。

輸入層后五個(gè)卷積層中第一卷積層和第二卷積層為響應(yīng)歸一化層和最大匯集層，第三層、第四層和第五層則不具備匯集和歸一化，僅體現(xiàn)為互相連接。神經(jīng)元輸出函數(shù)是非線性函數(shù)，整流線性單位（ReLU），另外所采用的“重疊池”方案在訓(xùn)練時(shí)所耗時(shí)間較長(zhǎng)，最大池化步驟能夠增強(qiáng)特征映射的變換不變性。

2CBIR的特征表示

通過擴(kuò)展CBIR任務(wù)中學(xué)習(xí)特征表示的訓(xùn)練模型來研究有效的技術(shù)，主要來解決兩類問題：第一，如何將訓(xùn)練有素的CNN從分類應(yīng)用到ImageNet中的CBIR任務(wù)。第二，如何在新領(lǐng)域的CBIR任務(wù)的學(xué)習(xí)特征表示中推廣訓(xùn)練有素的CNN模型[3]。

下面詳細(xì)介紹兩種泛化方法。

方案一：直接代表。

將訓(xùn)練CNN模型的原始數(shù)據(jù)集作為圖片集，直接采用DF.FC1，DF.FC2和DF.FC3之一的激活功能。并將數(shù)據(jù)集中的圖像饋送到預(yù)訓(xùn)練CNN模型輸入層，再?gòu)淖詈笕龑荧@取激活值，以此獲得特征表示，由于只需要基于矩陣乘法一次計(jì)算前饋網(wǎng)絡(luò)，整個(gè)方案將非常有效。

方案二：通過模型再培訓(xùn)進(jìn)行精煉。

通過使用ImageNet訓(xùn)練模型的參數(shù)初始化CNN模型，在新圖像數(shù)據(jù)集上重新訓(xùn)練不同CBIR任務(wù)的深度卷積神經(jīng)網(wǎng)絡(luò)。根據(jù)可用的標(biāo)簽信息，有兩種方法可以重新訓(xùn)練CNN模型[4]。

3面部圖像標(biāo)注結(jié)果與分析

使用Pubfig83LFW面部數(shù)據(jù)集上的第一和第三特征方案來評(píng)估基于搜索的面部圖像標(biāo)注性能，結(jié)果中可以發(fā)現(xiàn)：

（1）通過與眾所周知的面部圖像表示特征進(jìn)行比較，方案一在面部圖像數(shù)據(jù)集上表示較差。特別的是，（DF.FC1）的最佳MAP值僅為0.51。

基于KNN注釋方法，通過比較方案一和方案二的Precision-Recall可以看到，采用方案二可以顯著提高檢索性能。這一結(jié)果再次驗(yàn)證了CNN模型在新領(lǐng)域中學(xué)習(xí)有效特征的良好泛化性能。

通過使用方案二并在新的面部圖像數(shù)據(jù)集上重新訓(xùn)練新的深CNN模型，可以顯著提高深度特征的性能[5]。

4結(jié)束語(yǔ)

通過介紹基于內(nèi)容的圖像檢索中（CBIR）的表示問題，目的是評(píng)估深度學(xué)習(xí)是否是希望在長(zhǎng)期內(nèi)彌合CBIR中的語(yǔ)義差距，以及通過探索最先進(jìn)的深度學(xué)習(xí)技術(shù)，實(shí)現(xiàn)CBIR任務(wù)的實(shí)質(zhì)性改進(jìn)特征表示和相似性度量。在大規(guī)模數(shù)據(jù)集上預(yù)訓(xùn)練的深度CNN模型可以直接用于新CBIR任務(wù)中的特征提取;通過預(yù)先訓(xùn)練的CNN模型提取的特征可能會(huì)或可能不會(huì)比傳統(tǒng)的手工制作的特征更好，但通過適當(dāng)?shù)奶卣魈釤挿桨?，深度學(xué)習(xí)特征表現(xiàn)出始終優(yōu)于所有數(shù)據(jù)集上的傳統(tǒng)特征;當(dāng)在新域中應(yīng)用特征代表時(shí)，能夠發(fā)現(xiàn)相似性學(xué)習(xí)可以進(jìn)一步提高預(yù)訓(xùn)練深度模型的直接特征輸出的檢索性能。

參考文獻(xiàn)

[1] Agnieszka M，Michal G.Data augmentation for improving deep learning in ima-ge classification problem[C]. 2018 International Interdisciplinary PhD Workshop.IEEE，2018：117-122.

[2] Perez L，Wang J. The Effectiveness of Data Augmentation in Image Classification using Deep Learning[J]. Computer Vision and Pattern Recognition，2017（12）：12-22.

[3] Felea I，Vertan C，F(xiàn)lorea L. The use of deep learning in image segmentation， classification and detection[J]. Computer Science，2016（3）：6-15.

[4] Asadi-Aghbolaghi M，Albert Clapés，Bellantonio M，et al. A Survey on Deep Learning Based Approaches for Action and Gesture Recognition in Image Sequences[C].IEEE International Conference on Automatic Face & Gesture Recognition. IEEE，2017（1）：476-483.

[5] Litjens G，Kooi T，Bejnordi B E，et al. A survey on deep learning in medical image analysis[J]. Medical Image Analysis，2017（42）：60-88.