張靖儀

摘要：為提高縮略圖生成中有效信息的保留率，該文提出一種基于全卷積人工神經(jīng)網(wǎng)絡(luò)并以圖像顯著性圖驅(qū)動(dòng)的縮略圖生成算法。算法可有效識(shí)別圖像中顯著性區(qū)域，并以此為依據(jù)通過(guò)滑動(dòng)窗口截取圖像主要信息點(diǎn)，進(jìn)而生成有效的縮略圖。

關(guān)鍵詞：全卷積神經(jīng)網(wǎng)絡(luò)；顯著性預(yù)測(cè)；縮略圖生成

中圖分類(lèi)號(hào)：TP18 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2017）14-0149-02

1概述

縮略圖是一種經(jīng)壓縮方式處理后的圖片，在小尺度下包含了原圖像大部分有效信息，可廣泛應(yīng)用于圖像快速索引、網(wǎng)頁(yè)超鏈接等多個(gè)領(lǐng)域。目前相關(guān)算法多采用固定分辨率縮放及中央裁剪等固定規(guī)則進(jìn)行縮略圖生成，而忽視圖像自身具有的內(nèi)容信息。為提高縮略圖攜帶的有效信息，該文利提出一種利用全卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行顯著性預(yù)測(cè)，再由顯著點(diǎn)密度自動(dòng)獲取圖像中包含最有意義信息的區(qū)域進(jìn)行截取，進(jìn)而生成圖像內(nèi)容相關(guān)縮略圖的算法。

2算法設(shè)計(jì)

為生成面向圖像信息的自適應(yīng)縮略圖，該方法由兩部分組成。第一部分為圖像識(shí)別模塊，主要工作是得到圖像的顯著性圖；第二部分為自適應(yīng)滑動(dòng)窗口模塊，主要工作是得到窗口內(nèi)平均顯著度最強(qiáng)的窗口坐標(biāo)。

2.1顯著性預(yù)測(cè)

該文在縮略圖截取區(qū)域識(shí)別階段采用顯著性預(yù)測(cè)算法作為識(shí)別手段。顯著性預(yù)測(cè)是目前非?；钴S并正在不斷取得突破性進(jìn)展的機(jī)器視覺(jué)領(lǐng)域下的一個(gè)子領(lǐng)域，是一種模擬人類(lèi)注意力機(jī)制的算法。其主要目標(biāo)是對(duì)圖像（畫(huà)面）中吸引人注意的地方（顯著性區(qū)域）進(jìn)行自動(dòng)的識(shí)別與提取，并生成與輸入圖像尺度對(duì)應(yīng)的一張灰度圖。其生成的灰度圖中的高亮度區(qū)域代表具有顯著性物體，如汽車(chē)、人臉、字母等，并且服從高斯分布。根據(jù)特征融合理論（Feature Integration Theory），目前已有多種基于卷積神經(jīng)網(wǎng)絡(luò)的顯著性預(yù)測(cè)算法被提出（如DeepFix、SALICON等），并極大的提高了顯著性識(shí)別的精度。

2.2卷積神經(jīng)網(wǎng)絡(luò)概述

為生得到面向內(nèi)容的縮略圖截取坐標(biāo)，首先需要對(duì)圖像內(nèi)容進(jìn)行識(shí)別，并對(duì)圖像每個(gè)區(qū)域的重要程度進(jìn)行分類(lèi)。近年來(lái)由于GPU并行運(yùn)算性能的突破性進(jìn)步以及基于大數(shù)據(jù)技術(shù)的訓(xùn)練數(shù)據(jù)集擴(kuò)充，深度卷積神經(jīng)網(wǎng)絡(luò)（Deep Convolutional Neu-ral Networks，DCNNs）在包括圖像識(shí)別、目標(biāo)跟蹤及顯著性預(yù)測(cè)等多個(gè)圖像處理領(lǐng)域上的任務(wù)都取得了極大的提升。而預(yù)訓(xùn)練參數(shù)（Pretraining）與轉(zhuǎn)移學(xué)習(xí)（Transfer Learning）等技術(shù)進(jìn)一步提升了CNNs在多項(xiàng)圖像處理任務(wù)中的泛化能力及可用性，因此該文采用截?cái)郪GG19模型為預(yù)訓(xùn)練網(wǎng)絡(luò)，進(jìn)行顯著點(diǎn)識(shí)別及縮略圖。全卷積神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)的全連接神經(jīng)網(wǎng)絡(luò)類(lèi)似，均采用梯度下降算法對(duì)權(quán)值進(jìn)行更新。不同點(diǎn)在于，全卷積神經(jīng)網(wǎng)絡(luò)每次更新的值包括卷積核的值以及該卷積核的權(quán)值。

2.3網(wǎng)絡(luò)結(jié)構(gòu)

該文所采用的全卷積神經(jīng)網(wǎng)絡(luò)采用截?cái)嗟腣GGl9預(yù)訓(xùn)練模型的前10層組成。VGGl9由進(jìn)行圖像識(shí)別（物體分類(lèi)）的ImageNet數(shù)據(jù)集訓(xùn)練而成，可精確識(shí)別數(shù)據(jù)集中1000中物體分類(lèi)，故其所學(xué)習(xí)的卷積核參數(shù)包含有豐富的物體信息。

其中網(wǎng)絡(luò)的具體成分主要由10層卷積模塊及3層最大池化層組成，而卷積模塊依次由一層卷積層，一層批量歸一化層以及一層ReLU（Rectified Linear Unit）激活函數(shù)層組成。其中前8層卷積層由普通3×3大小，1×1步長(zhǎng)的卷積核組成，后兩層卷積層由帶2×2洞的3×3大?。ü蕦?shí)際感受野為5×5），步長(zhǎng)1×1的卷積核組成。

網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

2.4縮略圖生成

由全卷積神經(jīng)網(wǎng)絡(luò)識(shí)別并得到的顯著性圖為灰度值為0-255的灰度圖，大的灰度值代表高顯著性激活度。在得到對(duì)應(yīng)圖像的顯著性圖之后，方法采用步長(zhǎng)為10像素的滑動(dòng)窗口對(duì)顯著性圖進(jìn)行遍歷，并選擇所窗口內(nèi)激活程度最高的區(qū)域所處坐標(biāo)作為縮略圖截取坐標(biāo)。對(duì)于有多個(gè)相同激活值的區(qū)域則選取距離圖像中心最近的區(qū)域所處坐標(biāo)為縮略圖截取坐標(biāo)。最后通過(guò)對(duì)原始輸入圖像中對(duì)應(yīng)縮略圖截取坐標(biāo)進(jìn)行截取，得到最終縮略圖。

3實(shí)驗(yàn)設(shè)計(jì)

根據(jù)算法流程，該方法中實(shí)驗(yàn)設(shè)計(jì)也可分為兩部分：第一部分為訓(xùn)練用于得到顯著點(diǎn)坐標(biāo)的全卷積神經(jīng)網(wǎng)絡(luò)，第二部分為設(shè)計(jì)并實(shí)現(xiàn)基于顯著性圖的動(dòng)態(tài)步長(zhǎng)滑動(dòng)窗口方法。

3.1網(wǎng)絡(luò)參數(shù)及訓(xùn)練數(shù)據(jù)設(shè)置

該方法訓(xùn)練數(shù)據(jù)選自開(kāi)放數(shù)據(jù)集MIT1003及SALI-CONt31。實(shí)驗(yàn)采用批量訓(xùn)練方法，每批數(shù)據(jù)由128個(gè)樣本組成，共訓(xùn)練2000個(gè)批次。網(wǎng)絡(luò)采用絕對(duì)平均誤差（Mean AbsoluteError，MAE）為損失函數(shù)（如公式1所示），并采用改進(jìn)的梯度下降算法Adam算法進(jìn)行權(quán)值更新，以提高網(wǎng)絡(luò)魯棒性及收斂性。網(wǎng)絡(luò)收斂曲線(xiàn)如圖2所示。

3.2滑動(dòng)窗口設(shè)計(jì)

在得到輸入圖像的顯著性圖之后，所提方法通過(guò)滑動(dòng)窗口截取縮略圖，并通過(guò)自適應(yīng)步長(zhǎng)降低算法的時(shí)間復(fù)雜度。自適應(yīng)步長(zhǎng)通過(guò)由當(dāng)前窗口內(nèi)顯著性圖的平均激活值得到。步長(zhǎng)的最大分辨率為40像素，最小分辨率為5像素，當(dāng)當(dāng)前窗口內(nèi)平均激活值小于預(yù)設(shè)閾值時(shí)，下一次窗口的滑動(dòng)步長(zhǎng)增加為當(dāng)前步長(zhǎng)2倍，直至增大到最大分辨率步長(zhǎng)。當(dāng)當(dāng)前窗口呢平均激活值大于預(yù)設(shè)閾值時(shí)，則每一次滑動(dòng)減小位原步長(zhǎng)的1/2，直至衰減到最小分辨率步長(zhǎng)。

3.3實(shí)驗(yàn)結(jié)果

在驗(yàn)證及測(cè)試階段，采用的測(cè)量標(biāo)準(zhǔn)為AUC-Judd，相關(guān)系數(shù)（Correlation Coefficient）以及KL散度（Kullback-Leibler Diver-gence）。其中AUC-Judd越大越好，KL散度越小越好。訓(xùn)練收斂后以以上測(cè)量標(biāo)準(zhǔn)在MIT1003數(shù)據(jù)集上進(jìn)行了驗(yàn)證測(cè)試，所得結(jié)果如表一所示。表一表面該方法在顯著性預(yù)測(cè)上超過(guò)了傳統(tǒng)方法，取得了較好的結(jié)果。

圖3對(duì)所提方法得到的縮略圖進(jìn)行了直觀(guān)展示。從中可知所提方法在縮略圖生成的過(guò)程中對(duì)圖像本身信息進(jìn)行了有效提取且得到了有效的顯著性圖，并由該顯著性圖通過(guò)滑動(dòng)窗口得到了縮略圖所需的正確截取坐標(biāo)。最后得到的縮略圖對(duì)于原圖像本身信息具有高代表性，且并未損失分辨率信息。

4結(jié)束語(yǔ)

本文提出一種基于全卷積神經(jīng)網(wǎng)絡(luò)與顯著性預(yù)測(cè)的縮略圖生成算法，通過(guò)實(shí)驗(yàn)可知：利用預(yù)訓(xùn)練的全卷積神經(jīng)網(wǎng)絡(luò)，可根據(jù)圖像本身信息對(duì)圖像顯著點(diǎn)進(jìn)行有效提取，進(jìn)而由所得顯著點(diǎn)坐標(biāo)對(duì)原圖像進(jìn)行面向圖像顯著信息的縮略圖截取。該方法提高了縮略圖生成時(shí)的自適應(yīng)性。同時(shí)該方法還通過(guò)截?cái)囝A(yù)訓(xùn)練網(wǎng)絡(luò)以及動(dòng)態(tài)滑動(dòng)窗口步長(zhǎng)的方法降低了網(wǎng)絡(luò)所需存儲(chǔ)空間，運(yùn)行內(nèi)存消耗以及運(yùn)行時(shí)間復(fù)雜度。