基于手繪草圖的自然紋理圖像感知分析與檢索

劉 焱

(青島酒店管理職業(yè)技術學院 工商管理系，山東 青島 266100)

引言

圖像檢索是一種通過給定查詢方法在大型數(shù)據(jù)庫中查找相似圖像的技術?；谑掷L草圖的圖像檢索是圖像檢索的一個分支。手繪草圖與自然圖像具有較大差異，沒有豐富的顏色信息和紋理信息，因此，將草圖的特征與自然圖像的特征進行匹配是一項非常困難的任務。圖像檢索[1]主要有兩種方法：距離度量法和分類法。距離度量法是通過計算兩個圖像的兩個特征之間的距離來顯示最相似的圖像[2,3]。分類法則是通過分類模型對檢索目標的類別進行預測從而實現(xiàn)檢索，最常用的分類模型一般為支持向量機或K最近鄰模型[4]。

在手繪草圖的檢索領域，Peng[5]提出了一種跨模態(tài)子空間學習方法，在語義上建立了跨越兩種模態(tài)的公共低級子空間，有效實現(xiàn)了跨模態(tài)草圖檢索。Swain[6]提出了顏色直方圖方法，通過計算圖像中每個顏色像素的比例以及它們之間的相似性從而獲得顏色直方圖。Seddati[7]提出的DeepSketch，使用深度卷積神經(jīng)網(wǎng)絡來獲取ConvNets特征，并使用k最近鄰進行草圖相似度搜索。當前基于手繪草圖的檢索大多數(shù)針對自然圖像，而很少在紋理上進行。

紋理檢索通常包括特征計算和圖像檢索兩個步驟。[8]紋理的計算特征可以概括為傳統(tǒng)手工特征和深度特征。傳統(tǒng)手工特征以Gabor和LBP[9]為例，在目標識別和圖像分類領域取得了良好的實驗結果。深度特征主要是指通過深度卷積網(wǎng)絡提取的特征，是數(shù)據(jù)的高級表示，常見模型包括自動編碼器，稀疏編碼，受限玻爾茲曼機(RBM)，深度置信網(wǎng)絡(DBN)和卷積神經(jīng)網(wǎng)絡(ConvNet)，通過卷積神經(jīng)網(wǎng)絡學習的深度特征在許多計算機視覺任務中表現(xiàn)出與傳統(tǒng)手工特征相當?shù)纳踔粮叩男阅躘10]。

本文提出了一種基于手繪草圖的自然紋理圖像檢索框架。通過將手繪草圖的特征與自然紋理圖像的特征進行拼接，獲得了具有人類感知約束的新特征向量，隨后將成對的特征送入隨機森林模型進行訓練，學習手繪草圖與自然紋理圖像之間的相似性，并基于感知相似性預測實現(xiàn)了手繪草圖檢索過程，實驗結果證明了該方法的可行性。

1. 心理物理學實驗

1.1 自然紋理數(shù)據(jù)

本文中選擇的數(shù)據(jù)庫是DTD數(shù)據(jù)集[11]，包含47個類別，每類120個自然紋理圖像，總共5640個自然紋理圖像。在我們的實驗中，從每個類別中隨機選擇了10張，總共470張自然紋理圖像形成了一個名為DTD-R的新實驗數(shù)據(jù)集，如圖1所示。這是因為心理物理實驗對實驗數(shù)據(jù)量有限制，因此該實驗無法同時處理過多的數(shù)據(jù)。在DTD-R數(shù)據(jù)集中，我們進行了自由分組實驗和手繪草圖收集實驗。

圖1 DTD-R數(shù)據(jù)集中的典型自然紋理圖像

1.2 自由分組實驗

1.2.1 實驗方案

實驗在470張自然紋理圖像中進行。實驗分為自由分組實驗和分組合并實驗兩部分。

1)自由分組

(1)使用同一臺打印機打印470個樣本，并將其隨機分為10組，一組中有47個樣本。

(2)實驗期間，將一組中的47個樣本散布在桌面上。被試者應仔細觀察樣品，并根據(jù)其相似性自由分組。一組中的樣本應該顯示出高度相似性，而不同組中的樣本應該表現(xiàn)出無相似性。組的數(shù)量和一組中的樣本數(shù)量不受限制。被試者可以在實驗期間自由移動樣本。

(3)將47個樣本分組后，被試者應再將47個樣本分組，也就是說，應將這些樣本放入現(xiàn)有的組或新的組中。被試者可以新建、合并、刪除組。

(4)重復分組實驗，直到完成10組。應該注意的是，一個自然紋理圖像不能作為一個組使用，并且在自由分組實驗的過程中沒有時間限制。

2)分組合并

(1)自由分組實驗后進行分組合并實驗。被試者需要對自由分組后的樣本進行合并，合并的數(shù)量沒有限制。在實驗過程中，被試者可以自由合并組，但不能拆開組。只有當不同組之間存在相似性時，才可以進行組的合并，并且記錄合并組的置信度。

(2)重復合并步驟，直到被試認為沒有組可以合并為止。

1.2.2 實驗結果分析

根據(jù)心理實驗的結果，計算了470種自然紋理圖像的感知相似度矩陣Stexture和47個不同類別的感知相似度矩陣Sclass。

(1)

在分組合并實驗中，根據(jù)被試者提供的置信度，將原本的感知相似性與置信度相乘，并將它們添加到自由分組矩陣中。相似度矩陣公式為：

(2)

其中α是分組組合實驗中的置信度，Stexture中的元素Sm,n表示樣本m和樣本n的相似系數(shù)。Sm,n越接近1，代表更多的被試者將兩個樣本分為一組，即樣本對(m，n)彼此越相似。

自由分組實驗獲得的紋理相似度矩陣Stexture如圖2所示。橫坐標和縱坐標表示不同的紋理樣本，樣本的相似性用灰度深淺表示。坐標點(m，n)上灰度的深淺表示樣本m和樣本n之間的相似性。顏色越深，樣本之間的相似度越高。從圖2可以看出，大多數(shù)子塊的顏色趨于白色，數(shù)據(jù)顯示不同類別的紋理樣本之間的相似度非常低，而同一類別的紋理之間的相似度很高。

圖2 通過自由分組實驗獲得的470×470紋理感知相似度矩陣

1.3 手繪草圖收集實驗

1.3.1 實驗方案

為被試者提供了自然紋理圖像和帶有方框的A4紙張，要求使用鉛筆進行繪制。十名被試者分別繪制了20幅草圖，兩名具有繪畫經(jīng)驗的被試者繪制了470幅圖像。每次計算機顯示紋理時，被試者將根據(jù)紋理圖像繪制草圖，并在繪制后寫下紋理編號。被試者繪畫沒有時間限制，繪畫期間他們可以隨時休息。繪制后，收集所有被試者繪制的草圖并使用HP(M1552n)掃描儀進行掃描，分辨率設置為300像素。

1.3.2 實驗結果分析

實驗中總共收集了1140張手繪草圖。使用MATLAB對掃描的圖像進行剪切和二值化處理，可獲得手繪紋理草圖的DTD-S數(shù)據(jù)集。原始紋理圖像a和相應的手繪草圖b如圖3所示。

圖3 自然紋理圖像和相應的手繪草圖

被試者手繪草圖的時間略有不同，花費時間為5 min，470個手繪草圖大約花費40 h，這些數(shù)據(jù)非常有價值。兩名未參與草圖收集實驗的被試者參加了驗證實驗，用來驗證手繪草圖是否可以代表自然紋理圖像。在驗證實驗中，手繪草圖和在自然紋理圖像同時顯示在計算機屏幕上，被試者使用Y/N來確定手繪草圖是否與相應的自然紋理圖像一致。實驗證明，手繪草圖能有效代表原自然紋理圖像。

2. 基于手繪草圖的紋理檢索

2.1 特征提取和距離計算

特征提取是紋理檢索過程中非常重要的部分。合理的特征選取將大大提高檢索的準確性和效率。本文測試了四個代表性的計算特征，包括Gabor，LBP，PCANet[12]和VGGNet[13]。其中，Gabor，LBP是手工設計的特征提取方法，PCANet和VGGNet是通過深度學習方法提取特征，相應的特征可以稱為深度特征。這些特征在不同的紋理數(shù)據(jù)集上均取得了良好的分類結果。

距離測量廣泛用于紋理檢索和紋理相似度估計。為了測試上述四個計算特征是否能很好地代表手繪草圖和原始紋理圖像，我們使用距離測量來計算草圖之間的距離和相應的自然紋理之間的距離，并使用計算得出的距離。距離度量是余弦相似度：

sim(Fimg1，F(xiàn)img2=/‖

(3)

(Fskth1，F(xiàn)skth2)=/‖F(xiàn)skth1‖‖F(xiàn)skth2‖

(4)

其中Fimg1和Fimg2代表數(shù)據(jù)庫中紋理圖像的特征向量，F(xiàn)skth1和Fskth2表示相應草圖的特征向量。根據(jù)該公式，可以計算出自然紋理之間的相似度和草圖之間的相似度。在上述四個特征空間上計算距離，并計算不同紋理和相應草圖之間的相關系數(shù)。

表1 紋理和草圖之間的相關系數(shù)

從表1可以看出，原始自然紋理圖像與相應的手繪草圖之間存在一定的相關性，不同特征計算出的相關性差異較大。我們希望找到一個有效的特征，可以描述自然紋理圖像和對應的手繪草圖。

考慮到傳統(tǒng)手工特征和深度特征的不同屬性，將傳統(tǒng)手工特征和深度特征組合在一起，然后將它們發(fā)送到自動編碼器進行編碼，并重建輸入特征。實驗參數(shù)設置為：λ(1e-11)，β(0.001)，并且每個層的稀疏度都設置為0.1。減小輸入要素的維數(shù)，并得到與原始要素具有相同表示的低維特征。我們使用相關性分析測試了不同的特征組合和不同尺度特征的相關性，實驗結果如表2所示。

表2 組合特征的相關系數(shù)

從表2可以看出，由自動編碼器編碼的組合特征具有較強的表達能力，可以更好地表現(xiàn)自然紋理和手繪草圖。其中，Gabor特征和PCANet特征的組合獲得了最佳的實驗結果。

為了測試基于草圖的檢索中上述不同特征的性能，我們嘗試了傳統(tǒng)的距離度量。表3顯示了選定的手繪草圖和檢索到的自然紋理圖像。表格的第一列顯示了隨機選擇的手繪草圖，第二列顯示了相應的參考自然紋理圖像，第3列代表在不同特征空間中最接近手繪草圖的三個自然紋理圖像，分別使用LBP，Gabor，PCANet，VGGNet，LBP+PCANet，LBP+VGGNet，Gabor+PCANet，Gabor+VGGNet特征進行檢索的結果。

表3 基于距離測量的檢索結果

從表3可以看出，在這些特征空間中，距離度量方法無法根據(jù)手繪草圖檢索出所需的自然紋理圖像，并且檢索到的結果與視覺中的真實值有很大差異，無法滿足要求。

2.2 檢索框架的設計

由于手繪草圖非常抽象，簡單的距離度量方法不能有效判斷手繪草圖與自然紋理圖像之間的距離，基于距離度量的手繪草圖檢索不適用于自然紋理圖像，并且距離度量僅對手繪草圖和自然紋理圖像之間的關系約束較弱。因此，我們提出了一種基于隨機森林的手繪草圖檢索方法。

隨機森林可以用于學習手繪草圖與自然紋理圖像之間的相似性。在學習了兩個圖像之間的相似性之后，它會根據(jù)手繪草圖與所有其他自然紋理圖像之間的相似性進行排序，輸出較高相關度的圖像，以獲得最終的檢索結果。

圖4 相似性預測和紋理檢索的過程

在感知紋理空間中，任意兩個紋理之間的心理物理相似度值從0到1變化。如果相似度值近似為1，則表示兩個紋理高度相似。如果相似度值近似為0，則表示兩個紋理彼此非常不同。根據(jù)使用不同方法從樣本中提取的心理物理相似度值和特征，可以基于隨機森林訓練相似度預測模型。

給定查詢紋理，使用訓練好的隨機森林模型預測的感知紋理空間中的相似度值，在檢索中使用根據(jù)距離測量在感知空間中獲得的相似度值來獲得檢索結果。由于手繪草圖與自然紋理之間沒有直接相似性數(shù)據(jù)，因此我們將通過心理物理實驗獲得的相應成對自然紋理圖像之間的相似性值用作訓練標簽，使用隨機森林模型可以預測兩者之間的相似性。我們使用歐幾里得距離作為測量標準來計算距離測量。歐幾里得距離公式：

(5)

其中x和y表示輸入的特征草圖和紋理，D(x，y)是向量x和向量y之間的距離，特征的維數(shù)是n。兩個特征之間的距離變小，代表兩個紋理之間的相似度逐漸增加?；陬A測的相似度值，將輸出具有最高相似度值的紋理。相似性預測和紋理檢索的過程如圖4所示。

2.3 檢索實驗結果

我們使用表2中測試性能最佳的計算特征，Gabor+PCANet特征，用于在本文提出的框架下進行檢索實驗。在訓練過程中，提取手繪草圖的Gabor特征和PCANet特征，然后將其與自然紋理數(shù)據(jù)集中自然紋理的計算特征相結合，并送到隨機森林中，使用從心理物理實驗獲得的相似性矩陣作為訓練標簽進行訓練。我們隨機選擇了2820張圖像(60張圖像/類別×47個類別)和1000個草圖作為訓練數(shù)據(jù)，其余的2820張圖像(60張圖像/類別×47個類別)和140個草圖作為測試數(shù)據(jù)。實驗過程如下：

(1)提取手繪草圖的計算特征，然后與離線存儲的自然紋理計算特征相結合；

(2)發(fā)送到經(jīng)過訓練的隨機森林回歸模型中進行相似性預測。

(3)在感知空間中比較相似性值，對所有紋理對的相似性進行排序，并輸出前三個相似性最高的紋理圖像作為檢索結果。實驗結果如表4所示。

表4 基于隨機森林的檢索結果

從結果可以清楚地看到，使用隨機森林訓練的模型預測相似性值獲得的檢索結果符合給定紋理的外觀。實驗結果表明，本文提出的檢索方法可以有效地完成紋理檢索，檢索結果與人類視覺感知一致。

此外我們還進行了分類檢索實驗。檢索實驗完成后，我們判斷輸出TOP40的紋理是否與查詢紋理屬于同一類別。表5中顯示了10倍交叉驗證的準確性。

表5 分類準確性

實驗表明，本文的方法可以有效地利用手繪草圖進行分類和檢索，使用Gabor+PCANet特征獲得最佳分類結果。

當前，在基于草圖的識別和檢索中，常用的數(shù)據(jù)集大部分是物體的數(shù)據(jù)集，而沒有用于紋理圖像的手繪草圖。為此，本文設計了一個草圖收集實驗，該實驗從經(jīng)典的紋理圖像數(shù)據(jù)集DTD中選擇了具有代表性的紋理圖像，邀請多個被試者參考給定的紋理進行繪制，收集了上千幅紋理手繪草圖，創(chuàng)建了手繪的自然紋理圖像數(shù)據(jù)集。

我們將傳統(tǒng)手工特征Gabor和深度特征PCANet相結合，有效地表示手繪草圖和自然紋理圖像，構建了基于手繪草圖的自然紋理圖像檢索框架。將手繪草圖紋理特征與自然紋理圖像特征相組合，獲得具有人類感知約束的新特征向量，并將組合后的特征向量用于訓練隨機森林回歸模型。通過與自由分組的心理物理實驗獲得的紋理圖像之間的感知相似性進行對比驗證，證明該模型可有效應用于檢索。

3. 結語

基于手繪草圖的圖像檢索是圖像檢索的一個重要分支，在使用手繪草圖進行檢索的時候，由于手繪草圖存在內(nèi)容不詳細，信息量少，變形嚴重等缺點，導致草圖和自然圖像之間存在巨大差異，很難實現(xiàn)匹配，因此找到可靠的特征來同時表征自然圖像和手繪草圖非常重要。針對自然紋理圖像和手繪紋理草圖，本文提出了一種基于隨機森林紋理相似度預測的紋理檢索新方法。實驗證明，該方法能夠預測手繪草圖與自然紋理之間的感知相似度，并且得到與人類的視覺感知相一致的檢索結果。

盡管隨機森林方法取得了較好的結果，但是模型訓練所需的時間仍然是需要改進的主要瓶頸。由于手繪草圖中缺少大量信息，因此某些檢索實驗無法獲得所需的結果。此外，具有心理信息的紋理的數(shù)量是有限的，為了獲得更好的檢索結果，需要在模型訓練過程中應用更多具有相似性的紋理。