劉鳳華， 李正偉， 劉小明, 楊 關

(中原工學院 計算機學院， 河南 鄭州， 450007)

隨著深度學習的發(fā)展，深度卷積網(wǎng)絡在解決各種視覺識別問題上取得了顯著進展。經(jīng)典的圖像識別網(wǎng)絡有AlexNet(2012)、VGGNet(2014)、GoogleNet(2014)、ResNet(2016)、SENet(2017)等。在數(shù)據(jù)集IamgeNet分類識別任務中，機器已經(jīng)超過了人類的識別水平。卷積神經(jīng)網(wǎng)絡模型在各種實現(xiàn)中逐漸成為圖像處理的主流，這種具有多階段圖像特征的學習網(wǎng)絡架構，通過監(jiān)督大量的訓練數(shù)據(jù)獲得性能的提高。然而，在測試過程中，這種強監(jiān)督學習的神經(jīng)網(wǎng)絡模型可能把不同于訓練集中的類別實例當作異常數(shù)據(jù)給出不可靠的低預測置信度，或者當作正常類別給出較高的預測置信度。新奇檢測能夠解決這一問題。新奇檢測是異常檢測的泛化，它關注訓練數(shù)據(jù)集中所沒有的新奇類別。例如工業(yè)異常檢測，流水線上的零件不可能都是合格的產(chǎn)品，需要設計圖像處理算法識別出殘次品。這就要求新奇檢測模型不僅要對訓練數(shù)據(jù)集中的正常類別對象進行準確識別，還要對訓練數(shù)據(jù)集之外的異常類別對象進行有效處理。新奇檢測是圖像識別從閉集假設到開集假設的一個重要的研究方向?，F(xiàn)實世界中的圖像種類是無法窮盡的，訓練數(shù)據(jù)集中不可能包括所有的圖像類別。針對現(xiàn)實世界的圖像識別任務，新奇檢測模型投入使用時輸入的圖像數(shù)據(jù)不可能都是訓練數(shù)據(jù)中的圖像類別，這就需要圖像識別模型能夠允許在正常的數(shù)據(jù)中有其他類別的異常樣本，測試時允許將未知的類別對象提交給算法。近幾年研究人員探索了終身學習[1-2]、轉移學習[3-4]、領域適應[5]、零樣本[6-8]、單樣本(少樣本)學習識別[4，9]。這些研究領域均和新奇檢測有著密切的關系。

1 研究現(xiàn)狀

從統(tǒng)計學的角度來看，新奇檢測通常發(fā)生在正常類別的數(shù)據(jù)分布是唯一可用的先驗知識情況下。例如，在相關的工業(yè)故障檢測現(xiàn)實場景中，工業(yè)故障的出現(xiàn)通常是毀滅性的和不可再現(xiàn)的，所以異常數(shù)據(jù)可能是非常罕見的，甚至是非常危險的，不可能依靠異常數(shù)據(jù)來評估工業(yè)機械的性能。因此，有必要依賴正常類別數(shù)據(jù)訓練模型。

統(tǒng)計方法通常側重通過學習概率模型的參數(shù)來建模正常類別的分布，將異常類別識別為概率較低的異常值?；诰嚯x的新奇檢測方法通過計算異常樣本和正常樣本的距離來識別離群點，假設正常類別相互接近，異常樣本則遠離正常類別的樣本。BREUNIG等提出了LOF( Local Outlier Factor)算法,它是基于K近鄰和密度估計的一種離群點檢測方法，用來發(fā)現(xiàn)那些有意義的異常值[10]。PAUL等介紹了KNFST變換(Kernel Null Foley-Sammon Transform)的多類新奇檢測,將每個已知類別的訓練樣本投影到核空間的一個點,通過計算測試樣本和類代表的投影之間的距離來獲得一個新奇測度[11]。LIU等改進了核零空間判別分析(KNDA)方法，提出了基于增量核零空間的判別分析(IKNDA)方法，顯著降低了計算的復雜性[12]。

深度學習方法出現(xiàn)后，新奇檢測的性能有了很大提高。由于異常數(shù)據(jù)點不具有稀疏表示，因此研究者們提出一系列自表示方法來檢測異常對象。WANG等采用基于生成對抗網(wǎng)絡(GAN[13])的方法，生成了與訓練數(shù)據(jù)相似的新樣本，證明了模型描述訓練數(shù)據(jù)的能力，可將正常數(shù)據(jù)的隱式描述轉換為一個新奇度評分[14]。XIA等通過減小自編碼器的重構誤差，從有噪聲的數(shù)據(jù)中剔除異常數(shù)據(jù)，并利用自編碼器的梯度大小使重構誤差對正樣本更具鑒別性[15]。然而，這些生成重建的方法在訓練階段都沒有考慮數(shù)據(jù)集的標簽信息。本文基于對抗自編碼器的生成概率新奇檢測[9]，通過學習一個自動編碼器網(wǎng)絡來刻畫正常類別數(shù)據(jù)分布流形；在數(shù)據(jù)訓練階段融入圖像的標簽信息，采用生成概率進行新奇檢測。因此，新奇檢測成為對測試樣本的概率評價：判斷生成概率是否低于訓練數(shù)據(jù)集中正常類別的概率閾值。

2 融合數(shù)據(jù)標簽的新奇檢測

2.1 對抗自編碼網(wǎng)絡模型

模型中的編碼器g和解碼器f組成自動編碼網(wǎng)絡。自動編碼網(wǎng)絡的訓練應該盡可能地接近數(shù)據(jù)的真實流形。如果流形M表示描述某種圖象類別的分布，編碼器g和解碼器f就能夠通過訓練學習重建生成此類圖像。模型使用編碼器g將圖像實例x映射到潛在空間Ω中，用潛在空間向量z表示。為了使z的每個分量都具有最大的信息量，分量應為獨立隨機變量。判別器Dz使訓練圖像數(shù)據(jù)的潛在空間Ω接近一個正態(tài)分布N(0,1)，通過解碼器f將潛在空間向量z重建成圖像數(shù)據(jù)x||。經(jīng)過大量數(shù)據(jù)的訓練，模型的神經(jīng)網(wǎng)絡參數(shù)得到固定，程序可自動隨機生成符合正態(tài)分布的向量z，將z輸入解碼器f，就可以生成正常類別的圖像。這就意味著自動編碼網(wǎng)絡具有了利用符合正態(tài)分布的隨機向量生成正常類別圖像的屬性。在潛在空間數(shù)據(jù)特征分布上進行采樣，能夠生成樣例x∈M。將自動編碼器重建生成的圖像x||和原圖像x輸入判別器Dx，能進一步提升重建生成的圖像質量。模型的總體架構如圖1所示。

圖1 模型整體架構示意圖

訓練數(shù)據(jù)集的標簽能夠增大測試數(shù)據(jù)集的正常類別和新奇類別特征之間的距離。本文將訓練數(shù)據(jù)集的標簽信息通過標簽詞嵌入的方式直接和圖像、圖像的潛在空間特征以及先驗假設正態(tài)分布融合。在標簽詞嵌入過程中，對標簽進行均勻分布的詞嵌入，并且對詞嵌入向量進行譜正則化處理[16]。

深度學習通過隨機梯度下降的方式來降低模型的損失函數(shù)，通過迭代學習來提升模型的性能。本文模型的損失函數(shù)包括3項：①使用對抗性損失匹配圖像數(shù)據(jù)潛在空間的分布與先驗正態(tài)分布；②使用對抗性損失匹配潛在空間的解碼圖像的分布和已知的訓練圖像數(shù)據(jù)的分布；③使用自動編碼器之間的損失評估解碼圖像和原圖像之間的差距，即自動編碼器的圖像重建誤差。

訓練好的網(wǎng)絡模型可以用來新奇檢測。對于某一個測試樣例圖像數(shù)據(jù)x，通過下式進行新奇檢測。

(1)

式中：γ是一個合適的閾值，Px(x)是圖像數(shù)據(jù)的生成概率。

圖2為新奇檢測示意圖。從圖中可以看出，對潛在空間向量z進行了兩個分支的處理：如果測試樣例圖像x的生成概率低于正常類別的閾值，就判定x屬于新奇類別；否則，判定x屬于正常類別。圖2中x||是圖像實例x經(jīng)過自動編碼網(wǎng)絡生成重建得到的圖像，識別器使用的是支持向量機(SVM)。

圖2 新奇檢測示意圖

2.2 損失函數(shù)

損失函數(shù)用來估量神經(jīng)網(wǎng)絡模型的預測值與真實值的不一致程度，它是一個非負實值函數(shù),通常使用來表示。損失函數(shù)越小，模型的魯棒性就越好。本文模型包括兩類損失：對抗損失和自動編碼損失。

2.2.1 對抗損失

對于判別器Dz，使用以下對抗損失:

E[log(Dz(N(0,1)+EmbedN(y)))]+

E[log(1-Dz(g(x+Embedx(y))))]

(2)

式中：EmbedN(y)表示對標簽y進行與正態(tài)分布N(0,1)相同維度均勻分布的詞嵌入并進行譜正則化；Embedx(y)表示對標簽y進行與圖像數(shù)據(jù)x相同維度均勻分布的詞嵌入并進行譜正則化。

編碼器g嘗試將圖像數(shù)據(jù)x編碼為潛在特征空間向量z，其分布接近正態(tài)分布N(0,1)。判別器Dz的作用是在神經(jīng)網(wǎng)絡模型的訓練過程中區(qū)分編碼器g產(chǎn)生的潛在空間向量z和先驗正態(tài)分布N(0,1)，最終使z接近正態(tài)分布N(0,1)。編碼器g試圖最小化對抗損失，而判別器Dz試圖最大化對抗損失。

同樣地，對判別器Dx使用對抗損失:

E[log(1-Dx(f(N(0,1)+EmbedN(y))))]

(3)

解碼器f試圖從潛在空間中的潛在向量z生成重建圖像數(shù)據(jù)x。判別器Dx的作用是在神經(jīng)網(wǎng)絡模型的訓練過程中區(qū)分解碼器f產(chǎn)生的生成樣例和實際圖像數(shù)據(jù)x，最終使生成圖像更接近原圖像。因此，編碼器f試圖使這個損失最小化，而判別器Dx試圖使它最大化。

2.2.2 自動編碼損失

模型聯(lián)合優(yōu)化了編碼器g和解碼器f，使屬于已知數(shù)據(jù)分布的輸入圖像數(shù)據(jù)x的重建誤差最小。

-Ez[log(P(f(g(x+EmbedX(y)))|x))]

(4)

通過最小化自動編碼損失，促使編碼器g和解碼器f更好地逼近訓練數(shù)據(jù)集正常類別的真實流形分布。

2.2.3 聯(lián)合損失

以上所有損失的總和為:

(x,y,g,DZ,DX,f)=adv-dz(x,y,g,DZ)+
adv-dx(x,y,DX,f)+λerror(x,y,g,f)

(5)

式中，λ是一個平衡重建誤差損失和其他損失的參數(shù)。

通過最小化式(5)，得到自動編碼器網(wǎng)絡的最優(yōu)解為:

(6)

本文模型采用隨機梯度下降法，對各損失分量進行交替更新訓練，通過訓練學習到網(wǎng)絡模型的參數(shù)。

3 實驗

MNIST數(shù)據(jù)集包含70 000張從0～9共10類手寫數(shù)字圖像，每一類手寫數(shù)字圖像有7 000張。神經(jīng)網(wǎng)絡模型訓練時，隨機從10類數(shù)字中抽取1類數(shù)字(例如數(shù)字7)的圖像數(shù)據(jù)類別作為正常類別進行模型訓練，其中圖像數(shù)據(jù)的60%用于訓練模型，20%用于驗證模型性能，20%用于測試模型性能。模型在訓練過程中的數(shù)據(jù)輸入、重建和生成如圖3所示。

圖3 數(shù)據(jù)輸入、重建與生成示例圖

對于驗證數(shù)據(jù)集和測試數(shù)據(jù)集，還可從其他9類手寫數(shù)字圖像中隨機抽取一定比例的數(shù)據(jù)，作為未知的新奇類別進行圖像增量測試模擬。在驗證階段,分別使用包含10%、20%、30%、40%、50%的新奇類別的數(shù)據(jù)集做新奇檢測。通過對訓練好的神經(jīng)網(wǎng)絡模型的驗證，找到一個合適的概率閾值γ。

F1是綜合考慮Precision(準確率)和Recall(召回率)的通用評價指標，可用來測量模型的效果，其定義公式分別為：

(7)

(8)

(9)

式中：Precision為預測結果是新奇類別的圖像，實際也是新奇類別的概率；Recall為真實結果是新奇類別的圖像被預測成新奇類別的概率；TP(True Positive)為真實值是新奇類別、預測值也是新奇類別的次數(shù)；FP(False Positive)為真實值是正常類別、預測值是新奇類別的次數(shù)；FN(False Negative)為真實值是新奇類別、預測值是正常類別的次數(shù)。

測試階段同樣使用包含10%、20%、30%、40%、50%新奇類別的數(shù)據(jù)集做新奇檢測，并根據(jù)測試結果，分別對TP、FP、FN進行統(tǒng)計，用來計算模型新奇檢測的F1值。

為了考察模型的魯棒性，用不同類別的手寫字體圖像(例如數(shù)字8)對神經(jīng)網(wǎng)絡模型重復進行上述訓練、驗證、測試步驟。經(jīng)過5次實驗，計算出新奇檢測模型的F1平均值。為評估本文模型的效果，選擇了4種常見的新奇檢測模型進行實驗對比。計算出各模型的F1得分,并根據(jù)得分繪制出新奇類別不同占比下F1得分折線圖，如圖4所示。

圖4 新奇類別不同占比下各模型的F1得分折線圖

本文模型在GPND模型[9]的基礎上融入了訓練數(shù)據(jù)集的類別標簽信息。從圖4可以看出，在不同新奇類別占比情況下，本文模型的F1得分都更高一些。由此可見，在模型訓練階段融入正常類別圖像數(shù)據(jù)的標簽信息是有效的。

4 結語

從閉集的圖像分類到新奇檢測，圖像識別正在呈現(xiàn)新的發(fā)展變化。本文介紹了一種基于對抗自編碼器的融合數(shù)據(jù)標簽新奇檢測模型，將訓練數(shù)據(jù)集中正常類別圖像數(shù)據(jù)的標簽信息融入到訓練過程中。通過與其他新奇檢測模型進行比較，證明了融合數(shù)據(jù)標簽的新奇檢測方法是有效的。