基于有效背景重構和對比度增強的Mura缺陷檢測

胡 亮， 胡學娟,3*， 黃圳鴻， 徐 露， 胡 凱， 張家銘

(1. 深圳技術大學 中德智能制造學院，深圳 518118；2. 廣東省先進光學精密制造重點實驗室，深圳 518118；3. 廣東省微納光機電工程重點實驗室，深圳 518118)

1 引 言

薄膜晶體管液晶顯示器(Thin Film Transistor-Liquid Crystal Display,TFT-LCD)作為新一代發(fā)展非常成熟的顯示器件，已經(jīng)成為電信息產(chǎn)業(yè)重要的核心硬件之一，其具有分辨率高、無幾何變形、輕薄和功耗低等優(yōu)點，廣泛應用于智能手機、數(shù)碼相機、平板、顯示器等電子設備[1]。由于其復雜的制造工藝，TFT-LCD在生產(chǎn)中不可避免地會產(chǎn)生各種類型的缺陷，主要分為表面缺陷和電氣缺陷。其中，Mura缺陷作為TFT-LCD表面缺陷中一種特殊的缺陷，通常具有對比度低、邊緣模糊、形狀不規(guī)則、檢測難度大等特點，主要表現(xiàn)為TFT-LCD顯示的局部亮度變化，會極大影響用戶的視覺感受和使用體驗[2]。當前，相關缺陷主要依靠人工視覺檢測，該方法存在檢測成本高、效率低、主觀性強等不足。因此，研究一種準確、快速且符合人眼視覺感知的Mura缺陷自動檢測方法顯得尤為重要。

目前，國內(nèi)外有關研究人員已經(jīng)提出了很多檢測Mura缺陷的方法，這些方法主要可分為特征提取法[3-5]和背景抑制法[6-13]。特征提取法是一種快速有效的直接提取Mura缺陷特征的方法。但是，該方法的適用性相對較低，只對具有某些相似特征或特征明顯的Mura缺陷有效。背景抑制法是通過背景重構和差分有效地從原始圖像中分割出Mura缺陷，是當前研究的主流方向之一。Tsai和Yun等人[6-8]分別提出了基于獨立成分分析以及基于主成分分析的背景重建方法來達到抑制Mura缺陷檢測過程中不均勻背景的影響。這些方法能夠很好地檢出Mura缺陷，但前期都需要人工操作去挑選出具有代表性的無缺陷樣本圖像，并且對于所檢測產(chǎn)品的規(guī)格、圖像的采集環(huán)境等都提出了較高的要求，整體的靈活性表現(xiàn)較差。一些研究者運用離散余弦變換[9-10]和離散小波變換[11]將圖像從空間域變換到頻率域，然后對高頻信息進行濾波來重構背景。這些方法計算簡單，但在復雜光照和不均勻缺陷背景下，低對比度的Mura缺陷和背景之間的界限比較模糊，背景抑制效果不佳。還有一些研究者運用曲面擬合的方法進行背景重構，如多項式曲面擬合[12-13]、雙三次B樣條曲面擬合[14]。這一類方法可以有效解決小尺寸Mura缺陷的檢測問題，但是如果缺陷區(qū)域很大，由于進行曲面擬合的圖像數(shù)據(jù)是整張圖像上的所有數(shù)據(jù)，則其中將包含大量的缺陷像素數(shù)據(jù)，這會給最終的擬合背景圖像造成較大干擾。另外，近年來隨著人工智能技術的不斷成熟和發(fā)展，許多學者將其逐步應用到Mura缺陷檢測中[15-16]，這為Mura缺陷檢測研究提供了一個新的方向。

對此，在對比分析前人研究的基礎上，本文提出了一種基于有效背景重構和對比度增強的Mura缺陷視覺檢測方法，能夠快速準確地檢測出多種類型的Mura缺陷。

2 算法描述

圖1所示為本文算法的主體流程，主要可分為以下3個步驟：

圖1 本文算法流程Fig.1 Flowchart of the proposed method

Step1：預估Mura缺陷區(qū)域——對待檢的TFT-LCD圖像進行離散余弦變換以初步消除圖像亮度不均的影響，再運用數(shù)學統(tǒng)計學方法對圖像進行逐行逐列處理，找出每一行和每一列中可能的缺陷區(qū)域并通過邏輯或操作對這些區(qū)域進行合并，得到預估的缺陷區(qū)域位置。

Step2：圖像有效背景重構——將step1中預估的缺陷區(qū)域像素剔除掉，運用多項式曲面擬合方法對剩下的像素進行背景擬合，獲得有效的背景重構圖像。

Step3：差分圖像增強和缺陷分割——運用基于Otsu的雙γ分段指數(shù)變換法對差分圖像進行增強處理，最后進行閾值分割將Mura缺陷從圖像中分離出來。

2.1 預估Mura缺陷區(qū)域

圖2(a)所示為一張含有Mura缺陷的TFT-LCD圖像，不難看出缺陷與背景的對比度非常低，背景的亮度也不均勻。此外，在圖像采集過程中還存在噪聲等因素的干擾，這些都給Mura缺陷的檢測增加了不少難度。為了更直觀地描述圖像的特征，這里將源圖像信號f(x,y)定義如下：

f(x,y)=b(x,y)+d(x,y)+n(x,y)，

(1)

其中，b(x,y)、d(x,y)、n(x,y)分別表示背景信號、缺陷信號以及噪聲信號。從頻域的角度看，背景b(x,y)主要為低頻信號，噪聲n(x,y)一般為高頻信號，而缺陷d(x,y)介于兩者之間，所以可以運用頻域變換的方法分離高、低頻信息以初步消除圖像背景亮度不均的影響，本文采用的是離散余弦變換。

2.1.1 離散余弦變換

離散余弦變換(Discrete Cosine Transform，DCT)是圖像處理中一種常見的頻域變換方法。其擁有非常強的“能量集中”特性，使得圖像的大部分能量都集中分布在DCT變換后的低頻部分，并且其計算復雜度較小[9]。在此基礎上，考慮運用該方法進行圖像背景重建。對于一幅M×N的圖像f(x,y)的離散余弦變換定義為：

(2)

式中:x,u=0,1,2,…,M-1，y,v=0,1,2,…,N-1，C(u,v)是變換后的DCT系數(shù)。

由式(2)可知，對圖像進行離散余弦變換后，會得到DCT系數(shù)矩陣C(u,v)，其從左上角到右下角的系數(shù)分別表示圖像中灰度平坦部分(低頻)、微小變化部分(中頻)、劇烈變化部分(高頻)。而前述分析中已知背景主要屬于低頻信號，因此它對應于DCT系數(shù)矩陣中的左上角。一般地，在重建過程中是選擇系數(shù)矩陣C(u,v)中第一行(u=0)和第一列(v=0)系數(shù)。但是在一些研究中[9-10]發(fā)現(xiàn)，這樣會在重建的背景圖像中產(chǎn)生正交的條紋噪聲。為了抑制條紋噪聲的影響，這里根據(jù)文獻[9]中提到的分別尋找u=0和v=0中DCT系數(shù)的拐點作為u和v方向的截止頻率，以進一步優(yōu)化用于初始背景重構的DCT系數(shù)，如式(3)所示。

(3)

式中，fu、fv分別表示u和v方向的截止頻率。最后對CB(u,v)系數(shù)進行如下離散余弦逆變換可以得到重構的背景圖像：

(4)

為了驗證所述理論在從背景中分離Mura缺陷的效果，運用此方法對圖2(a)中含有Mura缺陷的TFT-LCD圖像進行背景重建并產(chǎn)生差分圖像，圖2(b)、(c)分別表示DCT背景重建圖像、差分圖像。由圖2(b)、(c)可以看出，DCT背景重建可以從很大程度上將Mura缺陷從背景中分離，從而克服背景亮度不均的問題。

圖2 Mura缺陷區(qū)域預估結果Fig.2 Prediction result of Mura defect region

2.1.2 基于概率統(tǒng)計理論的Mura缺陷區(qū)域預測

由概率統(tǒng)計理論可知，對于一副灰度分布均勻的圖像，其大約有96%的像素灰度范圍集中在[μ-2σ,μ+2σ]，其中μ,σ分別表示圖像的灰度均值和標準差。而Mura缺陷雖然與背景的對比度很低，但在灰度值上通常比背景要低一些或者高一些，因此考慮運用概率統(tǒng)計理論來預估圖像中可能存在Mura缺陷的區(qū)域。此外，由于待檢圖像背景亮度不均，并且Mura缺陷的形態(tài)大小不一，所以不能直接運用統(tǒng)計學方法對待檢圖像進行缺陷區(qū)域預測，而是首先運用離散余弦變換重建背景圖像以消除背景亮度不均的干擾，在此基礎上再運用概率統(tǒng)計理論對差分圖像進行逐行逐列處理，找出每一行和每一列中可能的缺陷區(qū)域并通過邏輯或操作對這些區(qū)域進行合并，最終便得到預估的缺陷區(qū)域位置。其中將預測為缺陷區(qū)域的灰度值置為1，其余部分置為0。運用此方法對圖2中經(jīng)離散余弦變換后得到的差分圖像進行處理，得到的預估結果如圖2(d)所示。

2.2 圖像背景重構

在通過Step1將可能的Mura缺陷區(qū)域標記出來后，這些區(qū)域的像素會被剔除掉，而余下的像素數(shù)據(jù)(Irest(x,y))用來重構背景圖像。由于圖像的背景灰度可以用k階二元多項式模型fk(x,y)(式(5))近似逼近，并且重建精度高，所以本文采用多項式曲面擬合的方法對余下的像素數(shù)據(jù)Irest(x,y)進行背景重構。

(5)

其中，m,n,k均為整數(shù)。為了在計算速度和精度之間取得一個較好的平衡，這里取k= 3，具體的計算公式如式(6)所示。

Irest(x,y)=a00+a10x+a01y+a20x2+a02y2+a11xy+a12xy2+a21x2y+a30x3+a03y3+ε，

(6)

式中：x,y是用于重建背景圖像的像素的坐標值，ε是誤差項，a00,a01,…,a30是多項式中對應的系數(shù)。

為獲得一個最佳的背景擬合模型，這里運用最小二乘回歸，通過最小化殘差平方和來求解模型參數(shù)，即有：

Irest(x,y)=ZAA=(ZTZ)-1ZTIrest(x,y)，

(7)

圖3 基于缺陷預剔除的圖像背景重構結果Fig.3 Results of image background reconstruction based on defect region pre-elimination

其中：Z={1,x,y,x2,y2,xy,xy2,x2y,x3,y3}N×10,N為剔除預估缺陷區(qū)域后剩余的像素個數(shù)，A=[a00,a10,a01,a20,a02,a11,a12.a21,a30,a03]T為待求的系數(shù)矩陣。根據(jù)式(7)，求解出系數(shù)矩陣，從而可以得到重建的背景圖像。

在大量的實驗中我們發(fā)現(xiàn)，刪除式(6)中的交互項(xy,xy2,x2y)后，也能取得很好的重建效果，并且可以從一定程度上減少計算時間，簡化后的計算公式如式(8)所示。

Irest(x,y)=a00+a10x+a01y+a20x2+a02y2+a30x3+a03y3+ε.

(8)

運用式(8)以及最小二乘法對圖2(a)中剔除預估Mura區(qū)域像素后的圖像數(shù)據(jù)進行曲面擬合，獲得的重建結果如圖3(b)所示。

2.3 差分圖像增強和閾值分割

為抑制背景干擾，在獲得重構背景圖像后，將原圖與重構背景圖像做差得到差分圖像，如圖4(a)所示。

從圖4(a)中可以看出，獲得的差分圖像中Mura缺陷區(qū)域的對比度仍比較低，對此我們引入了一種基于最大類間方差的雙γ分段指數(shù)變換[10]，以進一步抑制圖像的背景信息，增強Mura目標區(qū)域的對比度。該方法首先運用Otsu法對差分圖像進行處理得到一個最佳閾值k，并將該閾值作為分段變換的分段點，然后對灰度值在[0，k]和[k+l，L-1]之間的部分分別做參數(shù)為γ1、γ2的伽馬變換，變換公式如式(9)所示：

圖4 差分圖像增強Fig.4 Differential image enhancement

(9)

式中I(x,y)為原圖像的灰度值，O(x,y)為經(jīng)過分段伽馬變換后圖像的灰度值。γ2= 1/γ1=γ，且γ的最優(yōu)取值范圍為1.2～1.8, 本文取γ=1.5。運用該變換對銳化處理后的差分圖像進行處理，得到對比度增強圖像，如圖4(b)所示。

圖5 Mura缺陷分割結果Fig.5 Segmentation result of Mura defect

從圖4(b)可以看出，運用基于最大類間方差的雙γ分段指數(shù)變換對差分圖像進行對比度增強后，增大了閾值點左右兩側部分的灰度值差距，從而使圖像中目標區(qū)域的對比度和輪廓度得到了一定程度的增強。最后進行缺陷分割。在這一處理過程中，由于考慮到全局的閾值分割經(jīng)常容易受到噪聲的影響產(chǎn)生誤分割。而相比之下，動態(tài)閾值分割是一種比較靈活的、抗噪聲能力強的局部分割，它可以對圖像中的不同區(qū)域自適應地選擇符合該區(qū)域灰度分布特征的閾值。因此，本文最后運用動態(tài)閾值分割方法，可以快速有效地將Mura缺陷從圖像中直接分離出來，分割結果見圖5。

3 實驗設計與分析

3.1 主觀定性分析

圖6 實驗結果。 (a)列為原始圖像，(b)列為文獻[10]的分割結果，(c)列為文獻[12]的分割結果，(d)列為本文方法分割結果。Fig.6 Experimental results. The column (a) is original images, the column (b) is detection results of the method in Ref. [10], the column (c) is detection results of the method in Ref. [12], thecolumn (d) is detection results of the proposed method.

為檢驗所提出的算法，本文設計了Mura缺陷檢測實驗來測試算法對Mura缺陷的檢測性能。受條件限制，無法采集更多的帶有Mura缺陷的圖像，這里選取帶有幾種典型Mura缺陷的TFT-LCD圖像作為實驗樣本，如圖6(a)列所示。依次輸入這些缺陷樣本圖像，并分別采用離散余弦變換法(DCT)[10]、多項式曲面擬合法[12]以及本文方法進行實驗，其結果如圖6(b)～(d)列所示。

對比幾種方法的檢測結果，可以看出：對于面積比較小的點狀Mura缺陷，3種方法都能取得較好的效果。但是對于線狀、環(huán)狀等面積相對較大的Mura缺陷，運用離散余弦變換法和多項式曲面擬合法都或多或少地會帶有背景殘差，而本文方法則具有更好的檢測結果。然而，當缺陷區(qū)域面積非常大時，如圖6最后一行所示，本文方法和其他兩種方法都沒有正確檢出，均造成了不同程度上的誤檢。這是由于缺陷區(qū)域面積很大，而本文方法會預估缺陷區(qū)域并剔除這些可能的缺陷像素數(shù)據(jù)，所以剩余用來重建的背景像素數(shù)據(jù)就很少，導致重建的背景圖像精度降低，最后便造成了一些區(qū)域的誤分割。

3.2 客觀定量評價

在實際應用中，檢出率是衡量一種缺陷檢測算法好壞的一個廣泛使用且非常重要的評判指標。另外，由于Mura缺陷與背景的對比度非常低，并且很多待檢圖像本身亮度也不均勻，在檢測過程中極易將某一背景區(qū)域當做是Mura缺陷，從而造成誤檢?；诖?，這里綜合運用檢出率和誤報率兩個指標來衡量該檢測算法的準確性與穩(wěn)定性。其中檢出率、誤報率的計算公式分別如式(10)、(11)所示：

(10)

(11)

實驗中采用了200張(45張含有不同Mura缺陷 + 155張無缺陷)TFT-LCD 樣本圖片進行測試，并將本文算法的測試結果與離散余弦變換法、多項式曲面擬合法的測試結果進行對比，實驗結果如表1所示。

將最終的分割結果與真實存在Mura缺陷區(qū)域進行對比，發(fā)現(xiàn)離散余弦變換法有4張圖片沒有檢測出來，多項式曲面擬合法有2張Mura
圖片沒有檢測出來，而本文方法共正確檢測出44張。另外，離散余弦變換法和多項式曲面擬合法的誤報率分別為26%、11%，而本文提出的算法僅為2%。對比幾種方法的實驗數(shù)據(jù)可以看出，本文提出的Mura缺陷檢測算法在檢出率和無誤報率兩個指標上均達到了97%以上，表現(xiàn)出較高的檢測準確性和穩(wěn)定性。

表1 不同檢測方法的實驗結果Tab.1 Experimental results of different detection methods

4 結 論

根據(jù)Mura缺陷對比度極低的特點以及TFT-LCD圖像亮度不均的性質，提出基于缺陷區(qū)域預剔除的有效背景建模和對比度增強的Mura缺陷檢測方法，能很好地消除TFT-LCD自身亮度不均對缺陷檢測的影響，同時能有效地增強Mura缺陷特征。最后，運用動態(tài)閾值分割方法可以準確地分割出Mura缺陷區(qū)域。通過實驗對比分析可知，與離散余弦變換、多項式曲面擬合相比，本文方法能夠獲得更精確的Mura缺陷檢測，并且能有效減少誤檢區(qū)域。此外，該方法對于其他領域具有低對比度特點的缺陷檢測，如帶鋼表面低對比度弱小缺陷檢測、磁瓦表面裂紋檢測等也具有一定的借鑒意義。