歐陽(yáng)韜

（上海交通大學(xué)電子信息與電氣工程學(xué)院，上海200240）

基于機(jī)器視覺(jué)的OLED屏混色缺陷檢測(cè)算法

歐陽(yáng)韜

（上海交通大學(xué)電子信息與電氣工程學(xué)院，上海200240）

OLED屏的混色缺陷表現(xiàn)為面板上低對(duì)比度、色彩不均一的區(qū)域，具有背景整體亮度不均、各個(gè)通道灰度變化都不明顯等特點(diǎn)，因此用基于機(jī)器視覺(jué)的方法從圖像中分割出來(lái)缺陷是非常困難的。借鑒檢測(cè)Mura缺陷的算法，首先用正交多項(xiàng)式的曲面擬合方法去構(gòu)造一張背景圖，再用原圖與背景圖相減，得到疑似缺陷的區(qū)域，然后針對(duì)混色缺陷自身的特點(diǎn)，提出一種基于面板像素周期性排布的檢測(cè)方法，最后通過(guò)設(shè)定的閾值篩選出真正的缺陷。實(shí)驗(yàn)結(jié)果表明，該方法對(duì)混色缺陷的檢測(cè)比較有效，且算法簡(jiǎn)單，實(shí)時(shí)性高，易于實(shí)現(xiàn)。

0 引言

隨著信息顯示技術(shù)的不斷發(fā)展，有機(jī)發(fā)光二極管（OLED）顯示屏的生產(chǎn)工藝日益成熟，越來(lái)越多的顯示屏制造廠商開(kāi)始投入資金批量生產(chǎn)OLED顯示屏。比起液晶顯示LCD，OLED具有畫(huà)質(zhì)均勻、視角廣闊、反應(yīng)速度靈敏、可制作成撓曲式面板等優(yōu)點(diǎn)，同時(shí)OLED為自發(fā)光材料，不需要用到背光板，用簡(jiǎn)單驅(qū)動(dòng)電路即可達(dá)到發(fā)光，制程簡(jiǎn)單，因此備受廠商和消費(fèi)者青睞，OLED作為下一代新型顯示技術(shù)也逐漸被業(yè)界視為主流發(fā)展趨勢(shì)[1]。

為了防止不理想的OLED產(chǎn)品流入市場(chǎng)，這就需要專業(yè)的質(zhì)檢人員來(lái)檢測(cè)面板上面的缺陷，但是用人眼檢測(cè)需要更高的勞動(dòng)力成本，而且不同的質(zhì)檢人員針對(duì)同一面板的檢測(cè)結(jié)果可能都不太一樣，即便同一人檢測(cè)，受人類(lèi)情緒變化等主觀因素影響，也難以避免檢測(cè)結(jié)果不一致的情況。這些都不利于大規(guī)模的工業(yè)生產(chǎn)。因此，研究出相應(yīng)的自動(dòng)檢測(cè)算法讓機(jī)器視覺(jué)代替人眼檢測(cè)已成為一個(gè)緊迫的任務(wù)。

OLED顯示屏在制作過(guò)程中主要會(huì)存在點(diǎn)缺陷、線缺陷和混色缺陷[2]，而混色缺陷可以看做是帶有顏色的Mura缺陷。通常來(lái)說(shuō)，Mura缺陷表現(xiàn)為面板上低對(duì)比度、亮度不均一的區(qū)域，而混色缺陷是特定顏色畫(huà)面或者特定灰階畫(huà)面下低對(duì)比度、色彩不均一的區(qū)域，如圖1所示。比起亮度不均一的Mura缺陷（如圖2所示），這種顏色不均一的混色缺陷對(duì)比度更低，而且需要一定角度才能觀察拍攝到，所以檢測(cè)起來(lái)更加困難。

圖1 混色缺陷樣圖

圖2 Mura缺陷樣圖

目前，針對(duì)面板的Mura缺陷已有很多的自動(dòng)檢測(cè)算法被提出。Xin Bi等人[3]提出了一種使用水平集來(lái)進(jìn)行圖像分割的方法來(lái)檢測(cè)缺陷；盧小鵬等人[4]改進(jìn)了Chan-Vese模型來(lái)實(shí)現(xiàn)對(duì)Mura缺陷的快速分割；Yu-Bin Yang等人[5]使用奇異值分解和離散余弦變換來(lái)重構(gòu)背景圖像，計(jì)算出差異圖后再檢出缺陷；Xin Bi等人[6]利用實(shí)Gabor濾波器來(lái)增強(qiáng)Mura缺陷；Hao-Chiang Shao[7]提出了一種從低對(duì)比度圖像中去除相對(duì)高頻成分的算法來(lái)減少對(duì)圖像增強(qiáng)的干擾；Du-Ming Tsai等人[8]把要檢測(cè)的圖像用一些基本圖像的線性組合去表示，而其系數(shù)就可以反映出Mura缺陷，在此基礎(chǔ)上再進(jìn)行分析判斷；李坤等人[9]提出一種基于B樣條曲面擬合的背景抑制方法，用原始圖像減去擬合背景，從而消除亮度不均勻背景對(duì)缺陷分割造成的影響；Jong-Hwan Oh等人[10]在小波域上實(shí)現(xiàn)對(duì)圖像的增強(qiáng)，從而檢出低對(duì)比度的Mura缺陷；Din-Chang Tseng等人[11]提出一種用多張圖累加并且進(jìn)行多分辨率下背景圖相減的方法，這種方法檢測(cè)Mura缺陷也有比較好的效果。

然而針對(duì)OLED顯示屏的混色缺陷還很少有對(duì)應(yīng)的自動(dòng)檢測(cè)算法。Giljoo Nam等人[12]提出了一種檢測(cè)混色缺陷的方法，但卻局限于使用HDR圖像進(jìn)行分析。HI Son[13]提出了一種通過(guò)衍射圖來(lái)檢測(cè)彩色區(qū)域的方法，但也局限于用線掃描相機(jī)拍攝的圖。T Asa?no等人[14]提出了一套檢測(cè)彩色不均一區(qū)域的系統(tǒng)，但他們針對(duì)的是CRT顯示屏，而OLED顯示屏的缺陷會(huì)微弱很多。本文借鑒了檢測(cè)Mura缺陷的算法，首先用改進(jìn)后的基于正交多項(xiàng)式的曲面擬合方法去構(gòu)造一張背景圖，再用原圖與背景圖相減，得到疑似缺陷的區(qū)域，然后針對(duì)混色缺陷自身的特點(diǎn)，提出了一種基于面板像素周期性排布的檢測(cè)方法，最后通過(guò)設(shè)定的閾值篩選出真正的缺陷。實(shí)驗(yàn)結(jié)果表明，本文提出的方法對(duì)即便比較微弱的混色缺陷，檢測(cè)效果仍然不錯(cuò)，且算法簡(jiǎn)單，實(shí)時(shí)性高，易于實(shí)現(xiàn)。

1 基于正交多項(xiàng)式的曲面擬合算法

在背景的曲面擬合過(guò)程中，二維空間上的離散正交多項(xiàng)式可以由兩組一維正交多項(xiàng)式的張量積來(lái)構(gòu)造 。 設(shè){P0(r)=1,P1(r),…,PN(r)}和{Q0(c),Q1(c),…,QM(c)}分別是集合R和集合C上的離散正交多項(xiàng)式，則{P0(r) Q0(c),…,Pm(r) Qn(c),…,PN(r) QM(c) }是二維對(duì)稱集合R×C上的離散正交多項(xiàng)式。

因?yàn)樵谶@個(gè)問(wèn)題中我們只需考慮不超過(guò)3階的，所以當(dāng)R=C={- 2,-1,0,1,2}時(shí)，在集合R×C上的正交多項(xiàng)式為{1,r,c,r2-a,rc,c2-a,r3-br,(r2-a) c,r(c2-a),c3-bc}

對(duì)于工業(yè)相機(jī)采集到的彩色圖像，先分解為R、G、B三個(gè)通道，對(duì)于每個(gè)通道采用WangZhenyao和MaL?ing[15]改進(jìn)后的曲面擬合算法。

我們將使用gi(r ,c),i=1,…,10來(lái)表示上式。

顯然，任意二元三次多項(xiàng)式能夠用正交多項(xiàng)式線性表示。

所以2維模板卷積能夠分解為一些簡(jiǎn)單的1維模板卷積。假設(shè)輸入是I1,I2,…IN，我們只關(guān)心一下4種模板卷積：

通過(guò)上式，我們可以快速地計(jì)算出ki,i=1,…,10，同時(shí)也擬合出了無(wú)缺陷的背景圖，通過(guò)原圖與背景圖的相減，我們可以得到疑似缺陷的區(qū)域。

2 基于周期性的混色缺陷檢測(cè)算法

RGB PenTile排列是OLED顯示屏RGB子像素的排列方式。標(biāo)準(zhǔn)RGB排列的像素點(diǎn)是由紅、綠、藍(lán)三個(gè)子像素組成的，而PenTile排列與標(biāo)準(zhǔn)RGB排列不太一樣，它單個(gè)像素點(diǎn)由“紅綠”或者“藍(lán)綠”兩個(gè)子像素點(diǎn)組成?？梢詮膶?duì)比圖中看到，同樣顯示3×3個(gè)像素的話，在水平方向上PenTile有6個(gè)子像素，而標(biāo)準(zhǔn)RGB有9個(gè)子像素，PenTile子像素?cái)?shù)量有所減少[16]。

圖3 RGB PenTile排列和標(biāo)準(zhǔn)RGB排列對(duì)比圖

我們可以看出，RGB PenTile這種排列方式依然是具有周期性的，只不過(guò)比起標(biāo)準(zhǔn)RGB的周期要大一些。所以如果是無(wú)缺陷的OK屏的話，相鄰周期像素值大小應(yīng)該是比較接近的；如果是有缺陷的NG屏的話，相鄰周期像素值大小應(yīng)該會(huì)差異比較大。利用這種周期性，我們可以對(duì)第1節(jié)中得到疑似缺陷的區(qū)域做進(jìn)一步的分析。

在我們采集到的圖像中，假設(shè)拍攝到的面板矯正成矩形后長(zhǎng)占w個(gè)圖像像素，寬占h個(gè)圖像像素，實(shí)際的面板分辨率為m×n，子像素排列的周期為 p，我們可以得到最終需要的周期P：

一般而言，P水平?P垂直，如果計(jì)算出來(lái)的周期不是整數(shù)的，我們可以乘以兩倍得到一個(gè)整數(shù)的周期值，如果還不滿足，可以調(diào)整相機(jī)與面板的拍攝距離，重新拍攝并使之滿足。

現(xiàn)在，我們把注意力放回到之前的疑似缺陷的區(qū)域。在區(qū)域的幾何中心點(diǎn)上，取一塊N×N像素的樣本區(qū)域，在相鄰周期P且在此區(qū)域外的位置上同樣取上下左右四塊N×N像素的樣本區(qū)域，如果相鄰周期P的位置在此區(qū)域內(nèi)，可以用n( )n=2,3,… 倍的周期直至在區(qū)域外。

彩色相機(jī)采集到的圖片中，每個(gè)圖像像素都是由R、G、B三個(gè)0～255之間的數(shù)值表示的，故可以用一個(gè)三維向量表示一個(gè)像素值v?=(r ,g,b)，其中r,g,b分別為R、G、B三個(gè)通道的數(shù)值。

例如，N取9，則每一塊9*9像素的樣本區(qū)域可表示為：

然后再計(jì)算中間區(qū)域分別與上下左右四塊區(qū)域的2范數(shù)。其中s0為中間區(qū)域，sn(n =1,2,3,4)分別為上下左右四塊區(qū)域。

對(duì) ||xn中的元素求平均，然后再用求得的四個(gè)平均值作為進(jìn)一步篩選缺陷的參考數(shù)值。假如這四個(gè)平均值都大于我們?cè)O(shè)定的閾值，即判定為混色缺陷，否則判定為正常區(qū)域。如果缺陷處于角落或者邊緣位置，這個(gè)時(shí)候我們只需要比較其中的兩組或者三組平均值與閾值的大小即可。

最后，我們需要對(duì)找到的混色區(qū)域進(jìn)行定量化描述，Yuji Takagi等人[17]提出了基于彩色缺陷的定量化方法，但由于目前還沒(méi)有被業(yè)界廣泛接受，絕大部分面板廠依然使用的是類(lèi)似Mura的定量化方法，所以我們依然使用傳統(tǒng)的描述方法。

基于日本IBM相關(guān)研究人員的研究成果，2002年SEMI（國(guó)際半導(dǎo)體設(shè)備與材料產(chǎn)業(yè)協(xié)會(huì)）發(fā)布了SEMI D31-1102標(biāo)準(zhǔn)，全稱為Definition of Measurement Index(Semu)for Luminance Mura in FPD Image Quality Inspec?tion，給出了關(guān)于Mura定量化的標(biāo)準(zhǔn)。

在大量實(shí)驗(yàn)的基礎(chǔ)上，SEMI D31-1102給出了最小可覺(jué)差閾值Cjnd與面積Sx（單位為毫米）的關(guān)系：

而Mura的定量化，也就是SEMU值，定義為：

其中，Cjnd是人眼最小可覺(jué)差的對(duì)比度，Cx是Mu?ra區(qū)域的平均對(duì)比度；總之，SEMU值越大，表明缺陷越明顯；SEMU值越小，表明缺陷越微弱。

3 實(shí)驗(yàn)結(jié)果

我們從面板廠獲取了一批OLED屏作為實(shí)驗(yàn)樣本，從有缺陷的樣片中選取兩片不同缺陷位置的進(jìn)行分析。實(shí)驗(yàn)電腦配置為Intel Core i3處理器，主頻2.2GHz，內(nèi)存8GB，操作系統(tǒng)為Windows 7，算法的處理時(shí)間均在1s以內(nèi)。算法找出的缺陷位置用天藍(lán)色方框標(biāo)出，并注明該混色缺陷的SEMU值和對(duì)比度最大值。其中綠色的十字星表示對(duì)畫(huà)面的定位并確定好ROI區(qū)域，同時(shí)程序會(huì)對(duì)圖像進(jìn)行矯正處理，然后再應(yīng)用本文第1、2章節(jié)的算法。圖片分別為原圖，缺陷檢出圖，缺陷位置局部放大圖，缺陷檢出局部放大圖。

圖4 帶有混色缺陷的1號(hào)原圖

圖5 算法自動(dòng)檢測(cè)出缺陷的結(jié)果圖

圖6 缺陷位置局部放大圖

圖7 檢出結(jié)果的局部放大圖

圖8 帶有混色缺陷的2號(hào)原圖

圖9 算法自動(dòng)檢測(cè)出缺陷的結(jié)果圖

圖10 缺陷位置局部放大圖

圖11 檢出結(jié)果的局部放大圖

可以看出，無(wú)論缺陷的位置是在面板的中間還是在角落，本文提出的方法對(duì)微弱的混色缺陷都有比較好的檢測(cè)效果，且算法有較強(qiáng)的魯棒性，能夠滿足工業(yè)流水線中實(shí)時(shí)檢測(cè)的要求。

4 結(jié)語(yǔ)

用機(jī)器視覺(jué)檢測(cè)OLED顯示屏中的混色缺陷較為困難，本文提出了一種基于面板像素周期性排布的檢測(cè)方法，可以有效地檢測(cè)出缺陷，而且算法滿足實(shí)時(shí)性的要求，可以廣泛應(yīng)用于實(shí)際的生產(chǎn)流水線中。本文提出的方法不僅適用于OLED顯示屏混色缺陷的檢測(cè)，同時(shí)也可以為檢測(cè)各類(lèi)彩色的缺陷提供一種新的思路。

[1]王國(guó)亮.OLED產(chǎn)業(yè)發(fā)展及市場(chǎng)前景淺析[J].中國(guó)市場(chǎng),2017(11):62-63.

[2]彭騫,陳凱,沈亞非,等.有機(jī)電激光顯示器件缺陷檢測(cè)進(jìn)展[J].廣東科技,2015,24(18):55-59.

[3]Bi X,Zhuang C,Ding H.A New Mura Defect Inspection Way for TFT-LCD Using Level Set Method[J].IEEE Signal Processing Letters,2009,16(4):311-314.

[4]盧小鵬,李輝,劉云杰,等.基于Chan-Vese模型的TFT-LCD Mura缺陷快速分割算法[J].液晶與顯示,2014,29(1):146-151.

[5]Yang Y B,Li N,Zhang Y.Automatic TFT-LCD Mura Detection Based on Image Reconstruction and Processing[C].Consumer Electronics?Berlin(ICCE-Berlin),2013.ICCEBerlin 2013.IEEE Third International Conference on.IEEE,2013:240-244.

[6]Bi X,Xu X,Shen J.An Automatic Detection Method of Mura Defects for Liquid Crystal Display Using Real Gabor Filters[C].Image and Signal Processing(CISP),2015 8th International Congress on.IEEE,2015:871-875.

[7]Shao H C,Jong T L,Chen Y C,et al.Robust Segmentation for Automatic Detection of Mura Patterns[C].Consumer Electronics,2009.ISCE'09.IEEE 13th International Symposium on.IEEE,2009:267-270.

[8]Tsai D M,Tseng Y H,Chiu W Y.Surface Defect Detection in Low-contrast Images Using Basis Image Representation[C].Machine Vision Applications(MVA),2015 14th IAPR International Conference on.IEEE,2015:186-189.

[9]李坤,李輝,劉云杰,等.LCD Mura缺陷的B樣條曲面擬合背景抑制[J].光電工程,2014,41(2):33G39.

[10]Oh J H,Yun B J,Park K H.The Defect Detection Using Human Visual System and Wavelet Transform in TFT-LCD Image[C].Frontiers in the Convergence of Bioscience and Information Technologies,2007.FBIT 2007.IEEE,2007:498-503.

[11]Tseng D C,Lee Y C,Shie C E.LCD Mura Detection with Multi-Image Accumulation and Multi-Resolution Background Subtraction[J].Int.J.Innovative Comput.,Inf.Control,2012,8(7(A)):4837-4850.

[12]Nam G,Lee H,Oh S,et al.Measuring Color Defects in Flat Panel Displays Using HDR Imaging and Appearance Modeling[J].IEEE Transactions on Instrumentation&Measurement,2016,65(2):297-304.

[13]Son H I.Automatic Inspection Method for Macro Defects in TFT-LCD Color Filter Fabrication Process[J].Ieice Electronics Express,2009,6(8):516-521.

[14]Asano T,Kawame K,Mochizuki J,et al.Automated Color Inspection System for Color CRT Displays[C].International Conference on Industrial Electronics,Control,Instrumentation,and Automation,1992.Power Electronics and Motion Control.IEEE,2002:725-730 vol.2.

[15]Maling W.Implementation of Region-Mura Detection Based on Recursive Polynomial-Surface Fitting Algorithm[J].2008.

[16]嚴(yán)利民,陳靜,馮俊.一種提高平板顯示器亮度的子像素結(jié)構(gòu)及其映射算法[J].光電子技術(shù),2015,35(4):241-245.

[17]Takagi Y,Asano T,Liu W,et al.Color Uniformity Evaluation of Electronic Displays Based on Visual Sensitivity[C].Frontiers of Computer Vision.IEEE,2011:1-5.

歐陽(yáng)韜（1992-），男，湖南岳陽(yáng)人，在讀碩士研究生，研究方向?yàn)闄C(jī)器視覺(jué)、圖像處理與模式識(shí)別

2017-08-01

2017-10-15

Defect Detection;Machine Vision;OLED

Image Detection Algorithm for Chromatic Defect of OLED Based on Machine Vision

OUYANG Tao

（School of Electronic Information and Electrical Engineering，Shanghai Jiao Tong University，Shanghai 200240）

OLED chromatic defect is defined as the low contrast,uneven color of the region on the panel,with the uneven brightness of the back?ground,gray-scale of each channel does not change obviously,so segmentation defects from the image based on the machine vision method is very difficult.Imitates the algorithm of detecting Mura defect,uses the surface fitting method of orthogonal polynomial to construct a background image,and then subtracts the original image from the background image.Gets the defective area,and because of the character?istics of the chromatic defect itself,proposes a method based on the periodic arrangement of panel pixels,and selects the real defects by set?ting the threshold.The experimental results show that the proposed method is effective for detecting defects,and the algorithm is simple,re?al-time and easy to implement.

缺陷檢測(cè);機(jī)器視覺(jué);OLED；曲面擬合

1007-1423（2017）0-0000-00

10.3969/j.issn.1007-1423.2017.0.0?