黃妍妍,高寶紅,張海濤,康軍廣
(1.河北工業(yè)大學(xué) 微電子研究所,天津 300130;2.河北工業(yè)大學(xué) 網(wǎng)絡(luò)管理中心,天津 300130)
液晶屏是一種光電子產(chǎn)品,我國(guó)現(xiàn)有液晶屏生產(chǎn)企業(yè)100多家,中低檔液晶的產(chǎn)量占世界的90%,其中大部分產(chǎn)品出口到國(guó)外,是當(dāng)前我國(guó)電子信息產(chǎn)業(yè)中極富競(jìng)爭(zhēng)力和發(fā)展前景的高新技術(shù)產(chǎn)業(yè)。在液晶生產(chǎn)過(guò)程中需要多步清洗[1]來(lái)保證液晶屏產(chǎn)品的質(zhì)量。包括LCD基片的清洗、曝光顯影后的清洗、摩擦定向后的清洗、灌注液晶后的清洗等。在LCD生產(chǎn)過(guò)程中,由于液晶的沁潤(rùn)而發(fā)生虹吸現(xiàn)象,使液晶進(jìn)入狹縫,而且在液晶盒表面、PIN腳上也會(huì)殘留很多液晶,這些殘留不但影響產(chǎn)品外觀,妨礙貼偏光片工序,還會(huì)造成電極接觸不良,電路斷路,短路等嚴(yán)重的質(zhì)量問(wèn)題,導(dǎo)致整機(jī)報(bào)廢,損失嚴(yán)重。因此,及時(shí)有效地檢測(cè)這些液晶殘留對(duì)于提高產(chǎn)品的優(yōu)品率,優(yōu)化清洗工藝和研發(fā)優(yōu)質(zhì)的清洗劑具有重要意義。
現(xiàn)有各種污染物識(shí)別方法和設(shè)備不適于高精度器件表面,不能識(shí)別分析微小的污染物。針對(duì)微小污染物,需要借助顯微鏡對(duì)物體表面的潔凈度進(jìn)行評(píng)價(jià)的方法,包括電子顯微分析法、光學(xué)顯微分析法等。電子顯微分析法識(shí)別準(zhǔn)確率高,但價(jià)格高昂,分析過(guò)程復(fù)雜。光學(xué)顯微分析方法設(shè)備較為簡(jiǎn)單,但評(píng)價(jià)中主觀因素影響較大。
對(duì)于LCD液晶屏表面的污染物識(shí)別與分析,將顯微鏡等裝置獲取的放大后圖像進(jìn)行數(shù)字化,用計(jì)算機(jī)軟件程序進(jìn)行自動(dòng)評(píng)價(jià),是一種客觀定量的方法。數(shù)字圖像處理技術(shù)不僅可以排除主觀因素的干擾,降低勞動(dòng)強(qiáng)度,提高生產(chǎn)效率,而且還能對(duì)這些指標(biāo)進(jìn)行定量描述,對(duì)污染物的形態(tài)、類型進(jìn)行鑒別和統(tǒng)計(jì)[2-4]。但其難點(diǎn)在于對(duì)獲得圖像的處理,即圖像中污染物特性的確定。本文的研究工作正是基于數(shù)字圖像處理技術(shù),面向LCD液晶屏表面污染物進(jìn)行識(shí)別與分析。此外,基于圖像處理的器件表面污染物自動(dòng)識(shí)別與分析方法對(duì)于集成電路平坦化過(guò)程中的清洗工藝及清洗劑配比研究也有重要應(yīng)用意義。
圖像分割是自動(dòng)識(shí)別圖像中目標(biāo)的基礎(chǔ)[5],但困難在于圖像本身的清晰度并無(wú)法保證[6]。迭代閾值分割方法能夠有效地處理背景較平滑的單一背景液晶殘留[7-8],但是對(duì)于包含殘留封膠背景或者背景顏色不均勻的圖像,效果不理想,背景灰度變化較大的影響,整幅圖像分割沒(méi)有合適的閾值,單一閾值不能兼顧圖像全部像素。如圖1所示。
圖1 復(fù)雜背景的殘留液晶識(shí)別(迭代閾值分割方法)Fig.1 Liquid crystal rudimental recongnition in complex background (Iterative threshold)
圖1中,上下邊緣為殘留封膠,顏色較深,與中間淺色部分有明顯邊界。迭代閾值分割方法是對(duì)圖像整體進(jìn)行處理,而在此類圖像中,復(fù)雜背景差距過(guò)于明顯,并且顏色值與需要識(shí)別的殘留液晶接近,因此處理過(guò)程中所計(jì)算得到的閾值并不能將背景與殘留液晶分開(kāi),而是會(huì)將大面積的背景識(shí)別為殘留液晶。因此,對(duì)于背景中包含封膠圖像等規(guī)則噪聲的圖像,不能直接使用全局迭代閾值分割算法。
對(duì)于以上圖像,大面積噪聲出現(xiàn)于上、下邊緣,并且下邊緣與淺色背景邊界不明顯,因此可以嘗試先對(duì)圖像直接進(jìn)行分割,識(shí)別出圖像的邊緣,所得到的邊緣所包圍的區(qū)域即是需要識(shí)別的殘留液晶。
對(duì)圖像進(jìn)行增強(qiáng)并常規(guī)分割后的結(jié)果如圖2所示(所使用的邊緣檢測(cè)算子為Sobel算子[9])。
圖2 圖像增強(qiáng)并分割的處理結(jié)果(Sobel算子)Fig.2 Enhanced and segmented image by Sobel operator
由圖2可見(jiàn),殘留液晶的邊緣得到了較精確的識(shí)別,但所得到的只是邊緣部分,并且受圖像本身質(zhì)量的影響,邊緣并不完全閉合,另外,大面積殘留液晶的邊緣識(shí)別為雙邊緣內(nèi)曲線。因而首先需要對(duì)邊緣進(jìn)行連接處理,使之成為閉合的邊緣,然后進(jìn)行填充,為最終統(tǒng)計(jì)殘留液晶特征做好準(zhǔn)備。
在填充過(guò)程分為兩個(gè)階段:邊緣閉合、二次內(nèi)部填充。邊緣閉合階段采用本文設(shè)計(jì)實(shí)現(xiàn)的邊緣連接算子進(jìn)行處理,針對(duì)每一像素,根據(jù)8個(gè)相鄰方向上一定范圍內(nèi)的像素顏色值,將滿足預(yù)設(shè)閾值的像素設(shè)置為黑色,從而實(shí)現(xiàn)對(duì)不連續(xù)污染物圖像邊緣的閉合連接。處理的結(jié)果是,較大面積(內(nèi)部空白直徑大于閾值)的污染物圖像邊緣確保連續(xù),內(nèi)部空白直徑小于閾值的污染物圖像被完全填充。
二次內(nèi)部填充是對(duì)內(nèi)部空白直徑大于閾值的油污圖像進(jìn)行填充,采用掃描線填充方法進(jìn)行處理。圖像填充[10]是一個(gè)將指定不規(guī)則區(qū)域內(nèi)部像素填充為填充色的過(guò)程,在計(jì)算機(jī)輔助設(shè)計(jì)和圖像處理等領(lǐng)域有廣泛應(yīng)用,常用算法包括種子填充算法、掃描線填充算法、邊填充算法等。
本文所設(shè)計(jì)實(shí)現(xiàn)的邊緣連接算子(Edge Connector,EC)如圖3所示。使用EC算子對(duì)圖像的每一個(gè)像素進(jìn)行處理,當(dāng)遍歷到像素Ai,j時(shí),如果其值為0,則分析其8個(gè)方向上相鄰像素的值,以確定是否將其值修改為1,進(jìn)行填充。
圖3 邊緣連接算子示意圖Fig.3 Edge Connector operator illustration
EC算子有兩個(gè)參數(shù):D表示算子的大小,即圖中圓的直徑(或正方形邊長(zhǎng)),取值為奇數(shù),以保證待處理的像素位于中心;N表示在某方向上像素值連續(xù)為1的像素?cái)?shù)閾值。
當(dāng)以下條件之一成立時(shí),將Ai,j的像素值設(shè)置為1:
(1)左邊相鄰 (D-1)/2個(gè)像素中有連續(xù)N個(gè)像素值為1,并且右邊相鄰 (D-1)/2個(gè)像素中有連續(xù)N個(gè)像素值為1。
(2)上邊相鄰 (D-1)/2個(gè)像素中有連續(xù)N個(gè)像素值為1,并且下邊相鄰 (D-1)/2個(gè)像素中有連續(xù)N個(gè)像素值為1。
由圖4可見(jiàn),圖像的邊緣均已經(jīng)連接為閉合曲線。由于填充過(guò)程中將只對(duì)閉合的區(qū)域?qū)M(jìn)行填充,因此圖像邊緣的閉合將確保填充過(guò)程準(zhǔn)確完成。
圖4 對(duì)分界線進(jìn)行連接處理的結(jié)果Fig.4 Connected edge
圖5 對(duì)圖像內(nèi)部進(jìn)行填充處理結(jié)果Fig.5 Filled image
填充后所獲得的圖像,準(zhǔn)確地表現(xiàn)出了原圖中的殘留液晶部分,保持了原殘留液晶的幾何形狀,但是由于在識(shí)別邊緣的過(guò)程中,所標(biāo)注出來(lái)的邊緣,實(shí)際上在殘留液晶之外的邊緣,因此至此步驟所獲得的殘留液晶的圖像,比實(shí)際的殘留液晶圖像面積增大,標(biāo)注的邊緣線即為增大的部分,圍繞殘留液晶外部一周,寬度為一個(gè)像素。因此在最終的結(jié)果中需要去除這一多余部分。另外,由于背景也存在明顯的區(qū)域,被識(shí)別為一條直線(寬度為1個(gè)像素),也需要在最終結(jié)果中去除。
由于圖像多余的邊緣以及非殘留液晶的直線寬度均為一個(gè)像素,因此采用二值腐蝕的方法去除多余部分,二值腐蝕的結(jié)果是使二值圖像中像素值為1的區(qū)域減小。用結(jié)構(gòu)元素B,掃描圖像A的每一個(gè)像素,用結(jié)構(gòu)元素與其所覆蓋的二值圖像做“與”操作如果都為1,結(jié)果圖像的該像素為1。否則為0。如果結(jié)構(gòu)元素是半徑為1的圓,則二值腐蝕的結(jié)果是令圖像區(qū)域減小一圈,同時(shí)會(huì)去除寬度小于2的邊界線,這些邊界線并不是殘留液晶。
由圖6通過(guò)二值腐蝕處理,去除了單像素寬度的邊界影響,同時(shí)使得殘留液晶的實(shí)際面積恢復(fù)至原大?。ㄔ谶M(jìn)行識(shí)別邊界的分割過(guò)程中,將殘留液晶的大小擴(kuò)大了一圈)。
圖6 使用半徑為1的圓形結(jié)構(gòu)元素進(jìn)行腐蝕后的結(jié)果Fig.6 Eroded by circle structure elecment which radius=1
綜上所述,對(duì)于復(fù)雜背景殘留液晶的識(shí)別,可通過(guò)如圖7步驟完成:
(a)圖像預(yù)處理,包括圖像的灰度轉(zhuǎn)換等處理。
(b)圖像分割,識(shí)別出殘留液晶的邊緣。此步驟是處理的關(guān)鍵,對(duì)于單一背景的殘留液晶識(shí)別,可使用迭代閾值分割方法,而對(duì)于較復(fù)雜背景中的殘留液晶,迭代閾值分割方法誤差過(guò)大,需要根據(jù)不同背景采用相應(yīng)的分割方法。
圖7 復(fù)雜背景殘留液晶識(shí)別圖像處理流程Fig.7 Image processing flow of the rudimental liquid crystal recongnition in complex background
(c)邊緣連接,使用EC算子,將殘留液晶的邊緣處理為閉合曲線。(此步驟為可選項(xiàng),如果分割后所獲得的污染圖像邊緣都是閉合的,則不需要進(jìn)行本步驟)
(d)圖像填充,將殘留液晶部分填充為實(shí)心圖像,為污染物幾何形狀模式識(shí)別做好準(zhǔn)備。
(e)去除多余部分,使用二值腐蝕方法,去除多余的邊緣以及部分線型背景噪聲。
(f)殘留液晶幾何形狀識(shí)別,輸出結(jié)果。
示例圖像A:
圖8 原圖像Fig.8 Original image
在圖8所示的圖像中,有多處殘留液晶,并且背景中存在較大差異,在中部左側(cè)有部分較亮的背景。另外,圖像底部背景的亮度也與上部有差異,圖像亮度由上至下逐漸變暗。
圖9 迭代閾值分割方法處理結(jié)果Fig.9 Output of iterative threshold method
由圖9可見(jiàn),使用迭代閾值分割方法處理圖8的圖像,由于背景較復(fù)雜,因此處理結(jié)果不理想,錯(cuò)誤地將底部背景識(shí)別為殘留液晶。
圖10 圖像分割處理Fig.10 Image segmentation
圖10所示圖像為對(duì)圖9進(jìn)行圖像分割處理的結(jié)果,盡管圖像背景較復(fù)雜,亮度不均勻,但由于背景亮度變化不足被識(shí)別為圖像邊界,所以圖像分割能夠識(shí)別出所有殘留液晶的邊界。但在中部偏左的較亮豎條也識(shí)別出了幾處不屬于殘留液晶的邊界,在后繼步驟中將被去除。
圖10識(shí)別出殘留液晶的邊緣,但尚不易統(tǒng)計(jì)每一處殘留液晶的特征,需要對(duì)殘留液晶內(nèi)容進(jìn)行填充,獲得殘留液晶的完整圖像。在填充之前,首先將殘留液晶圖像邊緣不連續(xù)的部分進(jìn)行連接處理,以確保填充操作的準(zhǔn)確進(jìn)行。圖像邊緣連接處理的結(jié)果如圖11所示。
圖11 圖像邊緣連接處理Fig.11 Edge connection
對(duì)圖11所示的圖像進(jìn)行圖像填充處理,還原殘留液晶圖像,處理結(jié)果如圖12所示。
圖12 圖像填充Fig.12 Filled image
由于殘留液晶的亮度低于背景,因此圖像分割過(guò)程中,所獲得的邊緣實(shí)際上是在沿殘留液晶邊界之外的像素,并不屬于殘留液晶,所以最后需要去除所獲得的殘留液晶圖像的邊界(寬度為1像素)。在此使用二值腐蝕操作完成此步驟,使用的是半徑為1的圓形結(jié)構(gòu)元素,處理結(jié)果如圖13所示。
圖13 二值腐蝕處理(半徑為1的圓形結(jié)構(gòu)元素)Fig.13 Eroded by circle structure elecment which radius=1
示例圖像B:
圖14 原圖像圖Fig.14 Original image
圖15 灰度變換處理結(jié)果Fig.15 Output of gray-scale transformation
在圖14所示的圖像中,有多處圓形殘留液晶,圖像亮度由下至上逐漸變暗。圖15是原圖像灰度變換后的處理結(jié)果。
圖16 使用圖像分割方法Fig.16 Image segmentation
圖17 邊緣連接Fig.17 Edge connection
圖16所示圖像為對(duì)圖15進(jìn)行圖像分割處理的結(jié)果,盡管圖像背景亮度不均勻,但由于背景亮度變化不足被識(shí)別為圖像邊界,所以圖像分割能夠識(shí)別出所有殘留液晶的邊界。
圖16識(shí)別出殘留液晶的邊緣,但尚不易統(tǒng)計(jì)每一處殘留液晶的特征,需要對(duì)殘留液晶內(nèi)容進(jìn)行填充,獲得殘留液晶的完整圖像。在填充之前,首先將殘留液晶圖像邊緣不連續(xù)的部分進(jìn)行連接處理,以確保填充操作的準(zhǔn)確進(jìn)行。圖像邊緣連接處理的結(jié)果如圖17所示。
圖18 圖像填充Fig.18 Filled image
圖19 二值腐蝕處理Fig.19 Binary image erosion
對(duì)圖17所示的圖像進(jìn)行圖像填充處理,還原殘留液晶圖像,處理結(jié)果如圖18所示。
最后還需要去除所獲得的殘留液晶圖像的邊界(寬度為1像素)。使用二值腐蝕操作完成此步驟,使用的是半徑為1的圓形結(jié)構(gòu)元素,處理結(jié)果如圖19所示。
污染物幾何形狀模式分類就是通過(guò)提取污染物圖像的特征量,對(duì)污染物幾何形狀模式進(jìn)行分類,這需要通過(guò)另外定義相應(yīng)的分類器[11]來(lái)實(shí)現(xiàn)。由于污染物種類眾多,并不是所有同類污染物圖像具有共同的特征,所以污染物幾何形狀模式分類是污染物圖像分析中的難點(diǎn)之一。鑒于器件表面污染物圖像各種特征有一定的相關(guān)性,為了降低識(shí)別算法的復(fù)雜性,特征識(shí)別時(shí)采用階層識(shí)別的方法。利用分類器,逐步判斷各特征參數(shù),對(duì)各污染物圖像進(jìn)行分析,并輸出分析的結(jié)果。
圖像分割等處理結(jié)束后,將獲得一個(gè)標(biāo)識(shí)出污染物的二值圖像。為定量分析污染物的特性,本文定義了如下幾何特征參數(shù):
全局統(tǒng)計(jì)特征參數(shù):總面積、總數(shù)目、最大面積、最小面積、平均面積、面積方差、面積標(biāo)準(zhǔn)差。
單個(gè)污染物特征參數(shù):面積、周長(zhǎng)、質(zhì)心點(diǎn)、最大內(nèi)切圓直徑、離心率、傾角等。
污染物幾何形狀模式定義為6類,分別是圓形、橢圓形、帶形、線形、有較大面積節(jié)點(diǎn)的線形、不規(guī)則形狀。由污染物幾何形狀模式定義可知,對(duì)污染物形狀的判定要考察多個(gè)參數(shù)值的所有范圍,如果按各模式的參數(shù)值約束逐一排查,會(huì)引入過(guò)多重復(fù)計(jì)算,且不利于模式識(shí)別過(guò)程的擴(kuò)展性。因此本文設(shè)計(jì)了一個(gè)基于二叉分類[12]方法的模式分類器,每一步只判斷一個(gè)參數(shù)值的取值,并且每一步判斷只有兩個(gè)分支(符合條件,或不符合條件)。分類器處理流程如圖20所示。
圖20 幾何形狀模式識(shí)別流程圖Fig.20 Geometry shapes recognition flow chart
圖13所示圖像識(shí)別結(jié)果如下:原圖像大?。?57×495;污染物對(duì)象數(shù)目:9;最大污染物面積:1193;最小污染物面積:1;污染物平均面積:304.0000;污染物面積方差:170154.5000;污染物面積標(biāo)準(zhǔn)差:412.4979。污染物形狀分別為:有大面積節(jié)點(diǎn)的線形、橢圓形、圓形各一個(gè),線形五個(gè),剩余一個(gè)面積為1像素的污染物不需識(shí)別形狀特征。
圖19所示圖像識(shí)別結(jié)果如下:原圖像大?。?30×400;污染物對(duì)象數(shù)目:5;最大污染物面積:2412;最小污染物面積:584;污染物平均面積:1441.8000;污染物面積方差:441276.2000;污染物面積標(biāo)準(zhǔn)差:664.2862。5個(gè)污染物形狀均為圓形。
針對(duì)單一背景殘留液晶的識(shí)別,設(shè)計(jì)的迭代閾值分割方法以及基于數(shù)學(xué)形態(tài)學(xué)的邊緣檢測(cè)算子,用以提取殘留液晶的邊緣輪廓,并進(jìn)行噪聲分析。此方法能夠較精確地進(jìn)行識(shí)別與分析,但對(duì)背景的一致性要求較高,因此不適于背景差異較大的復(fù)雜背景殘留液晶識(shí)別。實(shí)際情況中多為復(fù)雜背景,針對(duì)復(fù)雜背景殘留液晶的識(shí)別,設(shè)計(jì)了相應(yīng)的圖像處理流程,首先通過(guò)預(yù)處理將RGB圖像轉(zhuǎn)換為灰度圖像,并進(jìn)行圖像分割;然后對(duì)分割后的圖像進(jìn)行邊緣連接,將不連續(xù)的邊界補(bǔ)充至閉合;之后進(jìn)行圖像填充,還原得到污染物圖像,再使用二值腐蝕操作去除圖像分割過(guò)程中引入的多余邊界以及部分噪聲;處理結(jié)果可用于污染物圖像的幾何形狀模式識(shí)別,獲得分析結(jié)果。提出了一種邊緣連接算子,在對(duì)圖像進(jìn)行分割后,將不連續(xù)的圖像邊界連接為閉合,為圖像填充奠定基礎(chǔ)。
通過(guò)實(shí)驗(yàn)可知,針對(duì)單一背景殘留液晶的識(shí)別與分析方法能夠精確獲得殘留液晶邊緣,并且控制了噪聲的干擾;針對(duì)復(fù)雜背景殘留液晶識(shí)別與分析方法能夠?qū)Ρ尘按嬖诿黠@差異的特定類型圖像(圖像中包含有封膠的規(guī)則邊界)進(jìn)行準(zhǔn)確的處理,去除背景不一致的影響,獲得殘留液晶的相關(guān)數(shù)據(jù)。幾何形狀模式識(shí)別的結(jié)果也驗(yàn)證了之前工作所提出的模式識(shí)別模型以及分類器實(shí)現(xiàn)的正確性。對(duì)于無(wú)規(guī)律背景液晶圖像的處理,尚需進(jìn)一步研究與改進(jìn)。
[1]李廣福,劉玉嶺,李薇薇.LCD殘留液晶的清洗[J].清洗世界,2006,22(9):24-28.Li G F,Liu Y L,Li W W.Removal of rudimental LC on LCD [J].Cleaning World,2006,22(9):24-28.(in Chinese)
[2]Huang Y Y,Gao N,Yu M,et al.Detection of surface cleanliness based on image recognition[C].IITA'08.Proceedings of the 2008 Second International Symposium on Intelligent Information Technology Application,Washington,DC,USA:IEEE Computer Society,2008:360-365.
[3]于洪春,鄧意成,鄭喜鳳.面積約束下的最優(yōu)閾值法分割LED像素點(diǎn)陣[J].液晶與顯示,2012,27(5):653-657.Yu H C,Deng Y C,Zheng X F.Segmentation of LED pixel matrix by using optimal threshold method with area constraint[J].Chinese Journal of Liquid Crystals and Displays,2012,27(5):653-657.(in Chinese)
[4]丘文濤,趙建,劉杰.結(jié)合區(qū)域分割的SIFT圖像匹配方法[J].液晶與顯示,2012,27(6):827-831.Qiu W T,Zhao J,Liu J.Image matching algorithm combining sift with region segmentation[J].Chinese Journal of Liquid Crystals and Displays,2012,27(6):827-831.(in Chinese)
[5]靳永亮,王延杰,劉艷瀅,等.紅外弱小目標(biāo)的分割預(yù)檢測(cè)[J].光學(xué)精密工程,2012,20(1):171-178.Jin Y L,Wang Y J,Liu Y Y,et al.Pre-detection method for small infrared target[J].Optics and Precision Engineering,2012,2012,20(1):171-178.(in Chinese)
[6]吳笑天,魯劍鋒,賀柏根,等.霧天降質(zhì)圖像的快速?gòu)?fù)原[J].中國(guó)光學(xué),2013,6(6):892-899.Wu X T,Lu J F,He B G,et al.Fast restoration of haze-degraded image[J].Chinese Optics,2013,6(6):892-899.(in Chinese)
[7]Wang X F,Zhang X Y,Gao R N.Research of image edge detection based on mathematical morphology[J].International Journal of Signal Processing,Image Processing and Pattern Recognition,2013,6(5):227-236.
[8]黃妍妍,姜樂(lè)濤,于明,等.LCD表面液晶污染的非接觸檢測(cè)新算法[J].液晶與顯示,2009,24(1):135-138.Huang Y Y,Jiang Y T,Yu M,et al.New method of non-contact inspection for liquid crystal residues on lcds surface[J].Chinese Journal of Liquid Crystals and Displays,2009,24(1):135-138.(in Chinese)
[9]Rafael C G.Digital Image Processing [M].3rd ed.Pearson,2013.
[10]Zhao H,Chen Z X.A simple hole filling algorithm for binary cell images[J].Applied Mechanics and Materials,2013,433-435:1715-1719.
[11]Spasojevic S S,Susic M Z,Durovic Z M.Recognition and classification of geometric shapes using neural networks[C].201211th Symposium on Neural Network Applications in Electrical Engineering (NEUREL),2012:71-76.
[12]Gueheneuc Y G,Albin-Amiot H.A pragmatic study of binary class relationship [C].18th IEEE International Conference on Automated Software Engineering,Montreal,Canada:ASE 2003,2003:277-280.