戰(zhàn)蔭偉，付 波

（廣東工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院，廣東 廣州510006）

0 引 言

在打印機(jī)顯示模塊生產(chǎn)過程中，一些因素如電路板引腳錯(cuò)誤焊接等會(huì)導(dǎo)致顯示預(yù)設(shè)功能界面錯(cuò)誤，例如應(yīng)該通過點(diǎn)陣顯示Ready字樣卻沒有顯示或者顯示不全完而發(fā)生錯(cuò)誤，影響打印機(jī)正常使用，因此，打印機(jī)顯示模塊的檢測(cè)十分重要。檢測(cè)方法一般有兩種。一是電氣的方法，檢查打印機(jī)處于各功能狀態(tài)時(shí)電路板的通電情況，不過這種方法極其復(fù)雜，不直觀，所以目前一般不采用；二是視覺方法，檢測(cè)顯示屏各功能界面圖像的顯示情況，這是目前通行的檢測(cè)方法。當(dāng)前，多以人工手段檢測(cè)打印機(jī)顯示模塊，即通過人眼來分辨各功能界面圖像是否錯(cuò)誤。人眼易疲勞、具有主觀性且對(duì)大量密集信息分辨力不足，因此人工檢測(cè)容易造成誤判或漏判、檢測(cè)速度慢、精度低等問題。

由于顯示屏顯示圖像的結(jié)構(gòu)穩(wěn)定，特征明顯，因此很適合使用自動(dòng)化的手段代替人工進(jìn)行檢測(cè)。事實(shí)上，已有很多將機(jī)器視覺應(yīng)用于LED顯示屏檢測(cè)的應(yīng)用［1－6］。文獻(xiàn)［1］中提出了基于機(jī)器視覺檢測(cè)的LED顯示屏的兩個(gè)核心問題：對(duì)每個(gè)LED燈區(qū)域的定位和灰度采集。提出學(xué)習(xí)“圖片”法來定位LED燈區(qū)域，建立學(xué)習(xí)圖片中LED燈的中心點(diǎn)位置和待檢測(cè)圖片中LED燈中心點(diǎn)位置的仿射變換，從而完成LED燈的定位。文獻(xiàn) ［5］提出了手機(jī)顯示屏壞點(diǎn)的檢測(cè)，將機(jī)器視覺應(yīng)用于手機(jī)顯示屏的檢測(cè)。文獻(xiàn) ［6］提出利用數(shù)學(xué)形態(tài)學(xué)消除噪聲點(diǎn)，提取LED顯示單元對(duì)應(yīng)的點(diǎn)陣ROI。本文基于專業(yè)機(jī)器視覺庫Halcon［7－9］，設(shè)計(jì)一個(gè)打印機(jī)顯示模塊的視覺檢測(cè)系統(tǒng)。

1 系統(tǒng)總體方案設(shè)計(jì)

系統(tǒng)工作流程見圖1，系統(tǒng)結(jié)構(gòu)見圖2，系統(tǒng)主要由處理系統(tǒng)、相機(jī)、氣缸 （運(yùn)動(dòng)控制）、工作臺(tái)等四部分構(gòu)成。相機(jī)由工業(yè)數(shù)字相機(jī)、光源和光學(xué)鏡頭構(gòu)成，主要負(fù)責(zé)采集圖像，工業(yè)數(shù)字相機(jī)通過1394a接口與上位機(jī)相連，將采集到的圖像數(shù)據(jù)經(jīng)過圖像采集卡傳輸給處理系統(tǒng)；氣缸由5個(gè)氣缸按鈕手、滑道和氣管構(gòu)成，主要負(fù)責(zé)執(zhí)行機(jī)械運(yùn)動(dòng)，實(shí)現(xiàn)自動(dòng)化；處理系統(tǒng)由計(jì)算機(jī)、視覺軟件和圖像采集卡構(gòu)成，負(fù)責(zé)圖像數(shù)據(jù)的處理和傳輸；工作臺(tái)由控制核、指示燈和蜂鳴器構(gòu)成，主要負(fù)責(zé)運(yùn)動(dòng)控制。

圖1 系統(tǒng)工作流程

圖2 系統(tǒng)結(jié)構(gòu)

2 光學(xué)硬件選型

光學(xué)硬件選型主要包括相機(jī)、鏡頭和光源的選型。相機(jī)的選擇決定了系統(tǒng)的檢測(cè)精度，本系統(tǒng)使用大恒300萬像素彩色相機(jī)DH－HV3110FC，分辨率達(dá)到0.05mm，使得點(diǎn)陣中每個(gè)點(diǎn)元素包含的像素達(dá)到100個(gè)，足以用來判斷一個(gè)點(diǎn)是否被點(diǎn)亮，滿足要求。鏡頭的選擇是根據(jù)工作視野和工作距離來確定的，檢測(cè)微小元器件時(shí)，可能會(huì)選用放大鏡、遠(yuǎn)心鏡等，本系統(tǒng)選用的是焦距為25mm的普通鏡頭Computar M2514－MP2。

光源選擇的合適已否直接影響著視覺系統(tǒng)的應(yīng)用效果。依據(jù)LED燈的工作原理［10］，本系統(tǒng)選用LED帶漫射板球積分光源。顯示模塊的顯示屏是帶LED背光的液晶顯示屏，顯示屏上方還有一個(gè)透明的玻璃外殼，顯示圖像是16×16×5的點(diǎn)陣，這樣的顯示結(jié)構(gòu)決定了不能用直線光源（如條形光源等），必須采用方向和亮度都均勻的光源，否則顯示屏?xí)a(chǎn)生強(qiáng)反光或顯示屏各部分亮度不均勻，影響檢測(cè)效果。LED帶漫射板的球積分光源，又稱漫射無影光。它采用半球狀漫反射面，將底部環(huán)形光發(fā)出的光線均勻反射到光源發(fā)出口，面分布均勻性、方向均勻性都很好，可以將表面比較復(fù)雜的物體或圖片照射出比較均勻的效果。相機(jī)和鏡頭的參數(shù)見表1和表2。

表1 DH－HV3110FC數(shù)字相機(jī)主要參數(shù)

表2 Computar M2514－MP2鏡頭的主要參數(shù)

3 視覺軟件設(shè)計(jì)

系統(tǒng)實(shí)驗(yàn)對(duì)象是某公司生產(chǎn)的L1080顯示模塊，顯示模塊的點(diǎn)陣ROI包含16個(gè)連續(xù)的大小相同的矩陣Li（i＝1…16），每個(gè)矩陣Li的大小為16×5，基本元素為0.5mm×0.5mm矩形區(qū)域Li；j，k（i，j＝1…16，k＝1…5）。本系統(tǒng)的檢測(cè)工作是識(shí)別Li；j，k（i，j＝1…16，k＝1…5）點(diǎn)亮與否，與標(biāo)準(zhǔn)功能界面圖像比較，然后判別出該功能界面顯示與否。L1080顯示模塊預(yù)設(shè)6個(gè)功能界面圖像，如圖3所示。圖3中，自上而下，第一個(gè)為所有Li；j，k都點(diǎn)亮、第五個(gè)為所有Li；j，k都沒有點(diǎn)亮、其他僅為部分點(diǎn)亮等情形。

3.1 軟件設(shè)計(jì)中的關(guān)鍵技術(shù)

根據(jù)LED顯示屏顯示圖像的結(jié)構(gòu)是16×16×5點(diǎn)陣可知，該系統(tǒng)的關(guān)鍵技術(shù)就是顯示圖像的16×16×5點(diǎn)陣ROI的精確定位以及灰度檢測(cè)。采用信息量最大的圖3（a）圖像數(shù)據(jù)進(jìn)行建模，建模算法主要分3步：第一步，顯示屏定位；第二步，點(diǎn)陣ROI的定位；第三步，將點(diǎn)陣轉(zhuǎn)化成數(shù)值矩陣。

3.1.1 顯示屏的定位

在視覺系統(tǒng)中，由于機(jī)械和工件都存在一定的誤差，并不能保證被測(cè)物在圖像中總處于同樣的位置和方向，因此系統(tǒng)設(shè)計(jì)檢測(cè)算法必須能夠應(yīng)對(duì)這種位置的變化。

圖3 L1080預(yù)設(shè)功能界面圖像

首先，對(duì)圖像進(jìn)行校正，使用大津法［11］（OTSU）

分割出圖像的顯示屏部分。其算法的基本原理是：使得類間方差最大化的閾值t便是分割出圖像前景目標(biāo)的最好閾值

式中：α2——類間方差，q1——灰度值不大于t的類的概率，q2——灰度值大于t的類的概率，μ1——灰度值不大于t的類的均值，μ2——灰度值大于t的類的均值，μ——兩類的類間均值。

使得α2最大的灰度值t就是最佳閾值。利用閾值t，分割出顯示屏區(qū)域。然后校正圖像。顯示屏的上下邊界是兩條平行線，所以顯示屏區(qū)域的最小外接矩形與x軸正向的夾角θ∈（－π／2，π／2］是顯示屏的偏轉(zhuǎn)角。利用偏轉(zhuǎn)角θ和平移值（dx，dy）生成的仿射變換矩陣校正被測(cè)物的圖像，仿射變換矩陣為

最后，利用校正后圖像的二值圖像創(chuàng)建形狀模板［12］，因?yàn)槎祱D像創(chuàng)建形狀模板更穩(wěn)定。

3.1.2 點(diǎn)陣的定位

利用大津法 （OTSU）、數(shù)學(xué)形態(tài)學(xué)方法［13－15］處理校正后的圖像得到點(diǎn)陣ROI的粗定位，16個(gè)類矩形區(qū)域Li（i＝1…16），如圖4所示。

圖4 16個(gè)類矩形區(qū)域

然后，對(duì)Li（i＝1…16）精確的定位包含在其內(nèi)的點(diǎn)陣。Li包 含 一 個(gè)16 （5的 點(diǎn) 陣， 基 本 元 素 是Li；j，k， 每 個(gè)Li；j，k的高度和寬度都是基本相同的，但由于其自身工藝的原因，使得各Li；j，k的高度和寬度有一定的差別，導(dǎo)致定位過程中可能會(huì)產(chǎn)生累計(jì)誤差，使得誤差越來越大，最終定位錯(cuò)誤。對(duì)點(diǎn)陣ROI定位有兩種方案。

方案1：如圖5所示，根據(jù)Li的最小外接矩形和點(diǎn)陣的垂直方向Li；j，k的數(shù)量 （作為點(diǎn)陣ROI的先驗(yàn)知識(shí)）定位出包含一行點(diǎn)元素的矩形區(qū)域，如圖5（b）所示，再根據(jù)該矩形區(qū)域和點(diǎn)陣的水平方向Li；j，k的數(shù)量 （作為點(diǎn)陣ROI的先驗(yàn)知識(shí)）定位出每個(gè)Li；j，k的位置，如圖5 （c）所示，最后得到完整的點(diǎn)陣ROI，如圖5（d）所示。

圖5 方案1點(diǎn)陣定位過程

方案2：根據(jù)方案1，得到完整的點(diǎn)陣ROI，然后繼續(xù)對(duì)點(diǎn)陣中每個(gè)Li；j，k的位置進(jìn)行精確定位，如圖6（d）所示。進(jìn)行精確定位 的 原 因 是 Li；j，k很 小，而 且 各 Li；j，k的 大小不盡相同，所以計(jì)算出的 Li；j，k很有可能與實(shí)際Li；j，k不完全重合，一大部分覆蓋實(shí)際的Li；j，k，一小部分覆蓋實(shí)際的Li；j，k＋1，慢慢的由于誤差累積的原因很可能就會(huì)造成錯(cuò)誤定位。精確定位的原理是Li；j，k是有邊界的，只要連續(xù)對(duì)Li；j，k對(duì)應(yīng)的圖像進(jìn)行閾值分割，當(dāng)分割出的區(qū)域面積增長(zhǎng)值小于一個(gè)給定值時(shí)，計(jì)算出的Li；j，k完全覆蓋實(shí)際的Li；j，k，消除累積誤差；否則繼續(xù)處理。閾值取為

式中：N——感興趣區(qū)域包含的總像素?cái)?shù)，f——像素點(diǎn)與該點(diǎn)灰度值的映射，所以f（i）——像素i的灰度值。

圖6 方案2點(diǎn)陣定位過程

根據(jù)以上兩種方案，均可以得到一個(gè)16×5的點(diǎn)陣，對(duì)每個(gè)Li（i＝1…16）做同樣處理，便可得到一個(gè)16×16×5的點(diǎn)陣。

3.1.3 點(diǎn)陣轉(zhuǎn)化成數(shù)值矩陣

在檢測(cè)每個(gè)預(yù)設(shè)圖像時(shí)，通過查找模板、做仿射變換，將得到的16×16×5的點(diǎn)陣映射為當(dāng)前圖像的點(diǎn)陣ROI，對(duì)每個(gè)Li；j，k對(duì)應(yīng)的圖像做閾值分割處理，如果得到區(qū)域的面積在一定的范圍內(nèi)，則說明Li；j，k對(duì)應(yīng)的數(shù)值為1，否則為0，這樣便得到16×16×5的數(shù)值矩陣，再進(jìn)行數(shù)值矩陣對(duì)比即可完成檢測(cè)。

3.2 實(shí)驗(yàn)結(jié)果

本文共采用100個(gè)L1080顯示模塊做測(cè)試，50個(gè)采用方案1，50個(gè)采用方案2。實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計(jì)見表3。由實(shí)驗(yàn)結(jié)果知，方案2的效果更好，雖然在時(shí)間上有所增加，但相對(duì)檢測(cè)性能來說，時(shí)間上的部分增加是可以接受的，所以本系統(tǒng)的實(shí)現(xiàn)采用了方案2。

表3 實(shí)驗(yàn)結(jié)果統(tǒng)計(jì)

分析導(dǎo)致方案1的誤判、漏判的實(shí)驗(yàn)結(jié)果圖7（a）的發(fā)現(xiàn)：由于沒有消除累積誤差，造成定位的不準(zhǔn)確，使得實(shí)驗(yàn)結(jié)果也發(fā)生很大的偏差；分析圖7（b）的測(cè)試結(jié)果發(fā)現(xiàn)：矩形框選中Li；j，k和Li；j，k＋1，Li；j，k是沒有被點(diǎn)亮的，但由于定位的不準(zhǔn)確，使得計(jì)算出Li；j，k有很大一部分覆蓋在實(shí)際的Li；j，k＋1上，導(dǎo)致誤判為點(diǎn)亮。方案2實(shí)驗(yàn)結(jié)果如圖7（c）所示，對(duì)不同的L1080，測(cè)試結(jié)果顯示，點(diǎn)陣ROI完全覆蓋在正確的位置上，結(jié)果完全正確。

4 結(jié)束語

圖7 檢測(cè)效果

對(duì)打印機(jī)顯示模塊生產(chǎn)行業(yè)進(jìn)行深入的調(diào)查研究，發(fā)現(xiàn)目前多數(shù)以人工手段完成其性能的評(píng)估和檢測(cè)，其檢測(cè)速度和精度已無法滿足現(xiàn)有的工業(yè)自動(dòng)化生產(chǎn)需求，因此，設(shè)計(jì)實(shí)現(xiàn)基于專業(yè)機(jī)器視覺庫HALCON的打印機(jī)顯示模塊自動(dòng)化檢測(cè)系統(tǒng)代替人工檢測(cè)應(yīng)運(yùn)而生，提出的定位點(diǎn)陣ROI的方法能夠消除累計(jì)誤差，實(shí)現(xiàn)對(duì)顯示模塊點(diǎn)陣ROI的精確定位，提高檢測(cè)結(jié)果的精度。改善了傳統(tǒng)的人工檢測(cè)方法的速度慢、精度低等問題，能夠很好的滿足現(xiàn)代化工業(yè)生產(chǎn)的需求。設(shè)計(jì)方案也存在不足，系統(tǒng)的工作環(huán)境 （包括機(jī)械環(huán)境和光源環(huán)境）必須固定而且比較敏感。

［1］WANG Hongye.LED display module inspection system ［D］.Dalian：Dalian University of Technology，2012 （in Chinese）.［王宏業(yè).LED顯示單元檢測(cè)系統(tǒng) ［D］.大連：大連理工大學(xué)，2012.］

［2］ZHANG Yu.Inspection technique of TFT－LCD screen mura drawback based on machine vision［D］.Harbin：Harbin Industrial University，2006 （in Chinese）.［張昱.基于機(jī)器視覺的TFT－LCD屏mura缺陷監(jiān)測(cè)技術(shù)研究 ［D］.哈爾濱：哈爾濱工業(yè)大學(xué)，2006.］

［3］ZHANG Ge.Research on LCD defects automatic detection system［D］.Nanjing：Nanjing University of Science and Technology，2008（in Chinese）.［張戈.液晶顯示屏缺陷自動(dòng)檢測(cè)系統(tǒng)的研究［D］.南京：南京理工大學(xué)，2008.］

［4］PANG Ran.Research on LCD digital table visual identification key technology ［D］.Guangzhou：Guangdong University of Technology，2008 （in Chinese）.［龐然.液晶數(shù)字表視覺識(shí)別關(guān)鍵技術(shù)研究 ［D］.廣州：廣東工業(yè)大學(xué)，2008.］

［5］QIN Xiaowei.Research on mobile phone screen bad point detection system based on machine vision ［D］.Chengdu：University of Electronic Science and Technology，2009 （in Chinese）.［覃曉偉.基于機(jī)器視覺的手機(jī)屏壞點(diǎn)檢測(cè)系統(tǒng)研究 ［D］.成都：電子科技大學(xué)，2009.］

［6］XU Yunfeng，ZHANG Yan.Research on LED screen brightness detection algorithm ［C］／／Proceedings of International Conference on Audio，Language and Image Processing，2012：925－929.

［7］ZHANG Yujin.Machine vision and image techniques ［J］.Automation Panorma，2009 （2）：20－25 （in Chinese）.［章毓晉.機(jī)器視覺和圖像技術(shù) ［J］.自動(dòng)化博覽，2009（2）：20－25.］

［8］Carsten Steger，Markus Ulrich，Christian Wiedemann.Machine vision algorithm and application ［M］.YANG Shaorong，WU Dijing，DUAN Deshan，transl.Beijing：Tsinghua University Press，2009 （in Chinese）.［Carsten Steger，Markus Ulrich，Christian Wiedemann.機(jī)器視覺算法與應(yīng)用 ［M］.楊少榮，吳迪靖，段德山，譯.北京：清華大學(xué)出版社，2009.］

［9］LI Jingfeng，YANG Lina，PAN Heng.Visual C＋＋ detailed serial communication technology ［M］.Beijing：Mechanical Industry Press，2010 （in Chinese）.［李景 峰，楊 麗 娜，潘 恒.Visual C＋＋串口通信技術(shù)詳解 ［M］.北京：機(jī)械工業(yè)出版社，2010.］

［10］GENG Chunming，CAI Dongbao.Design of mechanical parts inspection system based on computer vision ［J］.Computer Measure ＆Control，2012，20 （1）：38－39 （in Chinese）.［耿春明，蔡?hào)|寶.基于計(jì)算機(jī)視覺的機(jī)械零件檢系統(tǒng)設(shè)計(jì) ［J］.計(jì)算機(jī)測(cè)量與控制，2012，20 （1）：38－39.］

［11］Tian H，Srikanthan T，Asari K V.The segmentation algorithm of improvement a two－dimensional otsu and application research ［C］／／2nd International Conference on Software Technology and Engineering，2010：V1－76 －V1－79.

［12］ZHAO Zhenming，PENG Guohua，F(xiàn)U Limei.High precision and fast reliable image matching base on the shape model ［J］.Computer Application，2010，30 （2）：25－30 （in Chinese）.［趙振明，彭國(guó)華，符立梅.基于形狀模板的快速高精度可靠圖像匹配 ［J］.計(jì)算機(jī)應(yīng)用，2010，30 （2）：25－30.］

［13］Hu Jinmei，Li Zuoyong.Medical image segmentation algorithm based on the improved mathematical morphology ［J］.Computer Simulations，2011，28 （5）：299－302.

［14］Chen Tingting，Cheng Xiaoping.Image segmentation using fuzzy morphology and morphological watershed algorithm ［J］.Journal of Southwest University，2008，30 （3）：142－145.

［15］Wei Qiangqiang.Showdown mathematical morphology and its application in the image edge detection ［J］.Science and Technology Information，2010，10 （2）：38－42.