機器視覺在COB LED顯示模組墨色采集、分類、排序中的應(yīng)用

李百松，曹 慧*，徐子程，程宏斌,2，汪 洋,2，鄭喜鳳,2

(1.長春希達電子技術(shù)有限公司，吉林 長春 130103；2.中國科學(xué)院 長春光學(xué)精密機械與物理研究所，吉林 長春 130033)

1 引 言

LED顯示屏通用規(guī)范SJ/T 11141-2017中規(guī)定最高對比度為：在一定環(huán)境照度下，LED顯示屏最大亮度和背景亮度的比。因此為了提高對比度，行業(yè)內(nèi)針對LED顯示屏的底色通常采用多種工藝處理，使黑屏狀態(tài)時顯示為黑色，即墨色。常規(guī)的一面集成封裝(Chip on Board，COB)LED顯示屏是由多塊同一生產(chǎn)批次的COB LED顯示模組拼裝而成，由于原材料和生產(chǎn)工藝不能做到絕對的一致性，會造成COB LED顯示模組間墨色不一致的現(xiàn)象。進一步研究發(fā)現(xiàn)，陣列模組的墨色一致性是由印刷線路板(Printed circuit board，PCB)的鍍金厚度、鍍層均勻性、內(nèi)層線路映射、阻焊層墨色以及后續(xù)LED顯示模組銑平面、模壓封裝及封裝層摻雜材料等交叉影響造成的。

續(xù) 表

在發(fā)射中心、指揮大廳等高端應(yīng)用場所，對COB LED顯示屏的質(zhì)量和主觀感受要求很高，因此確保一面COB LED顯示屏的墨色效果非常重要。根據(jù)COB LED陣列模組產(chǎn)生墨色不均勻的原因，在提出產(chǎn)品高對比度的設(shè)計方案與工藝技術(shù)的有效控制方案，降低陣列模組黑場時表面亮度的同時，需要提高陣列模組表面顏色的一致性。

2 墨色采集、分類、排序的原理

COB LED顯示模組的墨色并非單一顏色而是多種材料或者工藝影響的混合顏色，如果分離出墨色中各種肉眼清晰分辨的單一顏色，即可通過不同COB LED顯示模組之間對應(yīng)單一顏色的濃度差異表示墨色差異。單一顏色在混合顏色中的占比稱為顏色濃度。而通過利用單一顏色物質(zhì)只能反射對應(yīng)顏色的原理，即可分離出單一顏色濃度值。

如圖1所示，通過不同顏色光源進行打光反射至相機采集，即可分離出COB LED顯示模組內(nèi)墨色的各種單一顏色濃度。根據(jù)多種單一顏色的濃度進一步進行顯示模組墨色分類或者排序，通過這種原理進行墨色采集可有效實現(xiàn)墨色的分析與處理。

圖1 墨色采集原理示意圖Fig.1 Schematic diagram of ink collection principle

一維墨色的分類原理為：將同一墨色檔次的COB LED顯示模組分為同一類，這樣進行搭建COB LED顯示屏即可實現(xiàn)墨色無差異，均保持同一檔次。經(jīng)過實際測驗，同一生產(chǎn)批次的COB LED顯示模組的墨色分類等級較多，不能達到充分利用的效果，會造成較多的產(chǎn)品庫存積壓，因此需要一種方法可以充分使用所有COB LED顯示模組。本文采用二維墨色排序算法，其原理為：根據(jù)視覺的漸變性，即相鄰的兩個COB LED顯示模組墨色如果差異不大即不影響視覺直觀感受，需在二維的COB LED顯示屏上建立坐標(biāo)系，將所有模塊進行橫縱排序，使其具備二維漸變效果，這樣整個COB LED顯示屏的墨色可以符合人眼視覺的直觀感受。圖2、圖3分別是墨色排序前和排序后示意圖。

圖2 墨色排序前示意圖Fig.2 Schematic diagram of ink colors before sorting

圖3 墨色排序后示意圖Fig.3 Schematic diagram of ink colors after sorting

3 系統(tǒng)應(yīng)用設(shè)計

墨色采集、分類、排序方案設(shè)計如圖4所示，由相機模塊、光源模塊、算法處理模塊構(gòu)成。按照順序切換不同顏色的光源，操作相機進行采集，返回相應(yīng)顏色濃度的數(shù)值，將所有采集到的顏色濃度值通過算法處理轉(zhuǎn)換為墨色，再通過排序或者分類算法處理輸出不同等級墨色的COB LED顯示模組的對應(yīng)安裝位置，即可實現(xiàn)安裝符合視覺感受的COB LED顯示屏。

圖4 系統(tǒng)方案設(shè)計Fig.4 Design of system scheme

3.1 硬件設(shè)計

由于如單一純白光源等無法采集顯示模組表面多個顏色濃度值，因此本文采用具備8個光譜的環(huán)形光源。環(huán)形光源光照更均勻，能夠更好地突出特征值以便數(shù)據(jù)處理及分析。采用8 bit的Basler黑白相機，光源與相機的物理安裝關(guān)系如圖5所示，采用中心法線重合的安裝方式。

圖5 光源與相機安裝示意圖Fig.5 Diagram of light source and camera installation

機器視覺技術(shù)是通過光學(xué)非接觸的傳感器自動獲取并解釋處理一個真實物體的圖像，以獲取所需信息用于控制機器運動[1]。本文采用機器視覺技術(shù)，通過相機采集圖像。圖像儲存在相機的RAM空間緩存區(qū)中，通過提取緩存區(qū)數(shù)據(jù)獲得COB LED顯示模組的墨色信息[2]。

本方法中采用的鏡頭為16 mm鏡頭，采集區(qū)域為30 mm×30 mm。所以為了保證視場，相機與被測COB LED顯示模組的最佳距離為100 mm，光源距離被測模組的最佳距離為70 mm。為了減少采集噪聲，需要降低光源與COB LED顯示模組的距離，因此采用常規(guī)的低角度光源，LED燈珠的軸心與水平面夾角為30°。在該距離下觀測清晰，特征顯著，噪聲較小[3-4]。

多光譜光源的波長直接影響采集到的墨色準(zhǔn)確性。因為墨色肉眼可見，所以選取波長大約在400～700 nm之間。目前市場上能找到光譜最多的光源只有8個光譜，選擇8光譜的光源波長如表1所示。

表1 光的波長及參數(shù)表Tab.1 Wavelength and parameters of light

3.2 軟件設(shè)計

軟件設(shè)計主要分為兩部分：第一部分為圖像采集模塊，實現(xiàn)與相機通訊，控制相機曝光時間及曝光，通過訪問相機RAM存儲區(qū)獲取數(shù)據(jù)流，將數(shù)據(jù)流轉(zhuǎn)變?yōu)榭商幚淼? bit整數(shù)數(shù)組，控制多光譜光源，調(diào)節(jié)光源亮度，切換光源顏色。第二部分為算法處理模塊，包括將數(shù)據(jù)流轉(zhuǎn)換的8 bit數(shù)組進行數(shù)據(jù)分割，提取替換異常索引值，通過文件存儲進行數(shù)據(jù)永久性保存[5]。滿足觸發(fā)條件之后觸發(fā)算法處理模塊，生成COB LED顯示模組序號，實現(xiàn)墨色排序、分類操作。墨色采集及計算流程如圖6所示。

圖6 程序運行流程圖Fig.6 Flow chart of program operation

根據(jù)程序運行流程，相機啟動程序配置作為啟動引導(dǎo)程序，相機硬件接口分為TCP、USB、cameraLink接口等，分別對應(yīng)不同調(diào)用方法。本文使用TCP接口(預(yù)先設(shè)置計算機網(wǎng)絡(luò)巨型幀)通過Labview軟件開發(fā)平臺驅(qū)動相機。

多光譜光源的調(diào)用接口也分為TCP接口與RS232串口。本文采用RS232串口作為接口，通過Labview軟件開發(fā)平臺設(shè)計串口驅(qū)動程序。串口編輯流程如圖7所示，相關(guān)調(diào)用SDK指令描述文件如表2所示。

圖7 RS232串口編輯流程Fig.7 RS232 serial port editing process

表2 多光譜光源SDK描述文件相關(guān)指令Tab.2 Relative instructions of SDK description file for multispectral light source

在使用該接口時，通過如圖8可以看出通訊數(shù)據(jù)是由1 bit的起始位、8 bit的數(shù)據(jù)位和1 bit的停止位構(gòu)成。RS232數(shù)據(jù)傳輸時序圖如圖8所示。

圖8 RS232數(shù)據(jù)傳輸時序圖Fig.8 Diagram of RS232 data transmission sequence

通過8個光譜的光源，得到的采集同批次COB LED模組的8種單一顏色濃度，大概率無法實現(xiàn)工程化墨色分類，因此采用加權(quán)平均的方式對8種顏色濃度進行歸一化處理，處理后的墨色值表示每個模組的顏色濃度[6-7]。通過實驗總結(jié)墨色差異化的范圍區(qū)間為5，兩塊COB LED模組的墨色值相差在5以內(nèi)可以歸類為一類墨色，相差在5以上不歸為一類。按照切換一種顏色采集一張圖片的順序可以獲得多張圖片數(shù)據(jù)，在采集同時將圖片數(shù)據(jù)流提取轉(zhuǎn)換為8 bit二維數(shù)組，根據(jù)公式(1)計算出單一光譜光源照射下采集到數(shù)組均值L，其中m、n為數(shù)組寬度，i、j為數(shù)組索引值。

.

(1)

LED顯示屏應(yīng)用在不同的環(huán)境光下，顯示表面反射的光特征值不同，因此采用在8種不同環(huán)境光照情況下的加權(quán)平均方法，如公式(2)所示。在得出單一顏色下數(shù)組均值L后，計算出8種顏色加權(quán)后的均值P，墨色分類后按照均值二維排序方法將墨色相近的模塊安裝一起，即可實現(xiàn)同一類別的COB LED顯示模組無明顯色差[8-9]。

(2)

其中:ωi為在不同光譜下顯示模塊的加權(quán)權(quán)值，Li是不同光譜下的墨色均值，i=1,2,…,8。

墨色采集、分類后，采用二維排序方法對同一類墨色的顯示模組進行二維排序。具體算法流程為：

(1)提取亮度值，設(shè)有F個亮度值P1,P2,…PF；

(2)設(shè)矩陣A為1×F的矩陣，將F個亮度值P1,P2,…PF按順序放入矩陣A中，則有公式(3)：

A=[P1,P2,…PF].

(3)

(3)設(shè)公式(4)中矩陣B為m×n的空矩陣，其中m×n=F，則有：

.

(4)

(4)將公式(4)中矩陣B分為m+n-1個一維矩陣C(i)，其中i=1,2,…m+n-1。

(5)將公式(4)中矩陣B中元素位置的行列數(shù)之和相等的元素位置信息分別放入不同的公式(5)的一維矩陣C中，且滿足：

C(i)=[B(j,k)]，

(5)

其中:j=1,2,…,m,k=1,2,…,n,j+k=i+1。

(6)將公式(5)中各個C中的元素按照公式(4)中B的行數(shù)遞增的順序排列，則有公式(6)：

(6)

(7)將公式(6)中所有的一維矩陣C(i)按照i從小到大的順序放入新的矩陣D中，則有公式(7)：

D=[B(1,1),B(1,2),B(2,1)…B(m,n)].

(7)

(8)將公式(3)中A中元素與公式(7)和公式(4)中B矩陣的位置信息一一對應(yīng)，將公式(3)中A矩陣的所有元素填入公式(4)中的B矩陣中，完成公式(3)中一維矩陣A斜向排入公式(4)中B矩陣，即：

(8)

通過公式(2)～(8)即可完成所有亮度值從左上角位置橫向向右、縱向向下、斜向向右下均勻遞增的排序。通過該種算法可以實現(xiàn)所有COB LED顯示模組能夠被充分利用，并可達到人眼視覺墨色一致性較好的顯示效果。當(dāng)同一批次的COB LED顯示模組墨色差異不大時，漸變效果不明顯；但是當(dāng)同一批次的COB LED顯示模組墨色差異較大時，先分類再二維排序，整屏漸變效果會比較明顯，分類少時在顯示屏局部會出現(xiàn)階梯漸變線[10]。

通過Labview軟件開發(fā)的相機、光源控制及圖像采集程序模塊如圖9所示，墨色排序算法程序模塊如圖10所示。

圖9 相機、光源控制及圖像采集程序模塊。Fig.9 Program of camera,light source control and image acquisition.

圖10 墨色排序算法程序模塊Fig.10 Program of black sorting algorithm

4 測試分析結(jié)果

在照度小于5 lx的暗室環(huán)境下，準(zhǔn)備100塊同一生產(chǎn)批次、外型尺寸為152.4 mm×114.3 mm、點間距為1.27 mm的COB LED顯示模組。分別將100塊模組進行0～100編號，此編號與軟件編號對應(yīng)，即表示每個模組都有唯一的墨色值。將模組固定在快速安裝夾具上面，此夾具平行于光源與相機，此時對設(shè)備進行供電，通過軟件檢測相機、光源是否正常啟動。打開軟件進行預(yù)覽，檢測成像清晰程度及圖像是否有大量超過飽和的像素點，如果成像不清晰適當(dāng)調(diào)節(jié)焦距。光源的亮度越高則溫度越高，當(dāng)亮度設(shè)定值恒定時，隨著時間的變化，溫度逐漸升高，影響光源的亮度，所以為了保證光源亮度的穩(wěn)定性，需要將光源亮度最大程度地降低，當(dāng)光源亮度低時，通過調(diào)節(jié)光圈增加近光量來保證圖像的亮度。本實驗采用的是8 bit灰白相機，為了減少噪聲的同時提高特征值，需要調(diào)節(jié)光圈和光源，以保證每種顏色打光相機采集的最高灰度值為200～210。完成準(zhǔn)備工作后，開始進行墨色采集，單擊采集按鈕，可以觀測到光源開始順序切換，切換的同時進行快速拍攝，當(dāng)所有光源切換完成及拍攝完成，即對此塊COB LED顯示模組完成墨色采集及記錄，換下一塊模塊，繼續(xù)采集記錄。

圖11 COB LED顯示模組墨色采集平臺(包含相機、光源)Fig.11 Platform of COB LED display module ink collection (including camera and light source)

圖12 COB LED顯示模組墨色采集及排序平臺軟件Fig.12 Software of COB LED display module ink collection platform

當(dāng)完成所有模組的采集，操作軟件完成自動排序，該排序完成的二維數(shù)組具有對角線漸變的結(jié)果，即二維數(shù)組順序，如表3所示。

表3 墨色排序部分圖表Tab.3 Chart of ink sorting

按照編號進行COB LED顯示屏安裝，可發(fā)現(xiàn)整屏墨色效果顯著提升，如圖13、圖14所示。

圖13 COB LED顯示模組排序前效果Fig.13 Effect of COB LED display module before sorting

圖14 COB LED顯示模組二維排序后效果Fig.14 Installation results of COB LED display module after sorting

5 結(jié) 論

在目前LED顯示屏像素密度越來越高、拼接面積越來越大的情況下，保證墨色一致性難度極大。本文介紹了COB LED顯示模組的墨色采集、分類、排序的原理、設(shè)計、及測試結(jié)果，提出了一種行業(yè)內(nèi)全新的保證墨色一致性的方法，既保證了墨色的一致性又避免了因墨色問題造成的產(chǎn)品庫存積壓，同時可以自動采集、分類、排序，滿足了生產(chǎn)制造中自動化流水線的要求。該設(shè)計方法靈活方便，節(jié)約人工成本、生產(chǎn)制造成本，易于操作，在實際COB LED產(chǎn)品墨色提升上有很大的應(yīng)用價值。