劉孝星， 鄭力新， 周凱汀， 吳哲， 林立峰

(1. 華僑大學(xué) 信息科學(xué)與工程學(xué)院， 福建 廈門 361021； 2. 華僑大學(xué) 工學(xué)院, 福建 泉州 362021)

采用圖像處理的膠囊尺寸缺陷檢測方法

劉孝星1， 鄭力新2， 周凱汀1， 吳哲2， 林立峰1

(1. 華僑大學(xué) 信息科學(xué)與工程學(xué)院， 福建 廈門 361021； 2. 華僑大學(xué) 工學(xué)院, 福建 泉州 362021)

針對透明膠囊的成像特點(diǎn)，提出一種實(shí)時性好、健壯性較強(qiáng)的結(jié)合閾值分割、腐蝕、輪廓提取及區(qū)域填充的圖像提取算法.利用旋轉(zhuǎn)和一階差分分割膠囊本體，通過最小包圍矩形測量膠囊的尺寸，并與公認(rèn)標(biāo)準(zhǔn)進(jìn)行對比，從而判別膠囊是否存在尺寸缺陷.實(shí)驗(yàn)結(jié)果表明：膠囊圖像提取和尺寸缺陷識別算法的平均漏檢率為6.38%，平均誤檢率為4.13%.

尺寸缺陷； 膠囊； 圖像處理； 區(qū)域分割

Abstract： In view of the characteristics of transparent capsule image, this paper proposed the image extraction algorithm combining with threshold segmentation, corrosion, contour extraction and region filling with good real-time and strong robustness. Then by using rotating and first-order difference divided capsule ontology, through the minimum bounding rectangle measured the size of capsule, compared with generally accepted standards we can distinguish whether capsule exists size defect. The experimental results show that: the average missing rate of capsule image extraction and the size defect recognition algorithm was 6.38%, the average error rate was 4.13%.

Keywords： size defect; capsule; image processing; region segmentation

近年來，隨著醫(yī)藥行業(yè)的飛速發(fā)展，膠囊以能有效掩蓋藥物不良?xì)馕丁⑻岣咚幬锓€(wěn)定性、延緩藥物釋放及易于服用等優(yōu)點(diǎn)，廣泛地應(yīng)用于保健品和藥品領(lǐng)域.在空心膠囊的生產(chǎn)過程中，尺寸缺陷是常見的一種缺陷膠囊.目前，針對空心膠囊尺寸缺陷的問題，國內(nèi)生產(chǎn)企業(yè)普遍采用人工檢驗(yàn)的方式，檢測效率極低.機(jī)器視覺技術(shù)具有非接觸測量、長時間穩(wěn)定工作等優(yōu)勢，正逐漸應(yīng)用于工業(yè)表面檢測領(lǐng)域.因此，基于圖像處理的空殼膠囊尺寸缺陷檢測方法代替?zhèn)鹘y(tǒng)的人工檢測是膠囊制藥行業(yè)發(fā)展的趨勢.許多學(xué)者對相關(guān)檢測算法進(jìn)行了研究[1-3].本文提出一種適合工業(yè)現(xiàn)場的膠囊尺寸缺陷檢測方法.

1 檢測方案

利用機(jī)器視覺技術(shù)對膠囊尺寸進(jìn)行測量時，需要考慮以下5個問題：1) 圖像噪聲的濾除；2) 膠囊自身圖像與背景圖像的分離；3) 膠囊各區(qū)域的分割，包括體(未重合部分，下文統(tǒng)稱為體)、帽(未重合部分，下文統(tǒng)稱為帽)、重合區(qū)；4) 圖像處理算法的實(shí)時性；5) 算法的健壯性.通過算法的對比和研究，設(shè)計(jì)了一套膠囊尺寸缺陷檢測方案，其算法流程,如圖1所示.

圖1 膠囊尺寸檢測流程圖Fig.1 Flow chart of capsule size detection

2 膠囊自身圖像提取

2.1ROI設(shè)定及預(yù)處理

膠囊尺寸缺陷識別算法是整個缺陷檢測過程的核心.在外觸發(fā)方式下，電荷耦合器件(CCD)相機(jī)每次采集的圖像中包含了4個膠囊檢測位，每幅圖像中膠囊位置相對固定.為了便于對膠囊圖像進(jìn)行分析及減少數(shù)據(jù)運(yùn)算量，在獲取的原始圖像中，設(shè)定4個感興趣區(qū)域(ROI)，每次提取單一的區(qū)域圖像進(jìn)行處理，如圖2所示.CCD相機(jī)采集的圖像中,常夾雜光子散粒噪聲、暗電流噪聲、讀出噪聲、時鐘感應(yīng)噪聲等[4]，導(dǎo)致圖像質(zhì)量降低，對后續(xù)圖像提取、圖像分割和尺寸測量造成較大影響.因此，采用濾波去噪對圖像進(jìn)行預(yù)處理.為了保證算法的實(shí)時性，并最大程度地保持圖像細(xì)節(jié)，采用改進(jìn)型中值濾波去除噪聲[5-6]，使算法的時間復(fù)雜度從O(n2)降低為O(n)，其效果如圖3所示.

2.2閾值分割及空位判別

背景圖像對目標(biāo)圖像處理造成很大干擾，需要提取目標(biāo)本體圖像，使其與背景完全分離.相較于不透明膠囊，透光性較強(qiáng)的透明膠囊是膠囊自身圖像提取中的難點(diǎn).透明膠囊的灰度分布不同，灰度值在中部最高，靠近邊緣處較低.假設(shè)透明膠囊所處的灰度區(qū)間為D1，背光部分所處的灰度區(qū)間為D2，則存在一個非空區(qū)間K使D1∩D2=K.因此，雙閾值分割將中間區(qū)域作為背景處理，使分割后的圖像只剩下膠囊的邊緣部分.雙閾值通過大量實(shí)驗(yàn)測試得出，經(jīng)雙閾值分割后的兩種膠囊，如圖4所示.

排料過程中，由于膠囊在料槽出口處堆積，可能導(dǎo)致傳送鏈條的膠囊槽未被完全填滿.由圖4(b)可知：分割后的圖像仍存在膠囊槽的輪廓.若膠囊槽中有膠囊，則除了輪廓之外，還有膠囊本體；反之，二值圖中僅有輪廓線，如圖5所示.二值圖像中，背景部分的像素值為0，前景部分的像素值為1.槽中有、無膠囊的兩種情況下，前景的像素?cái)?shù)量相差較多，通過統(tǒng)計(jì)像素值為1的像素個數(shù)，并與合適的閾值比較，即可判斷是否為空位.圖5中的膠囊槽輪廓像素為1 291個，圖4(b)中的像素為10 236個，若為不透明膠囊，則像素個數(shù)還會進(jìn)一步增加.因此，該閾值判別法可準(zhǔn)確進(jìn)行空位判別.

2.3形態(tài)學(xué)處理

為了去除多余的膠囊槽輪廓，對雙閾值分割后的二值圖像進(jìn)行腐蝕處理.腐蝕處理時，腐蝕的內(nèi)核大小的選取十分重要，內(nèi)核過大會導(dǎo)致膠囊的邊緣被過多地腐蝕而出現(xiàn)斷裂，如圖6(a)所示.膠囊槽的輪廓寬度通常在3個像素之內(nèi)，使用稍大的結(jié)構(gòu)元素可對其進(jìn)行處理.在腐蝕過程中均選用3×3的方形結(jié)構(gòu)元素處理圖4(b)的殘余背景，盡可能減少對膠囊邊緣造成的影響，結(jié)果如圖6(b)所示.

2.4膠囊輪廓提取

腐蝕后的二值圖除了膠囊區(qū)域外，還可能有其他小目標(biāo)區(qū)域.為了對各連通域進(jìn)行分析，必須對其標(biāo)號.在目標(biāo)區(qū)域較為復(fù)雜時，像素標(biāo)記法[7-8]、線標(biāo)記法[9]、基于四叉樹的標(biāo)號算法[10]等圖像標(biāo)號算法處理時間會迅速增加.膠囊的邊緣區(qū)域因具有較多“U”形或“E”形的復(fù)雜連通域，以上方法并不適用.文中將區(qū)域生長的思想應(yīng)用于區(qū)域標(biāo)號中.從圖像左上角開始對像素進(jìn)行逐一掃描，若碰上沒有標(biāo)號的像素，則把該像素作為種子點(diǎn)，按照棧的方式存儲，對其鄰域的像素進(jìn)行標(biāo)記，并同樣存儲標(biāo)記過的像素，從棧中去除像素，作為新種子點(diǎn)標(biāo)記其鄰域，棧內(nèi)無像素點(diǎn)時終止.采用8鄰域方向生長時，對圖像的遍歷次數(shù)能夠從8次減少為4次左右.通過區(qū)域生長的方式對不同的目標(biāo)區(qū)域進(jìn)行逐一標(biāo)號，實(shí)現(xiàn)各個區(qū)域之間的相互區(qū)分.標(biāo)號的最大數(shù)值m，即為目標(biāo)區(qū)域的個數(shù).

二值圖像中膠囊邊緣有內(nèi)、外兩層輪廓，外層輪廓包含了整個膠囊所處的區(qū)域. 為了利用外層輪廓

圖7 8鄰域方向Fig.7 8-direction of neighborhood

提取出膠囊本體圖像，并節(jié)省跟蹤內(nèi)層輪廓的時間，需獲取輪廓線上的像素坐標(biāo)，并對該輪廓進(jìn)行描述.蟲隨法算法簡單，但易忽略邊緣輪廓上的個別凸起[11]；光柵掃描法受閾值大小影響大，且掃描次數(shù)不定，難以實(shí)際應(yīng)用[12].文中采用鄰域點(diǎn)邊界跟蹤法可較好地避免以上問題.首先，定義8鄰域的方向(圖7)，并設(shè)立集合L和變量dir，分別存儲已跟蹤輪廓所屬的區(qū)域標(biāo)號和從前一個邊界元素到下一個邊界元素的方向.然后，按以下4個步驟執(zhí)行.

步驟1對方向變量賦值，使dir=7，并從圖像左上角開始從上到下、從左到右進(jìn)行搜索，直至找到第一個非零像素，且該像素的標(biāo)號l滿足l?L，則該像素P0是其所在區(qū)域Q1第一列的第一行元素.因此，以P0為區(qū)域輪廓的起始像素，并將該區(qū)域的標(biāo)號添加到集合L中.

步驟2若dir為偶數(shù)，用(dir+7)除以8的余數(shù)對其重新賦值；若dir為奇數(shù)，用(dir+6)除以8的余數(shù)對其重新賦值.以dir為起始方向逆時針?biāo)褜ぎ?dāng)前像素的8鄰域，找到的第一個非零像素是當(dāng)前區(qū)域中新的輪廓元素Pn，同時更新dir，使其等于Pn-1到Pn的方向數(shù)值.

步驟3如果當(dāng)前的輪廓元素Pn等于第二個輪廓元素P2，且前一個元素Pn-1等于P0，則進(jìn)行步驟4，區(qū)域Q1的輪廓像素集合為{P0,P1,…,Pn}；否則，返回步驟2.

步驟4統(tǒng)計(jì)當(dāng)前集合L中的元素個數(shù)num.若num=m，表明圖像中各區(qū)域輪廓均已獲取，結(jié)束操作；若num≠m，返回步驟1，獲取圖像中其他區(qū)域的輪廓.

由于同種膠囊之間存在微小的差異，少數(shù)膠囊在雙閾值分割后邊緣部分較窄，經(jīng)腐蝕處理后出現(xiàn)邊緣斷裂.為了提高算法的魯棒性，解決個別膠囊因邊緣不完整導(dǎo)致的錯誤分割問題，在獲取膠囊邊緣輪廓后，進(jìn)一步對輪廓進(jìn)行凸包的構(gòu)建.膠囊所在區(qū)域Q的輪廓可近似為凸形，重構(gòu)后的輪廓基本不變，如圖8(a)所示；而腐蝕后出現(xiàn)邊緣斷裂時所獲得的輪廓為凹形，如圖8(b)所示.

若連接斷開處的兩個拐點(diǎn)，并去掉兩個拐點(diǎn)之間的曲線，即可獲得近似的膠囊輪廓.輪廓上點(diǎn)的集合{P0,P1,…,Pn}已按逆時針方向排序，以P0為起點(diǎn)從P2開始進(jìn)行判斷.首先，得到向量P0P1和P1P2，計(jì)算c=|P0P1×P1P2|/(|P0P1|×|P1P2|)，若c>0，則P1到P2的路徑相對于P0到P1的路徑是向左轉(zhuǎn)的，表明P2是凸包上的一個頂點(diǎn)；反之，若c≤0，則P1到P2的路徑相對于P0到P1的路徑是向右轉(zhuǎn)的，此時，P2就不是凸包的頂點(diǎn)，將P2從點(diǎn)集中移除，以此對后續(xù)的點(diǎn)進(jìn)行判斷直至回到P0，得到新的點(diǎn)集{p0,p1,…,pn}，按順序連接這些點(diǎn)并繪制于一幅新的背景圖像,即可得到所需的凸形輪廓，如圖8(c)所示.

2.5區(qū)域填充與膠囊自身圖像提取

漫水填充法能有效完成對目標(biāo)區(qū)域的提取[13]，但效率較低.文中采用掃描線方法，首先，在輪廓上尋找兩點(diǎn)Pi=(xi,yi)和Pj=(xj,yj)，使yi由yj為凸形，所以線段PiPj端點(diǎn)外的任意一點(diǎn)Pk=(xk,yk)，若Pk?{P0,P1,…,Pn}在輪廓內(nèi)部；反之，則重新尋找.膠囊圖像提取效果,如圖9所示.

3 膠囊邊緣檢測

3.1圖像旋轉(zhuǎn)

膠囊在槽中的位置不是完全固定的，在圖像中可能出現(xiàn)一定角度的傾斜，將影響后續(xù)的分割.將圖像中的點(diǎn)經(jīng)過線性變換后重新映射到新的圖像中，實(shí)現(xiàn)膠囊的旋轉(zhuǎn)，可使其側(cè)邊與水平方向垂直.二維圖形以任意點(diǎn)(xc，yc)為旋轉(zhuǎn)中心，以α為旋轉(zhuǎn)角的旋轉(zhuǎn)公式為

(a) 傾斜 (b) 旋轉(zhuǎn)后圖10 膠囊旋轉(zhuǎn)Fig.10 Capsule rotation

進(jìn)行旋轉(zhuǎn)前，首先要確定旋轉(zhuǎn)中心和旋轉(zhuǎn)角度.圖像中膠囊的輪廓是由離散的點(diǎn)構(gòu)成的凸多邊形，其最小面積的外接矩形至少有一個邊與輪廓上的一個線段共線.膠囊的外形較為特殊，其最小面積外接矩形的兩條相互平行的邊分別與膠囊兩個側(cè)邊共線，計(jì)算最小面積外接矩形的中心點(diǎn)坐標(biāo)及其傾斜角即可得到所需的旋轉(zhuǎn)中心和旋轉(zhuǎn)角度，膠囊旋轉(zhuǎn)效果，如圖10所示.

3.2重合區(qū)邊緣檢測

膠囊體、帽套合時將產(chǎn)生一個重合區(qū)域.為了測量體、帽的長度，必須將每個區(qū)域分割出來.常用的區(qū)域分割方法有區(qū)域生長分割、分水嶺分割.區(qū)域生長需要先確定種子點(diǎn)位置和生長準(zhǔn)則，再確定其周圍像素是否屬于同一區(qū)域[14].體、帽的透光率相對均勻，無論兩者的顏色是否相同，重合區(qū)的透光率會低于重合區(qū)外的部分.

因此，體、帽未重合的部分較亮，重合部分較暗，且各部分的灰度基本一致，膠囊區(qū)域內(nèi)自上而下在第一個重合區(qū)邊緣時，由亮變暗；在第二個重合區(qū)邊緣時，由暗變亮.因此，對膠囊區(qū)域內(nèi)某一垂直于水平方向的剖面線f(i,j)做差分運(yùn)算，在點(diǎn)(i,j)處沿豎直方向的一階差分可表示為

得到差分曲線的波谷、波峰分別對應(yīng)自上而下時重合區(qū)的第一、二個邊緣，如圖11所示.圖11中：A為灰度；n表示第n個像素.

圖11 剖面線差分曲線Fig.11 Differential curve of section lines

由于靠近膠囊邊緣的部分亮度與內(nèi)部差異較大，因此，需選取合適的剖面線.假設(shè)原最小面積外接矩形旋轉(zhuǎn)后得到的新矩形左上角的坐標(biāo)為(x1，y1)，寬度為w，高度為h，以x=x1+w/2作為剖面線在水平方向上的位置，并按照固定比例0<λ<1舍棄膠囊兩頭的一部分λh，得到剖面線的起始點(diǎn)坐標(biāo)分別為(x1+w/2,y1+λh)，(x1+w/2,y1+(1-λ)h).

對該剖面線上的灰度值做差分運(yùn)算后篩選出差分結(jié)果的最大、最小值，獲取它們的坐標(biāo)，即可找到膠囊重合區(qū)的上下兩個邊緣在圖像中的位置.

4 膠囊本體分割與尺寸缺陷判別

膠囊重合區(qū)的邊緣位置已知，可通過設(shè)定ROI分割出3個區(qū)域的圖像.設(shè)圖像旋轉(zhuǎn)后的最小面積包圍矩形的左上角坐標(biāo)為(xleft,ytop)，右上角坐標(biāo)為(xright,ytop)， 右下角坐標(biāo)為(xright,ybottom)， 左下角坐

(a) 第一部分 (b) 第二部分 (c) 第三部分圖12 膠囊本體分割結(jié)果Fig.12 Result of capsule segmentation

標(biāo)為(xleft,ybottom)，若至上而下膠囊第一個邊緣的位置為yk，第二個邊緣的位置為yj，以頂點(diǎn)(xleft,ytop),(xright,ytop),(xleft,yk),(xright,yk)的矩形為第一個ROI，(xleft,yk),(xright,yk),(xleft,yk),(xright,yj)為第二個ROI，(xleft,yj),(xright,yj),(xright,ybottom),(xleft,ybottom)為第三個ROI，分割出膠囊的3個區(qū)域，如圖12所示.膠囊在圖像中豎直放置，3個ROI的長度即膠囊3個區(qū)域的尺寸，可得膠囊兩節(jié)的尺寸為yj-ytop和ybottom-yk，兩者數(shù)值較小的即為膠囊帽尺寸，較大的為膠囊體尺寸.判斷測量的帽、體尺寸是否在標(biāo)準(zhǔn)的尺寸范圍內(nèi)，即可知膠囊是否存在尺寸缺陷.

5 結(jié)束語

在Intel Core i7 4770k處理平臺下進(jìn)行實(shí)驗(yàn)測試，采用任務(wù)并行處理技術(shù)處理3臺相機(jī)所采集的圖像所花費(fèi)的總時間平均為7.9 ms.在生產(chǎn)線上隨機(jī)抽取膠囊作為測試樣本，檢測完成后由專門的檢測人員分別從成品和次品中抽樣檢測，統(tǒng)計(jì)膠囊的漏檢率和誤檢率.5次抽樣結(jié)果顯示：平均漏檢率為6.38%，平均誤檢率為4.13%；膠囊圖像提取和尺寸缺陷識別算法的健壯性較強(qiáng)，實(shí)時性較好.

[1] ISLAM M J,AHMADI M,SID-AHMED M A.Image processing techniques for quality inspection of gelatin capsules in pharmaceutical applications[C]∥International Conference on Control, Automation, Robotics and Vision.Washington D C:IEEE Press,2008:862-867.

[2] MURAI T,MORIMOTO M,FUJII K.A visual inspection system for medical capsules[C]∥International Conference on Systems, Man, and Cybernetics.Washington D C:IEEE Press,2012:1433-1437.

[3] 王娟,周永霞,徐冰俏.圖像處理在膠囊外形缺陷檢測中的應(yīng)用[J].中國計(jì)量學(xué)院學(xué)報(bào),2012,23(3):239-245.

[4] WANG Dejiang,ZHANG Tao.Noise analysis and measurement of time delay and integration charge coupled device[J].Chinese Physics B,2011,20(8):352-357.

[5] 楊文博,馬天瑋,劉劍.非局部變分修復(fù)法去除高密度椒鹽噪聲[J].中國光學(xué),2013,6(6):876-884.

[6] 李剛,范瑞霞.一種改進(jìn)的圖像中值濾波算法[J].北京理工大學(xué)學(xué)報(bào)(自然科學(xué)版)，2002,22(3):376-378.

[7] ROSENFELD A,PFALTZ J L.Sequential operations in digital picture processing[J].Journal of the ACM，1966,13(4):471-494.

[8] HARALOCK R M,SHAPIRO L G.Computer and robot vision[M].New Jersey:Prentice Hall,1991:57-64.

[9] IRANI M,ANANDAN P,BERGEN J,etal.Efficient representations of video sequences and their applications[J].Signal Processing: Image Communication，1996,8(4):327-351.

[10] 吳恒山,段雄文,李晨陽.葉結(jié)點(diǎn)編碼四叉樹的鄰域?qū)ふ宜惴╗J].計(jì)算機(jī)應(yīng)用，2005,25(11):2624-2626.

[11] 周秀芝,陳洋,胡文婷.基于交叉點(diǎn)的樹遍歷二值圖像邊界跟蹤算法[J].計(jì)算機(jī)應(yīng)用與軟件，2014,31(2):230-232.

[12] 王福生,齊國清.二值圖像中目標(biāo)物體輪廓的邊界跟蹤算法[J].大連海事大學(xué)學(xué)報(bào)，2006,32(1):62-64.

[13] ZHOU Zhiwei,LI Linlin,TAN C L.Edge based binarization for video text images[C]∥International Conference on Pattern Recognition.Washington D C:IEEE Press,2010:133-136.

[14] ADAMS R,BISCHOF L.Seeded region growing[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1994,16(6):641-647.

(責(zé)任編輯： 錢筠英文審校： 吳逢鐵)

DetectionMethodofCapsuleSizeDefectUsingImageProcessing

LIU Xiaoxing1, ZHENG Lixin2, ZHOU Kaiting1, WU Zhe2, LIN Lifeng1

(1. College of Information Science and Engineering, Huaqiao University, Xiamen 361021, China;2. College of Engineering, Huaqiao University, Quanzhou 362021, China)

10.11830/ISSN.1000-5013.201505045

2015-05-25

鄭力新(1967-)，男，教授，博士，主要從事工業(yè)自動化技術(shù)的研究.E-mail:1275373176@qq.com.

福建省科技廳資助項(xiàng)目(2013H2002)

TP 391

A

1000-5013(2017)05-0716-05