吳文強 李 軍 陳 龍 金 勇 劉 斌 鐘科軍 毛偉俊 王藝斌 許文武
(1. 湖南中煙工業(yè)有限責任公司技術(shù)中心,湖南 長沙 410007;2. 南京焦耳科技有限責任公司,江蘇 南京 210000)
煙絲結(jié)構(gòu)是影響卷煙物理指標的主要因素之一,不同結(jié)構(gòu)的煙絲對卷煙的質(zhì)量和穩(wěn)定性都有一定的影響,對卷煙的煙支重量、吸阻[1]、端部落絲量等質(zhì)量指標[2]也有顯著影響。目前煙草企業(yè)對煙絲結(jié)構(gòu)的檢測仍普遍采用煙絲振動分選篩,這種方法采樣周期長,數(shù)據(jù)實時性差,而且受人為影響較多。近年來有學者通過圖像識別技術(shù)來檢測煙絲結(jié)構(gòu),楚晗等[3]通過對比同檔次短支卷煙和常規(guī)卷煙的煙絲結(jié)構(gòu)分布并對煙絲結(jié)構(gòu)與物理指標進行回歸分析,研究了煙絲結(jié)構(gòu)分布及其對物理質(zhì)量的影響差異;余娜等[4]采用分形理論,推導了煙絲篩下積累質(zhì)量百分比與分形維數(shù)的相關(guān)性方程;夏營威等[5]通過計算機視覺系統(tǒng),拍攝煙絲的可見光圖像,并對圖像進行畸變校正,提出了煙絲切口位置識別算法,實現(xiàn)了無規(guī)則擺放煙絲的寬度測量;郭三刺等[6]采用中值濾波對煙絲圖像進行預處理,然后再用邊緣提取方法計算煙絲的各個特征值,適用于離線檢測煙絲結(jié)構(gòu);劉洋等[7]采用CCD掃描成像式對煙絲寬度進行快速檢測;邸成良等[8]提出一種基于圖像處理的自適應(yīng)煙絲寬度測量方法,該方法具有很強的自適應(yīng)性和抗干擾性,可以借鑒到煙絲結(jié)構(gòu)的在線測量方面。但是這些研究都是針對煙絲結(jié)構(gòu)[9]離線檢測的,未見在線檢測的相關(guān)文獻報道。
研究擬采用風選攤薄方式與圖像智能識別技術(shù),設(shè)計開發(fā)在線煙絲結(jié)構(gòu)檢測系統(tǒng),以期能夠準確快速地檢測煙絲長度、寬度、面積,并統(tǒng)計出煙絲中整絲、碎絲比例。
如圖1所示,在線煙絲結(jié)構(gòu)檢測系統(tǒng)主要包括煙絲輸送皮帶機、風選室、圖像采集系統(tǒng)、圖像處理系統(tǒng)和煙絲結(jié)構(gòu)在線檢測軟件。輸送皮帶機B1烘干后的煙絲輸送至風選室,風選室中有兩道氣動吹散裝置,分別是氣動吹散裝置A1和氣動吹散裝置A2,實現(xiàn)煙絲的多次吹散。第一道氣動吹散裝置A1把輸送皮帶機B1來料中的單獨的煙絲吹落到輸送皮帶機B2上,煙絲團落到輸送皮帶機B3上,輸送皮帶機B3上的煙絲和煙絲團經(jīng)過氣動吹散裝置A2,將獨立的吹散的輕的煙絲落到輸送皮帶機B2上,煙絲團落到輸送皮帶機B3上。經(jīng)過兩次吹散后,吹散的煙絲落到輸送皮帶機B2上,進入下道工序。經(jīng)過兩次吹散后,依然落下來的是梗簽、焦油塊等雜物,進入廢料收集盒。圖像采集系統(tǒng)采集煙絲在吹散狀態(tài)下的煙絲圖像(也就是輸送皮帶機B2上方的煙絲圖像)。如圖2所示,圖像處理系統(tǒng)對采集的煙絲圖像進行預處理,通過煙絲結(jié)構(gòu)檢測軟件準確計算出每根煙絲的長度、面積,進行質(zhì)量擬合,建立面積與質(zhì)量的關(guān)系模型;同時根據(jù)這些數(shù)據(jù)統(tǒng)計出煙絲中整絲、碎絲比例;計算出整絲率、碎絲率,得出煙絲結(jié)構(gòu)參數(shù)。
在線煙絲結(jié)構(gòu)檢測系統(tǒng)中煙絲攤薄、煙絲圖像檢測所涉及的技術(shù)是研究的核心。
風選室中氣動吹散裝置A1將輸送皮帶機B1勻速定量輸送煙絲團經(jīng)行吹散攤薄,形成相互獨立的狀態(tài),重量輕的煙絲被吹落在輸送皮帶機B2上,部分煙絲、重量重的煙絲團、梗簽及雜物、生產(chǎn)線上產(chǎn)生的焦油塊下落到輸送皮帶機B3上,輸送皮帶機B3運行方向與輸送皮帶機B2相反,再經(jīng)由氣動吹散裝置A2再次進行吹散攤薄,部分煙絲團被吹散至相互獨立的完全攤開的狀態(tài),在風力作用下最終落入輸送皮帶機B2,無法吹散的煙絲團、有一定重量的梗簽及雜物、生產(chǎn)線上產(chǎn)生的焦油塊落入下方廢料收集盒。而煙絲的造碎情況可以通過后續(xù)試驗重復測量同一批次煙絲的碎絲率進行比較得到,如果設(shè)備在線計算的碎絲率與國標方法統(tǒng)計結(jié)果差別不大,并且重復測量碎絲率的變異系數(shù)較小,則可以判定該設(shè)備的造碎情況較小。而煙絲的攤薄效果可以通過統(tǒng)計煙絲的成團率得到,成團率越小則煙絲的攤薄效果也就越好。
1.輸送皮帶機B1 2.風選室 3.圖像采集系統(tǒng) 4.圖像處理軟件 5.光源 6.氣動吹散裝A1 7.氣動吹散裝置A2 8.輸送皮帶機B2 9.輸送皮帶機B3 10.廢料收集盒圖1 在線煙絲結(jié)構(gòu)檢測系統(tǒng)結(jié)構(gòu)圖Figure 1 Structure diagram of online cut tobacco structure detecting system
圖2 圖像處理系統(tǒng)Figure 2 Image processing system
煙絲圖像檢測單元主要包括光源、高速CCD線陣相機、采集卡和工控機。為了滿足大視場高分辨率的要求,采用DALSA P4-CC-08K050-00-R線陣CCD相機,該相機有8 192個感光單元,像元尺寸達到7.04 μm×7.04 μm,當鏡頭放大倍率為0.7時,檢測裝置的最小測量值為0.01 mm,可滿足煙絲長度的測量要求。圖像檢測單元集成了煙絲檢測識別算法、煙絲結(jié)構(gòu)檢測算法。該單元的工作流程:采集的煙絲在吹散狀態(tài)下的煙絲圖像(輸送皮帶機B2上方的煙絲圖像)經(jīng)檢測識別算法處理后,識別出的煙絲目標區(qū)域,對確定的煙絲目標區(qū)域經(jīng)煙絲結(jié)構(gòu)檢測算法計算出該目標的長度,并依據(jù)事先標定出的煙絲質(zhì)量模型,計算出待測樣品中的整絲和碎絲的質(zhì)量,同時確定整絲率和碎絲率,得到煙絲的結(jié)構(gòu)參數(shù)。
由于煙絲的測量精度要求過高,采用大分辨率線陣CCD拍攝煙絲圖像時,得到煙絲圖像較大(80 mm×80 mm 的圖像,每幅圖像大小約為80 MB),因此需要對煙絲圖像進行處理后才能快速準確地計算煙絲的長度。處理過程為:首先將圖像進行預處理,中值濾波去除噪聲,然后閾值化處理將彩色圖像轉(zhuǎn)換為二值圖像,進行連通區(qū)域標記并提取煙絲連通區(qū)域,得到單根煙絲的圖像,最后將單根煙絲進行細化、去毛刺(分叉點)測量煙絲的長度。另外,根據(jù)標記的連通區(qū)域的面積判定成團煙絲,若煙絲判定為成團,還需要對成團煙絲進行分割。
(1)圖像預處理。采集到煙絲圖像如圖3所示,由于煙絲的結(jié)構(gòu)不規(guī)則,需要對圖像進行預處理去除噪聲。去噪方法選用中值濾波法[10],采用3×3的濾波窗口,以盡可能地保存圖像的細節(jié)信息。由于煙絲圖像中的背景部分存在略微明顯的白色噪點,采用中值濾波可以取得較好的抑制效果,見圖4。
(2)利用閾值分割對煙絲進行二值化,提取煙絲連通區(qū)域[11]。為標記圖像中的不同煙絲,對分割后的二值圖像進行連通提取和標記操作。常見的連通域提取方法有:線標記法[12]、區(qū)域增長法[13]、像素標記法[14]、基于特殊體系的并行標記算法[15]等。采用廣度優(yōu)先的連通域檢測方法[16]獲取煙絲連通域,并使用不同的灰度值標記連通操作得到的不同區(qū)域。標記效果如圖5所示。
圖3 煙絲圖像圖Figure 3 Image of cut tobacco
圖4 圖像預處理Figure 4 Image pre-processing
圖5 連通域標記Figure 5 Label the connected areas
(3)對于成團的煙絲,通過提取每個煙絲連通區(qū)域內(nèi)的面積,因為一般單個煙絲的面積都比較小,只有當煙絲成團時,輪廓區(qū)域面積較大,通過設(shè)定面積閾值,來判斷連通區(qū)域是否屬于成團煙絲,見圖6。若被判定為成團煙絲,就需要對煙絲進行分割操作。通過基于預測密集的局部形狀描述子[17],將這些描述子組裝成實例,通過卷積神經(jīng)網(wǎng)絡(luò)進行訓練預測,并對其進行分割操作。
通過訓練一個卷積神經(jīng)網(wǎng)絡(luò)來預測較為密集的局部形狀塊,從中在單通道中將所有的實例集合到一個圖像中。卷積神經(jīng)網(wǎng)絡(luò)預測圖像中每個像素的密集塊,然后用它來找到塊大小內(nèi)每對像素的一致性。從中挑選出最符合的塊進行連接。塊與塊的連接邊緣是通過連接塊一致性的賦值分數(shù)確定的。卷積神經(jīng)網(wǎng)絡(luò)會在函數(shù)上產(chǎn)生一個估值p。
p*:Dom(I)×P→{0,1},
(1)
(2)
式中:
Dom(I)——采集圖像I;
P——圖像中的密集偏移集;
Instance——實例;
x——圖像中的像素;
dx——像素x的變化量;
fg(I)——前景圖像。
對于每個像素x∈Rd在d維圖像I中的前景fg(I)中,當x+dx和x屬于同一實例,則在密集偏移集P?Rd處的每個像素的x+dx是固定不變的。通過對每個密集塊與塊之間邊緣的確定,來完成對煙絲中成團煙絲輪廓的分割。
利用訓練深度卷積神經(jīng)網(wǎng)絡(luò)來預測函數(shù)p。它通過預測輸入圖像的每個像素的px(x+P)來實現(xiàn)。因此,集合P的基數(shù)決定了網(wǎng)絡(luò)輸出通道的數(shù)量。使用的是U-Net作為主干架構(gòu),通過在所有輸出上訓練網(wǎng)絡(luò)的標準交叉熵損失來計算平均值。為了方便預測形狀表示結(jié)果,在U-Net上層路徑中保持特征圖的數(shù)量固定,因此避免了僅從標準U-Net倒數(shù)第二層中的有限元特征圖預測到的高維像素輸出。
U-Net的輸入是一張經(jīng)過壓縮后的256×256圖像,網(wǎng)絡(luò)是由卷積和Max Pooling構(gòu)成的一系列降采樣操作的壓縮路徑。壓縮路徑由4個block組成,每個block使用了3個有效卷積和1個Max Pooling降采樣,每次降采樣之后特征圖的個數(shù)會乘2,因此特征圖的尺寸會發(fā)生變化,最終得到了尺寸為41×41的特征圖。如圖7所示,白色輪廓表示單個煙絲輪廓,同時含有斜線和灰點的煙絲輪廓代表了成團的煙絲,而不同的輪廓煙絲代表了分割出來的不同煙絲。
圖6 部分成團煙絲Figure 6 Part of the cut tobacco
圖7 分割成團煙絲Figure 7 Cut into pieces
(4)在得到的煙絲連通域中,對圖像進行細化,提取煙絲骨架[18]。細化是將圖像的線條從多像素寬度減少到單位像素寬度的過程,又叫骨架化,細化的結(jié)果是原連通域的中心線,其穩(wěn)定狀態(tài)是將圖像細化到最低限度相連且無斷點的線[19]。
得到細化后的煙絲圖像后,有時還需要對煙絲圖像去除毛刺,主要思路就是將所有分支與毛刺都看成不同長度的分支,如果分支長度過短小于一定長度就認為是毛刺被去掉。每一個分支的結(jié)尾點都是一個端點。首先,遍歷所有連通區(qū)所有點,找到所有端點,端點的定義為其8鄰域點只有一個像素點,如圖8所示,斜線像素點8鄰域內(nèi)只有黑色點一個像素點,那么判斷斜線點為端點。遍歷每一個端點,直到遍歷到該分支的起始點也就是分岔點,分岔點定義為:經(jīng)過細化后,8鄰域的像素點個數(shù)≥3的點,統(tǒng)計每個分支的長度,長度小于閾值T的分支被認為是毛刺分支。之后將毛刺分支擦除,得到完好的煙絲細化圖像。圖9為分割后的部分煙絲圖像,圖10為去毛刺后的細化圖像。
圖8 判斷煙絲輪廓端點Figure 8 Judging the end point of cut tobacco contour
圖9 分割后的煙絲圖像Figure 9 Cut tobacco image after segmentation
圖10 細化后的煙絲圖像Figure 10 Cut tobacco image after skeletonization
統(tǒng)計骨架的長度即為煙絲的長度。根據(jù)《卷煙工藝規(guī)范》[20]中規(guī)定,若煙絲長度>2.5 mm即為整絲,若煙絲長度<1.0 mm即為碎絲。然后通過計算煙絲的面積,擬合出整絲和碎絲的重量,從而計算出煙絲的整絲率和碎絲率。
為確定適合煙絲結(jié)構(gòu)在線持續(xù)檢測時間,把持續(xù)檢測時間設(shè)定為10個時間段(1~10 min),每個時間段分別測量10次,計算煙絲結(jié)構(gòu)碎絲率的平均值和變異系數(shù),結(jié)果見表1。由表1可知,持續(xù)檢測時間<5 min時,各組檢測結(jié)果變異系數(shù)>5%,持續(xù)檢測時間≥5 min時,變異系數(shù)<5%。因此,將在線持續(xù)檢測時間設(shè)定在5 min以上,能夠較為真實地反映制絲線煙絲結(jié)構(gòu)實際質(zhì)量狀況。
為驗證在線煙絲結(jié)構(gòu)檢測裝置的攤薄效果,針對湖南某卷煙品牌A的成品煙絲,每間隔5 min統(tǒng)計一次成團率,共統(tǒng)計5次(一次統(tǒng)計結(jié)束后立即開始下一次的統(tǒng)計),成團率分別為4.28%,5.07%,4.51%,4.22%,4.86%,均值為4.59%。說明此設(shè)備對于煙絲的攤薄效果較好。
為了驗證煙絲結(jié)構(gòu)檢測裝置的長度的準確性以及重復性,隨機選取了10根經(jīng)過游標卡尺準確測量的煙絲,放入設(shè)備中連續(xù)采集5次。由圖11可知,測量值和真實值的吻合度較高,相關(guān)系數(shù)達到了0.999 8。由表2可知,長度測量結(jié)果的相對誤差<2.56%,變異系數(shù)<3.67%。說明系統(tǒng)準確性和重復性均能滿足測量要求。
表1 不同持續(xù)檢測時間的煙絲結(jié)構(gòu)碎絲率Table 1 Broken silk rate of tobacco structure at different continuous detection time
圖11 樣品重復檢測結(jié)果Figure 11 Repeated test results of samples
為驗證在線煙絲結(jié)構(gòu)檢測裝置檢測效果,采用振篩法[21](取樣量為1 000 178 g/次,水分11%~14%)和在線煙絲結(jié)構(gòu)檢測裝置對湖南某品牌A同一批次的煙絲進行離線和在線對比檢測,根據(jù)3.1節(jié)確定的在線連續(xù)取樣時間為5 min以上,兩種方法均連續(xù)取樣10次,結(jié)果如表3 所示,在相同的檢測任務(wù)下,振篩法耗時為在線煙絲結(jié)構(gòu)檢測裝置的4倍。相對于振篩法,在線煙絲結(jié)構(gòu)檢測裝置的標準偏差和變異系數(shù)明顯減小,且均小于5%,說明檢測裝置測量精度較高,穩(wěn)定性較好。
表2 在線煙絲結(jié)構(gòu)檢測裝置長度測量結(jié)果Table 2 Length measurement results of online cut tobacco structure detection device
表3 不同方法下煙絲整絲率和碎絲率測量結(jié)果對比Table 3 Comparison of measurement results of cut tobacco whole silk rate and broken silk rate under different methods
設(shè)計的煙絲結(jié)構(gòu)在線檢測裝置,利用風選攤薄方式與圖像智能識別技術(shù),實現(xiàn)了煙絲結(jié)構(gòu)在線檢測,解決了現(xiàn)有檢測設(shè)備只能進行離線檢測的問題,有效提高了煙絲結(jié)構(gòu)的檢測精度和效率。該裝置僅對湖南中煙的部分品牌煙絲進行了分析,后續(xù)需進一步擴展更多的煙絲品牌進行分析,以期實現(xiàn)煙絲結(jié)構(gòu)在線檢測裝置的工業(yè)應(yīng)用。