劉金平 何捷舟 唐朝暉 謝永芳 馬天雨

泡沫浮選是應(yīng)用最為廣泛的一種礦物分選方法,同時(shí)也是礦物加工中最不穩(wěn)定和最不可預(yù)測(cè)的步驟之一[1].精礦品位是衡量精礦產(chǎn)品質(zhì)量、判斷選礦水平高低的關(guān)鍵性指標(biāo).然而,由于浮選工業(yè)過(guò)程是典型多相流復(fù)雜耦合系統(tǒng),系統(tǒng)中包含復(fù)雜的物理化學(xué)變化,目前還難以實(shí)現(xiàn)浮選精礦品位的在線(xiàn)檢測(cè)[2].

研究表明浮選泡沫表面顏色是精礦品位最為快速便捷的直接指示器[3-5].有經(jīng)驗(yàn)的生產(chǎn)工人正是通過(guò)觀察泡沫表面顏色對(duì)精礦品位以及生產(chǎn)工況進(jìn)行評(píng)判,以便對(duì)生產(chǎn)進(jìn)行操作調(diào)整.因此,近年來(lái),國(guó)內(nèi)外許多專(zhuān)家學(xué)者對(duì)基于機(jī)器視覺(jué)浮選過(guò)程監(jiān)控開(kāi)展了一系列研究[4-7],以期通過(guò)自動(dòng)分析泡沫圖像顏色、尺寸等特征,實(shí)現(xiàn)精礦品位的在線(xiàn)監(jiān)測(cè).

然而,在實(shí)際的工業(yè)浮選過(guò)程監(jiān)控中,因?yàn)榕菽瓐D像信號(hào)會(huì)受到多種可變光照的影響,包括泡沫圖像采集系統(tǒng)的光源衰減、自然光照強(qiáng)度和入射角度的變化以及選廠中各種燈光設(shè)備的照明變化等,都會(huì)對(duì)泡沫圖像的顏色的準(zhǔn)確測(cè)量帶來(lái)嚴(yán)重干擾[7].從而難以獲得魯棒的泡沫顏色特征,進(jìn)而也就難以基于所獲得的泡沫顏色特征對(duì)精礦品位進(jìn)行準(zhǔn)確預(yù)報(bào).因此,要保證基于機(jī)器視覺(jué)的礦物浮選過(guò)程監(jiān)控系統(tǒng)的有效性和實(shí)用性,獲取開(kāi)放環(huán)境下、不受光照影響的泡沫表面的顏色特征成為當(dāng)務(wù)之急.

為獲取不受光照影響的圖像恒常顏色特征,一些研究者針對(duì)人類(lèi)視覺(jué)所具有的可變光照顏色恒常感知能力,對(duì)工業(yè)視覺(jué)檢測(cè)中的顏色恒常計(jì)算模型和方法進(jìn)行了大量的研究[8].

傳統(tǒng)的圖像顏色恒常模型都是基于某種視覺(jué)感知假設(shè)(約束)對(duì)入射光進(jìn)行全局分析與建模,根據(jù)光照估計(jì)結(jié)果對(duì)非基準(zhǔn)光照(色偏)圖像進(jìn)行顏色校正[9-10].然而,由于人類(lèi)視覺(jué)的顏色恒常感知機(jī)理目前還沒(méi)有很好地掌握,將一些簡(jiǎn)單的感知假設(shè)應(yīng)用于顏色恒常計(jì)算時(shí),往往難以獲得令人滿(mǎn)意的校正結(jié)果[11].因而,一些研究者期望直接從圖像數(shù)據(jù)中對(duì)場(chǎng)景的真實(shí)光照或者真實(shí)顏色進(jìn)行分析.

自從有研究者將神經(jīng)網(wǎng)絡(luò)[12]等機(jī)器學(xué)習(xí)方法引入到圖像的色度估計(jì)中之后,基于機(jī)器學(xué)習(xí)的顏色恒常處理方法,因其計(jì)算速度快、適應(yīng)性強(qiáng)、可在線(xiàn)更新等優(yōu)點(diǎn),引起國(guó)內(nèi)外研究者廣泛關(guān)注.特別是近年來(lái),隨著深度卷積網(wǎng)絡(luò)的盛行,基于深度學(xué)習(xí)的顏色恒常方法更是受到了學(xué)術(shù)界和工業(yè)界的高度關(guān)注[10,13-14].

Bianco 等[14]首次采用深度卷積網(wǎng)絡(luò)進(jìn)行光照估計(jì).Oh 等[10]采用深度卷積神經(jīng)網(wǎng)絡(luò)將傳統(tǒng)的顏色恒常中的光照估計(jì)問(wèn)題轉(zhuǎn)換為光照分類(lèi)問(wèn)題.然而,該方法所采用網(wǎng)絡(luò)模型結(jié)構(gòu)復(fù)雜,無(wú)法滿(mǎn)足工業(yè)監(jiān)控實(shí)時(shí)性需求.為了提高模型效率,Hu 等[13]采用全卷積神經(jīng)網(wǎng)絡(luò)來(lái)取代全連接網(wǎng)絡(luò),并采用更輕量級(jí)的SqueezeNet 網(wǎng)絡(luò)結(jié)構(gòu)替換了AlexNet網(wǎng)絡(luò)結(jié)構(gòu),以縮減網(wǎng)絡(luò)模型計(jì)算時(shí)長(zhǎng).

在工業(yè)浮選過(guò)程監(jiān)控中,浮選泡沫圖像光照情況復(fù)雜多變,很難對(duì)這些相互干擾的、可變多光照進(jìn)行有效估計(jì)或者分類(lèi).因此,傳統(tǒng)的基于光照估計(jì)的顏色恒常方法會(huì)因光照估計(jì)的失敗導(dǎo)致對(duì)泡沫圖像顏色校正時(shí)出現(xiàn)模糊、偽色塊等嚴(yán)重的圖像失真問(wèn)題,難以滿(mǎn)足工業(yè)浮選過(guò)程監(jiān)控的實(shí)際需求.

實(shí)際上,在基于機(jī)器視覺(jué)的礦物浮選過(guò)程監(jiān)控中,更重要的是要能有效估計(jì)出各種未知光照條件下所采集到的泡沫圖像在某種基準(zhǔn)光照條件下的色域顯示,以獲得能有效反映浮選工況或者精礦品位的泡沫顏色信息,實(shí)現(xiàn)基于泡沫圖像特征的工況鑒別和精礦品位在線(xiàn)監(jiān)測(cè).

因此,泡沫圖像顏色恒常處理可以看作一種圖像到圖像的顏色(風(fēng)格)轉(zhuǎn)移,也就是要將未知光照下的泡沫圖像轉(zhuǎn)換到某種特定光照下的顏色顯示.與傳統(tǒng)圖像風(fēng)格轉(zhuǎn)移目標(biāo)不同的是,在進(jìn)行泡沫圖像顏色轉(zhuǎn)移時(shí),要能有效保持泡沫圖像中復(fù)雜的氣泡輪廓、表面紋理結(jié)構(gòu)的不變性(因?yàn)榕菽谋砻鎺缀翁卣骱捅砻婕y理特征也與浮選生產(chǎn)工況,比如加藥健康狀態(tài)[3,7,15],有較大的相關(guān)性).

生成對(duì)抗網(wǎng)絡(luò)(Generative adversarial network,GAN)[16]及其改進(jìn)模型,比如Pixel2Pixel[17],CycleGAN[18]是目前常用的圖像風(fēng)格轉(zhuǎn)移模型.但是,傳統(tǒng)的基于GAN 的圖像生成方法是基于隨機(jī)噪聲進(jìn)行圖像生成無(wú)法實(shí)現(xiàn)圖到圖的顏色風(fēng)格轉(zhuǎn)移,難以保證氣泡輪廓和表面紋理的結(jié)構(gòu)不變性,無(wú)法直接應(yīng)用于泡沫圖像光照不變顏色特征監(jiān)測(cè).

本文提出一種基于Wasserstein 距離的循環(huán)生成式對(duì)抗網(wǎng)(Wasserstein distance-based cycle GAN,WCGAN)用于泡沫圖像光照不變顏色特征檢測(cè).WCGAN 由具有對(duì)稱(chēng)結(jié)構(gòu)和循環(huán)一致性約束的兩個(gè)GAN 組成,可獲得各種未知光照條件下泡沫圖像色域信息與基準(zhǔn)光照下色域信息的非線(xiàn)性映射關(guān)系,從而實(shí)現(xiàn)各種非恒定光照下色偏泡沫圖像到基準(zhǔn)光照下的顏色顯示,并有效保持顏色校正圖像的結(jié)構(gòu)不變性.本文主要研究工作和創(chuàng)新點(diǎn)總結(jié)如下:

1) 提出一種基于WCGAN 的泡沫圖像顏色校正方法,將傳統(tǒng)的基于光照估計(jì)的顏色恒常問(wèn)題轉(zhuǎn)換為一種結(jié)構(gòu)保持的圖像到圖像的顏色(風(fēng)格)轉(zhuǎn)換問(wèn)題,以實(shí)現(xiàn)各種未知光照條件下的泡沫圖像到基準(zhǔn)色域下的顏色表示.

2) WCGAN 基于CycleGAN 模型的循環(huán)對(duì)稱(chēng)結(jié)構(gòu)和循環(huán)一致性約束,采用Wasserstein 距離對(duì)CycleGAN 中的生成對(duì)抗損失函數(shù)進(jìn)行優(yōu)化修改,并對(duì)其生成器結(jié)構(gòu)進(jìn)行改進(jìn),使得WCGAN 模型能在進(jìn)行圖像顏色轉(zhuǎn)換的同時(shí)有效保持原始圖像輪廓和紋理結(jié)構(gòu)的不變性.

實(shí)驗(yàn)表明,WCGAN 具有收斂速度快、生成結(jié)果穩(wěn)定的優(yōu)點(diǎn)且具有在線(xiàn)修正功能,可對(duì)各種復(fù)雜工況進(jìn)行有效監(jiān)測(cè),滿(mǎn)足浮選過(guò)程監(jiān)測(cè)時(shí)效性的要求,為實(shí)現(xiàn)浮選過(guò)程精礦品位在線(xiàn)監(jiān)測(cè)奠定基礎(chǔ).

1 相關(guān)工作

本節(jié)先回顧顏色恒常中的光照模型,再簡(jiǎn)要介紹基于GAN 的顏色恒常方法以及Wasserstein GAN (WGAN)的基本原理.

1.1 光照模型

光照是決定非源觀測(cè)物質(zhì)表面顏色的重要因素.絕大多數(shù)的顏色恒常計(jì)算模型均是通過(guò)先計(jì)算出圖像的入射光照顏色,再通過(guò)某種轉(zhuǎn)換規(guī)則將當(dāng)前的入射光照下的圖像顏色調(diào)整到標(biāo)準(zhǔn)白色光照下所呈現(xiàn)出來(lái)的顏色表示.

設(shè)圖像顏色數(shù)據(jù)為fc=(fR,fG,fB)T,對(duì)應(yīng)的光源顏色為I(λ),λ為入射光源的波長(zhǎng),被照射物體表面的反射率為S(x,λ),并假設(shè)物體表面為L(zhǎng)ambertian 表面(僅包括漫反射),則圖像顏色數(shù)據(jù)可表示為[9]

其中,w代表可視光譜,mb表示漫反射系數(shù),ρ(λ)=(ρR(λ),ρG(λ),ρB(λ))T代表攝像設(shè)備的敏感函數(shù).

式(1)考慮了多種光照情況,為降低模型復(fù)雜度,可以將多種光照綜合為單光照,那么式(1)可以進(jìn)一步簡(jiǎn)化為

由于I(λ)與ρ(λ) 均是未知量,對(duì)光源顏色I(xiàn)(λ)估計(jì)是典型的非適定的問(wèn)題.為了研究方便,入射光照的估計(jì)一般是在一定感知約束(假設(shè))下計(jì)算得出.

在對(duì)色偏圖像進(jìn)行顏色校正時(shí),一般基于入射光照(顏色)的估計(jì)結(jié)果,采用線(xiàn)性變換對(duì)光照?qǐng)D像像素的顏色值進(jìn)行轉(zhuǎn)換.

根據(jù)Beer-Lambert 定律,由兩種不同的光照形成的圖像可以通過(guò)對(duì)角矩陣轉(zhuǎn)換模型進(jìn)行顏色轉(zhuǎn)換,對(duì)角模型又稱(chēng)Von Kries 模型[9].因此,通常在估計(jì)出原圖像中的入射光照后,采用對(duì)角矩陣將原始圖像轉(zhuǎn)化為在標(biāo)準(zhǔn)白光 (R=G=B=255)下顏色顯示,轉(zhuǎn)換公式為

其中,fo和fu分別表示校正后的和未知光源情況下獲得的圖像值,Du,f是對(duì)角轉(zhuǎn)換矩陣.

上述方法實(shí)現(xiàn)簡(jiǎn)單,然而,僅憑一張沒(méi)有任何來(lái)源的輸入圖像,是很難精確計(jì)算出光照信息的,也就是難以獲得有效的Du,f.

實(shí)際上,在基于機(jī)器視覺(jué)的礦物浮選過(guò)程監(jiān)測(cè)中,并不需要顯式地進(jìn)行泡沫光照估計(jì),也不一定要將圖像轉(zhuǎn)換到標(biāo)準(zhǔn)白色下進(jìn)行顯示,而僅需要將各種未知光照泡沫圖像映射到某種基準(zhǔn)光照下的色域顯示,以獲得能有效反映精礦品位變化情況的泡沫顏色特征.

因此,可將泡沫圖像顏色恒常問(wèn)題轉(zhuǎn)換成一個(gè)圖到圖的顏色風(fēng)格轉(zhuǎn)換問(wèn)題,采用某種機(jī)器學(xué)習(xí)模型獲得非基準(zhǔn)光照下泡沫圖像色域信息與基準(zhǔn)光照泡沫圖像色域信息的非線(xiàn)性映射關(guān)系,進(jìn)而實(shí)現(xiàn)未知光照下泡沫圖像的色域到基準(zhǔn)色域下的顏色風(fēng)格轉(zhuǎn)換.圖1 顯示了本文進(jìn)行光照不變泡沫顏色特征提取的基本思路.

圖1 泡沫圖像光照轉(zhuǎn)換思想Fig.1 Scheme of the color translation of froth images

1.2 基于GAN 的圖像顏色風(fēng)格轉(zhuǎn)移

基于GAN 的圖像顏色轉(zhuǎn)換基本思路為: 通過(guò)GAN 框架中的兩個(gè)基本模塊(生成器(G)和判別器(D))的對(duì)抗訓(xùn)練,學(xué)習(xí)一個(gè)有效的顏色轉(zhuǎn)換映射,G:X →Y,以便能將任意未知光照下的圖像顏色域X轉(zhuǎn)換到某種基準(zhǔn)光照下(比如白色基準(zhǔn)光照)顏色域Y,同時(shí)要求在色域轉(zhuǎn)換時(shí),圖像結(jié)構(gòu)保持不變.

在模型訓(xùn)練中,G的監(jiān)督信息來(lái)自于D,也就是需要將G的輸出信息輸入到D中,D來(lái)辨識(shí)這個(gè)輸入信息是來(lái)自于真實(shí)的基準(zhǔn)光照下圖像還是來(lái)自于G的生成數(shù)據(jù),迫使G來(lái)進(jìn)一步優(yōu)化,以便能生成更符合基準(zhǔn)光照下圖像色域分布的圖像.

傳統(tǒng)的GAN 采用隨機(jī)輸入來(lái)進(jìn)行圖像生成,其能生成符合特定光照條件的(泡沫)圖像,卻很難保留原圖像復(fù)雜的幾何輪廓、表面紋理等特征.同時(shí)傳統(tǒng)的GAN 存在訓(xùn)練難、收斂慢的特點(diǎn),無(wú)法實(shí)現(xiàn)圖到圖的轉(zhuǎn)換等問(wèn)題.因此,本文采用CycleGAN[18]的循環(huán)對(duì)稱(chēng)結(jié)構(gòu)來(lái)構(gòu)建結(jié)構(gòu)保持的圖到圖的顏色轉(zhuǎn)移模型.

CycleGAN 采用兩個(gè)對(duì)稱(chēng)的GAN,GAN1 與GAN2,進(jìn)行循環(huán)訓(xùn)練.兩個(gè)GAN 共享兩個(gè)生成器G和F,并各自擁有一個(gè)獨(dú)立的判別器,D1與D2.生成器用來(lái)實(shí)現(xiàn)泡沫圖像數(shù)據(jù)集X與Y的顏色分布域之間的相互映射轉(zhuǎn)換.判別器D2用來(lái)判別圖像是屬于X的真實(shí)圖像還是來(lái)自于{F(y)|y ∈Y}的生成圖像,D1用來(lái)判別圖像是屬于Y的真實(shí)圖像還是來(lái)自于{G(x)|x ∈X}的生成圖像.

為保證兩個(gè)生成器是按照一定的映射關(guān)系進(jìn)行轉(zhuǎn)換而非隨機(jī)生成,CycleGAN 引入了一種循環(huán)一致性損失函數(shù).對(duì)于GAN1,當(dāng)圖像x(x ∈X)被生成器G映射到Y(jié)域上被D1判別為真時(shí),將生成圖片再通過(guò)生成器F映射回X域,并計(jì)算其與原始圖像x的損失度,即循環(huán)一致性損失,試圖使{F(G(x))≈x|x ∈X}.同理,對(duì)于GAN2,其一致性目標(biāo)為{G(F(y))≈y|y ∈Y}.

其對(duì)抗損失的目標(biāo)函數(shù)與原始GAN 一致,GAN1 的損失函數(shù)表示為[18]

其中,Pdata是代表數(shù)據(jù)的概率分布,E [·] 表示數(shù)學(xué)期望.

GAN2 的損失函數(shù)表示為[18]

循環(huán)一致性損失函數(shù)用于計(jì)算映射回來(lái)的圖像和原圖像的L1 范數(shù),其定義為

其中,‖·‖1為1 范數(shù).

因此,CycleGAN 完整的目標(biāo)函數(shù)為

其中,λ代表循環(huán)一致性損失函數(shù)在目標(biāo)函數(shù)中的重要性.

理論上,通過(guò)CycleGAN 能夠有效實(shí)現(xiàn)不同顏色域圖像的風(fēng)格轉(zhuǎn)換,其訓(xùn)練模型結(jié)構(gòu)如圖2 所示.

圖2 CycleGAN 結(jié)構(gòu)圖Fig.2 CycleGAN structure

1.3 基于Wasserstein 距離的GAN (WGAN)

傳統(tǒng)的GAN 或CycleGAN 存在著以下問(wèn)題:1)模型坍塌.GAN 在訓(xùn)練過(guò)程可能會(huì)出現(xiàn)生成器退化,難以生成符合真實(shí)分布的數(shù)據(jù);2)難以收斂.GAN 是在高維非凸的參數(shù)空間找到納什均衡點(diǎn),但梯度下降法只有在凸函數(shù)的情況下才能有效獲得納什均衡點(diǎn).對(duì)于用神經(jīng)網(wǎng)絡(luò)表示的高維非凸函數(shù),極有可能存在無(wú)法收斂的現(xiàn)象.

針對(duì)以上問(wèn)題,很多專(zhuān)家學(xué)者提出了不同的改進(jìn)方法[19-20].WGAN[19]的作者認(rèn)為傳統(tǒng)的GAN 損失函數(shù)中采用JS (Jensen-Shannon) 散度與KL(Kullback-Leibler)散度來(lái)衡量?jī)蓚€(gè)分布之間的差異(距離)會(huì)導(dǎo)致其判別器過(guò)于優(yōu)化而生成器很難得到足夠的梯度,從而出現(xiàn)梯度消失、模型坍塌等問(wèn)題.

根據(jù)文獻(xiàn)[21]的描述,原始GAN 的判別器在最優(yōu)情況下,GAN 的損失函數(shù)等價(jià)為最小化真實(shí)數(shù)據(jù)分布Pdata(x)與生成數(shù)據(jù)分布PG(x)之間的JS散度.當(dāng)兩個(gè)分布之間的差異越小時(shí),JS 散度越小,從而可以通過(guò)優(yōu)化JS 散度來(lái)減小兩個(gè)數(shù)據(jù)分布之間的差異,生成符合真實(shí)數(shù)據(jù)分布的圖像.但是,這一理論僅在兩個(gè)分布有所重疊時(shí)成立.

WGAN 的作者證明當(dāng)Pdata(x)與PG(x)分布之間不存在重疊或者重疊可忽略時(shí),JS 散度為固定常數(shù) l og(2),從而導(dǎo)致了梯度消失,并證明了兩個(gè)分布之間無(wú)重疊的可能性非常大[21].因此WGAN 的作者提出了一種新的等價(jià)優(yōu)化的距離衡量方法,即Wassertein 距離,來(lái)衡量?jī)蓚€(gè)分布之間的距離與差異,并對(duì)原GAN 損失函數(shù)進(jìn)行了修改.

Wasserstein 距離又稱(chēng)為Earth-Mover 距離,其表示為

其中,Π (P r,Pg) 表示邊緣分布為Pr與Pg的聯(lián)合分布 (Pr,Pg)的集合.

式(8)中的下界計(jì)算無(wú)法直接求解,因此,根據(jù)Kantorovich-Rubinstein 對(duì)偶原理,將Wasserstein 距離等價(jià)定義為

其中,K為函數(shù)f的Lipschitz 常數(shù),即

其中,x1,x2為函數(shù)f上的任意兩個(gè)元素.

則對(duì)于判別器D可以定義目標(biāo)函數(shù)L為

其中,β為判別器的參數(shù)集,當(dāng)β不超過(guò)某個(gè)范圍的條件下L足夠大時(shí),L就近似等于真實(shí)分布與生成分布之間的Wasserstein 距離,而生成器G的優(yōu)化目標(biāo)是使L最小化.

研究表明,即使兩個(gè)分布之間沒(méi)有重疊,Wasserstein 距離仍然能夠有效測(cè)量它們之間的距離大小.因此,WGAN 采用Wasserstein 距離將傳統(tǒng)GAN 的對(duì)抗損失函數(shù)改寫(xiě)為

其中,Gθ(z) 為生成器基于隨機(jī)噪聲生成的樣本,θ為生成網(wǎng)絡(luò)的參數(shù)集.Dβ(·)為判別器的判別結(jié)果,β為判別器網(wǎng)絡(luò)參數(shù)集.

研究表明該改進(jìn)能有效的增強(qiáng)GAN 的穩(wěn)定性和魯棒性,解決原始GAN 難以收斂以及模型容易坍塌等問(wèn)題[22].

2 基于WCGAN 的圖像顏色校正

本節(jié)詳細(xì)介紹WCGAN 的模型結(jié)構(gòu)及基于WCGAN 的圖像顏色校正流程,并對(duì)所提方法的復(fù)雜度進(jìn)行分析.

2.1 WCGAN

WCGAN 采用與CycleGAN 一樣的對(duì)稱(chēng)循環(huán)網(wǎng)絡(luò)結(jié)構(gòu),由帶循環(huán)一致?lián)p失約束的兩個(gè)GAN 構(gòu)成.兩個(gè)GAN 共享兩個(gè)生成器,分別為G和F,并具有各自獨(dú)立的判別器D1和D2.G:X →Y,用于實(shí)現(xiàn)從未知光照?qǐng)D像到參考光照下圖像的顏色轉(zhuǎn)換;而F:Y →X或F:G(X)→X,通過(guò)引入循環(huán)一致?lián)p失約束.能保證通過(guò)G進(jìn)行顏色轉(zhuǎn)換后的圖像,能通過(guò)F再轉(zhuǎn)換回到其原始的色域空間.也就是要滿(mǎn)足F(G(x))≈x,并且G(F(y))≈y,其中x ∈X,y∈Y.

為保證模型的轉(zhuǎn)換穩(wěn)定和快速收斂,WCGAN采用Wasserstein 距離取代傳統(tǒng)CycleGAN 中的JS 散度與KL 散度來(lái)優(yōu)化其對(duì)抗損失函數(shù).同時(shí),對(duì)傳統(tǒng)CycleGAN 中的生成器結(jié)構(gòu)進(jìn)行改進(jìn),使生成泡沫圖像更加符合真實(shí)基準(zhǔn)光照?qǐng)D像的顏色概率分布,并能有效保持其輪廓和表面紋理結(jié)構(gòu)特征的不變性.

首先,采用Wasserstein 距離對(duì)CycleGAN 的對(duì)抗損失函數(shù)進(jìn)行優(yōu)化,則WCGAN 中GAN1 的對(duì)抗損失函數(shù)(4)優(yōu)化為

WCGAN 中GAN2 的對(duì)抗損失函數(shù)(5)優(yōu)化為

其中

WCGAN 的整體目標(biāo)損失函數(shù)為

其中,λ代表循環(huán)一致性損失在目標(biāo)函數(shù)中的重要性.

由于RMSProp 優(yōu)化算法具有收斂速度快,擺動(dòng)幅度小等優(yōu)點(diǎn),本文采用RMSProp 優(yōu)化算法[23]對(duì)WCGAN 中損失函數(shù)進(jìn)行求解.RMSProp 優(yōu)化算法求解計(jì)算為

其中,w為求解參數(shù),L為求解的目標(biāo)函數(shù),α為學(xué)習(xí)率,θ為一小常數(shù),保證式(18)的分母項(xiàng)不為0,Ldw為參數(shù)w歷史梯度的加權(quán)平方值,即

其中,β為衰減率.

WCGAN 的生成器網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示,包括編碼塊(Encoding)、轉(zhuǎn)換塊(Transformation)和解碼塊(Decoding).為減小原始圖像的輪廓信息丟失,編碼塊采用全卷積層進(jìn)行輪廓特征提取,不包含全連接層以及池化層.通過(guò)全卷積操作得到原始圖像表面結(jié)構(gòu)信息的特征圖,但其顏色信息依舊符合輸入圖像的顏色分布.因此本文采用轉(zhuǎn)換塊將輸入泡沫顏色域的分布映射到基準(zhǔn)顏色域上,最后由3 層反卷積網(wǎng)絡(luò)構(gòu)成的解碼塊,生成符合基準(zhǔn)顏色域分布同時(shí)擁有原圖像輪廓信息的圖像.

圖3 WCGAN 的生成器結(jié)構(gòu)Fig.3 Generator structure of WCGAN

為保證轉(zhuǎn)換塊在對(duì)圖像顏色域轉(zhuǎn)換的同時(shí)盡可能保持其結(jié)構(gòu)信息的不變,本文采用多層ResNet[24]網(wǎng)絡(luò)進(jìn)行轉(zhuǎn)換,以保證轉(zhuǎn)換后的圖像和輸入圖像在輪廓信息上保持一致性.

WCGAN 中的辨別器和CycleGAN 中辨別器保持一致,為70×70 的PathGANs[18].其輸入為圖像,通過(guò)卷積網(wǎng)絡(luò)提取圖像中的關(guān)鍵特征,輸出為1 維單變量,表示圖像是通過(guò)生成器生成還是真實(shí)色域圖像.

2.2 基于WCGAN 的顏色校正算法流程

本文提出的基于WCGAN 的泡沫圖像顏色校正算法的主要步驟如下:

步驟 1.訓(xùn)練集準(zhǔn)備.準(zhǔn)備未知光照泡沫圖像數(shù)據(jù)X并選擇某特定光照下的泡沫圖像組成基準(zhǔn)圖像集Y.

步驟 2.隨機(jī)初始化WCGAN 所需的兩個(gè)生成器G和F,以及判別器D1,D2的網(wǎng)絡(luò)參數(shù),設(shè)置迭代次數(shù)n,RMSProp 優(yōu)化算法的學(xué)習(xí)率α等參數(shù).

步驟 3.對(duì)D1,D2進(jìn)行預(yù)訓(xùn)練.利用RMSProp優(yōu)化算法對(duì)式(13)和式(15)所描述的判別器D1,D2進(jìn)行優(yōu)化求解,使得D1(y)=1,D1(G(x))=0,D2(F(y))=0,D2(x)=1,其具體計(jì)算為

2.3 復(fù)雜度分析

WCGAN 基于全卷積深度神經(jīng)網(wǎng)絡(luò),其訓(xùn)練過(guò)程需要經(jīng)過(guò)兩個(gè)生成器和兩個(gè)判別器模塊,并且需要反向迭代修改.而測(cè)試(實(shí)際工業(yè)校正)則只需生成器G將非恒定光源圖像轉(zhuǎn)為恒定光照情況下的圖片即可.

WCGAN 的網(wǎng)絡(luò)計(jì)算時(shí)間復(fù)雜度為

其中,D為卷積網(wǎng)絡(luò)深度,Cl為l層卷積核個(gè)數(shù),K為卷積核的邊長(zhǎng),M為卷積核輸出特征圖邊長(zhǎng),其由輸入矩陣尺寸X、卷積核尺寸K、邊界填充P、步長(zhǎng)S決定,其具體計(jì)算式為

WCGAN 的空間復(fù)雜度為

空間復(fù)雜度即訪(fǎng)存量,只與總參數(shù)量以及輸出特征圖有關(guān),與輸入數(shù)據(jù)大小無(wú)關(guān).由式(20)和式(22)可計(jì)算出本文算法在訓(xùn)練集上的時(shí)間復(fù)雜度為175 GFLOPs,空間復(fù)雜度為141 MB.而在測(cè)試集上,本算法時(shí)間復(fù)雜度為36 GFLOPs,空間復(fù)雜度為30 MB.

因此,本文提出的泡沫圖像顏色校正方法在結(jié)構(gòu)上去除了傳統(tǒng)深度卷積神經(jīng)網(wǎng)絡(luò)的池化層以及全連接層,無(wú)論是訓(xùn)練還是測(cè)試都要比傳統(tǒng)的GAN網(wǎng)絡(luò)具有更快的表現(xiàn).根據(jù)Roof-line 模型理論[25]該算法在1080Ti 的GPU 環(huán)境下其測(cè)試能保證ms級(jí)的圖像處理速度,從而實(shí)現(xiàn)工業(yè)現(xiàn)場(chǎng)的實(shí)時(shí)圖像校正.

3 實(shí)驗(yàn)驗(yàn)證

為驗(yàn)證本文所提方法的有效性,首先在兩個(gè)公共顏色恒常數(shù)據(jù)集上進(jìn)行顏色校正驗(yàn)證和對(duì)比性實(shí)驗(yàn).然后,在一實(shí)際的工業(yè)鋁土礦浮選過(guò)程,通過(guò)收集相應(yīng)的礦物浮選泡沫圖像數(shù)據(jù)和相應(yīng)的冶金過(guò)程參量和工藝指標(biāo)參量,分析并對(duì)比該段時(shí)間內(nèi)所采集泡沫圖像的原始顏色特征和經(jīng)恒常處理后的顏色特征與其對(duì)應(yīng)精礦品位之間的相關(guān)性,驗(yàn)證所提方法的有效性.

3.1 標(biāo)準(zhǔn)數(shù)據(jù)集驗(yàn)證

選用兩大公共顏色恒常數(shù)據(jù)集Gehler-Shi 568data[26]和SFU 321 labimages[27]進(jìn)行實(shí)驗(yàn)驗(yàn)證.

數(shù)據(jù)集Gehler-Shi 568 data 收集了568 幅RAW 格式的室內(nèi)/室外圖像,并在每一個(gè)場(chǎng)景上放了一個(gè)色彩檢驗(yàn)圖,用以測(cè)試光源和動(dòng)態(tài)范圍,其中real_illum_568.mat 文件記錄了真實(shí)光照情況,因此可以計(jì)算出正常光照下的圖像作為基準(zhǔn)數(shù)據(jù).

數(shù)據(jù)集SFU 321 lab images 則是在11 種光源下拍攝的31 幅實(shí)驗(yàn)環(huán)境圖像,去除了20 幅不規(guī)則圖像,其中包含三種不同的熒光燈、四種白熾燈和一種加了藍(lán)色濾片的4 個(gè)白熾燈圖.本文選擇一種與日光接近的白熾燈圖作為基準(zhǔn)數(shù)據(jù),其他圖像作為待矯正的圖像數(shù)據(jù).

本文實(shí)驗(yàn)對(duì)以下兩類(lèi)算法進(jìn)行性能對(duì)比: 1)傳統(tǒng)的基于統(tǒng)計(jì)量的經(jīng)典顏色恒常性算法,包括:MAX-RGB[28],Gray-World[29],Gray-Edge[30],White-Patch[31];2)當(dāng)前的基于機(jī)器學(xué)習(xí)的顏色恒常算法,包括: 全卷積神經(jīng)網(wǎng)絡(luò)(FC4[13])、原始的CycleGAN[18]和WD+CycleGAN,即原始的CycleGAN 結(jié)構(gòu),但采用Wasserstein 距離對(duì)其對(duì)抗損失進(jìn)行修正的模型.

本文實(shí)驗(yàn)在i7-8750h CPU、GTX1080-Ti GPU、16 GB RAM 硬件上進(jìn)行訓(xùn)練和測(cè)試.

3.1.1 評(píng)價(jià)指標(biāo)

本文引入角度誤差和色度誤差這兩個(gè)顏色相關(guān)指標(biāo)來(lái)客觀評(píng)價(jià)顏色校正的準(zhǔn)確度,同時(shí)采用結(jié)構(gòu)相似性(Structural similarity,SSIM)[32]標(biāo)準(zhǔn)來(lái)衡量基于深度學(xué)習(xí)的顏色轉(zhuǎn)換模型對(duì)圖像輪廓、紋理等結(jié)構(gòu)特征的保持度.

1)角度誤差

假設(shè)圖像的真實(shí)光照為ea=(Ra,Ga,Ba),算法估計(jì)得到的光照值為eb=(Rb,Gb,Bb),角度誤差Ea定義為

其中,a rccos 表示反余弦函數(shù),“·”表示兩個(gè)向量的內(nèi)積運(yùn)算.

角度誤差Ea越小說(shuō)明算法精確度越高.假設(shè)共有N幅測(cè)試圖像,其中第i幅圖像的角度誤差為Ea(i),本文采用N個(gè)角度誤差值的平均值(Mean)、最大值(Max)、均方根(Root mean square,RMS)作為角度誤差評(píng)定的3 個(gè)指標(biāo).其中,均方根RMS定義為

2)色度誤差

除了角度誤差外,色度誤差也是顏色恒常性計(jì)算模型的一個(gè)重要評(píng)價(jià)指標(biāo).為了消除顏色強(qiáng)度的影響,可將顏色從 (R,G,B) 空間投影到平面R+G+B=1上,從而得到一種光照強(qiáng)度歸一化后的色度空間 (r,g,b).

由于色度b屬于冗余的信息b=1-r-g,因此一般采用 (r,g)二維的色度值.假設(shè)圖像的真實(shí)光照色度值ca=(ra,ga),算法估計(jì)得到的光照色度值為cb=(rb,gb),那么色度的歐氏距離將作為色度誤差Ed,即

類(lèi)似于角度誤差,通過(guò)計(jì)算N幀測(cè)試集的色度誤差中值(Median)、最大值(Max) 以及均方根(RMS),作為色度誤差評(píng)判的指標(biāo).

3) SSIM

結(jié)構(gòu)相似性(SSIM)是一種衡量?jī)煞鶊D像相似度的指標(biāo),其表達(dá)式為

其中,uX和uY為圖像X和Y的均值,σX和σY為圖像X和Y的方差,σXY為圖像X與Y的協(xié)方差,C1,C2為常數(shù),防止分母為零,SSIM 值越接近1 則相似度越高.本文通過(guò)計(jì)算n幀測(cè)試集的均值作為SSIM 評(píng)判的指標(biāo).

3.1.2 結(jié)構(gòu)及分析

圖4 顯示了部分測(cè)試圖像的顏色恒常校正效果,圖中的右下角數(shù)值為校正后的顏色特征與真實(shí)顏色特征的角度誤差,右上角度數(shù)為校正圖像與原圖像的結(jié)構(gòu)相似度.

從圖4 的顏色校正視覺(jué)結(jié)果來(lái)看,WCGAN 能很好地將色偏圖像轉(zhuǎn)換到基準(zhǔn)色域上.相比于另外6 個(gè)顏色校正方法,所獲得的結(jié)果更符合人類(lèi)視覺(jué)的感知.原始的CycleGAN 因其損失函數(shù)存在的梯度消失問(wèn)題容易導(dǎo)致模型坍塌收斂速度慢,圖像轉(zhuǎn)換時(shí)容易出現(xiàn)模糊、色塊等問(wèn)題.WD+CycleGAN雖然在一定程度上減少了校正圖像中的模糊、色塊的存在,但其在顏色校正精度和結(jié)構(gòu)保持上與本文的WCGAN 有較大的差距.

為了進(jìn)一步客觀評(píng)估顏色恒常算法的優(yōu)劣,采用10 折交叉驗(yàn)證,計(jì)算客觀評(píng)價(jià)指標(biāo)角度誤差、色度誤差和SSIM 的平均值等統(tǒng)計(jì)量來(lái)進(jìn)行對(duì)比.

表1 和表2 列出了顏色恒常算法在數(shù)據(jù)集Gehler-Shi 568 data 上的結(jié)果.從中可以看出,WCGAN角度誤差的均值與均方根值最小,雖然在最大值上并非最好,但與最優(yōu)的Gray-Edge 算法只相差0.1.總體來(lái)說(shuō),WCGAN 生成的圖像是最接近標(biāo)準(zhǔn)光照?qǐng)D像的.相比于其他方法,WCGAN 更能適應(yīng)于不同光照條件下的顏色恒常,并且在校正時(shí)間上也是最快的.

表1 基于統(tǒng)計(jì)量的顏色恒常方法在Gehler-Shi 568 data 上的對(duì)比結(jié)果Table 1 Comparison of statistics-based color constancy methods on Gehler-Shi 568 data

表2 基于機(jī)器學(xué)習(xí)的顏色恒常方法在Gehler-Shi 568 data 上的對(duì)比結(jié)果Table 2 Comparison of machine learning-based color constancy methods on Gehler-Shi 568 data

從色度誤差上看,MAX-RGB 算法結(jié)果最差,其他算法接近.但從均值、最大值和RMS 上來(lái)看,WCGAN顏色誤差更小,更加穩(wěn)定.結(jié)合圖4 的顏色校正結(jié)果,也能直觀看出,WCGAN 生成的圖像顏色恒常結(jié)果是最符合人類(lèi)視覺(jué)的顏色恒常感知的.

圖4 圖像顏色校正結(jié)果Fig.4 Image color correction results

在基于深度學(xué)習(xí)模型的顏色恒常算法中,WCGAN的SSIM 值最大,證明其在顏色轉(zhuǎn)換的同時(shí)對(duì)原圖像的輪廓結(jié)構(gòu)保存度高.能有效地保證其紋理特征等結(jié)構(gòu)信息不變.

在數(shù)據(jù)集SFU 321 lab images 上的結(jié)果如表3和表4 所示.相比較Gehler-Shi 568 數(shù)據(jù)集,SFU 321 lab images 更加輕量級(jí),且色偏種類(lèi)多分布規(guī)律,因此無(wú)論是在色度誤差、角度誤差、SSIM 還是校正時(shí)長(zhǎng)上,WCGAN 都有更好的表現(xiàn),且與傳統(tǒng)的基于統(tǒng)計(jì)以及基于機(jī)器學(xué)習(xí)的顏色恒常方法相比較,WCGAN依然具有極大的優(yōu)勢(shì).

表3 基于統(tǒng)計(jì)量的顏色恒常方法在SFU 321 lab images 上的對(duì)比結(jié)果Table 3 Comparison of statistics-based color constancy methods on SFU 321 lab images

表4 基于機(jī)器學(xué)習(xí)的顏色恒常方法在SFU 321 lab images 上的對(duì)比結(jié)果Table 4 Comparison of machine learning-based color constancy methods on SFU 321 lab images

雖然在兩個(gè)數(shù)據(jù)集上WCGAN 的訓(xùn)練時(shí)長(zhǎng)因其結(jié)構(gòu)的復(fù)雜性而耗時(shí)較多,但在實(shí)際的工業(yè)過(guò)程中,轉(zhuǎn)換僅需要其中的一個(gè)生成器,因此能很好的滿(mǎn)足工業(yè)過(guò)程中的實(shí)時(shí)監(jiān)測(cè).同時(shí)其在線(xiàn)更新機(jī)制考慮到視頻流臨近幀節(jié)的圖像相似度高,因此可采用跨幀圖像用于訓(xùn)練.以保證訓(xùn)練速度不影響WCGAN 的轉(zhuǎn)換效率.

3.2 鋁土礦浮選過(guò)程工業(yè)驗(yàn)證

在某工業(yè)鋁土礦浮選現(xiàn)場(chǎng)搭建機(jī)器視覺(jué)監(jiān)測(cè)系統(tǒng),對(duì)于各種未知光照下的色偏泡沫圖像采用本文所提出的WCGAN 模型進(jìn)行顏色恒常處理,對(duì)恒常處理后的泡沫圖像進(jìn)行顏色特征提取,并用于最終精礦品位監(jiān)測(cè).

3.2.1 工業(yè)鋁土礦浮選過(guò)程描述

該鋁土礦浮選工藝流程如圖5 所示,其目標(biāo)是將入礦品位鋁硅比(A/S) (5 左右)提高至少1 倍.很明顯,鋁土礦浮選回路是一個(gè)包含多個(gè)子回路的連續(xù)的復(fù)雜工業(yè)過(guò)程.

圖5 鋁土礦浮選回路Fig.5 Bauxite flotation circuit

該選廠的浮選回路包括粗選、精選(包括精選I 和精選II)、掃選(包括粗掃和精掃)等3 個(gè)基本子過(guò)程.其中,粗選泡沫被送入精選I 進(jìn)行再一步的浮選,以提高浮選品位: 粗選的底流被泵入粗掃槽,以再一次回收粗選中未被浮選出來(lái)的礦物粒子: 粗掃的產(chǎn)品——粗選泡沫被送入粗選再處理,粗掃的底流作為尾礦排出.精選I 的泡沫層被送入精選II子過(guò)程,精選II 最終的精選泡沫經(jīng)過(guò)濃密、烘干等一系列的后續(xù)處理作為浮選過(guò)程的氧化鋁選礦產(chǎn)品.精選I 的底流被送入精掃,以進(jìn)一步回收未被回收的礦物粒子;而精掃的礦漿底流作為尾礦被排出.

本文將機(jī)器視覺(jué)引入到過(guò)程監(jiān)測(cè)中.為實(shí)現(xiàn)整個(gè)浮選流程的監(jiān)控.經(jīng)對(duì)現(xiàn)場(chǎng)流程的細(xì)致分析,在粗選首槽、粗掃末槽、精選II 首槽分別安裝了泡沫圖像采集設(shè)備(設(shè)備安裝位置如圖5 所示),分別用來(lái)監(jiān)視浮選過(guò)程的給礦、尾礦、精礦的性質(zhì),實(shí)現(xiàn)整個(gè)浮選回路的全流程在線(xiàn)監(jiān)控.

由于精選II 的泡沫層被回收后將作為最終的精礦,精選II 尾槽中的泡沫顏色與最終的精礦品位(A/S)直接相關(guān).因此,本文重點(diǎn)關(guān)注該浮選槽泡沫顏色與選礦指標(biāo)(A/S)間的關(guān)系.

3.2.2 鋁土礦泡沫圖像顏色校正

在實(shí)驗(yàn)中,先選定某一特定光照條件下的圖像作為基準(zhǔn)光照下的泡沫圖像,采用WCGAN 進(jìn)行泡沫圖像顏色恒常模型學(xué)習(xí),將訓(xùn)練好的WCGAN用于實(shí)際工業(yè)鋁土礦浮選的泡沫圖像校正,以其能將任意未知光照下泡沫圖像轉(zhuǎn)換到該基準(zhǔn)光照下進(jìn)行顏色顯示.圖6 顯示了實(shí)驗(yàn)中所選用的基準(zhǔn)光照泡沫圖像及其對(duì)應(yīng)的CIELab 顏色空間的直方圖分布.

圖6 基準(zhǔn)光照泡沫圖像及其Lab 顏色分布Fig.6 Reference light froth image and its Lab color distribution

圖7 顯示了5 幀帶有明顯色偏的泡沫圖像采用WCGAN 以及CycleGAN、FC4 進(jìn)行顏色校正后的視覺(jué)效果,以及Lab 顏色空間分布圖,圖像中的右下角數(shù)值為校正圖像與原圖像的結(jié)構(gòu)相似度,每個(gè)曲線(xiàn)圖的橫坐標(biāo)表示 L,a,b 顏色通道值,縱坐標(biāo)表示頻率.

圖7 浮選泡沫圖像顏色校正結(jié)果Fig.7 Color correction result of flotation froth image

WCGAN 校正后,泡沫圖像的幾何輪廓信息和表面紋理信息基本保持不變,而泡沫圖像的顏色具有明顯的基準(zhǔn)色域顏色特征;而未改進(jìn)的CycleGAN 與FullCovNet 算法的校正圖像,雖然在顏色分布上與基準(zhǔn)光照?qǐng)D較為接近.但其結(jié)構(gòu)相似度較小.難以保證校正后的圖像其輪廓等信息不變.

3.2.3 泡沫顏色特征與過(guò)程參量間的相關(guān)性

本文進(jìn)一步提取泡沫顏色的數(shù)字特征以分析泡沫顏色與生產(chǎn)指標(biāo)間的關(guān)系.由于HSV 與CIE Lab 等顏色空間更符合人類(lèi)視覺(jué)的感知特性,除了提取泡沫圖像的RGB 顏色特征,還將泡沫圖像轉(zhuǎn)換到HSV 與CIE Lab 顏色空間上,提取了R,G,H,S,a,b 這6 個(gè)通道上的數(shù)字特征.其中,R 和G通道為歸一化的通道,計(jì)算方式為R=R/(R+G+B),G=G/(R+G+B).原始的H 通道,取值范圍為 [ 0°,360°],隨著取值的增大,代表從紅色、黃色、綠色、青色、藍(lán)色、品紅再回到紅色,即 H 為 0°或者 360° 時(shí)表示最紅.因此,將H 通道顏色值,調(diào)整為H=|H -180|/180,用來(lái)計(jì)算該顏色值的相對(duì)紅色程度.

然后,本文分別計(jì)算了這6 個(gè)顏色通道上的均值、標(biāo)準(zhǔn)差、偏度、峰度這4 個(gè)統(tǒng)計(jì)量,對(duì)每幀圖像共獲得24 維統(tǒng)計(jì)量組成對(duì)應(yīng)圖像的顏色特征向量.

圖8 顯示對(duì)比了部分泡沫顏色特征與精礦品位間的相關(guān)性.從中可以看出,經(jīng)WCGAN 模型校正后的精礦(精選II 尾槽)泡沫顏色特征與精礦品位有較明顯的相關(guān)性.

圖8 泡沫圖像顏色特征與A/S 間相關(guān)性 ((a1)和(a2)分別代表校正后和校正前H 均值與A/S 間的相關(guān)性;(b1)和(b2)分別代表校正后和校正前a 通道的標(biāo)準(zhǔn)差與A/S 的相關(guān)性;(c1)和(c2)分別代表校正后和校正前的歸一化R 通道均值與A/S 之間的相關(guān)性)Fig.8 The correlation between color characteristics of froth images and A/S ((a1) and (a2) represent the correlation between H-means and A/S after correction and before correction;(b1) and (b2) represent the correlation between standard deviation of a-channel and A/S after correction and before correction;(c1) and (c2) represent the correlation between normalized R-channel mean and A/S after correction and before correction,respectively)

從圖8(a1)中可以看出,精礦品位(A/S)有隨著(修改后的) H 通道均值上升而上升的趨勢(shì),并且該趨勢(shì)在H 通道均值較小時(shí)候,A/S 上升迅速,當(dāng)H 均值大于某個(gè)值后,A/S 變化比較平緩.該特性與修改后的R 通道均值與A/S 之間的相關(guān)性有類(lèi)似的變化趨勢(shì)(如圖8(c1)所示),其原因是本文所提取的H 通道特征值與R 通道特征值均是用來(lái)表征泡沫圖像的紅色強(qiáng)度的,因而這兩個(gè)通道上的特征量與A/S 的相關(guān)性具有基本相同的變化趨勢(shì).而圖像a 通道顏色標(biāo)準(zhǔn)差與A/S 的變化趨勢(shì)則恰好相反(如圖8(b1)所示),也就是隨著a 通道顏色標(biāo)準(zhǔn)差的增大,A/S 有下降的變化趨勢(shì).

而原始的未校正的泡沫圖像顏色特征因光照的影響,色偏嚴(yán)重,所提取的顏色特征缺乏魯棒性,因而無(wú)法有效體現(xiàn)其與精礦品位之間的相關(guān)性(如圖8(a2)、圖8(b2)和圖8(c2)所示).

因此,由于本文所提出的WCGAN 能將各種未知光照下的泡沫圖像轉(zhuǎn)換到基準(zhǔn)光照下的色域顯示,因而可以獲得能直接反映精礦品位變化或者工況變化的泡沫圖像顏色特征參量.進(jìn)而基于泡沫顏色特征與A/S 相關(guān)性,有望實(shí)現(xiàn)生產(chǎn)工況或者A/S的在線(xiàn)監(jiān)測(cè).

3.2.4 基于泡沫顏色的精礦品位監(jiān)測(cè)

在鋁土礦浮選過(guò)程中,精礦品位(A/S)目前還無(wú)法實(shí)現(xiàn)在線(xiàn)檢測(cè),一般只能依靠離線(xiàn)采樣和實(shí)驗(yàn)室化驗(yàn).實(shí)驗(yàn)室檢測(cè)方法耗時(shí)耗力,一般一天只能獲得1 個(gè)或2 個(gè)檢測(cè)值.因此,常因精礦品位在線(xiàn)監(jiān)測(cè)值的缺失,無(wú)法實(shí)現(xiàn)生產(chǎn)工況的有效評(píng)估,也就是難以及時(shí)對(duì)生產(chǎn)做出有效的操作調(diào)整,以保證生產(chǎn)的穩(wěn)態(tài)優(yōu)化運(yùn)行.

在實(shí)驗(yàn)中,本文連續(xù)收集了28 天的鋁土礦浮選過(guò)程參量數(shù)據(jù),包括各種工況狀態(tài)下的未知光照條件下的泡沫圖像和對(duì)應(yīng)的冶金過(guò)程參量以及人工采樣化驗(yàn)的精礦品位數(shù)據(jù).每天人工采集精礦樣品并化驗(yàn)A/S 數(shù)據(jù)8 條,再加上去除現(xiàn)場(chǎng)設(shè)備故障整修時(shí)段數(shù)據(jù),共獲得201 條有效的人工化驗(yàn)的A/S數(shù)據(jù).隨機(jī)選擇其中的120 條用于模型訓(xùn)練,剩余的用作模型測(cè)試.

基于所獲取的泡沫圖像顏色特征,采用經(jīng)典的回歸分析模型對(duì)精礦品位(A/S)進(jìn)行預(yù)測(cè).實(shí)驗(yàn)中采用的回歸分析模型主要包括兩種,即高斯混合回歸(Gaussian mixture regression,GMR)模型[36],最小二乘支持向量機(jī)(Least square — support vector machines,LS-SVM)模型對(duì)精礦品位進(jìn)行預(yù)測(cè).由于所提取的24 維顏色特征具有較大的冗余性,在實(shí)驗(yàn)中,采用主成分分析方法(Principal component analysis,PCA)進(jìn)行維數(shù)約簡(jiǎn),最終獲得基于PCA 降維的14 維約簡(jiǎn)特征,進(jìn)行精礦品位預(yù)測(cè).圖9 顯示了基于泡沫顏色特征的鋁土礦精礦品位(A/S)的預(yù)測(cè)結(jié)果.

從圖9 中可以看出,A/S 的預(yù)測(cè)結(jié)果與實(shí)際檢測(cè)結(jié)果基本一致.該結(jié)果表明,本文所提出的WCGAN模型可以獲得有效的反映精礦品位變化的泡沫顏色特征,因而,基于所獲得的顏色特征可實(shí)現(xiàn)精礦品位的在線(xiàn)監(jiān)測(cè).

4 結(jié)束語(yǔ)

在基于機(jī)器視覺(jué)的礦物浮選過(guò)程監(jiān)測(cè)中,泡沫圖像信號(hào)因受多種可變光照的交叉干擾而不可避免存在嚴(yán)重色偏.本文提出了一種基于WCGAN 泡沫圖像顏色校正方法.WCGAN 通過(guò)學(xué)習(xí)基準(zhǔn)色域的泡沫圖像與真實(shí)工況環(huán)境下的泡沫圖像色域的映射關(guān)系,可以將各種未知光照條件下的泡沫圖像轉(zhuǎn)換到基準(zhǔn)色域下顏色顯示,進(jìn)而獲得不受光照影響的泡沫顏色特征.

在實(shí)際的鋁土礦浮選過(guò)程中進(jìn)行了工業(yè)驗(yàn)證,結(jié)果表明,所提方法能在進(jìn)行泡沫圖像顏色校正的同時(shí),有效保持圖像的幾何輪廓和表面紋理特性.進(jìn)而,基于基準(zhǔn)光照下的校正泡沫圖像顏色特征,能實(shí)現(xiàn)鋁土礦浮選過(guò)程精礦品位有效預(yù)測(cè),為基于機(jī)器視覺(jué)的礦物浮選過(guò)程的自動(dòng)化監(jiān)測(cè)提供了技術(shù)支撐.

下一步的工作是結(jié)合本文所提出的光照不變泡沫顏色特征提取方法融合泡沫圖像其他視覺(jué)特征(如表面紋理、幾何輪廓特征)和冶金過(guò)程參量(如流量、礦漿濃度、細(xì)度、p H 值),實(shí)現(xiàn)礦物浮選過(guò)程工況的準(zhǔn)確鑒別和精礦品位的在線(xiàn)監(jiān)測(cè),根據(jù)精礦品位或者工況的變化情況提出相應(yīng)的過(guò)程加藥量?jī)?yōu)化設(shè)定方法,保證浮選過(guò)程的穩(wěn)定優(yōu)化運(yùn)行,為提高選礦產(chǎn)品質(zhì)量和降低礦物資源消耗奠定基礎(chǔ).