二維相關(guān)光譜圖像結(jié)合深度學(xué)習(xí)用于皮蛋成熟度的高光譜無(wú)損檢測(cè)

陳遠(yuǎn)哲，王巧華,2, ，范 維，劉世偉，林衛(wèi)國(guó)

（1.華中農(nóng)業(yè)大學(xué)工學(xué)院，湖北 武漢 430070；2.農(nóng)業(yè)農(nóng)村部長(zhǎng)江中下游農(nóng)業(yè)裝備重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430070）

皮蛋是一種歷史悠久的傳統(tǒng)蛋制品，其口味獨(dú)特、營(yíng)養(yǎng)價(jià)值豐富。皮蛋在蛋制品的產(chǎn)量中位于首位，是中國(guó)再制蛋的主要組成部分，主要銷(xiāo)往中國(guó)香港、美國(guó)、新加坡等30多個(gè)國(guó)家和地區(qū)[1]。浸泡法是用堿性的料液腌制皮蛋，沒(méi)有鈣泥包裹，可以減輕清洗鴨蛋的操作，是目前主要的腌制方法，一般在室溫下腌制30 d左右使其成熟，適用于工廠大規(guī)模生產(chǎn)[2-3]。

腌制期間皮蛋的成熟度是衡量凝膠品質(zhì)的關(guān)鍵指標(biāo)。長(zhǎng)期以來(lái)，皮蛋成熟度檢測(cè)仍然依靠人工的感官檢測(cè)，一貫的做法是利用光源照在皮蛋的鈍端，根據(jù)蛋內(nèi)凝膠的透射顏色判斷其成熟度。一般來(lái)說(shuō)，顏色越深，皮蛋越成熟[4]。由于腌制期皮蛋內(nèi)部的變化過(guò)程被隱藏在蛋殼內(nèi)的基質(zhì)中，工廠很難根據(jù)皮蛋在腌制期的成熟度精確調(diào)整腌制液的濃度，因此廠商通常從同一批成熟度的皮蛋中抽樣打破幾個(gè)檢驗(yàn)。有些生產(chǎn)商制定了皮蛋凝膠彈性的檢測(cè)標(biāo)準(zhǔn)，通過(guò)以手敲的方式判斷其彈性值，從而對(duì)皮蛋的成熟度進(jìn)行粗略的評(píng)價(jià)。但這些方法繁瑣低效，不僅具有破壞性，還造成資源的浪費(fèi)，不能滿(mǎn)足皮蛋行業(yè)成熟度快速檢測(cè)的需求。

目前國(guó)內(nèi)外學(xué)者對(duì)皮蛋的研究主要集中在產(chǎn)品的營(yíng)養(yǎng)結(jié)構(gòu)和腌制工藝[5-6]，對(duì)于皮蛋的品質(zhì)檢測(cè)還鮮有報(bào)道。高光譜成像技術(shù)能高效、無(wú)損檢測(cè)禽蛋的內(nèi)部品質(zhì)。一些研究強(qiáng)調(diào)了使用高光譜技術(shù)對(duì)雞蛋內(nèi)部品質(zhì)進(jìn)行無(wú)損檢測(cè)的可能性。Fu Dandan等[7]利用高光譜技術(shù)對(duì)雞蛋內(nèi)S-卵白蛋白的含量進(jìn)行了預(yù)測(cè)與可視化。Yao Kunshan等[8]利用高光譜技術(shù)對(duì)雞蛋的哈夫單位進(jìn)行了準(zhǔn)確預(yù)測(cè)。Zhang Wei等[9]采用高光譜技術(shù)對(duì)雞蛋內(nèi)部氣室和散黃蛋建立了預(yù)測(cè)模型。上述研究表明利用高光譜技術(shù)對(duì)禽蛋品質(zhì)的鑒別可行。

本實(shí)驗(yàn)以腌制期皮蛋為研究對(duì)象，采集不同成熟度皮蛋的高光譜信息，提出二維相關(guān)光譜（two-dimensional correlation spectra，2DCOS）圖像結(jié)合深度學(xué)習(xí)的方法，建立光譜圖像與皮蛋成熟度的鑒別模型，以準(zhǔn)確預(yù)測(cè)腌制期皮蛋的成熟度。

1 材料與方法

1.1 材料與試劑

240 枚新鮮鴨蛋 浙江省江山恒沃農(nóng)產(chǎn)品有限公司；茶葉 武漢福山堂茶葉有限公司；氫氧化鈉、硫酸銅、氯化鈉（食品級(jí)）天津登峰化學(xué)試劑廠。

1.2 儀器與設(shè)備

Zolix Hyper SIS-VNIR-CL高光譜成像系統(tǒng)如圖1所示，主要包括一臺(tái)高光譜成像儀（Spectral imaging Ltd.，芬蘭）、一臺(tái)CCD工業(yè)相機(jī)、一臺(tái)鹵鎢燈（功率50 W，顏色暖白）、絲狀位移步進(jìn)電機(jī)控制平臺(tái)等元器件。光譜范圍為400～1 000 nm（含520 個(gè)波長(zhǎng)），光譜分辨率為1.154 nm。

圖1 高光譜成像系統(tǒng)Fig.1 Hyperspectral imaging system

1.3 方法

1.3.1 皮蛋樣本的制備

工藝流程：新鮮鴨蛋→消毒水洗滌→配制腌制液→25 ℃恒溫腌制→取樣檢測(cè)。

皮蛋腌制液的配制，腌制液質(zhì)量∶鮮鴨蛋質(zhì)量=1∶1。按腌制液總質(zhì)量百分比計(jì)算[10]，分別稱(chēng)取NaOH 4.5%、紅茶葉3%、硫酸銅0.4%、氯化鈉4%。

取樣檢測(cè)：將產(chǎn)后1 d的新鮮鴨蛋放入腌制料液內(nèi)恒溫腌制。為避免堿傷，按照唐世濤等[11]的腌制要求，在腌制第14天時(shí)用純水1∶1稀釋腌制液，并放回繼續(xù)腌制。因此，在整個(gè)腌制過(guò)程中，以腌制前14 d和腌制后的13 d作為檢測(cè)皮蛋成熟度的主要時(shí)期。整個(gè)實(shí)驗(yàn)分為控制組（1組）和實(shí)驗(yàn)組（5 組）。用消毒水洗滌并擦拭干凈的新鮮鴨蛋作為控制組（40 枚），將恒溫腌制的皮蛋作為實(shí)驗(yàn)組，由于鴨蛋從第7天左右開(kāi)始形成凝膠，故在腌制的第7、12、17、22天和第27天分別取出40 枚皮蛋，用于樣品的高光譜采集。為方便觀察和比較不同腌制期的圖像特征，根據(jù)時(shí)間序列將每個(gè)時(shí)期皮蛋的外部透射圖像進(jìn)行拼接，如圖2所示。

圖2 腌制期皮蛋外部凝膠變化圖像Fig.2 Changes in external gelation of preserved eggs during pickling

1.3.2 圖像的采集與校正

從腌制盒中取出同一批成熟度的皮蛋，用清水清洗表面的腌制液，并用吸水紙將水分吸干。實(shí)驗(yàn)前，將儀器預(yù)熱20 min以消除暗電流和CCD相機(jī)芯片不穩(wěn)定的影響[12]；之后將自制帶孔燈箱放置在圖像采集臺(tái)上，打開(kāi)光源，將皮蛋水平放置在透光孔處。樣品相機(jī)的距離為300 mm，曝光時(shí)間為0.15 s[13]。水平移動(dòng)工作臺(tái)速率為2 mm/s，移動(dòng)距離為100 mm。為消除系統(tǒng)光強(qiáng)和暗電流分布不均勻的影響，獲取的原始高光譜圖像需要黑白校正[14]。采集樣本數(shù)據(jù)之前，需要先采集黑白參考圖像。白色基準(zhǔn)由聚四氟乙烯制成的99%反射率的白色標(biāo)準(zhǔn)板獲得，黑色基準(zhǔn)由完全覆蓋相機(jī)鏡頭的不透明鏡頭蓋獲得[15]。利用式（1）得到高光譜校正圖像。

式中：IRaw為原始高光譜圖像；IB為黑板校正透射圖像；IW為白板校正透射圖像。

利用ENVI軟件ROI工具對(duì)皮蛋整個(gè)區(qū)域建立掩膜，將提取的感興趣區(qū)域平均光譜作為對(duì)應(yīng)的透射原始光譜[16]。

1.3.3 一維、二維光譜數(shù)據(jù)分析

對(duì)原始光譜透射率進(jìn)行多元散射校正（multiplicative scatter correction，MSC）、去除包絡(luò)線(xiàn)（continuum removal，CR）、一階求導(dǎo)（first derivative，F(xiàn)D）以及兩兩組合變換，得到一維光譜數(shù)據(jù)，進(jìn)而分析在時(shí)間序列下腌制時(shí)間與光譜透射率的相關(guān)性[17]。

二維相關(guān)光譜是將一維光譜擴(kuò)展到第二維上，可以增加光譜的分辨率，使得一維光譜的弱峰和重疊峰更加清晰。同步光譜和異步光譜是由動(dòng)態(tài)光譜S計(jì)算而來(lái)，當(dāng)以n個(gè)步長(zhǎng)計(jì)算相等擾動(dòng)間隔t的光譜時(shí)，動(dòng)態(tài)光譜強(qiáng)度S表示為變量v處的列向量[18]。將同步相關(guān)光譜強(qiáng)度與異步相關(guān)光譜強(qiáng)度點(diǎn)乘，得到集成光譜相關(guān)強(qiáng)度。

式中：X為同步相關(guān)光譜強(qiáng)度；Y為異步相關(guān)光譜強(qiáng)度；Z為集成相關(guān)光譜強(qiáng)度；N為希爾伯特矩陣[19]。

2 結(jié)果與分析

2.1 腌制期皮蛋原始光譜曲線(xiàn)分析

圖3為不同成熟度皮蛋樣本在腌制過(guò)程中的平均光譜曲線(xiàn)。透射率曲線(xiàn)在421、480、614 nm和679 nm處出現(xiàn)較為明顯的波峰、波谷。其中，421 nm處與皮蛋內(nèi)容物色素相關(guān)，可以用來(lái)監(jiān)測(cè)皮蛋在成熟度過(guò)程中顏色的變化[20]；480 nm出現(xiàn)第1次透射率波谷，這可能是由于蛋殼中孔洞數(shù)量和內(nèi)膜結(jié)構(gòu)特性對(duì)凝膠質(zhì)量的影響[21]；614 nm附近的最高波峰是區(qū)分不同腌制期皮蛋的關(guān)鍵波長(zhǎng)；此外，在844 nm處存在波谷拐點(diǎn)，該波長(zhǎng)處主要與蛋白凝膠中的—CH2結(jié)構(gòu)相關(guān)，925 nm處的波峰主要與水分子的O—H鍵拉伸的第二泛音有關(guān)，這可能是因?yàn)樵陔缰破谄さ皟?nèi)容物凝固導(dǎo)致水分發(fā)生了變化[22]。因此，根據(jù)光譜數(shù)據(jù)的差異，可以對(duì)腌制期皮蛋的成熟度進(jìn)行鑒別。

圖3 腌制期皮蛋的平均透射光譜Fig.3 Average transmission spectra of preserved eggs during pickling

2.2 樣本集的劃分

實(shí)驗(yàn)樣本共有240 枚皮蛋，對(duì)于一維光譜數(shù)據(jù)，為避免隨機(jī)劃分樣本的不均衡，利用光譜理化值共生距離法結(jié)合光譜信息按照3∶1比例進(jìn)行訓(xùn)練集、測(cè)試集劃分，訓(xùn)練集樣本為180 枚、測(cè)試集為60 枚。為了對(duì)比分析一維光譜數(shù)據(jù)與二維相關(guān)光譜的模型效果，對(duì)二維相關(guān)光譜圖像數(shù)據(jù)進(jìn)行樣本劃分，同時(shí)為了增加神經(jīng)網(wǎng)絡(luò)的魯棒性并減少過(guò)擬合，采用翻轉(zhuǎn)、鏡像等數(shù)據(jù)增強(qiáng)方式對(duì)樣本集進(jìn)行擴(kuò)充[23]，最終得到同步譜、異步譜和集成光譜圖像各2 400 張，然后按照3∶1∶1的比例劃分訓(xùn)練集、驗(yàn)證集和測(cè)試集。

2.3 一維光譜數(shù)據(jù)的分析

2.3.1 時(shí)間序列下一維光譜特征的相關(guān)性分析

由圖4和表1可知，在時(shí)間序列下由去除包絡(luò)線(xiàn)和一階求導(dǎo)聯(lián)合變換后（CR-FD）的光譜透射率與腌制時(shí)間的相關(guān)性整體最高，其相關(guān)性曲線(xiàn)表現(xiàn)為正負(fù)交叉，同時(shí)波峰波谷增多，在512～621、797～1 000 nm波段處達(dá)到極顯著相關(guān)水平（P＜0.01），614 nm處的光譜透射率與腌制時(shí)間的相關(guān)性最高，為0.953。這也和上述分析得出614 nm附近的波長(zhǎng)是區(qū)分不同成熟度關(guān)鍵波長(zhǎng)的結(jié)論一致；因此，選擇512～621、797～1 000 nm波段的CR-FD光譜透射率用于一維光譜數(shù)據(jù)的研究波段。

表1 時(shí)間序列下一維光譜數(shù)據(jù)與時(shí)間的最大相關(guān)系數(shù)和敏感波段Table 1 Maximum correlation coefficients and sensitive wavebands for one-dimensional spectral data in time series

圖4 時(shí)間序列下一維光譜特征的相關(guān)性Fig.4 Correlation of 1D spectral features in time series

2.3.2 一維光譜特征波長(zhǎng)的提取

為突出特征波長(zhǎng)篩選的優(yōu)越性，本實(shí)驗(yàn)采用無(wú)信息變量去除（uninformative variable elimination，UVE）法和競(jìng)爭(zhēng)性自適應(yīng)重加權(quán)采樣（competitive adaptive reweighted sampling，CARS）算法對(duì)經(jīng)CR-FD變換后的一維光譜集512～621、797～1 000 nm（270 個(gè)波長(zhǎng)）篩選特征波長(zhǎng)。

如圖5a所示，設(shè)置噪聲矩陣穩(wěn)定值的99%作為剔除閾值，光譜變量的穩(wěn)定值分布在左側(cè)，隨機(jī)變量的穩(wěn)定值分布在右側(cè)，以閾值±2.06為界，兩條水平線(xiàn)之間的變量將被剔除，最終經(jīng)UVE提取出23 個(gè)波長(zhǎng)變量。從圖5c1可以看出，隨著采樣次數(shù)增加到30 次，與時(shí)間序列高度相關(guān)的變量被保留，導(dǎo)致均方根誤差下降；在運(yùn)行30 次之后，直到刪除一些敏感波段變量時(shí)，導(dǎo)致均方根誤差值增加，如圖5c3所示，經(jīng)CARS最終提取30 個(gè)最佳波長(zhǎng)變量。圖5b、d分別為波長(zhǎng)篩選后的光譜索引圖。

圖5 特征波長(zhǎng)的提取Fig.5 Selection of characteristic wavelengths

2.4 二維相關(guān)光譜圖像的分析

2.4.1 2DCOS的圖譜特征分析

以腌制時(shí)間為擾動(dòng)因子，表征高光譜信號(hào)的敏感強(qiáng)度。根據(jù)Noda的二維光譜理論[24]，同步二維相關(guān)光譜關(guān)于主對(duì)角線(xiàn)對(duì)稱(chēng)，對(duì)角線(xiàn)上的峰稱(chēng)為自相關(guān)峰，它的強(qiáng)度反映光譜信號(hào)隨時(shí)間序列變化的強(qiáng)度，與本研究同步譜的自相關(guān)峰對(duì)比符合這一理論，同時(shí)出現(xiàn)的自相關(guān)峰與對(duì)應(yīng)的基團(tuán)變化有關(guān)，表明該波長(zhǎng)是與時(shí)間序列有關(guān)的敏感波長(zhǎng)，故用作主要的特征波段的研究區(qū)域；異步譜是由兩側(cè)交叉峰組成，它反映在時(shí)間序列變化時(shí)各個(gè)吸收峰之間的相關(guān)程度，輔以用于特征波段范圍的選擇。圖6為所有皮蛋樣本隨時(shí)間序列變化的同步和異步2DCOS圖。

圖6 時(shí)間序列下的二維相關(guān)光譜Fig.6 Two-dimensional correlation spectra in time series

從圖6a可以發(fā)現(xiàn)，對(duì)角線(xiàn)上共出現(xiàn)4 個(gè)自相關(guān)峰，在429 nm和483 nm處存在兩個(gè)較弱的自相關(guān)峰，429 nm附近處的基團(tuán)振動(dòng)峰與腌制期皮蛋的凝膠顏色變化有關(guān)，且該波長(zhǎng)點(diǎn)所對(duì)應(yīng)的峰在原始光譜曲線(xiàn)中并無(wú)出現(xiàn)，表明二維光譜能將重疊的峰分辨出，483 nm附近的振動(dòng)峰與蛋殼結(jié)構(gòu)中的蛋白吸收有關(guān)[25]；同時(shí)，由圖6b可以看出，（486，523）處出現(xiàn)正的交叉峰，表明這兩處的基團(tuán)對(duì)時(shí)間序列的擾動(dòng)具有協(xié)同作用，在（526，487）處出現(xiàn)負(fù)的交叉峰，說(shuō)明其響應(yīng)相反；在836 nm處出現(xiàn)較強(qiáng)的自相關(guān)峰，原始光譜在該波長(zhǎng)附近也有波谷出現(xiàn)，此波長(zhǎng)與皮蛋凝膠蛋白的C—H鍵有關(guān)[26]；在625 nm出現(xiàn)了最強(qiáng)的自相關(guān)峰，表明該波峰受腌制時(shí)間的影響最大，主要?dú)w因于對(duì)腌制期凝膠蛋白N—H鍵的強(qiáng)吸收所致；在（604，567）處出現(xiàn)正的交叉峰，其中567 nm與N—H鍵振動(dòng)的三級(jí)倍頻有關(guān)，與604 nm對(duì)應(yīng)的基團(tuán)吸收峰強(qiáng)度相同，表明該處波長(zhǎng)也與N—H相關(guān)，同時(shí)在（571，596）處也出現(xiàn)一個(gè)負(fù)的交叉峰。據(jù)上，自相關(guān)峰對(duì)應(yīng)的波長(zhǎng)多與凝膠顏色、N—H、C—H鍵相關(guān)，這與皮蛋在腌制期顏色變化、凝膠變化的結(jié)果一致，表明429、483、625 nm和836 nm處的光譜信號(hào)對(duì)皮蛋腌制期的時(shí)間序列較敏感，故選擇429～836 nm作為皮蛋成熟度二維光譜圖像的研究波長(zhǎng)范圍。

2.4.2 2DCOS圖像的提取

本研究選擇429～836 nm波段范圍計(jì)算每個(gè)樣本的同步、異步和集成光譜。不同腌制時(shí)期的同步、異步和集成2DCOS光譜圖如圖7所示。同步譜揭示了在時(shí)間序列下腌制時(shí)間作為擾動(dòng)因子時(shí)自相關(guān)峰對(duì)應(yīng)基團(tuán)振動(dòng)強(qiáng)度變化的相關(guān)性，它具有清晰的峰形狀和高分辨率，并且在強(qiáng)度、數(shù)量和相對(duì)位置上不同，這可以表征皮蛋在腌制期不同成熟度的差異，但對(duì)模型的性能的影響需要進(jìn)一步分析。異步光譜圖像僅具有交叉峰，這有助于區(qū)別不同波段之間的重疊峰，然而在本研究中異步光譜圖像較復(fù)雜多變，因此無(wú)法直觀進(jìn)行分析，這可能是由于皮蛋內(nèi)部凝膠的復(fù)雜特性造成。集成光譜圖像是由同步和異步光譜相關(guān)強(qiáng)度的乘積得到，與異步光譜相比，它具有更清晰特征的相關(guān)光譜。與同步光譜相比，一些特征光譜的信息有所被忽略，需要進(jìn)一步建立模型進(jìn)行辨別。

圖7 不同類(lèi)型的2DCOS圖像Fig.7 Different types of 2DCOS

2.5 一維光譜建模分析

采用UVE和CARS提取變換后CR-FD光譜的特征波長(zhǎng)，將分別得到的23 個(gè)和30 個(gè)波長(zhǎng)變量分別導(dǎo)入到常用的機(jī)器學(xué)習(xí)PLS-DA和SVM分類(lèi)模型。為了驗(yàn)證模型的性能，加入全波長(zhǎng)光譜進(jìn)行比較分析。由表2可知，降維后的模型準(zhǔn)確率雖均高于全光譜，但機(jī)器學(xué)習(xí)對(duì)較為復(fù)雜的模型擬合效果不佳，本研究使用的機(jī)器學(xué)習(xí)模型訓(xùn)練集的精度高于測(cè)試集，出現(xiàn)了過(guò)擬合現(xiàn)象。而深度學(xué)習(xí)引入了局部連接和權(quán)值共享機(jī)制，在擬合復(fù)雜模型時(shí)具有明顯的優(yōu)勢(shì)，故考慮使用2DCOS圖像結(jié)合深度學(xué)習(xí)用于皮蛋成熟度的檢測(cè)。

表2 PLS-DA和SVM模型的預(yù)測(cè)結(jié)果Table 2 Prediction results of PLS-DA and SVM models

2.6 2DCOS模型的建立與預(yù)測(cè)

2.6.1 網(wǎng)絡(luò)模型的搭建

針對(duì)皮蛋成熟度之間的差異，通過(guò)分析模型的準(zhǔn)確率、參數(shù)量、識(shí)別速率等因素，選用ResNet18為基礎(chǔ)網(wǎng)絡(luò)進(jìn)行優(yōu)化改進(jìn)[27-28]。同時(shí)，2DCOS圖像的特征較為復(fù)雜，這對(duì)數(shù)據(jù)增強(qiáng)后樣本集關(guān)鍵區(qū)域的識(shí)別要求更高，因此加入注意力機(jī)制SE模塊提高特征區(qū)域的提取，提高網(wǎng)絡(luò)的分類(lèi)性能[29]。

針對(duì)皮蛋成熟度的識(shí)別，改進(jìn)的ResNet網(wǎng)絡(luò)結(jié)構(gòu)如圖8所示。其中輸入端是同步光譜、異步光譜和集成光譜圖像。輸入數(shù)據(jù)經(jīng)過(guò)一層卷積運(yùn)算、歸一化和非線(xiàn)性激活。然后，將處理后的數(shù)據(jù)輸入7 個(gè)Identity模塊和2 個(gè)Conv模塊組成的18 層卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取。采用全局平均池化減少全連接層的參數(shù)并提取關(guān)鍵特征。Flatten層將多維數(shù)據(jù)轉(zhuǎn)換為一維，最后全連接層將學(xué)習(xí)到的分布式特征映射到樣本標(biāo)簽空間。

圖8 改進(jìn)的ResNet網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.8 Improved ResNet network structure

網(wǎng)絡(luò)的具體改進(jìn)內(nèi)容如下：

1）將網(wǎng)絡(luò)的輸入由原來(lái)的224×224×3 改為300×300×3，以增加網(wǎng)絡(luò)的預(yù)測(cè)精度。

2）ResNet18共有4 個(gè)Identity模塊和4 個(gè)Conv模塊。為了提升模型的泛化能力以及更好地?cái)M合特征，將Identity模塊增加至7 個(gè)，而Conv模塊減少至2 個(gè)，加上第1階段和第5階段的Conv層和全連接層共有20 層網(wǎng)絡(luò)。

3）將注意力機(jī)制SE模塊分別嵌入到ResNet網(wǎng)絡(luò)的第2、3、4階段的殘差模塊。其中在第2和第3階段嵌入在Identity模塊和Conv模塊中間，在第3階段嵌入到Identity模塊之前，以此增加網(wǎng)絡(luò)對(duì)關(guān)鍵區(qū)域特征的關(guān)注度，過(guò)濾無(wú)用信息提高模型的準(zhǔn)確性。改進(jìn)后的網(wǎng)絡(luò)模型命名為ResNet20_SE。

改進(jìn)后的ResNet20_SE網(wǎng)絡(luò)模型參數(shù)如表3所示。

表3 ResNet20_SE網(wǎng)絡(luò)模型的參數(shù)Table 3 Parameters of ResNet20_SE network model

2.6.2 模型訓(xùn)練

實(shí)驗(yàn)在AMD Ryzen 7 5800H@3.2 GHz、16 GB內(nèi)存、RTX3060 GPU、64位Windows 11操作系統(tǒng)、Python3.7和Keras框架下進(jìn)行。Batch size設(shè)置為32，選擇epoch迭代次數(shù)為200，學(xué)習(xí)率為0.000 1，使用Adam優(yōu)化器進(jìn)行計(jì)算，對(duì)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練和驗(yàn)證。

為驗(yàn)證ResNet20_SE的性能，加入原網(wǎng)絡(luò)ResNet18作為對(duì)比。如圖9所示，基于不同數(shù)據(jù)集的交叉熵?fù)p失函數(shù)訓(xùn)練結(jié)果，對(duì)比ResNet18網(wǎng)絡(luò)，在訓(xùn)練200 輪的情況下，3 個(gè)數(shù)據(jù)集中ResNet20_SE網(wǎng)絡(luò)都表現(xiàn)出較優(yōu)的效果，這是由于改進(jìn)后Conv模塊的減少縮減了模型的計(jì)算量，使得在保證模型準(zhǔn)確率的情況下更快達(dá)到收斂效果，同時(shí)得益于SE模塊的嵌入，網(wǎng)絡(luò)更加關(guān)注于關(guān)鍵區(qū)域的識(shí)別，最大化地縮小預(yù)測(cè)值與實(shí)際值的差異，使網(wǎng)絡(luò)獲得更小的損失值。結(jié)果表明，改進(jìn)后的ResNet20_SE較原始網(wǎng)絡(luò)模型具有更好的魯棒性。其中，同步光譜圖像的ResNet20_SE模型的損失值最小，維持在0.01水平；集成光譜次之，相較而言異步光譜最大。

圖9 驗(yàn)證集損失函數(shù)曲線(xiàn)Fig.9 Validation set loss function curves

2.6.3 模型測(cè)試及結(jié)果分析

選用ResNet20_SE模型分別在3 種數(shù)據(jù)集的480 副圖像上進(jìn)行測(cè)試，圖10為測(cè)試結(jié)果的混淆矩陣，表4為不同光譜圖像分類(lèi)的精確率和召回率。結(jié)果表明，同步光譜對(duì)于不同腌制期皮蛋分類(lèi)的ResNet20_SE模型性能最好，6 種腌制期的識(shí)別召回率分別為100%、97.50%、96.25%、98.75%、93.75%和97.50%，模型具有較高的識(shí)別精度和魯棒性，這也和驗(yàn)證集損失函數(shù)的結(jié)論一致。進(jìn)一步發(fā)現(xiàn)，在腌制第22天時(shí)，模型將4 個(gè)同步光譜圖像誤判為第27天，這是因?yàn)樵陔缰?0 d之后，皮蛋凝膠基本凝固，致使樣本圖像之間差異減小。

表4 ResNet20_SE對(duì)不同腌制期皮蛋的分類(lèi)結(jié)果Table 4 ResNet20_SE classification results of preserved eggs in different pickling periods

圖10 ResNet20_SE模型對(duì)不同數(shù)據(jù)集分類(lèi)情況的混淆矩陣Fig.10 Confusion matrix for classification of different data sets by ResNet20_SE model

進(jìn)一步，選用未數(shù)據(jù)增強(qiáng)的30 副原始同步光譜圖像進(jìn)行可視化檢測(cè)，采用較優(yōu)的同步光譜ResNet20_SE模型應(yīng)用于高光譜圖像中，計(jì)算每個(gè)像素點(diǎn)的數(shù)值，采用偽彩色技術(shù)對(duì)6 種不同腌制期成熟度進(jìn)行賦值判別，并將判別結(jié)果進(jìn)行可視化，結(jié)果如圖11所示。數(shù)值0代表背景，1～6表示被判別的6 個(gè)腌制期，認(rèn)定為不同的成熟度。除了22 d的1 個(gè)樣本被誤判為27 d，其余樣本像素點(diǎn)均全部準(zhǔn)確識(shí)別。該結(jié)果驗(yàn)證了使用高光譜成像結(jié)合深度學(xué)習(xí)方法對(duì)皮蛋成熟度鑒別的可行性。

圖11 腌制期不同成熟度分類(lèi)可視化結(jié)果Fig.11 Visual classification of preserved eggs with different maturity in different pickling periods

2.7 一維光譜與2DCOS模型的比較

將一維光譜數(shù)據(jù)建立的PLS-DA、SVM和2DCOS圖像建立的ResNet20_SE腌制期成熟度鑒別模型進(jìn)行對(duì)比分析。模型性能如表5所示，其中，傳統(tǒng)機(jī)器學(xué)習(xí)下的一維光譜數(shù)據(jù)的準(zhǔn)確率可以達(dá)到85%以上，但模型泛化能力弱，存在過(guò)擬合現(xiàn)象，不能作為最優(yōu)模型；而對(duì)于ResNet20_SE模型，3 種數(shù)據(jù)集下的整體準(zhǔn)確率均達(dá)到90%以上，特別是同步光譜下的整體準(zhǔn)確率達(dá)到97.29%，且單張圖像平均檢測(cè)時(shí)間為24.62 ms?？梢钥闯?，本實(shí)驗(yàn)改進(jìn)的ResNet20_SE模型能較為理想地兼顧識(shí)別準(zhǔn)確率和檢測(cè)速率。

表5 不同方法結(jié)果對(duì)比Table 5 Comparison of accuracy and average detection speed among different models

3 結(jié)論

經(jīng)不同變換下的一維光譜數(shù)據(jù)可以提高時(shí)間序列下腌制時(shí)間與光譜變量的相關(guān)性。其中，CR-FD變換后的光譜集透射率在512～621、797～1 000 nm對(duì)腌制時(shí)間敏感。而基于2DCOS方法，以腌制時(shí)間為擾動(dòng)因子，429～836 nm作為皮蛋成熟度2DCOS圖像的研究波長(zhǎng)范圍。

一維光譜和2DCOS圖像所建立的模型結(jié)果表明，改進(jìn)后的ResNet20_SE模型最優(yōu)，對(duì)同步光譜數(shù)據(jù)集的識(shí)別準(zhǔn)確率可以達(dá)到97.29%，且單張圖像平均檢測(cè)時(shí)間為24.62 ms，可以滿(mǎn)足工廠的實(shí)際檢測(cè)需求。

可視化的檢測(cè)結(jié)果可知，使用高光譜成像結(jié)合深度學(xué)習(xí)模型可以對(duì)腌制期皮蛋成熟度準(zhǔn)確鑒別。