摘要:核桃內(nèi)部品質(zhì)良莠不齊會使其市場利潤降低,現(xiàn)有檢測方式不僅勞動成本高,效率低,且無法對核桃內(nèi)部干癟程度進行判別,因此,迫切需要一種無損、快速、準確的檢測方式及判別方法。采用X射線技術(shù)獲取核桃內(nèi)部圖像,采用圖像處理軟件Photoshop對核桃與核桃仁投影面積進行比值計算,確定3類不同干癟程度的核桃,分別為內(nèi)部存在略干癟、過干癟的核桃與正常核桃,采用3種核桃構(gòu)建干癟核桃數(shù)據(jù)集?;诰矸e神經(jīng)網(wǎng)絡(luò)(CNN)結(jié)構(gòu),利用Alexnet、視覺幾何群網(wǎng)絡(luò)(VGG16)、MobileNetV2與殘差網(wǎng)絡(luò)(ResNet50)分別構(gòu)建核桃內(nèi)部干癟程度判別模型。根據(jù)3種模型對干癟核桃數(shù)據(jù)集分類的預測損失值、預測準確率、測試準確率與Epoch均次用時進行性能分析確定最優(yōu)模型,并進行參數(shù)優(yōu)化。結(jié)果表明,MobileNetV2模型在學習率為0.000 1,批處理為32時,網(wǎng)絡(luò)性能最佳,預測準確率達98.65%,測試準確率為93.40%。
關(guān)鍵詞:核桃;無損檢測;X射線;內(nèi)部干癟程度;卷積神經(jīng)網(wǎng)絡(luò)
中圖分類號:S123" " " 文獻標識碼:A" " " 文章編號:2095?5553 (2024) 09?0184?06
Discrimination of shriveled walnut X?ray image based on convolution neural network
Pu Houxu, Zhang Hui
(School of Mechanical Engineering, Xinjiang University, Urumqi, 830000, China)
Abstract: The difference of internal quality of walnut will reduce its market profit. The existing detection methods have high labor cost and low efficiency, as well as impossible to discriminate the shriveled walnuts with different degrees. Therefore, a non?destructive, rapid and accurate detection method and a discriminated method are urgently needed to detect internal shriveled walnuts. The internal images of walnuts are obtained by using X?ray technology, and the ratio of the projection area between the walnut and walnut kernel is calculated by employing Photoshop image processing software, three categories of walnuts with different degrees of shriveling are identified, which are slightly shriveled, overly shriveled and normal walnuts, respectively. A shriveled walnut dataset is constructed by using these three types of walnuts. Based on the convolutional neural network (CNN) structure, the discrimination models of walnut internal shriveling degree are constructed by using Alexnet, VGG16, MobileNetV2 and ResNet50. The optimal model is determined through performance analysis based on the prediction loss value, prediction accuracy rate, test accuracy rate and Epoch average duration of the three models on the shriveled walnut dataset, followed by parameter optimization. The results show that the MobileNetV2 model achieves the best network performance with a learning rate of 0.000 1 and a batch size of 32, and with a prediction accuracy of 98.65% and a test accuracy of 93.40%.
Keywords: walnut; non?destructive detection; X?ray; internal shrinkage walnut with different degrees; convolutional neural networks
0 引言
新疆是中國核桃主產(chǎn)地之一。2022年,新疆核桃的種植面積達630.9 khm2,產(chǎn)量達1 132 kt[1]。由于新疆核桃以小規(guī)模零散種植農(nóng)戶為主,核桃產(chǎn)業(yè)機械化水平較低,核桃在篩選過程中僅依靠人工與小型機械,內(nèi)部存在干癟、褐變和空殼等缺陷的核桃無法被精確剔除,造成人工成本高,商品率低[2]。傳統(tǒng)的核桃檢測方法主要有人工檢測、機器振動篩和風選法。人工檢測效率低,勞動強度大;機器振動篩和風選法功耗大,在檢測過程中對核桃外部會造成一定的損傷,且均無法在不破壞核桃外殼的情況下對其內(nèi)部缺陷進行有效的檢測,特別是核桃內(nèi)部干癟程度的檢測。如果能無損、快速、準確地檢測出核桃內(nèi)部干癟程度并分級,以進一步提高核桃分級效率與批次質(zhì)量,提高核桃初加工產(chǎn)品的銷售利潤,對新疆核桃產(chǎn)業(yè)高質(zhì)量發(fā)展有著重要意義。
X射線檢測技術(shù)在無損檢測領(lǐng)域中發(fā)展日趨成熟,具有操作方便、價格低廉、不同物質(zhì)對X射線有不同吸收率的特點?;赬射線無損檢測技術(shù),Dian等[3]實現(xiàn)了對核桃中雜物的篩選,在測試圖像中準確率高達99.5%,驗證圖像中準確率達到95%;許騫等[4]實現(xiàn)了柑橘浮皮與枯水的快速檢測,準確率分別為96.2%與86.9%;Van等[5]對梨內(nèi)部褐變的檢測準確率達到了90.2%。
深度學習具有適應性強、數(shù)據(jù)驅(qū)動、自動提取特征的優(yōu)點。王靈敏等[6]采用Alexnet網(wǎng)絡(luò)對香蕉成熟度進行分類,準確率達到95.56%。李文寶等[7]利用VGG16網(wǎng)絡(luò)對5類核桃進行品種分類,準確率達到99.7%。閆龍泉等[8]采用ResNet50網(wǎng)絡(luò)對唐卡進行判別,使其召回率提高25%。秦嘉奇[9]通過MobileNetV2對農(nóng)作物的樹葉進行病害識別,準確率達到99.57%。
基于這些研究,本文以正常核桃與內(nèi)部存在不同干癟程度核桃的X射線圖像為研究對象,構(gòu)建Alexnet、VGG16、MobileNet、ResNet50圖像分類網(wǎng)絡(luò)挖掘不同核桃的X射線圖像特征,構(gòu)建內(nèi)部不同干癟程度核桃CNN判別模型以找到最適于核桃內(nèi)部干癟程度判別分類網(wǎng)絡(luò),并對分類網(wǎng)絡(luò)的參數(shù)進行進一步優(yōu)化,以期為X射線技術(shù)應用于核桃內(nèi)部存在干癟缺陷檢測方法提供理論參考。
1 材料與方法
1.1 樣本與設(shè)備
本研究所采用的試驗樣本為新疆葉城縣種植的“溫185”核桃,剔除表面存在缺陷的核桃后,對剩余1 447個試樣通過TXR-B3V1.0.0型X射線異物檢測系統(tǒng)采集核桃X射線圖像。該系統(tǒng)包括一個X光源SPC-P110(AVJ Technologies Company)、一個X-Scan c5 Series線性陣列X射線探測板(Detection Technology Plc)、控制裝置、傳送帶、X射線成像傳輸系統(tǒng)和機架。經(jīng)過多次試驗驗證,X射線光源參數(shù)選為管電壓50 kV,管電流60 mA,可獲得清晰反映核桃內(nèi)部品質(zhì)的X射線圖像。
1.2 核桃內(nèi)部干癟程度測定
黃星奕等[10]提出核桃擺放位置會影響核桃的X射線圖像質(zhì)量,當核桃基于縫合線垂直擺放的狀態(tài)下獲取的X射線核桃圖像質(zhì)量最高,因此,本試驗均采用該擺放方式獲取X射線核桃圖像,以降低核桃殼的內(nèi)褶與分心木對核桃分類的影響。首先,對大批量核桃進行X射線連續(xù)檢測獲得內(nèi)部正常核桃、內(nèi)部存在干癟與過干癟缺陷的核桃原始圖像后,再采用圖像裁剪獲得僅包含單個核桃樣本的圖像,并進行編號。按編號通過人工剖開檢驗與圖像對比的方式,將樣本劃分為無干癟、略干癟和過度干癟3種情況,并設(shè)置相應標簽。核桃干癟度的判斷標準參考Zhao等[11]研究方法,結(jié)合《核桃堅果質(zhì)量等級》國家標準[12],采用圖像處理軟件PhotoShop的“對象選擇”工具,分別測量X射線下整個核桃投影面積S1(像素)和核桃仁投影面積S2(像素),如圖1所示。S1、S2分別為整個核桃投影面積與核桃仁投影面積。
由于在數(shù)碼圖像中,位圖圖像的像素大小和總數(shù)是固定的,不受圖像分辨率影響,圖像中S1與S2的比值就是固定的。因此,采用S1與S2的比值近似反映實際核桃與核桃仁的面積大小,通過該比值的百分比S可量化判斷核桃的干癟程度,計算如式(1)所示。
S=S1/S2×100% (1)
1.3 卷積神經(jīng)網(wǎng)絡(luò)模型的構(gòu)建及性能評價指標
1.3.1 CNN模型構(gòu)建流程
由于本研究所采用的數(shù)據(jù)為X射線圖像,因此,采用目前圖像分類任務效果較好的Alexnet[13]、VGG16[14]、ResNet50[15]以及MobileNetV2[16]。首先,將核桃的X射線圖像輸入Alexnet、VGG16、ResNet50以及MobileNetV2模型,然后,根據(jù)模型性能指標確定適用于核桃內(nèi)部干癟程度判別的模型,并對其超參數(shù)進行優(yōu)化得到性能達到最優(yōu)的判別模型。
4種圖像分類模型分別由卷積層、最大池化層、平均池化層、全連接層4個部分組成,具體構(gòu)建流程如圖2所示。
1.3.2 模型性能評價指標
為了對比不同模型在核桃內(nèi)部缺陷分類問題中的性能,本研究選擇預測損失值、預測準確率、測試準確率及Epoch均次時間(即每次迭代的平均耗時),4個參數(shù)作為評價指標,模型預測損失值波動越大,模型穩(wěn)定性越差;損失值整體較高,模型收斂相對較慢。
1.3.3 環(huán)境配置及試驗流程
所用系統(tǒng)配置為Windows10系統(tǒng),處理器采用Intel i5-8500,16 GB內(nèi)存,1 T硬盤和Nvidia Tesla A100 40G顯卡,采用python軟件進行網(wǎng)絡(luò)搭建。模型設(shè)置初始參數(shù)如下:凍結(jié)訓練中學習率為0.001,Epoch為50次,批處理(BatchSize)為16;解凍訓練中學習率為0.000 3,Epoch為100次,BatchSize為16。搭建引入凍結(jié)學習的Alexnet、VGG16、ResNet50以及MobileNetV2圖像分類模型,凍結(jié)學習通過凍結(jié)底層網(wǎng)絡(luò)權(quán)重以減低網(wǎng)絡(luò)訓練時間,節(jié)約網(wǎng)絡(luò)訓練階段所占用的資源。試驗流程如圖3所示。
首先,采用初始參數(shù)完成模型的訓練、預測及測試階段,獲得預測損失值、預測準確率、Epoch均次用時及測試準確率4個模型指標,通過對4個指標的評價選擇適合核桃分類任務的網(wǎng)絡(luò)模型;然后,在此基礎(chǔ)上,對該網(wǎng)絡(luò)進行學習率與BatchSize這2個參數(shù)優(yōu)化,以找出最適合核桃干癟程度分類任務的網(wǎng)絡(luò)參數(shù)及相應模型。
2 結(jié)果與分析
2.1 核桃內(nèi)部干癟程度的界定
采用X射線核桃圖像與人工剖開相結(jié)合的方法,分別對200個內(nèi)部完整與內(nèi)部存在干癟問題的核桃進行百分比S統(tǒng)計,得到正常核桃與過干癟核桃的平均值,分別為65.31%±2.9%、24.05%±3.8%。為了嚴格區(qū)分正常核桃、略干癟核桃以及過干癟核桃,本研究將界定閾值做以下劃分:S值≥62.41%,正常核桃;27.85%lt;S值lt;62.41%,略干癟核桃;S值≤27.85%,過干癟核桃。圖4為正常核桃、略干癟核桃、過干癟核桃的X射線圖及S值。在X射線投影圖中核桃仁占整個核桃面積的62.41%及以上,且核桃仁色澤呈現(xiàn)黃白色,則標記為正常核桃;核桃仁面積占整個核桃的27.85%及以下,且核桃仁色澤呈現(xiàn)深褐色,則將其標記為過干癟核桃;S值介于兩者之間的核桃均歸為略干癟核桃。
2.2 核桃內(nèi)部干癟程度判別模型的確定
試驗共獲得1 196幅圖像,將圖像進行以下劃分:訓練集913幅圖像,包括323幅正常核桃、287幅略干癟核桃、303幅過干癟核桃;預測集采用20%訓練數(shù)據(jù)進行模型預測,在每次Epoch完成后,重新對訓練數(shù)據(jù)進行隨機劃分;測試集283幅圖像,100幅正常核桃、90幅略干癟核桃與93幅過干癟核桃圖像。數(shù)據(jù)集通過改變圖像的噪音、對比度和旋轉(zhuǎn)角度等數(shù)據(jù)增強方式進行數(shù)據(jù)擴充,使得訓練集每類圖像均擴充為2 500幅,測試集每類圖像均擴充為1 440幅。
采用Alexnet、VGG16、ResNet50和MobileNetV2這4種網(wǎng)絡(luò)分別進行核桃內(nèi)部干癟程度判別模型的構(gòu)建。模型預測損失值與預測準確率如圖5所示。
與MobileNetV2模型相比,Alexnet模型的預測損失值整體高于其他模型,預測準確率明顯低于其他模型,而MobileNetV2模型的預測損失值略低于VGG16與ResNet50,預測準確率略整體高于Alexnet與ResNet50,表明MobileNetV2模型性能更加穩(wěn)定。表1為Alexnet、VGG16、ResNet50及MobileNetV2模型對核桃內(nèi)部干癟程度的判別性能結(jié)果。
由表1可知,VGG16、ResNet50與MobileNetV2這3個模型的預測準確率與測試準確率均相差不大,VGG16模型測試準確率最高,可達98.49%,MobileNetV2模型預測準確率最高,可達95.17%; MobileNetV2模型的Epoch均次用時最短,僅為15.43 s,預測損失值最低,為0.025 79。綜合目前市場需求高效率的條件下,本研究最終采用MobileNetV2網(wǎng)絡(luò)構(gòu)建核桃內(nèi)部干癟程度的判別模型。
張淑娟等[17]同樣采用X射線技術(shù)與CNN相結(jié)合的方式進行核桃內(nèi)部缺陷的檢測研究,對正常、干癟與空殼3類核桃的平均準確率達到96.39%。然而,在缺陷核桃數(shù)據(jù)集的劃分上僅依靠《核桃堅果質(zhì)量等級》國家標準[12]結(jié)合感官評判,并沒有將核桃的內(nèi)部干癟程度進行明確量化,而本研究中對干癟核桃數(shù)據(jù)集的劃分方式更加標準嚴格,確定了核桃干癟程度的閾值,準確劃分出核桃的正常、略干癟與過干癟3種情況,為今后核桃內(nèi)部干癟程度的無損檢測技術(shù)開發(fā)增加指導意義。近年來,CNN在圖像分類領(lǐng)域一直表現(xiàn)出色,Kausar等[18]基于CNN構(gòu)建Pure-CNN模型對包含81種水果的fruit-360水果數(shù)據(jù)集進行分類,準確率達到98.88%;Qin等[19]基于CNN中的MobileNetV2網(wǎng)絡(luò)構(gòu)建分類模型對5種花朵進行判別,準確率達到96%。相比之下,本研究基于X射線技術(shù)構(gòu)建的MobileNetV2模型對核桃內(nèi)部不同干癟程度的檢測上也表現(xiàn)出較高的判別能力,可為其他干果不同內(nèi)部缺陷及其程度的檢測提供一種研究策略。
2.3 基于MobileNetV2網(wǎng)絡(luò)核桃內(nèi)部干癟程度判別模型的參數(shù)優(yōu)化
凍結(jié)學習通過凍結(jié)底層網(wǎng)絡(luò)的方式降低整體模型的訓練時間,減少訓練階段模型占用資源,由于凍結(jié)訓練不改變底層模型的權(quán)重,因此在后續(xù)參數(shù)優(yōu)化過程,僅考慮解凍訓練階段的模型性能,并將凍結(jié)訓練部分的參數(shù)始終保持:學習率為0.001、BatchSize為16,總體Epoch為150。
2.3.1 學習率
學習率是模型收斂與否的關(guān)鍵指標,過大會導致模型無法收斂,過小會使網(wǎng)絡(luò)出現(xiàn)過擬合,因此選擇合適的學習率對性能有著關(guān)鍵影響。根據(jù)試驗研究與經(jīng)驗,設(shè)置學習率分別為0.000 3、0.000 1和0.000 03,不同學習率下的模型預測損失圖與預測準確率如圖6所示,模型判別性能如表2所示。
從圖6可知,學習率為0.000 03時,模型預測損失值與預測準確率在解凍初期存在較大的波動;學習率為0.000 3與0.000 1時,模型預測損失值與準確率整體相差較小。由表2可知,學習率不同,模型Epoch均次用時相差不大,但學習率為0.000 1時,模型預測準確率與測試準確率均達到最高,分別為98.63%與91.49%,因此選擇學習率0.000 1構(gòu)建模型并進行后續(xù)的參數(shù)優(yōu)化。
2.3.2 批處理
BatchSize是網(wǎng)絡(luò)劃分數(shù)據(jù)的關(guān)鍵參數(shù),網(wǎng)絡(luò)的迭代時間與準確率均受該參數(shù)的影響。根據(jù)試驗研究與經(jīng)驗,設(shè)置BatchSize的參數(shù)分別為16、32與64,不同BatchSize參數(shù)下MobileNetV2模型的預測損失值與預測準確率如圖7所示,模型性能如表3所示。
由圖7可知,模型在BatchSize為32與64時,解凍訓練初期模型的預測損失值出現(xiàn)較大的波動,特別是BatchSize為64時,預測準確率在解凍初期同樣出現(xiàn)明顯的波動。從表3可看出,BatchSize的設(shè)置明顯影響網(wǎng)絡(luò)的迭代時間,BatchSize參數(shù)越小Epoch均次用時越長,但在訓練后期不同BatchSize下模型的預測損失值與測試準確率均相差較小。考慮到生產(chǎn)問題需要準確率高、穩(wěn)定的檢測方式,因此,選用BatchSize為32構(gòu)建模型并進行后續(xù)的參數(shù)優(yōu)化。
3 結(jié)論
本研究基于X射線技術(shù)對內(nèi)部品質(zhì)存在略干癟、過干癟問題的核桃與正常核桃進行檢測,基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)構(gòu)建VGG16、ResNet50及MobileNetV2圖像分類模型,以預測損失值、預測準確率、Epoch均次用時及測試準確率作為模型的性能評價指標。
1) 對比3種不同結(jié)構(gòu)CNN模型,MobileNetV2模型Epoch均次用時最少,為15.43 s;預測損失值最低,為0.025 79,模型收斂穩(wěn)定;預測準確率與測試準確率略低于VGG16模型,分別為95.17%與91.27%,最終選用MobileNetV2網(wǎng)絡(luò)構(gòu)建核桃內(nèi)部干癟程度的判別模型。
2) 設(shè)置不同學習率及BatchSize參數(shù)調(diào)整MobileNetV2網(wǎng)絡(luò)的性能,最終確定學習率為0.000 1,BatchSize為32,網(wǎng)絡(luò)性能最佳。在此基礎(chǔ)上,模型Epoch均次用時為15.24 s,預測損失值為0.020 17,預測準確率與測試準確率分別為98.65%與93.40%,相較于參數(shù)優(yōu)化前,MobileNetV2模型訓練階段用時減少,預測損失值降低,可為今后開展MobileNetV2模型在核桃內(nèi)部干癟程度分級問題中的結(jié)構(gòu)優(yōu)化提供研究基礎(chǔ)。
MobileNetV2網(wǎng)絡(luò)模型可以高效的實現(xiàn)核桃內(nèi)部不同干癟程度的判別分類,可為今后針對干果內(nèi)部缺陷及其程度的無損檢測提供一種研究策略。此外,今后研究可以對MobileNetV2模型結(jié)構(gòu)進行再改進,進一步提高其在核桃內(nèi)部缺陷檢測問題的效率和檢測精度。
參 考 文 獻
[ 1 ] 王方. 新疆核桃油精深加工關(guān)鍵技術(shù)重大專項啟動[N]. 中國科學報, 2023-01-19(003).
[ 2 ] 胡東宇, 高健, 黃力平, 等. 南疆四地州核桃產(chǎn)業(yè)現(xiàn)狀與發(fā)展思路[J]. 北方園藝, 2021(13): 148-154.
Hu Dongyu, Gao Jian, Huang Liping, et al. Current situation and development ideas of walnut industry in four prefectures of Southern Xinjiang [J]. Northern Horticulture, 2021(13): 148-154.
[ 3 ] Dian R, Li J X, Yi B Y. Computer vision detection of foreign objects in walnuts using deep learning [J]. Computers and Electronics in Agriculture, 2019, 162: 1001-1010.
[ 4 ] 許騫, 蔡健榮, 杜燦, 等. 基于軟X射線成像技術(shù)的柑橘內(nèi)部浮皮和枯水檢測[J]. 智慧農(nóng)業(yè)(中英文), 2021, 3(4): 53-65.
Xu Qian, Cai Jianrong, Du Can, et al. Detection of peel puffing and granulation in citrus based on Soft X?ray imaging technology [J]. Smart Agriculture, 2021, 3(4): 53-65.
[ 5 ] Van De Looverbosch T, Bhuiyan M H R, Verboven P, et al. Nondestructive internal quality inspection of pear fruit by X?ray CT using machine learning [J]. Food Control, 2020, 113: 107170.
[ 6 ] 王靈敏, 蔣瑜. 基于深度學習的香蕉成熟度自動分級[J]. 食品與機械, 2022, 38(11): 149-154.
Wang Lingmin, Jiang Yu. Automatic classification of banana ripeness base on deep learning [J]. Food amp; Machinery, 2022, 38(11): 149-154.
[ 7 ] 李文寶, 曹成茂, 張金炎, 等. 基于深度學習的山核桃破殼物料分類識別[J]. 食品與機械, 2021, 37(9): 133-138.
[ 8 ] 閆龍泉, 駱沛然, 史偉, 等. 基于ResNet的唐卡檢索[J]. 寧夏大學學報(自然科學版), 2021, 42(3): 257-262, 269.
Yan Longquan, Luo Peiran, Shi Wei, et al. Thangka retrieval based on ResNet [J]. Journal of Ningxia University (Natural Science Edition), 2021, 42(3): 257-262, 269.
[ 9 ] 秦嘉奇. 基于Mobilenet的農(nóng)作物葉片病害識別方法[J]. 信息與電腦(理論版), 2021, 33(18): 181-184.
[10] 黃星奕, 張慶磊, 呂強. 軟X射線技術(shù)對核桃內(nèi)部品質(zhì)的無損檢測研究[J]. 食品工業(yè)科技, 2011, 32(2): 344-346.
[11] Zhao K, Zha Z, Li H, et al. Early detection of moldy apple core based on time?frequency images of vibro?acoustic signals [J]. Postharvest Biology and Technology, 2021, 179: 111589.
[12] GB/T 20398—2006, 核桃堅果質(zhì)量等級[S].
[13] Alex K, Ilya S, Geoffrey H. ImageNet classification with deep convolutional neural networks [J]. Communications of the ACM, 2017, 60(6): 84-90.
[14] Karen S. Very deep convolutional networks for large?scale image recognition [J]. arxiv preprint arxiv: 1409. 1556, 2014.
[15] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition [C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016: 770-778.
[16] Howard A G, Zhu M, Chen B, et al. Mobilenets: Efficient convolutional neural networks for mobile vision applications [J]. arxiv preprint arxiv: 1704. 04861, 2017.
[17] 張淑娟, 高庭耀, 任銳, 等. 基于X射線成像與卷積神經(jīng)網(wǎng)絡(luò)的核桃內(nèi)部品質(zhì)檢測[J]. 農(nóng)業(yè)機械學報, 2022, 53(1): 383-388.
Zhang Shujuan, Gao Tingyao, Ren Rui, et al. Detection of walnut internal quality based on X?ray imaging technology and convolution neural network [J]. Transactions of the Chinese Society for Agricultural Machinery, 2022, 53(1): 383-388.
[18] Kausar A, Sharif M, Park J, et al. Pure-CNN: A framework for fruit images classification [C]. 2018 International Conference on Computational Science and Computational Intelligence (CSCI). IEEE, 2018: 404-408.
[19] Qin X, Wang X, Li R, et al. Fruit image classification based on Mobilenetv2 with transfer learning technique [C]. Proceedings of the 3rd International Conference on Computer Science and Application Engineering, 2019: 1-7.