基于機(jī)器視覺和機(jī)器學(xué)習(xí)技術(shù)的浙貝母外觀品質(zhì)等級區(qū)分

董成燁，李東方，馮槐區(qū)，龍思放，奚特，周芩安，王俊

（浙江大學(xué)生物系統(tǒng)工程與食品科學(xué)學(xué)院，浙江 杭州 310058）

浙貝母（Fritillaria thunbergii）是一種百合科（Liliaceae）貝母屬（Fritillaria）草本植物，是傳統(tǒng)中藥材之一，主要藥用成分為生物堿類、皂苷類，具有鎮(zhèn)咳、祛痰、抗炎、抑菌、抗腫瘤等功效。據(jù)統(tǒng)計，2017—2018 年中國浙貝母總產(chǎn)量已超4 000 t，種植產(chǎn)值約為60 億元[1]。根據(jù)T/CACM 1021.24—2018《中藥材商品規(guī)格等級 浙貝母》，浙貝母在滿足無霉變、無蟲蛀、無破碎的情況下，按直徑分為特級、一級、二級[2]，而霉變、蟲蛀、破碎的浙貝母不能入藥，需剔除。然而，目前對浙貝母的分級通常利用篩網(wǎng)、圓柱輥等實現(xiàn)[3-6]，由于浙貝母形狀不規(guī)則，分級效果往往不理想，此外，篩分過程易對浙貝母造成機(jī)械損傷，也無法篩分出霉變、蟲蛀、破碎的浙貝母。因此，開發(fā)精準(zhǔn)檢測浙貝母外觀品質(zhì)及直徑的算法，并研制一種快速、無損的分級生產(chǎn)線十分必要。

目前，針對農(nóng)產(chǎn)品的無損檢測主要依靠聲學(xué)、光學(xué)、電磁、電子鼻和機(jī)器視覺等技術(shù)[7]。機(jī)器視覺是利用攝像機(jī)和電腦代替人眼對目標(biāo)進(jìn)行識別、跟蹤和測量的技術(shù)，具備準(zhǔn)確、快速、經(jīng)濟(jì)等特點，因此，浙貝母的外觀品質(zhì)及直徑的檢測與分級可通過機(jī)器視覺技術(shù)實現(xiàn)。機(jī)器學(xué)習(xí)是處理機(jī)器視覺任務(wù)的重要工具[8]，包括統(tǒng)計學(xué)習(xí)與深度學(xué)習(xí)。統(tǒng)計學(xué)習(xí)是利用研究人員的先驗知識對數(shù)據(jù)進(jìn)行硬編碼，以更簡單的方式來表示數(shù)據(jù)，從而分析、挖掘數(shù)據(jù)內(nèi)部潛在的規(guī)律，但是其特征需要手動提取且數(shù)量有限，因此很難快速、高效地利用原有數(shù)據(jù)，并且操作過程復(fù)雜、耗時[9]。

深度學(xué)習(xí)是一種以人工神經(jīng)網(wǎng)絡(luò)為架構(gòu)，對數(shù)據(jù)進(jìn)行高層抽象的算法。深度學(xué)習(xí)與統(tǒng)計學(xué)習(xí)的關(guān)鍵區(qū)別在于前者可以從數(shù)據(jù)中自動學(xué)習(xí)更為深層的特征，所以深度學(xué)習(xí)更易建模，且能高效利用數(shù)據(jù)。目前，基于深度學(xué)習(xí)的目標(biāo)檢測算法分為一階段（one stage）型和兩階段（two stage）型，前者以YOLO（you only look once）系列算法（YOLO、YOLO-V2、YOLO-V3、YOLO-V4、YOLO-V5、YOLO-X）為代表[10-14]，后者以R-CNN（region-based convolutional neural network）系列算法（R-CNN、Fast R-CNN、Faster R-CNN）為代表[15-17]。上述目標(biāo)檢測算法已應(yīng)用于農(nóng)產(chǎn)品檢測領(lǐng)域，在田間或生產(chǎn)線上蘋果[18-19]、冬青果[20]、茶芽[21]、番茄[22-23]、小麥[24-25]、青椒[26]等的檢測任務(wù)中均取得了較好的效果。然而，不同于其他物料對象，浙貝母等級較多，且特級、一級和二級的外觀特征相近，因此實現(xiàn)對浙貝母的精準(zhǔn)檢測具有一定難度。目前，還鮮有研究將目標(biāo)檢測算法應(yīng)用于浙貝母的外觀品質(zhì)及直徑的檢測與分級中。

本研究將機(jī)器學(xué)習(xí)應(yīng)用于浙貝母的無損檢測中，創(chuàng)建浙貝母數(shù)據(jù)集，并在該數(shù)據(jù)集上訓(xùn)練、測試若干統(tǒng)計學(xué)習(xí)算法和基于深度學(xué)習(xí)的目標(biāo)檢測算法。為改善檢測效果，本研究根據(jù)浙貝母數(shù)據(jù)集的特點，在YOLO-X主干特征提取網(wǎng)絡(luò)的末端添加空洞卷積（dilated convolution）結(jié)構(gòu)，并通過可視化中間激活的方式，從直觀的角度對比、分析改進(jìn)前后模型學(xué)習(xí)特征的差異，以實現(xiàn)浙貝母的無損檢測，也為后續(xù)在線檢測平臺的搭建提供科學(xué)依據(jù)。

1 材料與方法

1.1 試驗樣品

本研究所用浙貝母產(chǎn)自浙江省金華市磐安縣（28°57′05″—29°01′58″ N，120°28′05″—120°33′40″ E；海拔319 m）。浙貝母表面呈類白色或淡黃色，形狀呈扁圓形，其穩(wěn)定的擺放姿態(tài)有2 種，分別為正面（鱗葉開合一端）朝上和背面（鱗葉帶梗一端）朝上（圖1A1～A6）。特級、一級、二級浙貝母在形狀、顏色、紋理等特征方面差異較小，主要以直徑劃分，直徑越大，等級越高（圖1A1～A3）；霉變、蟲蛀的浙貝母形狀與正常浙貝母類似，但前者因微生物在其內(nèi)部或表面大量繁殖，導(dǎo)致其外觀呈深灰褐色（圖1A4），后者表面有多個蟲孔且常伴隨絮狀物，其外觀顏色偏淡黃色（圖1A5）；破碎的浙貝母形狀不規(guī)則、特征多變，很難利用固定的模型或閾值來進(jìn)行表征（圖1A6）。

圖1 數(shù)據(jù)集部分圖像（A1～A6）及圖像采集設(shè)備（B）Fig.1 Partial images of data sets (A1-A6) and image acquisition equipments (B)

1.2 圖像采集

為模擬浙貝母實時在線檢測場景，本研究采用DigiEye System-700mm Cube 數(shù)字電子眼系統(tǒng)（英國VeriVide 公司）作為圖像采集設(shè)備，其硬件由D7000 單反相機(jī)（日本Nikon 公司）、帶有反光涂層的黑箱、條形光源和盛放樣本的底板組成（圖1B）。為使圖像最大程度地還原浙貝母真實的顏色、形狀以及紋理等特征，減少物料表面由光源所造成的高光區(qū)域，經(jīng)反復(fù)試驗，本試驗光源采用漫反射光照模式，拍攝距離為45 cm。基于上述條件，對2 種擺放姿態(tài)下的6 類浙貝母各拍攝200 張圖像，共計拍攝2 400 張單目標(biāo)圖像，部分圖像如圖1A1～A6所示。為豐富數(shù)據(jù)集種類，提高目標(biāo)檢測模型的泛化能力，本研究還拍攝了400 張多目標(biāo)圖像。為平衡不同級別浙貝母的數(shù)量，多目標(biāo)圖像中各類不同擺放姿態(tài)的浙貝母數(shù)量相同，且呈單列化分布。

1.3 研究方法

本研究總體思路如圖2所示。首先準(zhǔn)備浙貝母數(shù)據(jù)集，用于訓(xùn)練和測試不同的統(tǒng)計學(xué)習(xí)算法和目標(biāo)檢測算法；然后在檢測效果最好的預(yù)選算法的基礎(chǔ)上，針對浙貝母數(shù)據(jù)集的特點對算法進(jìn)行相應(yīng)的改進(jìn)與優(yōu)化，以改善模型的檢測效果。

1.3.1 數(shù)據(jù)集制作

目標(biāo)檢測算法有固定的輸入尺寸，一般為32的倍數(shù)，當(dāng)輸入圖片不滿足要求時，會調(diào)整其大小，以滿足尺寸要求。為適應(yīng)神經(jīng)網(wǎng)絡(luò)的輸入，將圖像從4 928×3 264剪裁成3 200×3 200，以便目標(biāo)檢測算法對其進(jìn)行等比放縮，避免對圖像中的感興趣區(qū)（region of interest, ROI）造成拉伸、扭曲，從而使圖像保留原來的形狀、尺寸等特征。利用Labelimg軟件對圖像進(jìn)行標(biāo)注，并將帶注釋的標(biāo)簽文件以擴(kuò)展名為xml 的格式保存。圖像數(shù)據(jù)集共包含“superfine”“l(fā)evel one”“l(fā)evel two”“moth-eaten”“mildewed”和“broken”6類標(biāo)簽，分別對應(yīng)特級、一級、二級、蟲蛀、霉變、破碎浙貝母，每類浙貝母均有800 個標(biāo)簽，因此浙貝母圖像數(shù)據(jù)集共有4 800個標(biāo)簽。該數(shù)據(jù)集的ROI占比較大，但圖像數(shù)量較少（共2 800個），因此訓(xùn)練集、驗證集、測試集按6∶2∶2 的比例劃分，即訓(xùn)練集1 680個，驗證集560個，測試集560個。

基于浙貝母圖像，本研究提取了浙貝母形態(tài)（M）、顏色（C）和紋理（T）特征，建立了浙貝母特征數(shù)據(jù)集F=[M,C,T]=[M1,M2,M3,M4,M5,M6,M7,M8,M9,C1,C2,C3,C4,C5,C6,C7,C8,C9,C10,C11,C12,C13,C14,C15,C16,C17,C18,T1,T2,T3,T4,T5,T6,T7]，其中：M1～M9代表形態(tài)特征，包括周長、面積、長軸、短軸、直徑、矩形度、圓形度、緊湊度和細(xì)長度；C1～C18代表顏色特征，包括圖像在RGB（紅、綠、藍(lán)）、HSV（色調(diào)、飽和度、亮度）顏色空間下各通道的一、二、三階矩；T1～T7代表紋理特征，包括基于灰度共生矩陣提取的能量、對比度、相關(guān)度、熵、同質(zhì)性、均值和標(biāo)準(zhǔn)差。因此，特征數(shù)據(jù)集F 的屬性空間為34 維，樣本量為2 400個。由于樣本較為稀疏，本研究使用Origin 9.1軟件對浙貝母特征數(shù)據(jù)集進(jìn)行降維處理。降維后的屬性空間為9維，信息保有量為原來的96.56%。

1.3.2 預(yù)選算法

本研究利用決策樹（decision tree, DT）和支持向量機(jī)（support vector machine, SVM）對降維后的浙貝母特征數(shù)據(jù)集進(jìn)行建模。DT是一種監(jiān)督學(xué)習(xí)方式的分類和回歸模型，利用數(shù)據(jù)特征對數(shù)據(jù)進(jìn)行一系列條件判定（if or else）與劃分，以提高劃分后數(shù)據(jù)子集的信息純度。DT通過訓(xùn)練集確定劃分屬性及其在決策樹中的位置，從而產(chǎn)生一棵處理未見示例能力強(qiáng)的決策樹。SVM 是一種監(jiān)督學(xué)習(xí)方式的分類模型，在樣本空間中尋找一個超平面wTx+b=0，使其最近的正負(fù)樣本（支持向量）到該超平面的距離（間隔）最大，從而區(qū)分不同類別的樣本。其中：x為樣本特征向量，w=(w1,w2,...,wd)為超平面法向量，T為矩陣轉(zhuǎn)置，b為位移項。

本研究利用浙貝母圖像數(shù)據(jù)集訓(xùn)練和測試了YOLO 系列（YOLO-V3、YOLO-V4、YOLO-V5 和YOLO-X）和Faster R-CNN 目標(biāo)檢測算法。其中，F(xiàn)aster R-CNN會在圖像中生成大量可能包含待檢測物體的建議區(qū)域（region proposal, RP），然后通過分類器判別每個RP內(nèi)是否包含待檢測物體，并對物體及其位置進(jìn)行分類和回歸，從而得到待檢測物體的邊界框（bounding box），再過濾掉置信度不高或重疊的建議區(qū)域，進(jìn)而得到檢測結(jié)果。YOLO 系列為實現(xiàn)更快的檢測速度，采用預(yù)定義建議區(qū)域的方法，將生成候選區(qū)和檢測目標(biāo)合二為一，直接在輸出層回歸建議區(qū)域的位置和所屬類別，并通過將建議區(qū)域劃分成不同尺寸網(wǎng)格的方式，檢測不同尺度的目標(biāo)。YOLO 系列含有主干特征提取網(wǎng)絡(luò)（backbone）、特征金字塔網(wǎng)絡(luò)（feature pyramid network, FPN）、預(yù)測結(jié)構(gòu)（YOLO-head）3 個模塊。表1 為本試驗所選YOLO系列主干特征提取網(wǎng)絡(luò)的特點總結(jié)。利用主干特征提取網(wǎng)絡(luò)提取圖片特征，并在特定的位置將其輸入到FPN 中，以進(jìn)行進(jìn)一步的特征提取與融合，其輸出張量的通道數(shù)（D）按照公式（1）計算：

表1 YOLO系列的主干特征提取網(wǎng)絡(luò)特點Table 1 Characteristics of backbone feature extraction network of YOLO series

D=s×n×(p+xoffset+yoffset+h+w+1).（1）

式中：s為建議區(qū)域被劃分成網(wǎng)格的數(shù)量；n為每個網(wǎng)格中存在的邊界框數(shù)量；p為屬于某一類標(biāo)簽的置信度；xoffset、yoffset為網(wǎng)格中心點調(diào)整參數(shù)；h、w分別為網(wǎng)格高和寬的調(diào)整參數(shù)。將FPN 的輸出結(jié)果輸入YOLO-head 模塊，以整合特征并調(diào)整通道數(shù)，最終獲得預(yù)測結(jié)果。

1.3.3 訓(xùn)練設(shè)備及策略

試驗采用相同配置的計算機(jī)來訓(xùn)練上述預(yù)選算法。計算機(jī)的操作系統(tǒng)為Windows 2019；中央處理器（central processing unit, CPU）型號為英特爾9900k；圖形處理器（graphics processing unit, GPU）型號為NVIDIA Tesla V100-SXM2（32 GB DDR4 RAM）；通用統(tǒng)一計算設(shè)備架構(gòu)（compute unified device architecture, CUDA）的版本為11.2，CUDA 深層神經(jīng)網(wǎng)絡(luò)庫（CUDA deep neural network library,cuDNN）的版本是8.1.1；編程語言采用Python 3.7；深度學(xué)習(xí)框架采用PyTorch 1.7。

DT 主要有信息增益、信息增益率和基尼指數(shù)3種選擇最優(yōu)劃分屬性的方法，其代表算法分別為迭代二叉樹3 代（iterative dichotomiser 3, ID3）、C4.5 和分類回歸樹（classification and regression tree, CART），CART可處理分類和回歸任務(wù)。由于浙貝母特征數(shù)據(jù)集的屬性取值為連續(xù)型數(shù)值，因此本研究采用CART決策樹方法進(jìn)行試驗，并使用基尼指數(shù)來選擇劃分屬性，使其生成葉子節(jié)點較小的樹。為避免過擬合，本研究對決策樹進(jìn)行剪枝。經(jīng)前期試驗發(fā)現(xiàn)，當(dāng)決策樹的深度增加時，過擬合現(xiàn)象就會更嚴(yán)重，其深度為5 時擬合狀態(tài)最佳。利用SPSS PRO 軟件進(jìn)行模型訓(xùn)練。核函數(shù)的選擇是SVM性能的關(guān)鍵，本研究基于浙貝母特征數(shù)據(jù)集，訓(xùn)練并測試了不同核函數(shù)以及不同多分類融合策略的模型。

深度學(xué)習(xí)采取微調(diào)訓(xùn)練策略，即將視覺目標(biāo)分類（visual object class, VOC）數(shù)據(jù)集或上下文中常見對象（common objects in context, COCO）數(shù)據(jù)集中預(yù)訓(xùn)練好的模型權(quán)重作為預(yù)選算法的初始權(quán)重，并在浙貝母訓(xùn)練集上進(jìn)行遷移訓(xùn)練。理想的模型是其訓(xùn)練損失曲線不再有大幅波動或剛好介于欠擬合與過擬合之間，為找到該界限，經(jīng)多次試驗發(fā)現(xiàn)，當(dāng)訓(xùn)練總輪次達(dá)到200 時，模型的訓(xùn)練損失曲線不再有大幅波動，趨向平緩，說明此時模型接近收斂或已收斂。為優(yōu)化訓(xùn)練策略，經(jīng)多次試驗發(fā)現(xiàn)，將凍結(jié)訓(xùn)練輪次設(shè)為50，解凍訓(xùn)練輪次設(shè)為150，學(xué)習(xí)率設(shè)為0.001，凍結(jié)批大小設(shè)為8，非凍結(jié)批大小設(shè)為4 時，訓(xùn)練損失曲線的下降速度最快。為找出訓(xùn)練所得的最優(yōu)模型，本試驗保存了每輪次訓(xùn)練所得模型的權(quán)重文件，待訓(xùn)練輪次滿200后，從中挑選出訓(xùn)練損失函數(shù)值最小的模型作為對應(yīng)算法的最終訓(xùn)練所得模型。

1.3.4 基于YOLO-X 的改進(jìn)算法

前期預(yù)試驗發(fā)現(xiàn)，目標(biāo)檢測模型對特級、一級、二級浙貝母的檢測能力較弱，推測圖像集中的ROI較大，導(dǎo)致目標(biāo)檢測模型對浙貝母的尺度特征不敏感。

目標(biāo)檢測模型對尺度特征的敏感度與感受野的大小有關(guān)，通常可通過調(diào)整網(wǎng)絡(luò)深度來控制。一般而言，網(wǎng)絡(luò)層數(shù)越深，感受野越大，目標(biāo)檢測模型的特征提取能力越強(qiáng)，檢測效果就越好。但網(wǎng)絡(luò)層數(shù)達(dá)到一定限度后，隨著網(wǎng)絡(luò)層數(shù)的增加，模型的錯誤率也會增加，信息丟失會更加嚴(yán)重；同時，網(wǎng)絡(luò)層數(shù)加深可能會導(dǎo)致梯度消失和色散問題，從而影響模型的檢測精度。此外，在訓(xùn)練過程中，當(dāng)模型對特征圖進(jìn)行下采樣時，也會丟失一些小目標(biāo)特征信息，導(dǎo)致檢測精度下降。空洞卷積是針對圖像語義分割問題中因下采樣導(dǎo)致圖像分辨率降低、信息丟失而提出的一種卷積方法，能夠在不增加卷積核數(shù)量或大小的條件下，提供更大的感受野，使之輸出更大范圍的信息（long-ranged information），也可避免因進(jìn)行池化（pooling）而導(dǎo)致小目標(biāo)信息丟失的情況。感受野大小按照公式（2）～（3）計算，帶填充的空洞卷積輸出圖片的高和寬按照公式（4）～（5）計算。

式中：F1為正常空洞卷積的感受野大小；F2為帶填充的空洞卷積的感受野大小；r為空洞率，其值越大，表示模型的感受野越大；k為卷積核大小；p為邊緣填充值；Hin（Hout）和Win（Wout）分別為輸入（輸出）圖片的高和寬；s為步距。

預(yù)選算法中YOLO-X的檢測效果較好，因此本研究選擇在YOLO-X主干特征提取網(wǎng)絡(luò)的末端（主干特征提取網(wǎng)絡(luò)輸出層Dark5 處）添加一層空洞卷積結(jié)構(gòu)（圖3A）。為使所添加的空洞卷積結(jié)構(gòu)與原模型相應(yīng)位置的輸入、輸出張量尺寸相匹配，本研究選擇帶填充的空洞卷積作為嵌入結(jié)構(gòu)。如圖3B 所示，原Dark5 模塊處輸出張量尺寸為20×20×1 024，在經(jīng)過空洞卷積處理后，根據(jù)公式（1）、（3）～（5）計算，其張量尺寸仍為20×20×1 024，與FPN對應(yīng)接收端的張量尺寸保持一致，以便后續(xù)特征融合與重用。為探究最佳空洞率，本研究測試了空洞率為2、3、4、5、6時的空洞卷積結(jié)構(gòu)。改進(jìn)后的主干特征提取網(wǎng)絡(luò)命名為CSPDarkNet53-DC，對應(yīng)的目標(biāo)檢測算法命名為YOLOX-DC（圖3）。

圖3 YOLOX--DC結(jié)構(gòu)（A）及其主干特征提取網(wǎng)絡(luò)推斷流程（B）示意圖Fig.3 Schematic diagrams of YOLOX-DC structure (A) and its backbone feature extraction network inference process (B)

1.3.5 測試結(jié)果評價指標(biāo)

對于統(tǒng)計學(xué)習(xí)模型，采用精確率（precision,P）、召回率（recall,R）、F1和準(zhǔn)確率（accuracy,A）作為評價指標(biāo)；對于目標(biāo)檢測模型，采用平均精確率（average precision, AP）、平均精確率均值（mean average precision, mAP）、F1和 每 秒 傳 輸 幀 數(shù)（frames per second, FPS）作為評價指標(biāo)[27]。試驗根據(jù)預(yù)測結(jié)果對正負(fù)例（正負(fù)樣本）劃分的正確性將所有樣本劃分為4 種類型，分別為真正例（true positive,TP）、真負(fù)例（true negative, TN）、假正例（false positive, FP）、假負(fù)例（false negative,FN）。其中，TP代表被正確分類的正樣本，即某類浙貝母被正確分類的數(shù)量；TN代表被正確分類的負(fù)樣本，即其余類別浙貝母被正確分類的數(shù)量；FN代表被錯誤分類的正樣本，即某類浙貝母被錯誤分類的數(shù)量；FP代表被錯誤分類的負(fù)樣本，即其余類別浙貝母被錯誤分類的數(shù)量。

利用上述4類數(shù)據(jù)對P、R、A進(jìn)行定義。P的具體含義為在預(yù)測結(jié)果是正樣本的所有樣本中，模型預(yù)測正確的比例。R的具體含義為在真實結(jié)果是正樣本的所有樣本中，模型預(yù)測正確的比例。A的具體含義為在總樣本中，模型預(yù)測正確的比例。P、R、A分別按照公式（6）～（8）計算。

F1為P和R的加權(quán)調(diào)和平均數(shù)，綜合考慮R和P，F(xiàn)1按照公式（9）計算。

將所有樣本按其分類的置信度進(jìn)行排序，并計算每個樣本所對應(yīng)的置信度作為正、負(fù)樣本劃分閾值中的P和R，對不同置信度下的P和R作圖，得到精確率-召回率（precision-recall,P-R）曲線，P-R曲線與坐標(biāo)軸所圍的面積為AP，且AP 按照公式（10）計算。

mAP 為所有類別AP 的平均值，且mAP 按照公式（11）計算。

式中，c、C為樣本類別數(shù)量。

FPS 用來反映模型處理圖像的速度，且FPS 按照公式（12）計算。

式中，N和Tn分別表示模型在一段時間內(nèi)處理圖像的數(shù)量以及處理該幀數(shù)圖像所用的時間。

2 結(jié)果與討論

2.1 預(yù)選算法測試結(jié)果

試驗拍攝了2 800張浙貝母圖像作為原始數(shù)據(jù)集，并基于該數(shù)據(jù)集訓(xùn)練并測試DT、SVM、YOLOV3、YOLO-V4、YOLO-V5、YOLO-X 和Faster RCNN算法。以P、R、F1、A、AP、mAP和FPS作為模型的評價指標(biāo)。

DT 和SVM 對破碎浙貝母的分類能力普遍較弱，但對其余類別浙貝母的分類更為準(zhǔn)確。推測是由于破碎的浙貝母形狀不規(guī)則、特征多變，因此很難利用固定的特征或閾值對其進(jìn)行表征。此結(jié)果也驗證了傳統(tǒng)機(jī)器學(xué)習(xí)的局限性，即當(dāng)原有數(shù)據(jù)的規(guī)律不明顯以及研究人員無法充分提取有效特征時，數(shù)據(jù)便無法被有效利用，最終導(dǎo)致模型分類效果不佳。

對于目標(biāo)檢測算法，訓(xùn)練過程中特級、一級和二級浙貝母的訓(xùn)練收斂速度慢于蟲蛀、霉變、破碎浙貝母，且所得模型對僅直徑不同的特級、一級、二級浙貝母的檢測能力普遍較弱，其AP 和F1均低于蟲蛀、破碎、霉變浙貝母的對應(yīng)指標(biāo)（表2）。其中，YOLO-X對特級、一級、二級浙貝母的整體檢測效果優(yōu)于其他算法，其AP分別為98.39%、72.22%、96.59%，F(xiàn)1分別為0.90、0.63、0.84，但仍不及該模型對蟲蛀、破碎、霉變浙貝母的檢測效果。推測是因為蟲蛀、破碎、霉變浙貝母顏色、形狀和紋理等特征的差異可被目標(biāo)檢測算法有效識別，從而進(jìn)行區(qū)分，而特級、一級、二級浙貝母在上述特征方面相似，所以只能以直徑尺度為特征進(jìn)行區(qū)分。此外，本研究的圖像數(shù)據(jù)集中的ROI占比較大，模型的感受野相對較小，導(dǎo)致其對直徑尺度特征不敏感，并且一級浙貝母的直徑剛好介于特級浙貝母和二級浙貝母之間，所以模型容易將一級浙貝母誤判為特級浙貝母或二級浙貝母，最終導(dǎo)致對一級浙貝母的檢測效果不佳。這也說明在農(nóng)產(chǎn)品檢測領(lǐng)域，此類算法可能更適合檢測以形狀、顏色、紋理等為差異特征的產(chǎn)品。在檢測速度方面，各目標(biāo)檢測算法的FPS 均能滿足實際檢測要求。

表2 預(yù)選算法訓(xùn)練所得模型在浙貝母測試集上的測試結(jié)果Table 2 Test results of models trained by preselective algorithms on the test set of F. thunbergii

2.2 YOLOX-DC 測試結(jié)果

根據(jù)預(yù)選算法的測試結(jié)果推測，如果要改善統(tǒng)計學(xué)習(xí)模型對破碎浙貝母的檢測效果，就需要人為提取更多形態(tài)、顏色和紋理方面的特征；如果要改善目標(biāo)檢測模型對特級、一級、二級浙貝母的檢測效果，則需要加強(qiáng)算法對尺度特征的敏感度。由于預(yù)選算法中YOLO-X所得模型的效果最佳，因此后續(xù)研究以YOLO-X為基礎(chǔ)進(jìn)行改進(jìn)（改進(jìn)后的算法命名為YOLOX-DC）。

目標(biāo)檢測模型對尺度特征的敏感度與感受野的大小有關(guān)，而空洞卷積可在不增加卷積核數(shù)量或大小的情況下提供更大的感受野，使之輸出更大范圍的信息，因此，本研究在YOLO-X 主干特征提取網(wǎng)絡(luò)的末端分別添加了一層空洞率為2、3、4、5、6的帶有填充的空洞卷積結(jié)構(gòu)。結(jié)果（表3）表明：空洞率為4時，模型的檢測效果最佳，其mAP達(dá)到98.95%，特級、一級、二級浙貝母的AP分別為99.97%、98.33%、98.47%，F(xiàn)1分別為0.99、0.92、0.94。與原模型相比，空洞率為4的改進(jìn)后模型（以下簡稱“改進(jìn)后模型”）的mAP 提高了4.95 個百分點，一級浙貝母的AP 提高了26.11個百分點，F(xiàn)1提高了0.29。原模型與改進(jìn)后模型的檢測效果如圖4～5所示：前者對圖像的誤檢或漏檢多發(fā)生在特級、一級、二級浙貝母上；后者對各類別浙貝母的判別均正確，且置信度較高，預(yù)測框與浙貝母緊密貼合，呈現(xiàn)外接矩形狀態(tài)，說明模型對其位置的回歸也相對更為準(zhǔn)確。

表3 不同空洞率的YOLOX-DC訓(xùn)練所得模型在浙貝母測試集上的測試結(jié)果Table 3 Test results of models trained by YOLOX-DC with different dilated rates on the test set

圖4 YOLO-X的預(yù)測效果Fig.4 Prediction results by YOLO-X

圖5 YOLOX-DC（空洞率為4）的預(yù)測效果Fig.5 Prediction results by YOLOX-DC (dilated rate=4)

2.3 可視化中間激活

相較于手動提取特征的統(tǒng)計學(xué)習(xí)，深度學(xué)習(xí)可以自動提取更為抽象的特征。為分析原模型與改進(jìn)后模型所學(xué)特征的差異，本研究通過可視化中間激活的方式加以探究。所謂可視化中間激活，即將網(wǎng)絡(luò)中各卷積層和池化層等輸出的特征圖進(jìn)行可視化展示。由于特征圖數(shù)量龐大，本試驗基于浙貝母單目標(biāo)和多目標(biāo)圖像，將YOLO-X 與YOLOX-DC 模型每層輸出的特征圖間隔5 張進(jìn)行可視化，并選擇2 個模型的有效主干特征提取網(wǎng)絡(luò)（Dark3、Dark4、Dark5）對應(yīng)位置處的中間激活進(jìn)行對比。

如圖6～7所示：隨著神經(jīng)網(wǎng)絡(luò)層數(shù)的加深以及對輸入圖片的重復(fù)下采樣，其中間激活的像素值越來越小，圖像愈發(fā)模糊、抽象，但YOLOX-DC 模型的中間激活較YOLO-X 更加清晰，尤其在深度為Dark5 時，YOLO-X 輸出的中間激活基本失真，而YOLOX-DC 輸出的中間激活仍保有其外形輪廓。此外，對于單目標(biāo)圖像，YOLOX-DC 中間激活的ROI 普遍比YOLO-X 大（圖6）；對于多目標(biāo)圖像，YOLOX-DC 中間激活的ROI 外層普遍有一圈清晰可見的包絡(luò)線（圖7），說明改進(jìn)后模型在對圖像進(jìn)行前向推斷的過程中，與浙貝母之間保持著較強(qiáng)的聯(lián)系，即改進(jìn)后模型將多目標(biāo)看作單一整體，避免了“盲人摸象”的情況，這也是感受野擴(kuò)大的直觀體現(xiàn)。以上可視化中間激活的結(jié)果直觀地證明，向模型的主干特征提取網(wǎng)絡(luò)嵌入空洞卷積的方式可以提高其對尺度特征的敏感度。受此啟發(fā)，對于其他數(shù)據(jù)集而言，YOLOX-DC 也可根據(jù)其ROI 的不同設(shè)置不同的空洞率，以調(diào)整感受野大小，從而適應(yīng)該數(shù)據(jù)集的尺度特征，進(jìn)而更好地實現(xiàn)對主要以尺度為特征產(chǎn)品的檢測。

圖6 YOLO-X和YOLOX-DC基于浙貝母單目標(biāo)圖像對應(yīng)位置的中間激活Fig.6 Intermediate activation based on the corresponding positions of single object images of F. thunbergii by YOLO-X and YOLOX-DC

3 結(jié)論

本研究將機(jī)器視覺和機(jī)器學(xué)習(xí)技術(shù)應(yīng)用于浙貝母外觀品質(zhì)及直徑的檢測與區(qū)分中。首先對比了統(tǒng)計學(xué)習(xí)和深度學(xué)習(xí)算法對浙貝母分級的效果，結(jié)果顯示YOLO-X所得模型的檢測效果較好；其次針對浙貝母的特點，向YOLO-X主干特征提取網(wǎng)絡(luò)的末端嵌入一層空洞率為4的帶填充的空洞卷積結(jié)構(gòu)，在不增加參數(shù)量、計算量或?qū)υＰ瓦M(jìn)行大規(guī)模改動的情況下，促進(jìn)了改進(jìn)位點處的特征融合與重用，擴(kuò)大了模型的感受野，提高了模型對尺度特征的敏感度，從而更好地適應(yīng)試驗創(chuàng)建的浙貝母數(shù)據(jù)集。與其他目標(biāo)檢測算法相比，改進(jìn)后算法所得模型（空洞率為4）針對浙貝母圖像數(shù)據(jù)集的檢測效果更佳，其特級、一級、二級、蟲蛀、霉變、破碎浙貝母的AP分別為99.97%、98.33%、98.47%、98.71%、99.73%、98.85%，F(xiàn)1分別為0.99、0.92、0.94、0.97、0.99、0.97，mAP 為99.01%，F(xiàn)PS 為29.13。本研究還通過可視化中間激活的方式，直觀地對比了改進(jìn)前后模型所學(xué)特征的差異，從而對所作改進(jìn)加以解釋與分析。本研究為浙貝母無損檢測平臺的搭建提供了科學(xué)依據(jù)，有望推動浙貝母市場的發(fā)展。同時，本研究提出的方法還可為其他同類產(chǎn)品的無損檢測提供思路。