王 濤,楊霄霞,高宜生,葛浙東,劉曉平,周玉成
(1.山東建筑大學(xué)信息與電氣工程學(xué)院,山東 濟(jì)南 250101;2.山東建筑大學(xué)建筑城規(guī)學(xué)院)
木材辨識技術(shù)廣泛應(yīng)用于材種鑒定、木質(zhì)家具檢驗(yàn)、木結(jié)構(gòu)古建筑保護(hù)領(lǐng)域[1]。傳統(tǒng)的木材辨識方法主要基于木材微觀結(jié)構(gòu)特征(顯微結(jié)構(gòu)參數(shù))和宏觀結(jié)構(gòu)特征(顏色、氣味、紋理等)確定木材所屬科、屬、種。宏觀特征識別木材容易取樣和觀察,但準(zhǔn)確率較低[2];微觀解剖特征辨識木材準(zhǔn)確性較高,但制作木材切片的周期較長,對檢測人員的專業(yè)水平要求較高。
圖像分割技術(shù)或傳統(tǒng)的機(jī)器學(xué)習(xí)對木材特征提取困難且復(fù)雜耗時,深度學(xué)習(xí)能自主學(xué)習(xí)木材特征,更準(zhǔn)確、高效地實(shí)現(xiàn)木材檢測[3-4]。近年來,計算機(jī)視覺技術(shù)應(yīng)用到木材辨識中,如木材檢測,效率高且成本低[5-6]。劉英等[7]將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于木材缺陷檢測中,采用非下采樣剪切波變換預(yù)處理和線性迭代聚類方法對木材缺陷進(jìn)行分類,辨識準(zhǔn)確率為98.6%。劉嘉政[8]等提出的13 層樹種圖像識別模型,對訓(xùn)練集和測試集的識別正確率分別為96.78%、91.89%,在未參與訓(xùn)練的驗(yàn)證集上取得了96%的平均準(zhǔn)確率。KURDTHONGMEE[9]采用SSD MobileNet網(wǎng)絡(luò)自動檢測橡膠樹木材橫斷面圖像中的木材髓心,正確率為87.7%,性能優(yōu)于YOLOv3 目標(biāo)檢測網(wǎng)絡(luò)。HE 等[10]使用激光掃描儀從600 塊紅松和樟木中收集木材的節(jié)子、裂紋和霉斑缺陷圖像數(shù)據(jù)集,訓(xùn)練并驗(yàn)證改進(jìn)的DCNN 模型識別木材缺陷準(zhǔn)確率為99.13%,檢測用時1.12s。HU 等[11]用已標(biāo)記的木材缺陷、木材紋理和木材類別的四個木材圖像數(shù)據(jù)集訓(xùn)練ResNet18 深度學(xué)習(xí)網(wǎng)絡(luò)模型,實(shí)現(xiàn)木材缺陷識別與木材分級,準(zhǔn)確率最高達(dá)到99.5%。本文采用CT 技術(shù)采集多張闊葉材微觀圖像,基于YOLOv3 和SSD 對四種闊葉材導(dǎo)管圖像進(jìn)行分類識別,旨為闊葉材的材種辨識提供一種新的方法和依據(jù)。
本文闊葉材樣本分別為大果紫檀(Pterocarpusmacrocarpus)、刺猬紫檀(Pterocarpus erinaceus)、闊葉黃檀(Dalbergia latifolia)和絨毛黃檀(Dalbergia frutescens var.tomentosa),四種闊葉材分別取自緬甸、非洲、印尼、巴西。樣本規(guī)格為3mm×3mm×25mm,闊葉材CT 微觀圖像尺寸為512px×512px,CT 圖像的分辨率為2μm,每種闊葉材1000 張微觀圖像,其中800 張圖像作為訓(xùn)練集,200張圖像作為測試集。
選擇闊葉材微觀圖像有效區(qū)域,根據(jù)每個材種管孔的分布和排列特點(diǎn),進(jìn)一步選擇闊葉材微觀特征,如表1 中紅、綠色矩形框所示。用LabelImg 軟件標(biāo)記特征后,根據(jù)類別賦予拉丁文名標(biāo)簽,生成的xml文件記錄微觀圖像長、寬、高等信息,再將合并的四種闊葉材訓(xùn)練集xml 文件轉(zhuǎn)換成VOC 數(shù)據(jù)集,用于YOLOv3和SSD訓(xùn)練網(wǎng)絡(luò)。
表1 四種闊葉材橫切面微觀結(jié)構(gòu)
本文使用德國布魯克公司生產(chǎn)的SkyScan1272 型顯微CT采集闊葉材微觀圖像,服務(wù)器安裝Windows10操作系統(tǒng),使用NVIDIA Quadro RTX 8000顯卡,顯存48GB,基于Anaconda 開發(fā)環(huán)境建立TensorFlow 深度學(xué)習(xí)框架,并采用Python 開發(fā)語言編程,PyCharm編譯器調(diào)試。
YOLOv3可分為主干特征提取網(wǎng)絡(luò)和預(yù)卷積運(yùn)算兩部分。YOLOv3同時具備高檢測速率和高檢測精度的優(yōu)點(diǎn),通過兩次上采樣完成多尺度檢測,降低顆粒度,改善檢測器對于小物體的檢測效果[12]。
YOLOv3 選擇Darknet53 作為主干特征提取網(wǎng)絡(luò)[13],具體如圖1 所示。主干特征提取網(wǎng)絡(luò)的主要功能是提取目標(biāo)物體的特征,其實(shí)也就是不斷卷積的過程。然后對輸入的圖片不斷進(jìn)行下采樣的操作,將輸入圖片的高和寬不斷壓縮,將通道數(shù)不斷擴(kuò)張,從而獲得一堆特征層(可表示輸入進(jìn)來的圖片的特征)。并且使用殘差網(wǎng)絡(luò),殘差網(wǎng)絡(luò)容易優(yōu)化,能夠采用增加深度的方法提高準(zhǔn)確率。本文內(nèi)部的殘差塊使用了跳躍連接,緩解深度神經(jīng)網(wǎng)絡(luò)中由深度增加導(dǎo)致的梯度消失問題。
圖1 YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)
然后,選取最后三個特征層,輸入到第二部分的預(yù)測卷操作,三個特征層的尺寸分別為(52,52,256)、(26,26,512)、(13,13,1024)。本文利用上述三個特征層構(gòu)建FPN 層,具體方式為將13×13×1024的特征層進(jìn)行五次卷積運(yùn)算,將得到的結(jié)果分別進(jìn)行兩種處理,一種是在二次卷積后進(jìn)行分類預(yù)測和回歸預(yù)測,另一種是在進(jìn)行上采樣后將特征層轉(zhuǎn)換為26×26×256,然后與26×26×512 的特征層堆疊對比,其過程與13×13×1024 特征層的卷積運(yùn)算方法相同。網(wǎng)絡(luò)結(jié)構(gòu)簡單,YOLO網(wǎng)絡(luò)的識別速度快,又因?yàn)闄z測是以整個圖像作為輸入,內(nèi)部數(shù)據(jù)的聯(lián)系相對緊密,這樣就可以降低對背景的錯誤識別概率,同時網(wǎng)絡(luò)的適應(yīng)性較好,在測試集與訓(xùn)練集內(nèi)的數(shù)據(jù)不完全相同時依然有較好的識別效果。
SSD[14]是一種One-stage目標(biāo)檢測算法,利用CNN提取特征后,采用不同尺度和長寬比的函數(shù),對圖像不同位置進(jìn)行均勻密集抽樣,同時完成目標(biāo)檢測和分類。
本文將VGG16的FC6和FC7層轉(zhuǎn)化為卷積層,去掉所有的Dropout 層和FC8 層,增加Conv6、Conv7、Conv8 和Conv9,構(gòu)建的SSD框架是對VGG 網(wǎng)絡(luò)的修改,如圖2所示。
圖2 改進(jìn)的VGG網(wǎng)絡(luò)
四種闊葉材圖像的辨識正確率指標(biāo)分別為精確度(Precision)、召回率(Recall)、平均精度(Average Precision,AP)和 平均精度均值(mean Average Precision,mAP)。
TP(True Positive)——正類判定為正類的數(shù)量;
FP(False Positive)——負(fù)類判定為正類的數(shù)量;
FN(False Negative)——正類判定為負(fù)類的數(shù)量;
Precision——樣本中被正確判定為正例占預(yù)測為正例的比例;
Recall——樣本中被正確判定為正例占實(shí)際為正例的比例。
深度學(xué)習(xí)網(wǎng)絡(luò)框架,通常采用mAP作為精度檢測的指標(biāo),即先計算每一種闊葉材的平均精度,然后再計算四種闊葉材平均精度的均值。
YOLOv3 框架和SSD 框架均訓(xùn)練50 次,學(xué)習(xí)率設(shè)為0.0001,其中前者檢測用時為1.185s,后者檢測用時為0.608s。YOLOv3 和SSD 框架訓(xùn)練的損失曲線如圖3 所示,YOLOv3 框架的Loss 值在1.60 附近收斂,SSD框架的Loss 值在0.48 附近收斂,經(jīng)過25 次迭代后,YOLOv3、SSD 的損失函數(shù)曲線都逐漸收斂,并趨于平穩(wěn),驗(yàn)證了數(shù)據(jù)集設(shè)置的合理性。
圖3 各框架訓(xùn)練損失
四種闊葉材微觀結(jié)構(gòu)差異較大,如大果紫檀具有豐富的晶細(xì)胞,刺猬紫檀有單管孔和復(fù)管孔,單、復(fù)管孔較分散,闊葉黃檀具有直徑較小的單管孔,絨毛黃檀同時具有單管孔和復(fù)管孔。采用YOLOv3 和SSD框架,選取收斂后趨于平穩(wěn)的Loss 值識別四種闊葉材材種,評價指標(biāo)如表2 所示。大果紫檀的平均精度在兩種框架中是最高的,可知大果紫檀較其他三種闊葉材微觀結(jié)構(gòu)特征更易識別。相比較YOLOv3 框架,SSD框架對四種闊葉材的召回率較高且能夠從數(shù)據(jù)集中檢索更多的信息。
表2 各框架闊葉材辨識評價指標(biāo)
YOLOv3和SSD框架對四種闊葉材的辨識結(jié)果如表3所示。YOLOv3框架對四種闊葉材辨識的mAP為91.57%,檢測用時為1.185s。SSD 框架對四種闊葉材辨識的mAP 為91.17%,檢測用時為0.608s,兩者mAP數(shù)值相近,YOLOv3 比SSD 框架的mAP 略高,但SSD框架的檢測效率更高。
表3 各框架對四種闊葉材的辨識結(jié)果
闊葉材的管孔尺寸、形態(tài)、分布具有較大差異性,所以本文試驗(yàn)采集四種闊葉材圖像,大樣本可以保證闊葉材辨識的正確率,使YOLOv3 和SSD 框架得到四種闊葉材較好的辨識效果。YOLOv3的辨識結(jié)果得益于殘差網(wǎng)絡(luò)、反卷積和多特征層的思想,更好的提取闊葉材微觀圖像結(jié)構(gòu)特征,而SSD 網(wǎng)絡(luò)結(jié)構(gòu)更加簡單,利用改進(jìn)的VGG 網(wǎng)絡(luò)提取特征,同樣得到優(yōu)秀的結(jié)果。SSD 框架物體分類與預(yù)測框的回歸同時進(jìn)行[15],所以檢測速度快,但其正、負(fù)樣本(背景)極其不均衡,是一種均勻的密集采樣,導(dǎo)致訓(xùn)練困難。
本文選用的YOLOv3 和SSD 框架可實(shí)現(xiàn)四種闊葉材高效、準(zhǔn)確辨識,YOLOv3 框架辨識準(zhǔn)確率更高,而SSD 框架用時更短??傮w而言,SSD 對四種闊葉材做到了更高效自動辨識,可以在保證辨識的正確率前提下能夠更快的處理樣本,提高了闊葉材的識辨識效率。
本文識別準(zhǔn)確率沒有達(dá)到100%,綜合分析與圖像特點(diǎn)有關(guān)。本文只對四種木材樣本進(jìn)行研究,闊葉材種類相對單一,但是每種闊葉材采集的樣本量較大,結(jié)果更具有適應(yīng)性,下一步將從提高樣本的多樣性入手,增加不同闊葉材材種的訓(xùn)練集,從而提高模型的抗干擾和泛化能力,使其更適應(yīng)于更多闊葉材材種的辨識。