基于均勻設(shè)計(jì)的船舶目標(biāo)檢測(cè)深度學(xué)習(xí)模型訓(xùn)練方法

2022-10-13 04:21:34徐慧智宋愛秋武笑宇

科學(xué)技術(shù)與工程 2022年25期

徐慧智，宋愛秋，武笑宇

(東北林業(yè)大學(xué)交通學(xué)院，哈爾濱 150040)

船舶檢測(cè)技術(shù)在海上救助、海上交通組織管理等方面發(fā)揮著重要作用，關(guān)系到運(yùn)行的安全性。但由于監(jiān)測(cè)場(chǎng)景復(fù)雜多變、船舶類型多樣化和視野范圍內(nèi)船舶體積較小等因素，船舶目標(biāo)精準(zhǔn)檢測(cè)存在諸多挑戰(zhàn)。近年來，計(jì)算機(jī)視覺感知技術(shù)以其高可靠性和實(shí)用性成為該領(lǐng)域的研究熱點(diǎn)。

目前，船舶監(jiān)測(cè)數(shù)據(jù)主要來源為合成孔徑雷達(dá)檢測(cè)、衛(wèi)星遙感影像檢測(cè)和視頻監(jiān)控，船舶目標(biāo)檢測(cè)主流方法為圖像處理和深度學(xué)習(xí)。He[1]通過定義被檢測(cè)船舶的旋轉(zhuǎn)角度位姿和比例因子來檢測(cè)不同方向、不同尺寸的船舶，該方法對(duì)多視角觀測(cè)目標(biāo)具有適用性。矯騰章等[2]采用canny算子結(jié)合多特征量判別，對(duì)目標(biāo)船舶進(jìn)行邊緣檢測(cè)，實(shí)現(xiàn)海上多目標(biāo)艦船的檢測(cè)和跟蹤。張春雨等[3]利用激光掃描船舶交通環(huán)境，選用連續(xù)三幀差加速法，實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)自動(dòng)檢測(cè)。周林宏等[4]預(yù)處理攝像頭采集的視頻圖像，進(jìn)行圖像增強(qiáng)和圖像去噪處理后，采用梯度方向直方圖(histogram of gradient，HOG)[5]算法確定船舶輪廓，解決了傳統(tǒng)圖像檢測(cè)方法受復(fù)雜環(huán)境噪聲影響的問題。從當(dāng)前的研究成果來看，傳統(tǒng)圖像處理方法費(fèi)時(shí)耗力，對(duì)經(jīng)驗(yàn)依賴性大，并且魯棒性不強(qiáng)[6]，在檢測(cè)精度以及實(shí)時(shí)性方面表現(xiàn)不如基于深度學(xué)習(xí)的方法。深度學(xué)習(xí)目標(biāo)檢測(cè)領(lǐng)域，周慧等[7]構(gòu)建了特征金字塔結(jié)構(gòu)，通過優(yōu)化多任務(wù)損失函數(shù)，對(duì)定位船舶進(jìn)行細(xì)分類識(shí)別，平均識(shí)別精確率達(dá)到92.67%。Wei等[8]對(duì)遙感艦船圖像進(jìn)行預(yù)處理，在快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(faster regions convolutional neural networks，F(xiàn)aster R-CNN)中引入擴(kuò)展卷積，提出了一種改進(jìn)的船舶檢測(cè)算法，在HRSC2016數(shù)據(jù)集進(jìn)行了驗(yàn)證；姚紅革等[9]通過負(fù)樣本增強(qiáng)學(xué)習(xí)的方法訓(xùn)練模型，針對(duì)復(fù)雜海情實(shí)現(xiàn)小目標(biāo)船舶的高精度識(shí)別，準(zhǔn)確率92.27%。楊浩琪等[10]將視覺注意機(jī)制引入網(wǎng)絡(luò)，采用多級(jí)特征提取和去量化操作，實(shí)現(xiàn)船舶識(shí)別綜合準(zhǔn)確率92.56%。R-CNN、Fster R-CNN、SSD等目標(biāo)識(shí)別算法，增加注意力機(jī)制和改進(jìn)特征提取方式，融合高層次語義信息和物體定位信息，能夠提升深度學(xué)習(xí)的目標(biāo)識(shí)別檢測(cè)精度。多層卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行船舶目標(biāo)檢測(cè)時(shí)，需要通過訓(xùn)練提取對(duì)象特征，訓(xùn)練參數(shù)眾多且存在交叉影響，往往根據(jù)經(jīng)驗(yàn)確定模型訓(xùn)練方案，費(fèi)時(shí)費(fèi)力且預(yù)期檢測(cè)效果難以控制。

為解決船舶目標(biāo)檢測(cè)深度學(xué)習(xí)模型訓(xùn)練困難問題，現(xiàn)提出基于均勻設(shè)計(jì)理念的模型訓(xùn)練方案?？紤]深度學(xué)習(xí)模型超參數(shù)之間的交互影響，設(shè)計(jì)訓(xùn)練和測(cè)試場(chǎng)景、訓(xùn)練和測(cè)試樣本比例、訓(xùn)練輪次、訓(xùn)練算法協(xié)同組合優(yōu)化，降低模型訓(xùn)練的輪次和復(fù)雜度，以提升模型檢測(cè)精度和效度。選取經(jīng)驗(yàn)法訓(xùn)練方案作為對(duì)照，以實(shí)驗(yàn)驗(yàn)證均勻設(shè)計(jì)思路在深度學(xué)習(xí)模型訓(xùn)練上的有效性。解決深度學(xué)習(xí)模型在檢測(cè)精度提升的同時(shí)，深度學(xué)習(xí)網(wǎng)絡(luò)層數(shù)增多，訓(xùn)練時(shí)間過長，消耗計(jì)算能力的問題[11]。

1 YOLO算法及均勻設(shè)計(jì)原理

1.1 YOLO基本原理及框架

YOLO(you only look once)是基于深度學(xué)習(xí)的單階段目標(biāo)檢測(cè)算法，將目標(biāo)檢測(cè)轉(zhuǎn)換為回歸求解，省去選定候選區(qū)域步驟[12]，實(shí)現(xiàn)了端對(duì)端目標(biāo)檢測(cè)，YOLO檢測(cè)速度和精度優(yōu)于Faster-DPM、R-CNN、Fast R-CNN[12]，算法流程如圖1所示。

YOLO將檢測(cè)場(chǎng)景劃分為S×S個(gè)網(wǎng)格，估計(jì)檢測(cè)目標(biāo)具體位置，卷積層提取圖像深度特征信息，全連接層計(jì)算目標(biāo)位置和類別概率值[13]。YOLO算法自從2015年發(fā)布以來，不停更新改進(jìn)，性能和適用性分別如表1和表2所示[14-19]。

圖1 YOLO算法流程Fig.1 YOLO algorithm flow

表1 單階段目標(biāo)檢測(cè)算法YOLO性能指標(biāo)

表2 單階段目標(biāo)檢測(cè)算法YOLO適用性

1.2 均勻設(shè)計(jì)基本原理

均勻設(shè)計(jì)實(shí)現(xiàn)了實(shí)驗(yàn)點(diǎn)在實(shí)驗(yàn)范圍內(nèi)均勻分布，能夠以較少的實(shí)驗(yàn)次數(shù)，安排多因素、多水平的析因?qū)嶒?yàn)。

均勻設(shè)計(jì)的影響因素各水平值出現(xiàn)一次，適用于多水平、多因素模型擬合及優(yōu)化實(shí)驗(yàn)均勻設(shè)計(jì)，是仿真實(shí)驗(yàn)設(shè)計(jì)和穩(wěn)健設(shè)計(jì)的重要方法[20]。

2 數(shù)據(jù)集構(gòu)建及場(chǎng)景特征分析

2.1 船舶目標(biāo)數(shù)據(jù)集構(gòu)建

選取上海黃浦江水域船舶研究監(jiān)控視頻數(shù)據(jù)，樣本5 268份(寬×高=1 920×1 080)，場(chǎng)景為上海-黃埔-港務(wù)大廈22樓下游、上海-吳淞-雷達(dá)站上游、上海-吳淞-雷達(dá)站下游，如圖2所示。

數(shù)據(jù)集場(chǎng)景和樣本數(shù)量如表3所示。

使用LabelImg軟件標(biāo)注樣本，包含boat類別以及場(chǎng)景中所有目標(biāo)的位置信息(左下橫坐標(biāo)xmin、左下縱坐標(biāo)ymin、右上橫坐標(biāo)xmax、右上縱坐標(biāo)ymax)，典型樣本標(biāo)注樣例如表4所示。

圖2 數(shù)據(jù)獲取場(chǎng)景Fig.2 Scenario of data

表3 觀測(cè)點(diǎn)分布情況

表4 典型樣本標(biāo)注信息

2.2 船舶目標(biāo)場(chǎng)景特征對(duì)檢測(cè)精度的影響

數(shù)據(jù)集清晰度以及人工標(biāo)注產(chǎn)生誤差等，影響模型檢測(cè)精度。

(1)清晰度對(duì)檢測(cè)精度的影響。場(chǎng)景像素1 920×1 080，天氣因素可導(dǎo)致場(chǎng)景不清晰，船舶目標(biāo)特征不明顯，模型訓(xùn)練時(shí)提取目標(biāo)特征不準(zhǔn)確，增加檢測(cè)錯(cuò)誤率。

(2)人工標(biāo)注對(duì)檢測(cè)精度的影響。采用LabelImg人工給圖片打標(biāo)簽，工作量大、費(fèi)時(shí)費(fèi)力的同時(shí)，人工標(biāo)注會(huì)產(chǎn)生漏標(biāo)目標(biāo)物體的情況，致使圖片的真實(shí)目標(biāo)數(shù)量值與圖片內(nèi)的標(biāo)注框數(shù)量不符，影響船舶目標(biāo)檢測(cè)精度。

人工標(biāo)注帶來的檢測(cè)誤差影響如表5所示。

選取測(cè)試集中的前9張照片，采用OpenCV按照標(biāo)注信息，在JPEGImages上進(jìn)行了繪制，如圖3所示。采用YOLOv4和YOLOv5s進(jìn)行目標(biāo)檢測(cè)，以矩形框標(biāo)注識(shí)別目標(biāo)boat的位置和數(shù)量，框上文字表示識(shí)別目標(biāo)的類別和概率，如boat0.88，如圖4、圖5所示。

表5 人工標(biāo)注與模型檢測(cè)對(duì)比分析Table 5 Comparative analysis of manual annotation and prediction results

圖3 OpenCV標(biāo)注Fig.3 OpenCV marks all target objects

目標(biāo)檢測(cè)性能指標(biāo)查準(zhǔn)率(precision，P)表示預(yù)測(cè)的全部正樣本中分類正確的比例，查全率(recall，R)表示全部正樣本中能夠被正確預(yù)測(cè)的比例。精準(zhǔn)度(AP)是根據(jù)P-R曲線面積計(jì)算的性能指標(biāo)，衡量學(xué)習(xí)出來的模型在每個(gè)類別上預(yù)測(cè)效果的好壞。

(1)

(2)

式中：TP(ture positive)、FP(false positive)、TN(ture negative)、FN(false negative)分別為真正例、假正例、真反例、假反例對(duì)應(yīng)的樣例數(shù)。

圖6樣本中人工標(biāo)注的label的數(shù)量為11，缺少一個(gè)目標(biāo)船舶的標(biāo)注，bndbox以紅色方框標(biāo)明。

經(jīng)YOLOv5訓(xùn)練的檢測(cè)模型預(yù)測(cè)后顯示出13個(gè)boat預(yù)測(cè)框，如圖7所示。對(duì)于樣本檢測(cè)而言，在人工漏標(biāo)的情況下P=11/(11+2)=11/13，R=11/(11+0)=1，當(dāng)bndbox數(shù)量與真實(shí)情況一致時(shí)，P1=12/(12+1)=12/13，R1=12/(12+0)=1。由此可知，由于人工標(biāo)注工作的疏漏會(huì)降低模型檢測(cè)性能指標(biāo)AP值。

3 模型訓(xùn)練及實(shí)驗(yàn)分析

3.1 經(jīng)驗(yàn)法

選用YOLOv4、YOLOv5s、YOLOv5x深度卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)算法，設(shè)計(jì)9次檢測(cè)方案，使用不同數(shù)量的特定場(chǎng)景數(shù)據(jù)集訓(xùn)練模型，得到最優(yōu)權(quán)重，保存模型文件。經(jīng)驗(yàn)法實(shí)驗(yàn)參數(shù)設(shè)置如表6所示。

3.2 均勻設(shè)計(jì)

執(zhí)行6組訓(xùn)練方案，每一組訓(xùn)練模型對(duì)應(yīng)的訓(xùn)練場(chǎng)景、訓(xùn)練集圖片數(shù)量、使用算法類別、訓(xùn)練輪次的參數(shù)安排如表8所示。

3.3 實(shí)驗(yàn)分析

經(jīng)驗(yàn)法：執(zhí)行9次訓(xùn)練方案，YOLOv5s算法訓(xùn)練100輪次，最高精度AP為0.84。

均勻設(shè)計(jì)：執(zhí)行6次訓(xùn)練方案，YOLOv5x算法訓(xùn)練200輪次，最高精度AP為0.91。

實(shí)驗(yàn)性能對(duì)比分析如表9所示。

船舶目標(biāo)檢測(cè)選用的算法模型、訓(xùn)練輪次、訓(xùn)練集測(cè)試集不同，測(cè)試AP值存在差異。盲目增加訓(xùn)練輪次，不能顯著提高檢測(cè)效果，同時(shí)降低檢測(cè)效率。YOLOv4、YOLOv5s、YOLOv5x算法檢測(cè)如圖8、圖9、圖10所示。

經(jīng)驗(yàn)法和均勻設(shè)計(jì)實(shí)驗(yàn)方案對(duì)比分析如表10所示。分析可知，基于均勻設(shè)計(jì)法進(jìn)行船舶目標(biāo)檢測(cè)深度學(xué)習(xí)模型訓(xùn)練，實(shí)驗(yàn)次數(shù)少，訓(xùn)練模型精度高。