基于水面紅外圖像的深海網(wǎng)箱魚(yú)群夜間智能監(jiān)測(cè)方法研究

要紫丹 ，黃小華, ，李 根, ，胡 昱, ，龐國(guó)良, ，袁太平,

1. 浙江海洋大學(xué)，浙江 舟山 316022

2. 中國(guó)水產(chǎn)科學(xué)研究院南海水產(chǎn)研究所/農(nóng)業(yè)農(nóng)村部外海漁業(yè)可持續(xù)利用重點(diǎn)實(shí)驗(yàn)室/廣東省網(wǎng)箱工程技術(shù)研究中心，廣東 廣州 510300

3. 中國(guó)水產(chǎn)科學(xué)研究院南海水產(chǎn)研究所熱帶水產(chǎn)研究開(kāi)發(fā)中心/三亞熱帶水產(chǎn)研究院，海南 三亞 572018

我國(guó)擁有豐富的海洋資源和廣闊的內(nèi)陸水域，作為全球最大的漁業(yè)生產(chǎn)國(guó)，為國(guó)內(nèi)消費(fèi)者提供了豐富、優(yōu)質(zhì)的水產(chǎn)品并大量出口國(guó)外。然而，由于長(zhǎng)期過(guò)度捕撈、漁業(yè)管理不力以及海洋近岸環(huán)境污染等原因，海洋漁業(yè)資源面臨嚴(yán)重衰退[1-2]。當(dāng)前我國(guó)海水水產(chǎn)品的供應(yīng)主要以海水養(yǎng)殖為主[3]，在海上養(yǎng)殖場(chǎng)的選擇上，根據(jù)離岸遠(yuǎn)近主要分為近海養(yǎng)殖和深遠(yuǎn)海養(yǎng)殖兩種方式[4]。近海養(yǎng)殖由于養(yǎng)殖空間受限、水體交換不暢，容易造成海域環(huán)境污染，其可持續(xù)性發(fā)展受到限制[5]；而深遠(yuǎn)海養(yǎng)殖水質(zhì)優(yōu)良、養(yǎng)殖空間大、病害發(fā)生率低，近年來(lái)得到快速發(fā)展，已成為我國(guó)水產(chǎn)養(yǎng)殖綠色發(fā)展的重要方向。在深遠(yuǎn)海養(yǎng)殖過(guò)程中，實(shí)時(shí)獲取深海網(wǎng)箱養(yǎng)殖的魚(yú)群動(dòng)態(tài)數(shù)據(jù)并進(jìn)行監(jiān)測(cè)，對(duì)于提高養(yǎng)殖效率、提升魚(yú)類品質(zhì)和降低成本具有重要意義。然而，在大規(guī)模魚(yú)群情景下，人工監(jiān)測(cè)存在難以長(zhǎng)時(shí)間持續(xù)、監(jiān)測(cè)效果受限及效率不佳等問(wèn)題。隨著科學(xué)技術(shù)的不斷發(fā)展，自動(dòng)化和智能化的魚(yú)群監(jiān)測(cè)方法備受關(guān)注[6-9]。當(dāng)前，主流的魚(yú)群監(jiān)測(cè)方法包括基于聲學(xué)技術(shù)和基于視覺(jué)技術(shù)的監(jiān)測(cè)方法。

基于聲學(xué)技術(shù)的魚(yú)群監(jiān)測(cè)方法具有覆蓋范圍廣、不損傷調(diào)查對(duì)象等優(yōu)點(diǎn)[10-11]。有學(xué)者提出了利用不同聲吶設(shè)備進(jìn)行監(jiān)測(cè)和管理的方法[12-14]，并取得了一些成果，但目前常用的漁業(yè)聲學(xué)調(diào)查裝備均為國(guó)外產(chǎn)品，價(jià)格昂貴，數(shù)據(jù)處理過(guò)程較復(fù)雜，且易受水下其他移動(dòng)物體干擾，因而在實(shí)際環(huán)境下，魚(yú)群監(jiān)測(cè)的準(zhǔn)確性仍有待提高。視覺(jué)方法則能通過(guò)圖像分析技術(shù)給出更直觀的魚(yú)群監(jiān)測(cè)結(jié)果[15]。視覺(jué)識(shí)別技術(shù)通過(guò)相機(jī)收集魚(yú)類的圖像信息，并通過(guò)計(jì)算機(jī)進(jìn)行語(yǔ)義分析和決策，從而獲取深海網(wǎng)箱養(yǎng)殖的魚(yú)群動(dòng)態(tài)數(shù)據(jù)并進(jìn)行監(jiān)測(cè)。李少波等[16]開(kāi)發(fā)了一套遠(yuǎn)程水下魚(yú)類實(shí)時(shí)識(shí)別系統(tǒng)；黃平[17]利用視覺(jué)識(shí)別技術(shù)，實(shí)現(xiàn)對(duì)水下魚(yú)類行為的自動(dòng)監(jiān)測(cè)，精準(zhǔn)化控制餌料喂養(yǎng)量；Lai等[18]實(shí)現(xiàn)了對(duì)水下魚(yú)類的多目標(biāo)跟蹤。然而，由于水下成像環(huán)境特殊，水下圖像經(jīng)常受到各種問(wèn)題的困擾，例如噪聲干擾、光線衰減、水下散射、模糊的紋理特征、低對(duì)比度和顏色失真等，限制了其在深海環(huán)境中的應(yīng)用。相比于水下相機(jī)，水面相機(jī)可避免污損生物附著，視野更大、清晰度更高。研究者通過(guò)從水面拍攝的圖像中提取的魚(yú)群活動(dòng)信息，實(shí)現(xiàn)了魚(yú)群監(jiān)測(cè)[19-22]，但在夜間光線衰減時(shí)，普通相機(jī)在水面無(wú)法拍攝到清晰的魚(yú)群活動(dòng)數(shù)據(jù)。

鑒于此，本研究以深海網(wǎng)箱和養(yǎng)殖平臺(tái)為載體，以水面紅外攝像頭為核心傳感器，針對(duì)深海網(wǎng)箱魚(yú)群監(jiān)測(cè)的視覺(jué)感知問(wèn)題開(kāi)展研究，通過(guò)改進(jìn)Faster RCNN 模型、橢圓擬合等關(guān)鍵技術(shù)實(shí)現(xiàn)對(duì)水面紅外圖像中深海網(wǎng)箱魚(yú)群的自動(dòng)監(jiān)測(cè)，達(dá)成深海網(wǎng)箱養(yǎng)殖過(guò)程的無(wú)人或少人監(jiān)測(cè)，提高監(jiān)測(cè)的準(zhǔn)確性和穩(wěn)定性，為精準(zhǔn)投料、高效安全養(yǎng)殖提供數(shù)據(jù)支撐。

1 數(shù)據(jù)采集及標(biāo)注

水面紅外圖像能夠提供網(wǎng)箱內(nèi)魚(yú)群的實(shí)時(shí)動(dòng)態(tài)信息，包括魚(yú)群的分布、密度、游動(dòng)方向等。此外，由于紅外圖像對(duì)光照和顏色的魯棒性，使得在夜間等光線較弱環(huán)境下的魚(yú)群監(jiān)測(cè)均有良好的效果。因此，本研究使用安裝在“德海1 號(hào)”網(wǎng)箱[22]上的紅外監(jiān)控?cái)z像頭 (圖1)，連續(xù)拍攝并記錄魚(yú)類夜間活動(dòng)的圖像數(shù)據(jù)。該攝像頭為?？低暺放频臉屖綌z像機(jī)，型號(hào)為DS-2CD6626B-IZHRS，具有200 萬(wàn)像素分辨率，鏡頭的焦距選擇范圍介于2.8～12.0 或8.0～32.0 mm，拍攝范圍最遠(yuǎn)達(dá)150 m。進(jìn)一步選用標(biāo)注工具Labelme 對(duì)所收集的水面魚(yú)類圖像開(kāi)展目標(biāo)檢測(cè)標(biāo)注，共標(biāo)注400 張圖像，魚(yú)類個(gè)體數(shù)量2 830 個(gè)?？紤]到準(zhǔn)確性，對(duì)人工難以識(shí)別、不太清晰的魚(yú)未做標(biāo)注，標(biāo)注效果如圖2 所示。網(wǎng)箱內(nèi)養(yǎng)殖的魚(yú)類平均體質(zhì)量為7.5 kg，養(yǎng)殖密度約15 kg·m?3。

圖1 “德海 1 號(hào)”網(wǎng)箱Fig. 1 "Dehai No.1" sea cage

圖2 標(biāo)注圖Fig. 2 Labeled figure

2 魚(yú)群自動(dòng)監(jiān)測(cè)方法

本研究中提出的魚(yú)群自動(dòng)監(jiān)測(cè)方法，由魚(yú)群識(shí)別與計(jì)數(shù)、魚(yú)體分割和魚(yú)體游向判斷3 個(gè)功能模塊組成。首先，通過(guò)紅外相機(jī)采集魚(yú)類圖像，并利用改進(jìn)的 Faster RCNN 模型經(jīng)過(guò)特征提取和目標(biāo)檢測(cè)，實(shí)現(xiàn)魚(yú)群的識(shí)別和計(jì)數(shù)，同時(shí)進(jìn)行圖片剪切，輸出包圍框表征魚(yú)類個(gè)體位置。其次，從框圖內(nèi)選擇亮度前20% 的像素點(diǎn)作為分割提示點(diǎn)，利用Segment Anything Model 對(duì)圖像進(jìn)行分割，生成魚(yú)體分割圖。最后，對(duì)魚(yú)體分割圖進(jìn)行橢圓擬合處理，通過(guò)擬合的橢圓曲線可以判定魚(yú)類的游向信息。魚(yú)群自動(dòng)監(jiān)測(cè)流程如圖3 所示。

圖3 魚(yú)群自動(dòng)監(jiān)測(cè)流程Fig. 3 Automatic fish school monitoring process

2.1 魚(yú)類目標(biāo)檢測(cè)模型

水面紅外圖像具有起伏波浪產(chǎn)生高亮響應(yīng)以及容易和魚(yú)類混淆的特點(diǎn)?？紤]到上述特點(diǎn)， 本研究在目標(biāo)檢測(cè)網(wǎng)絡(luò)上采用Faster RCNN 模型[23]，該模型屬于兩階段檢測(cè)器，與一階段檢測(cè)器相比準(zhǔn)確率更高[24-27]。進(jìn)一步利用FPN (Feature Pyramid Network)[28]來(lái)增強(qiáng)Faster RCNN，使其獲得圖像不同尺度的特征，更好地區(qū)分水波高亮點(diǎn)和魚(yú)類個(gè)體。

FPN 包括自底向上的過(guò)程和自頂向下、橫向連接的過(guò)程。自底向上的過(guò)程完成特征提取，輸出不同尺度的特征圖。自頂向下的過(guò)程是通過(guò)將更抽象、語(yǔ)義更強(qiáng)的高層特征圖進(jìn)行2 倍的上采樣，并與自底向上生成的相同大小的特征圖進(jìn)行橫向連接融合。Faster RCNN 的骨干網(wǎng)絡(luò)采用Mobilenetv2[29]，它由一系列的小尺寸卷積核組成，具有深度可分離卷積，可有效減少模型的參數(shù)量和計(jì)算量[30]。在Mobilenetv2 中去除網(wǎng)絡(luò)最后的平均池化層和全連接層，留下其前19 層深度可分離卷積層，將第4、第7、第14 和第19 層，即圖中的C2—C5 作為FPN 的輸入特征層，分別對(duì)應(yīng)于Mobilenetv2 的不同深度。C5 層經(jīng)過(guò)1×1 卷積得到M5，M5 進(jìn)行2 倍上采樣后與C4 層經(jīng)過(guò)1×1 卷積后的特征進(jìn)行融合，得到P4 特征層；依次類推，得到P3 和P2 層。最終得到的P2、P3、P4 和P5 特征圖分別用來(lái)預(yù)測(cè)不同尺度的目標(biāo)。改進(jìn)的 Faster RCNN 模型以Mobilenetv2+FPN 作為特征提取網(wǎng)絡(luò) (圖4)。

圖4 改進(jìn)后的特征提取網(wǎng)絡(luò)Fig. 4 Improved feature extraction network

Faster RCNN 算法框架如圖5 所示。首先，選擇需要處理的圖片，使用transforms.ToTensor ()函數(shù)將圖片數(shù)據(jù)轉(zhuǎn)換為PyTorch 張量，再應(yīng)用隨機(jī)水平翻轉(zhuǎn)，指定翻轉(zhuǎn)概率為50%；其次，將處理過(guò)的圖片送入預(yù)訓(xùn)練的特征網(wǎng)絡(luò)中，使用Mobilenetv2+FPN 網(wǎng)絡(luò)為模型的特征提取網(wǎng)絡(luò)，融合多尺度特征。接著，在構(gòu)建的特征層上面分別進(jìn)行RPN (Region Proposal Network) 操作；將獲得的proposals 以及feature maps 輸入到ROI 池化層(ROI pooling layer) 進(jìn)行池化操作，固定大小為7×7；最后，在上一步的基礎(chǔ)上連接兩個(gè)全連接層，進(jìn)行分類和邊框回歸。

2.2 魚(yú)群識(shí)別與計(jì)數(shù)功能模塊

通過(guò)目標(biāo)檢測(cè)模塊，即可實(shí)現(xiàn)魚(yú)群識(shí)別和計(jì)數(shù)功能。例如，給定一張水面紅外圖像樣本，圖片大小為1920×1080 像素，該照片中有若干條魚(yú)。經(jīng)過(guò)改進(jìn)的Faster RCNN 模型處理后，每個(gè)魚(yú)類目標(biāo)都會(huì)被一個(gè)綠色矩形框標(biāo)識(shí)，這個(gè)矩形框代表了該魚(yú)類目標(biāo)在圖像中的位置，而其總數(shù)則代表了當(dāng)前圖像中魚(yú)類目標(biāo)的數(shù)量。此外，這些框中還附有分類標(biāo)簽和置信度。

2.3 魚(yú)體分割功能模塊

Segment Anything Model (SAM) 是Meta 發(fā)布的新模型，用于計(jì)算機(jī)視覺(jué)中的圖像分割任務(wù)[31]。SAM 的目標(biāo)是實(shí)現(xiàn)零樣本分割一切，為 CV (Computer vision) 基礎(chǔ)模型提供廣泛支持和深度研究。該模型可以根據(jù)提示詞進(jìn)行圖像分割，包括交互式點(diǎn)和框的提示。SAM 的功能涵蓋了廣泛的用例和零樣本遷移，可以自動(dòng)分割圖像中的所有內(nèi)容。此外，SAM 引入了圖像注釋數(shù)據(jù)集Segment Anything 1-Billion (SA-1B)，這是歷史上規(guī)模最大的分割數(shù)據(jù)集，包含超過(guò)11 億個(gè)高質(zhì)量和多樣性的分割掩碼。

SAM 需要輸入分割提示點(diǎn)，才能對(duì)目標(biāo)進(jìn)行分割，得到魚(yú)體分割圖。為獲取有效的提示點(diǎn)，本文采用以下步驟：考慮到屬于魚(yú)體的點(diǎn)偏亮，在對(duì)應(yīng)的魚(yú)類目標(biāo)子框圖內(nèi)部找到亮度最高的前20%像素點(diǎn)，并從中隨機(jī)選擇10 個(gè)點(diǎn)作為分割提示點(diǎn)，以幫助SAM 更精確地進(jìn)行分割處理。以該魚(yú)類目標(biāo)子框圖為例，從該框圖亮度最高的前20% 的像素點(diǎn)中隨機(jī)選擇10 個(gè)點(diǎn)如下：(102,25)、(126, 28)、(92, 14)、(98, 24)、(104, 33)、(79,19)、(129, 27)、(43, 17)、(73, 8)、(67, 18)。接下來(lái)，將包含這些分割提示點(diǎn)以及對(duì)應(yīng)的魚(yú)類個(gè)體目標(biāo)子框圖輸入到SAM 中進(jìn)行處理，從而得到對(duì)應(yīng)的魚(yú)體分割圖(圖6)。

圖6 分割結(jié)果圖Fig. 6 Segmentation result diagram

2.4 魚(yú)體游向判斷功能模塊

橢圓擬合技術(shù)是指通過(guò)計(jì)算和圖像處理方法，根據(jù)一組散點(diǎn)數(shù)據(jù)擬合出一個(gè)最佳橢圓。在實(shí)際應(yīng)用中，橢圓擬合技術(shù)通常用于識(shí)別和定位具有橢圓形狀的目標(biāo)[32-33]，例如應(yīng)用于圖像視覺(jué)測(cè)量、生物醫(yī)學(xué)圖像分析和計(jì)算機(jī)視覺(jué)等領(lǐng)域。橢圓擬合算法的基本原理是尋找一個(gè)可以在給定誤差范圍內(nèi)覆蓋所有數(shù)據(jù)點(diǎn)的橢圓。本研究利用OpenCV 庫(kù)中定義的cv2.fitEllipse 函數(shù)，根據(jù)給定的像素點(diǎn)在魚(yú)類目標(biāo)子框圖內(nèi)對(duì)魚(yú)體姿態(tài)進(jìn)行橢圓擬合。

該模塊的核心任務(wù)是分析和預(yù)測(cè)魚(yú)群中每條魚(yú)的游動(dòng)方向。首先，創(chuàng)建一個(gè)與圖像大小相同的全零矩陣，用于記錄像素點(diǎn)在上述分割過(guò)程中被藍(lán)色遮罩覆蓋的次數(shù)。例如，圖7-b 的寬度為144，高度為49，則需要?jiǎng)?chuàng)建一個(gè)49×144 的全零矩陣。接著，循環(huán)遍歷輸入坐標(biāo)點(diǎn)和對(duì)應(yīng)的標(biāo)簽，并對(duì)每個(gè)點(diǎn)進(jìn)行預(yù)測(cè) (被藍(lán)色遮罩覆蓋的像素點(diǎn)設(shè)置為1 表示正樣本，未被覆蓋的像素點(diǎn)設(shè)置為0 表示負(fù)樣本)，累計(jì)每個(gè)像素點(diǎn)被遮罩覆蓋的次數(shù)。通過(guò)分析和實(shí)驗(yàn)，發(fā)現(xiàn)覆蓋次數(shù)不小于5 的像素點(diǎn)為在多次遮罩的覆蓋下被認(rèn)定為目標(biāo)區(qū)域的像素點(diǎn)，圖7-e 為覆蓋次數(shù)不小于5 的像素點(diǎn)映射回框圖的圖像效果。通過(guò)選擇這些覆蓋次數(shù)較多的像素點(diǎn)進(jìn)行橢圓擬合，可以更好地捕捉到目標(biāo)魚(yú)體的形狀和輪廓特征。最后，將被藍(lán)色遮罩覆蓋次數(shù)不小于5 的像素點(diǎn)，用cv2.fitEllipse 函數(shù)進(jìn)行擬合橢圓，并在魚(yú)類個(gè)體目標(biāo)子框圖上繪制出擬合橢圓，完成的魚(yú)體檢測(cè)-分割-游向判斷流程如圖7 所示。

圖7 魚(yú)體游向判斷過(guò)程圖Fig. 7 Image of fish swimming towards judgement process

通過(guò)擬合橢圓的主軸方向，可以推測(cè)出魚(yú)的大致游向。在對(duì)每個(gè)框圖的分割結(jié)果圖進(jìn)行橢圓擬合操作后，通過(guò)擬合結(jié)果圖可以獲得橢圓的短軸相對(duì)于框圖參考坐標(biāo)系x軸的旋轉(zhuǎn)角度。在圖像的參考坐標(biāo)系中，將x軸表示為水平方向 (從左到右)，y軸表示為垂直方向 (從上到下)。橢圓的角度是以圖像的x軸為基準(zhǔn)進(jìn)行度量的，角度從0° 開(kāi)始，逆時(shí)針旋轉(zhuǎn)。取值范圍介于0°～180°。需要注意的是，本研究?jī)H確定了魚(yú)可能的游動(dòng)軸，并不能提供沿軸向前或向后游動(dòng)，基于本文的游動(dòng)軸，通過(guò)進(jìn)一步對(duì)視頻中連續(xù)幀圖像的魚(yú)類個(gè)體進(jìn)行跟蹤即可確定，該方法不在本文討論范圍。

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)設(shè)置和指標(biāo)評(píng)估方法

本研究構(gòu)建了一個(gè)400 張圖像的數(shù)據(jù)集，為了實(shí)現(xiàn)后續(xù)模型訓(xùn)練的公正性和有效性，編寫(xiě)了相應(yīng)的程序，采取隨機(jī)無(wú)重復(fù)抽樣的方式對(duì)數(shù)據(jù)集進(jìn)行劃分，分別為225 張圖像的訓(xùn)練集、75 張圖像的驗(yàn)證集以及100 張圖像的測(cè)試集。這種劃分方式使得訓(xùn)練集與驗(yàn)證集，訓(xùn)練驗(yàn)證集與測(cè)試集的比例均保持在3∶1。實(shí)驗(yàn)訓(xùn)練和測(cè)試的平臺(tái)環(huán)境如表1 所示。訓(xùn)練過(guò)程中使用的圖像分辨率為1920×1080 像素，學(xué)習(xí)率為0.005，批量訓(xùn)練大小為1，為防止模型過(guò)擬合，設(shè)置了0.000 1 的權(quán)重衰減，訓(xùn)練次數(shù)為100 次。

表1 實(shí)驗(yàn)工作平臺(tái)環(huán)境Table 1 Experimental platform environment

為衡量改進(jìn)的Faster RCNN 模型和橢圓擬合等關(guān)鍵技術(shù)在魚(yú)群識(shí)別、分割和游向預(yù)測(cè)的性能，本研究討論了如何通過(guò)6 個(gè)主要的指標(biāo)來(lái)評(píng)估網(wǎng)絡(luò)模型的效果[31-32]：置信度、損失函數(shù)值、學(xué)習(xí)率、召回率、交并比以及平均精確率。

3.2 實(shí)驗(yàn)過(guò)程

利用本研究中自建的水面紅外圖像數(shù)據(jù)集中的訓(xùn)練集對(duì)改進(jìn)Faster RCNN 模型進(jìn)行訓(xùn)練，訓(xùn)練次數(shù)為100 次，并使用測(cè)試集進(jìn)行評(píng)估，在訓(xùn)練過(guò)程中，觀察了模型的平均精確率、損失函數(shù)值和學(xué)習(xí)率等變化趨勢(shì)。從圖8 可以看出，經(jīng)過(guò)100 次訓(xùn)練，模型的平均精度均值已較為穩(wěn)定，損失函數(shù)值和學(xué)習(xí)率均呈下降趨勢(shì)，并最終趨于穩(wěn)定，選擇保存該模型。

圖8 改進(jìn)的Faster RCNN 訓(xùn)練時(shí)模型的變化情況Fig. 8 Changes in model during improved Faster RCNN training

3.3 結(jié)果展示

本研究評(píng)估了3 種流行特征提取網(wǎng)絡(luò)：Mobilenetv2、VGG16 以及Resnet50，并結(jié)合特征金字塔網(wǎng)絡(luò) (FPN) 對(duì)模型性能的影響進(jìn)行了詳細(xì)的對(duì)比實(shí)驗(yàn)。從結(jié)果來(lái)看，Mobilenetv2+FPN 表現(xiàn)出顯著優(yōu)勢(shì)，平均精確率為84.5%，平均召回率為60.8%，接近于VGG16+FPN 在AP 和AR 上的表現(xiàn)，而其檢測(cè)速度僅為0.042 s，遠(yuǎn)快于VGG16+FPN 的0.077 s，顯示出較高的運(yùn)行效率。此外，由于Mobilenetv2 的輕量級(jí)結(jié)構(gòu)，Mobilenetv2+FPN 對(duì)處理器要求低，部署成本低，特別是在計(jì)算資源受限的設(shè)備上，如需要輕量化部署的深海監(jiān)測(cè)設(shè)備等應(yīng)用場(chǎng)合，該模型尤為適用。因此，在保持較高的準(zhǔn)確性同時(shí)，該網(wǎng)絡(luò)還兼顧了檢測(cè)速度和對(duì)資源的低需求，是現(xiàn)有實(shí)驗(yàn)條件下的最優(yōu)選擇。表2 展示了不同特征提取網(wǎng)絡(luò)的具體對(duì)比情況，其中AP 值選取的IoU 閾值為0.5。

表2 不同的特征提取網(wǎng)絡(luò)對(duì)比Table 2 Comparison of different feature extraction networks

利用訓(xùn)練好的模型進(jìn)行推理預(yù)測(cè)。圖9-a 為原始圖像，圖9-b 為使用改進(jìn)的Faster RCNN 模型得出的預(yù)測(cè)結(jié)果圖。圖10 展示了對(duì)應(yīng)的魚(yú)體分割及游向判斷結(jié)果。結(jié)果表明，在水面紅外圖像的魚(yú)類數(shù)據(jù)集上，所提出的改進(jìn)Faster RCNN 模型和橢圓擬合等關(guān)鍵技術(shù)能夠?qū)崿F(xiàn)對(duì)魚(yú)群的自動(dòng)監(jiān)測(cè)。

圖9 改進(jìn)Faster RCNN 模型的預(yù)測(cè)結(jié)果圖Fig. 9 Prediction results of improved Faster RCNN model

圖10 預(yù)測(cè)結(jié)果Fig. 10 Predicted results

4 小結(jié)

本研究利用自建的水面紅外圖像魚(yú)類數(shù)據(jù)集，通過(guò)改進(jìn)的 Faster RCNN 模型和橢圓擬合等關(guān)鍵技術(shù)的綜合應(yīng)用，獲取了深海網(wǎng)箱養(yǎng)殖過(guò)程中魚(yú)群的活動(dòng)數(shù)據(jù)，為魚(yú)群的自動(dòng)監(jiān)測(cè)提供了有效的技術(shù)手段。對(duì)比傳統(tǒng)方法和已有研究，本研究提出的方法在魚(yú)群自動(dòng)監(jiān)測(cè)方面具有一定的優(yōu)勢(shì)和創(chuàng)新性。主要體現(xiàn)在以下3 點(diǎn)：1) 相比于水下相機(jī)，水面相機(jī)可避免污損生物附著，視野更大、清晰度更高；2) 功能多樣，能夠從原始的水面紅外圖像中獲取豐富的魚(yú)類信息。已有的魚(yú)群自動(dòng)監(jiān)測(cè)方法[16-17,20]功能較為單一，而本研究通過(guò)魚(yú)群識(shí)別與計(jì)數(shù)、魚(yú)體分割和魚(yú)體游向判斷這3 個(gè)功能模塊的協(xié)同工作，從原始的水面紅外圖像中獲取魚(yú)群的數(shù)量、位置、形狀和游動(dòng)方向等信息，為深海網(wǎng)箱養(yǎng)殖提供了重要的數(shù)據(jù)支持；3) 改進(jìn)的Faster RCNN 模型采用Mobilenetv2+FPN 作為特征提取網(wǎng)絡(luò)，AP 值從原始的70.0%提升到84.5%，提高了14.5%，在實(shí)現(xiàn)高精確率的同時(shí)，保持較快的檢測(cè)速度，減少了計(jì)算資源需求。此外，改進(jìn)的 Faster RCNN 模型對(duì)處理器要求低，部署成本低，在魚(yú)群自動(dòng)監(jiān)測(cè)應(yīng)用上，特別是對(duì)于有資源限制的設(shè)備，具備顯著的實(shí)用價(jià)值和可行性。

然而，本研究提出的基于水面紅外圖像的深海網(wǎng)箱魚(yú)群智能監(jiān)測(cè)方法也存在一定的局限性，如在極端光照、遮擋、密集情況下的魚(yú)類目標(biāo)精確監(jiān)測(cè)，這有待在后續(xù)研究中改進(jìn)。未來(lái)的研究將重在提升模型的魯棒性、效率以及開(kāi)發(fā)適用于視頻流的實(shí)時(shí)魚(yú)類跟蹤方法，以應(yīng)對(duì)更復(fù)雜的應(yīng)用場(chǎng)景和需求。