楊東海，張勝茂，湯先峰

(1. 中國(guó)水產(chǎn)科學(xué)研究院東海水產(chǎn)研究所,農(nóng)業(yè)農(nóng)村部遠(yuǎn)洋與極地漁業(yè)創(chuàng)新重點(diǎn)實(shí)驗(yàn)室,上海 200090; 2. 中國(guó)水產(chǎn)科學(xué)研究院東海水產(chǎn)研究所,農(nóng)業(yè)農(nóng)村部東海漁業(yè)資源開(kāi)發(fā)利用重點(diǎn)實(shí)驗(yàn)室,上海 200090; 3. 上海海洋大學(xué)信息學(xué)院,上海 201306)

機(jī)器視覺(jué)是人工智能領(lǐng)域的一個(gè)重要分支，主要利用計(jì)算機(jī)來(lái)模仿人的視覺(jué)功能。通過(guò)對(duì)目標(biāo)圖像提取特征進(jìn)行處理并加以分析理解，最終用于目標(biāo)的分類(lèi)識(shí)別[1]。魚(yú)類(lèi)識(shí)別技術(shù)是運(yùn)用機(jī)器視覺(jué)技術(shù)，識(shí)別出特定場(chǎng)景、環(huán)境中魚(yú)類(lèi)的種類(lèi)，從而應(yīng)用在生產(chǎn)生活中[2]。

魚(yú)類(lèi)在加工或養(yǎng)殖的過(guò)程中，需要進(jìn)行分類(lèi)識(shí)別，但是魚(yú)類(lèi)種類(lèi)繁多[3-5]，形態(tài)多樣易變[6]，而且經(jīng)驗(yàn)豐富的魚(yú)類(lèi)學(xué)專(zhuān)家較少，培養(yǎng)出一位魚(yú)類(lèi)學(xué)專(zhuān)家周期長(zhǎng)，造成魚(yú)類(lèi)識(shí)別的困難。傳統(tǒng)的識(shí)別方法，一般采用人工篩選，該方法不僅勞動(dòng)強(qiáng)度大，工作效率低，而且識(shí)別準(zhǔn)確率很低[7]。隨著圖像處理與機(jī)器視覺(jué)技術(shù)的發(fā)展，從基于特征值、相關(guān)系數(shù)、神經(jīng)網(wǎng)絡(luò)、分級(jí)分類(lèi)、支持向量機(jī)，到后續(xù)利用多種形式的卷積神經(jīng)網(wǎng)絡(luò)對(duì)魚(yú)類(lèi)種類(lèi)進(jìn)行識(shí)別，新的魚(yú)類(lèi)識(shí)別技術(shù)可以降低勞動(dòng)強(qiáng)度，提高準(zhǔn)確率，該技術(shù)基本達(dá)到應(yīng)用水平。

魚(yú)類(lèi)識(shí)別技術(shù)用途廣泛，如應(yīng)用在魚(yú)類(lèi)知識(shí)科普方面。在水族館魚(yú)類(lèi)知識(shí)科普系統(tǒng)中，通過(guò)遙控?cái)z像機(jī)拍攝魚(yú)缸實(shí)況視頻，經(jīng)過(guò)圖像處理，可實(shí)現(xiàn)魚(yú)類(lèi)種類(lèi)自動(dòng)識(shí)別。該系統(tǒng)允許水族館游客遠(yuǎn)程控制攝像機(jī)，通過(guò)在互動(dòng)界面上選擇想要了解魚(yú)的位置，該魚(yú)的信息將顯示在另一個(gè)屏幕上[8]。此外，魚(yú)類(lèi)識(shí)別技術(shù)在魚(yú)類(lèi)物種食用、裝飾和其他用途上都起著重要作用。魚(yú)類(lèi)識(shí)別在漁業(yè)資源研究、水產(chǎn)養(yǎng)殖發(fā)展、魚(yú)類(lèi)稀有物種保護(hù)和觀賞魚(yú)貿(mào)易管理等領(lǐng)域的應(yīng)用上也是必不可少的[8]。本文通過(guò)系統(tǒng)綜述魚(yú)類(lèi)識(shí)別的最新研究進(jìn)展，為進(jìn)一步深入研究機(jī)器視覺(jué)技術(shù)在魚(yú)類(lèi)識(shí)別上的應(yīng)用，奠定了一定的基礎(chǔ)。

1 魚(yú)類(lèi)識(shí)別系統(tǒng)

進(jìn)行魚(yú)類(lèi)識(shí)別，首先對(duì)采集到的魚(yú)類(lèi)圖像進(jìn)行預(yù)處理，然后對(duì)魚(yú)類(lèi)圖像特征提取，并建立有關(guān)魚(yú)類(lèi)物種識(shí)別算法模型，最后實(shí)現(xiàn)對(duì)魚(yú)類(lèi)圖像的分類(lèi)識(shí)別。具體流程如圖1所示。

圖1 魚(yú)類(lèi)識(shí)別流程 Fig.1 Flow chart of fish identification

魚(yú)類(lèi)識(shí)別系統(tǒng)硬件裝置一般由環(huán)形燈、檢測(cè)箱、攝像頭、圖像視頻采集卡、計(jì)算機(jī)等組成[7,9-10]。在實(shí)驗(yàn)中，將魚(yú)放到輸送帶上，然后用攝像頭和圖像視頻采集卡獲取魚(yú)體的灰度圖像，不同圖像表示魚(yú)的狀態(tài)信息各不相同，最后用計(jì)算機(jī)軟件Matlab2009a進(jìn)行圖像的處理與魚(yú)類(lèi)種類(lèi)的識(shí)別[7]。有些魚(yú)類(lèi)識(shí)別系統(tǒng)軟件主要在VC++6.0平臺(tái)上編程實(shí)現(xiàn)，流程為先利用攝像頭和圖像采集卡獲取魚(yú)類(lèi)圖像，并對(duì)圖像大小、采集頻率、圖像進(jìn)行存儲(chǔ)，然后對(duì)魚(yú)類(lèi)圖像進(jìn)行預(yù)處理，提取輪廓、特征等信息，最后完成魚(yú)類(lèi)種類(lèi)識(shí)別[9]。涂兵等[10]研究的魚(yú)類(lèi)識(shí)別系統(tǒng)，軟件平臺(tái)是基于VS2013與Open CV完成魚(yú)體圖像采集和圖像相關(guān)形態(tài)參數(shù)的獲取、數(shù)據(jù)分析結(jié)果的快速存儲(chǔ)。而一種基于神經(jīng)網(wǎng)路的魚(yú)類(lèi)識(shí)別系統(tǒng)，其組成主要有2個(gè)部分：一是圖像數(shù)據(jù)采集裝置；二是軟件平臺(tái)采用keras框架，利用計(jì)算機(jī)顯卡進(jìn)行分類(lèi)模型的訓(xùn)練[11]。綜上可知，魚(yú)類(lèi)跟蹤系統(tǒng)的軟件環(huán)境有多種選擇，需要與自身研究相匹配。

2 特征提取

在魚(yú)類(lèi)識(shí)別建模之前，需要提取魚(yú)類(lèi)特征信息。魚(yú)類(lèi)特征提取一般是對(duì)魚(yú)類(lèi)的形狀、紋理和顏色等特征進(jìn)行計(jì)算處理，以為魚(yú)類(lèi)識(shí)別算法的建模提供核心數(shù)據(jù)。

2.1 形狀特征

魚(yú)類(lèi)生活在水中，大都具有適宜游泳的體型和魚(yú)鰭[12]。魚(yú)類(lèi)的外形多種多樣，根據(jù)魚(yú)體的形狀特征，一般可分為頭部、軀干部和尾部3個(gè)部分，從頭部到尾部有1條連接魚(yú)體的頭尾軸[13]。一般魚(yú)類(lèi)的體型是流線型，整個(gè)身體呈紡錘形而稍扁，這種體型更利于在水中游泳。

假設(shè)魚(yú)的中心點(diǎn)為魚(yú)體的質(zhì)心點(diǎn)，根據(jù)魚(yú)類(lèi)的形狀特征可以構(gòu)建出魚(yú)體的基本輪廓[13]。對(duì)于魚(yú)體輪廓的獲取，可以把魚(yú)體圖像的內(nèi)部點(diǎn)掏空，僅保留邊緣點(diǎn)來(lái)實(shí)現(xiàn)。在魚(yú)體輪廓圖上提取魚(yú)體的特征信息可以實(shí)現(xiàn)魚(yú)體的尺寸檢測(cè)[9]。利用機(jī)器視覺(jué)算法提取出要識(shí)別的魚(yú)體背部輪廓曲線[10]，然后利用曲率尺度空間變換、傅立葉邊界直方圖提取形狀特征[14]。萬(wàn)鵬等[15]把預(yù)處理后魚(yú)體的二值化圖像，按照魚(yú)的長(zhǎng)軸方向分成5段，最后用魚(yú)體各段寬度與長(zhǎng)度的比值作為魚(yú)體的形態(tài)特征。由于水下受背景干擾以及對(duì)比度差，利用Haar分類(lèi)器定位出圖像中魚(yú)頭部和尾巴，進(jìn)一步獲取藍(lán)鰭金槍魚(yú)(Thunnusthynnus)的形狀特征[16]。而ALSMADI等[17]嘗試在魚(yú)體上標(biāo)示標(biāo)志點(diǎn)，然后利用長(zhǎng)度、角度測(cè)量的局部幾何方法，根據(jù)大小和形狀尺寸提取形狀特征，也取得較好的效果。

研究表明，矩函數(shù)可以用于形狀特征提取[18]。Krawtchouk 矩是一種新的正交矩，其克服了傳統(tǒng)正交矩要進(jìn)行坐標(biāo)變換等缺陷，Krawtchouk 矩構(gòu)建的不變量可以獲得大量魚(yú)的形狀信息，具有旋轉(zhuǎn)、尺度不變性等優(yōu)勢(shì)[19]。隨著對(duì)形狀特征提取的多角度涉入，出現(xiàn)一種基于信號(hào)配準(zhǔn)和測(cè)地線形狀的識(shí)別方法，利用形狀測(cè)地線，加快了形狀特征處理的速度[20]。由于不同形狀的魚(yú)類(lèi)具有不同的聲散射特性，利用離散余弦變化來(lái)表征魚(yú)類(lèi)在形狀上的散射特征信息，實(shí)現(xiàn)魚(yú)類(lèi)形狀特征的提取[2]。圖像直方圖計(jì)算代價(jià)小，包含豐富的圖像信息，廣泛用于圖像分類(lèi)，可以利用邊緣檢測(cè)直方圖來(lái)提取形狀特征信息，使用Canny邊緣檢測(cè)算法獲取圖像中的邊緣信息，通過(guò)在形狀圖像上應(yīng)用二維傅里葉變換，在頻域中執(zhí)行通用的傅里葉描述符提取[21]。

2.2 紋理特征

紋理特征是反映圖像中同質(zhì)現(xiàn)象的視覺(jué)特征[22]，是物體表面的基本特性。紋理特征體現(xiàn)了物體表面具有緩慢變化或周期性變化的結(jié)構(gòu)組織的排列屬性[23]。在圖像分析和圖像分類(lèi)中應(yīng)用廣泛。

魚(yú)類(lèi)紋理特征提取方法有灰度共生矩陣[17]、小波變換[24]等。利用灰度共生矩陣通過(guò)計(jì)算圖像中一定方向與距離的兩個(gè)像素灰度之間的相關(guān)性，來(lái)反映圖像在方向、間隔、變化幅度及快慢上的信息[25]，具有很強(qiáng)的魯棒性[26]。因此可以借助圖像的灰度級(jí)直方圖統(tǒng)計(jì)矩，空間Gabor濾波，共生矩陣的性質(zhì)提取魚(yú)類(lèi)圖像紋理特征[27]。運(yùn)用灰度共生矩陣計(jì)算圖像中出現(xiàn)像素亮度值的不同組合的頻率[28]，對(duì)圖像進(jìn)行紋理分析，確定像素的方向、像素距離以及圖像灰度等級(jí)[29]。然而，目前已有的紋理特征提取算法大多只能提取單波段的灰度圖像的紋理特征，用于多波段彩色圖像的紋理特征提取算法很少[30]。因此在單波段的灰度圖像紋理特征提出的基礎(chǔ)上，出現(xiàn)了彩色圖像紋理特征提取的方法，該方法首先對(duì)圖像的R、G、B 3個(gè)波段分別計(jì)算出灰度共生矩陣，然后每2個(gè)波段聯(lián)合計(jì)算出灰度共生矩陣，得出9個(gè)矩陣，對(duì)這9個(gè)矩陣進(jìn)行紋理特征計(jì)算，最后得到長(zhǎng)度為9的紋理特征向量，實(shí)現(xiàn)了對(duì)彩色圖像的紋理特征提取[31]。而侯群群等[32]通過(guò)分析參數(shù)對(duì)角二階矩、熵、對(duì)比度和相關(guān)性等4個(gè)紋理特征的影響規(guī)律，給出了合理的參數(shù)取值范圍，優(yōu)化了紋理特征提取方法。

小波變換是通過(guò)伸縮平移運(yùn)算對(duì)函數(shù)多進(jìn)行所尺度細(xì)化，獲得一種自適應(yīng)時(shí)頻信號(hào)分析的方法[33]，在圖像分析中得到廣泛應(yīng)用。魚(yú)類(lèi)分類(lèi)系統(tǒng)可以利用小波變換提取魚(yú)體圖像的特征[24]。小波變換主要優(yōu)點(diǎn)是有不同的窗口，尺寸大，低頻寬，高頻窄等，從而可獲得在所有頻率范圍內(nèi)的最佳的時(shí)頻分辨率[34]。

2.3 顏色特征

圖像中的每個(gè)像素點(diǎn)都存儲(chǔ)著紅、綠、藍(lán)3個(gè)顏色分量的信息，共同構(gòu)成了該點(diǎn)的顏色信息。提取魚(yú)體圖像的顏色分量，第一步需要對(duì)整幅圖像的顏色分量進(jìn)行統(tǒng)計(jì)，計(jì)算出各個(gè)顏色分量的直方圖；第二步對(duì)顏色值大于30的像素點(diǎn)，求出均值和方差，并把計(jì)算出的均值作為圖像新的顏色值[9]。

圖像分割的質(zhì)量決定了特征提取的好壞[35]。圖像分割是把一幅圖像根據(jù)灰度、顏色、紋理和形狀等特征劃分成若干互不相交的區(qū)域，并使這些特征在同一區(qū)域內(nèi)呈現(xiàn)出相似性，不同的區(qū)域中呈現(xiàn)出差異性。在此基礎(chǔ)上，選取一種主要顏色描述符對(duì)圖像感興趣區(qū)域的顏色進(jìn)行提取的方法[36]。為了加快數(shù)據(jù)處理速度，把顏色特征直接從離散余弦變換的壓縮域中提取出來(lái)，大大節(jié)省計(jì)算的時(shí)間[37]。由于顏色特征缺乏空間信息，為了進(jìn)一步為圖像顏色特征的提取提供更多的數(shù)據(jù)支持，出現(xiàn)一種基于HSV非均勻量化分塊顏色直方圖的圖像檢索算法，用于解決基于顏色的圖像檢索問(wèn)題[38]。首先利用分塊直方圖算法把圖像分成特定的子塊，然后計(jì)算出各個(gè)子塊的顏色特征，并把含有重要空間信息的子塊設(shè)置權(quán)值，將其他子塊的權(quán)值設(shè)為零。顏色空間是一個(gè)多維空間，不同的維度表示顏色的不同組成部分，魚(yú)類(lèi)的背部和腹側(cè)著色構(gòu)成非常重要的特征，因此在顏色特征提取中，進(jìn)一步選擇了基于魚(yú)體圖像的腹側(cè)部分的特征[39]。

3 分類(lèi)方法

魚(yú)類(lèi)識(shí)別系統(tǒng)分類(lèi)方法很多，一般可分為基于特征值、相關(guān)系數(shù)、神經(jīng)網(wǎng)絡(luò)、分級(jí)分類(lèi)、支持向量機(jī)和利用多種形式的卷積神經(jīng)網(wǎng)絡(luò)對(duì)魚(yú)類(lèi)種類(lèi)進(jìn)行識(shí)別，識(shí)別的準(zhǔn)確率得到很大提高。

3.1 特征值識(shí)別

特征值識(shí)別是利用提取魚(yú)體圖像的特征值，通過(guò)特征值比較判斷，實(shí)現(xiàn)魚(yú)類(lèi)識(shí)別。基于特征值識(shí)別的水下魚(yú)類(lèi)分類(lèi)系統(tǒng)，能通過(guò)利用灰度直方圖統(tǒng)計(jì)矩提取魚(yú)類(lèi)紋理特征值，利用曲率尺度空間提取形狀特征值，實(shí)現(xiàn)魚(yú)類(lèi)識(shí)別[40]。張志強(qiáng)等[9]的魚(yú)類(lèi)識(shí)別系統(tǒng)通過(guò)提取魚(yú)體圖像各個(gè)顏色分量和長(zhǎng)短軸之比等特征值，對(duì)計(jì)算得到的圖像特征值統(tǒng)籌判斷，最后利用這些特征值構(gòu)建出魚(yú)類(lèi)識(shí)別模型，實(shí)現(xiàn)魚(yú)類(lèi)品種分類(lèi)。研究表明，可以利用聲納圖像進(jìn)行魚(yú)體的特征提取，如長(zhǎng)度、角度和魚(yú)體態(tài)分布數(shù)據(jù)等，然后根據(jù)這些特征值建立魚(yú)體數(shù)據(jù)庫(kù)與需要識(shí)別的目標(biāo)相匹配，從而實(shí)現(xiàn)了魚(yú)類(lèi)識(shí)別[41]。而利用機(jī)器視覺(jué)技術(shù)和稱(chēng)重傳感器技術(shù)，可以設(shè)計(jì)出一種對(duì)大黃魚(yú)外部形態(tài)參數(shù)特征值和重量的自動(dòng)檢測(cè)方法[42]。采用魚(yú)體背部彎曲潛能算法，計(jì)算出不同魚(yú)類(lèi)的背部彎曲潛能值的分布區(qū)間，通過(guò)對(duì)比要識(shí)別的魚(yú)類(lèi)背部彎曲潛能值區(qū)間的不同，可以實(shí)現(xiàn)對(duì)魚(yú)類(lèi)的分類(lèi)識(shí)別[43]。

3.2 相關(guān)系數(shù)

相關(guān)系數(shù)識(shí)別是計(jì)算出魚(yú)體特征數(shù)學(xué)模型的相關(guān)系數(shù)值，實(shí)現(xiàn)魚(yú)類(lèi)識(shí)別。一種基于魚(yú)體背部輪廓相關(guān)系數(shù)算法的魚(yú)類(lèi)種類(lèi)識(shí)別系統(tǒng)，首先對(duì)采集到的魚(yú)體圖像進(jìn)行預(yù)處理，然后提取魚(yú)的背部輪廓特征，建立相關(guān)的數(shù)學(xué)模型，再通過(guò)機(jī)器視覺(jué)算法提取出目標(biāo)魚(yú)類(lèi)的背部輪廓曲線，計(jì)算出魚(yú)體背部輪廓特征數(shù)學(xué)模型的相關(guān)系數(shù)值，從而實(shí)現(xiàn)了對(duì)魚(yú)類(lèi)種類(lèi)的分類(lèi)識(shí)別[10]。這種基于魚(yú)體背部輪廓相關(guān)系數(shù)算法的魚(yú)類(lèi)識(shí)別方法取得了較理想的結(jié)果，為魚(yú)類(lèi)識(shí)別提供新的思路。

3.3 分級(jí)分類(lèi)

2012年，HUANG等[44]提出一種基于分級(jí)分類(lèi)來(lái)實(shí)現(xiàn)對(duì)魚(yú)類(lèi)識(shí)別的方法，其主要步驟為：首先把樣本劃分為特征相似組，然后對(duì)子類(lèi)進(jìn)一步劃分，一般的分類(lèi)方法是把某些特征用于全部的魚(yú)類(lèi)樣本分類(lèi)，而分層方法用特定的特征對(duì)相似魚(yú)類(lèi)分類(lèi)，分層次的解決方案是利用類(lèi)之間的相關(guān)性和找到類(lèi)似的分組，特別適用在有大量的類(lèi)別的識(shí)別中。而分級(jí)分類(lèi)會(huì)引入錯(cuò)誤，出現(xiàn)錯(cuò)誤的累積，為了克服此缺陷，2014年HUANG又提出了一種排斥系統(tǒng)分類(lèi)的方法用于魚(yú)類(lèi)識(shí)別[45]。該方法主要用平衡保證優(yōu)化樹(shù)分級(jí)分類(lèi)，然后用高斯混合模型評(píng)估測(cè)試樣本的后驗(yàn)概率，拒絕低概率選項(xiàng)，結(jié)果顯示，累計(jì)錯(cuò)誤減少。2016年，HUANG進(jìn)一步提出在非約束環(huán)境中利用基于拒絕選項(xiàng)的平衡保證優(yōu)化樹(shù)，實(shí)現(xiàn)對(duì)魚(yú)類(lèi)實(shí)時(shí)識(shí)別，并在分級(jí)分類(lèi)之后應(yīng)用高斯混合模型和貝葉斯規(guī)則作為拒絕選項(xiàng)，過(guò)濾掉不確定的決策，從而更加提高魚(yú)類(lèi)識(shí)別率[46]。

對(duì)于魚(yú)類(lèi)識(shí)別的分級(jí)分類(lèi)算法，也可以通過(guò)部分分類(lèi)應(yīng)用到物體層級(jí)的每個(gè)層次，在置信度較低時(shí)，粗到細(xì)的分類(lèi)就停止，并通過(guò)閾值決策做出最優(yōu)的選擇，實(shí)現(xiàn)魚(yú)類(lèi)識(shí)別[47]。

3.4 支持向量機(jī)

支持向量機(jī)(support vector machine，SVM)是在統(tǒng)計(jì)學(xué)習(xí)理論的基礎(chǔ)上發(fā)展起來(lái)的機(jī)器學(xué)習(xí)方法，廣泛用于處理分類(lèi)和回歸問(wèn)題[48-49]。

基于紋理特征的SVM分類(lèi)器魚(yú)類(lèi)識(shí)別系統(tǒng)取得一定的成效[50]。然而基于形狀特征和紋理特征的SVM識(shí)別方法對(duì)魚(yú)類(lèi)的識(shí)別率優(yōu)于只用形狀特征或紋理特征的魚(yú)類(lèi)識(shí)別率，綜合顏色特征和紋理特征的支持向量機(jī)識(shí)別方法對(duì)魚(yú)類(lèi)識(shí)別的準(zhǔn)確率高于只用顏色特征或紋理特征的準(zhǔn)確率。因此，可以利用在顏色和紋理特征上使用多類(lèi)支持向量機(jī)的方法實(shí)現(xiàn)魚(yú)類(lèi)物種分類(lèi)[24]。通過(guò)對(duì)魚(yú)體圖像的長(zhǎng)寬比、魚(yú)頭尾的Krawtchou矩不變量形狀特征和魚(yú)體圖像的灰度共生矩陣的紋理特征的計(jì)算，然后再把形狀特征和紋理特征組合計(jì)算出高維特征向量，再通過(guò)最小二乘SVM識(shí)別出魚(yú)的種類(lèi)，最后可以利用人工蜂群算法進(jìn)一步提高識(shí)別度，取得良好的效果[7]。

杜偉東等[2]提出了一種基于SVM結(jié)合多方位聲散數(shù)據(jù)決策層融合的魚(yú)類(lèi)識(shí)別系統(tǒng)。首先利用小波包變換和離散余弦變換對(duì)多方位聲散數(shù)據(jù)進(jìn)行特征提取，再通過(guò)SVM分類(lèi)器對(duì)提取特征進(jìn)行決策，最后利用決策融合算法實(shí)現(xiàn)魚(yú)類(lèi)識(shí)別。而通過(guò)提供的視頻幀，提取出足夠大的感興趣區(qū)域，再運(yùn)用基于多類(lèi)SVM分類(lèi)器，也可以實(shí)現(xiàn)魚(yú)類(lèi)的識(shí)別[51]。研究表明，通過(guò)提取魚(yú)的6個(gè)特定形狀特征：體長(zhǎng)、臀鰭長(zhǎng)度、尾鰭長(zhǎng)度、背鰭長(zhǎng)度、骨鰭長(zhǎng)度和胸鰭長(zhǎng)度，并提取魚(yú)的紋理特征，組合成分類(lèi)依據(jù)，建立相關(guān)模型，再利用SVM算法可實(shí)現(xiàn)魚(yú)類(lèi)識(shí)別，達(dá)到很好的效果[52]。也可以利用線性SVM分類(lèi)器實(shí)現(xiàn)對(duì)魚(yú)類(lèi)的識(shí)別。首先，通過(guò)稀疏和低階矩陣分解和提取魚(yú)體的前景圖像，然后使用一個(gè)深層架構(gòu)來(lái)提取前景魚(yú)體圖像的特征，再利用空間金字塔池提取與不變量關(guān)聯(lián)大的信息，最后用線性SVM進(jìn)行分類(lèi)[53]。

3.5 神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)也稱(chēng)神經(jīng)網(wǎng)絡(luò)，是一種仿照動(dòng)物神經(jīng)網(wǎng)絡(luò)行為特征的數(shù)學(xué)模型，采用分布式并行方式對(duì)信息進(jìn)行處理[54]。把神經(jīng)網(wǎng)絡(luò)算法運(yùn)用到魚(yú)類(lèi)識(shí)別中，取得很好的效果，為魚(yú)類(lèi)識(shí)別奠定基礎(chǔ)。

基于神經(jīng)網(wǎng)絡(luò)的魚(yú)類(lèi)識(shí)別系統(tǒng)，通過(guò)提取魚(yú)的不同位置的高度和寬度特征，將測(cè)量值和魚(yú)類(lèi)種類(lèi)信息作為神經(jīng)網(wǎng)絡(luò)的輸入值，然后訓(xùn)練輸入數(shù)據(jù)，從而實(shí)現(xiàn)魚(yú)類(lèi)種類(lèi)識(shí)別。為了減少訓(xùn)練時(shí)間，引入學(xué)習(xí)率和動(dòng)量因子來(lái)消除非共線連接和節(jié)點(diǎn)[55]。2010年ALSMADI等[28]提出一種利用反向傳播分類(lèi)器來(lái)實(shí)現(xiàn)魚(yú)類(lèi)識(shí)別。首先，提取魚(yú)體圖像的顏色紋理特征，然后利用多層前反饋神經(jīng)網(wǎng)絡(luò)訓(xùn)練出分類(lèi)器，實(shí)現(xiàn)對(duì)魚(yú)類(lèi)識(shí)別。為了進(jìn)一步提高識(shí)別率，在魚(yú)體上標(biāo)示標(biāo)志點(diǎn)，利用長(zhǎng)度和角度測(cè)量方法，根據(jù)大小和形狀提取特征，利用灰色共生矩陣提取紋理特征，再利用反向傳播神經(jīng)網(wǎng)絡(luò)識(shí)別出魚(yú)類(lèi)種類(lèi)[56]。對(duì)于提取的特征量，不僅局限于形狀、顏色和紋理特征。利用小波包多尺度信息熵的提取作為特征量，輸入反向傳播神經(jīng)網(wǎng)絡(luò)分類(lèi)器，對(duì)不同形狀的魚(yú)類(lèi)進(jìn)行識(shí)別，識(shí)別率也比較理想[57]。

近年來(lái)，卷積神經(jīng)網(wǎng)絡(luò)[58](convolutional neural networks，CNN)在圖像分類(lèi)領(lǐng)域，取得很大突破。采用高維內(nèi)部表示的深層CNN對(duì)于特征提取的工作有限，所以采取減少內(nèi)部全連接層的維度，結(jié)合層限制再進(jìn)行訓(xùn)練，然后使用高斯混合模型對(duì)從修改層獲得的低維度特征進(jìn)行建模，最后實(shí)現(xiàn)對(duì)魚(yú)類(lèi)的識(shí)別[59]。而通過(guò)高精度快速R-CNN(regions with convolutional neural network features)網(wǎng)絡(luò)，來(lái)實(shí)現(xiàn)對(duì)魚(yú)類(lèi)識(shí)別，也獲得很好的效果[60]。由于采用單一神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型進(jìn)行魚(yú)類(lèi)識(shí)別，識(shí)別率不高，因此通過(guò)魚(yú)類(lèi)檢測(cè)的二元SVM分類(lèi)器和用于魚(yú)類(lèi)分類(lèi)的多類(lèi)SVM，并提取CNN特征，實(shí)現(xiàn)魚(yú)類(lèi)分類(lèi)，獲得很高的識(shí)別率[61]。張俊龍等[62]提出基于一種深度學(xué)習(xí)的海底觀測(cè)視頻中魚(yú)類(lèi)識(shí)別方法，首先利用背景差分法過(guò)濾掉不包含魚(yú)類(lèi)的圖片，然后基于暗通道先驗(yàn)算法對(duì)魚(yú)類(lèi)圖片進(jìn)行預(yù)處理，最后利用權(quán)重化特征的卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建出魚(yú)類(lèi)識(shí)別模型，為惡劣的海底環(huán)境下的魚(yú)類(lèi)識(shí)別奠定了基礎(chǔ)。

3.6 分類(lèi)方法對(duì)比

基于機(jī)器視覺(jué)技術(shù)的魚(yú)類(lèi)識(shí)別系統(tǒng)，可用的分類(lèi)方法很多，針對(duì)不同的魚(yú)類(lèi)及環(huán)境要求，會(huì)有不同的識(shí)別效果和優(yōu)缺點(diǎn)。特征值識(shí)別是利用提取魚(yú)體圖像的相關(guān)特征值，通過(guò)特征值比較判斷，實(shí)現(xiàn)魚(yú)類(lèi)識(shí)別，該算法計(jì)算簡(jiǎn)單，有很高的實(shí)用性，對(duì)于不同生長(zhǎng)期的魚(yú)類(lèi)，形狀、顏色或紋理特征值不同，容易引起誤判。提取顏色特征時(shí)由于光照或拍攝角度的變化，會(huì)造成特征值計(jì)算誤差增大，影響最終的識(shí)別效果。利用相關(guān)系數(shù)識(shí)別是先計(jì)算出魚(yú)體特征的相關(guān)系數(shù)值，通過(guò)判斷實(shí)現(xiàn)魚(yú)類(lèi)識(shí)別，該算法簡(jiǎn)單，有很強(qiáng)的可操作性，識(shí)別率較高，為魚(yú)類(lèi)識(shí)別提供了新思路，但是該方法研究基礎(chǔ)薄弱不深入，應(yīng)用范圍也很窄。而分級(jí)分類(lèi)方法算法相對(duì)成熟許多，但運(yùn)算量很大，計(jì)算復(fù)雜，也容易引起錯(cuò)誤的累積，不過(guò)經(jīng)過(guò)多年的技術(shù)迭代，錯(cuò)誤累積的缺陷得到很大的優(yōu)化。支持向量機(jī)靈活多變，應(yīng)用范圍廣，泛化能力強(qiáng)，識(shí)別率也很高，整體效果很好，不足之處在于核函數(shù)的最優(yōu)參數(shù)很難尋找，參數(shù)調(diào)試也很困難。神經(jīng)網(wǎng)絡(luò)具備自主學(xué)習(xí)能力，具有較好的魯棒性，能很好的抵御外界的干擾，但很難獲取大量的訓(xùn)練數(shù)據(jù)，隨著神經(jīng)網(wǎng)絡(luò)層數(shù)增多，計(jì)算復(fù)雜度很高，訓(xùn)練出模型的周期很長(zhǎng)，不適合實(shí)時(shí)識(shí)別研究，而且訓(xùn)練出的分類(lèi)模型容易出現(xiàn)過(guò)擬合現(xiàn)象，影響識(shí)別效果和精度。

表1 分類(lèi)方法對(duì)比Tab.1 Comparison of classification methods

4 問(wèn)題與展望

運(yùn)用機(jī)器視覺(jué)技術(shù)可以準(zhǔn)確地對(duì)常見(jiàn)的魚(yú)類(lèi)進(jìn)行識(shí)別，具有較強(qiáng)的實(shí)用價(jià)值，但仍然存在一些不足之處：

4.1 環(huán)境因素影響

(1)圖像采集過(guò)程會(huì)受到各種噪聲、光照環(huán)境、拍攝角度以及圖像失真和像差的影響，會(huì)造成提取的顏色特征產(chǎn)生偏差，降低識(shí)別精度[63]。

(2)算法試驗(yàn)的魚(yú)類(lèi)種類(lèi)有限，缺乏對(duì)其他魚(yú)類(lèi)的考慮。而且，對(duì)于不同生長(zhǎng)期的魚(yú)類(lèi)，不同種類(lèi)的魚(yú)類(lèi)，形體可能相似，會(huì)引起誤判。例如600 g以下鯽魚(yú)和鯉魚(yú)形體較為相似，識(shí)別起來(lái)困難，會(huì)造成誤判[64]。

(3)死亡時(shí)間對(duì)于部分魚(yú)體表面顏色影響較大。例如鯽魚(yú)，當(dāng)死亡較長(zhǎng)時(shí)間后，其魚(yú)體表面的黑色很容易褪去，整體偏白，導(dǎo)致藍(lán)色分量值偏高，容易引起誤判。

(4)實(shí)時(shí)檢測(cè)獲取魚(yú)體圖像時(shí)，存在一些動(dòng)態(tài)形變，增加了基于形狀特征魚(yú)類(lèi)識(shí)別的困難[6]。

(5)海洋環(huán)境復(fù)雜，對(duì)魚(yú)類(lèi)識(shí)別方法要求比較苛刻。魚(yú)類(lèi)在大海中游動(dòng)，光照變化頻繁，水體環(huán)境復(fù)雜，因此在開(kāi)放水域的魚(yú)類(lèi)識(shí)別是具有挑戰(zhàn)性的。利用機(jī)器視覺(jué)技術(shù)辨別魚(yú)類(lèi)種類(lèi)受環(huán)境因素限制[39]，并且易受光照參數(shù)的影響[62]。

4.2 軟件技術(shù)原因

(1) 數(shù)字圖像處理中的失真、噪聲、分割誤差、重疊和遮擋會(huì)影響對(duì)魚(yú)類(lèi)圖像信息的捕捉[65]。

(2) 圖像分割存在技術(shù)困難，因此圖像分割可能會(huì)變得不可靠或完全失敗[56]。

(3) 若想獲得魚(yú)類(lèi)的二維圖像，需處理大量信息，對(duì)計(jì)算機(jī)的計(jì)算速度存儲(chǔ)容量要求較高。

近年來(lái)，機(jī)器視覺(jué)技術(shù)在各個(gè)領(lǐng)域得到越來(lái)越多的關(guān)注。利用機(jī)器視覺(jué)技術(shù)和傳統(tǒng)魚(yú)類(lèi)識(shí)別相結(jié)合，極大地提高了魚(yú)類(lèi)識(shí)別的準(zhǔn)確率，克服了傳統(tǒng)的人工操作的勞動(dòng)強(qiáng)度大、識(shí)別率不高和容易造成魚(yú)體傷害等缺點(diǎn)。魚(yú)類(lèi)識(shí)別技術(shù)是漁業(yè)科學(xué)研究的基礎(chǔ)，技術(shù)的成熟程度會(huì)影響整個(gè)漁業(yè)科學(xué)研究結(jié)果的準(zhǔn)確性。魚(yú)類(lèi)識(shí)別技術(shù)可以輔助海洋特定魚(yú)類(lèi)物種的分布調(diào)查統(tǒng)計(jì)，逐漸成為漁業(yè)資源評(píng)估中的重要手段之一。目前的海洋調(diào)查方式有航空觀測(cè)、衛(wèi)星觀測(cè)、拖網(wǎng)調(diào)查、潛水調(diào)查等，但都無(wú)法詳細(xì)捕捉到魚(yú)類(lèi)行為，且收集的數(shù)據(jù)量少，不能完全描述所觀察到的環(huán)境狀況。機(jī)器視覺(jué)技術(shù)的應(yīng)用，可以獲取魚(yú)類(lèi)相應(yīng)的狀態(tài)、位置和方向等信息，使收集的數(shù)據(jù)量增加，提高觀察的魚(yú)類(lèi)環(huán)境狀況判斷的準(zhǔn)確性[66]。

魚(yú)體圖像特征提取和分類(lèi)識(shí)別有許多算法。在實(shí)際的操作中，對(duì)于魚(yú)類(lèi)識(shí)別系統(tǒng)的構(gòu)建，不能僅局限于一種算法的使用。例如，對(duì)于形狀、紋理和顏色特征的提取，如果使用單一的屬性，描述圖像的特征，不足以達(dá)到精準(zhǔn)識(shí)別的要求。而形狀、顏色和紋理特征之間的關(guān)系至關(guān)重要，特別是顏色和紋理之間[67]。但對(duì)于特征提取又不局限于形狀、紋理和顏色特征，也可以利用自動(dòng)遠(yuǎn)程聲學(xué)實(shí)現(xiàn)魚(yú)類(lèi)識(shí)別[67]。對(duì)于分類(lèi)方法可以多種算法組合使用，利用SVM和CNN相結(jié)合實(shí)現(xiàn)對(duì)魚(yú)類(lèi)識(shí)別，效果很好[61]。除本文介紹的比較常用的分類(lèi)方法外，還有一些分類(lèi)方法也可用于魚(yú)類(lèi)識(shí)別，如利用貝葉斯分類(lèi)器來(lái)實(shí)現(xiàn)魚(yú)類(lèi)分類(lèi)[69]等。因此，魚(yú)類(lèi)識(shí)別算法的使用不局限于一種，可以是多種組合的形式。隨著機(jī)器視覺(jué)技術(shù)的發(fā)展，一些新研發(fā)的算法也會(huì)運(yùn)用到魚(yú)類(lèi)識(shí)別中，使魚(yú)類(lèi)識(shí)別的魯棒性和識(shí)別率提高。未來(lái)，基于機(jī)器視覺(jué)的魚(yú)類(lèi)識(shí)別系統(tǒng)，會(huì)對(duì)整個(gè)漁業(yè)養(yǎng)殖體系以及人們的生產(chǎn)生活產(chǎn)生深遠(yuǎn)的影響。