何沛桐 張建華,2* 張 凝 夏 雪 柴秀娟

(1.中國農(nóng)業(yè)科學(xué)院 農(nóng)業(yè)信息研究所/農(nóng)業(yè)農(nóng)村部農(nóng)業(yè)大數(shù)據(jù)重點(diǎn)實(shí)驗(yàn)室,北京 100081;2.中國農(nóng)業(yè)科學(xué)院國家南繁研究院,海南 三亞 572024)

我國是世界畜牧業(yè)發(fā)展大國之一,肉、蛋總產(chǎn)量更是位居世界第一位[1]。據(jù)統(tǒng)計(jì),2021年我國生豬出欄量占全球生豬出欄量50%以上,蛋雞存欄量占全球蛋雞存欄量34.8%[2]。近年來,隨著我國優(yōu)供給、強(qiáng)安全、保生態(tài)等政策出臺(tái),畜牧業(yè)在加快生產(chǎn)方式的轉(zhuǎn)變,規(guī)?；?、集約化、標(biāo)準(zhǔn)化、智能化養(yǎng)殖逐漸成為畜禽養(yǎng)殖的發(fā)展趨勢。隨著養(yǎng)殖密度的不斷增大,畜禽疫病問題越來越凸顯,據(jù)評(píng)估2018年爆發(fā)的非洲豬瘟造成的經(jīng)濟(jì)損失高達(dá)1萬億元[3],其帶來的影響至今仍在繼續(xù);據(jù)中國畜牧業(yè)協(xié)會(huì)調(diào)查,2013年上半年爆發(fā)的H7N9禽流感對(duì)家禽養(yǎng)殖業(yè)的直接經(jīng)濟(jì)損失超過600億元[4]。同時(shí),隨著人們對(duì)食品安全、生態(tài)環(huán)境、綠色健康的重視,畜禽健康養(yǎng)殖、福利養(yǎng)殖、精準(zhǔn)養(yǎng)殖生產(chǎn)的高端畜禽產(chǎn)品越來越受到消費(fèi)者青睞。因此,如何利用信息技術(shù)手段提升畜禽養(yǎng)殖的信息化、數(shù)字化、智能化水平,形成智慧養(yǎng)殖技術(shù)體系,是當(dāng)前養(yǎng)殖業(yè)轉(zhuǎn)型升級(jí)和提質(zhì)增效的關(guān)鍵。

目前在畜禽養(yǎng)殖場中,畜禽的個(gè)體檢測、體溫檢測、疫病診斷、異常行為識(shí)別與體尺體重評(píng)估主要是以專業(yè)巡檢員在養(yǎng)殖舍內(nèi)不停巡檢為手段,這種方式存在工作量大、主觀性強(qiáng)、環(huán)境惡劣、存在交叉感染風(fēng)險(xiǎn)等情況[5]。同時(shí),在傳感器、RFID、可穿戴設(shè)備、智能設(shè)備等技術(shù)應(yīng)用下,基于物聯(lián)網(wǎng)的智慧養(yǎng)殖技術(shù)也得到較大的發(fā)展,并在規(guī)?；B(yǎng)殖場得到應(yīng)用[6],如溫濕度等傳感器在養(yǎng)殖舍的布設(shè),可多維度感知畜禽生長環(huán)境;智能控制設(shè)備的應(yīng)用,實(shí)現(xiàn)了養(yǎng)殖舍環(huán)境的最優(yōu)控制;RFID耳標(biāo)的佩戴可使畜禽個(gè)體身份智能識(shí)別;可穿戴設(shè)備的使用促進(jìn)了畜禽個(gè)體行為和生命體征信息的收集,用于畜禽個(gè)體發(fā)情和疾病的預(yù)測預(yù)警;智能化稱重設(shè)備的應(yīng)用使得畜禽可分群管理;精準(zhǔn)飼喂站的應(yīng)用可根據(jù)畜禽個(gè)體信息進(jìn)行精細(xì)飼喂?；谖锫?lián)網(wǎng)的智慧養(yǎng)殖技術(shù)在養(yǎng)殖場的應(yīng)用,較大提升了畜禽養(yǎng)殖效率,節(jié)約了養(yǎng)殖成本,但也存在一些問題,如基于物聯(lián)網(wǎng)的智慧養(yǎng)殖技術(shù)需要在畜禽個(gè)體耳朵上佩戴RFID標(biāo)簽、腿上捆綁電子計(jì)步器、脖子或腹部上佩戴可穿戴設(shè)備等方式獲取畜禽個(gè)體的身份、生命體征與行為信息,這種侵入式或捆綁式方法,容易引起畜禽個(gè)體的不適、應(yīng)激,容易滋生細(xì)菌引起并發(fā)癥,同時(shí)設(shè)備成本和運(yùn)維成本高昂,使得畜禽養(yǎng)殖場難以承擔(dān)。

隨著以深度學(xué)習(xí)為引領(lǐng)的人工智能、機(jī)器視覺等新一代信息技術(shù)的發(fā)展,與畜禽養(yǎng)殖業(yè)的融合越來越緊密,利用視覺檢測、視覺感知、視覺識(shí)別技術(shù),構(gòu)建畜禽養(yǎng)殖的“智慧眼睛”和“智慧大腦”,以圖像數(shù)據(jù)、視頻數(shù)據(jù)為驅(qū)動(dòng)力,可以全面感知養(yǎng)殖場中畜禽個(gè)體的數(shù)量、身份、體尺體重、體溫、行為、疫病等信息,不僅能及時(shí)對(duì)畜禽疫病進(jìn)行早期預(yù)警,降低畜禽養(yǎng)殖過程中因?yàn)橐卟≡斐傻慕?jīng)濟(jì)損失,還能全方面提升畜禽養(yǎng)殖效率,改善畜禽產(chǎn)品的品質(zhì),改變畜禽養(yǎng)殖行業(yè)的生產(chǎn)方式。以深度學(xué)習(xí)網(wǎng)絡(luò)為基礎(chǔ)的智慧養(yǎng)殖模型,形成了畜禽行為、體尺體重的多維智能感知器,為智慧養(yǎng)殖提供決策支持。本文對(duì)近年來基于視覺感知的畜禽智慧養(yǎng)殖管理與疫病診斷關(guān)鍵技術(shù)進(jìn)行了綜述,分別從畜禽個(gè)體檢測、畜禽身份識(shí)別、畜禽體尺體重評(píng)估、畜禽體溫檢測、畜禽行為識(shí)別、畜禽疫病識(shí)別等6個(gè)方面的研究進(jìn)展進(jìn)行闡述,總結(jié)出智慧養(yǎng)殖中畜禽智慧養(yǎng)殖管理與疫病診斷關(guān)鍵技術(shù)目前面臨的挑戰(zhàn),并對(duì)未來的發(fā)展趨勢進(jìn)行了展望。

1 畜禽個(gè)體檢測

畜禽個(gè)體檢測是指利用深度學(xué)習(xí),在有足夠畜禽圖像數(shù)據(jù)的情況下進(jìn)行模型訓(xùn)練,并在圖像中的畜禽輪廓上分別生成最小外接矩陣框,框定畜禽個(gè)體,從而實(shí)現(xiàn)養(yǎng)殖場中的畜禽個(gè)體目標(biāo)檢測[7]。畜禽個(gè)體檢測是實(shí)現(xiàn)畜禽疫病智能檢測的主要內(nèi)容和關(guān)鍵,其檢測的準(zhǔn)確性將直接影響體尺評(píng)估、體溫檢測、行為識(shí)別等后序算法的性能。本文對(duì)畜禽個(gè)體檢測方法進(jìn)行歸納總結(jié)(表1)。

表1 近年基于深度學(xué)習(xí)的畜禽個(gè)體檢測方法研究進(jìn)展Table 1 Research progress of livestock and poultry individual detection methods based on deep learning in recent years

早期畜禽個(gè)體檢測算法大多采用滑動(dòng)窗口策略選出候選區(qū)域,然后提取候選區(qū)域特征,最后使用分類器進(jìn)行分類,從而獲得目標(biāo)區(qū)域,如Viola-Jones檢測、HOG檢測和有關(guān)可變形部件模型DPM算法等。由于滑動(dòng)窗口方法候選區(qū)域的特征提取采用手工方式,遍歷一遍窗口耗時(shí)長,算法的準(zhǔn)確性、魯棒性不強(qiáng)。近年來,隨著深度學(xué)習(xí)的發(fā)展,基于深度學(xué)習(xí)的R-CNN系列、SSD、YOLO以及CenterNet等新檢測算法優(yōu)于基于滑動(dòng)窗口的畜禽個(gè)體目標(biāo)檢測算法?；谏疃葘W(xué)習(xí)的目標(biāo)檢測框架可以分為二階檢測器和一階檢測器兩大類。

基于二階檢測器的畜禽個(gè)體檢測,首先在整個(gè)圖像范圍內(nèi)生成候選框,再在候選框區(qū)域內(nèi)二次修正回歸得到畜禽個(gè)體的檢測結(jié)果,具有較高的準(zhǔn)確率,但是時(shí)效性相對(duì)較差,代表算法有R-CNN系列以及SPPnet等。Yang等[8]首先將目標(biāo)檢測算法應(yīng)用于畜禽的個(gè)體檢測,利用Faster R-CNN對(duì)500張可見光圖像中的生豬進(jìn)行目標(biāo)檢測。李昊玥[9]對(duì)Mask R-CNN進(jìn)行改進(jìn),對(duì)其中的特征提取網(wǎng)絡(luò)和損失函數(shù)進(jìn)行了優(yōu)化(圖1),提升了網(wǎng)絡(luò)對(duì)于奶牛圖像識(shí)別的性能和模型的準(zhǔn)確率,相較于原始的Mask R-CNN算法其平均精度提升了3.28%,更加適合奶牛個(gè)體檢測任務(wù)。高云等[10]針對(duì)實(shí)際養(yǎng)殖環(huán)境中畜禽之間可能出現(xiàn)的相互遮擋、粘連等問題,設(shè)計(jì)了雙金字塔網(wǎng)絡(luò)對(duì)群養(yǎng)環(huán)境條件下的生豬進(jìn)行個(gè)體識(shí)別,有效解決了顏色相近、個(gè)體相似的生豬粘連問題。

圖1 利用二階段檢測方法Mask R-CNN網(wǎng)絡(luò)對(duì)奶牛進(jìn)行個(gè)體檢測結(jié)構(gòu)圖[9]Fig.1 The structure chart of individual detection of dairy cows using the two-stage detection method Mask R-CNN network[9]

基于一階段檢測器的畜禽個(gè)體檢測,則是不再單獨(dú)生成候選框,而是直接產(chǎn)生畜禽個(gè)體的類別概率和坐標(biāo)值,很好地滿足了時(shí)效性,但是在檢測準(zhǔn)確率方面較二階段目標(biāo)檢測算法而言略有下降,代表算法有YOLO系列以及SSD算法等。何東健等[11]對(duì)YOLOv3算法進(jìn)行改進(jìn),使其更加適應(yīng)復(fù)雜環(huán)境下的奶牛個(gè)體檢測,其識(shí)別準(zhǔn)確率明顯優(yōu)于YOLOv3模型和Faster R-CNN模型,且速度是后者的8倍。燕紅文等[17]將注意力機(jī)制融入到特征提取過程,將特征金字塔注意力與Tiny-YOLO進(jìn)行結(jié)合,實(shí)現(xiàn)了對(duì)不同環(huán)境下的群養(yǎng)生豬進(jìn)行多目標(biāo)檢測。黃靜和張健[12]將金字塔網(wǎng)絡(luò)和注意力機(jī)制融入SSD算法,解決了在光照不足的養(yǎng)殖環(huán)境下對(duì)豬只個(gè)體的目標(biāo)檢測。易詩等[13]對(duì)兔子的紅外熱圖像進(jìn)行目標(biāo)檢測,結(jié)合改進(jìn)的YOLOv3算法,實(shí)現(xiàn)對(duì)兔子進(jìn)行夜間實(shí)時(shí)監(jiān)控。房俊龍等[14]在CenterNet中加入特征金字塔結(jié)構(gòu)(圖2),不僅進(jìn)一步加強(qiáng)了模型的特征提取能力,還更好地解決了實(shí)際養(yǎng)殖環(huán)境中豬只個(gè)體之間存在大范圍遮擋的問題。

目前,部分生豬、奶牛、肉牛等養(yǎng)殖基地逐漸將基于深度學(xué)習(xí)方法的個(gè)體檢測技術(shù)應(yīng)用于實(shí)際養(yǎng)殖環(huán)境,用于畜禽數(shù)量動(dòng)態(tài)統(tǒng)計(jì),以及出欄畜禽的精準(zhǔn)計(jì)數(shù)等任務(wù)[15]。隨著養(yǎng)殖規(guī)模不斷擴(kuò)大,群體飼喂畜禽個(gè)體越來越密集,使得一定空間條件下飼喂畜禽個(gè)體增多,畜禽個(gè)體之間常常出現(xiàn)遮擋、粘連、重疊、擁擠現(xiàn)象;同時(shí),畜禽養(yǎng)殖舍內(nèi)光照不足、環(huán)境復(fù)雜、養(yǎng)殖條件各異,使得在高密集、復(fù)雜環(huán)境條件下的畜禽個(gè)體目標(biāo)檢測難度增大。如何提高存在畜禽相互遮擋、高密度群體養(yǎng)殖、畜禽養(yǎng)殖環(huán)境光照不足、養(yǎng)殖環(huán)境背景復(fù)雜情況下的檢測準(zhǔn)確率是畜禽個(gè)體檢測面臨的挑戰(zhàn)。

2 畜禽身份識(shí)別

畜禽身份識(shí)別是實(shí)現(xiàn)精準(zhǔn)畜禽疫病檢測與預(yù)警的關(guān)鍵。近年來,隨著養(yǎng)殖規(guī)模的擴(kuò)大,生豬、肉牛、奶牛等大型牲畜個(gè)體化管理和個(gè)體化信息記錄也成為了大規(guī)模養(yǎng)殖的核心需求。傳統(tǒng)的畜禽個(gè)體身份識(shí)別主要依靠佩戴耳標(biāo)或RFID標(biāo)識(shí)方式,該方式不僅勞動(dòng)成本高、效率低下,且容易造成畜禽個(gè)體的應(yīng)激反應(yīng)并且容易滋生細(xì)菌引起并發(fā)癥。因此,高精度、智能化、非接觸式的畜禽個(gè)體身份識(shí)別方法對(duì)智慧養(yǎng)殖有著非常重要的意義。本文總結(jié)了一些基于機(jī)器視覺技術(shù)的畜禽身份識(shí)別方法(表2)。畜禽的身份識(shí)別主要通過識(shí)別畜禽表型特征實(shí)現(xiàn),主要通過畜禽面部識(shí)別進(jìn)行畜禽個(gè)體身份確認(rèn)。隨著機(jī)器學(xué)習(xí)以及深度學(xué)習(xí)的興起,面部識(shí)別已取得了廣泛成功。將面部識(shí)別技術(shù)應(yīng)用到動(dòng)物身份識(shí)別任務(wù)中可以明顯提高識(shí)別的準(zhǔn)確性,同時(shí)這種高精度、智能化、非接觸式的識(shí)別方式也可以和信息管理與檢測結(jié)合起來顯著降低智慧養(yǎng)殖的成本。本文主要介紹利用面部識(shí)別進(jìn)行畜禽身份識(shí)別的方法。Kumar等[21]就以肉牛的口鼻點(diǎn)作為身份識(shí)別的關(guān)鍵,它們利用深度信念網(wǎng)絡(luò)進(jìn)行肉牛的口鼻特征提取,再用單次相似性技術(shù)進(jìn)行肉牛個(gè)體的識(shí)別,其身份識(shí)別正確率可達(dá)98.99%。燕紅文[22]利用豬臉對(duì)生豬身份進(jìn)行識(shí)別,將Attention-AlexNet與LBP方法結(jié)合,其精確度為98.11%。李德平[23]對(duì)AlexNet網(wǎng)絡(luò)進(jìn)行改進(jìn),并用改進(jìn)后的網(wǎng)絡(luò)通過生豬背部進(jìn)行識(shí)別,得到的豬只身份識(shí)別結(jié)果達(dá)到 94.13%。何嶼彤等[24]構(gòu)建了YOLOv3-DB-SPP模型,實(shí)現(xiàn)生豬多個(gè)體90.18%的識(shí)別精度。戴百生等[25]利用改進(jìn)的ShuffleNet-v2對(duì)4 000張生豬臉部進(jìn)行識(shí)別,其準(zhǔn)確率可達(dá)96.98%。

表2 近年基于深度學(xué)習(xí)方法的畜禽身份識(shí)別技術(shù)研究進(jìn)展Table 2 Research progress of livestock and poultry identification technology based on deep learning method in recent years

利用面部識(shí)別對(duì)畜禽進(jìn)行身份確認(rèn)無疑是最理想的方法,因此套用人臉識(shí)別已有的模型和方法最為常見。然而,人臉識(shí)別技術(shù)的成功背后是龐大的人臉數(shù)據(jù)集,相比之下,帶有標(biāo)簽的畜禽面部圖像數(shù)據(jù)集相對(duì)較少,如何利用有限的畜禽面部數(shù)據(jù)達(dá)到最好的識(shí)別效果是當(dāng)前的難點(diǎn)。為解決上述問題,2020年中國農(nóng)業(yè)科學(xué)院農(nóng)業(yè)信息研究所柴秀娟團(tuán)隊(duì)從506頭生豬上收集了3 040個(gè)標(biāo)記的豬臉數(shù)據(jù),構(gòu)建生豬臉部圖像視頻數(shù)據(jù)集,并利用遷移學(xué)習(xí)方法將畜禽數(shù)據(jù)調(diào)整到預(yù)先訓(xùn)練好的人臉識(shí)別網(wǎng)絡(luò)來更好地實(shí)現(xiàn)種間知識(shí)轉(zhuǎn)移,在此理念基礎(chǔ)上設(shè)計(jì)了一種殘差種間同變網(wǎng)絡(luò)RiseNet[26](圖3),并根據(jù)畜禽面部結(jié)構(gòu)特征,將畜禽的面部分為上下兩部分,能讓畜禽面部分布更加貼近人臉的分布從而實(shí)現(xiàn)對(duì)畜禽面部更好的識(shí)別。利用RiseNet的殘差種間同變模塊從人類面部的上半部分學(xué)習(xí)畜禽上半部臉的種間特征,對(duì)于下半部分臉則是使用ImageNet上預(yù)先訓(xùn)練的網(wǎng)絡(luò)進(jìn)行特征提取,最后通過加權(quán)和降維來有效融合上下面部特征,RiseNet在生豬面部的數(shù)據(jù)上取得了99.5%的準(zhǔn)確率,相關(guān)成果發(fā)表在2020ECCV上。2022年,該團(tuán)隊(duì)又將目光繼續(xù)投向了基于集合的面部識(shí)別?；跓o約束的面部識(shí)別相比于單幀圖像識(shí)別能夠在其單個(gè)集合內(nèi)存在巨大方差而更加貼近真實(shí)環(huán)境,更加貼合實(shí)際養(yǎng)殖環(huán)境中的情況[27]。該團(tuán)隊(duì)將集合的加權(quán)聚合轉(zhuǎn)換為一個(gè)圖神經(jīng)網(wǎng)絡(luò)的節(jié)點(diǎn)權(quán)重預(yù)測問題,采用了孿生網(wǎng)絡(luò)的結(jié)構(gòu),用VGGface2作為圖像級(jí)特征提取器,建立對(duì)比圖卷積塊結(jié)構(gòu),提出MG-GCN模型。該模型注重低質(zhì)量圖像在極端數(shù)據(jù)中的作用,更加關(guān)注具有對(duì)比性的信息,并在1 000對(duì)生豬面部數(shù)據(jù)中取得了95.6%的準(zhǔn)確度。

圖3 通過面部識(shí)別對(duì)生豬進(jìn)行身份識(shí)別的網(wǎng)絡(luò)RiseNet[26]Fig.3 RiseNet for identifying pigs through face recognition[26]

圖4 類YOLOv3白羽雞溫度敏感區(qū)域檢測網(wǎng)絡(luò)結(jié)構(gòu)圖[67]Fig.4 YOLOv3-like network structure diagram for detecting temperature sensitive areas in white feather chickens[67]

通過畜禽面部識(shí)別來進(jìn)行對(duì)于畜禽的身份識(shí)別依然是主流。但直接將人臉識(shí)別技術(shù)遷移到畜禽數(shù)據(jù)中,很難在實(shí)際的畜牧養(yǎng)殖場景中實(shí)現(xiàn)畜禽個(gè)體身份識(shí)別的應(yīng)用。與人臉識(shí)別不同的是,智慧養(yǎng)殖中的畜禽面部識(shí)別有數(shù)據(jù)量小以及識(shí)別場景復(fù)雜的特點(diǎn),神經(jīng)網(wǎng)絡(luò)難以從較小的數(shù)據(jù)中學(xué)習(xí)出緊湊的特征分布,識(shí)別場景的無約束也會(huì)進(jìn)一步增加數(shù)據(jù)的方差。因此,構(gòu)建大規(guī)模的公共畜禽身份識(shí)別圖像數(shù)據(jù)集非常必要,同時(shí)如何利用小樣本特征增廣的思想為畜禽面部識(shí)別合成一個(gè)更強(qiáng)的特征空間成為重要研究方向。畜禽面部與人臉的結(jié)構(gòu)差異會(huì)影響方法的性能,針對(duì)單幀的畜禽面部數(shù)據(jù)設(shè)計(jì)無約束方法也是有意義的研究方向。畜禽面部的屬性分析能為識(shí)別任務(wù)提供明確的語義幫助,無監(jiān)督的畜禽面部屬性的標(biāo)簽獲取與分析,將是未來識(shí)別方向之一。目前,在實(shí)際的畜禽養(yǎng)殖環(huán)境中,大多養(yǎng)殖場依賴于RFID耳標(biāo)的使用對(duì)畜禽身份進(jìn)行識(shí)別。通過深度學(xué)習(xí)方法對(duì)畜禽面部的識(shí)別從而實(shí)現(xiàn)畜禽身份智能識(shí)別目前只在小部分養(yǎng)殖環(huán)境進(jìn)行示范應(yīng)用[28],在技術(shù)更加成熟之后將會(huì)有更大的應(yīng)用空間。

3 畜禽體尺體重評(píng)估

畜禽體尺體重評(píng)估是畜禽疫病診斷與健康評(píng)估的重要手段。在畜禽生長階段,實(shí)時(shí)測量畜禽體尺、體重等信息可以監(jiān)測畜禽的生長、日增重、耗料增重比等指標(biāo),也可及時(shí)發(fā)現(xiàn)潛在疾病。體重、體尺信息是畜禽育種選種、考察品種繁殖性能的重要評(píng)價(jià)指標(biāo)之一。目前傳統(tǒng)的體尺測量方法是使用卡尺、皮尺等工具進(jìn)行人工測量,工作量大且測量準(zhǔn)確度受人為主觀性影響較大。而傳統(tǒng)的體重測量方法也是依靠人工方式,將畜禽趕上秤,稱量體重,不僅人工工作量和時(shí)間成本較高,還會(huì)對(duì)畜禽造成很大的應(yīng)激,嚴(yán)重影響畜禽正常生長,進(jìn)而導(dǎo)致畜禽的生產(chǎn)性能下降[39]。常見的測量畜禽體重的設(shè)備為電子秤,盡管電子設(shè)備可以較為精準(zhǔn)地測量畜禽的體重,但是由于稱重時(shí)畜禽個(gè)體的晃動(dòng)等外界因素,會(huì)導(dǎo)致較大的測量誤差,同時(shí)稱重很大程度不可避免畜禽個(gè)體的應(yīng)激反應(yīng)。早期的一些研究通過直接確定畜禽骨骼尺寸來對(duì)其體尺體重進(jìn)行計(jì)算,Cloete等[40]利用X射線成像技術(shù)測量畜禽骨骼尺寸,盡管實(shí)現(xiàn)了非接觸式測量,盡可能最大程度上避免了畜禽應(yīng)激的情況,但是這種技術(shù)存在著應(yīng)用環(huán)境要求較高、可能對(duì)畜禽本身造成損害的缺陷。利用機(jī)器視覺的畜禽體尺體重評(píng)估則可以完全避免上述問題。本文對(duì)于基于機(jī)器學(xué)習(xí)的畜禽體尺體重評(píng)估方法進(jìn)行總結(jié)(表3)。

表3 畜禽體尺體重評(píng)估研究進(jìn)展Table 3 Advances in livestock body condition assessment research

畜禽體尺體重評(píng)估一般包括兩部分,第一部分是通過圖像得出畜禽的身長、身高等指標(biāo),第二部分是通過已經(jīng)測量的畜禽身體指標(biāo)利用校正模型得到畜禽的體重。從整體上看,畜禽體尺體重評(píng)估逐漸從單目視覺成像向雙目視覺成像發(fā)展。岳偉[41]用Sobel-Hough直線提取模型和閾值分割等方法對(duì)肉羊進(jìn)行體尺體重和體重評(píng)估根據(jù)小孔成像原理,糾正背景板代替羊體產(chǎn)生的偏差,得到2.98%的平均誤差。江杰等[42]采用D-P算法和海倫-秦九韶公式尋找曲線曲率最大的點(diǎn)作為臀部測點(diǎn),在尋找到的關(guān)鍵幀的基礎(chǔ)上,尋找肩胛點(diǎn),結(jié)合空間分辨率計(jì)算出羊體尺參數(shù)。試驗(yàn)結(jié)果表明,該方法可以準(zhǔn)確提取關(guān)鍵幀,體尺測量平均誤差不超過3%。武堯[43]利用4個(gè)攝像頭通過正交方式安裝,用左、右兩側(cè)相機(jī)采集的數(shù)據(jù)進(jìn)行互補(bǔ),并得出了母豬體重預(yù)測公式:

y=0.638 8x1+0.574 21x2+0.138 1x3+
0.121 8x4+0.020 9x5+0.018 7x6+0.147 8x7

(1)

式中:x1～x7分別為母豬體長、體寬、體高、臀高、臀寬、胸圍、腱圍,cm。體重人工測量值與估測值的擬合誤差模型為:

y=0.004 7y′2-1.021 2y′+210.86

(2)

式中:y為實(shí)測體重,kg,y′為估測體重,kg。

單目成像方法雖然成本較低且易于布置,但是在精度上仍有提升空間。和單目成像相比,雙目視覺成像有著精度高、識(shí)別限制少的優(yōu)點(diǎn)。李琦等[44]采用Mask R-CNN算法結(jié)合牛體尺測點(diǎn)識(shí)別的方法,基于雙目視覺原理測定牛體尺參數(shù),利用雙目測量原理計(jì)算牛體尺測點(diǎn)的深度信息,將牛體尺測點(diǎn)像素坐標(biāo)轉(zhuǎn)換為空間三維坐標(biāo),利用歐氏距離計(jì)算空間中點(diǎn)與點(diǎn)間的距離,從而計(jì)算牛體尺參數(shù)。其體長、體高、體斜長的平均相對(duì)誤差分別為6.09%、5.78%和6.58%。另外,深度相機(jī)也是多目視覺技術(shù)中經(jīng)常應(yīng)用的硬件。Pezzuolo 等[45]首先利用深度相機(jī)對(duì)生豬的身長和高度等進(jìn)行非接觸式測量,并建立了線性和非線性模型,與基于手動(dòng)測量的相同非線性模型相比,平均絕對(duì)誤差減少了40% 以上。Li等[46]利用深度相機(jī)拍攝生豬飲水圖片,從背部點(diǎn)云數(shù)據(jù)中提取生豬尺寸參數(shù),并將其作為自變量建立逐步回歸分析模型,尺碼測量結(jié)果顯示,體長、身高、肩寬的平均相對(duì)絕對(duì)誤差分別為0.7%、1.8%和3.3%,雖然結(jié)果較為準(zhǔn)確,但是依然要考慮深度相機(jī)成本較普通相機(jī)更加高昂的問題,而且算法消耗時(shí)間較長,數(shù)據(jù)量更大。

對(duì)于二維圖像數(shù)據(jù),主要是通過單相機(jī)獲取圖像,再利用測點(diǎn)法提取畜禽體尺并建立體重預(yù)測模型,但這種方法易受相機(jī)參數(shù)及物距影響,泛用性不強(qiáng)。對(duì)于三維圖像數(shù)據(jù),主要是利用雙目視覺技術(shù)和深度相機(jī)技術(shù),獲取畜禽體長、體高等相關(guān)信息,能夠有效提高檢測精度,降低體重估測誤差。3D點(diǎn)云技術(shù)是未來研究的熱點(diǎn)之一,畜禽更多詳細(xì)信息可以通過3D點(diǎn)云數(shù)據(jù)獲取,其精度也更高。但是3D點(diǎn)云數(shù)據(jù)自身規(guī)模龐大,容易造成特征冗余,計(jì)算耗時(shí)多[47],并且在進(jìn)行計(jì)算時(shí)對(duì)計(jì)算能力有較高的要求,有很大的優(yōu)化空間。從實(shí)用性上來看,基于深度學(xué)習(xí)的的畜禽體尺體重評(píng)估具有非接觸性、快速、準(zhǔn)確的特點(diǎn),有望在實(shí)際養(yǎng)殖環(huán)境實(shí)現(xiàn)逐步應(yīng)用。

4 畜禽體溫檢測

體溫異常對(duì)于畜禽疫病的早期發(fā)現(xiàn)非常重要。畜禽體溫檢測不僅是不可缺少的疾病診斷依據(jù),而且對(duì)傳染病來說檢測體溫作為提前判斷患病畜禽更為重要。畜禽體溫的變化是畜禽對(duì)外來和內(nèi)在病理刺激的一種對(duì)抗反應(yīng),以生豬為例,豬流感病、豬藍(lán)耳病、豬瘟、豬鏈球菌病均會(huì)導(dǎo)致生豬發(fā)熱,體溫升高;仔豬正常體溫為38～40 ℃,成年豬為 38～39.5 ℃[61];體溫低于常溫時(shí),稱為體溫低下,常見于大流血和瀕死期;體溫高于正常范圍時(shí)稱作發(fā)熱,較常溫升高1 ℃時(shí)稱作微熱;較常溫升高 2 ℃時(shí)稱作中熱,較常溫升高3 ℃以上時(shí)稱作高熱[62]。因此,對(duì)于畜禽的實(shí)時(shí)體溫檢測能夠及時(shí)發(fā)現(xiàn)患病畜禽,并對(duì)畜禽疫病進(jìn)行及時(shí)預(yù)警與防治有重要意義。

臨床上,針對(duì)豬、牛、羊大型牲畜通常采用獸用體溫計(jì)植入畜禽個(gè)體直腸內(nèi)的溫度來確定[62],針對(duì)雞、鴨等小型畜禽通常采用體溫計(jì)放置在畜禽翼下或直腸來測量體溫[63]。但這種體溫測量方式存在缺陷:一是容易發(fā)生人畜交叉感染,人畜之間能夠進(jìn)行傳染的疾病有200多種,如豬鏈球菌病、豬圓環(huán)病毒病等。二是這種方式屬于入侵式采集方式,畜禽個(gè)體在測溫時(shí)會(huì)產(chǎn)生應(yīng)激反應(yīng)。隨著傳感器技術(shù)的發(fā)展,出現(xiàn)了植入式微型體溫傳感器、可穿戴設(shè)備、注射式RFID感溫傳感器等接觸式實(shí)時(shí)感知畜禽體溫裝置,確實(shí)解決了在獲取溫度時(shí)畜禽應(yīng)激問題,且大大降低了人畜交叉感染的風(fēng)險(xiǎn),還方便多次溫度數(shù)據(jù)獲取,但是在首次植入傳感器時(shí)會(huì)對(duì)目標(biāo)動(dòng)物造成損傷,且后續(xù)還需手術(shù)取出,大大降低了動(dòng)物福利,同時(shí),該方法消耗大、運(yùn)維成本高。

紅外熱成像測溫技術(shù)是一種非接觸式的體表測溫技術(shù),結(jié)合視覺檢測技術(shù),具有非接觸、無耗材、實(shí)時(shí)性、反應(yīng)速度快等優(yōu)勢。其主要包括熱窗選擇、熱窗區(qū)域定位、溫度采集、體溫校準(zhǔn)與反演、體溫異常預(yù)警等步驟。如何對(duì)養(yǎng)殖環(huán)境下的畜禽的溫度敏感部位進(jìn)行有效檢測和建立畜禽體溫校正模型是畜禽體溫檢測的關(guān)鍵點(diǎn)。本文對(duì)近年來利用紅外熱成像技術(shù)進(jìn)行畜禽體溫檢測的方法進(jìn)行了總結(jié)(表4)。de Diego等[64]最早開始用熱紅外成像測溫技術(shù)對(duì)綿羊的眼部測溫來發(fā)現(xiàn)因?yàn)樗{(lán)舌癥和病毒血癥而發(fā)熱的綿羊個(gè)體,發(fā)現(xiàn)了綿羊直腸溫度和綿羊眼球部位熱成像溫度的相關(guān)性,通過對(duì)綿羊眼球部位的溫度對(duì)綿羊是否發(fā)熱進(jìn)行判斷,靈敏度能達(dá)到94.4%,但是并未提出有效的溫度敏感區(qū)域,也并未建立體溫校正模型,得出具體的綿羊體溫,只能對(duì)是否發(fā)熱進(jìn)行二元分類。為探討綿羊溫度敏感區(qū)域溫度和直腸溫度之間的關(guān)系,進(jìn)一步建立體溫校正模型以便對(duì)綿羊應(yīng)激熱進(jìn)行更好的監(jiān)測,Joy等[65]選取綿羊額頭、眼睛、耳朵、面部、鼻部等位置作為溫度敏感區(qū)域,并利用一個(gè)隱含層包含10個(gè)具有切線S型傳遞函數(shù)的神經(jīng)網(wǎng)絡(luò)作為校正模型對(duì)綿羊體溫進(jìn)行檢測,這種方法的均方誤差能夠小到0.02,能較好地反應(yīng)綿羊的真實(shí)體溫,但是沒有具體的溫度敏感區(qū)域檢測或者分割算法,對(duì)溫度敏感區(qū)域依然依賴于手工提取。Lu等[66]利用SVM算法對(duì)600頭仔豬頭部進(jìn)行識(shí)別,根據(jù)頭部輪廓的形狀特征定位2個(gè)耳朵基點(diǎn),最后提取以耳基點(diǎn)為中心的2個(gè)圓內(nèi)的2個(gè)最高溫度作為耳基溫度,對(duì)于左右耳基,分別有97%和98%的測試圖像誤差在0.4 ℃以內(nèi),該方法實(shí)現(xiàn)了對(duì)于仔豬的頭部的識(shí)別并且利用仔豬兩只耳朵的最高溫度作為仔豬的實(shí)際體溫,但是需要在特定的角度進(jìn)行圖像獲取,且直接將耳部的最高溫度作為實(shí)際體溫,矯正模型有提升的空間。隨著目標(biāo)檢測算法的不斷發(fā)展,溫度敏感區(qū)域檢測算法和溫度校正模型日益完善,沈明霞等[67]利用YOLOv3模型(圖5)對(duì)白羽雞腿部和頭部區(qū)域進(jìn)行檢測,其視覺檢測準(zhǔn)確率達(dá)到96.77%,接著對(duì)白羽雞的頭部和腿部區(qū)域利用熱紅外成像技術(shù)進(jìn)行采集,結(jié)合環(huán)境溫度、相對(duì)濕度和光照強(qiáng)度,利用BP神經(jīng)網(wǎng)絡(luò)作為體溫校正模型,可以獲得0.33%的相對(duì)誤差,公式如下:

圖5 用于檢測母豬飲水行為SBDA-DL網(wǎng)絡(luò)模型結(jié)構(gòu)[78]Fig.5 Structure of SBDA-DL network model for testing sow drinking behavior[78]

y′=38.35-0.039x1-0.014x2+
0.035x3+0.024x4+0.003x5

(3)

式中:y′為白羽雞翅下溫度,℃,x1、x4、x5分別為環(huán)境溫度、頭部最高溫度、腿部最高溫度,℃,x2為相對(duì)濕度,%,x3為光照強(qiáng)度,lx。

肖德琴等[68]對(duì)生豬熱像圖的頭部及其耳部進(jìn)行檢測,接著利用閾值分割方法對(duì)生豬耳部進(jìn)行二值化處理,再結(jié)合溫度矩陣得出生豬的體溫,其體溫檢測模型能達(dá)到0.2%的誤差,但該模型僅適用于單只生豬的情況,對(duì)于多只生豬的情況則使用性較差。

利用熱紅外成像技術(shù)進(jìn)行畜禽體溫檢測,關(guān)鍵是在復(fù)雜養(yǎng)殖環(huán)境下畜禽熱窗的準(zhǔn)確定位,需要解決畜禽熱窗區(qū)域的跨空間、跨尺度、跨視角的特征提取問題,增強(qiáng)其畜禽熱窗區(qū)域的表達(dá)能力,優(yōu)化標(biāo)簽編碼策略和邊界框回歸方式。熱紅外用于動(dòng)物體溫測量時(shí),受到環(huán)境溫度和測量距離影響比較嚴(yán)重,測溫精度不高,需要建立標(biāo)準(zhǔn)體溫與熱窗溫度、環(huán)境溫度的校準(zhǔn)與反演模型,研判畜禽體溫異常情況。在實(shí)際應(yīng)用方面,通過熱紅外成像方法對(duì)畜禽體溫進(jìn)行檢測的技術(shù)相對(duì)較為成熟,且已經(jīng)在小范圍內(nèi)進(jìn)行應(yīng)用,對(duì)于體溫異常的畜禽個(gè)體識(shí)別,有助于畜禽疫病或疾病的早期發(fā)現(xiàn)與預(yù)警,未來有望在實(shí)際養(yǎng)殖環(huán)境下得以大范圍使用。

5 畜禽行為識(shí)別

畜禽行為識(shí)別是通過在適當(dāng)位置部署圖像傳感器或者巡檢機(jī)器人上,以目標(biāo)區(qū)域檢測為基礎(chǔ),對(duì)畜禽群體或個(gè)體進(jìn)行連續(xù)檢測與跟蹤,從而獲取其行為特征,用以判斷畜禽生長狀態(tài)、精神狀態(tài)、健康水平,進(jìn)而對(duì)畜禽疾病和動(dòng)物福利做出預(yù)警或識(shí)別,是畜禽疫病早期檢測的重要手段[74]。隨著集約化養(yǎng)殖模式得到普遍應(yīng)用,飼養(yǎng)規(guī)模和密度不斷增加,大幅度提高畜禽生產(chǎn)效率的同時(shí),也產(chǎn)生了大量的動(dòng)物福利問題,畜禽生存條件惡劣,免疫力低下,危害人類與動(dòng)物健康,威脅公共衛(wèi)生安全。行為特征是在一定條件下畜禽對(duì)內(nèi)外環(huán)境因素刺激所做出的能動(dòng)反應(yīng),不僅與損傷、疾病、生理心理變化有關(guān),也是對(duì)復(fù)雜環(huán)境的適應(yīng)性表現(xiàn)[75]。畜禽的行為檢測與識(shí)別可對(duì)畜禽動(dòng)物福利狀態(tài)進(jìn)行判別,用于幫助飼養(yǎng)員改善畜禽飼養(yǎng)條件[76]?，F(xiàn)代化的集約化養(yǎng)殖方式限制了許多具有生物學(xué)意義的畜禽行為。因此,在現(xiàn)代化飼養(yǎng)管理中,一般將畜禽行為表現(xiàn)分為正常行為和異常行為。

5.1 日常正常行為識(shí)別

在種類繁多的畜禽疫病臨床或亞臨床體征表現(xiàn)之前,往往伴有畜禽個(gè)體自身行為的改變,例如,當(dāng)畜禽感染疫病時(shí)其飲水、進(jìn)食頻率會(huì)發(fā)生巨大改變,或是躺臥、站立的時(shí)間大幅度增加或者減少。因此,日常行為的監(jiān)測與識(shí)別顯得尤為重要,可以彌補(bǔ)生物安全措施的不足,有利于防止畜禽烈性傳染疾病以及人畜共患病的傳播。日常行為活動(dòng)主要包括采食、飲水、排泄、躺臥、站立、行走等基礎(chǔ)生理行為。本文對(duì)畜禽日常行為識(shí)別方法進(jìn)行歸納(表5)。

在畜禽進(jìn)食、飲水等行為識(shí)別方面,其主要思路在于檢測出畜禽個(gè)體之后,判斷畜禽個(gè)體與飲水區(qū)域或者進(jìn)食區(qū)域之間的重疊關(guān)系。朱偉興等[77]利用閾值分割方法和幾何特征提取對(duì)生豬個(gè)體進(jìn)行分割,再判斷分割出的畜禽個(gè)體是否和飲水區(qū)域重疊、重疊時(shí)間是否夠長來判斷畜禽是否進(jìn)行了飲水行為,該方法對(duì)于的飲水行為識(shí)別準(zhǔn)確率達(dá)到90.7%,但是對(duì)多只豬只個(gè)體需要進(jìn)行手動(dòng)標(biāo)記。李澤森[78]建立以SSD為檢測網(wǎng)絡(luò),以MobileNet為分類網(wǎng)絡(luò)的SBDA-DL算法模型(圖5),對(duì)母豬飲水行為進(jìn)行檢測,在1 423張視頻截圖中得到了96%的準(zhǔn)確率,但是由于飲水區(qū)域較為小,生豬在飲水器旁徘徊容易被誤認(rèn)為在進(jìn)行飲水行為,降低了飲水行為識(shí)別的準(zhǔn)確率。

Alameer等[79]則是針對(duì)上述問題,設(shè)計(jì)了一個(gè)基于GoogLeNet結(jié)構(gòu)的網(wǎng)絡(luò)對(duì)生豬訪問進(jìn)食區(qū)域卻不消耗飼料的NNV行為和生豬實(shí)際進(jìn)食行為進(jìn)行區(qū)分,準(zhǔn)確率達(dá)到99.40%。Yang等[8]利用Faster R-CNN模型同時(shí)識(shí)別每一頭生豬的個(gè)體和其對(duì)應(yīng)的頭部,再通過判斷生豬頭部和進(jìn)食區(qū)域的范圍以及是否在進(jìn)食時(shí)間范圍內(nèi)等條件來判斷生豬是否進(jìn)行了進(jìn)食行為,其準(zhǔn)確率能達(dá)到99.6%,但是其限制條件較多,對(duì)沒有進(jìn)食時(shí)間限制的養(yǎng)殖環(huán)境并不適用。為了彌補(bǔ)上述不足,為進(jìn)一步提升對(duì)于生豬和進(jìn)食飲水區(qū)域的判斷,嵇楊培等[80]先利用頭頸模型和YOLOv2算法對(duì)生豬個(gè)體進(jìn)行檢測,對(duì)生豬是否在飲水進(jìn)食區(qū)域進(jìn)行判斷。鑒于頭頸模型的穩(wěn)定性,該檢測算法能夠很好地解決豬只之間遮擋、重疊的問題。再利用背景差分法對(duì)個(gè)體進(jìn)行分割,通過閾值法判斷是否進(jìn)行了進(jìn)食飲水行為,其準(zhǔn)確率分別達(dá)到96.49%和94.59%。

在畜禽行走、躺臥等行為識(shí)別方面,其主要思路是尋找一個(gè)視頻中連續(xù)幀中畜禽動(dòng)作之間的相關(guān)性,從而對(duì)畜禽行為進(jìn)行識(shí)別,因此能夠提取時(shí)間序列的網(wǎng)絡(luò)結(jié)構(gòu)被大量使用,雙流網(wǎng)絡(luò)[81]就是其中之一,其主要由空間流卷積網(wǎng)絡(luò)和時(shí)間流卷積網(wǎng)絡(luò)分別提取視頻的空間和時(shí)間特征,最后進(jìn)行融合。Fuentes等[82]在雙流網(wǎng)絡(luò)的基礎(chǔ)上并行加入一個(gè)YOLOv3網(wǎng)絡(luò)對(duì)奶牛的行走行為進(jìn)行識(shí)別,mAP為0.902。蘇森等[83]則是仿照雙流網(wǎng)絡(luò)結(jié)構(gòu),在YOLOv2網(wǎng)絡(luò)上添加了并行的3D-MobileNet網(wǎng)絡(luò)提取連續(xù)幀中的時(shí)序特征,利用通道注意力模塊將其與2D卷積網(wǎng)絡(luò)提取的空間特征進(jìn)行融合(圖6),用于生豬躺臥行為的實(shí)時(shí)識(shí)別,mAP0.5的值達(dá)到61.32,大大降低了對(duì)于光流數(shù)據(jù)的計(jì)算,但是對(duì)于目標(biāo)較小的場景效果較差。上述方法的通病是卷積網(wǎng)絡(luò)參數(shù)量巨大,計(jì)算時(shí)間較長,難以實(shí)現(xiàn)實(shí)時(shí)識(shí)別的效果。骨架提取則是另一種進(jìn)行行為識(shí)別的方法,能夠去掉不必要的信息,便于識(shí)別。劉波[84]利用深度相機(jī)采集生豬行走序列圖像,對(duì)生豬的骨架端點(diǎn)進(jìn)行提取,利用余弦函數(shù)進(jìn)行貼合,從而實(shí)現(xiàn)對(duì)生豬行走的識(shí)別,其識(shí)別準(zhǔn)確率能達(dá)到96.4%,但是該方法需要后臺(tái)進(jìn)行隊(duì)列處理,實(shí)時(shí)性較差。在如何有效壓縮模型在計(jì)算過程中的參數(shù)是下一階段需要繼續(xù)考慮的問題。Fang等[85]將骨架提取和深度學(xué)習(xí)方法結(jié)合在一起,利用Deeplabcut和ResNet50尋找肉雞特征點(diǎn)構(gòu)建姿勢骨架,再利用樸素貝葉斯方法對(duì)肉雞的行走和整理羽毛行為進(jìn)行識(shí)別,其精度分別為51.35%和92.58%,但該研究沒有考慮時(shí)間特征。目前來看,上述方法都存在著參數(shù)量過大、計(jì)算時(shí)間長的問題。

圖6 以YOLOv2為主干的生豬行為識(shí)別網(wǎng)絡(luò)模型圖[83]Fig.6 Model diagram of pig behavior recognition network with YOLOv2 as the backbone[83]

通過視覺檢測的目標(biāo)檢測與目標(biāo)跟蹤技術(shù),對(duì)畜禽的生活習(xí)性、活動(dòng)規(guī)律、行為特征進(jìn)行自動(dòng)獲取與統(tǒng)計(jì)分析,用以記錄畜禽正常行為,并對(duì)比患病畜禽行為統(tǒng)計(jì)差異顯著性,可以較為準(zhǔn)確的預(yù)警一些疾病或疫病的發(fā)生。方法難點(diǎn)在于長時(shí)間對(duì)畜禽密集目標(biāo)檢測與跟蹤,并計(jì)算其行為軌跡與特點(diǎn)。同時(shí),因處理對(duì)象大多為實(shí)時(shí)視頻數(shù)據(jù),對(duì)算法的實(shí)時(shí)性要求較高。

5.2 異常行為識(shí)別

異常行為是指在行為類別、模式和表現(xiàn)程度上與正常行為有明顯差別的行為,以及對(duì)自身或?qū)ζ渌麄€(gè)體有害的行為,主要包括:非正常的飲水、進(jìn)食與排泄,以及好斗、咬尾、打架、跛行、顫抖、蜷縮、厭食、久臥、犬坐、步態(tài)不穩(wěn)、腹式呼吸等。以生豬為例,豬傳染性腹瀉和豬流行性腸胃炎會(huì)使生豬排泄次數(shù)增加,而生豬在感染流行性感冒之后則是會(huì)增加飲水量并且減少飼料攝入;在仔豬斷奶后,如果其體內(nèi)缺乏微量元素,則會(huì)表現(xiàn)為好斗、咬尾、打架等行為。因此,對(duì)畜禽異常行為的識(shí)別,有助于在疫病初期對(duì)患病畜禽進(jìn)行及時(shí)發(fā)現(xiàn),有效阻礙疫病進(jìn)展和廣泛傳播。對(duì)畜禽異常行為識(shí)別的方法總結(jié)在表6。

表6 畜禽異常行為識(shí)別研究進(jìn)展Table 6 Advances in research on abnormal behaviour recognition in livestock and poultry

近年來,大多研究集中在畜禽的跛行、打斗等異常行為識(shí)別。在跛行識(shí)別方面,Poursaberi等[98]早在2010年開始對(duì)奶牛跛行進(jìn)行識(shí)別,利用背景減法對(duì)圖像中的奶牛進(jìn)行提取,再用閾值分割方法對(duì)奶牛跛行進(jìn)行識(shí)別,其準(zhǔn)確率為94.7%。2013年Viazzi等[99]利用決策樹方法對(duì)8頭奶牛的105個(gè)視頻中的跛行行為進(jìn)行識(shí)別,得到91%的是準(zhǔn)確率。到了2019年,吳倩[100]利用YOLOv3算法對(duì)奶牛關(guān)鍵部位進(jìn)行檢測,再用 SVM分類器對(duì)通過基于前后腿相對(duì)步長的跛行檢測方法的視頻進(jìn)行分類,準(zhǔn)確率為95.62%。為了解決基于可見光視頻的奶牛跛行檢測系統(tǒng)易受光線、環(huán)境變化因素影響的問題,康熙等[101]想到運(yùn)用紅外熱圖像對(duì)跛行奶牛進(jìn)行識(shí)別,利用YOLOv4對(duì)奶牛進(jìn)行目標(biāo)檢測,再計(jì)算紅外熱圖像中奶牛的弓背曲率,完成對(duì)奶牛跛行行為的識(shí)別,其最佳準(zhǔn)確率為94.44%。在打斗等攻擊行為識(shí)別方面,主要多采用三維卷積的方法。Chen等[102]首先利用閾值分割方法識(shí)別出個(gè)體仔豬,再通過對(duì)連續(xù)幀中的仔豬位置對(duì)仔豬運(yùn)動(dòng)的加速度進(jìn)行計(jì)算,通過其加速度的周期性變化規(guī)律來識(shí)別仔豬的攻擊性行為,例如碰撞和撞擊其他仔豬,該方法能成功識(shí)別出95.82%的中等攻擊性行為和97.04%的高攻擊性行為。張?zhí)K楠等[103]利用MobileNet對(duì)單點(diǎn)多框檢測器進(jìn)行改進(jìn),提高 SSD 對(duì)運(yùn)動(dòng)生豬個(gè)體的檢測精度與速度,準(zhǔn)確率能達(dá)到93.75%。Nasiri等[104]利用ResNet對(duì)行走肉雞的7個(gè)關(guān)鍵點(diǎn)進(jìn)行檢測和跟蹤,再將其送入LSTM模型,建立的LSTM模型平均分類正確率為97.5%。三維卷積網(wǎng)絡(luò)雖然能更好地提取相關(guān)特征,但是模型參數(shù)和計(jì)算量也在增長,識(shí)別速度較慢。

異常行為識(shí)別是主要判斷畜禽疾病發(fā)生以及評(píng)估健康狀況。在行為特征描述方面,如何構(gòu)建包括時(shí)間、空間、通道等不同維度的注意力模塊,提升多維時(shí)空特征的表達(dá)能力,是異常行為識(shí)別的難點(diǎn)之一。同時(shí),畜禽異常行為數(shù)據(jù)稀少性和正負(fù)樣本不均衡的問題,也是實(shí)現(xiàn)復(fù)雜場景下的畜禽異常行為準(zhǔn)確識(shí)別的難點(diǎn)。

目前智能畜禽行為識(shí)別方法多在畜禽舍進(jìn)行示范應(yīng)用,實(shí)際應(yīng)用還較少,需要進(jìn)一步提高行為識(shí)別準(zhǔn)確率,結(jié)合養(yǎng)殖現(xiàn)場實(shí)際情況,配合成體系的自動(dòng)化系統(tǒng)裝備能更好地應(yīng)用于實(shí)際場景當(dāng)中。

6 畜禽疫病智能診斷

畜禽疫病圖像智能診斷是在建立畜禽疫病知識(shí)庫基礎(chǔ)上,利用深度學(xué)習(xí)提取患病畜禽個(gè)體身體結(jié)構(gòu)變化、輪廓變化、關(guān)鍵部位形態(tài)等表型特征,并對(duì)畜禽疫病類別進(jìn)行識(shí)別與診斷[108]。畜禽生長過程中難免會(huì)受到種類繁多的傳染病及營養(yǎng)代謝病的危害,不僅會(huì)造成畜禽個(gè)體生病、體尺體重下降、產(chǎn)量和品質(zhì)降低,特別是在傳染性強(qiáng)、致死率高的畜禽疫病出現(xiàn)時(shí),在養(yǎng)殖場發(fā)現(xiàn)后第一時(shí)間是進(jìn)行徹底的捕殺和填埋以及對(duì)環(huán)境場所的徹底消毒,以免造成畜禽疫病爆發(fā)風(fēng)險(xiǎn)增大、人畜共患病危險(xiǎn)升級(jí)的情況,繼而會(huì)對(duì)公共衛(wèi)生安全形成嚴(yán)重威脅。畜禽疫病智能診斷是現(xiàn)代化智能畜禽養(yǎng)殖的重大共性關(guān)鍵技術(shù),是有效減輕和防止動(dòng)物疫病事件產(chǎn)生嚴(yán)重社會(huì)危害、造成重大經(jīng)濟(jì)損失的關(guān)鍵環(huán)節(jié)。

目前在畜禽養(yǎng)殖疫病診斷與防控工作中,主要依靠獸醫(yī)在畜舍的巡視或者遠(yuǎn)程診斷,甄別患病畜禽個(gè)體并采用相應(yīng)的措施進(jìn)行防治,還可借助相關(guān)檢測儀器或檢測試劑得出檢測結(jié)果確診準(zhǔn)確疾病。但該方式工作量大、主觀性強(qiáng)、容易出現(xiàn)人畜間的疫病傳染[109]。從本世紀(jì)初開始,大多研究者利用專家系統(tǒng)、知識(shí)庫、規(guī)則推理、模糊推理、神經(jīng)網(wǎng)絡(luò)等方法,構(gòu)建畜禽疫病自動(dòng)診斷系統(tǒng),在早期能夠通過文字描述或者圖像的識(shí)別對(duì)畜禽疫病做出診斷,在減少人工成本、提高識(shí)別準(zhǔn)確率的同時(shí)更加具有實(shí)時(shí)性。徐東升等[110]早在2009年就提出用規(guī)則推理事例推理結(jié)合的方法構(gòu)建專家系統(tǒng),通過疫病癥狀描述,對(duì)白絨山羊的呼吸系統(tǒng)、消化系統(tǒng)、運(yùn)動(dòng)系統(tǒng)、神經(jīng)系統(tǒng)等方面的疫病進(jìn)行識(shí)別診斷。Kim等[111]利用模糊C均值推理法為狗的肛周萎管、弓形蟲病等100種常見的疫病建立了專家系統(tǒng)便于狗主人的輔助診斷系統(tǒng),其準(zhǔn)確率高達(dá)98.6%。鐘昌樂等[112]將BP神經(jīng)網(wǎng)絡(luò)結(jié)合到專家系統(tǒng)在中,集成了鴨、豬、貓、雞的多種常見疫病與癥狀知識(shí),實(shí)現(xiàn)了具有推理簡單、實(shí)用性強(qiáng)等特點(diǎn)的畜禽疾病診斷專家系統(tǒng)。Sitanggang等[113]利用冢本模糊法對(duì)肉雞的常見疫病建立了專家系統(tǒng)。Suharjito等[114]利用冢本模糊法建立的專家系統(tǒng)對(duì)奶牛疫病的識(shí)別準(zhǔn)確率高達(dá)100%。Nusai等[115]則是將生豬性別和年齡考慮到知識(shí)庫構(gòu)建中,其建立的專家系統(tǒng)在疾病篩查、癥狀診斷、病變?cè)\斷方面分別取得了97.5%、92.48%和95.62%的準(zhǔn)確率?；谶壿嬐评淼男笄菀卟≡\斷系統(tǒng),主要利用疫病知識(shí)、規(guī)則推理、專家系統(tǒng)等方法,缺少對(duì)畜禽疫病癥狀的分析與描述,以及患病畜禽形態(tài)、結(jié)構(gòu)、表型等特征的刻畫,畜禽疫病診斷的準(zhǔn)確性和普適性相對(duì)較低。

隨著深度學(xué)習(xí)在畜禽疫病識(shí)別的應(yīng)用,畜禽疫病圖片數(shù)據(jù)逐漸被作為驅(qū)動(dòng)構(gòu)建畜禽疫病識(shí)別模型,實(shí)現(xiàn)了畜禽疫病的智能識(shí)別。表7中總結(jié)了基于深度學(xué)習(xí)方法的畜禽疫病圖像智能診斷算法。Mbelwa等[116]利用XceptionNet網(wǎng)絡(luò)對(duì)兩種患有不同疫病和健康的肉雞的糞便進(jìn)行分類,從而實(shí)現(xiàn)對(duì)于兩種肉雞疫病的分類,其準(zhǔn)確度達(dá)到94%。Gao等[117]提出了一種基于知識(shí)圖譜和遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)KGTL-CNN,實(shí)驗(yàn)結(jié)果表明該模型有著86.77%的F1得分,相比傳統(tǒng)CNN模型來講提升了7.7%。Rony等[118]將Inception-V3結(jié)構(gòu)和VGG16網(wǎng)絡(luò)有機(jī)結(jié)合在一起(圖7)對(duì)肉牛的3種疫病進(jìn)行識(shí)別,準(zhǔn)確率為95%,囿于肉牛疫病圖像數(shù)據(jù)的不足,識(shí)別準(zhǔn)確率依然有提升的空間。邱洪濤[119]將深度學(xué)習(xí)方法和證據(jù)理論融合,利用ResNet-18提取生豬內(nèi)臟圖像特征,再利用證據(jù)理論對(duì)生豬疫病進(jìn)行了準(zhǔn)確識(shí)別,該方法雖然有著可觀的準(zhǔn)確率,但是利用的是生豬解剖圖像,不符合實(shí)時(shí)檢測識(shí)別的初衷。

圖7 針對(duì)牛的3種疫病識(shí)別的Inception-V3和VGG16結(jié)合網(wǎng)絡(luò)[118]Fig.7 Inception-V3 and VGG16 combined network for identification of three diseases of cattle[118]

表7 基于深度學(xué)習(xí)的畜禽疫病智能診斷研究進(jìn)展Table 7 Research progress of livestock and poultry disease identification based on deep learning

當(dāng)前,基于深度學(xué)習(xí)的畜禽疫病智能診斷的主要難點(diǎn)還是在于大規(guī)模畜禽疫病圖像數(shù)據(jù)集的構(gòu)建。同時(shí),畜禽疫病智能診斷面臨應(yīng)用場景復(fù)雜、數(shù)據(jù)來源多樣、混合疫病復(fù)雜耦合等眾多挑戰(zhàn),現(xiàn)有方法在視覺異常檢測、多模異構(gòu)數(shù)據(jù)統(tǒng)一表示與融合決策、以及知識(shí)圖譜自主構(gòu)建和演進(jìn)等方面仍有不足,系統(tǒng)性和實(shí)用性亟待提高。同時(shí),如何應(yīng)對(duì)跨媒體多模態(tài)輸入的數(shù)據(jù)結(jié)構(gòu)復(fù)雜性和融合決策協(xié)同泛化難的挑戰(zhàn),實(shí)現(xiàn)精準(zhǔn)高效的疫病識(shí)別與診斷,是變革智能養(yǎng)殖生產(chǎn)方式的重要方向。目前,少量畜禽疫病識(shí)別或疾病診斷APP已上線使用[120],主要是基于專家系統(tǒng)、知識(shí)庫、規(guī)則推理、模糊推理等邏輯推理方法構(gòu)建,這些方法需要填寫或選擇的癥狀信息較多,操作復(fù)雜,智能化程度有待提升?；谏疃葘W(xué)習(xí)的畜禽疫病圖像智能診斷方法在保證其訓(xùn)練數(shù)據(jù)集充足的情況下能夠提供更高更穩(wěn)定的疫病識(shí)別準(zhǔn)確率,智能化程度高,將會(huì)有較大的應(yīng)用空間。

7 結(jié) 論

基于視覺智能感知的畜禽疫病檢測與智慧養(yǎng)殖管理關(guān)鍵技術(shù)是智慧養(yǎng)殖技術(shù)體系的重要內(nèi)容,也是智慧養(yǎng)殖決策支持與智能管理的關(guān)鍵。多項(xiàng)研究表明,畜禽個(gè)體檢測、畜禽身份識(shí)別、畜禽體溫檢測技術(shù)已可實(shí)現(xiàn)復(fù)雜養(yǎng)殖環(huán)境的精確畜禽個(gè)體識(shí)別與體溫檢測,相應(yīng)的檢測精度與計(jì)算速度基本能滿足實(shí)際的要求,在實(shí)際畜禽養(yǎng)殖環(huán)境下已經(jīng)處于示范階段。但畜禽疫病識(shí)別、畜禽行為識(shí)別、畜禽體尺體重評(píng)估由于其性能依然有提升的空間,且較多為示范性場所或者試點(diǎn)應(yīng)用,其應(yīng)用場景較少,導(dǎo)致實(shí)際應(yīng)用效果尚不明晰,還有待進(jìn)一步檢驗(yàn)。本文介紹了畜禽智慧養(yǎng)殖的多個(gè)方面,基于視覺智能感知的畜禽疫病檢測技術(shù)均獲得了較好的進(jìn)步與效果,將多個(gè)基于視覺感知的畜禽智慧養(yǎng)殖管理技術(shù)與智能裝備相結(jié)合,形成系統(tǒng)化、智能化、完整性的畜禽智慧養(yǎng)殖管理體系,將會(huì)在實(shí)際的畜禽養(yǎng)殖中發(fā)揮更大的應(yīng)用效果。對(duì)相關(guān)研究進(jìn)行總結(jié)梳理后,可以得出以下結(jié)論:

1)基于機(jī)器視覺的畜禽個(gè)體檢測算法研究目前主要致力于解決高遮擋、光線差等問題,檢測速度也是重要關(guān)注的指標(biāo)?，F(xiàn)研究的準(zhǔn)確率大部分在92%以上。

2)深度學(xué)習(xí)在畜禽身份識(shí)別中已有廣泛應(yīng)用。深度學(xué)習(xí)方法能夠通過單獨(dú)識(shí)別畜禽的面部、花紋、尾部等部位從而實(shí)現(xiàn)畜禽身份識(shí)別。其中,不同畜禽個(gè)體之間的臉部特征差異性最為明顯,較其他身體部位相比,特征更為豐富也更為明顯,因此利用面部數(shù)據(jù)的研究較多。其中以輕量級(jí)網(wǎng)絡(luò)為主,其識(shí)別準(zhǔn)確率能達(dá)到90%以上。目前機(jī)器視覺的畜禽身份識(shí)別方法已經(jīng)進(jìn)行了示范應(yīng)用。

3)對(duì)于體尺體重測量方面的研究,部分研究利用二維數(shù)據(jù)進(jìn)行后續(xù)預(yù)測,但也有一些研究已經(jīng)開始利用三維數(shù)據(jù),相對(duì)誤差更小。畜禽體尺體重的智能估測已經(jīng)被越來越多的養(yǎng)殖公司投入使用,在測量精度和速度上已經(jīng)有了很好的表現(xiàn)[121]。

4)基于機(jī)器視覺對(duì)畜禽體溫進(jìn)行檢測的研究較為豐富,從早期研究使用的閾值分割方法到使用深層次的卷積神經(jīng)網(wǎng)絡(luò),其區(qū)域提取準(zhǔn)確率逐步提高,校正的體溫溫度相對(duì)誤差也逐步減小。在一些畜禽智能養(yǎng)殖場已經(jīng)應(yīng)用將部分研究投入應(yīng)用,很多企業(yè)也已經(jīng)推出相關(guān)產(chǎn)品[122]。

5)利用深度學(xué)習(xí)方法對(duì)畜禽疫病進(jìn)行直接識(shí)別的相關(guān)研究較少,主要難點(diǎn)在于對(duì)于畜禽疫病圖像數(shù)據(jù)集的構(gòu)建。

6)在畜禽行為識(shí)別方面,對(duì)于日常正常的行為識(shí)別,多數(shù)研究通過判定畜禽和養(yǎng)殖環(huán)境特定范圍接觸的情況來對(duì)日常行為進(jìn)行識(shí)別。在異常行為識(shí)別方面,則需要通過連續(xù)幀之間的關(guān)系進(jìn)行確認(rèn)。相對(duì)于其他研究,判定奶牛跛足方面的研究較多,且較成體系。

8 展 望

在目前已經(jīng)有畜禽養(yǎng)殖基地示范采用智能感知方法的情況下,隨著畜禽養(yǎng)殖環(huán)境不斷規(guī)范化、規(guī)?；?、現(xiàn)代化,以及相應(yīng)設(shè)備硬件的不斷更新,基于視覺感知的體尺體重評(píng)估及畜禽疫病檢測技術(shù)有著較強(qiáng)的實(shí)際應(yīng)用可行性。未來研究還需以視覺感知方法研究為出發(fā)點(diǎn),突破智慧養(yǎng)殖中體尺體重評(píng)估及畜禽疫病檢測技術(shù)瓶頸,進(jìn)而實(shí)現(xiàn)畜禽養(yǎng)殖的智慧管理與疫病的智能防控。未來技術(shù)發(fā)展趨勢如下:

1)基于視覺感知的體尺體重評(píng)估及畜禽疫病檢測技術(shù)將會(huì)在智慧養(yǎng)殖中得到充分應(yīng)用。目前,隨著畜禽工廠化高密度養(yǎng)殖方式的發(fā)展,隨之而帶來的疫病防控、精細(xì)飼喂、畜禽群體管理、早期疾病監(jiān)測預(yù)警等系列問題日益突出,現(xiàn)有技術(shù)已不能滿足國家對(duì)疫病防控監(jiān)管日趨嚴(yán)格的要求,也不能滿足養(yǎng)殖業(yè)對(duì)畜禽管理的智慧化需求,迫切需要一種低成本、高精度、智能化的基于視覺感知的體尺體重評(píng)估及畜禽疫病檢測技術(shù),以實(shí)現(xiàn)對(duì)畜禽智慧養(yǎng)殖由表及里的全方位升級(jí)改造。在對(duì)畜禽進(jìn)行實(shí)時(shí)檢測識(shí)別的應(yīng)用環(huán)境下,結(jié)合實(shí)際應(yīng)用場景,兼顧準(zhǔn)確率和運(yùn)行速率依然是在基于視覺智能感知的體尺體重評(píng)估及畜禽疫病檢測亟待解決的問題。

2)基于面部識(shí)別的畜禽個(gè)體身份識(shí)別技術(shù)將會(huì)逐漸在智慧養(yǎng)殖中占據(jù)主導(dǎo)。無約束場景下的面部識(shí)別問題一直是畜禽個(gè)體身份識(shí)別技術(shù)的難點(diǎn),過去的面部識(shí)別研究往往僅關(guān)注圖像質(zhì)量對(duì)性能的影響,而忽略了數(shù)據(jù)中存在的極端樣本,如何提取更豐富的畜禽臉部信息將是提升畜禽個(gè)體身份識(shí)別技術(shù)精度的關(guān)鍵。隨著基于面部識(shí)別的畜禽個(gè)體身份識(shí)別技術(shù)的不斷突破,這種低成本、高精度、智能化的畜禽身份識(shí)別技術(shù)將會(huì)在智慧養(yǎng)殖中得到充分應(yīng)用。

3)跨媒體、多模態(tài)的畜禽疫病識(shí)別與融合診斷方法將會(huì)成為新的研究方向?，F(xiàn)有的依據(jù)單模數(shù)據(jù)的診斷方法,無法達(dá)到較高的識(shí)別精度,難以滿足疫病精準(zhǔn)診斷要求。在基于圖像信息的同時(shí)融合聲音、數(shù)值、視頻等媒體信息,以及深度信息、熱紅外信息、近紅外光譜信息、紫外信息等多模態(tài)信息,并對(duì)獲取的多模異構(gòu)復(fù)雜耦合的數(shù)據(jù)進(jìn)行融合分析,達(dá)到精確診斷和預(yù)警的目的。

4)在實(shí)際養(yǎng)殖環(huán)境下對(duì)多個(gè)畜禽熱窗的準(zhǔn)確定位是未來畜禽非接觸測溫的關(guān)鍵。熱紅外用于動(dòng)物體溫測量時(shí),受到環(huán)境溫度和測量距離影響比較嚴(yán)重,測溫精度不高,需要建立標(biāo)準(zhǔn)體溫與熱窗溫度、環(huán)境溫度的校準(zhǔn)與反演模型,研判畜禽體溫異常情況?，F(xiàn)存的熱紅外技術(shù)用于體溫測量的方法大多數(shù)對(duì)于畜禽所處環(huán)境背景條件有著較高的要求,養(yǎng)殖環(huán)境復(fù)雜背景、多個(gè)畜禽熱窗精準(zhǔn)檢測、體溫與熱窗溫度映射等問題在未來可能會(huì)通過多模態(tài)結(jié)合的方法進(jìn)行有效解決。

5)動(dòng)態(tài)多視角與時(shí)空特征融合的畜禽個(gè)體行為識(shí)別方法成為新的研究熱點(diǎn)。在復(fù)雜養(yǎng)殖環(huán)境條件下畜禽個(gè)體行為存在遮擋、背景干擾、光照不均等因素影響,同時(shí)由于角度變化,畜禽外觀和姿態(tài)同樣發(fā)生變化,尤其畜禽個(gè)體外表相似度較高,其本質(zhì)特征難以抓取。因此,如何充分考慮不同視角下畜禽信息的融合,以彌補(bǔ)單視角畜禽個(gè)體檢測中的漏檢,同時(shí)考慮畜禽行為的時(shí)空特性,建立不同畜禽品種的骨架幾何特征,形成視角不變性特征表示的骨架序列時(shí)空關(guān)聯(lián)性特征,提取畜禽行為視頻幀的上下文信息,提高畜禽行為識(shí)別的精度和魯棒性,成為解決該問題的重要方法。

6)三維體尺數(shù)據(jù)在未來是估測畜禽體尺體重的重要數(shù)據(jù)形式。在如今雙目視覺技術(shù)和深度相機(jī)技術(shù)已經(jīng)大量應(yīng)用于畜禽體尺體重估測的情況下,更為先進(jìn)的3D點(diǎn)云技術(shù)有著更加廣闊的開發(fā)前景。3D點(diǎn)云數(shù)據(jù)可以獲得畜禽更多的位置和細(xì)節(jié)信息,精度更高。如何發(fā)揮3D點(diǎn)云的優(yōu)勢,解決3D點(diǎn)云技術(shù)數(shù)據(jù)龐大、冗余多、耗時(shí)長和對(duì)硬件要求高的問題,是未來研究的一大方向。

在應(yīng)用層面,基于視覺感知的畜禽體尺體重評(píng)估和疫病檢測方法仍處于示范使用階段,從示范使用轉(zhuǎn)向至全面推廣應(yīng)用,還存在以下難點(diǎn):一是畜禽品種存在多樣性,比如生豬有:長白豬、大白豬、夏洛克、漢普夏、皮特蘭等,造成需要收集的樣本難度大,樣本類型少會(huì)造成視覺算法模型的泛化能力弱,準(zhǔn)確率降低。二是應(yīng)用場景存在多樣性,比如生豬養(yǎng)殖場有空懷母豬舍、母豬產(chǎn)房舍、斷奶仔豬舍、育肥豬舍等,不同豬舍的內(nèi)部結(jié)構(gòu)和養(yǎng)殖模式也不一致,造成視覺模型算法的普適性有一定困難。三是不同生育期的畜禽個(gè)體具有差異性,造成視覺算法的準(zhǔn)確識(shí)別難度加大。四是基于視覺的智能算法需要與養(yǎng)殖舍內(nèi)設(shè)施融合,比如生豬面部識(shí)別算法用于生豬身份識(shí)別,需與精準(zhǔn)飼喂、巡檢機(jī)器人等裝置聯(lián)合使用,使得視覺算法模型在實(shí)際場景的推廣應(yīng)用成本加大。五是養(yǎng)殖戶對(duì)視覺智能感知系統(tǒng)認(rèn)識(shí)程度仍需提升,當(dāng)前大型養(yǎng)殖企業(yè)開始逐漸重視視覺智能感知技術(shù)的應(yīng)用,但對(duì)大多數(shù)中小規(guī)模養(yǎng)殖場仍存在一定的接受過程。