基于IMU的細(xì)粒度奶牛行為判別

程國(guó)棟 吳建寨 邢麗瑋 朱孟帥 張建華 韓書(shū)慶

(中國(guó)農(nóng)業(yè)科學(xué)院農(nóng)業(yè)信息研究所/農(nóng)業(yè)農(nóng)村部農(nóng)業(yè)大數(shù)據(jù)重點(diǎn)實(shí)驗(yàn)室，北京 100081)

奶牛行為是奶牛對(duì)刺激或者周圍環(huán)境做出反應(yīng)的方式，其正常行為包括采食、反芻、運(yùn)動(dòng)、飲水等[1]。研究表明，奶牛行為可以反應(yīng)出奶牛的健康狀態(tài)，如奶牛的日產(chǎn)奶量和采食量成正相關(guān)，咀嚼行為和反芻行為影響瘤胃發(fā)酵參數(shù)[2-4]。目前，中、小型奶牛養(yǎng)殖場(chǎng)基本采用人工觀察奶牛行為的方法，因此研究一種自動(dòng)化、智能化的奶牛行為判別方法具有重要意義[5]。

近年來(lái)，機(jī)器視覺(jué)技術(shù)在行為識(shí)別領(lǐng)域廣泛應(yīng)用[6]。劉忠超等[7]使用攝像機(jī)對(duì)牛場(chǎng)進(jìn)行監(jiān)控，利用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network，CNN)檢測(cè)奶牛爬跨、發(fā)情行為，準(zhǔn)確率為98%。顧靜秋等[8]使用基于圖像熵和運(yùn)動(dòng)量的方法檢測(cè)奶牛的爬跨行為和蹄病，準(zhǔn)確率超過(guò)80%。Heo等[9]從視頻中抽取行為特征，利用支持向量機(jī)檢測(cè)奶牛的發(fā)情行為。張宏鳴等[10]利用YOLOv3模型實(shí)現(xiàn)對(duì)多肉牛目標(biāo)進(jìn)食行為的檢測(cè)。郝玉勝等[11]在牛場(chǎng)設(shè)置通用WiFi設(shè)備，利用長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)(Long short-term memory，LSTM)算法，識(shí)別奶牛爬跨行為。上述行為識(shí)別方法僅對(duì)牛的部分行為(發(fā)情、蹄病)進(jìn)行識(shí)別，無(wú)法同時(shí)識(shí)別多類行為。在實(shí)際應(yīng)用時(shí)，光照情況、牛棚環(huán)境和牛只位置等條件也會(huì)影響上述行為識(shí)別方法的準(zhǔn)確率，不利于多頭牛的行為的精準(zhǔn)監(jiān)測(cè)。

慣性測(cè)量單元(Inertial measurement unit，IMU)在應(yīng)用時(shí)，不受環(huán)境影響可同時(shí)測(cè)量大量牛只，為奶牛行為判別打開(kāi)了新的思路。王俊等[12]利用三軸加速度傳感器和半監(jiān)督模糊聚類方法對(duì)奶牛的進(jìn)食、快走、慢走、平躺姿態(tài)、平躺動(dòng)作、站立姿態(tài)、站立動(dòng)作進(jìn)行了識(shí)別。候云濤等[13]利用二叉決策樹(shù)和支持向量機(jī)對(duì)奶牛靜止(站立、躺臥)、慢走、快走、爬跨、慢跑、快跑行為進(jìn)行了識(shí)別。Busch等[14]利用決策樹(shù)和BP神經(jīng)網(wǎng)絡(luò)(Back propagation neural network，BPNN)算法對(duì)奶牛站立和躺臥兩種狀態(tài)進(jìn)行了分類。SHEN等[15]利用K-近鄰(K-nearest neighbor，KNN)算法對(duì)奶牛的反芻、進(jìn)食和其他3種行為進(jìn)行了識(shí)別。任曉惠等[16]利用螢火蟲(chóng)尋優(yōu)算法和支持向量機(jī)對(duì)奶牛反芻、進(jìn)食、飲水進(jìn)行了分類。Peng等[17]在三軸加速度傳感器的基礎(chǔ)上，同時(shí)使用陀螺儀和磁力計(jì)，利用LSTM算法對(duì)奶牛頂撞、反芻、進(jìn)食、躺臥、相互舔舐、舔鹽行為進(jìn)行了分類。Reza等[18]使用IMU收集奶牛運(yùn)動(dòng)數(shù)據(jù)，測(cè)試了多層感知器、邏輯回歸、支持向量機(jī)(Support vector machine，SVM)、線性判別等算法，對(duì)奶牛進(jìn)食、反芻、休息、其他4類行為進(jìn)行了分類。

現(xiàn)存奶牛行為分類對(duì)于行為的劃分粒度較粗，為了進(jìn)一步提高奶牛行為識(shí)別的準(zhǔn)確性，本研究擬對(duì)奶牛的進(jìn)食、反芻和休息行為進(jìn)行細(xì)分，采用IMU和CNN對(duì)細(xì)粒度奶牛行為進(jìn)行判別，并對(duì)傳感器類型、頻率、時(shí)間窗進(jìn)行測(cè)試，以期為奶牛智慧化養(yǎng)殖提供新的思路和技術(shù)支持。

1 儀器、材料與方法

1.1 試驗(yàn)儀器及材料

試驗(yàn)采用的IMU型號(hào)為L(zhǎng)PMS-B2，由日本的LP-RESEARCH公司與廣州阿路比電子科技有限公司共同研發(fā)。IMU集成了三軸加速度計(jì)、陀螺儀和磁力計(jì)等多種傳感器，可同時(shí)進(jìn)行數(shù)據(jù)采集和數(shù)據(jù)傳輸，其中加速度計(jì)可以檢測(cè)運(yùn)動(dòng)載體三軸加速度數(shù)據(jù)，陀螺儀可以檢測(cè)載體相對(duì)于導(dǎo)航坐標(biāo)系的角速度數(shù)據(jù)，磁力計(jì)可以檢測(cè)載體在3個(gè)方向的磁感應(yīng)強(qiáng)度。

1.2 試驗(yàn)數(shù)據(jù)獲取

試驗(yàn)人員將IMU固定到奶牛脖頸正下方，使IMU帶“P”圖案的一面朝向地面。固定頸帶松緊適宜，既保持IMU位置不變，又不會(huì)使奶牛產(chǎn)生應(yīng)激反應(yīng)。IMU頻率設(shè)定為25 Hz，啟動(dòng)傳感器，人工同時(shí)開(kāi)始標(biāo)注奶牛卷食、咀嚼、站立反芻、躺臥反芻、躺臥休息、站立休息(奶牛在站立的狀態(tài)下，原地不動(dòng)或者低速慢走的行為)6種行為。數(shù)據(jù)采集時(shí)間為2019年12月25日9:00—12:00，13:00—16:00。

在人工標(biāo)注奶牛行為時(shí)，需要記錄奶牛行為的開(kāi)始時(shí)間和結(jié)束時(shí)間。傳感器記錄的時(shí)間精確到秒，因此人工記錄的時(shí)間也需要精確到秒。為方便試驗(yàn)員標(biāo)注奶牛行為，本研究開(kāi)發(fā)了一款輔助試驗(yàn)員進(jìn)行奶牛行為標(biāo)注的手機(jī)程序。試驗(yàn)員點(diǎn)擊程序中奶牛行為按鈕，程序可以自動(dòng)記錄奶牛行為、行為開(kāi)始時(shí)間、行為結(jié)束時(shí)間、以及行為發(fā)生的先后順序。

1.3 試驗(yàn)數(shù)據(jù)預(yù)處理

IMU數(shù)據(jù)來(lái)自于加速度計(jì)、陀螺儀和磁力計(jì)(表1)。首先按照時(shí)間先后順序?yàn)镮MU數(shù)據(jù)匹配人工標(biāo)注的奶牛行為，匹配后將6類奶牛行為提取單獨(dú)存放。

表1 固定在奶牛脖頸的IMU輸出數(shù)據(jù)Table 1 Data from IMU fixed to the cow’s neck

試驗(yàn)時(shí)IMU頻率(f)設(shè)定為25 Hz，表示IMU每1 s產(chǎn)生25行數(shù)據(jù)。f設(shè)定為5、10 Hz的IMU數(shù)據(jù)從f=25 Hz的IMU數(shù)據(jù)中抽取。具體抽取規(guī)則為：在f=25 Hz的IMU數(shù)據(jù)中，將每25行數(shù)據(jù)視為1個(gè)片段，從每個(gè)片段中抽取部分?jǐn)?shù)據(jù)形成新的試驗(yàn)數(shù)據(jù)，f=5 Hz的IMU數(shù)據(jù)抽取第1、6、11、16、21行數(shù)據(jù)，f=10 Hz的IMU數(shù)據(jù)抽取1、3、6、8、11、13、16、18、21、23行數(shù)據(jù)。

根據(jù)Peng等[17]的研究，適當(dāng)?shù)臅r(shí)間窗可以提高行為識(shí)別精度。根據(jù)試驗(yàn)員觀察，奶牛單次卷舌、咀嚼時(shí)間一般不超過(guò)5 s。為使試驗(yàn)更加貼合實(shí)際，本試驗(yàn)時(shí)間窗(T)劃定為1、2和4 s，將時(shí)間窗內(nèi)試驗(yàn)數(shù)據(jù)整合為一組。為增加試驗(yàn)數(shù)據(jù)，在T=2 s和T=4 s試驗(yàn)中，每行數(shù)據(jù)使用2次，以T=2 s試驗(yàn)數(shù)據(jù)為例，第1 s數(shù)據(jù)與第2 s數(shù)據(jù)整合為一組試驗(yàn)數(shù)據(jù)，第2 s數(shù)據(jù)與第3 s數(shù)據(jù)整合為一組試驗(yàn)數(shù)據(jù)，以此類推。整合處理之后，當(dāng)T設(shè)置為1、2、4 s時(shí)，試驗(yàn)數(shù)據(jù)為22 461、22 461和11 229組。為了方便訓(xùn)練和測(cè)試分類模型，試驗(yàn)數(shù)據(jù)按照7∶3的比例分為訓(xùn)練集和測(cè)試集。

每列IMU數(shù)據(jù)范圍差異較大，不利于數(shù)據(jù)計(jì)算和模型擬合。在訓(xùn)練模型前，統(tǒng)一使用L2范式正則化對(duì)數(shù)據(jù)進(jìn)行處理。L2范式正則化原理：1個(gè)向量其每個(gè)維度元素都除以本向量的2-范數(shù)，得到新向量。

1.4 分類算法

KNN算法是一種簡(jiǎn)單有效的分類算法，它認(rèn)為一個(gè)樣本的類別由距離此樣本最近的幾個(gè)樣本的類別決定[19]。SVM在人像識(shí)別、文本分類等問(wèn)題中廣泛應(yīng)用[20]，核心思想是在樣本空間中尋找最大間隔超平面將樣本分類[21]。BPNN是一種多層前饋神經(jīng)網(wǎng)絡(luò)，廣泛應(yīng)用于各種分類任務(wù)。神經(jīng)元是其最基本結(jié)構(gòu)，通過(guò)連接神經(jīng)元構(gòu)成網(wǎng)絡(luò)結(jié)構(gòu)。LSTM是一種時(shí)間循環(huán)神經(jīng)網(wǎng)絡(luò)，它能提取時(shí)間序列中間隔較長(zhǎng)的特征，挖掘序列的深層信息[22]。

CNN是一種深度神經(jīng)網(wǎng)絡(luò)，其隱藏層個(gè)數(shù)和隱藏節(jié)點(diǎn)數(shù)遠(yuǎn)大于普通神經(jīng)網(wǎng)絡(luò)，特征學(xué)習(xí)能力強(qiáng)，可以提取數(shù)據(jù)中隱含的特征關(guān)系[23]。CNN由卷積層、池化層、全連接層、Dropout層等構(gòu)成。卷積層是CNN中最重要的結(jié)構(gòu)，其主要功能是通過(guò)卷積核提取輸入數(shù)據(jù)的特征。卷積核是一種權(quán)值矩陣，大小通常為(3，3)或(5，5)，它與輸入數(shù)據(jù)做卷積，得到輸出數(shù)據(jù)[23]。池化層一般出現(xiàn)在卷積層之后，對(duì)輸入的特征進(jìn)行二次提取，進(jìn)一步提高CNN模型的泛化能力。全連接層一般出現(xiàn)在池化層之后，通常由1層或者多層組成，其結(jié)構(gòu)與BPNN中的隱藏層一致。通過(guò)卷積層、池化層、全連接層，CNN模型可擬合大多數(shù)樣本，但訓(xùn)練小樣本模型時(shí)，易出現(xiàn)過(guò)擬合現(xiàn)象。為防止過(guò)擬合，一般在全連接層后插入Dropout層，主動(dòng)遺忘部分隱藏節(jié)點(diǎn)，避免模型過(guò)于依賴部分特征，從而提高模型的魯棒性。

本研究使用的CNN模型網(wǎng)絡(luò)結(jié)構(gòu)見(jiàn)圖1。在訓(xùn)練模型時(shí)，不同頻率、時(shí)間窗的數(shù)據(jù)具有不同的維度，因此在試驗(yàn)時(shí)需改變模型的輸入層，其他結(jié)構(gòu)不變。如T=2 s、f=25 Hz的數(shù)據(jù)的維度是(22 461，50，9)，需將模型的InputLayer層的參數(shù)設(shè)置為(50，9)；如T=4 s、f=25 Hz的數(shù)據(jù)的維度是(11 229，100，9)，需將模型的InputLayer層的參數(shù)設(shè)置為(100，9)。

（3）最大位移出現(xiàn)在碼頭面層中心區(qū)域。最大位移為8.55mm，整個(gè)鋼管桁架平均位移為2.75mm。根據(jù)相關(guān)規(guī)范可知，最大位移不應(yīng)大于L/600，其中L為計(jì)算跨度，取60m?？梢?jiàn)最大位移遠(yuǎn)小于100mm的位移距離要求。

圖1 CNN模型網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network structure of CNN model

1.5 模型評(píng)價(jià)指標(biāo)

正確率(Accuracy，a)，精準(zhǔn)率(Precision，p)、召回率(Recall，r)和F1值是常用的分類評(píng)價(jià)指標(biāo)[15]。計(jì)算公式如下：

(1)

(2)

(3)

(4)

式中：TP(True positive)表示被分類器正確分類的正樣本；FP(False positive)表示被分類器錯(cuò)誤分類的正樣本；FN(False negative)表示被分類器錯(cuò)誤分類的負(fù)樣本；TN(True negative)表示被分類器正確分類的負(fù)樣本。

對(duì)于多分類問(wèn)題，每個(gè)細(xì)分類別均可得出精準(zhǔn)率、召回率和F1值，不利于綜合評(píng)價(jià)分類器。本研究引入了宏平均(Macro average)的概念，對(duì)精準(zhǔn)率、召回率和F1值進(jìn)行加和平均，得出宏平均值。最后使用正確率，宏平均后的精準(zhǔn)率、召回率和F1值4個(gè)指標(biāo)對(duì)試驗(yàn)進(jìn)行分析。

1.6 試驗(yàn)流程

試驗(yàn)流程見(jiàn)圖2。首先，試驗(yàn)人員在養(yǎng)殖場(chǎng)啟動(dòng)IMU，同時(shí)開(kāi)始標(biāo)注奶牛行為。獲取IMU數(shù)據(jù)和人工標(biāo)注數(shù)據(jù)后，根據(jù)時(shí)間先后順序?qū)蓚€(gè)數(shù)據(jù)集融合，對(duì)融合后的數(shù)據(jù)進(jìn)行預(yù)處理，獲得試驗(yàn)數(shù)據(jù)。將試驗(yàn)數(shù)據(jù)劃分為訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)。由訓(xùn)練數(shù)據(jù)訓(xùn)練分類模型，測(cè)試數(shù)據(jù)測(cè)試分類模型。最后，綜合選取最優(yōu)分類模型，用于細(xì)粒度奶牛行為分類。

圖2 細(xì)粒度奶牛行為試驗(yàn)流程Fig.2 Flow chart of fine-grained behavior classification of cows

2 結(jié)果與分析

KNN、SVM、BPNN、CNN和LSTM 5個(gè)分類模型在測(cè)試數(shù)據(jù)集上的評(píng)價(jià)指標(biāo)見(jiàn)圖3。CNN模型分類精度最好，4個(gè)評(píng)價(jià)指標(biāo)均超過(guò)0.83；LSTM模型效果次之，其4個(gè)指標(biāo)超過(guò)0.8。SVM、KNN、BPNN模型分類指標(biāo)均低于0.75。由此可知，相較于傳統(tǒng)的機(jī)器學(xué)習(xí)算法，深度學(xué)習(xí)算法更適合于細(xì)粒度奶牛行為判別。

圖3 不同算法模型在測(cè)試數(shù)據(jù)集上的評(píng)價(jià)指標(biāo)Fig.3 Evaluating indicators of models of different algorithm on test data set

三軸加速度計(jì)的分類效果優(yōu)于陀螺儀和磁力計(jì)，4類指標(biāo)均大于0.8(圖4)。這說(shuō)明相較于陀螺儀和磁力計(jì)，著重于測(cè)量物體空間運(yùn)動(dòng)屬性的三軸加速度計(jì)更加適合于奶牛行為的判別。單獨(dú)傳感器數(shù)據(jù)訓(xùn)練模型的正確率明顯低于全部數(shù)據(jù)訓(xùn)練模型的正確率，這說(shuō)明3個(gè)傳感器配合使用可以彌補(bǔ)各自的短板，明顯提高奶牛行為分類的精度。

圖4 不同傳感器模型在測(cè)試數(shù)據(jù)集上的評(píng)價(jià)指標(biāo)Fig.4 Evaluating indicators of models of different sensors on test data set

IMU頻率越高，傳感器在單位時(shí)間內(nèi)采集的數(shù)據(jù)量越多，耗電量也越大。耗電量過(guò)大會(huì)縮短IMU工作時(shí)長(zhǎng)，影響實(shí)際應(yīng)用。f=25 Hz的IMU分類模型分類效果最好，優(yōu)于f=5 Hz和f=10 Hz的IMU分類模型(圖5)。由此可見(jiàn)，奶牛行為識(shí)別模型的性能與IMU采集數(shù)據(jù)量的大小相關(guān)，頻率越高，采集數(shù)據(jù)量越大，識(shí)別效果越好。但是不同f的IMU分類模型的性能差距并不明顯，其中f=25 Hz 的IMU分類模型的正確率比f(wàn)=10 Hz的IMU分類模型大0.02，比f(wàn)=5 Hz的IMU分類模型大0.04。因此在使用IMU時(shí)，在f選擇上應(yīng)統(tǒng)籌考慮工作時(shí)長(zhǎng)和分類性能。

圖5 不同IMU頻率(f)的模型在測(cè)試數(shù)據(jù)集上的評(píng)價(jià)指標(biāo)Fig.5 Evaluating indicators of models of IMU with different frequency (f) on test data set

當(dāng)時(shí)間窗為4 s時(shí)，模型的分類效果最好，正確率達(dá)到0.85(圖6)。當(dāng)T=2 s時(shí)的模型的分類效果差于T=4 s時(shí)的分類模型，正確率為0.84，當(dāng)T=1 s時(shí)的模型的分類效果最差，正確率為0.8。由此可知，細(xì)粒度奶牛行為識(shí)別的最佳時(shí)間窗為4 s。

圖6 不同時(shí)間窗(T)模型在測(cè)試數(shù)據(jù)集上的評(píng)價(jià)指標(biāo)Fig.6 Evaluating indicators of models of different time window (T) on test data set

采用上述試驗(yàn)和分析得到的最佳參數(shù)(使用全部傳感器、f=25 Hz、T=4 s、CNN算法)，構(gòu)建奶牛行為分類模型，利用模型在測(cè)試數(shù)據(jù)集上得到的召回率繪制混淆矩陣(圖7)。反芻(躺臥)和休息(躺臥)的分類效果最好，召回率達(dá)0.9以上。卷食(采食)和反芻(站立)2個(gè)行為的召回率均為0.88，休息(站立)和咀嚼(采食)的分類效果比較差，召回率分別為0.76和0.69。觀察錯(cuò)誤分類情況，可發(fā)現(xiàn)咀嚼行為、卷食行為相互錯(cuò)分較多，休息(站立)、咀嚼行為相互錯(cuò)分較多，反芻(站立)、休息(站立)行為相互錯(cuò)分較多。由此可知，咀嚼行為數(shù)據(jù)與休息(站立)、卷食行為數(shù)據(jù)較為接近，休息(站立)行為數(shù)據(jù)和咀嚼、反芻(站立)行為數(shù)據(jù)比較接近，這導(dǎo)致其分類精度較低。將6類行為歸納為站立和躺臥2種狀態(tài)，錯(cuò)分?jǐn)?shù)據(jù)少，其錯(cuò)分召回率小于0.02，分類正確率為0.99，說(shuō)明模型可正確分類奶牛2種狀態(tài)。

A，卷食(采食)；B，咀嚼(采食)；C，反芻(站立)；D，休息(站立)；E，反芻(躺臥)；F，休息(躺臥)。A, rolling (feeding); B, chewing (feeding); C, ruminating (standing); D, resting (standing); E， ruminating (lying); F, resting (lying).圖7 使用全部傳感器，頻率為25 Hz、時(shí)間窗為4 s、 CNN的奶牛行為分類模型混淆矩陣Fig.7 Confusion matrix of model of behavior classification of cow using all sensors, f=25 Hz, T=4 s, CNN

3 結(jié) 論

本研究提出了一種基于CNN和IMU的細(xì)粒度奶牛行為識(shí)別算法，實(shí)現(xiàn)了奶牛站立、躺臥2種狀態(tài)和卷食(采食)、咀嚼(采食)、反芻(站立)、反芻(躺臥)、休息(站立)、休息(躺臥)6類行為的識(shí)別，主要結(jié)論如下：CNN算法和IMU配合使用，可實(shí)現(xiàn)奶牛行為的細(xì)粒度分類，其二分類正確率為99%，六分類正確率為85%；與傳統(tǒng)機(jī)器學(xué)習(xí)算法相比，深度學(xué)習(xí)算法更適用于奶牛行為分類；CNN模型分類效果最好，可以有效的對(duì)卷食(采食)、反芻(站立)、反芻(躺臥)、休息(躺臥)行為進(jìn)行分類；頻率設(shè)定為25 Hz的IMU和4 s時(shí)間窗更加適用于細(xì)粒度奶牛行為分類；當(dāng)同時(shí)使用加速度計(jì)、陀螺儀和磁力計(jì)3類傳感器時(shí)，奶牛行為分類模型效果更好。

雖然細(xì)粒度奶牛行為判別試驗(yàn)取得了一定的成果，但是仍存在提升空間，未來(lái)可進(jìn)一步優(yōu)化CNN網(wǎng)絡(luò)結(jié)構(gòu)，通過(guò)增加網(wǎng)絡(luò)層數(shù)提高深度，進(jìn)一步提高模型的正確率。