基于骨架能量圖的奶牛步態(tài)識別

張滿囤　王萌萌　劉天鶴　溫素丹　于洋

摘要：為了提高奶牛步態(tài)識別領域中對遠距離奶牛目標的識別準確率和算法的普遍適用性，提出一種基于奶牛骨架能量圖的步態(tài)識別算法。首先對奶牛視頻序列進行前景提取，接著利用查表法對步態(tài)序列細化得到奶牛步態(tài)序列骨架圖，然后把奶牛骨架圖以周期為單位生成步態(tài)能量圖并進行特征提取，最后比對奶牛骨架能量特征圖降維后與數(shù)據(jù)庫中步態(tài)數(shù)據(jù)，輸出步態(tài)識別結果。結果表明，在測試集中的奶牛步態(tài)識別正確率達87.6%，明顯高于其他算法，并且對遠距離目標有更好的識別效果，能更有針對性地分析四肢運動，抑制與步態(tài)運動無關的信息，提高了分類的準確性。

關鍵詞：奶牛;個體識別;前景提取;骨架能量圖;分類

中圖分類號： TP391.41? 文獻標志碼： A

文章編號：1002-1302（2020）19-0257-06

收稿日期：2019-12-06

基金項目：天津市科技支撐計劃（編號：15ZCZDNC00130）。

作者簡介：張滿囤（1971—），男，河北衡水人，博士，副教授，主要從事計算機圖形學、圖像處理、三維模型檢索和三維物體識別研究。E-mail：zhangmandun@scse.hebut.edu.cn。

隨著居民消費觀念和飲食結構的變化，我國乳制品產(chǎn)業(yè)得到快速發(fā)展，但當前奶牛養(yǎng)殖行業(yè)仍然普遍存在著產(chǎn)奶量低、采食量高等現(xiàn)象，嚴重影響著我國奶牛養(yǎng)殖業(yè)的發(fā)展。奶牛個體識別作為奶牛飼養(yǎng)管理的基礎，是養(yǎng)殖業(yè)信息化的重要標志，近年來逐漸引起人們的重視。精確地識別奶牛個體是精準管理和高效管理的關鍵，只有這樣，才能更有針對性地完成飼養(yǎng)和疾病管理等工作，從而提供養(yǎng)殖管理的決策支持，提高我國奶牛養(yǎng)殖業(yè)的管理水平。在奶牛個體識別領域中，主要有基于統(tǒng)計特征的方法和基于模型的方法兩大類。傳統(tǒng)的識別方法是給奶牛佩戴標簽[1]，但該方法不僅成本高，還要耗費大量人力物力，而且標簽容易被奶牛損壞。如今畜牧業(yè)大多采用無線射頻識別技術[2]，但該方法無法識別遠距離的目標，且成本較高。Kumar等提出在深度卷積神經(jīng)網(wǎng)絡中，應用疊層去噪自動編碼器技術，對提取的鼻型圖像特征進行編碼來識別奶牛，但是奶牛鼻型樣本數(shù)據(jù)的獲取有一定難度，并且難以應用到實際中去，同時網(wǎng)絡模型建立過程比較困難，模型的魯棒性較低[3]。日本筑波大學的Mimura等采用三階高層次局部自相關技術分析運動的奶牛視頻從而進行步態(tài)識別，但該方法依賴高端技術，經(jīng)濟性較差[4]。

針對以上問題，本研究從提高模型準確性、高效性和實用性角度出發(fā)，研究奶牛個體識別技術，提出一種基于奶牛骨架能量圖的步態(tài)識別算法。首先對包含奶牛步態(tài)周期的視頻序列進行前景提取，接著利用查表法對步態(tài)序列細化得到奶牛步態(tài)序列骨架，然后把奶牛骨架圖以周期為單位劃分，生成步態(tài)能量圖，并對步態(tài)能量圖進行特征提取，最后對奶牛步態(tài)能量特征圖降維后與數(shù)據(jù)庫中的奶牛步態(tài)數(shù)據(jù)進行比對，輸出分類結果。本算法是基于圖像處理的非接觸的奶牛個體識別算法，識別過程不需要奶牛的配合，克服了先前個體識別技術中數(shù)據(jù)采集困難、模型建立沒有統(tǒng)一標準、耗時的缺陷，同時解決了奶牛個體行走過程中，幾乎不發(fā)生變化的軀干占前景圖像較大部分影響識別準確率的問題。試驗結果表明，本算法在提高識別準確率的同時，識別速度更快。

1 相關原理

1.1 步態(tài)識別

步態(tài)是以足來帶動身體運動的一種行進方式，步態(tài)識別是通過個體的體型和行走模式對個體進行身份識別和認證的一種個體識別技術，步態(tài)識別的關鍵是特征的表達和提取，其基本目標是通過獲取一段待檢測模式正常行走的視頻，與步態(tài)數(shù)據(jù)庫中數(shù)據(jù)進行對比，識別出待檢測模式的身份。與其他的生物識別技術相比，步態(tài)識別具有不需刻意配合、信息采集距離遠、步態(tài)特征難以隱藏的優(yōu)點，因而適合對動物進行個體識別。在智能視頻監(jiān)控領域，步態(tài)識別比傳統(tǒng)的圖像識別更具優(yōu)勢。動物的步態(tài)是動物的體質量、肢體大小與運動姿勢的綜合體現(xiàn)[5]，并且具有唯一性，可以用來作為動物個體的唯一標識。通常情況下，基于光學圖像的步態(tài)識別算法的步驟如下：

（1）步態(tài)檢測以獲取個體步態(tài)數(shù)據(jù);（2）對步態(tài)數(shù)據(jù)進行特征提取和特征檢測;（3）將步態(tài)特征與數(shù)據(jù)庫中的數(shù)據(jù)進行對比并輸出分類結果。

1.2 旋轉不變LBP算子

局部二值模式（local binary pattern，簡稱LBP）算子是一種用來描述圖像局部特征的算子，用來提取圖像局部紋理特征。原始的LBP算子定義在3×3的窗口中，以窗口的中心元素為閾值，將其與周圍相鄰的8個像素的灰度值進行比較，若相鄰像素的像素值大于閾值的像素值，則標記為1，否則標記為0。3×3鄰域內(nèi)經(jīng)過比較產(chǎn)生8個二進制數(shù)，將這8位二進制數(shù)依次排列形成一個二進制數(shù)字（通常情況下轉化為十進制數(shù)，共256種），這個二進制數(shù)就是中心像素的LBP值。中心像素的LBP值是對該像素周圍區(qū)域紋理信息的一種反映。圖像中每個像素點都對應一個LBP編碼，對一副圖像的灰度圖提取原始LBP算子以后，得到的原始LBP特征圖依然是一副圖像，此時每個像素點的像素值是其LBP編碼。采用LBP特征譜的統(tǒng)計直方圖作為特征向量進行分類識別，步驟如下：

（1）將一幅圖像劃分為若干子區(qū)域;（2）對子區(qū)域內(nèi)的每個像素點提取LBP特征;（3）在每個子區(qū)域內(nèi)建立LBP特征的統(tǒng)計直方圖作為對該圖像的描述;（4）利用相似性度量函數(shù)判斷圖像間的相似性。

從LBP的定義可以看出，LBP算子具有灰度不變性，但是并不具有旋轉不變性。圖像的旋轉會得到不同的LBP值。旋轉不變LBP算子[6]解決了LBP算子的此種缺陷。旋轉不變LBP算子可以將LBP的3×3矩形鄰域范圍調整到可以擴展任意大小的圓形鄰域，并且不斷旋轉，從而產(chǎn)生一串初始的LBP編碼，將其中的最小編碼作為該圓形鄰域內(nèi)的中心像素點最終編碼，以此來確保LBP編碼的旋轉不變性。

2 模型介紹

本模型在步態(tài)能量圖[7]的基礎上提出，針對行進中幾乎不發(fā)生變化的軀干占前景區(qū)域較大部分影響識別準確率的問題，提出一種基于骨架能量圖的步態(tài)識別算法。本算法模型見圖1，首先，對奶牛視頻按幀裁剪的同時進行前景提取，接著利用查表法對步態(tài)序列細化得到奶牛步態(tài)序列骨架圖，然后把奶牛骨架圖以周期為單位劃分，生成步態(tài)能量，最后對奶牛步態(tài)能量特征圖降維后與數(shù)據(jù)庫中的奶牛步態(tài)數(shù)據(jù)進行對比，得到步態(tài)識別結果并輸出。

2.1 奶牛前景序列提取

對數(shù)據(jù)集中奶牛完整個體進入攝錄區(qū)域到牛頭到達攝錄區(qū)域邊緣記為一個周期。將步態(tài)視頻在按幀裁剪的同時進行灰度化與前景提取操作，前景提取流程見圖2，目的是獲取前景目標。其中后處理指對原始前景圖進行的一系列形態(tài)學操作以減少奶牛花紋和噪聲的影響。

本模型使用ViBe算法對預處理后的奶牛步態(tài)視頻進行前景檢測，同時將步態(tài)視頻以幀為單位進行裁剪。ViBe算法通過判斷某一像素點的值與其對應樣本集中的存儲值是否接近來判斷該像素點是否為背景點[8]，但存在可能引入拖影區(qū)域的缺點。為了能夠適應不斷變化的背景，本試驗中采用了傳統(tǒng)更新策略與前景點計數(shù)方法、隨機子采樣相結合的更新策略。前景點計數(shù)的更新策略記錄像素點狀態(tài)，若某一像素點連續(xù)多次檢測為前景點，則將該像素點進行更新，設置為背景像素點。ViBe算法能夠比較好地實時檢測出前景。

f（a，b）=1-2（a+b）×（a-b）（a+1）+（b+1）×2（256-a）×（256-b）（256-a）+（256-b）。（1）

為達到更好的試驗效果，用式（1）替換ViBe算法中的普通差分函數(shù)。式（1）中，0≤f（a，b）<1，式中a、b的具體表達式為a（x，y）、b（x，y），其中a（x，y）≥0，b（x，y）≤255，a（x，y）、b（x，y）分別表示當前圖像和背景圖像在像素（x，y）處的亮度值。圖3為經(jīng)過上述處理后的原始視頻和前景圖像。

ViBe算法在提取目標前景時會受到奶牛花紋的影響[9]，因而在試驗過程中加入了后處理操作。后處理操作主要包括形態(tài)學閉運算處理與單連通區(qū)域提取處理，應用閉運算來填充前景圖中的細小的孔洞和噪聲，單連通區(qū)域提取處理可消除前景圖像中的花紋，從而將特征聚集到奶牛的步態(tài)上。后處理操作效果見圖4。

2.2 基于奶牛骨架的步態(tài)能量圖

2.2.1 奶牛骨架能量圖生成

奶牛骨架能量圖的生成過程與步態(tài)能量圖的生成類似，主要包含構建骨架圖和生成骨架能量圖2個步驟，下面分步介紹骨架能量圖的生成過程。

2.2.1.1 查表法構建骨架

骨架是待識別目標的抽象表現(xiàn)形式，可以有效地表達對象形狀的幾何特征和拓撲結構。圖像骨架[10]提取也稱為圖像的細化。由于骨架提取出的特征的高度抽象化，經(jīng)過骨架提取的圖像去掉了冗余信息，更加真實地反映奶牛運動的實際步態(tài)。在奶牛步態(tài)識別研究中，奶牛四肢的運動狀態(tài)極為關鍵，而骨架圖能夠保留這些關鍵信息，將研究的關鍵點聚集到奶牛的四肢及軀干上，解決了奶牛行進中幾乎不發(fā)生變化的軀干占前景圖像較大部分影響識別準確率的問題。

典型生成骨架圖的算法是查表法[11]，選取某一像素點，在3×3鄰域內(nèi)以相鄰8個點作為依據(jù)判斷，具體過程如下：（1）作為內(nèi)部的像素點不能被刪除;（2）作為孤立的像素點不能被刪除;（3）像素點作為直線端點時不能被刪除;（4）設P為邊界點，若刪除P，連通分量不增加，則P可以刪除。

選取奶牛步態(tài)周期中前7幅圖像進行骨架提取，效果如圖5所示。雖然經(jīng)過單連通處理后前景圖像與原始前景圖像存在一定誤差，但由于骨架提取的高度抽象化，此誤差對試驗結果影響可忽略不計。

2.2.1.2 奶牛骨架能量圖生成

將“2.2.1.1”節(jié)中生成的奶牛步態(tài)骨架序列生成骨架能量圖，生成過程如下：首先對奶牛步態(tài)骨架序列進行尺度歸一化和大小歸一化處理;再將經(jīng)過2次歸一化后的步態(tài)骨架序列按周期生成奶牛步態(tài)骨架能量圖;可通過式（2）生成步態(tài)能量圖：

G（x，y）=1NB（x，y，z）。（2）

式中：N表示奶牛步態(tài)周期;B（x，y，z）為歸一化的奶牛骨架序列;t為奶牛步態(tài)中隨時間變化的圖像;x與y為坐標值;G（x，y）為該奶牛前景序列的步態(tài)能量。奶牛骨架能量圖不僅可以更加直接表示出奶牛的實際步態(tài)，而且可以抑制行進過程中幾乎不發(fā)生變化的軀干影響步態(tài)識別準確率的問題。將6幀步態(tài)骨架序列通過公式（2）生成圖6中最右側的骨架能量圖。

2.2.2 奶牛骨架能量圖特征提取

直接將骨架能量圖與數(shù)據(jù)庫中的數(shù)據(jù)進行模式匹配的速度和準確率較低，因此本算法對骨架能量圖進行特征提取，并對其進行降維處理后與數(shù)據(jù)庫中數(shù)據(jù)進行匹配，以提高模式匹配的準確率和速度。試驗部分選取旋轉不變LBP算子、方向梯度直方圖（histogram of oriented gradient，簡稱HOG）特征算子[12]和尺度不變特征變換（scale-invariant feature transform，簡稱SIFT）[13]分別對骨架能量圖進行特征提取，以選取效果最好的特征提取方法（圖7）。

3 數(shù)據(jù)集及評價指標

3.1 試驗數(shù)據(jù)采集

為保證數(shù)據(jù)集中樣本數(shù)量的充足，本試驗的初始數(shù)據(jù)以視頻格式獲取。奶牛會固定在每天16：00—17：00依次穿過一條長100 m、寬15 m，兩側裝有格柵的特定通道，在緊鄰格柵外側使用攝像機對奶牛的行進狀態(tài)進行錄像，錄像機距離牛的距離不固定。每一頭奶牛的數(shù)據(jù)分為牛頭向左和牛頭向右2種情況，每種情況下的數(shù)據(jù)中包含該奶牛的15個完整周期，數(shù)據(jù)集中共2×15×100=3 000個周期，每個周期提取出20幀前景圖像，表示該周期內(nèi)奶牛的步態(tài)序列。將100頭奶牛個體進行編號，表示100個待識別的模式。由此，構建了一個小型的奶牛步態(tài)序列數(shù)據(jù)庫，用于奶牛個體步態(tài)識別試驗。隨機抽取100頭奶牛中牛頭向左和牛頭向右各300個周期進行測試，其他奶牛步態(tài)周期作為訓練集。

3.2 模型評價指標

本模型的輸出為對當前個體的步態(tài)識別結果，將經(jīng)過降維處理后的骨架能量圖與數(shù)據(jù)庫中的數(shù)據(jù)進行對比，所以用正確識別率和識別時間來對模型進行評價。正確識別率的定義見公式（3）。公式（3）中CCR代表正確識別率，樣本總數(shù)目指測試集中奶牛周期的總數(shù)目，TP指被正確識別的奶牛周期數(shù)目。

CCR=TP樣本總數(shù)目×100%。（3）

另外一個評價指標是識別時間，指本研究模型對測試集中所有數(shù)據(jù)進行一次識別所耗費的時間，單位為s，用以衡量算法的時間復雜度。

4 試驗結果及分析

4.1 不同特征提取算法對比試驗

按照第“3”節(jié)中所述步驟進行試驗，計算采取不同特征提取算法時本研究算法的各種評價指標，并將所有特征提取算法的試驗結果進行對比。最終試驗結果見表1。

試驗1取得了所有算法中最高正確識別率，這表明本研究提出的基于奶牛骨架的步態(tài)能量圖更適合奶牛個體步態(tài)識別。相同的閾值設定下，試驗1的正確識別率最高。試驗3、4和試驗9、10的對比進一步表明，在相同閾值下，本研究提出的骨架能量圖相比傳統(tǒng)能量圖在提高了正確識別率的同時，縮短了識別時間。

試驗1采用PCA進行降維，相對于沒有進行降維處理的試驗2，試驗1的識別率更高并且識別時間更短，說明通過降維處理，大大縮短了測試集中數(shù)據(jù)與數(shù)據(jù)庫數(shù)據(jù)的匹配時間。試驗2、3表明，相同條件下采取旋轉不變LBP算子比傳統(tǒng)LBP算子識別率更高。試驗5、6采用HOG算法分別對奶牛骨架能量圖和傳統(tǒng)步態(tài)能量圖進行提取特征。HOG首先要將圖像進行Gamma標準化，根據(jù)先驗知識，在此將Gamma值設定為0.5，然后計算圖像的梯度，求取圖像的梯度直方圖，最后歸一化單元塊得到圖像特征，耗費時間較長。但對于基于骨架的步態(tài)能量圖，HOG算法只需提取奶牛細化后的四肢的特征，相較于其他方法，特征提取的時間明顯減少，同時識別率優(yōu)于傳統(tǒng)能量圖。試驗7、8數(shù)據(jù)結果顯示，用SIFT算法求取階段過于依賴鄰域像素點梯度方向，同時圖像金字塔的層數(shù)設置不足會導致尺度出現(xiàn)誤差，從而導致特征向量信息不準確，因而正確識別率較低。

4.2 不同分類器算法對比試驗

本研究用SVM、最鄰近節(jié)點算法（k-nearest neighbors，簡稱KNN）、隨機森林這幾種常見的分類器分別進行對比試驗，得到最終分類結果（表2）。特征提取算法為表1中試驗1的方法。

結果表明，KNN通過數(shù)據(jù)之間的度量進行，運算量較大且不適合高維特征向量，識別率較低;SVM的分類識別會通過訓練生成一個超平面，以此來預測待識別模式的標簽，準確率最高。使用隨機森林分類器可以處理高維數(shù)據(jù)，但是最優(yōu)樹的選擇個數(shù)沒有具體的標準，一般是根據(jù)先驗知識設置。隨機森林在分類過程中很容易出現(xiàn)過擬合現(xiàn)象，這里根據(jù)先驗知識將ntree的值設置為500。為保證分類算法的泛化能力，本研究分別對25、50、75、100頭奶牛的數(shù)據(jù)化進行試驗，分類結果見圖8。分析得出在奶牛步態(tài)識別分類器的選擇上，SVM的結果最理想。究其原因，是因為SVM適合小樣本集的學習，并且因為有核函數(shù)的存在，當面對線性不可分的樣本時，SVM使用核函數(shù)向高維空間映射以保證樣本的可分。本質上，SVM避開了從歸納到演繹的傳統(tǒng)過程，實現(xiàn)了高效的從訓練樣本到預報樣本的轉導推理。

4.3 算法泛化能力評估

為驗證本研究提出的基于骨架能量圖的奶牛步態(tài)識別算法的魯棒性特點，挑選3種有代表性的算法進行算法泛化能力評估，生成接收者操作（ROC）特征曲線。試驗將測試集組合成正樣本對與負樣本對序列，計算樣本對距離，通過固定負樣本對的誤識別率（FPR），選出對應的距離閾值，然后以同樣的閾值檢測正樣本對的接受率（TPR）。圖9表示3種算法分別選定FPR、TPR點擬合得到的ROC曲線。在圖例中“骨架能量圖-旋轉不變LBP”使用SEGI-pro-LBP表示，“骨架能量圖-傳統(tǒng)LBP”使用SEGI-LBP表示，“傳統(tǒng)能量圖-傳統(tǒng)LBP”使用GEI-LBP表示。

試驗結果表明，本研究算法對應的ROC曲線位于所有曲線的最左、最上的位置，即負樣本對的誤識別率一定時，本研究算法得到正樣本對的正確識別率最高，進一步體現(xiàn)了本研究算法的可行性和有效性。

5 結束語

本研究在步態(tài)能量圖的基礎上，提出了一種基于奶牛骨架能量圖的步態(tài)識別算法，將奶牛行進過程中的特征聚集到運動著的軀干上，極大地抑制了與步態(tài)運動無關的信息，所提取特征更加準確地反映了奶牛運動的實際步態(tài)，提高了正確識別率，測試集中正確識別率達到了87.6%。并且在使用相同圖像特征提取算法時，本研究算法分類識別時間更短。將本研究算法與傳統(tǒng)算法進行多組對比試驗，通過試驗結果可以該算法均高于現(xiàn)有步態(tài)識別算法應用在奶牛步態(tài)識別領域的識別結果。未來會將本算法應用到實際生產(chǎn)，并結合具體問題探索更優(yōu)的方法和策略。

參考文獻：

[1]靳蜜肖，李亞敏，曾立華. 一種犢牛飼喂控制系統(tǒng)的設計[J]. 浙江農(nóng)業(yè)學報，2014，26（1）：206-209.

[2]龐 超，何東健，李長悅，等. 基于RFID與WSN的奶牛養(yǎng)殖溯源信息采集與傳輸方法[J]. 農(nóng)業(yè)工程學報，2011，27（9）：147-152.

[3]Kumar S，Pandey A，Satwik K R，et al. Deep learning framework for recognition of cattle using muzzle point image pattern[J]. Measurement，2018，116（6）：1-17.

[4]Mimura S，Itoh K，Kobayashi T，et al. The cow gait recognition using CHLAC[C]//Proceedings of the 2008 Bio-inspired，Learning and Intelligent Systems for Security. Washington DC：IEEE Computer Society，2008.