運用免費計算機軟件SwisTrack分析鰱幼魚游泳行為

石小濤胡運燊王 博黃 瑤陳求穩(wěn)劉德富侯軼群

(1. 中國科學(xué)院生態(tài)環(huán)境研究中心, 北京 100085; 2. 水利部水工程生態(tài)效應(yīng)與生態(tài)修復(fù)重點實驗室, 武漢 430079; 3. 三峽大學(xué)三峽庫區(qū)生態(tài)環(huán)境教育部工程研究中心, 宜昌 443002)

運用免費計算機軟件SwisTrack分析鰱幼魚游泳行為

石小濤1,2,3胡運燊3王 博3黃 瑤3陳求穩(wěn)1,3劉德富3侯軼群2

(1. 中國科學(xué)院生態(tài)環(huán)境研究中心, 北京 100085; 2. 水利部水工程生態(tài)效應(yīng)與生態(tài)修復(fù)重點實驗室, 武漢 430079; 3. 三峽大學(xué)三峽庫區(qū)生態(tài)環(huán)境教育部工程研究中心, 宜昌 443002)

魚類在攝食、遷徙、逃避敵害時均需采用游泳行為,魚類游泳行為對魚類的生存發(fā)揮重要作用[1]。魚類游泳行為受到國內(nèi)外學(xué)者廣泛關(guān)注, 如 Wang, et al.研究了中華鱘(Acipenser sinensis)產(chǎn)卵群體的洄游游泳速度[2], Yuuki, et al.記錄了中華鱘個體在三峽庫區(qū)的游泳速度[3], Zhuang, et al.分析了幾種鱘魚在個體發(fā)育過程中的游泳行為特征[4],田凱等測算了瓦氏黃顙魚的游泳速度[5], 石小濤等指出游泳行為在通過水流障礙中的重要性[6]。在工程應(yīng)用中,水力水電建設(shè)中過魚設(shè)施的建設(shè)同樣需要魚類游泳行為的數(shù)據(jù)參考[7]。

游泳速度是魚類游泳行為的重要指標, 包括平均速度、瞬時速度和爆發(fā)滑行速度等。針對游泳速度目前主要采用的方法包括視頻軟件分析, 標記定位, 加速器分析,以及人工計數(shù)等方法[3,7,8]。各方法各有利弊, 其中行為學(xué)軟件分析視頻是較為高效的一種方法, 在動物行為研究中已經(jīng)發(fā)揮了重要作用。但是, 目前的行為學(xué)視頻分析軟件不能大眾化, 需要一定的經(jīng)濟成本, 如 Noldus和Logger Pro行為學(xué)軟件。因此, 能夠普及運用的行為學(xué)軟件亟待共享。SwisTrack是一款功能強大的軟件, 用于機器人、人類、動物和物體的視頻分析, 提供免費資源, 包括應(yīng)用軟件和源代碼, 有望為魚類行為學(xué)研究提供幫助。鑒于計算機視頻處理技術(shù)在魚類行為分析中的應(yīng)用有限,本文以共享軟件SwisTrack為對象, 借助其在鰱游泳行為過程中的應(yīng)用, 重點分析SwisTrack軟件的思路和優(yōu)缺點,擬為讀者介紹一種魚類行為分析的方法。

1 材料與方法

1.1 試驗材料及暫養(yǎng)

試驗用鰱均由湖北宜都漁場提供。試驗用魚通過充氧水包或供氧水箱車分批運送到三峽大學(xué)生態(tài)水工實驗室, 暫養(yǎng)3d后進行試驗。暫養(yǎng)水槽為直徑2 m、深為0.5 m的圓形水槽。暫養(yǎng)期間水溫為(20.00±1.00) , 24h℃ 連續(xù)持續(xù)充氧。每2d換暫養(yǎng)水的30%, 每1d投食餌料和吸糞便、殘渣1次。

1.2 試驗方法

試驗使用的圓形水槽同暫養(yǎng)水槽。試驗魚選擇鰱幼魚體長為(8.79±0.62) cm。試驗魚禁食24h后, 放置于試驗水槽中適應(yīng)區(qū), 適應(yīng)30min后進行試驗。試驗使用20尾魚, 2尾魚為一組, 共10組。每一組記錄視頻24h, 白天采用自然光, 晚上紅外光。試驗裝置的頂部1.6 m處放置紅外攝像頭記錄試驗魚的自由游泳行為(圖 1)。試驗水溫為(20.00±1.00) , ℃ 溶解氧保持在6.0 mg/L以上。試驗使用遮光布把試驗水槽圍住, 避免與外界光干擾, 禁止試驗水槽附近的活動, 避免外界聲干擾。使用紅外攝像頭進行錄像, 通過視頻回放每個小時隨機選取的10個1min視頻片段, 采用SwisTrack 4.0軟件、Logger Pro 32軟件和手動視頻分幀處理方法收集鰱游泳過程中的數(shù)據(jù), 以比較各數(shù)據(jù)采集方法的優(yōu)劣。SwisTrack軟件通過背景差值法實現(xiàn)二維平面上多目標自動追蹤功能, Logger Pro 32軟件通過連續(xù)手動點擊跟蹤軌跡實現(xiàn)手動跟蹤, 手動視頻分幀處理技術(shù)采用逐幀推進和像素定位換算的方法實現(xiàn)魚類行為測試。

圖1 試驗裝置示意圖Fig. 1 Schematic of the experimental setup

在 SwisTrack軟件視頻分析的的過程中, 如果隨意挑選視頻片段, 常產(chǎn)生較多非正常值。通過視頻回放和肉眼觀察, 發(fā)現(xiàn)這部分視頻出錯片段對比度不高, 或出現(xiàn)反光, 或魚類個體重疊。因此, 在隨后的視頻處理中, 選取對比度清晰, 無反光, 無個體游泳交叉行為的視頻。試驗記錄體長(BL)、自由游泳速度(cm/s)、相對自由游泳速度(BL/s)、最大自由游泳速度(cm/s)和相對最大自由游泳速度(BL/s)。自由游泳速度為非靜止時魚的速度, 相對速度為游泳速度與體長的比值, 最大游泳速度為該視頻片段中兩幀之間的速度最大值。為了比較各種方法, 引入效率值表征各種方法的優(yōu)劣, 效率值由三位操作人員根據(jù)實際操作經(jīng)驗, 以手動視頻分析為基礎(chǔ)分1分進行打分。

1.3 數(shù)據(jù)分析

實驗數(shù)據(jù)采用SPSS 18.0進行分析, 統(tǒng)計值用平均數(shù)±標準差(Mean±SD)描述, 用Oneway-ANOVA分析差異性。

2 結(jié)果

魚類游泳速度分析表明, 視頻處理方法對試驗結(jié)果有顯著影響。鰱的自由游泳速度、相對自由游泳速度在應(yīng)用SwisTrack、Logger Pro和手動測試分析過程中(圖2、圖3), 未產(chǎn)生顯著差異(P>0.05, 表1), 但三者均與未挑選視頻直接通過 SwisTrack處理得到的結(jié)果有顯著差異(P<0.05, 表 1), 表明 SwisTrack可用于部分視頻效果較好片段的數(shù)據(jù)處理, 但不能用于處理對比度不高, 或出現(xiàn)反光, 或魚類個體重疊的視頻。效率值比較表明, SwisTrack軟件在自動分析魚類游泳速度方面表現(xiàn)出極好的效果。

圖2 SwisTrack 4.0軟件記錄一尾魚的游泳行為示意圖Fig. 2 Illustration of fish swimming route by software SwisTrack

圖3 Logger Pro 32軟件記錄魚疾沖游泳軌跡示意圖Fig. 3 Illustration of fish swimming route by software Logger Pro

3 討論

魚類游泳行為學(xué)在各種高科技的支持下取得了很大的發(fā)展, 近年來涌現(xiàn)出了多種前沿技術(shù)。如彈出式衛(wèi)星數(shù)據(jù)回收標志(Pop-up Archival Tag)的中華鱘幼魚, RFID技術(shù), DIDSON雙頻識別聲吶技術(shù)[7—9]。但是, 上述各種技術(shù)對設(shè)備的要求高, 成本大, 同時對人員的要求高, 不易廣泛推廣普及應(yīng)用。因此, 有必要尋找成本較低, 較為易學(xué)且普通人群能夠接觸的技術(shù)。魚類視頻分析具備視頻易得的優(yōu)點, 配合視頻分析軟件, 已經(jīng)有力的推動了魚類行為學(xué)的研究。如 Paglianti 和 Domeniqi利用商業(yè)行為軟件WINanalyze分析了鹿角杜父魚(Leptocottus armatus)的逃逸行為[10], Kanea, et al.[11]鳉創(chuàng)建了視頻分析方法探討了底(Fundulus heteroclitus)應(yīng)激行為, 吳冠豪和曾理江[12]開發(fā)了移動視頻平臺研究魚類游泳動力學(xué), Wong, et al.借助商業(yè)行為軟件 Noldus Ethovision研究了斑馬魚(Danio rerio)[13]行為在藥物篩選中的方法, 徐盼麟等利用單攝像機實現(xiàn)了魚類的三維定位[14]。但是, 魚類視頻分析技術(shù)仍沒有得到廣泛應(yīng)用, 其原因主要是有關(guān)行為學(xué)軟件的高昂成本或復(fù)雜性。

表1 鰱幼魚自由游泳速度Tab. 1 The free swimming velocity of the juveniles silver carp

SwisTrack作為一款免費軟件, 操作簡單, 成本低廉,能夠?qū)崿F(xiàn)魚類行為定量。SwisTrack軟件的追蹤核心是基于OpenCV庫編寫的一套程序, 主要技術(shù)路線如圖4。載入視頻后, SwisTrack對視頻分析解碼, 通過OpenCV庫把視頻轉(zhuǎn)化為可處理格式, 用背景圖對比視頻畫面, 減掉靜止不變的背景畫面, 標出運動的物體; 加上蒙版, 限制視頻檢測區(qū)域, 算出只含有目標的運動圖像。SwisTrack依據(jù)視頻分辨率建立坐標系, 視頻的左下角即為(0, 0),根據(jù)視頻分辨率的像素點, 以像素點為橫縱坐標, 1個像素為一個單位, 并根據(jù)像素點分配給運動檢測的目標物,在預(yù)先限制的蒙版范圍內(nèi)對目標物進行追蹤檢測、處理。最后以視頻幀數(shù)作為時間軸, 以像素點賦值追蹤目標,自動追蹤目標移動的過程, 并生成數(shù)據(jù)報表。SwisTrack最初開發(fā)是作為一種機器人追蹤平臺, 開展群機器人研究和行為生物學(xué)方面的研究, 如通過追蹤一群蟑螂研究未知環(huán)境中蟑螂如何通過行為控制方式完成行為與步態(tài)生成[15]。將SwisTrack軟件靈活應(yīng)用于魚類研究, 取得了極好的數(shù)據(jù)獲取效果。與商業(yè)軟件Logger Pro和手工視頻處理方法比較, SwisTrack具有準確、高效的特點, 克服了 Logger Pro和手工視頻處理時的繁瑣, 能很好地避免由于視頻中運動物體運動軌跡的錯綜復(fù)雜帶來的干擾。

魚類自由游泳行為作為持續(xù)游泳能力的一種, 反應(yīng)魚類的行為特征。魚類自由游泳速度類似于持續(xù)游泳速度,均表示魚類的有氧運動速度, 但自由游泳速度側(cè)重于魚類個體完全的自主游泳行為, 而持續(xù)游泳速度更多的是被用于在游泳槽中魚類被動游泳時進行其游泳能力定量[16]。溪紅點鮭幼魚(15 cm)的相對自由游泳速度為略高于1BL/s, 大馬哈魚(58—70 cm, FL)的相對自由游泳速度為介于(1—2)BL/s, 東方金槍魚(81—143 cm, FL)的相對自由游泳速度為(1.1—1.4) BL/s[17]。本文中鰱的相對自由游泳速度略高于上述魚類, 其原因可能是本文采用的游泳標準是僅選取運動中的個體作為視頻分析對象, 而上述研究包括了靜止的行為, 同時可能與本研究提供的是靜水環(huán)境有關(guān)[18]。魚類自由游泳過程中的最大游泳速度較少報道, 學(xué)者們更多的是采用爆發(fā)游速、急沖(快速啟動)速度評價魚類的最大游泳速度。本文中鰱的最大自由游泳速度低于大多數(shù)魚類的爆發(fā)游速(10BL/s), 原因是在本研究中鰱處于靜水環(huán)境且未受干擾, 故較少產(chǎn)生爆發(fā)或快速啟動行為。

圖4 SwisTrack 技術(shù)路線Fig. 4 Flow chart of SwisTrack technical route

在鰱的視頻分析過程中發(fā)現(xiàn), SwisTrack還有許多可以改進的地方。在追蹤目標的時候, 當(dāng)目標物出現(xiàn)重疊的正交現(xiàn)象, SwisTrack在該處可能出現(xiàn)辨認錯誤。2個追蹤目標可能會重疊后繼續(xù)朝向各自原本的運動方向運動,也可能重疊以后相撞而返回, 但由于視頻分析過程是在二維空間進行, 軟件不具備自動區(qū)分個體功能, 也不具備對目標物在視頻中進行標記染色功能, 因此在視頻中不可以出現(xiàn)重疊現(xiàn)象。在視頻錄制中, 光與水面出現(xiàn)的反射現(xiàn)象, 會在視頻中全部體現(xiàn)出來。SwisTrack是根據(jù)視頻的像素點來區(qū)別運動物體與背景的, 光與水面的反射與折射現(xiàn)象會不間斷的改變給定像素點位置的變化, SwisTrack不能正確識別該像素變化是運動物體還是反射現(xiàn)象, 會把所有位置的像素變化識別為運動物體。由于魚類游泳是在三維空間中進行, 重疊的現(xiàn)象不可避免, 因此SwisTrack軟件還需要進行更深入的開發(fā)。

總之, 魚類行為學(xué)研究有待于計算機視頻分析技術(shù)的進一步應(yīng)用, SwisTrack軟件為魚類研究者提供了一條有效分析魚類二維軌跡的途徑。

[1] Shi X T, Chen Q W, Liu D F, et al. Critical swimming speed of young Chinese sucker (Myxocryprinus asiaticus) [J]. Acta Hydrobiologica Sinica, 2012, 36(1): 133—136 [石小濤, 陳求穩(wěn), 劉德富, 等. 胭脂魚幼魚的臨界游泳速度. 水生生物學(xué)報, 2012, 36(1): 133—136]

[2] Wang C, Kynard B, Wei Q, et al. Spatial distribution and habitat suitability indices for non-spawning and spawning adult Chinese sturgeons below Gezhouba Dam, Yangtze River: Effects of river alterations [J]. Journal of Applied Ichthyology, 2013, 29(1): 31—40

[3] Yuuki Y W, Qiwei W, et al. Swimming behavior of Chinese sturgeon in natural habitat as compared to that in a deep reservoir: preliminary evidence for anthropogenic impacts [J]. Environmental Biology of Fishes, 2013, 96(1): 123—130

[4] Zhuang P, Kynard B, Zhang L, et al. Comparative ontogenetic behavior and migration of kaluga, Huso dauricus, and Amur sturgeon, Acipenser schrenckii, from the Amur River [J]. Environmental Biology of Fishes, 2003, 66(1): 37—48

[5] Tian K, Cao Z D, Fu S J. Effects of velocity increment and duration on critical swimming speed of juvenile darkbar-bel catfish [J]. Chinese Journal of Ecology, 2010, 29(3): 534—538 [田凱, 曹振東, 付世建. 速度增量及持續(xù)時間對瓦氏黃顙魚幼魚臨界游泳速度的影. 生態(tài)學(xué)雜志, 2010, 29(3): 534—538]

[6] Shi X T, Chen Q W, Huang Y P, et al. Review on the methods to quantify fish’s ability to cross velocity barriers in fish passage [J]. Acta Ecologica Sinica, 2011, 31(22): 6967—6972 [石小濤, 陳求穩(wěn), 黃應(yīng)平, 等. 魚類通過魚道內(nèi)水流速度障礙能力的評估方法分析. 生態(tài)學(xué)報, 2011, 31(22): 6967—6972]

[7] Castro-Santos T, Haro A. Fish Guidance and Passage at Barriers. In: Fish Locomotion: An Eco-ethological Perspective [M]. Science Publishers. 2010, 62—89

[8] Chen J H, Zhuang P, Wu J H, et al. Migration and distribution of released Acipenser sinensis in the sea based on Pop-up Archival Tag technique [J]. Journal of Fishery Sciences of China, 2011, 18(2): 437—442 [陳錦輝, 莊平,吳建輝, 等. 應(yīng)用彈式衛(wèi)星數(shù)據(jù)回收標志技術(shù)研究放流中華鱘幼魚在海洋中的遷移與分布. 中國水產(chǎn)科學(xué), 2011, 18(2): 437—442]

[9] Boswell K M, Wilson M P, Cowan J H, et al. A semiautomated approach to estimating fish size, abundance, and behavior from dual-frequency identification sonar (DIDSON) data [J]. North American Journal of Fisheries Management, 2008, 28(3): 799—807

[10] Paglianti A, Domenici P. The effect of size on the timing of visually mediated escape behaviour in staghorn sculpin Leptocottus armatus [J]. Journal of Fish Biology, 2006, 68(4): 1177—1191

[11] Kanea A S, Saliernoa J D, Gipsona G T, et al. A video-based movement analysis system to quantify behavioral stress responses of fish [J]. Water Research, 2004, 38(18): 3993—4001

[12] Wu G H, Zeng L J. Video tracking method for three-dimensional measurement of a free- swimming fish [J]. Science in China Series G-Physics and Astronomy, 2007, 37(6): 760—766 [吳冠豪, 曾理江. 用于自由游動魚三維測量的視頻跟蹤方法. 中國科學(xué) G 輯, 2007, 37(6): 760—766]

[13] Wong K, Stewart A, Gilder T, et al. Modeling seizure-related behavioral and endocrine phenotypes in adult zebrafish [J]. Brain Research, 2010, 1348: 209—215

[14] Xu P L, Han J, Tong J F. Preliminary studies on an automated 3D fish tracking method based on a single video camera [J]. Journal of Fisheries of China, 1998, 36(4): 623—628 [徐盼麟, 韓軍, 童劍鋒. 基于單攝像機視頻的魚類三維自動跟蹤方法初探. 水產(chǎn)學(xué)報, 1998, 36(4): 623—628]

[15] Lochmatter T, Roduit P, Cianci C, et al. SwisTrack-A Flexible Open Source Tracking Software for Multi-Agent Systems [A]. 2008 IEEE/RSJ International Conference on Intelligent Robots and Systems Acropolis Convention Center. 2008, 22—26: 4004—4010

[16] Kieffer J D. Perspective–Exercise in fish: 50+years and going strong [J]. Comparative Biochemistry and Physiology, 2010, 156(2): 163—168

[17] Yu X M, Zhang X M. Research progress on measurements of fish swimming ability [J]. South China Fisheries Science, 2011, 7(4): 2095—0780 [于曉明, 張秀梅. 魚類游泳能力測定方法的研究進展. 南方水產(chǎn)科學(xué), 2011, 7(4): 2095—0780]

[18] Swanson C. Interactive effects of salinity on metabolic rate, activity, growth and osmoregulation in the euryhaline milkfish (Chanos chanos) [J]. Journal of Experimental Biology, 1998, 201(24): 3355—3366

USING FREE SOFTWARE SWISTRACK TO LEARN SWIMMING BEHAVIOR OF SILVER CARP, HYPOPHTHALMICHTHYS MOLITRIX

SHI Xiao-Tao1,2,3, HU Yun-Shen3, WANG Bo3, HUANG Yao3, CHEN Qiu-Wen1,3, LIU De-Fu3and HOU Yi-Qun2(1. Ecological Environment Research Center of Chinese Academy of Sciences, Beijing 100085, China; 2. Ecological
Effects of Water Engineering of Ministry of Water Resources and Ecological Restoration Laboratory, Wuhan 430079, China; 3. Engineering Research Center of Eco-environment in Three Gorges Reservoir Region, Yichang 443002, China)

計算機; 視頻; 軌跡; 魚; 游泳行為

Computer; Video; Route; Fish; Swimming behavior

Q142.8

A

1000-3207(2014)03-0588-04

10.7541/2014.83

2013-09-16;

2014-02-25

楚天學(xué)者基金(KJ2010B002); 國家自然科學(xué)基金(50979049, 51009082); 中國博士后科學(xué)基金; 水利部公益性行業(yè)科研專項(201201030, 201201028-02); 中國長江三峽集團公司科研項目; 水利部水工程生態(tài)效應(yīng)與生態(tài)修復(fù)重點實驗室開放基金; 三峽庫區(qū)生態(tài)環(huán)境教育部工程研究中心開放基金(KF2013-03)資助

石小濤(1981—), 男, 湖北紅安人; 博士; 主要從事水生動物生態(tài)學(xué)研究。E-mail: sxtshanghai@163.com

陳求穩(wěn)(1974—), 男, 湖北黃梅人; 博士; 主要從事生態(tài)水力學(xué)研究。E-mail: fishlab@163.com