牛永亮
摘? 要:基于開源計(jì)算機(jī)視覺類庫OpenCV,采用光流法、自適應(yīng)角度調(diào)整、模塊化拼接及角點(diǎn)檢測等方法實(shí)現(xiàn)三級(jí)跳遠(yuǎn)體育視頻中運(yùn)動(dòng)背景及前景合成、運(yùn)動(dòng)員關(guān)鍵技術(shù)指標(biāo)定量分析。文章首先結(jié)合三級(jí)跳遠(yuǎn)視頻特點(diǎn),采用光流法將視頻中呈現(xiàn)的局部運(yùn)動(dòng)信息和全局背景信息分析、提取;其次利用Hough變換、仿射變換、區(qū)域填充法對(duì)光流法提取的背景特征進(jìn)行模塊化合成;然后依據(jù)視頻序列中呈現(xiàn)的時(shí)間和空間屬性,將三級(jí)跳遠(yuǎn)運(yùn)動(dòng)視頻中展現(xiàn)的背景、前景合成為全局場景圖;最后,對(duì)運(yùn)動(dòng)員的三級(jí)跳關(guān)鍵技術(shù)指標(biāo)進(jìn)行定量分析。實(shí)驗(yàn)表明,該算法能夠?qū)崿F(xiàn)三級(jí)跳遠(yuǎn)運(yùn)動(dòng)場景合成,通過對(duì)運(yùn)動(dòng)員關(guān)鍵運(yùn)動(dòng)指標(biāo)進(jìn)行定量分析,為其他競技類視頻分析提供借鑒,對(duì)指導(dǎo)現(xiàn)實(shí)訓(xùn)練具有一定意義。
關(guān)鍵詞:OpenCV;運(yùn)動(dòng)背景;三級(jí)跳遠(yuǎn);運(yùn)動(dòng)場景合成;指標(biāo)定量分析
Abstract:Based on the open source computer vision library OpenCV,the methods of optical flow,adaptive angle adjustment,modular splicing and corner detection are used to realize the synthesis of sports background and foreground of the sports video in the triple jump and quantitatively analyze the key technical indicators of athletes. Firstly,combined with the characteristics of the triple jump video,the optical flow method is used to analyze and extract the local motion information and global background information presented in the video. Secondly,we use Hough transform,affine transform and area filling method to make modular synthesis of the background features extracted by optical flow method. Then,according to the time and space attributes presented in the video sequence,the background and foreground presented in the triple jump video are synthesized into a global scene diagram. Finally,the key technical indicators of triple jump are analyzed quantitatively. The experiment shows that the algorithm can realize the scene synthesis of the triple jump and quantitatively analyze the key sports indicators of athletes,which provides reference for other competitive video analysis and has certain significance for guiding the practical training.
Keywords:OpenCV; moving background; triple jump; motion scene synthesis; quantitative analysis of indicators
一、研究背景與現(xiàn)狀
當(dāng)今,競技體育發(fā)展越來越迅速,運(yùn)動(dòng)員之間的競爭也越來越激烈,提高其運(yùn)動(dòng)成績的難度也越來越大。OpenCV視覺類庫于1999年由Intel建立,是由C函數(shù)和少量C++類構(gòu)成開源軟件開發(fā)包,實(shí)現(xiàn)了圖像處理和計(jì)算機(jī)視覺方面的很多通用算法,為視頻分析研究帶來了便利。競技類運(yùn)動(dòng)視頻將訓(xùn)練或比賽中運(yùn)動(dòng)員的各個(gè)動(dòng)作用攝像機(jī)拍攝下來,通過數(shù)字視頻處理和圖像解析技術(shù)對(duì)動(dòng)作狀態(tài)和細(xì)節(jié)進(jìn)行分析處理、比較,可以讓運(yùn)動(dòng)員直觀地了解自身的不足和優(yōu)勢,實(shí)現(xiàn)體育訓(xùn)練的科學(xué)化。
競技類運(yùn)動(dòng)視頻是典型的運(yùn)動(dòng)背景視頻?;谶\(yùn)動(dòng)背景的視頻研究,可以克服靜止攝像機(jī)帶來的場景固定、觀測范圍小等不利因素,實(shí)現(xiàn)實(shí)時(shí)跟蹤、擴(kuò)大觀測范圍,目前已廣泛應(yīng)用于人機(jī)交互、圖像導(dǎo)航、戰(zhàn)場測繪等軍事和民事領(lǐng)域,并取得了豐富的成果。美國國防部VSAM(Visual Surveillance and Monitoring)研究項(xiàng)目,實(shí)現(xiàn)了戰(zhàn)場態(tài)勢分析、難民管理、重點(diǎn)場所管控等功能[1];在歐盟,由法國計(jì)算機(jī)科學(xué)與控制研究院及英國的雷丁大學(xué)等機(jī)構(gòu)聯(lián)合開發(fā)了一套用于提高公共交通網(wǎng)絡(luò)管理的ADVISOR系統(tǒng)[2]。在國內(nèi),各高校及科研機(jī)構(gòu)對(duì)此也特別關(guān)注。2008年北京奧運(yùn)會(huì)期間,中科院自動(dòng)化所建立了針對(duì)室內(nèi)外場景監(jiān)控的視頻分析系統(tǒng),可對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行分析,并記錄場景的變化情況[3];西北工業(yè)大學(xué)設(shè)計(jì)完成的GreatWall視頻系統(tǒng),可以在門禁控制、航拍目標(biāo)檢測等方面進(jìn)行分析[4]。
在體育科學(xué)研究領(lǐng)域,芬蘭赫爾辛基理工大學(xué)的Perttu、美國亞利桑那州立大學(xué)的Kanav Kahol博士等分別通過延時(shí)視頻技術(shù)對(duì)運(yùn)動(dòng)員訓(xùn)練過程中的復(fù)雜技術(shù)動(dòng)作、舞蹈訓(xùn)練中的姿勢等進(jìn)行自動(dòng)分割,用于識(shí)別和指導(dǎo)訓(xùn)練[5-6]。相較國外而言,國內(nèi)面向運(yùn)動(dòng)訓(xùn)練的視頻分析研究起步較晚,但現(xiàn)今也取得了一些成果。國防科技大學(xué)陳劍赟等提出了基本語義單元BSU(Basic Semantic Unit)的概念,并給出了基于BSU的視頻內(nèi)容分析框架[7]。李玲芝利用全局運(yùn)動(dòng)估計(jì)模型對(duì)跳水運(yùn)動(dòng)視頻進(jìn)行了分析,為跳水運(yùn)動(dòng)的技術(shù)分析提供了支持[8]。以上研究雖然成績斐然,但由于運(yùn)動(dòng)背景的復(fù)雜性,目前對(duì)于運(yùn)動(dòng)背景下的運(yùn)動(dòng)目標(biāo)研究遠(yuǎn)沒有達(dá)到應(yīng)對(duì)復(fù)雜場景的要求。
文章以第16屆廣州亞運(yùn)會(huì)和第30屆倫敦奧運(yùn)會(huì)中的三級(jí)跳遠(yuǎn)項(xiàng)目為例,基于OpenCV函數(shù)庫對(duì)三級(jí)跳遠(yuǎn)運(yùn)動(dòng)視頻進(jìn)行分析,實(shí)現(xiàn)視頻中運(yùn)動(dòng)目標(biāo)的檢測和提取、運(yùn)動(dòng)場景合成、運(yùn)動(dòng)指標(biāo)定量計(jì)算與分析等功能,具有以下應(yīng)用價(jià)值和學(xué)術(shù)意義:
(1)比較運(yùn)動(dòng)背景下運(yùn)動(dòng)目標(biāo)分析方法,并對(duì)三級(jí)跳遠(yuǎn)視頻分析,為其他競技類項(xiàng)目技術(shù)分析提供借鑒和方法;
(2)運(yùn)用圖像處理技術(shù)和三級(jí)跳遠(yuǎn)運(yùn)動(dòng)的專業(yè)知識(shí),對(duì)運(yùn)動(dòng)視頻進(jìn)行全景合成,并對(duì)運(yùn)動(dòng)員關(guān)鍵技能指標(biāo)進(jìn)行定量分析,以利于提高運(yùn)動(dòng)員成績;
(3)利用OpenCV開源工具包實(shí)現(xiàn)平臺(tái)設(shè)計(jì),可以減少開發(fā)風(fēng)險(xiǎn),降低成本,提高開發(fā)速度。
二、算法思路
競技運(yùn)動(dòng)劇烈,完成時(shí)間短,一次完整的動(dòng)作往往不足20秒,教練員很難在短時(shí)間內(nèi)對(duì)運(yùn)動(dòng)員的運(yùn)動(dòng)指標(biāo)進(jìn)行直觀判斷。全景合成圖由描述整個(gè)場景的背景和運(yùn)動(dòng)前景共同構(gòu)成,能夠改變單一局部觀察視角,展現(xiàn)整個(gè)運(yùn)動(dòng)場景的全貌。相對(duì)于單個(gè)圖像組成的視頻序列,運(yùn)動(dòng)全景圖可以更加全面、直觀地獲取運(yùn)動(dòng)信息。
實(shí)驗(yàn)實(shí)現(xiàn)全景合成圖和技術(shù)指標(biāo)定量分析兩個(gè)目的。首先將三級(jí)跳遠(yuǎn)運(yùn)動(dòng)視頻序列轉(zhuǎn)化為灰色圖像序列,通過運(yùn)動(dòng)檢測分析得到運(yùn)動(dòng)前景目標(biāo)和全局背景目標(biāo),對(duì)于背景,根據(jù)三級(jí)跳遠(yuǎn)場地設(shè)置規(guī)則進(jìn)行背景合成;對(duì)于前景,通過圖像后處理合成前景圖,最終將前景、背景進(jìn)行合成。在分離出前景運(yùn)動(dòng)員基礎(chǔ)上,加入關(guān)鍵技術(shù)指標(biāo)分析知識(shí),對(duì)運(yùn)動(dòng)員進(jìn)行技術(shù)指標(biāo)定量分析。整體的設(shè)計(jì)流程如圖1:
三、場景合成
(一)圖像預(yù)處理
數(shù)字視頻在若干連續(xù)的圖像(幀)在時(shí)間軸上進(jìn)行排序,使之成為一個(gè)圖像序列。由于各幀的處理是相互獨(dú)立的,因此可以將數(shù)字視頻當(dāng)作一個(gè)個(gè)靜止圖像來處理。數(shù)字圖像的存儲(chǔ)在計(jì)算機(jī)中用矩陣來表示。在不影響實(shí)驗(yàn)效果的前提下,為了減少運(yùn)算量,將視頻中獲取的 RGB圖像轉(zhuǎn)化為單通道圖像,即灰度圖像。
在視頻中由于攝像角度差異,要對(duì)圖像進(jìn)行標(biāo)準(zhǔn)化處理并消除圖像的噪音,需要解決兩個(gè)問題:一是對(duì)圖像中的非跑道直線進(jìn)行排除;二是對(duì)檢測到的跑道直線計(jì)算得出角度,并進(jìn)行幾何變換。
Hough變換從黑白二值圖像中檢測直線,它利用點(diǎn)與線的對(duì)偶性,將原始圖像空間中的給定曲線通過曲線表達(dá)形式變?yōu)閰?shù)空間的一個(gè)點(diǎn)。對(duì)問題一,可對(duì)識(shí)別出的直線,當(dāng)線段的斜率k≤0,線段長度小于圖像寬度1/2時(shí)對(duì)直線進(jìn)行排除。對(duì)問題二,對(duì)跑道直線角度采取均值的方法計(jì)算。
仿射變換可以實(shí)現(xiàn)二維坐標(biāo)之間的線性變換,且保持二維圖像的平直性和平行性。實(shí)驗(yàn)中,設(shè)圖像中A點(diǎn)像素的原坐標(biāo)為 ,變換后的坐標(biāo)為 ,M為變換矩陣。當(dāng)目標(biāo)繞原點(diǎn)順時(shí)針旋轉(zhuǎn)時(shí),對(duì)應(yīng)的坐標(biāo)變換及矩陣M為:
圖像預(yù)處理步驟:
1.獲取視頻序列中幀彩色圖像;
2.利用函數(shù)cvCvtColor進(jìn)行圖像色彩空間轉(zhuǎn)換,將RGB圖像轉(zhuǎn)換為灰度圖像;
3.Hough變換檢測圖像中直線跑道;
4.計(jì)算得出跑道與水平軸的夾角,對(duì)圖像進(jìn)行幾何變換,效果如圖2:
(二)運(yùn)動(dòng)目標(biāo)檢測
基于運(yùn)動(dòng)背景的目標(biāo)檢測,目前主要采用全局運(yùn)動(dòng)估計(jì)和光流法來實(shí)現(xiàn)。在競技運(yùn)動(dòng)視頻中,背景和前景都在運(yùn)動(dòng),其中背景的運(yùn)動(dòng)稱為全局運(yùn)動(dòng),前景目標(biāo)的運(yùn)動(dòng)稱為局部運(yùn)動(dòng)。全局運(yùn)動(dòng)估計(jì)算法是在視頻序列中找出背景運(yùn)動(dòng)的規(guī)律,通過全局運(yùn)動(dòng)補(bǔ)償?shù)玫奖尘皥D像;然后經(jīng)過相鄰幀間的差分及一系列的后處理,得到局部運(yùn)動(dòng)目標(biāo),由于對(duì)構(gòu)成視頻場景的各個(gè)運(yùn)動(dòng)對(duì)象均引入?yún)?shù)估計(jì),計(jì)算量相對(duì)較大。光流法根據(jù)圖像序列中像素點(diǎn)的灰度瞬時(shí)變化,計(jì)算得到像素點(diǎn)的速度矢量,從而構(gòu)成圖像的光流場。當(dāng)光流矢量在整個(gè)圖像區(qū)域中連續(xù)變化時(shí),可以判斷圖像中不存在運(yùn)動(dòng)目標(biāo);當(dāng)圖像中有運(yùn)動(dòng)目標(biāo)時(shí),由于與背景存在相對(duì)運(yùn)動(dòng),運(yùn)動(dòng)目標(biāo)的速度矢量必然和鄰域中背景的不同,從而檢測出運(yùn)動(dòng)目標(biāo)及位置[9]。在競技類視頻中,運(yùn)動(dòng)目標(biāo)個(gè)體單一,運(yùn)動(dòng)方向特征明顯,在實(shí)驗(yàn)中采用光流法進(jìn)行運(yùn)動(dòng)目標(biāo)檢測。算法步驟為:
1.獲取相鄰幀運(yùn)動(dòng)圖像;
2.采用稠密光流跟蹤算法Horn-Schunck(HS)及對(duì)像素鄰域進(jìn)行匹配的塊匹配(BM)方法,獲取相鄰幀中各像素塊的速度方向;
3.根據(jù)速度矢量對(duì)背景像素進(jìn)行排除,僅剩運(yùn)動(dòng)光流矢量;
4.確認(rèn)運(yùn)動(dòng)圖像中運(yùn)動(dòng)區(qū)域,并進(jìn)行分割。
在進(jìn)行光流法處理時(shí),需要考慮噪聲的影響。在相鄰幀圖片中,運(yùn)動(dòng)員基本處于圖像的中央位置,因此可以不去過多考慮上邊界和左邊界的情況;為了保證整個(gè)視頻序列在處理后圖像的尺寸保持一致,可以增大矩形邊界取值范圍,以滿足整個(gè)圖像序列中獲得相同大小的運(yùn)動(dòng)目標(biāo)。結(jié)果如圖3:
(三)圖像后處理
在提取到運(yùn)動(dòng)目標(biāo)后,為去除目標(biāo)中含有的背景噪聲,需要經(jīng)過后處理,然后才能較好地顯示前景運(yùn)動(dòng)。其主要經(jīng)過二值化處理、形態(tài)學(xué)操作和輪廓提取及剔除無關(guān)區(qū)域等操作,流程如下:
1.二值化處理。設(shè)定灰度閾值Th,將灰度圖像中的像素灰度值D(x,y)與其比較,小于閾值Th的像素劃為一類,作為前景;大于閾值Th的像素劃為另一類,作為背景。經(jīng)過處理,灰度圖像轉(zhuǎn)化為二值圖像R(x,y)。
2.形態(tài)學(xué)操作。在得到二值圖像后,其圖像中存在一些孤立的像素點(diǎn),同時(shí)目標(biāo)區(qū)域中還存在內(nèi)部空洞。通過形態(tài)學(xué)操作可以進(jìn)一步減少噪聲的干擾。實(shí)驗(yàn)中用到腐蝕、膨脹操作;
3.輪廓提取及剔除無關(guān)區(qū)域操作。對(duì)前面處理過的圖像進(jìn)行連通性分析,并最終剔除面積較小的孤立區(qū)域。在處理后的二值圖像中,通過查找輪廓來檢測連通區(qū)域,并設(shè)立面積閾值,將面積小于閾值的孤立區(qū)域過濾掉,面積較大的認(rèn)為是前景區(qū)域。
4.重繪保留的輪廓,得到前景區(qū)域,如圖4:
經(jīng)過圖像后處理,可以將分割出來的前景運(yùn)動(dòng)員進(jìn)行較好的復(fù)原處理。但由于運(yùn)動(dòng)員鞋子的像素值與跑道差異不大,對(duì)運(yùn)動(dòng)員腳部位置的復(fù)原不夠理想。
(四)前景合成
一個(gè)完整的三級(jí)跳遠(yuǎn)視頻包含近百張圖像序列。完成前景圖像合成,需考慮如何選擇圖像加入前景合成圖像;如何在前景合成圖像過程中保證圖像間不出現(xiàn)重疊、遮擋以及縫隙等問題。
圖像匹配算法對(duì)兩幅或多幅圖像進(jìn)行識(shí)別并判斷其相似性。在實(shí)驗(yàn)中利用圖像灰度直方圖的統(tǒng)計(jì)特征,對(duì)運(yùn)動(dòng)視頻圖像序列進(jìn)行圖像匹配,進(jìn)而篩選出相關(guān)度較小的圖像。其原理是:設(shè)定相關(guān)度閾值N,獲取視頻中相鄰的第K幀及K+1幀,比較視頻序列中相鄰兩幀的灰度直方圖,如果其相關(guān)性小于閾值,則保存第K幀圖像,并且令第K+1幀圖像為第K幀,讀取第K+2幀為K+1幀,重復(fù)以上操作,直到視頻結(jié)束;如果其相關(guān)性大于閾值N,K取值不變,取第K+2幀為第K+1幀,重復(fù)以上操作。算法流程如圖5:
對(duì)第16屆廣州亞運(yùn)會(huì)哈薩克斯坦選手葉克托夫比賽視頻中,相鄰的三幀圖像進(jìn)行直方圖匹配。其結(jié)果如圖6:
如上圖所示,a,b,c分別為相鄰三幀圖像,a',b',c'為對(duì)應(yīng)的直方圖。采用圖像匹配相關(guān)度方法, a與b的相關(guān)度為0.9778,a與c的相關(guān)度為0.8804。設(shè)定閾值為0.95,則排除b圖像。
在匹配選取圖像后,需要以貼圖的方式將圖像轉(zhuǎn)換到同一坐標(biāo)系下,需考慮如何根據(jù)圖像的時(shí)空關(guān)系通過圖像融合清晰地映射到全景圖中。
首先解決圖像的時(shí)空關(guān)系。在視頻轉(zhuǎn)換為幀圖像時(shí),保存所對(duì)應(yīng)的幀編號(hào),可以得到圖像的時(shí)間屬性。競技運(yùn)動(dòng)中,嚴(yán)格的場地設(shè)置,可以確定相應(yīng)的位置關(guān)系。因此,在獲取視頻圖像序列時(shí),用文件名保留其所在的幀數(shù),用于表示其對(duì)應(yīng)的時(shí)間信息;根據(jù)前景圖像中含有的背景特征,可以確定前景圖像對(duì)應(yīng)的位置信息。假設(shè)背景特征測風(fēng)儀和起跳板所對(duì)應(yīng)的幀數(shù)分別為fm,fn;水平像素坐標(biāo)為Pm,Pn;在fm,fn 之間存在N幀前景圖像。則第i幀圖像fi(m
以此類推,可以將圖像映射到一個(gè)統(tǒng)一的坐標(biāo)系下。
在圖像融合過程中,當(dāng)出現(xiàn)圖像重疊時(shí),如果只是簡單地進(jìn)行兩幅圖像的疊加,容易造成圖像的模糊以及明顯的拼接痕跡。實(shí)驗(yàn)中采用取平均值法來進(jìn)行處理。
設(shè)分別代表兩幅相鄰的圖像在前景圖 處的像素值,則進(jìn)行如下處理:
根據(jù)算法,取跑道作為背景,得到的前景合成圖如圖7:
在合成圖中,運(yùn)用圖像融合技術(shù)可以合成前景圖像,并且消除相鄰幀間存在的拼接痕跡。為方便得到前景運(yùn)動(dòng)幀的時(shí)間屬性,在圖像上方標(biāo)出了前景各幀所對(duì)應(yīng)的幀編號(hào)。在第40幀處出現(xiàn)一定的重影,是由于背景裁判員影響了前景運(yùn)動(dòng)員的顯示效果。
(五)背景合成
三級(jí)跳遠(yuǎn)場地有著嚴(yán)格的設(shè)置要求,將三級(jí)跳遠(yuǎn)視頻中的特征要素進(jìn)行提取,用以進(jìn)行背景構(gòu)造,主要采用插值法、區(qū)域填充法和光流法進(jìn)行處理,算法流程如圖8:
三級(jí)跳助跑道可以通過插值算法來實(shí)現(xiàn)。圖像插值算法利用已知的鄰近像素點(diǎn)的灰度值來產(chǎn)生所求像素點(diǎn)的灰度值,從而根據(jù)原始圖像再生出新的圖像或者擴(kuò)展區(qū)域內(nèi)的圖像。實(shí)驗(yàn)中,選取包含助跑道的圖像,根據(jù)三級(jí)跳遠(yuǎn)場地設(shè)置和相應(yīng)的比例關(guān)系進(jìn)行圖像插值處理。下圖為最近鄰插值、雙線性插值、高階插值得到助跑道,如圖9:
場地背景特征提取利用光流法、背景特征降噪、區(qū)域填充法得到。首先根據(jù)速度矢量規(guī)律獲取背景特征所在位置,并創(chuàng)建矩形區(qū)域;然后依據(jù)助跑道橫貫圖像具有直線的特性,根據(jù)Hough變換檢測,并消除圖像噪聲;最后進(jìn)行形態(tài)學(xué)膨脹處理,得到背景特征圖像,如圖10。
對(duì)于同時(shí)含有前景運(yùn)動(dòng)員和背景特征的圖片,采用區(qū)域填充法進(jìn)行處理。首先利用光流法對(duì)前景運(yùn)動(dòng)區(qū)域進(jìn)行檢測并提取;然后對(duì)提取前景后留下的空當(dāng)區(qū)域,根據(jù)周邊相似背景進(jìn)行填充,最后通過降噪處理,得到背景區(qū)域,如圖11。
對(duì)獲取的背景特征,利用三級(jí)跳遠(yuǎn)場地規(guī)則,確定背景特征所處的位置,將其統(tǒng)一到坐標(biāo)系下,得到背景合成圖,如圖12。
(六)全景合成
全景合成圖由描述整個(gè)場景的背景和運(yùn)動(dòng)前景共同構(gòu)成,改變了單一局部的觀察視角,展現(xiàn)了整個(gè)場景的運(yùn)動(dòng)全貌。相對(duì)于單個(gè)圖像組成的視頻序列,全景合成圖可以更加全面、直觀地獲取運(yùn)動(dòng)信息,如圖13。
四、關(guān)鍵技術(shù)指標(biāo)分析
三級(jí)跳遠(yuǎn)項(xiàng)目是由運(yùn)動(dòng)員經(jīng)過加速助跑后,由單足跳(hop)、跨步跳(skip)、跳躍(jump)所組成的連續(xù)三次騰越的運(yùn)動(dòng)項(xiàng)目,相關(guān)技術(shù)指標(biāo)包括助跑速度和速度利用率、踏板準(zhǔn)確度、三跳比例、運(yùn)動(dòng)角度值等[10],實(shí)驗(yàn)中對(duì)助跑速度、運(yùn)動(dòng)角度值進(jìn)行了定量分析。
(一)助跑速度分析
根據(jù)三級(jí)跳遠(yuǎn)場地規(guī)則,測風(fēng)儀距離起跳板20米。將測風(fēng)儀、起跳板作為標(biāo)志,兩者間的距離設(shè)為S;當(dāng)運(yùn)動(dòng)員到達(dá)后,進(jìn)入設(shè)定的矩形有效范圍開始計(jì)算視頻幀數(shù),得到所用的時(shí)間T, 最終根據(jù)則可得出運(yùn)動(dòng)員在此期間的平均速度V,即,如圖14:
在實(shí)驗(yàn)中選取2010年廣州亞運(yùn)會(huì)三級(jí)跳遠(yuǎn)運(yùn)動(dòng)員曹碩進(jìn)行了分析,視頻播放速率為1020幀/分。運(yùn)動(dòng)員進(jìn)入測風(fēng)儀、起跳板有效矩形范圍所對(duì)應(yīng)的幀數(shù)分別為第3幀、第39幀。計(jì)算所用時(shí)間平均速度為。
(二)角度指標(biāo)分析
實(shí)驗(yàn)中對(duì)運(yùn)動(dòng)員的離地角、膝關(guān)節(jié)角分別進(jìn)行了定量計(jì)算。在計(jì)算角度指標(biāo)時(shí),需對(duì)運(yùn)動(dòng)員的圖像進(jìn)行邊緣檢測、輪廓提取、輪廓矩計(jì)算、角點(diǎn)檢測。
計(jì)算離地角,算法思路為:
1.分離出運(yùn)動(dòng)目標(biāo)后,提取目標(biāo)輪廓。實(shí)驗(yàn)中在使用Sobel邊緣檢測算子,進(jìn)行輪廓提取;
2.根據(jù)輪廓的矩特征,提取出運(yùn)動(dòng)員的質(zhì)心和接地點(diǎn)坐標(biāo)。輪廓矩是對(duì)輪廓上的所有像素點(diǎn)進(jìn)行積分運(yùn)算,從而得到的一個(gè)統(tǒng)計(jì)特征;
3.根據(jù)三角形余弦公式得到著地角。
實(shí)驗(yàn)中對(duì)廣州亞運(yùn)會(huì)哈薩克斯坦選手葉克托夫第二跳時(shí)的起跳角分析,得到的重心坐標(biāo)A(126,78),著地點(diǎn)坐標(biāo)B(164,150),計(jì)算得到起跳角度為62.1759度,如圖15:
計(jì)算膝關(guān)節(jié)角,算法思路為:
1.對(duì)目標(biāo)運(yùn)動(dòng)圖像進(jìn)行輪廓處理;
2.根據(jù)輪廓面積等特征將小的干擾輪廓進(jìn)行排除,最終得到運(yùn)動(dòng)員輪廓;
3.對(duì)輪廓圖像進(jìn)行角點(diǎn)檢測,并對(duì)角點(diǎn)標(biāo)注編號(hào)。實(shí)驗(yàn)中,采用Harris算子對(duì)角點(diǎn)進(jìn)行檢測;
4.輸入關(guān)注的角點(diǎn)編號(hào),以便準(zhǔn)確地確定所檢測角點(diǎn)的位置;
5.以該角點(diǎn)為圓心作圓并與輪廓的交點(diǎn)構(gòu)成三角形。利用余弦定理得出所要求的角度,如圖16:
實(shí)驗(yàn)中對(duì)⑧號(hào)角點(diǎn)進(jìn)行了檢測,測得角度為164.74度。
五、平臺(tái)設(shè)計(jì)
針對(duì)實(shí)驗(yàn)中完成的內(nèi)容,設(shè)計(jì)了三級(jí)跳遠(yuǎn)運(yùn)動(dòng)分析平臺(tái),主要實(shí)現(xiàn)視頻載入及圖像保存、圖像預(yù)處理、場景合成及運(yùn)動(dòng)指標(biāo)計(jì)算等功能。該平臺(tái)以Window XP,Visual C++6.0,OpenCV為基礎(chǔ)進(jìn)行開發(fā),共分為四個(gè)部分:視頻載入及圖像保存、圖像預(yù)處理、場景合成、技術(shù)指標(biāo)計(jì)算,如圖17:
六、實(shí)驗(yàn)分析
實(shí)驗(yàn)對(duì)三級(jí)跳遠(yuǎn)視頻進(jìn)行了運(yùn)動(dòng)目標(biāo)檢測,運(yùn)動(dòng)場景合成、運(yùn)動(dòng)指標(biāo)定量計(jì)算,并設(shè)計(jì)了三級(jí)跳遠(yuǎn)運(yùn)動(dòng)分析平臺(tái)。實(shí)驗(yàn)過程中,筆者進(jìn)行了大量的算法對(duì)比分析,并提出了一些新的算法。
(1)對(duì)全局運(yùn)動(dòng)估計(jì)和光流法進(jìn)行比較。全局運(yùn)動(dòng)計(jì)算量較大且外點(diǎn)排除復(fù)雜;而三級(jí)跳遠(yuǎn)視頻中運(yùn)動(dòng)員處于中心位置且前景與背景存在明顯的運(yùn)動(dòng)差異。實(shí)驗(yàn)表明,光流法可以較好地檢測出運(yùn)動(dòng)目標(biāo)。
(2)在背景合成中采用了模塊化的合成方法。實(shí)驗(yàn)中采用區(qū)域填充法和背景特征提取法分別進(jìn)行了背景合成。
(3)進(jìn)行三級(jí)跳遠(yuǎn)運(yùn)動(dòng)場景的全景合成。運(yùn)動(dòng)場景合成改變了單一局部的觀察視角,展現(xiàn)了整個(gè)場景的運(yùn)動(dòng)全貌,更利于全面、直觀地獲取運(yùn)動(dòng)信息。
(4)對(duì)運(yùn)動(dòng)員技術(shù)指標(biāo)進(jìn)行計(jì)算,并對(duì)角點(diǎn)對(duì)應(yīng)角度值進(jìn)行計(jì)算。在對(duì)角點(diǎn)進(jìn)行檢測時(shí),采用了歐氏距離進(jìn)行強(qiáng)角點(diǎn)排除。
在實(shí)驗(yàn)過程中,由于實(shí)驗(yàn)條件和時(shí)間因素限制,在視頻分析實(shí)時(shí)性、算法優(yōu)化及平臺(tái)設(shè)計(jì)等方面還需進(jìn)一步深入研究和拓展。
參考文獻(xiàn):
[1] Collins T,Lipton A,F(xiàn)ujiyoshi H,Kanade T. Algorithms for Cooperative Multisensor surveillance. In Proceedings of the IEEE,2001.
[2] Remagnino P,Tan T,Baker K. Multi-agent visual surveillance of dynamic scenes. Image and Vision Computing,2008,16(8):529-532.
[3] 黃誠.智能視頻監(jiān)控系統(tǒng)管理配置子系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].北京:北京大學(xué),2009.
[4] 朱誼強(qiáng).基于Adaboost算法的實(shí)時(shí)行人檢測系統(tǒng)[D].西安:西北工業(yè)大學(xué),2006.
[5]? 王亮,胡衛(wèi)明,譚鐵牛.人運(yùn)動(dòng)的視頻分析綜述[J].軟件學(xué)報(bào),2002,25(3):225-237.
[6] Kanav Kahol,Priyamvada Tripathi,Sethuraman Panchanathan. Automated gesture segmentation from dance sequences[C]. Proceedings of the Sixth IEEE International Conference on Automatic Face and Gesture Recognition,2004:883-888.
[7] 陳劍赟,李云浩等.一種通用的基于基本語義單元的體育視頻內(nèi)容分析框架[J].小型微型計(jì)算機(jī)系統(tǒng),2005(2):272-276.
[8] 李玲芝.跳水運(yùn)動(dòng)視頻分析系統(tǒng)關(guān)鍵技術(shù)研究[D].長沙:中南大學(xué),2008.
[9] Milan Sonka, Vaclav Hlavac, Roger Boyle. Image Processing,Analysis, and Machine Vision[M], Boston: PWS, 2002:507-542.
[10] 卓建南.影響男子三級(jí)跳遠(yuǎn)成績的幾個(gè)關(guān)鍵因素[J].體育學(xué)刊,2007(6):107-109.