基于OpenCV的三級跳遠體育視頻分析研究

《基于OpenCV的三級跳遠體育視頻分析研究》由會員分享，可在線閱讀，更多相關《基于OpenCV的三級跳遠體育視頻分析研究（7頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、基于OpenCV的三級跳遠體育視頻分析研究 牛永亮 摘要：基于開源計算機視覺類庫OpenCV，采用光流法、自適應角度調整、模塊化拼接及角點檢測等方法實現(xiàn)三級跳遠體育視頻中運動背景及前景合成、運發(fā)動關鍵技術指標定量分析。文章首先結合三級跳遠視頻特點，采用光流法將視頻中呈現(xiàn)的局部運動信息和全局背景信息分析、提取;其次利用Hough變換、仿射變換、區(qū)域填充法對光流法提取的背景特征進行模塊化合成;然后依據(jù)視頻序列中呈現(xiàn)的時間和空間屬性，將三級跳遠運動視頻中展現(xiàn)的背景、前景合成為全局場景圖;最后，對運發(fā)動的三級跳關鍵技術指標進行定量分析。實驗說明，該算法能夠實現(xiàn)三級跳遠運動

2、場景合成，通過對運發(fā)動關鍵運動指標進行定量分析，為其他競技類視頻分析提供借鑒，對指導現(xiàn)實訓練具有一定意義。 關鍵詞：OpenCV;運動背景;三級跳遠;運動場景合成;指標定量分析 Abstract：BasedontheopensourcecomputervisionlibraryOpenCV，themethodsofopticalflow，adaptiveangleadjustment，modularsplicingandcornerdetectionareusedtorealizethesynthesisofsportsbackgroundandforegroundofthesportsv

3、ideointhetriplejumpandquantitativelyanalyzethekeytechnicalindicatorsofathletes.Firstly，combinedwiththecharacteristicsofthetriplejumpvideo，theopticalflowmethodisusedtoanalyzeandextractthelocalmotioninformationandglobalbackgroundinformationpresentedinthevideo.Secondly，weuseHoughtransform，affinetransfo

4、rmandareafillingmethodtomakemodularsynthesisofthebackgroundfeaturesextractedbyopticalflowmethod.Then，accordingtothetimeandspaceattributespresentedinthevideosequence，thebackgroundandforegroundpresentedinthetriplejumpvideoaresynthesizedintoaglobalscenediagram.Finally，thekeytechnicalindicatorsoftriplej

5、umpareanalyzedquantitatively.Theexperimentshowsthatthealgorithmcanrealizethescenesynthesisofthetriplejumpandquantitativelyanalyzethekeysportsindicatorsofathletes，whichprovidesreferenceforothercompetitivevideoanalysisandhascertainsignificanceforguidingthepracticaltraining. Keywords：OpenCV;movingback

6、ground;triplejump;motionscenesynthesis;quantitativeanalysisofindicators 一、研究背景與現(xiàn)狀 當今，競技體育開展越來越迅速，運發(fā)動之間的競爭也越來越劇烈，提高其運動成績的難度也越來越大。OpenCV視覺類庫于1999年由Intel建立，是由C函數(shù)和少量C++類構成開源軟件開發(fā)包，實現(xiàn)了圖像處理和計算機視覺方面的很多通用算法，為視頻分析研究帶來了便利。競技類運動視頻將訓練或比賽中運發(fā)動的各個動作用攝像機拍攝下來，通過數(shù)字視頻處理和圖像解析技術對動作狀態(tài)和細節(jié)進行分析處理、比較，可以讓運發(fā)動直觀地了解自身的缺乏和優(yōu)勢，實現(xiàn)體

7、育訓練的科學化。 競技類運動視頻是典型的運動背景視頻?；谶\動背景的視頻研究，可以克服靜止攝像機帶來的場景固定、觀測范圍小等不利因素，實現(xiàn)實時跟蹤、擴大觀測范圍，目前已廣泛應用于人機交互、圖像導航、戰(zhàn)場測繪等軍事和民事領域，并取得了豐富的成果。美國國防部VSAM〔VisualSurveillanceandMonitoring〕研究工程，實現(xiàn)了戰(zhàn)場態(tài)勢分析、難民管理、重點場所管控等功能【1】;在歐盟，由法國計算機科學與控制研究院及英國的雷丁大學等機構聯(lián)合開發(fā)了一套用于提高公共交通網(wǎng)絡管理的ADVISOR系統(tǒng)【2】。在國內，各高校及科研機構對此也特別關注。2021年北京奧運會期間，中科院自動化所

8、建立了針對室內外場景監(jiān)控的視頻分析系統(tǒng)，可對運動目標進行分析，并記錄場景的變化情況【3】;西北工業(yè)大學設計完成的GreatWall視頻系統(tǒng)，可以在門禁控制、航拍目標檢測等方面進行分析【4】。 在體育科學研究領域，芬蘭赫爾辛基理工大學的Perttu、美國亞利桑那州立大學的KanavKahol博士等分別通過延時視頻技術對運發(fā)動訓練過程中的復雜技術動作、舞蹈訓練中的姿勢等進行自動分割，用于識別和指導訓練[5-6]。相較國外而言，國內面向運動訓練的視頻分析研究起步較晚，但現(xiàn)今也取得了一些成果。國防科技大學陳劍赟等提出了根本語義單元BSU〔BasicSemanticUnit〕的概念，并給出了基于BSU

9、的視頻內容分析框架【7】。李玲芝利用全局運動估計模型對跳水運動視頻進行了分析，為跳水運動的技術分析提供了支持[8]。以上研究雖然成績斐然，但由于運動背景的復雜性，目前對于運動背景下的運動目標研究遠沒有到達應對復雜場景的要求。 文章以第16屆廣州亞運會和第30屆倫敦奧運會中的三級跳遠工程為例，基于OpenCV函數(shù)庫對三級跳遠運動視頻進行分析，實現(xiàn)視頻中運動目標的檢測和提取、運動場景合成、運動指標定量計算與分析等功能，具有以下應用價值和學術意義： 〔1〕比較運動背景下運動目標分析方法，并對三級跳遠視頻分析，為其他競技類工程技術分析提供借鑒和方法; 〔2〕運用圖像處理技術和三級跳遠運動的專業(yè)知

10、識，對運動視頻進行全景合成，并對運發(fā)動關鍵技能指標進行定量分析，以利于提高運發(fā)動成績; 〔3〕利用OpenCV開源工具包實現(xiàn)平臺設計，可以減少開發(fā)風險，降低本錢，提高開發(fā)速度。 二、算法思路 競技運動劇烈，完成時間短，一次完整的動作往往缺乏20秒，教練員很難在短時間內對運發(fā)動的運動指標進行直觀判斷。全景合成圖由描述整個場景的背景和運動前景共同構成，能夠改變單一局部觀察視角，展現(xiàn)整個運動場景的全貌。相對于單個圖像組成的視頻序列，運動全景圖可以更加全面、直觀地獲取運動信息。 實驗實現(xiàn)全景合成圖和技術指標定量分析兩個目的。首先將三級跳遠運動視頻序列轉化為灰色圖像序列，通過運動檢測分析得到運動

11、前景目標和全局背景目標，對于背景，根據(jù)三級跳遠場地設置規(guī)那么進行背景合成;對于前景，通過圖像后處理合成前景圖，最終將前景、背景進行合成。在別離出前景運發(fā)動根底上，參加關鍵技術指標分析知識，對運發(fā)動進行技術指標定量分析。整體的設計流程如圖1： 三、場景合成 〔一〕圖像預處理 數(shù)字視頻在假設干連續(xù)的圖像〔幀〕在時間軸上進行排序，使之成為一個圖像序列。由于各幀的處理是相互獨立的，因此可以將數(shù)字視頻當作一個個靜止圖像來處理。數(shù)字圖像的存儲在計算機中用矩陣來表示。在不影響實驗效果的前提下，為了減少運算量，將視頻中獲取的RGB圖像轉化為單通道圖像，即灰度圖像。 在視頻中由于攝像角度差異，要對圖像進

12、行標準化處理并消除圖像的噪音，需要解決兩個問題：一是對圖像中的非跑道直線進行排除;二是對檢測到的跑道直線計算得出角度，并進行幾何變換。 Hough變換從黑白二值圖像中檢測直線，它利用點與線的對偶性，將原始圖像空間中的給定曲線通過曲線表達形式變?yōu)閰?shù)空間的一個點。對問題一，可對識別出的直線，當線段的斜率k≤0，線段長度小于圖像寬度1/2時對直線進行排除。對問題二，對跑道直線角度采取均值的方法計算。 仿射變換可以實現(xiàn)二維坐標之間的線性變換，且保持二維圖像的平直性和平行性。實驗中，設圖像中A點像素的原坐標為，變換后的坐標為，M為變換矩陣。當目標繞原點順時針旋轉時，對應的坐標變換及矩陣M為： 圖

13、像預處理步驟： 1.獲取視頻序列中幀彩色圖像; 2.利用函數(shù)cvCvtColor進行圖像色彩空間轉換，將RGB圖像轉換為灰度圖像; 3.Hough變換檢測圖像中直線跑道; 4.計算得出跑道與水平軸的夾角，對圖像進行幾何變換，效果如圖2： 〔二〕運動目標檢測 基于運動背景的目標檢測，目前主要采用全局運動估計和光流法來實現(xiàn)。在競技運動視頻中，背景和前景都在運動，其中背景的運動稱為全局運動，前景目標的運動稱為局部運動。全局運動估計算法是在視頻序列中找出背景運動的規(guī)律，通過全局運動補償?shù)玫奖尘皥D像;然后經(jīng)過相鄰幀間的差分及一系列的后處理，得到局部運動目標，由于對構成視頻場景的各個運動對象均

14、引入?yún)?shù)估計，計算量相對較大。光流法根據(jù)圖像序列中像素點的灰度瞬時變化，計算得到像素點的速度矢量，從而構成圖像的光流場。當光流矢量在整個圖像區(qū)域中連續(xù)變化時，可以判斷圖像中不存在運動目標;當圖像中有運動目標時，由于與背景存在相對運動，運動目標的速度矢量必然和鄰域中背景的不同，從而檢測出運動目標及位置[9]。在競技類視頻中，運動目標個體單一，運動方向特征明顯，在實驗中采用光流法進行運動目標檢測。算法步驟為： 1.獲取相鄰幀運動圖像; 2.采用稠密光流跟蹤算法Horn-Schunck〔HS〕及對像素鄰域進行匹配的塊匹配〔BM〕方法，獲取相鄰幀中各像素塊的速度方向; 3.根據(jù)速度矢量對背景像素

15、進行排除，僅剩運動光流矢量; 4.確認運動圖像中運動區(qū)域，并進行分割。 在進行光流法處理時，需要考慮噪聲的影響。在相鄰幀圖片中，運發(fā)動根本處于圖像的中央位置，因此可以不去過多考慮上邊界和左邊界的情況;為了保證整個視頻序列在處理后圖像的尺寸保持一致，可以增大矩形邊界取值范圍，以滿足整個圖像序列中獲得相同大小的運動目標。結果如圖3： 〔三〕圖像后處理 在提取到運動目標后，為去除目標中含有的背景噪聲，需要經(jīng)過后處理，然后才能較好地顯示前景運動。其主要經(jīng)過二值化處理、形態(tài)學操作和輪廓提取及剔除無關區(qū)域等操作，流程如下： 1.二值化處理。設定灰度閾值Th，將灰度圖像中的像素灰度值D〔x，y〕與

16、其比較，小于閾值Th的像素劃為一類，作為前景;大于閾值Th的像素劃為另一類，作為背景。經(jīng)過處理，灰度圖像轉化為二值圖像R〔x，y〕。 2.形態(tài)學操作。在得到二值圖像后，其圖像中存在一些孤立的像素點，同時目標區(qū)域中還存在內部空洞。通過形態(tài)學操作可以進一步減少噪聲的干擾。實驗中用到腐蝕、膨脹操作; 3.輪廓提取及剔除無關區(qū)域操作。對前面處理過的圖像進行連通性分析，并最終剔除面積較小的孤立區(qū)域。在處理后的二值圖像中，通過查找輪廓來檢測連通區(qū)域，并設立面積閾值，將面積小于閾值的孤立區(qū)域過濾掉，面積較大的認為是前景區(qū)域。 4.重繪保存的輪廓，得到前景區(qū)域，如圖4： 經(jīng)過圖像后處理，可以將分割出來

17、的前景運發(fā)動進行較好的復原處理。但由于運發(fā)動鞋子的像素值與跑道差異不大，對運發(fā)動腳部位置的復原不夠理想。 〔四〕前景合成 一個完整的三級跳遠視頻包含近百張圖像序列。完成前景圖像合成，需考慮如何選擇圖像參加前景合成圖像;如何在前景合成圖像過程中保證圖像間不出現(xiàn)重疊、遮擋以及縫隙等問題。 圖像匹配算法對兩幅或多幅圖像進行識別并判斷其相似性。在實驗中利用圖像灰度直方圖的統(tǒng)計特征，對運動視頻圖像序列進行圖像匹配，進而篩選出相關度較小的圖像。其原理是：設定相關度閾值N，獲取視頻中相鄰的第K幀及K+1幀，比較視頻序列中相鄰兩幀的灰度直方圖，如果其相關性小于閾值，那么保存第K幀圖像，并且令第K+1幀圖

18、像為第K幀，讀取第K+2幀為K+1幀，重復以上操作，直到視頻結束;如果其相關性大于閾值N，K取值不變，取第K+2幀為第K+1幀，重復以上操作。算法流程如圖5： 對第16屆廣州亞運會哈薩克斯坦選手葉克托夫比賽視頻中，相鄰的三幀圖像進行直方圖匹配。其結果如圖6： 如上圖所示，a，b，c分別為相鄰三幀圖像，a，b，c為對應的直方圖。采用圖像匹配相關度方法，a與b的相關度為0.9778，a與c的相關度為0.8804。設定閾值為0.95，那么排除b圖像。 在匹配選取圖像后，需要以貼圖的方式將圖像轉換到同一坐標系下，需考慮如何根據(jù)圖像的時空關系通過圖像融合清晰地映射到全景圖中。 首先解決圖像的時空

19、關系。在視頻轉換為幀圖像時，保存所對應的幀編號，可以得到圖像的時間屬性。競技運動中，嚴格的場地設置，可以確定相應的位置關系。因此，在獲取視頻圖像序列時，用文件名保存其所在的幀數(shù)，用于表示其對應的時間信息;根據(jù)前景圖像中含有的背景特征，可以確定前景圖像對應的位置信息。假設背景特征測風儀和起跳板所對應的幀數(shù)分別為fm，fn;水平像素坐標為Pm，Pn;在fm，fn之間存在N幀前景圖像。那么第i幀圖像fi〔m以此類推，可以將圖像映射到一個統(tǒng)一的坐標系下。 在圖像融合過程中，當出現(xiàn)圖像重疊時，如果只是簡單地進行兩幅圖像的疊加，容易造成圖像的模糊以及明顯的拼接痕跡。實驗中采用取平均值法來進行處理。 設

20、分別代表兩幅相鄰的圖像在前景圖處的像素值，那么進行如下處理： 根據(jù)算法，取跑道作為背景，得到的前景合成圖如圖7： 在合成圖中，運用圖像融合技術可以合成前景圖像，并且消除相鄰幀間存在的拼接痕跡。為方便得到前景運動幀的時間屬性，在圖像上方標出了前景各幀所對應的幀編號。在第40幀處出現(xiàn)一定的重影，是由于背景裁判員影響了前景運發(fā)動的顯示效果。 〔五〕背景合成 三級跳遠場地有著嚴格的設置要求，將三級跳遠視頻中的特征要素進行提取，用以進行背景構造，主要采用插值法、區(qū)域填充法和光流法進行處理，算法流程如圖8： 三級跳助跑道可以通過插值算法來實現(xiàn)。圖像插值算法利用的鄰近像素點的灰度值來產(chǎn)生所求像素點

21、的灰度值，從而根據(jù)原始圖像再生出新的圖像或者擴展區(qū)域內的圖像。實驗中，選取包含助跑道的圖像，根據(jù)三級跳遠場地設置和相應的比例關系進行圖像插值處理。以下圖為最近鄰插值、雙線性插值、高階插值得到助跑道，如圖9： 場地背景特征提取利用光流法、背景特征降噪、區(qū)域填充法得到。首先根據(jù)速度矢量規(guī)律獲取背景特征所在位置，并創(chuàng)立矩形區(qū)域;然后依據(jù)助跑道橫貫圖像具有直線的特性，根據(jù)Hough變換檢測，并消除圖像噪聲;最后進行形態(tài)學膨脹處理，得到背景特征圖像，如圖10。 對于同時含有前景運發(fā)動和背景特征的圖片，采用區(qū)域填充法進行處理。首先利用光流法對前景運動區(qū)域進行檢測并提取;然后對提取前景后留下的空當區(qū)域，

22、根據(jù)周邊相似背景進行填充，最后通過降噪處理，得到背景區(qū)域，如圖11。 對獲取的背景特征，利用三級跳遠場地規(guī)那么，確定背景特征所處的位置，將其統(tǒng)一到坐標系下，得到背景合成圖，如圖12。 〔六〕全景合成 全景合成圖由描述整個場景的背景和運動前景共同構成，改變了單一局部的觀察視角，展現(xiàn)了整個場景的運動全貌。相對于單個圖像組成的視頻序列，全景合成圖可以更加全面、直觀地獲取運動信息，如圖13。 四、關鍵技術指標分析 三級跳遠工程是由運發(fā)動經(jīng)過加速助跑后，由單足跳〔hop〕、跨步跳〔skip〕、跳躍〔jump〕所組成的連續(xù)三次騰越的運開工程，相關技術指標包括助跑速度和速度利用率、踏板準確度、三跳

23、比例、運動角度值等[10]，實驗中對助跑速度、運動角度值進行了定量分析。 〔一〕助跑速度分析 根據(jù)三級跳遠場地規(guī)那么，測風儀距離起跳板20米。將測風儀、起跳板作為標志，兩者間的距離設為S;當運發(fā)動到達后，進入設定的矩形有效范圍開始計算視頻幀數(shù)，得到所用的時間T，最終根據(jù)那么可得出運發(fā)動在此期間的平均速度V，即，如圖14： 在實驗中選取2021年廣州亞運會三級跳遠運發(fā)動曹碩進行了分析，視頻播放速率為1020幀/分。運發(fā)動進入測風儀、起跳板有效矩形范圍所對應的幀數(shù)分別為第3幀、第39幀。計算所用時間平均速度為。 〔二〕角度指標分析 實驗中對運發(fā)動的離地角、膝關節(jié)角分別進行了定量計算。在計

24、算角度指標時，需對運發(fā)動的圖像進行邊緣檢測、輪廓提取、輪廓矩計算、角點檢測。 計算離地角，算法思路為： 1.別離出運動目標后，提取目標輪廓。實驗中在使用Sobel邊緣檢測算子，進行輪廓提取; 2.根據(jù)輪廓的矩特征，提取出運發(fā)動的質心和接地點坐標。輪廓矩是對輪廓上的所有像素點進行積分運算，從而得到的一個統(tǒng)計特征; 3.根據(jù)三角形余弦公式得到著地角。 實驗中對廣州亞運會哈薩克斯坦選手葉克托夫第二跳時的起跳角分析，得到的重心坐標A〔126，78〕，著地點坐標B〔164，150〕，計算得到起跳角度為62.1759度，如圖15： 計算膝關節(jié)角，算法思路為： 1.對目標運動圖像進行輪廓處理;

25、 2.根據(jù)輪廓面積等特征將小的干擾輪廓進行排除，最終得到運發(fā)動輪廓; 3.對輪廓圖像進行角點檢測，并對角點標注編號。實驗中，采用Harris算子對角點進行檢測; 4.輸入關注的角點編號，以便準確地確定所檢測角點的位置; 5.以該角點為圓心作圓并與輪廓的交點構成三角形。利用余弦定理得出所要求的角度，如圖16： 實驗中對⑧號角點進行了檢測，測得角度為164.74度。 五、平臺設計 針對實驗中完成的內容，設計了三級跳遠運動分析平臺，主要實現(xiàn)視頻載入及圖像保存、圖像預處理、場景合成及運動指標計算等功能。該平臺以WindowXP，VisualC++6.0，OpenCV為根底進行開發(fā)，共分為

26、四個局部：視頻載入及圖像保存、圖像預處理、場景合成、技術指標計算，如圖17： 六、實驗分析 實驗對三級跳遠視頻進行了運動目標檢測，運動場景合成、運動指標定量計算，并設計了三級跳遠運動分析平臺。實驗過程中，筆者進行了大量的算法比照分析，并提出了一些新的算法。 〔1〕對全局運動估計和光流法進行比較。全局運動計算量較大且外點排除復雜;而三級跳遠視頻中運發(fā)動處于中心位置且前景與背景存在明顯的運動差異。實驗說明，光流法可以較好地檢測出運動目標。 〔2〕在背景合成中采用了模塊化的合成方法。實驗中采用區(qū)域填充法和背景特征提取法分別進行了背景合成。 〔3〕進行三級跳遠運動場景的全景合成。運動場景合成

27、改變了單一局部的觀察視角，展現(xiàn)了整個場景的運動全貌，更利于全面、直觀地獲取運動信息。 〔4〕對運發(fā)動技術指標進行計算，并對角點對應角度值進行計算。在對角點進行檢測時，采用了歐氏距離進行強角點排除。 在實驗過程中，由于實驗條件和時間因素限制，在視頻分析實時性、算法優(yōu)化及平臺設計等方面還需進一步深入研究和拓展。 參考文獻： 【1】CollinsT，LiptonA，F(xiàn)ujiyoshiH，KanadeT.AlgorithmsforCooperativeMultisensorsurveillance.InProceedingsoftheIEEE，2021. 【2】RemagninoP，TanT

28、，BakerK.Multi-agentvisualsurveillanceofdynamicscenes.ImageandVisionComputing，2021，16〔8〕：529-532. 【3】黃誠.智能視頻監(jiān)控系統(tǒng)管理配置子系統(tǒng)的設計與實現(xiàn)[D].北京：北京大學，2021. 【4】朱誼強.基于Adaboost算法的實時行人檢測系統(tǒng)[D].西安：西北工業(yè)大學，2021. 【5】王亮，胡衛(wèi)明，譚鐵牛.人運動的視頻分析綜述[J].軟件學報，2021，25〔3〕：225-237. 【6】KanavKahol，PriyamvadaTripathi，SethuramanPanchanath

29、an.Automatedgesturesegmentationfromdancesequences[C].ProceedingsoftheSixthIEEEInternationalConferenceonAutomaticFaceandGestureRecognition，2021：883-888. 【7】陳劍赟，李云浩等.一種通用的基于根本語義單元的體育視頻內容分析框架[J].小型微型計算機系統(tǒng)，2021〔2〕：272-276. [8]李玲芝.跳水運動視頻分析系統(tǒng)關鍵技術研究[D].長沙：中南大學，2021. [9]MilanSonka，VaclavHlavac，RogerBoyle.ImageProcessing，Analysis，andMachineVision[M]，Boston：PWS，2021：507-542. [10]卓建南.影響男子三級跳遠成績的幾個關鍵因素[J].體育學刊，2021〔6〕：107-109.