潘文宇 邢青

摘要：精彩的足球賽事給大眾文娛生活帶來很多樂趣，針對直播賽事中無法實時識別出精彩的點球、任意球、球員個人信息等問題，本文利用深度學習視頻識別處理技術，提出一種智能的賽事分析方案，探討了足球直播賽事智能分析的可行性，研究了智能分析方案的具體技術實現(xiàn)。

關鍵詞：智能視頻分析技術;實時分析;足球比賽

隨著人工智能技術的發(fā)展，基于深度學習的視頻流分析模型在識別、監(jiān)測領域得到了廣泛應用。在體育賽事直播中，尤其是足球比賽中，觀眾一般只能通過足球解說人員獲取球員的個人介紹，包括對球員的球技、球員的任意球、點球等進行分析解說，因此觀眾獲得的僅僅是聽覺信息。提高觀眾的現(xiàn)場體驗感，將此類信息可視化是一個可行的方法?；谏疃葘W習視頻處理技術可以識別和播報賽事中發(fā)生的行為事件（比如點球、任意球等）;識別場上的行為發(fā)生的球員，將球員的歷史數(shù)據(jù)與比賽進行中的事件進行關聯(lián)，智能化地對一場足球賽進行集錦剪輯等，做到關鍵信息的可視化、實時解說、實時展示。因此，本文提出一種足球賽事實時智能分析系統(tǒng)。

1 技術背景

首先，大數(shù)據(jù)是深度學習成功的重要路基。在如今的互聯(lián)網(wǎng)時代，數(shù)據(jù)量的累積是爆炸式的，越來越多的領域正持續(xù)積累著日趨豐富的應用數(shù)據(jù)，這對深度學習的進一步發(fā)展和應用至關重要。不過大數(shù)據(jù)收集是有成本的，并且標注成本已經(jīng)開始水漲船高，樣本的好壞直接決定了模型的精確度，所以只有擁有一定技術實力的公司才能持續(xù)投入研究。在安防領域，像?？低暤扔凶灾餮邪l(fā)實力且在安防行業(yè)深耕多年的公司，運用大量真實視頻監(jiān)控場景的視頻、圖片數(shù)據(jù)作為訓練樣本庫，數(shù)據(jù)量大且質(zhì)量較好，通過超過百人團隊的數(shù)據(jù)組，對視頻圖像打標簽，積累了千萬級別的樣本數(shù)據(jù)，在使用這些數(shù)據(jù)量大且質(zhì)量良好的樣本不斷訓練下，對安防監(jiān)控場景下的人、車、物進行模式識別的模型也會越來越精確。

其次，高性能硬件平臺計算是引擎助力。深度學習模型需要大量的樣本，這就避免不了大量的計算，而以前的硬件設備不足以訓練出復雜的上百層的深度學習模型。2011年谷歌DeepMind用了1000臺機器、16000個CPU處理的深度模型大概有10億個神經(jīng)元，而現(xiàn)在，只要用幾個GPU，我們就可以完成同樣的計算，并且迭代速度更快。因此，GPU、超級計算機、云計算等高性能硬件平臺的迅猛發(fā)展讓深度學習成為可能，強大的計算能力有助于深度學習算法快速實現(xiàn)驗證，并積累更多經(jīng)驗進行模型修正，進一步提高模型精度。

2 總體設計

總體架構(gòu)是以海量圖像和視頻、文本、音頻等多源異構(gòu)數(shù)據(jù)存儲為基礎，引入先進的人工智能技術，容器技術、分布式計算、高性能存儲以及機器學習引擎為支撐，搭建的一套面向媒體行業(yè)的智能分析人工平臺。其主要包括基礎平臺層、學習引擎層和業(yè)務應用層，如圖所示：

總體架構(gòu)圖

其基礎平臺層包括分布式存儲平臺、分布式計算平臺、容器編排系統(tǒng)、數(shù)據(jù)庫系統(tǒng)、計算引擎系統(tǒng)、服務管理發(fā)放、日志系統(tǒng);學習引擎層包括視頻識別引擎、語音識別引擎;業(yè)務應用層包括球員識別、類型球識別、智能剪輯、信息可視化。

3 技術原理

3.1 基礎平臺層

（1）分布式存儲[1]平臺通過構(gòu)建大規(guī)模彈性存儲系統(tǒng)，保證可靠性、可用性和性能的前提下，達到業(yè)務的快速拓展。分布式存儲通過緩存達到加速的目的，通過熱點數(shù)據(jù)的識別達到性能的高性價比。分布式計算平臺調(diào)度分布式系統(tǒng)的計算資源，包括普通的CPU和GPU資源。設定資源的算力能力和最優(yōu)計算場景、調(diào)度優(yōu)先級。比如推理時先選擇GPU，當GPU資源不滿足時選擇CPU以達到最大利用率地使用計算資源。當任務計算節(jié)點出現(xiàn)故障時，發(fā)送任務到其他節(jié)點繼續(xù)運算。

（2）容器編排系統(tǒng)支持多層安全防護、準入機制、多租戶應用支撐、透明的服務注冊、服務發(fā)現(xiàn)、內(nèi)建負載均衡、強大的故障發(fā)現(xiàn)和自我修復機制、服務滾動升級和在線擴容、可擴展的資源自動調(diào)度機制、多粒度的資源配額管理能力。

（3）數(shù)據(jù)庫系統(tǒng)滿足元數(shù)據(jù)存儲，知識存儲，關系存儲以及不同維度的搜索需要。

（4）計算引擎系統(tǒng)包括離線批處理平臺和實時處理平臺。離線批處理平臺建立在公有云環(huán)境上，計算引擎采用Apache Spark 2.0，支持分布式彈性數(shù)據(jù)集的快速計算和緩存。在計算引擎基礎上部署了Spark Job Server，最大化地利用了集群的計算資源，簡化了任務提交方法，提升了任務提交響應，可通過Restful接口提交和管理離線批處理任務。平臺定期對Spark Job Server和計算引擎進行心跳、任務數(shù)、任務運行情況的測量和監(jiān)控，確保發(fā)生系統(tǒng)故障或系統(tǒng)過載時能及時處理。

（5）實時處理平臺從數(shù)據(jù)管道實時訂閱數(shù)據(jù)流，并進行分布式實時處理，采用的核心技術主要包括Apache Storm及Apache Spark Streaming。

（6）服務管理發(fā)放主要針對計算資源、存儲資源進行管理。對于離線批處理平臺、實時處理平臺，需對計算資源進行集中整合，并且具備計算資源的按需伸縮能力。

（7）日志系統(tǒng)提供針對日志類數(shù)據(jù)的存儲、檢索與分析服務，用戶無須開發(fā)就能快捷完成數(shù)據(jù)定制化分詞、存儲、檢索、分析功能，幫助提升運維、運營效率，快速查找和定位問題，高效索引和搜索海量數(shù)據(jù)，建立海量索引處理能力。

3.2 學習引擎層

（1）原始的視頻圖像實際上是一種非結(jié)構(gòu)化的數(shù)據(jù)，它不能直接被計算機讀取和識別，為了讓視頻圖像在足球賽事中更好地應用，使用視頻識別引擎對視頻圖像進行結(jié)構(gòu)化處理。將視頻內(nèi)容（人、物、活動目標）特征屬性自動提取技術，對視頻內(nèi)容按照語義關系，采用目標分割、時序分析、對象識別、深度學習等處理手段，分析和識別目標信息，組織成可供計算機和人理解的文本信息的技術。主要包括以下內(nèi)容：

①事件拆條：通過智能化技術將已播出的節(jié)目拆條成一條條獨立的條目，然后用于豐富和完善新聞資訊節(jié)目數(shù)據(jù)的信息通道，提高節(jié)目內(nèi)容的生產(chǎn)效率以及拆條后的視頻質(zhì)量。

②字幕提取：制定食品文件，對指定區(qū)域的字幕進行識別，識別出文字;支持中文、英文的字幕識別[3]。節(jié)目畫面中往往已經(jīng)有編輯好的標題，可以直接用于拆條后素材片段的標題。使用字幕識別技術，拆條系統(tǒng)只需要框選需要識別的標題畫面，系統(tǒng)會自動將畫面識別成標題文字，簡單快捷。

③結(jié)構(gòu)化標準：事件元數(shù)據(jù)管理[4]，所屬頻道、節(jié)目、播出時間;按日期、時間段分段管理，某日期/時間內(nèi)拆條事件;事件預覽，時間視頻、內(nèi)容、文本、標題等匹配預覽。

（2）語音識別引擎將音頻文件識別成文字[4]，以文本形式輸出，支持聲紋識別，并支持語音斷點識別。語音識別模塊通過對指定音頻通道的音頻基帶信號進行解析，按照語音斷句記錄每個識別語句的起始時碼、結(jié)束時碼和識別的文本，識別結(jié)果會在物理素材的同目錄下生成一個和物理素材同txt文檔。拆條系統(tǒng)將此識別結(jié)果封裝成字幕文件，并和素材的其他數(shù)據(jù)信息一同存入數(shù)據(jù)庫的素材信息表中。

利用視頻識別及語音識別服務，智能判定直播開始與結(jié)束。利用語音識別技術，識別不同人物語音，并據(jù)此對直播進行打點，實現(xiàn)快速拆條。

3.3 業(yè)務應用層

包括球員識別、類型球識別、智能剪輯、信息可視化。利用學習引擎層訓練提取的模型參數(shù)，對輸入的直播視頻流進行目標監(jiān)測、圖像分割，獲取的信息通過大數(shù)據(jù)技術構(gòu)建可視化模型[5]，直觀地展示處理結(jié)果。

4 結(jié)語

通過三層架構(gòu)的視頻處理模型，對直播的足球比賽進行實時處理，以識別和播報賽事中發(fā)生的行為事件（比如點球、任意球等）;識別場上的行為發(fā)生的球員，將球員的歷史數(shù)據(jù)與比賽進行中的事件進行關聯(lián)，智能化地對一場足球賽進行集錦剪輯等，做到關鍵信息的可視化、實時解說、實時展示。日后的業(yè)務中會有更多的需求將被實現(xiàn)，利用智能視頻處理分析技術將極大地提高體育賽事的節(jié)目效果，同時節(jié)省了人力物力，將會取得良好的經(jīng)濟效益和社會效益。

參考文獻：

[1]謝沖.海量矢量數(shù)據(jù)的分布式存儲及時空查詢[D].湖北：武漢大學，2019.

[2]張鈺，基于云架構(gòu)的音頻采錄拆條系統(tǒng)的設計與實現(xiàn)[J].電聲技術，2017，41（2）：4853.

[3]王智慧，李佳桐，謝斯言，等.兩階段的視頻字幕檢測和提取算法[J].計算機科學，2018，45（8）：5053，62.

[4]張末.新一代硬盤播出系統(tǒng)的設計與實現(xiàn)[D].遼寧：東北大學，2012.

[5]胡立如，陳高偉.可視化學習分析：審視可視化技術的作用和價值[J].開放教育研究，2020，26（2）：6374.