基于深度學(xué)習(xí)的智能化電視節(jié)目上載檢測(cè)技術(shù)

【摘要】本文從電視節(jié)目的有效上載對(duì)安全播出的重要性入手，分析了傳統(tǒng)的電視節(jié)目上載檢測(cè)中存在的諸如上載操作流程精確管控難度大、素材技審中的視音頻隱藏問題多、音視頻素材敏感信息篩查難度大的問題，針對(duì)上述問題逐個(gè)加以分析并提出解決的技術(shù)方法，通過完善和匯總提出了基于深度學(xué)習(xí)的智能化電視節(jié)目上載檢測(cè)技術(shù)方案。

【關(guān)鍵詞】深度學(xué)習(xí);人工智能;電視節(jié)目上載;媒資;智能化

中圖分類號(hào)：TN92? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ? ? ? ? ? ? ? ? ? ? ? ? DOI：10.12246/j.issn.1673-0348.2022.05.006

電視節(jié)目的安全播出與上載是相輔相成的關(guān)系，電視節(jié)目的安全播出依賴于有效的節(jié)目上載工作，為確保電視節(jié)目播出的安全性和高質(zhì)量，就必須要重視電視節(jié)目的上載工作。近年來，我國的廣播電視事業(yè)取得了飛速的發(fā)展，前期傳統(tǒng)的硬盤播出系統(tǒng)這一電視節(jié)目上載設(shè)備為實(shí)現(xiàn)我國電視數(shù)字化的目標(biāo)起到了巨大的推動(dòng)作用，但隨著科學(xué)技術(shù)的不斷發(fā)展，上載技術(shù)也在與時(shí)俱進(jìn)地快速發(fā)展，正朝著智能化和自動(dòng)化的方向不斷地邁進(jìn)，從而推動(dòng)著我國電視節(jié)目播出技術(shù)向著數(shù)字化智能化快速轉(zhuǎn)型。

1. 傳統(tǒng)的電視節(jié)目上載檢測(cè)方法存在的問題

傳統(tǒng)的電視節(jié)目上載檢測(cè)方法存在的三大關(guān)鍵問題如下：

上載操作流程精確管控難度大：急需解決上載前人工審查流程復(fù)雜的難題。

全臺(tái)網(wǎng)架構(gòu)下的正常節(jié)目播出流程如下：上載人員操作上載工作站，控制上載服務(wù)器和錄像機(jī)，通過錄像機(jī)播放P2節(jié)目記錄卡，將錄像機(jī)輸出的SDI信號(hào)編碼成素材文件，再通過全臺(tái)網(wǎng)通信網(wǎng)絡(luò)傳輸至播出媒資進(jìn)行保存。節(jié)目播出前，通過全臺(tái)網(wǎng)通信網(wǎng)絡(luò)，將素材文件從播出媒資傳輸至播出服務(wù)器，再通過播出工作站控制播出服務(wù)器將素材文件解碼成SDI信號(hào)進(jìn)行播出，具體網(wǎng)絡(luò)架構(gòu)圖如圖1所示。

電視節(jié)目的上載工作需要經(jīng)過比較繁瑣的流程，如在進(jìn)行P2卡上載時(shí)，首先要查看P2卡盒上標(biāo)注的節(jié)目時(shí)長，節(jié)目名稱及播出時(shí)間等信息;再核查P2卡自帶的唯一卡號(hào)是否與導(dǎo)播提供卡號(hào)的相一致;還需要按照節(jié)目制作技術(shù)規(guī)范規(guī)定檢查提示字幕，首幀活動(dòng)畫面，核對(duì)TC碼等上載操作。當(dāng)上載的工作量很大時(shí)，上載人員面對(duì)上載前繁雜的審核流程，就容易發(fā)生某些環(huán)節(jié)審核不到位的情況，從而導(dǎo)致播出事故的發(fā)生。

素材技審視音頻隱藏問題多：急需解決上載節(jié)目技術(shù)質(zhì)量評(píng)價(jià)“零差錯(cuò)”難題。

雖然電視臺(tái)通常設(shè)有技術(shù)審查部門，專門負(fù)責(zé)播出質(zhì)量的審查，由于種種原因，依然有一定數(shù)量未經(jīng)技審或技審不嚴(yán)的磁帶會(huì)送到上載崗位。盡管傳統(tǒng)的上載方法具備嚴(yán)格的軟件自動(dòng)技術(shù)審查機(jī)制，但軟件自動(dòng)技術(shù)審查并不能檢測(cè)因人為造成的節(jié)目?jī)?nèi)容錯(cuò)誤以及軟件無法檢測(cè)的節(jié)目?jī)?nèi)容缺陷。這就需要通過人工審看、審聽，在上載崗位對(duì)電視節(jié)目進(jìn)行上載的同時(shí)，保證至上載服務(wù)器播出節(jié)目的技術(shù)質(zhì)量及節(jié)目?jī)?nèi)容的完整性不存在任何問題。但人工的審看、審聽流程難免會(huì)出現(xiàn)失誤和遺漏，在上載環(huán)節(jié)未能及時(shí)發(fā)現(xiàn)技審遺漏的技術(shù)質(zhì)量缺陷，就有可能影響到安全優(yōu)質(zhì)播出目標(biāo)的實(shí)現(xiàn)。

音視頻素材敏感信息篩查難度大：急需解決媒資系統(tǒng)的出入庫篩查效率低的難題。

電視臺(tái)傳統(tǒng)的媒資系統(tǒng)的入庫和出庫的審核都采用純?nèi)斯さ姆绞健?duì)于每個(gè)素材中的大量音視頻的敏感信息篩查，純?nèi)斯さ姆绞诫y免會(huì)有疏漏和差錯(cuò)，同時(shí)由于人力成本的問題導(dǎo)致大量?jī)?nèi)容處理存在局限。而基于人工+自動(dòng)識(shí)別的媒體資產(chǎn)管理系統(tǒng)也同樣存在著識(shí)別準(zhǔn)確度不高以及識(shí)別效率低的問題，這將導(dǎo)致媒資系統(tǒng)出入庫審核難度加大，可以作為提升媒資系統(tǒng)的出入庫質(zhì)量水平的研究和優(yōu)化的方向。

2. 背景技術(shù)

2.1 深度學(xué)習(xí)技術(shù)

深度學(xué)習(xí)（DL，Deep Learning）是機(jī)器學(xué)習(xí)（ML，Machine Learning）領(lǐng)域中一個(gè)新的研究方向，它被引入機(jī)器學(xué)習(xí)使其更接近于最初的目標(biāo)——人工智能（AI，Artificial Intelligence）。

以往人工智能研究的方向之一，是以所謂“專家系統(tǒng)”為代表的，用大量“如果-就”（If-Then）規(guī)則定義的，自上而下的思路。人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network），標(biāo)志著另外一種自下而上的思路，它的基本特點(diǎn)是試圖模仿大腦的神經(jīng)元之間傳遞，處理信息的模式。特征學(xué)習(xí)（表征學(xué)習(xí)）通過機(jī)器學(xué)習(xí)技術(shù)自身來產(chǎn)生好特征，這使機(jī)器學(xué)習(xí)向“全自動(dòng)數(shù)據(jù)分析”又前進(jìn)了一步。

典型的深度學(xué)習(xí)模型有卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network）、深度信任網(wǎng)絡(luò)模型DBN（Deep Belief Networks）和堆棧自編碼網(wǎng)絡(luò)（Stacked Auto-encoder Network）模型等?；诰矸e神經(jīng)網(wǎng)絡(luò)的模式識(shí)別系統(tǒng)是實(shí)現(xiàn)的最好的模式識(shí)別系統(tǒng)之一，尤其在手寫體字符識(shí)別任務(wù)上表現(xiàn)出非凡的性能;深度信任網(wǎng)絡(luò)模型可用于提取音樂的特征，用于音樂風(fēng)格的分類等;堆棧自編碼網(wǎng)絡(luò)可用于遙感圖像的識(shí)別等領(lǐng)域。

2.2 智能文本及音視頻檢測(cè)

智能文本檢測(cè)分為文本檢測(cè)模型和文本識(shí)別模型兩個(gè)階段。文本檢測(cè)模型的目標(biāo)是從圖片中盡可能準(zhǔn)確地找出文字所在區(qū)域;文本識(shí)別模型的目標(biāo)是從已分割出的文字區(qū)域中識(shí)別出文本內(nèi)容。基于深度學(xué)習(xí)的技術(shù)解決方案從特征提取、區(qū)域建議網(wǎng)絡(luò)（RPN）、多目標(biāo)協(xié)同訓(xùn)練、Loss改進(jìn)、非極大值抑制（NMS）、半監(jiān)督學(xué)習(xí)等角度對(duì)常規(guī)物體檢測(cè)方法進(jìn)行改造，極大提升了自然場(chǎng)景圖像中文本檢測(cè)的準(zhǔn)確率。

智能音頻檢測(cè)首先會(huì)將音頻識(shí)別為文字，再通過高精度的文字內(nèi)容審核系統(tǒng)進(jìn)行審核，由于文字有著更多的上下文關(guān)系，有具體的關(guān)鍵詞和場(chǎng)景，不僅可以快速驗(yàn)證是否安全合規(guī)，而且可以為音頻打上標(biāo)簽、分類的信息，有助于業(yè)務(wù)的精細(xì)化運(yùn)營;其次如果音頻并非識(shí)別為文字，再通過大數(shù)據(jù)算法，對(duì)聲音的頻率、音色等進(jìn)行分析，識(shí)別是否涉及違規(guī)內(nèi)容。

智能視頻檢測(cè)是計(jì)算機(jī)視覺領(lǐng)域的熱點(diǎn)研究方向和應(yīng)用方向，人臉識(shí)別是指利用人臉視覺特征信息分析比較后進(jìn)行身份鑒別的計(jì)算機(jī)技術(shù)，人臉識(shí)別技術(shù)屬于生物特征識(shí)別范疇。智能視頻檢測(cè)通過人臉識(shí)別技術(shù)構(gòu)建實(shí)時(shí)自動(dòng)的人臉識(shí)別系統(tǒng)，可用于視頻中關(guān)鍵任務(wù)的快速發(fā)現(xiàn)和定位，有助于后期的視頻處理工作。

3. 技術(shù)方法設(shè)計(jì)

3.1 智能化自動(dòng)上載校驗(yàn)機(jī)制

本方案創(chuàng)新性地采用了自動(dòng)化上載校驗(yàn)機(jī)制，在節(jié)目上載前對(duì)其進(jìn)行相應(yīng)檢查以及預(yù)覽，這樣可以避免意外事故發(fā)生，確保電視節(jié)目安全播出。

3.1.1 視頻素材最小時(shí)長自動(dòng)檢測(cè)

硬盤播出系統(tǒng)中有明確的播出要求，如果視頻素材內(nèi)容小于5秒，是無法有效播出的;若不及時(shí)刪除小于5秒的視頻素材內(nèi)容，就會(huì)使電視節(jié)目始終停留在上一條素材內(nèi)容的最后一幀畫面上，節(jié)目的伴音也多摻雜著雜音，這樣就會(huì)影響整個(gè)電視節(jié)目的播出效果。因此，傳統(tǒng)方法中，電視節(jié)目的上載人員需要對(duì)整個(gè)素材內(nèi)容進(jìn)行相應(yīng)的預(yù)覽分析，檢查是否有小于5秒的視頻素材。本方案將自動(dòng)化檢測(cè)節(jié)目的TC碼的方式計(jì)算節(jié)目時(shí)長，一旦發(fā)現(xiàn)上載的電視節(jié)目中出現(xiàn)小于5秒的素材內(nèi)容，硬盤播出系統(tǒng)就會(huì)自動(dòng)報(bào)警通知相關(guān)工作人員將其刪除，以此保證電視節(jié)目正常播出。

3.1.2 上載節(jié)目信息自動(dòng)檢測(cè)

在進(jìn)行P2卡上載時(shí)，本方案首先將按照節(jié)目制作技術(shù)規(guī)范，通過自帶OCR識(shí)別功能的攝像頭自動(dòng)化檢測(cè)發(fā)現(xiàn)P2卡盒上標(biāo)注的節(jié)目名稱，播出時(shí)間及節(jié)目時(shí)長等信息，并自動(dòng)核查P2卡自帶的唯一卡號(hào)是否與導(dǎo)播提供的一致;然后上載軟件再通過OCR技術(shù)自動(dòng)化發(fā)現(xiàn)并檢測(cè)提示字幕，識(shí)別并核對(duì)首幀活動(dòng)畫面中的人臉信息，并自動(dòng)完成核對(duì)TC碼等上載操作。

3.1.3 節(jié)目?jī)?nèi)容重要信息識(shí)別及自動(dòng)審核

對(duì)于節(jié)目?jī)?nèi)容本身，本方案首先將在所有節(jié)目頭、尾30秒、中間內(nèi)容間隔選點(diǎn)處20秒自動(dòng)提取每幀的圖像進(jìn)行審看分析，使用智能文本檢測(cè)技術(shù)自動(dòng)發(fā)現(xiàn)節(jié)目名稱，使用智能視頻檢測(cè)技術(shù)自動(dòng)識(shí)別主持人，通過核對(duì)節(jié)目名稱和主持人等信息確定節(jié)目?jī)?nèi)容本身是否有任何疑似錯(cuò)誤，如有疑似問題則安排上載人員人工回頭找點(diǎn)按25幀/秒重新進(jìn)行播放審看，這樣就嚴(yán)格執(zhí)行了相關(guān)的上載規(guī)定流程操作，確保將節(jié)目?jī)?nèi)容缺陷的檢出率提升到99.9%左右，大大提升了節(jié)目?jī)?nèi)容審看的工作效率和質(zhì)量。

3.2 智能化自動(dòng)軟件審看機(jī)制

方案通過智能文本及音視頻檢測(cè)技術(shù)，以軟件自動(dòng)技審的形式提高對(duì)上載節(jié)目質(zhì)量的評(píng)價(jià)效率。自動(dòng)技審軟件能夠根據(jù)用戶設(shè)置的參數(shù)模板進(jìn)行動(dòng)態(tài)比對(duì)，自動(dòng)檢測(cè)發(fā)現(xiàn)上載至上載服務(wù)器中的節(jié)目素材存在的黑場(chǎng)，彩場(chǎng)，彩條，靜幀，靜音等播出質(zhì)量問題，并提供可靠檢測(cè)結(jié)果報(bào)告，如圖2。

根據(jù)技審結(jié)果對(duì)素材進(jìn)行再次軟審看功能，通過點(diǎn)擊錯(cuò)誤列表準(zhǔn)確定位錯(cuò)誤幀的位置，進(jìn)行復(fù)審，如圖3。這樣可以彌補(bǔ)人工審看審聽的疏漏，在降低工作人員的勞動(dòng)強(qiáng)度的同時(shí)又提高工作效率和技術(shù)審查的準(zhǔn)確率，更加有效的避免了播出事故的發(fā)生。

3.3 智能化媒體資源篩分機(jī)制

本方案采用了智能化的AI語音識(shí)別和人臉識(shí)別技術(shù)，集合媒體資產(chǎn)管理場(chǎng)景篩分應(yīng)用，實(shí)現(xiàn)了全自動(dòng)化的媒資入庫、出庫流程。在素材入庫的時(shí)候，會(huì)走正常的入庫主流程，包括提交、編目、歸檔;本方案新增媒資入庫旁路流程，來完成AI智能識(shí)別功能。語音識(shí)別和人臉識(shí)別的結(jié)果會(huì)作為編目信息自動(dòng)記錄到素材編目元數(shù)據(jù)中去。媒資出庫的時(shí)候，審核期間若發(fā)現(xiàn)存在敏感素材，可打回素材出庫申請(qǐng)，并通知媒資管理員修改素材密級(jí)。

通過語音識(shí)別技術(shù)和人臉識(shí)別技術(shù)，自動(dòng)提取資料的音頻和視頻與智能庫里的關(guān)鍵字和圖像進(jìn)行對(duì)比。實(shí)際應(yīng)用到媒資業(yè)務(wù)界面上，在素材入庫后，智能識(shí)別的結(jié)果可以作為編目信息自動(dòng)記錄，入庫內(nèi)容自動(dòng)標(biāo)注了語音信息和關(guān)鍵人物信息;素材出庫時(shí)，智能識(shí)別的結(jié)果羅列出來，并可以直接點(diǎn)擊識(shí)別結(jié)果定位關(guān)鍵幀位置，直觀的作為審核參考;也可以根據(jù)實(shí)際需要選擇再次進(jìn)行AI語音識(shí)別和人臉識(shí)別處理。這樣就極大地方便了媒資入庫的管理工作，提高了媒資編目和出庫審核的正確率和效率，保障了媒體發(fā)布的意識(shí)形態(tài)安全，實(shí)現(xiàn)了廣電媒體資產(chǎn)智能化管理。

4. 本技術(shù)方案的主要實(shí)施步驟

本技術(shù)方案的主要實(shí)施步驟可分為三步：節(jié)目素材的智能化自動(dòng)上載、節(jié)目素材的智能化自動(dòng)審看和節(jié)目素材的智能化媒體資源篩分。各步驟的主要內(nèi)容如下所示：

4.1 步驟一：節(jié)目素材的智能化自動(dòng)上載

在節(jié)目上載前，進(jìn)行視頻素材最小時(shí)長自動(dòng)檢測(cè)、上載節(jié)目信息自動(dòng)檢測(cè)和節(jié)目?jī)?nèi)容重要信息識(shí)別及自動(dòng)審核等檢測(cè)工作，避免因?yàn)槿藶樵驅(qū)е碌墓?jié)目?jī)?nèi)容錯(cuò)誤，確保節(jié)目的完整性和正確性。

4.2 步驟二：節(jié)目素材的智能化自動(dòng)審看

自動(dòng)檢測(cè)并發(fā)現(xiàn)上載至上載服務(wù)器中的節(jié)目素材存在的黑場(chǎng)，彩場(chǎng)，彩條，靜幀，靜音等播出質(zhì)量問題，并通過軟審看方式實(shí)現(xiàn)復(fù)審，避免節(jié)目出現(xiàn)難于發(fā)現(xiàn)的節(jié)目?jī)?nèi)容缺陷，確保節(jié)目的技術(shù)質(zhì)量不出問題。

4.3 步驟三：節(jié)目素材的智能化媒體資源篩分

通過新建媒資入庫旁路流程，用于完成AI智能識(shí)別功能，語音識(shí)別和人臉識(shí)別的結(jié)果會(huì)作為編目信息自動(dòng)記錄到素材編目元數(shù)據(jù)中去，提高了媒資編目和出庫審核的正確率和效率，確保了媒體發(fā)布的意識(shí)形態(tài)安全。

5. 小結(jié)

基于深度學(xué)習(xí)的智能化電視節(jié)目上載檢測(cè)技術(shù)方案，通過對(duì)節(jié)目素材的智能化自動(dòng)上載，確保了電視節(jié)目的完整性和正確性;通過對(duì)節(jié)目素材的智能化自動(dòng)審看，確保了節(jié)目的技術(shù)質(zhì)量標(biāo)準(zhǔn)得到滿足;通過節(jié)目素材的智能化媒體資源篩分，確保了媒體發(fā)布的意識(shí)形態(tài)安全;從而真正實(shí)現(xiàn)了智能化的電視節(jié)目上載檢測(cè)，大大提升了上載工作效率和素材本身問題的檢出率，極大地降低了電視播出事故發(fā)生的概率，符合未來電視節(jié)目上載技術(shù)的數(shù)字化和智能化的發(fā)展方向，因此具有較高的借鑒意義。

參考文獻(xiàn)：

[1]閆瑞.電視節(jié)目上載與安全播出的關(guān)系[J].西部廣播電視，2017（15）：203.

[2]李開復(fù)，王詠剛.人工智能[M].北京：文化發(fā)展出版社，2017：35，9.

[3]姚良.影響IPTV業(yè)務(wù)質(zhì)量的關(guān)鍵因素及質(zhì)量提升措施探討. 電信科學(xué)，2009，25（3）

作者簡(jiǎn)介：周麗麗，1981，女，漢，江蘇海安人，工程師，目前從事電視節(jié)目上載方面的工作，主要研究方向?yàn)殡娨暡コ黾夹g(shù).