劉開南++張步城

從谷歌人工智能AlphaGo擊敗圍棋大師，到無人機、無人車、智能語音識別等技術取得突破性進展，人們發(fā)現(xiàn)人工智能已經(jīng)成為日常生活的一部分，即使是文化藝術領域也受到?jīng)_擊，帶來新的方法和手段變革。人工智能創(chuàng)作影視作品、音樂作品、美術作品的新聞層出不窮。2017年11月CCTV2《機智過人》機器人PK人類作詞作曲節(jié)目中，機器人與著名音樂制作人僅差兩票；谷歌辦人工智能畫展，畫作拍出8000美元。然而，人工智能的這些成果，其技術實現(xiàn)的前身是計算機大數(shù)據(jù)和人工智能算法對人類自然語言與語義，從識別圖像中目標物體開始，模擬人類智慧進行逆向創(chuàng)作（逆向工程）的成果，是以深度學習為代表的計算機視覺計算、自然語言語義分析、語音識別與翻譯等技術的成熟表現(xiàn)。視頻計算成為當今人工智能最熱門的應用，其對視頻圖像信息的語義識別、分類檢索、自動跟蹤等技術實現(xiàn)，為電影內(nèi)容分析提供了新的技術和方法。

一、 電影數(shù)據(jù)技術煥發(fā)新的生機

電影產(chǎn)業(yè)研究在美學、傳播學研究的同時，離不開大數(shù)據(jù)支撐，電影本體的研究亦如此。一些西方學者，如澳洲學者巴里·索特（Barry Salt），早在電影研究中引入了大數(shù)據(jù)，他將電影形式細化為各種鏡頭參數(shù)，并統(tǒng)計和鏡頭相關的數(shù)據(jù)，繼而根據(jù)數(shù)據(jù)來評判某個導演甚或某個時代的視聽風格，該電影的數(shù)據(jù)分析方法主要是以人工方式完成數(shù)據(jù)表示與計算。

在信息時代的今天，美劇《紙牌屋》和中國電影《小時代》是當今影視大數(shù)據(jù)運用最成功典型案例，兩部作品應用大數(shù)據(jù)統(tǒng)計計算方法，在品牌、口碑、藝術和經(jīng)濟價值等方面取得了可喜的業(yè)績，開創(chuàng)了大數(shù)據(jù)在影視行業(yè)應用的新時代。目前，大數(shù)據(jù)技術已經(jīng)成為影視投資與營銷的主要技術手段，并且在業(yè)界也形成了成熟的技術工具產(chǎn)品，如谷歌的“電影票房預測模型”，該模型能夠提前一個月預測電影上映首周的票房收入，準確度高達94%。

這些電影大數(shù)據(jù)應用，大都是關注觀眾層面的行為數(shù)據(jù)、消費數(shù)據(jù)以及市場環(huán)境方面的數(shù)據(jù)，對于電影內(nèi)容分析的研究，由于受技術條件、語義分析難度、藝術與美學量化表示等因素制約，還處在探索階段。然而，不容忽視的是，電影內(nèi)容的分析對于電影創(chuàng)意、內(nèi)容管理、結構規(guī)律以及各元素關系規(guī)律、電影多樣化發(fā)展有著更加積極的意義。從電影內(nèi)容要素分析與人工智能成熟技術入手，探索電影內(nèi)容分析方法和實現(xiàn)的技術手段，形成電影評估、內(nèi)容創(chuàng)作、電影營銷的閉環(huán)系統(tǒng)，從而推動電影創(chuàng)作與營銷水平的提升，是值得業(yè)界內(nèi)外潛心研究的新課題。

二、 電影大數(shù)據(jù)應用的主要原理

大數(shù)據(jù)4V特征的核心是價值（Value），如圖1 “影視大數(shù)據(jù)應用系統(tǒng)圖”所示，應用人工智能與機器學習算法，對獲得的社交媒體及小說、劇本、影視作品數(shù)據(jù)源信息進行特征屬性識別，對離散的信息采用分類模式，對線性信息應用回歸模式，根據(jù)先驗經(jīng)驗或標準實現(xiàn)對屬性特征的分類與回歸預測，從而實現(xiàn)市場預測、內(nèi)容評估、營銷分析，并指導創(chuàng)意、創(chuàng)作、影視作品內(nèi)容制作和對影視作品進行線上線下、智能推薦等營銷活動，最終實現(xiàn)影視作品更高質(zhì)量生產(chǎn)和最大化推廣。

大數(shù)據(jù)研究的前提條件，是有全樣本或足夠量的大樣本數(shù)據(jù)，而一部影視作品、小說劇本本身或影視作品所產(chǎn)生的社交媒體信息，都是影視大數(shù)據(jù)應用的數(shù)據(jù)源，隨著大數(shù)據(jù)在影視行業(yè)的成功應用，電影行業(yè)對電影從創(chuàng)意到營銷各過程數(shù)據(jù)采集與存儲越來越重視，大數(shù)據(jù)數(shù)據(jù)源已不是主要應用障礙，應用的核心與關鍵技術已從基于統(tǒng)計的數(shù)據(jù)處理方法，向人工智能技術和機器學習方法飛速躍變，更加注重對電影元素特征屬性的精準識別、分類回歸及特征屬性間關系發(fā)現(xiàn)與預測的研究。

美劇《紙牌屋》是Netflix通過對電視劇消費行為習慣和消費者特征屬性分析，識別并抽取消費者的行為和特征屬性，應用關聯(lián)方法進行特征匹配。其成功的關鍵技術是大數(shù)據(jù)背后的人工智能算法對特征的識別與抽取和關系匹配，形成對受眾群體的精準定位決策分析。

《小時代》是《紙牌屋》案例的中國復制，其核心是對上映前后社交媒體用戶對小說和觀影用戶群特征的識別，為影片發(fā)行營銷策略提供了決策依據(jù)，并針對性地開展系列線上線下活動，引發(fā)了這個群體的觀影熱情，成功實施營銷策略。《小時代》和《紙牌屋》代表了當今電影業(yè)大數(shù)據(jù)主要應用領域，即電影市場營銷和電影市場評估與預測。

這些電影大數(shù)據(jù)應用，大都是關注觀眾層面的行為數(shù)據(jù)、消費數(shù)據(jù)以及市場環(huán)境方面的數(shù)據(jù)，主要應用在票房營銷預測、影視消費者行為及影視延伸產(chǎn)品消費習慣分析。

隨著人工智能技術高速發(fā)展，尤其是深度學習算法在視覺計算、語音識別和自然語言處理技術的成功應用，對于電影內(nèi)容要素的分析研究，也提升到一個新的高度，基于圖像語義分析技術，可以對電影結構、場景、鏡頭、人物、對話旁白等進行視覺和自然語言識別，得到電影各要素的特征屬性標簽，實現(xiàn)對電影作品的特征元素電子標簽畫像。從而實現(xiàn)創(chuàng)意、創(chuàng)作、制作全過程輔助決策，提升電影作品質(zhì)量。

三、 人工智能在電影內(nèi)容分析中的應用

近年來，國內(nèi)外的很多研究機構都開展了基于深度學習算法的圖像目標識別、圖像語義、自然語言和語音識別的研究，并卓有成效，在識別的準確性、精度和速度，在圖像內(nèi)容分類、通用目標檢測、語義分割等視覺領域取得了突破性的進展被廣泛應用。

（一）人工智能視覺計算技術原理

目前，人工智能技術主要以基于卷積神經(jīng)網(wǎng)絡（CNN）為主，隨著不同場景應用也衍生了很多優(yōu)秀的算法模型，如著名的SIFT特征、AlexNet、RCNN、GoogLeNet、Faster RCNN、SOLO、SSD等。不管卷積神經(jīng)網(wǎng)絡的結構如何變化，其基本過程主要包括圖像輸入、區(qū)域特征抽取、神經(jīng)卷積特征計算、區(qū)域?qū)ο蠓诸愃牟糠?，如圖2以電影《悲慘世界》為例，其核心是把特征提取和分類器進行有機的整合，通過隨機梯度下降的方式進行反向傳播，不斷的對卷積模板參數(shù)和全連接層的參數(shù)進行優(yōu)化，使得最終學習到的特征和分類器接近最優(yōu)，獲得分類特征。

本文采用深度遞歸卷積神經(jīng)網(wǎng)絡算法實現(xiàn)平臺搭建、檢測與驗證工作，如圖3所示：

①部分是機器學習的特征抽取，即模擬人類識別類別特征（所謂“見多識廣”），采用的數(shù)據(jù)集關系到類別特征準確性，應用公開的MNIST、ImageNet數(shù)據(jù)集、PASCAL VOC訓練集、COCO等圖像訓練數(shù)據(jù)集，獲取各大類別特征，如人、各類動物、各類車等；②部分是對具體的分析電影中特定目標（可多目標對象，本案例以冉·阿讓為例）進行特征向量識別；③應用深度遞歸卷積神經(jīng)網(wǎng)絡CAFFE對電影影片（或者場景、鏡頭片段）中的類別、場景、對話進行特征劃分與識別，并將類別特征等輸入到分類器中，與②部分電影特定需求目標對象匹配分類；④對電影視頻中場景、景別、人物等進行識別、標定，合成電影場景、鏡頭內(nèi)容語義。

由于電影視頻本身包含數(shù)據(jù)量大，每秒由多幀靜態(tài)圖像組成，而每幀圖像包含豐富的信息，為實現(xiàn)對電影內(nèi)容高效、準確、高精度識別和檢索目標，在電影深度遞歸卷積神經(jīng)網(wǎng)絡網(wǎng)絡算法上，通過調(diào)節(jié)LOSS函數(shù)來提升對象識別精度的方法和策略，實現(xiàn)快速準確目標檢測與定位。

（二）電影要素人工智能識別方法

由于電影是門綜合性藝術，人工智能應用也不是萬能的，它必須依賴數(shù)據(jù)輸入才可以達成目標，所以，電影內(nèi)容的人工智能分析方法的難點在于，電影內(nèi)容各要素的數(shù)據(jù)化表示方法和表示方式。如電影沖突中刺激反應模式的沖突類型，以《集結號》為例，谷子地看見了劉團長的墓，鏡頭給到谷子地形成一次沖突；《辛德勒的名單》辛德勒看見了全程屠殺的場面，鏡頭只要給了主人公的面部表情，完成一次沖突；《唐山大地震》中李元妮背對觀眾，看見離散多年的女兒走進院子，沒有動，這又是一次沖突等等，這些很難用數(shù)據(jù)化方式表示，人工智能也無從發(fā)揮作用。

為了使電影視覺計算分析高效、準確，電影內(nèi)容人工智能分析可采用電影分類、場景、鏡頭、人物、沖突等由大到小，逐步細分的分析方法，減少計算機視頻計算的強度。在數(shù)據(jù)預處理階段，降低電影信息維度，減少電影深度遞歸卷積神經(jīng)網(wǎng)絡計算強度，如應用工具軟件Color Director，對電影鏡頭進行自動切分。以《悲慘世界》為例，共自動分割成1362個鏡頭場景，再應用計算機視頻計算程序?qū)γ總€鏡頭進行減幀和降低分辨率處理，以此降低計算量，提高計算速度。

由于電影是一門集視覺、聽覺為主的綜合藝術，人工智能電影內(nèi)容分析方法也是采用電影深度遞歸卷積神經(jīng)網(wǎng)絡分別對視覺計算、聲音識別、自然語言處理等多模態(tài)的綜合應用，實現(xiàn)對電影各場景、鏡頭、人物等圖像語義、對話語義、情感分析特征抽取與識別，并以時間點為基準實現(xiàn)綜合應用。如對動作片和愛情片電影分類時，可以采用視覺計算打斗（人距離、槍支、器械等）和接吻（2人嘴之間的距離等）鏡頭數(shù)，以及語音對話識別傷亡、愛情關鍵詞等來實現(xiàn)類別特征表示與分類。

電影的敘事結構是電影內(nèi)容的有效組織形式，結構判別主要以劇情場景轉(zhuǎn)折來識別顯性的沖突，識別突發(fā)事件等。目前主要轉(zhuǎn)折沖突識別從對白、動作、看見、聽見等方面，進行人工智能的深度學習技術完成場景與鏡頭、人物與語言、景別與色彩光線等語義識別與分析。如對場景識別中強烈對比的環(huán)境變化（晴天VS暴雨、雪）、劇烈的突發(fā)事件（爆炸、車禍）、人物的語音識別（哭泣、叫喊）、悲觀話語語義識別分析等，體現(xiàn)不同程度的情節(jié)轉(zhuǎn)折與沖突。這些是計算機技術能夠有效地理解含義，且可以替代人類完成約60%的工作，隨著人工智能技術的不斷發(fā)展，這個比例也會逐漸增大。

（三）電影內(nèi)容人工智能分析應用

以《悲慘世界》（Les Misérables）為例，應用人工智能技術對電影的人物關系進行分析，具體分析流程如圖4所示。

經(jīng)過上述六步流程，將一部《悲慘世界》電影通過計算機自動分割為1362個鏡頭，并實現(xiàn)對有人物鏡頭進行篩選、保存為單獨的靜態(tài)圖像，同時將電影角色人物特征進行人工智能識別，與鏡頭中保存的人物靜態(tài)圖像進行匹配檢索，識別并記錄出圖像中角色名字，同時選擇2個人物角色的圖片進行關系from-to記錄，形成電影人物關系表，再應用計算機數(shù)據(jù)可視化技術實現(xiàn)電影內(nèi)容中人物關系的構建，用于分析電影場景、鏡頭、人物角色等關系。

結語

在研究大數(shù)據(jù)電影行業(yè)應用基礎上，厘清大數(shù)據(jù)技術的本質(zhì)，應用人工智能技術對電影內(nèi)容分析及其特征識別，并通過對電影內(nèi)容要素分析、內(nèi)容要素語義識別與抽取，語義關系的構建方法研究，深入研究電影內(nèi)容創(chuàng)意、結構規(guī)律以及內(nèi)容各要素關系規(guī)律，進而分析大量同類電影，發(fā)現(xiàn)規(guī)律，形成特征標準，形成指導電影評估、內(nèi)容創(chuàng)作、內(nèi)容管理、電影營銷的閉環(huán)系統(tǒng)，推動電影創(chuàng)作與營銷水平的提升。人工智能技術對電影內(nèi)容的分析方法還在研究探索，隨著人工智能技術的不斷創(chuàng)新，人工智能技術的電影分析方法和手段也將在電影創(chuàng)作、制作、評論、欣賞、營銷推薦等各環(huán)節(jié)中得到更為廣泛的應用。