張?zhí)硪唬罟?/p>
(1. 上海大學(xué) 上海電影學(xué)院,上海 200072;2. 上海理工大學(xué) 出版印刷與藝術(shù)設(shè)計學(xué)院,上海 200093)
1905年,北京豐泰照相館拍攝了中國第一部影片《定軍山》.自此,中國電影踏上了百余年的發(fā)展之路.在這百余年間,數(shù)以萬計的老電影經(jīng)歷了來自保存環(huán)境(溫度、濕度、灰塵、真菌等)、歷史文化變遷和人為破壞(拉伸、劃痕、手印等)等多方面的嚴峻考驗[1].時至今日,影片《定軍山》只能見于文字,被稱為中國電影保存的“國庫”——中國電影資料館,館藏年份最久的影片是1922年上海明星公司出品的3本故事短片《勞工之愛情》.縱觀現(xiàn)存影片,大多存在退色、霉點、齒孔收縮、劃痕及聲道受損等不同程度的損壞問題.因此,為老電影膠片,尤其是磁底(negative,即電影原始底片)提供適宜的存放環(huán)境,同時對這些素材進行修復(fù)、清潔及其他相關(guān)處理成為了保護歷史影像資料的必要措施.
隨著科技的發(fā)展,“數(shù)字化”自20世紀末走進了老電影修復(fù)領(lǐng)域.物理修補、清洗電影膠片,配合數(shù)字化轉(zhuǎn)換及保存,成為了當(dāng)前國內(nèi)外對老電影及各類歷史影像資料保護的主流方式[1].2005年,由我國投資2.8億,由中國電影資料館主持的持續(xù)性重點項目“電影檔案影片數(shù)字化修護工程”正式啟動[2].截至2014年,我國完成數(shù)字化轉(zhuǎn)換的影片有6000余部,精致修復(fù)經(jīng)典影片約200部[3].但以現(xiàn)在的修復(fù)速度,僅修復(fù)中國電影資料館的20000余部老電影就要1000多年.因此,在老電影膠片性狀不斷惡化的情況下,提高電影修復(fù)效率成為了電影修復(fù)工作需要克服的首要問題.
當(dāng)前電影修復(fù)速度無法大幅提升大致出于以下兩個原因: 一是從事電影修復(fù)的專業(yè)人員較少;二是在修復(fù)過程中需要人工干預(yù)的成分較多(如對噪聲的人工分揀).電影修復(fù)作為一個綜合性、跨學(xué)科的交叉工程,培養(yǎng)專業(yè)修復(fù)人員代價高、周期長,因此目前對能高效并準確地進行自動化修復(fù)的工具及相應(yīng)算法有著急切的需求.本文介紹了當(dāng)前老電影的聲音修復(fù)過程,為智能系統(tǒng)的設(shè)計提供參考依據(jù);同時對其噪聲特點、分類及當(dāng)前數(shù)字化噪聲處理方式做了深入研究和總結(jié),為智能算法的研究提供了必要的學(xué)習(xí)數(shù)據(jù)集和標(biāo)注方案.
老電影聲音修復(fù)的主要目的是將當(dāng)前的聲音恢復(fù)至盡可能接近電影拍攝時的聲音.因此,在選擇修復(fù)素材時,一般以磁底為最佳[4].選定修復(fù)素材后,電影的聲音修復(fù)將經(jīng)歷膠轉(zhuǎn)數(shù)(即老電影聲音數(shù)字化)、數(shù)字音頻文件確認和具體的數(shù)字化修復(fù)過程,流程見圖1.
圖1 老電影聲音數(shù)字修復(fù)流程圖Fig.1 Flowchart of digital soundtrack restoration for old films
在電影聲音數(shù)字化之后,聲音數(shù)字修復(fù)部門將拿到修復(fù)好的完整視頻素材,以及每卷膠片數(shù)字化后的未修復(fù)數(shù)字音頻文件.每部電影包含6到12段不等的單聲道音頻文件,每段時長約10min.需要注意的是,有少部分4聲道(左、中、右、環(huán)繞)老電影[5],其音頻素材包里的音頻文件數(shù)量即為單聲道電影的4倍.拿到數(shù)字音頻文件后,聲音數(shù)字修復(fù)人員需要先檢查每個音頻文件是否包含明顯的由轉(zhuǎn)速過快或過慢帶來的變調(diào)等問題,若無明顯變調(diào)、失真現(xiàn)象,即可建立該影片的修復(fù)工程文件,將所有音視頻素材導(dǎo)入其中,開始數(shù)字修復(fù)工作.
聲音數(shù)字修復(fù)的第一步是將音視頻文件同步.無論對白還是音效,都要與視頻一一精確對應(yīng).在此環(huán)節(jié)中,較常見的問題是同一段音頻素材前面部分能夠與畫面對應(yīng),而后面部分由于聲音素材越來越快,以至于無法與畫面準確對應(yīng).該問題的解決方案是對同一影片的全部音頻素材做參數(shù)相同的Time Stretching處理(以Pro Tools軟件為例,使用Time Shift插件時,需設(shè)置為只改變音頻文件長度,不改變音調(diào)).一般速率設(shè)定在99%到99.9%之間,需要視實際音視頻素材情況而定.據(jù)上海電影技術(shù)廠專業(yè)修復(fù)人員介紹,整個音視頻同步環(huán)節(jié)約占一般性聲音數(shù)字修復(fù)工作時間的30%.另外,在這個環(huán)節(jié)中,每個音頻文件前后由引導(dǎo)膠片(由于膠轉(zhuǎn)數(shù)設(shè)備轉(zhuǎn)輪間存在一定距離,為了能夠兼顧固定膠片和完整轉(zhuǎn)換素材,需要在每卷膠片的開頭和結(jié)尾接入廢舊膠片用于走帶)帶來的隨機噪聲和由膠片接頭帶來的小爆破噪聲都將被一并去除.
聲音數(shù)字修復(fù)的第二步是去噪.專業(yè)修復(fù)人員需要對老電影中可能會出現(xiàn)的高頻嘶聲、低頻哼聲、爆破聲、咔嗒聲等噪聲做適度去除.在對聲音不造成二次損傷的前提下,得到最接近原始狀態(tài)的聲音[6].所謂二次損傷,主要指由于操作不當(dāng)或不夠細致而導(dǎo)致的電影聲音失真,聲道數(shù)量錯誤等問題[3].音頻素材去噪后,修復(fù)人員一般會通覽全片,將在去噪過程中被誤認為噪聲去掉的有用聲音信息還原.而對于本來在原聲音素材中就缺失的聲音信息,修復(fù)人員需要將缺失位置和缺失內(nèi)容記錄下來,方便以后通過重新翻錄或擬音的方式將其補上.
聲音數(shù)字修復(fù)的最后一步是頻率補償.由于去噪處理一般會對原聲音素材帶來音質(zhì)損傷,因此專業(yè)聲音修復(fù)人員會在去噪處理后,對影片的全部音頻素材做相同參數(shù)設(shè)置的頻率補償處理,用于彌補在去噪過程中被過度降低的頻段.
目前,關(guān)于去除老電影普遍存在的各類噪聲問題,在國際上并沒有很好的先例,在我國也沒有相關(guān)方面的研究,普遍采用的降噪方法若遇到持續(xù)較大的電流聲或頻率與有用信息重疊的噪聲,過度降噪會引發(fā)聲音失真的問題.因此,在電影修復(fù)的過程中就產(chǎn)生了降噪與失真之間的權(quán)衡與取舍.中國電影資料館修復(fù)專家的處理原則是在保證對白清晰度的基礎(chǔ)上,酌情降噪,寧可保留,也不可造成二次損傷.上海電影技術(shù)廠的修復(fù)專家在去噪過程中也遵循著不以過度損傷音質(zhì)為代價達到完全去噪目的的處理原則,堅持著“修舊如舊”的美學(xué)追求[7].修復(fù)后的電影對白清晰度和可懂度均有明顯提高,同時又不失老電影的年代感和韻味,這與中國電影資料館的修復(fù)專家的做法不謀而合.
我國所使用的電影聲音修復(fù)工具與國外差別不大,設(shè)備方面也幾乎是同步的[8].以上海電影技術(shù)廠老電影聲音數(shù)字修復(fù)為例: 使用的聲音數(shù)字修復(fù)平臺為AVID公司的軟件Pro Tools,當(dāng)今國內(nèi)外的電影聲音制作基本都建立在該軟件的平臺上,利用該平臺及安裝到該平臺上的軟硬件效果器,音響師可以對音頻素材做剪輯和音質(zhì)處理,能夠?qū)崿F(xiàn)所有對一部電影在聲音上的想象和創(chuàng)意;使用的主要去噪軟件為iZotope的RX Audio Restoration & Repair Software系列插件,該插件中包含的De-noise、De-click、De-hum等工具在電影聲音修復(fù)中使用率極高,主要用來去除背景噪聲、爆破聲、噼啪聲和哼聲等噪聲.
本文以上海電影技術(shù)廠的電影聲音修復(fù)資料為研究素材,分別從20世紀50,60,70,80年代的老電影中截取數(shù)十段噪聲樣本,結(jié)合上海電影技術(shù)廠對這些噪聲的降噪建議,根據(jù)噪聲的穩(wěn)定性,對其進行分類梳理和聲學(xué)特點分析.該研究為以后的自動化修復(fù)工具研發(fā)提供了一系列可靠、實用的噪聲樣本和人工標(biāo)注數(shù)據(jù)集.
老電影中的背景噪聲(background noise)以普通寬帶噪聲(broadband noise)、高頻嘶聲(high-frequency hiss)、交流電聲(AC hum)及低頻哼聲(low-frequency hum)為最常見,此類噪聲多貫穿電影始末.普通寬帶噪聲聲壓級不穩(wěn)定,頻帶較寬,與有用聲音信息頻率重合,主要利用采樣降噪De-noise的方式去除(De-noise插件主要用于去除背景噪聲,如有一定音調(diào)的噪聲和寬帶噪聲).交流電聲的頻率較分散,20Hz到20kHz均可能出現(xiàn),音量較小,聲壓級較穩(wěn)定,主要利用采樣降噪De-noise和EQ(Equalizer)結(jié)合的方式去除.高頻嘶聲在聲壓級的穩(wěn)定性上與交流電聲相似,都較穩(wěn)定.但與交流電聲不同的是,高頻嘶聲的音量更大,頻率一般集中在10kHz至14kHz.因此高頻嘶聲的主要去噪方法也是利用采樣降噪De-noise和EQ結(jié)合,但有時也會利用De-hum工具來輔助去除諧波成分.低頻哼聲的頻率多在100Hz到500Hz之間,音量較大,聲壓級較穩(wěn)定.其降噪方式有兩種: 一是利用采樣去噪De-noise;二是先做去哼聲處理De-hum,再去除與其同時出現(xiàn)的其他噪聲(如噼啪聲).以上4種噪聲一般并不單獨出現(xiàn),而是組合出現(xiàn),這就要求修復(fù)人員根據(jù)具體情況利用多種工具對背景噪聲進行有效去除.下面列舉4種背景噪聲樣本,并對其進行基礎(chǔ)聲學(xué)分析.
1) 高頻嘶聲 以上海電影制片廠攝制于1976年的《難忘的戰(zhàn)斗》為例,詳見表1中2016010201號噪聲樣本及圖2.高頻嘶聲主要指圖2(b)中放大的噪聲部分,該噪聲頻率范圍在11kHz至13kHz之間,由圖2(b),(c)可見,12.4kHz處音量最大.該頻帶落在人耳可聞閾之內(nèi),即便是年紀較大或有輕微聽力損傷的人仍能聽到該頻率范圍內(nèi)的聲音.對此類噪聲的一般處理辦法是利用采樣去噪和EQ去噪相結(jié)合的方式,在不嚴重損傷原聲音素材的前提下適度去噪.
圖2 《難忘的戰(zhàn)斗》高頻嘶聲分析圖組Fig.2 High-frequency hiss in Unforgettable Fight
2) 普通寬帶噪聲 以上海電影制片廠攝制于1981年的《阿Q正傳》為例截取兩段分別位于片頭和影片中部,長度均為1s的噪聲進行對比分析,見表1中2016010101、2016010102號噪聲樣本及圖3(見第186頁),圖4(見第186頁).在同一部影片內(nèi),背景噪聲持續(xù)存在,雖不同位置的噪聲頻響曲線相似,但噪聲能量稍有不同.從聽感上對比,同一部影片內(nèi)背景噪聲的特點相同,但片頭位置的噪聲略大于影片中部的噪聲.正是由于在影片不同位置的背景噪聲音量不同,因此在降噪過程中需要對不同位置設(shè)置不同的降噪量,或?qū)υ肼曒^大的部分進行2次局部降噪.
圖3 《阿Q正傳》片頭部分背景噪聲分析圖組Fig.3 Background noise at film title in The Real Story of Ah Q
圖4 《阿Q正傳》影片中部背景噪聲分析圖組Fig.4 Background noise in middle place of The Real Story of Ah Q
3) 交流電聲 以上海電影制片廠攝制于1965年的《女司機》及1981年的《阿Q正傳》為例,本文分別從兩部電影中截取一段純噪聲樣本(不含有用聲音信息),見表1中2016010301、2016010302號噪聲樣本及圖5,圖6.這類噪聲與之前介紹的兩類噪聲相比,音量較小但頻帶較寬,低頻及中頻部分在影片中將會和有用聲音信息的頻譜重合疊加.因此在修復(fù)此類噪音的過程中適合使用采樣降噪,不適合用EQ對某頻率點的所有聲音元素做統(tǒng)一處理.另外,由圖5和圖6可見,在兩部電影中都伴隨著微弱的超高頻噪聲,頻率點分別在12.5kHz和19kHz附近.因此,除采樣降噪外,修復(fù)人員還常輔以EQ降噪,從而將高頻噪聲去除干凈.由于這兩段噪聲均來自影片中的無聲片段,且兩部影片的年代不同、受損程度不同,卻擁有相似的交流電噪聲,在圖譜的相近位置出現(xiàn)了相近的波形,因此可以推斷此類噪聲來自膠片數(shù)字化過程,而非影片本身.
圖5 《女司機》交流電聲分析圖組Fig.5 AC hum in Driver Girl
圖6 《阿Q正傳》交流電聲分析圖組Fig.6 AC hum in The Real Story of Ah Q
4) 低頻哼聲 以上海電影制片廠攝制于1965年的《女司機》為例,截取一段低頻哼聲樣本(含噼啪聲,不含有用聲音信息),見表1中2016010401號噪聲樣本及圖7.這段噪聲在100Hz和200Hz處低頻哼聲音量較大,并伴有噼啪聲和交流電聲.針對這類噪聲處理辦法有兩種: 一是利用采樣降噪De-noise;二是利用去哼聲插件De-hum,根據(jù)噪聲特點選擇合適的諧波數(shù)量(number of harmonics)、Q值和去噪量等參數(shù),將低頻哼聲去掉(2016010401號噪聲De-hum去噪后的音頻見2016110401號聲音樣本),然后利用De-click和EQ一一去除噼啪聲和交流電聲.相比于第1種去噪方法,第2種能夠更有針對性的去除噪聲,能夠人為地減小對原聲的損傷.
圖7 《女司機》低頻哼聲分析圖組Fig.7 Low frequency hum in Driver Girl
爆破聲(pop sound)、咔嗒聲(click sound)和噼啪聲(crack sound)作為老電影中常見的脈沖型噪聲(impulsive noise)可能會出現(xiàn)在影片的任何位置.由膠片接頭產(chǎn)生的音量較大的爆破聲[9],多出現(xiàn)在每段數(shù)字音頻文件的片頭和結(jié)尾位置,據(jù)統(tǒng)計,一般在00∶00∶11到00∶00∶15的位置.除此之外,由于影片條件不同,較大的爆破聲有時也會出現(xiàn)在影片中部.在去噪過程中,若爆破聲頻帶寬時間長,可以考慮直接將其剪掉,用相似的背景噪聲補全.若使用去噪插件,則要注意此類噪聲的(時間)寬度和去噪靈敏度參數(shù)的調(diào)節(jié).若噪聲寬度過窄,會導(dǎo)致遺漏某些噪聲使之無法得到去除;若去噪靈敏度過高,會引發(fā)音量或音調(diào)的抖動問題.因此在實際去噪過程中,需要修復(fù)人員反復(fù)嘗試對比,找到既能有效去噪又不對音質(zhì)造成損傷的最佳值.而在有些影片開頭結(jié)尾位置也會出現(xiàn)與爆破聲相比音量更小,寬度更窄的咔嗒聲.修復(fù)人員一般會利用De-click插件,使用中仍要注意對噪聲寬度和靈敏度的參數(shù)設(shè)置.除以上兩種噪聲,還有以音量小,連續(xù)出現(xiàn)頻率高為特點的噼啪聲.對噼啪聲的修復(fù)一般采用De-click插件,并將噪聲寬度值調(diào)小,靈敏度值調(diào)大.與背景噪聲類似,以上介紹的3種噪聲很少單獨出現(xiàn),在同一片段內(nèi)常常同時出現(xiàn),并混有各類背景噪聲.
下面分別舉例3種脈沖型噪聲樣本,并對其進行基礎(chǔ)聲學(xué)分析.
圖8 《林沖》爆破聲樣本圖譜Fig.8 Pop sound in Lin Chong
1) 爆破聲 以上海電影制片廠攝制于1958年的《林沖》為例,詳見表1中2016020101號噪聲樣本及圖8.此類噪聲常出現(xiàn)在每卷膠片數(shù)字化音頻文件的開頭和結(jié)尾處,圖8呈現(xiàn)的噪聲出現(xiàn)在00∶00∶13.250處,讀者亦可在表1中找到其他10個爆破聲出現(xiàn)的位置.在老電影中,爆破聲的呈現(xiàn)方式千差萬別,無論是聲壓級,還是噪聲時長都不盡相同.因此需要修復(fù)人員根據(jù)實際情況調(diào)整去噪插件中的參數(shù).如圖8中的噪聲,可以選擇直接將其剪掉,也可選擇De-click插件單獨對其去噪.
2) 咔嗒聲 以上海電影制片廠攝制于1981年的《阿Q正傳》為例,詳見表1中2016020201號噪聲樣本及圖9.去除咔嗒聲一般也使用De-click插件,由于此種噪聲可能出現(xiàn)在影片的任何位置,因此插件中的靈敏度值不宜過高,噪聲寬度值也應(yīng)比去除爆破聲的參數(shù)小,以期避免對原文件的二次損傷.圖9為《阿Q正傳》第2卷膠片數(shù)字文件位于00∶08∶21.7至00∶08∶22.7的一段噪聲及其去噪?yún)?shù)和去噪后的聲音圖譜.由圖可見,咔嗒聲已被去除,去除后的音頻文件見2016120201號聲音樣本.另外,在去除咔嗒聲的過程中,有時會出現(xiàn)軟件誤操作的現(xiàn)象[10],如關(guān)門聲、腳步聲等有用聲音信息,以2016220201號聲音樣本(圖10所示)為例,軟件會將其誤認為咔嗒聲而去除.因此在對整個影片做De-click之后,修復(fù)人員一般會再認真地檢查全片是否有誤操作的地方,并將誤操作處還原.
圖9 《阿Q正傳》咔嗒聲分析圖組Fig.9 Click sound in The Real Story of Ah Q
圖10 《難忘的戰(zhàn)斗》中的腳步聲Fig.10 Footstep sound in Unforgettable Fight
3) 噼啪聲 以上海電影制片廠攝制于1965年的《女司機》為例,詳見表1中2016020301號噪聲樣本、2016120301號聲音樣本及圖11.噼啪聲在一段影片中出現(xiàn)頻率較快,且每個噼啪聲時間較短.因此在使用De-click對其進行去噪的過程中推薦在對原聲不產(chǎn)生明顯損傷的前提下,將靈敏度調(diào)大,噪聲(時間)寬度調(diào)小來提高去噪效果.
圖11 《女司機》中噼啪聲去噪前后圖譜組Fig.11 Crack sound in Driver Girl
修復(fù)老電影是一項長期且意義重大的文化保護工作,修復(fù)過程中面臨的問題和挑戰(zhàn)相當(dāng)嚴峻.這不僅需要培養(yǎng)出更多專業(yè)人員投入到老電影的修復(fù)工作中,更是對科研人員從實用角度提出新的挑戰(zhàn),盡可能地研發(fā)出效率更高、準確率更高的去噪工具、頻率補償工具以及缺失聲音片段的自動修補工具.本文不僅對當(dāng)前老電影音頻的人工修復(fù)過程做了簡要的描述,為智能系統(tǒng)的設(shè)計提供了參考依據(jù),而且從多部老電影中截取數(shù)十段噪聲,對其進行分類梳理,并對這些噪聲做了基礎(chǔ)聲學(xué)分析,為智能算法的研究提供了學(xué)習(xí)數(shù)據(jù)集和標(biāo)注方案.
從本文的噪聲樣本中不難發(fā)現(xiàn),不同噪聲的去噪程度并不相同.在去噪過程中,理想去噪和不損傷原始音頻素材很難兼得,需要修復(fù)人員認真反復(fù)權(quán)衡.這也導(dǎo)致了即便對同一段噪聲做降噪處理,不同修復(fù)人員根據(jù)個人喜好,修復(fù)的結(jié)果也會有所差異,甚至差異較大,其主要原因在于老電影的聲音修復(fù)并沒有公認的可量化的評價標(biāo)準.因此,針對中國老電影聲音的一般修復(fù)和精致修復(fù)制定一套評價標(biāo)準無疑是自動化修復(fù)工具研發(fā)工作亟待解決的問題之一.這一工作需要相關(guān)領(lǐng)域的學(xué)術(shù)圈與行業(yè)協(xié)會等部門共同協(xié)作完成,從權(quán)威角度對老電影聲音的修復(fù)效果和修復(fù)工具的研發(fā)做出指導(dǎo).
致謝: 本文為2016年度上海大學(xué)電影學(xué)高峰學(xué)科《淺析老電影的聲音特點及其在電影聲音數(shù)字修復(fù)中的作用》項目的成果之一.
[1] READ P, MEYER M P. Restoration of motion picture film [M]. Oxford: Butterworth-Heinemann, 2000: 83-84.
[2] 白曉飛.新技術(shù)形勢下的影片數(shù)字化修護工程發(fā)展趨勢研究 [J]. 現(xiàn)代電影技術(shù),2012(4): 14-18.
[3] 賈艷婷.淺談數(shù)字化修護影片的鑒定標(biāo)準 [J]. 現(xiàn)代電影技術(shù),2015(9): 44-47.
[4] CROCI S, AYDIN T O, STEFANOSKI N,etal. Advanced tools and framework for digital film restoration [J].JournalofElectronicImaging,2017,26(1): 011021.
[5] 李志永.檔案影片聲音素材的數(shù)字化修復(fù) [J].現(xiàn)代電影技術(shù),2011(7): 24-26.
[6] 左 英.論影片精致修復(fù)的工作流程 [J].現(xiàn)代電影技術(shù),2009(1): 13-17,37.
[7] 吳 兵,董清爽.老電影數(shù)字化修復(fù)策略研究 [J].科技展望,2016,26(24): 320.
[8] 賈硯婷,閆 彥.影片數(shù)字化修復(fù)的工藝流程及未來發(fā)展方向 [J].現(xiàn)代電影技術(shù),2014(7): 32-35.
[9] 白曉飛.淺談電影聲音修復(fù)技術(shù) [J].現(xiàn)代電影技術(shù),2008(2):49-52.
[10] BRUN E, HASSAINE A, BESSERER B,etal. Restoration of variable area soundtracks [J].IEEEInternationalConferenceonImageProcessing,2007,4(6): IV-13-IV-16.