機器學習駕馭光影：一鍵增強“人像光效”

羅伯特

職業(yè)的人像攝影師能夠通過專用設(shè)備（例如外置閃光燈與反光板）和專業(yè)知識，捕捉恰到好處的光照效果，從而拍攝出令人稱道的照片。為了讓用戶更好地拍出專業(yè)的人像外觀，近期谷歌發(fā)布了人像光效 （Portrait Light），這是專為Pixel手機和其相冊應(yīng)用推出的一項新的攝影后期功能，可為人像添加模擬的定向光源，在方向與強度兩方面補充原始照片的光效。

手機拍攝后，用戶可以根據(jù)自己的喜好調(diào)整人像光效

在Pixel的最新系列相機中，人像光效會自動對默認模式下的圖片和包含人的夜景照片（無論只有一人還是一小群人時）應(yīng)用攝影后期功能。在人像模式照片中，人像光效配合已有的淺景深特效，提供光影，帶來在攝影棚中才能實現(xiàn)的效果。由于對光影的喜好因人而異，因此Pixel 用戶在人像模式下可根據(jù)自己的喜好，在谷歌相冊中手動重新定位和調(diào)整所應(yīng)用光線的亮度。對于在Pixel 2或后續(xù)型號上運行谷歌相冊的用戶，這種補光功能也可用于許多先前拍攝的人像照片。

根據(jù)輸入人像估算高動態(tài)范圍全向光照輪廓：每張圖片右側(cè)的三個球體，即漫反射（頂部）、亞光銀（中間）和鏡面（底部）使用估算的照明進行渲染，每個球體都反映環(huán)境照明的顏色、強度和方向

受人像攝影師使用的外置光源的啟發(fā)，人像光效構(gòu)建了一個在場景中可被重新定位的光源模型，并根據(jù)初始光影方向與強度自動進行對照片光影的補充。利用新的機器學習模型來實現(xiàn)這一點，每項模型都使用在Light Stage計算照明系統(tǒng)中捕獲的照片數(shù)據(jù)集進行訓練。這些模型支持以下兩種新算法：自動定向光補充 （Automatic directional light placement）：對于給定的人像，該算法將合成的定向光放置于場景中，與攝影師在現(xiàn)實世界中補充外置光源的方式一致。拍攝后合成補光 （Synthetic post-capture relighting）：對于給定的照明方向和人像，以看起來真實且自然的方式添加合成光。

自動光源補充

攝影師通常依靠感知線索決定如何使用外置光源增強環(huán)境光照，他們評估落在臉上的光照強度和方向，并調(diào)整拍攝對象的頭部姿勢以補充光線。為了引導人像光效自動放置光源，谷歌開發(fā)了這兩種感知信號的等效計算。

首先，訓練了一種全新的機器學習模型，根據(jù)輸入的人像估算場景的高動態(tài)范圍全向光照輪廓。這種新的光照估算模型將人臉視為光探頭，推斷所有方向的場景中所有光源的方向、相對強度和顏色，使用MediaPipe Face Mesh估算人像拍攝對象的頭部姿勢。

通過這些線索，可以確定合成光照的源方向。在攝影棚人像攝影中，仰視場景時，主外置光源或主光位于視線上方約 30°處，與照相機軸偏離30°至 60°。遵循這個經(jīng)典人像外觀準則，增強場景中任何預先存在的光照方向，同時力求達到平衡、巧妙的主光與補光光照比（約 2：1）。

由數(shù)據(jù)驅(qū)動的人像補光

圖中的亮點360度旋轉(zhuǎn)，可照亮一個人面部的各個角度，用于模擬光照效果

根據(jù)所需的光照方向和人像，接下來訓練一個新的機器學習模型，以便將定向光源的照明添加到原始照片中。訓練模型需要提供數(shù)百萬對帶有和不帶額外光線的人像。在正常情況下拍攝此類數(shù)據(jù)集將是不可能的，因為它需要近乎完美地匹配在不同光照條件下拍攝的人像。

取而代之的是，通過使用Light Stage計算照明系統(tǒng)拍攝 70 個不同的人來生成訓練數(shù)據(jù)。這種球形照明裝置包括 64個視角不同的照相機和 331個可單獨編程的 LED光源。拍攝每種光線照射下的每個個體（one-light-at-a-time，OLAT），這將生成其反射場或球形環(huán)境的離散部分所照亮的外觀。

來自反射場的示例圖像，可以實現(xiàn)全方位的后期補光

反射場編碼拍攝對象的皮膚、頭發(fā)和衣服的獨特顏色和反光屬性，即每種材料的光澤或暗淡程度。由于光的疊加原理，這些 OLAT 圖片可以線性疊加在一起，以渲染出逼真的拍攝對象圖片，就像被攝者出現(xiàn)在任何基于圖片的照明環(huán)境中一樣，并正確地表現(xiàn)出光影的效果。

通過幾何估算監(jiān)督補光

當攝影師在場景中添加額外的光源時，光源相對于拍攝對象的面部幾何形狀的方向?qū)Q定面部每個部分的亮度。為了對光源從相對無光表面反射的光學行為建模，首先訓練一個機器學習模型，以根據(jù)輸入的照片估算表面法線，然后應(yīng)用蘭伯特定律計算所需照明方向的“光可見性圖”。

補光系統(tǒng)根據(jù)輸入人像，估算每個像素的表面法線，然后將其用于計算光可見性圖。對模型進行訓練以生成低分辨率圖片，在采樣并應(yīng)用于原始圖片時，移動設(shè)備上可以以交互式幀速率運行，并且合成圖片的總?cè)萘看笮〔坏?0 MB。

對于使用雙重曝光控制的用戶，可以在拍攝后應(yīng)用人像光效，以獲得更大的創(chuàng)作靈活性，在光影之間找到適當?shù)钠胶?。在谷歌照片庫的現(xiàn)有圖片上，針對面部曝光不足之處嘗試使用人像光效，讓拍攝對象光彩照人，它特別適合處理單人直面相機擺姿勢的圖片。機器學習正在開啟手機攝像的創(chuàng)意攝影后期光照控制，而人像光效是這一旅程的第一步。