林曉穎

（上海杉達學，上海 201209）

自20 世紀90 年代以來，互聯(lián)網(wǎng)廣告發(fā)展勢頭迅猛。根據(jù)“2018 年中國網(wǎng)絡市場年度監(jiān)測報告”，2017 年中國網(wǎng)絡廣告市場規(guī)模達到3750.1 億元，同比增長32.9%。其中，移動廣告市場達到2549.6 億元，是絕對的市場主流；電子商務網(wǎng)站的廣告份額超過30%，超過搜索廣告。以信息流廣告為主要形式的原生廣告發(fā)展迅猛，其總規(guī)模達到688.8 億元，占網(wǎng)絡廣告總量的18.4%。

在信息爆炸的時代，為了減輕信息過載給人們帶來的選擇等方面困惑，推薦系統(tǒng)應運而生，在電子商務、信息分發(fā)、項目建議、搜索引擎、網(wǎng)絡新聞和社交媒體中等領域廣泛應用，在為人們的生活帶來極大便利的同時，也促進了經(jīng)濟的快速發(fā)展。Overstock 是美國著名的在線零售商，該公司聲稱，在初步采用個性化廣告推薦系統(tǒng)后，“廣告點擊率是以前的兩倍，銷售增長也高達20%至30%”的驚人成果。有調(diào)查表明：亞馬遜的總銷售額中的35%來自系統(tǒng)推薦；YouTube 上60%的視頻點擊來自于主頁推薦；Netflix 觀看的電影中有80%來自公司的推薦系統(tǒng)；早在2012 年，谷歌就通過廣告推薦系統(tǒng)獲得了420 億美元的收入; 百度和淘寶的廣告推薦系統(tǒng)每年可為公司帶來超過100 億元的收入;今日頭條于2012年創(chuàng)建，之所以能夠在短短幾年之內(nèi)迅速發(fā)展起來，推薦系統(tǒng)同樣功不可沒。

一、廣告推薦系統(tǒng)：人工智能時代的廣告投放

廣告投放是為了使廣告與受眾群體的需求相匹配。由于受眾需求的多樣性，如何準確地分割受眾的需求是廣告要解決的關鍵問題。在傳統(tǒng)媒體投放廣告，廣告主只能通過媒體的種類、版面、頻道的不同來間接地推斷受眾的需求，如在汽車雜志刊登奔馳轎車的廣告，在肥皂劇前播放女性洗護用品廣告。然而，這樣的廣告投放的方式存在著精準率不高的問題：同一媒體有數(shù)千萬名受眾，但卻面臨相同的廣告。但是，隨著計算機技術的發(fā)展，特別是人工智能技術的發(fā)展和成熟，互聯(lián)網(wǎng)廣告具備了解決投放不夠精準這一難題的能力，把廣告信息在合適的場景投放給恰當?shù)挠脩簟?/p>

廣告推薦系統(tǒng)主要是根據(jù)用戶的需求、興趣喜好、購買特點等方面，模擬銷售人員向用戶提供項目（包括商品、圖片、新聞等）信息和建議，幫助用戶決定應該選擇或購買何種項目，在流量高效利用、信息高效分發(fā)、提升用戶體驗、長尾物品挖掘等方面均起著核心作用。傳統(tǒng)的推薦系統(tǒng)主要使用最近鄰法、協(xié)同過濾、基于內(nèi)容和多種組合等方法進行推薦，主要是對用戶與項目的顯性反饋（如購買、評級或評論）進行建模，對復雜的隱性反饋（如瀏覽記錄、觀看廣告視頻、點擊查看）卻涉及很少，存在數(shù)據(jù)稀疏、冷啟動等推薦效果不佳、用戶體驗較差的問題。

人工智能（AI）已成為一個具有許多實際應用和活躍研究課題的領域，并且正在蓬勃發(fā)展。智能系統(tǒng)可以自動處理日常勞動，理解語音或圖像，幫助醫(yī)療診斷，并支持基礎科學研究。近年來，深度學習一直是人工智能領域最受推崇的技術。深度學習是一種通過多層神經(jīng)網(wǎng)絡提取低級簡單特征以形成高級抽象和難以改變的特征的技術?；谏疃韧扑]的廣告推薦系統(tǒng)可以由神經(jīng)網(wǎng)絡結(jié)構（主要由輸入層，若干隱藏層和輸出層組成。每層有幾個神經(jīng)元，神經(jīng)元之間有連接權重。每個神經(jīng)元模仿人類神經(jīng)細胞，節(jié)點之間的連接模仿神經(jīng)細胞之間的聯(lián)系）和非線性激發(fā)函數(shù)，自動學習用戶與項目（包括商品、新聞、視頻、音樂等）特征之間復雜的組合關系，解決了傳統(tǒng)推薦系統(tǒng)中需要人工設計特征的問題，技能提高效率，同時也更準確地提出個性化建議。繼谷歌、亞馬遜、Facebook 和Twitter 等互聯(lián)網(wǎng)巨頭之后，阿里巴巴、騰訊、百度和京東也都建立了自己的人工智能研究機構。

二、深度學習技術對互聯(lián)網(wǎng)廣告的影響

1、廣告點擊率預測更精準

搜索引擎廣告（SEA）是指廣告商基于其產(chǎn)品或服務的特征，確定產(chǎn)品的相關關鍵字詞、標題或產(chǎn)品說明，并自行出價和投放的廣告。當用戶搜索的內(nèi)容與廣告商購買的關鍵字詞相關時，廣告媒體將在搜索結(jié)果頁面上顯示其廣告，用戶在點擊后，根據(jù)收費規(guī)則向廣告商收費。支持搜索引擎廣告的最關鍵性的技術是預測廣告的點擊率。隨著互聯(lián)網(wǎng)推薦系統(tǒng)技術的發(fā)展，基于人工智能技術的精準廣告已成為網(wǎng)絡廣告推薦的主流趨勢。廣告主首先要評估用戶對廣告的喜好程度，然后向廣告平臺進行程序化購買和投放搜索引擎廣告。此時，廣告的點擊率就成了評估用戶喜好的一個關鍵指標。

過去，評估點擊率的技術主要有兩種，一種是設計特征提取方案以獲取特征，第二種是建模用戶點擊行為。由于廣告數(shù)據(jù)具有高維稀疏性的特點，并且各種特征之間存在高度非線性關系，因此以前的技術方案存在許多缺點，比如，不能有效地降低數(shù)據(jù)的稀疏性，找不到廣告數(shù)據(jù)中的隱藏規(guī)則。深度學習技術則可以解決這一難題，通過刻畫數(shù)據(jù)中的非線性關聯(lián)，來解決高維稀疏廣告數(shù)據(jù)的特征學習問題。有學者已經(jīng)進行了基于特征學習的廣告點擊率預測技術的相關研究，并從實驗的角度研究了基于深度學習的特征學習方法。實驗先是分析了輸入層的特征構成，并結(jié)合棧式自編碼網(wǎng)絡算法學習特征之間的高階組合特征，作為點擊預估模型的訓練對象。實驗結(jié)果驗證了該方法可以有效提高廣告點擊率的估計準確率。

2、推薦內(nèi)容更精準

深度學習能直接從大規(guī)模數(shù)據(jù)集中提取用戶和待推薦項目之間復雜依賴和非線性關系，達到更精準推薦的效果。YouTube 是全球創(chuàng)建、分享和發(fā)現(xiàn)視頻內(nèi)容的最大平臺，全球用戶已超過10 億，每秒上傳的視頻長度以小時計。YouTube的推薦系統(tǒng)負責及時準確地向用戶推薦他們可能感興趣的視頻，使其成為世界上最大、最復雜的推薦系統(tǒng)之一。傳統(tǒng)的推薦算法無法及時分析YouTube 量級視頻，并且無法為獨立用戶準確地提出建議。YouTube 的工程師們把多層感知機（multilayer perceptron，MLP）應用到Y(jié)ouTube 推薦上。相比其他商業(yè)推薦系統(tǒng)，該系統(tǒng)需要處理超大數(shù)據(jù)量、視頻庫不斷更新變化以及用戶行為的不可觀測性等問題。整個模型的深層網(wǎng)絡配置可能需要學習數(shù)十億個參數(shù)，并需要使用數(shù)千億個數(shù)據(jù)進行培訓。這個系統(tǒng)由兩個神經(jīng)網(wǎng)絡組成：第一個從所有的視頻庫中檢索產(chǎn)生寬泛的針對用戶的個性化推薦候選視頻集；第二個基于候選視頻集（不局限第一個神經(jīng)網(wǎng)絡的輸出，還可以使用其他來源產(chǎn)生的候選視頻）進行精細的區(qū)分、細化、排序，將排名靠前的視頻推薦給用戶。實際的線上效果顯示，YouTube 基于深度學習的推薦系統(tǒng)完全可以勝任實時處理海量（百萬量級）視頻，且將個性化的或有吸引力的視頻推薦給用戶的任務，整個過程僅耗時幾十微秒。

3、提升推薦的個性化效果

深度學習技術可從不同的異構數(shù)據(jù)源（例如文本，圖像，音樂，視頻等非結(jié)構化數(shù)據(jù)）獲取有用數(shù)據(jù)，有效提升了個性化效果。在社交媒體中，為了提升用戶體驗，方便用戶編輯、組織、歸類和搜索圖片及音視頻等資源，通常是通過為資源標記相關標簽完成的。由于標簽代表了用戶對其資源的理解角度，因此用戶的推薦標簽列表實際上是一個包含其“最喜愛”關鍵字的個性化列表。人們通常選擇與內(nèi)容或上下文相關的詞語，如地點或時間來注釋圖像。傳統(tǒng)的大多數(shù)圖像標簽推薦系統(tǒng)并不考慮上傳圖像提供的附加信息，而僅僅依賴文字信息，或者利用簡單的低級圖像特征（基于用戶、建議在項目與標簽之間的關系之間，或僅基于標簽的相關信息）。對于沒有歷史信息的新圖像，傳統(tǒng)的依據(jù)個性化標簽推薦的效率并不高?；谏疃葘W習的圖像標簽推薦系統(tǒng)可以使用在圖像識別和分類領域表現(xiàn)優(yōu)異的卷積神經(jīng)網(wǎng)絡，以監(jiān)督學習的方式從圖像中獲得視覺特征。實驗數(shù)據(jù)表明，與使用傳統(tǒng)方法表示的視覺特征，或者僅基于標記歷史信息的最先進的個性化標簽推薦模型相比，以這種方式選擇的圖像特征進行推薦將大大提高推薦的精準度。

在推薦系統(tǒng)中經(jīng)常需要處理各種文本類數(shù)據(jù)，例如商品描述、新聞資訊、用戶留言等等。相比結(jié)構化信息（例如商品的屬性等），文本類數(shù)據(jù)的特點有：第一，結(jié)構化信息量非常少，信息量也具有不確定。例如不同用戶對同一件商品的描述可能在用詞、文本長短等方面差異很大。第二，信息雖然及時，但易引起歧義，自動化分析難度較大。在一些新名詞、新事物出現(xiàn)之后，微博、朋友圈通常是最先能夠反映出變化的地方，而這些大多都是純文本數(shù)據(jù)。對這些數(shù)據(jù)的分析能夠最快得到結(jié)構化、預定義數(shù)據(jù)無法得到的信息。

騰訊效果廣告平臺部使用基于詞嵌入（word embedding）的一系列神經(jīng)語言模型（Neural Language Model，NLM）與神經(jīng)網(wǎng)絡，通過提取用戶語義特征（用戶的搜索、購物、瀏覽記錄等文本描述）與廣告語義特征，如廣告標題、登錄頁面（landing page）等文本描述進行語義匹配，從而達到個性化推薦的目的。文本語義模型被廣泛應用于騰訊的各項業(yè)務中，如文本語義理解、QQ 群推薦、用戶業(yè)務興趣挖掘，類似用戶擴展，廣告點擊率和轉(zhuǎn)換率的預估等，均取得了不錯的效果和業(yè)績。

4、提升用戶體驗

深度學習可利用上下文信息針對不同的場景、用戶的位置等調(diào)整待推薦的服務、產(chǎn)品，提升用戶體驗。以美團為例，作為中國最大的生活服務平臺，其業(yè)務涵蓋吃、喝、玩、樂、行等領域，擁有數(shù)億用戶和大量用戶行為。由于自身業(yè)務的多樣性，美團點評的推薦系統(tǒng)與其他大部分推薦系統(tǒng)有很大不同：第一是業(yè)務形態(tài)多樣性。除了向用戶推薦商戶外，還可以根據(jù)用戶所在的不同場景做出實時判斷，以便推薦不同形式的業(yè)務，如團購、酒店、景點以及霸王餐等。第二是用戶消費場景多樣性。若用戶在家，可以選擇外賣服務。若用戶在外地，可以購物或旅行消費，如預定酒店。隨著用戶的興趣、位置、環(huán)境、時間的變化，推薦的場景可能會發(fā)生變化。

根據(jù)谷歌于2016 年提出的廣泛深度學習模型，美團的技術團隊根據(jù)自身業(yè)務的需求和特點開發(fā)了一套點評推薦系統(tǒng)。在該系統(tǒng)中，將應用場景的數(shù)據(jù)分為以下幾類：第一類是用戶畫像：性別、所在地、價格偏好、項目偏好等;第二類是項目畫像：商家、外賣、團單等多種項目。其中，商家特征包括商家價格、商家的好評率以及商家地理位置等，外賣特征包括平均價格、交貨時間和外賣銷售量等。第三類是場景畫像：用戶的當前位置、時間、位置附近的商圈以及基于用戶的上下文場景信息等。實驗結(jié)果表明，與之前使用的推薦系統(tǒng)相比，該系統(tǒng)的準確度提高了2.96%。同時也會根據(jù)當前場景推薦一些更有新穎性的項目，更好的提高了用戶體驗效果。

三、結(jié)論及展望

大數(shù)據(jù)時代，數(shù)據(jù)量的增加對現(xiàn)實應用提出了挑戰(zhàn)。事實證明，深度學習在大數(shù)據(jù)分析中非常有效，但在調(diào)整參數(shù)和優(yōu)化模型方面也存在問題。另外，目前大多數(shù)基于深度學習的廣告推薦系統(tǒng)關注的都是推薦的精準性和個性化，但只關注這點還明顯不夠。除了準確性之外，其他的評估標準，例如多樣性、新穎性、驚喜度、隱私保護以及可解釋性等，同樣重要。通過鼓勵多樣性、新穎性和驚喜度，推薦系統(tǒng)為意圖沒有明確定義的客戶帶來更多價值;增加隱私保護，提高客戶的信任度將減少用戶的顧慮，并讓他們更自由地使用他們感興趣的項目;良好的可解釋性為每條建議提供了證據(jù)，為用戶顯示了更可靠的結(jié)果。未來基于深度學習的廣告推薦系統(tǒng)為了給用戶提供更好的用戶體驗，不僅要對歷史數(shù)據(jù)精確建模，還應該探索以下幾方面問題：（1）非平穩(wěn)流數(shù)據(jù)的增量學習，例如突然大量的涌入的用戶或者項目；（2）高維張量和多媒體數(shù)據(jù)源的計算效率；（3）通過不同模型的廣泛結(jié)合，充分挖掘深度學習在廣告推薦系統(tǒng)的其他評估尺度上的運用。另外，也有廣告專家學者從倫理方面對基于人工智能的推薦系統(tǒng)提出批評，認為人工智能主導下的精準推送對不匹配消費場景的個人不予推送，這其實是一種歧視。