地理位置和時(shí)間感知的表示學(xué)習(xí)框架

周俊，張志強(qiáng)，曹月恬，鄭小林

（1. 浙江大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院， 浙江 杭州 310007; 2. 螞蟻集團(tuán)， 浙江 杭州 310013）

近年來，許多研究者致力于使用表示學(xué)習(xí)的手段來學(xué)習(xí)用戶表征，刻畫用戶的歷史行為，并將其用于各種各樣的在線服務(wù)中，比如商品推薦、優(yōu)惠券投放、在線廣告等。但現(xiàn)有的方法大多聚焦于對(duì)用戶歷史的點(diǎn)擊/購(gòu)買商品序列建模，無法直接應(yīng)用于具有強(qiáng)時(shí)空語義的實(shí)際場(chǎng)景中(如美團(tuán)、餓了么等本地生活平臺(tái))。在這樣的場(chǎng)景中，要同時(shí)解決“When”、“Where”和“What”的問題，即在特定的時(shí)間、特定的地點(diǎn)為用戶推薦合適的商品。為此，需要學(xué)習(xí)一個(gè)好的用戶表征，它不僅僅能捕獲用戶在點(diǎn)擊/購(gòu)買序列上表現(xiàn)的興趣偏好，更要刻畫這些興趣偏好隨著時(shí)間和位置的演化特征。本文的核心研究任務(wù)是如何在時(shí)間和空間的維度上學(xué)習(xí)用戶的統(tǒng)一表征，刻畫用戶行為的時(shí)空語義。

在時(shí)間建模上，考慮到行為稀疏性和用戶關(guān)聯(lián)性，本文主要在用戶?商品交互(如購(gòu)買)的時(shí)序圖上進(jìn)行用戶表示學(xué)習(xí)。國(guó)外針對(duì)時(shí)序比較成熟的表示學(xué)習(xí)方法主要有3類：1) 基于隨機(jī)游走的方法[1-2]直接將時(shí)序信息融合到隨機(jī)游走序列中，并通過經(jīng)典的skip-gram方法學(xué)習(xí)動(dòng)態(tài)表征。但這類方法忽略了節(jié)點(diǎn)和邊上的豐富信息，并無法進(jìn)行歸納學(xué)習(xí)。2) 基于時(shí)間切片的方法[3-4]先在不同的時(shí)間切片上進(jìn)行表示學(xué)習(xí)，然后通過神經(jīng)網(wǎng)絡(luò)將不同切片上的表示融合為最終的節(jié)點(diǎn)表示。這類方法忽略了每個(gè)時(shí)間切片內(nèi)的動(dòng)態(tài)性，一定程度上損害了節(jié)點(diǎn)關(guān)系隨時(shí)間演化的特性；3) 基于連續(xù)時(shí)間的方法[5-6]嘗試在連續(xù)時(shí)間上進(jìn)行時(shí)間序列或時(shí)序圖的表示學(xué)習(xí)。但是此類方法大多仍然無法進(jìn)行歸納學(xué)習(xí)。更重要的是，它們?cè)谶M(jìn)行時(shí)間編碼的時(shí)候忽略了時(shí)序圖上節(jié)點(diǎn)間的交互和時(shí)間維度上的上下文信息及其影響。

在空間建模上，如何對(duì)地理位置進(jìn)行編碼至關(guān)重要。當(dāng)前的表征方法包括使用geohash網(wǎng)格信息、興趣點(diǎn)(point of interest,POI)或興趣面(area of interest,AOI)的one-hot編碼，以及使用經(jīng)緯度信息等。但是這些方式都有自己的缺點(diǎn)：1) geohash網(wǎng)格信息或者POI信息雖然可以精確區(qū)分不同的地點(diǎn)，但是由于數(shù)量太大，做one-hot編碼特征會(huì)導(dǎo)致模型參數(shù)爆炸。另外geohash網(wǎng)格或POI忽視了地理位置的遠(yuǎn)近關(guān)系信息，不利于模型使用。2) AOI/POI的數(shù)量在幾百萬左右，規(guī)模不算很大，但是很多AOI/POI覆蓋的面積很大，這樣就不能區(qū)分其中包含的不同位置實(shí)體，另外目前AOI/POI的覆蓋率也不是很高；3) 直接經(jīng)緯度信息雖然避免了one-hot編碼特征維度過大的問題，也保持了地理位置的遠(yuǎn)近關(guān)系，但是由于經(jīng)度和緯度值的微小變化，實(shí)際位置就會(huì)偏離很遠(yuǎn)，模型很難使用這類特征。

針對(duì)以上不足，本文的目標(biāo)是開發(fā)一個(gè)統(tǒng)一的用戶表示框架?GTRL (geography and time aware representation learning)，可以同時(shí)在時(shí)間和空間維度上對(duì)用戶的歷史行為軌跡進(jìn)行聯(lián)合建模。

在時(shí)間信息建模上，首先，GTRL通過Mercer理論[7]來實(shí)現(xiàn)函數(shù)式的時(shí)間編碼，將時(shí)間戳(時(shí)間差)映射到高維空間中，并保存節(jié)點(diǎn)的時(shí)序性。其次，設(shè)計(jì)了連續(xù)時(shí)間和上下文感知的圖注意力網(wǎng)絡(luò)(C2GAT)，一個(gè)既可以利用圖上高階結(jié)構(gòu)信息也可以在連續(xù)時(shí)間上刻畫節(jié)點(diǎn)局部上下文的、全新的、歸納式的圖表示學(xué)習(xí)模型。

在空間信息建模上，為GTRL設(shè)計(jì)了一種新穎的地理位置編碼器?GeoEncoder，以更高效簡(jiǎn)潔的方式將每個(gè)地理位置映射為固定長(zhǎng)度的字符串?；诮?jīng)典的n-gram技術(shù)，GTRL可以在更加細(xì)粒度的視角上對(duì)位置信息進(jìn)行刻畫。最后，依賴新興的注意力機(jī)制對(duì)用戶的歷史位置軌跡進(jìn)行了深度建模，最終生成了用戶的地理偏好表征。

在模型優(yōu)化方面，GTRL致力于同時(shí)解決上述的“When”、“Where”和“What”3個(gè)問題，因此為GTRL設(shè)計(jì)了統(tǒng)一的聯(lián)合優(yōu)化方案。值得注意的是，在優(yōu)化時(shí)間上，該方案引入了用戶行為中的時(shí)間間隔信息，用以刻畫行為的周期性、偏好的衰減性等一系列細(xì)粒度特征。

最后，本文在公開數(shù)據(jù)集和工業(yè)數(shù)據(jù)集上設(shè)計(jì)了大量的實(shí)驗(yàn)，一方面驗(yàn)證了GTRL的性能可以超過當(dāng)前學(xué)術(shù)界最優(yōu)的基線模型，另一方面證明了GTRL在實(shí)際業(yè)務(wù)場(chǎng)景中的優(yōu)勢(shì)。

1 整體框架

本文提出的GTRL整體算法框架如圖1所示，框架會(huì)利用用戶的歷史行為進(jìn)行建模，包括歷史交互的商品(如用戶購(gòu)買過的商品)，交互時(shí)間以及交互發(fā)生的地理位置(購(gòu)買的商鋪所在的地理位置)?？蚣艿膬蓚€(gè)核心模塊共同支持時(shí)空表示學(xué)習(xí)：1) 時(shí)序信息表示模塊包含函數(shù)式的時(shí)間編碼及連續(xù)時(shí)間和上下文感知的圖注意力網(wǎng)絡(luò)，主要用于學(xué)習(xí)時(shí)序圖上的用戶表示；2) 空間信息表示模塊包含層次化的地理位置編碼和深度用戶軌跡建模子模塊，主要對(duì)用戶歷史位置偏好表征的生成。為了統(tǒng)一解決時(shí)空語義場(chǎng)景的通用問題(即“When”、“Where”和“What”3個(gè)問題)，設(shè)計(jì)了統(tǒng)一的且可解耦的目標(biāo)函數(shù)來同時(shí)優(yōu)化交互預(yù)測(cè)、時(shí)間間隔預(yù)測(cè)以及地理位置預(yù)測(cè)。

圖1 GTRL框架的整體結(jié)構(gòu)Fig.1 Overall architecture of GTRL framework

2 時(shí)序信息建模

為了更好地克服行為稀疏性和捕獲用戶行為的高階關(guān)聯(lián)性，本文從圖的角度出發(fā)進(jìn)行時(shí)序信息的建模，并設(shè)計(jì)了連續(xù)時(shí)間和上下文感知的時(shí)序圖學(xué)習(xí)方法，主要分為兩個(gè)部分：1) 為了避免離散時(shí)間建模帶來的信息損失，GTRL嘗試用函數(shù)式的時(shí)間編碼技術(shù)將時(shí)間戳映射到連續(xù)可微的向量空間上更好地保存時(shí)序圖上的動(dòng)態(tài)性；2) 在最近新興的圖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)上，融合時(shí)間編碼，設(shè)計(jì)了連續(xù)時(shí)間和上下文感知的注意力機(jī)制，可在圖上按時(shí)間順序選取重要的鄰居，并同時(shí)考慮不同鄰居在時(shí)間上的相互影響。

2.1 函數(shù)式的時(shí)間編碼

函數(shù)式時(shí)間編碼的目的是找到一個(gè)從時(shí)間域到d維向量空間的映射 Φ (·)。具體地，考慮任意兩個(gè)時(shí)間戳t1,t2∈T，需要關(guān)心的是如何學(xué)習(xí)這兩個(gè)時(shí)間間隔之間的關(guān)系模式，可以表示成它們對(duì)應(yīng)的時(shí)間編碼的內(nèi)積，即 〈 Φ(t1),Φ(t2)〉。由此，可以將上述的時(shí)序模式進(jìn)一步形式化成具有平移不變性的核函數(shù) K，且其映射函數(shù)為 Φ (·)。

為了學(xué)習(xí)上述的時(shí)序核函數(shù)及其映射函數(shù)，在Mercer理論的啟發(fā)下，可以將該映射函數(shù)定義為

經(jīng)驗(yàn)上來說，時(shí)序模式可以被一系列周期核函數(shù)刻畫，參照文獻(xiàn)[8]介紹的定理，以 ω 為頻率的映射函數(shù) Φ (·) 可以進(jìn)一步被形式化為

值得注意的是，這樣的時(shí)間編碼是節(jié)點(diǎn)無關(guān)的。換句話說，由于時(shí)間編碼和節(jié)點(diǎn)不相關(guān)，會(huì)導(dǎo)致相同時(shí)間間隔下的任意兩個(gè)節(jié)點(diǎn)的時(shí)間編碼都是一樣的。但在具體的應(yīng)用場(chǎng)景中，如個(gè)性化推薦，用戶在過去同一時(shí)間上購(gòu)買的兩個(gè)不同的商品，對(duì)當(dāng)下用戶興趣的影響是不同的。如一天前喝過咖啡今天很可能會(huì)繼續(xù)喝，但一天前吃過火鍋今天再吃的可能性就比較低了。因此，這樣的節(jié)點(diǎn)無關(guān)的時(shí)間編碼不適合用于后續(xù)圖神經(jīng)網(wǎng)絡(luò)來進(jìn)行時(shí)序圖表示。給定一個(gè)特定的節(jié)點(diǎn)v，可以進(jìn)一步將該節(jié)點(diǎn)的時(shí)間編碼定義為

式中ci(u):Rd→R,i=1,2,··· 是一系列節(jié)點(diǎn)相關(guān)的映射函數(shù)，用來計(jì)算傅里葉系數(shù)。由于多層感知機(jī)對(duì)復(fù)雜交互的優(yōu)秀建模能力，在實(shí)驗(yàn)中將其用于實(shí)現(xiàn)ci(u)，并強(qiáng)制感知機(jī)的最后一層輸出為正數(shù)，以此來滿足Mercer理論的內(nèi)在特性。

2.2 連續(xù)時(shí)間和上下文感知的圖注意力網(wǎng)絡(luò)

循環(huán)聚合器在序列上下文上應(yīng)用復(fù)雜的LSTM(long short-term memory)結(jié)構(gòu)來賦予C2GAT強(qiáng)大的表達(dá)能力。

卷積聚合器使用了卷積操作來保證C2GAT可以擴(kuò)展到大規(guī)模數(shù)據(jù)集上。

3 空間信息建模

空間信息建模，即建模用戶在空間上的軌跡信息，是對(duì)用戶時(shí)空行為刻畫的另外一個(gè)主要模塊。具體來說，空間軌跡一方面可以在空間上區(qū)別人與人之間關(guān)系，刻畫用戶的空間遷移性，從而實(shí)現(xiàn)更好的用戶表示；另一方面，它也可以描述人與物(服務(wù)、權(quán)益和店鋪等)的關(guān)系，增強(qiáng)模型的預(yù)測(cè)能力。為此，本文設(shè)計(jì)了層級(jí)化的地理編碼和深度的歷史軌跡建模來實(shí)現(xiàn)這一目標(biāo)，如圖2所示。

圖2 空間信息建模示意Fig.2 Illustration of geography aware modelling

3.1 層級(jí)化的地理編碼

為了避免傳統(tǒng)地理位置編碼(geohash網(wǎng)格、POI或者AOI的one-hot編碼以及經(jīng)緯度編碼等)的不足，設(shè)計(jì)的地理位置編碼器(GeoEncoder)參考了谷歌地圖和必應(yīng)地圖中廣泛使用的Tile Map System，將全地圖等分為4塊，分別標(biāo)為0、1、2、3。然后將標(biāo)號(hào)為“0”的地塊(Tile)繼續(xù)等分為4小塊，分別標(biāo)為00、01、02、03，這4小塊有共同的前綴：“0”，也就是它們上層那個(gè)地塊的編號(hào)。其他標(biāo)號(hào)為“1”、“2”、“3”的地塊進(jìn)行同樣的劃分操作。這樣遞歸地將地圖不斷劃分下去，直到最小地塊滿足要求的進(jìn)度為止。采樣這種地理編碼方式，中國(guó)地圖，考慮最小地塊長(zhǎng)度為10米，只需要長(zhǎng)度為19的序列編碼就可以覆蓋全國(guó)所有位置。這樣產(chǎn)出的編碼具有很好的性質(zhì)：給定任意兩個(gè)地塊，它們的共同前綴越短，它們距離越遠(yuǎn)；反之則越近。圖3具體展示了對(duì)位置“杭州市?西湖區(qū)?天目里”的層級(jí)化地理編碼。

圖3 層次化地理位置編碼示意(以“杭州市?西湖區(qū)?天目里”為例)Fig.3 Illustration of hierarchical location encoding(take “Hangzhou–Xihu–Tianmuli” as an example)

但是并不能直接使用這個(gè)編碼作為ID特征。進(jìn)一步地，參考2020 KDD的工作[8]，可以對(duì)這個(gè)編碼做n-gram處理(一般取n=6)轉(zhuǎn)換成序列的形式。具體來說，給定編碼“120 220 011 012 000 332”做6-gram處理之后會(huì)變?yōu)閇‘120 220’, ‘202 200’,‘022001’, ‘220 011’, ‘200 110’, ‘001101’, ‘011012’,‘110 120’, ‘101 200’, ‘012000', ‘120 003’, ‘200 033’,‘000332’]的序列，其中單詞量為4 096(46)。

一個(gè)地理位置基于GeoEncoder +n-gram做序列編碼之后，該序列從左到右逐步刻畫了更細(xì)粒度的位置信息?？梢灶惐扔趶膰?guó)家粒度，逐步精細(xì)到地區(qū)、省、市、縣等。不同的是，GeoEncoder +n-gram的序列編碼方式還可以描述相對(duì)位置信息?？紤]n=1的最簡(jiǎn)單情況，當(dāng)一個(gè)序列編碼的第k個(gè)位置為0、1、2和3時(shí)，表示它在當(dāng)前區(qū)域的西北、東北、西南和東南區(qū)域。當(dāng)n取值變大，序列編碼則可以表示更復(fù)雜的相對(duì)位置信息。為刻畫上述序列編碼層級(jí)遞進(jìn)的性質(zhì)，GTRL的地理編碼模塊使用LSTM模型來建模序列編碼得到每個(gè)地理位置的低維表征。

3.2 深度的歷史軌跡建模

4 模型學(xué)習(xí)

相比于傳統(tǒng)的時(shí)序點(diǎn)過程，GTRL使用了一種強(qiáng)度自由的形式來建模用戶的時(shí)間間隔，可以更好地適應(yīng)復(fù)雜的真實(shí)應(yīng)用場(chǎng)景。由于神經(jīng)網(wǎng)絡(luò)強(qiáng)大的擬合能力，GTRL將其作為累積強(qiáng)度函數(shù)是實(shí)現(xiàn)基礎(chǔ)，整體的公式為

為了解決時(shí)間t、位置g、 商品v的聯(lián)合預(yù)測(cè)，GTRL通過如下的聯(lián)合分布來估計(jì)：

p(v,g,t|u)=p(v|u)·p(g|u)·p(t,|u,v)

式中：下一次交互預(yù)測(cè)p(v|u) 與下一次位置預(yù)測(cè)p(g|u) 分別由以hu(t) 為輸入的多層感知機(jī)器得到；而下一次交互間隔預(yù)測(cè)p(t,|u,v) 由時(shí)序點(diǎn)過程支持。由于商品和位置量級(jí)很大，GTRL使用了隨機(jī)負(fù)采樣的方式來進(jìn)行近似計(jì)算。最后，根據(jù)極大似然估計(jì)的策略，最終的損失函數(shù)為

5 實(shí)驗(yàn)分析

5.1 公開數(shù)據(jù)集上的有效性實(shí)驗(yàn)

首先，本文分別在4個(gè)公開數(shù)據(jù)集(Reddit、Wikipedia、MOOC和LastFM)上進(jìn)行(推導(dǎo)式/歸納式)鏈路預(yù)測(cè)和節(jié)點(diǎn)分類任務(wù)，來驗(yàn)證GTRL中的時(shí)序信息建模模塊(即C2GAT)的有效性。4個(gè)數(shù)據(jù)集的詳細(xì)統(tǒng)計(jì)信息如表1所示。

表1 4個(gè)公開數(shù)據(jù)集的統(tǒng)計(jì)信息Table 1 Statistics of four public datasets

在實(shí)驗(yàn)中，選取了9個(gè)經(jīng)典的基準(zhǔn)方法，大致可以分為3類：1) 基于深度遞歸網(wǎng)絡(luò)的方法：Time-LSTM[10]和Jodie[11]；2)靜態(tài)的圖神經(jīng)網(wǎng)絡(luò)方法：GraphSAGE[12]和GAT[13]；3) 時(shí)序圖神經(jīng)網(wǎng)絡(luò)方法：CTDNE[14]，M2DNE[15]、GCRN[16]、Graph-SAGE-T和GAT-T和TGAT[5]。

本文將C2GAT與上述的9個(gè)基準(zhǔn)方法在(推導(dǎo)式/歸納式)鏈路預(yù)測(cè)和節(jié)點(diǎn)分類任務(wù)上的性能對(duì)比實(shí)驗(yàn)結(jié)果分別展示在表2和表3中。從表2、3中可以得出如下兩點(diǎn)結(jié)論：

表2 公開數(shù)據(jù)集上(推導(dǎo)式/歸納式)鏈路預(yù)測(cè)任務(wù)的性能比較Table 2 Performance comparison (AUC) for (transductive / inductive) link prediction task on public datasets

表3 公開數(shù)據(jù)集上節(jié)點(diǎn)分類任務(wù)的性能比較(AUC)Table 3 Performance comparison (AUC) for node classification task on public datasets

1) GTRL中集成的C2GAT模型同時(shí)在鏈路預(yù)測(cè)和節(jié)點(diǎn)分類任務(wù)上都一致且明顯優(yōu)于其余基準(zhǔn)模型，驗(yàn)證了C2GAT的有效性。這得益于C2GAT使用了一種更加有效的方式來捕獲圖上的動(dòng)態(tài)性，并同時(shí)利用高階結(jié)構(gòu)信息和局部序列式的上下信息。

2) 在這些對(duì)比方法中，多數(shù)情況下，時(shí)序圖模型的性能優(yōu)于靜態(tài)圖模型優(yōu)于深度序列模型。這證明了動(dòng)態(tài)性、高階結(jié)構(gòu)以及節(jié)點(diǎn)/邊特征對(duì)于時(shí)序圖表示學(xué)習(xí)的重要性。

5.2 工業(yè)數(shù)據(jù)集上的實(shí)驗(yàn)

首先在支付寶首頁的本地生活場(chǎng)景進(jìn)行了一系列關(guān)于時(shí)間維度的實(shí)驗(yàn)，選取了外賣(“餓了么”服務(wù))、旅游(“飛豬”服務(wù))和欄目排序這3個(gè)具有強(qiáng)時(shí)間語義的數(shù)據(jù)集，具體的數(shù)據(jù)集統(tǒng)計(jì)信息見表4。

表4 3個(gè)工業(yè)數(shù)據(jù)集的統(tǒng)計(jì)信息Table 4 Statistics of four industrial datasets

考慮到數(shù)據(jù)規(guī)模的量級(jí)，本文針對(duì)性地選取了一系列代表性的基準(zhǔn)方法，如基于特征的DeepFM[17]模型、基于序列的GRU4Rec[18]、DIN[11]、SASRec[20]，以及基于興趣演化的DIEN[21]和Time-LSTM[10]模型。詳細(xì)的性能比較如表5所示?？梢园l(fā)現(xiàn)：在3個(gè)實(shí)際的場(chǎng)景數(shù)據(jù)集上，本文提出的方法對(duì)比最優(yōu)的基準(zhǔn)方法可以帶來0.12%～1.71%的提升，驗(yàn)證了該方法在實(shí)際場(chǎng)景中捕獲時(shí)間語義的有效性。

表5 工業(yè)數(shù)據(jù)集的性能比較Table 5 Performance comparison on industrial datasets %

進(jìn)一步，將更加顯式地展示GTRL在時(shí)間間隔預(yù)測(cè)上的有效性。因此，本文在支付寶/本地生活的券核銷預(yù)估中應(yīng)用了GTRL。首先對(duì)比線上最優(yōu)的基準(zhǔn)方法(MMoE[22])，GTRL在核銷率上可以帶來4.23%的提升。其次，展示了這個(gè)任務(wù)中三類券的真實(shí)核銷量?時(shí)間分布(藍(lán)色柱狀圖)以及GTRL對(duì)券核銷時(shí)間分布的估計(jì)(紅色實(shí)線)，如圖4所示。可以發(fā)現(xiàn)，GTRL的預(yù)測(cè)與真實(shí)的核銷分布基本吻合，也反映出了不同類型券核銷的時(shí)間周期性：1) 餐飲券：領(lǐng)券后一般都是盡快核銷，核銷量隨時(shí)間呈明顯衰減趨勢(shì)；2) 電影券：領(lǐng)券后盡快核銷(現(xiàn)領(lǐng)現(xiàn)買)，領(lǐng)券第2天核銷(1天后看電影)；3) 出行券：時(shí)間衰減不明顯，根據(jù)實(shí)際出行需求進(jìn)行核銷，呈現(xiàn)天周期。

圖4 時(shí)間間隔預(yù)測(cè)的案例學(xué)習(xí)Fig.4 Case study for time interval prediction

除了預(yù)測(cè)時(shí)間任務(wù)外，GTRL也可以進(jìn)行空間地理信息的建模[23-25]。將GTRL應(yīng)用于建模用戶歷史線下交易的空間軌跡。首先，本文將學(xué)習(xí)到的用戶空間表征進(jìn)行可視化，如圖5所示。

圖5 GTRL-G學(xué)習(xí)到的用戶表示示意Fig.5 Illustration of user embeddings learned by GTRL-G

從圖5中，可以發(fā)現(xiàn)：1) 每個(gè)城市聚簇明顯，北京?天津、佛山?廣州、蘇州?上海、成都?重慶4組城市對(duì)也呈現(xiàn)聚簇狀態(tài)，其中成都?重慶呈現(xiàn)較為明顯的分離(可能是成都?重慶距離較遠(yuǎn))。2) 圖(b)中：上海與蘇州昆山的聚簇overlap較大(住昆山，在上海工作)，蘇州主城區(qū)和張家港則明顯呈現(xiàn)獨(dú)立聚簇。進(jìn)一步地，在雙十二的券抽獎(jiǎng)場(chǎng)景上線了GTRL-G模型以幫助預(yù)測(cè)用戶未來支付的位置，對(duì)比線上基線模型(MMoE)，GTRL-G在整體核銷率上可以帶來3.31%的提升，在非消費(fèi)券核銷率上可以帶來13.94%的提升。

6 結(jié)束語

本文提出了一個(gè)統(tǒng)一的用戶表示學(xué)習(xí)框架?GTRL，可以有效地捕獲用戶行為在時(shí)空維度的語義。具體地，GTRL在時(shí)間建模上使用了函數(shù)式的時(shí)間編碼和連續(xù)時(shí)間和上下文感知的圖注意力網(wǎng)絡(luò)用于在圖上靈活地捕獲高階的結(jié)構(gòu)化時(shí)序信息。與此同時(shí)，GTRL在空間建模上引入了層級(jí)化的地理編碼和深度歷史軌跡建模模塊高效地刻畫了用戶的地理位置偏好。最后GTRL給出了一個(gè)統(tǒng)一且可解耦的優(yōu)化方案來聯(lián)合預(yù)測(cè)下一次交互，及相應(yīng)的時(shí)間和地理位置。大量的公開數(shù)據(jù)集和工業(yè)數(shù)據(jù)集上的實(shí)驗(yàn)分別驗(yàn)證了GTRL相較學(xué)術(shù)界基線模型的優(yōu)勢(shì)，以及在實(shí)際業(yè)務(wù)場(chǎng)景中的有效性。在未來的工作中，將進(jìn)一步致力于研究用戶行為的稀疏性問題，將更加復(fù)雜的結(jié)構(gòu)信息(如用戶側(cè)的社交網(wǎng)絡(luò)信息和商品側(cè)的知識(shí)圖譜信息)集成到GTRL框架中。