基于標(biāo)簽的SDN控制邏輯更新策略研究

楊艷梅 盧 菁

(上海理工大學(xué)光電信息與計(jì)算機(jī)工程學(xué)院 上海 200093)

?

基于標(biāo)簽的SDN控制邏輯更新策略研究

楊艷梅 盧 菁

(上海理工大學(xué)光電信息與計(jì)算機(jī)工程學(xué)院 上海 200093)

為減少控制邏輯更新導(dǎo)致的網(wǎng)絡(luò)時(shí)延，改進(jìn)基于標(biāo)簽的兩階段更新策略中的等待機(jī)制。改進(jìn)后的機(jī)制中，控制器依次向新轉(zhuǎn)發(fā)路徑上的所有交換機(jī)安裝新的控制邏輯，轉(zhuǎn)發(fā)路徑上的入口交換機(jī)為數(shù)據(jù)流打上標(biāo)簽(設(shè)置VLAN id),出口交換機(jī)去掉標(biāo)簽，中間交換機(jī)根據(jù)數(shù)據(jù)流是否設(shè)置了標(biāo)簽來(lái)決定是否發(fā)送packet_in。在Open vSwitch中實(shí)現(xiàn)了該機(jī)制，并通過(guò)Mininet仿真實(shí)驗(yàn)驗(yàn)證了該機(jī)制的可行性和有效性。

軟件定義網(wǎng)絡(luò) 控制邏輯更新 端到端時(shí)延 丟包 Open vSwitch

0 引 言

軟件定義網(wǎng)絡(luò)SDN[1]，是一種新型網(wǎng)絡(luò)創(chuàng)新架構(gòu)，其核心思想是將網(wǎng)絡(luò)設(shè)備控制平面與數(shù)據(jù)平面分離開(kāi)來(lái)。數(shù)據(jù)平面只負(fù)責(zé)轉(zhuǎn)發(fā)數(shù)據(jù)；控制平面向數(shù)據(jù)平面下發(fā)控制邏輯，同時(shí)又向業(yè)務(wù)平面(應(yīng)用程序)提供API；業(yè)務(wù)平面通過(guò)這些接口來(lái)集中配置、管理網(wǎng)絡(luò)設(shè)備。

目前基于OpenFlow的SDN 技術(shù)在數(shù)據(jù)中心等特定領(lǐng)域已有部署應(yīng)用。然而 SDN 這種管控分離架構(gòu)和OpenFlow協(xié)議本身都還不是很成熟，面臨著許多還未解決的問(wèn)題[1，2]，如轉(zhuǎn)發(fā)平面的設(shè)計(jì)問(wèn)題、控制平面的可擴(kuò)展性、控制邏輯的一致性等。本文針對(duì)控制邏輯的一致性這一問(wèn)題進(jìn)行研究。

在SDN中，為了實(shí)現(xiàn)路由切換、負(fù)載均衡、網(wǎng)絡(luò)維護(hù)等，需要更新各交換機(jī)上的控制邏輯，并確?？刂七壿嫷囊恢滦?。該一致性包含三個(gè)方面：首先是一個(gè)應(yīng)用業(yè)務(wù)產(chǎn)生的控制邏輯要一致，即確保多條控制邏輯之間不能沖突，而且要確定多條控制邏輯的更新順序[3]；其次是多個(gè)應(yīng)用業(yè)務(wù)同時(shí)更新一個(gè)交換機(jī)的控制邏輯時(shí)，如何保證所有控制邏輯不沖突[4]；再次是將一條控制邏輯更新到各個(gè)網(wǎng)絡(luò)設(shè)備時(shí)，如何保證該控制邏輯在各網(wǎng)絡(luò)設(shè)備上的一致性。本文將對(duì)最后一個(gè)問(wèn)題進(jìn)行研究。

1 相關(guān)研究

控制邏輯更新時(shí)，要保證數(shù)據(jù)流只能按照新的控制邏輯或者只能按照舊的控制邏輯來(lái)處理，而不能同時(shí)被新舊兩種控制邏輯處理。這個(gè)一致性更新問(wèn)題的成果主要有基于時(shí)間的更新和基于標(biāo)簽的兩階段更新。

文獻(xiàn)[5]提出了一種基于平均時(shí)延的一致性解決方案。該方案中，SDN控制器維護(hù)網(wǎng)絡(luò)拓?fù)浜退芯W(wǎng)絡(luò)節(jié)點(diǎn)間的平均時(shí)延，然后根據(jù)時(shí)延計(jì)算出控制邏輯在各個(gè)交換機(jī)上的安裝時(shí)刻以避免控制邏輯的不一致。文獻(xiàn)[6]首先對(duì)所有交換機(jī)進(jìn)行時(shí)鐘同步；然后把控制邏輯依次下發(fā)到各交換機(jī)，同時(shí)告訴交換機(jī)加載該控制邏輯的時(shí)刻——在一條轉(zhuǎn)發(fā)路徑上，后面的交換機(jī)要比前面的交換機(jī)先加載。該機(jī)制被納入最新的OpenFlow 1.5規(guī)范。

基于標(biāo)簽的兩階段更新[7]利用不同的VLAN標(biāo)簽來(lái)標(biāo)識(shí)新舊兩種控制邏輯。第一階段將新的控制邏輯下發(fā)到除入口交換機(jī)以外的其他后續(xù)交換機(jī)。第二階段是等第一階段完成之后再把新的控制邏輯下發(fā)到入口交換機(jī)。入口交換機(jī)為新進(jìn)入的數(shù)據(jù)流打上新的標(biāo)簽，后續(xù)交換機(jī)根據(jù)不同的標(biāo)簽而用新舊兩種控制邏輯轉(zhuǎn)發(fā)數(shù)據(jù)流，出口交換機(jī)再把標(biāo)簽去掉。等舊控制邏輯上的數(shù)據(jù)流都離開(kāi)網(wǎng)絡(luò)之后，刪除舊的控制邏輯，至此完成整個(gè)更新操作。文獻(xiàn)[8]為減少兩階段更新過(guò)程中新舊控制邏輯所占流表空間，用通配符標(biāo)簽對(duì)新舊控制邏輯進(jìn)行合并。

OpenFlow協(xié)議[9]用TCP來(lái)確保發(fā)出的控制邏輯能到達(dá)對(duì)端，對(duì)控制邏輯的更新都是采用異步方式。當(dāng)一條控制邏輯成功安裝在交換機(jī)上時(shí)不會(huì)給SDN控制器返回確認(rèn)消息，只有安裝失敗或沖突時(shí)才會(huì)返回錯(cuò)誤報(bào)告消息。因此兩階段更新等待機(jī)制很難實(shí)現(xiàn)，只能維護(hù)最大網(wǎng)絡(luò)時(shí)延，以及控制器和交換機(jī)之間的最大網(wǎng)絡(luò)時(shí)延，等一定時(shí)間再做下一步操作[5]；而這個(gè)最大時(shí)延的維護(hù)相對(duì)復(fù)雜。文獻(xiàn)[6]需要同步交換機(jī)的時(shí)鐘，可以解決第一個(gè)等待問(wèn)題，但第二個(gè)等待還是沒(méi)能很好解決。

減少兩階段更新中的第一個(gè)等待時(shí)間，可以更快地建立新的轉(zhuǎn)發(fā)路徑，交換機(jī)或控制器所需緩存的數(shù)據(jù)包也就越少，一定程度上可以減少端到端時(shí)延和丟包。為了盡快建立新的轉(zhuǎn)發(fā)路徑，本文對(duì)文獻(xiàn)[7]的兩階段更新機(jī)制TPU(Two Phase Update)的等待機(jī)制進(jìn)行了修改，提出一種改進(jìn)的基于標(biāo)簽兩階段更新方案ETPU(Enhanced Two Phase Update)。

2 控制邏輯更新方案

圖1為一校園網(wǎng)宿舍區(qū)拓?fù)鋱D，從左到右依次為核心路由器、分流交換機(jī)、防火墻交換機(jī)、核心交換機(jī)、匯集交換機(jī)和接入交換機(jī)。為實(shí)現(xiàn)負(fù)載均衡，將一數(shù)據(jù)流的轉(zhuǎn)發(fā)路徑由S1->S3->S4->S5更新為S1->S3->S4->S6。

圖1 網(wǎng)絡(luò)拓?fù)鋱D

首先，控制器為該數(shù)據(jù)流計(jì)算新的轉(zhuǎn)發(fā)路徑，同時(shí)將新的控制邏輯依次下發(fā)到所有交換機(jī)(按照S1->S3->S4->S6的順序)。入口交換機(jī)(S1)為數(shù)據(jù)流執(zhí)行PUSH操作，打上新的VLAN標(biāo)簽(如原VLAN id加1，VLAN id占12 Bit)，出口交換機(jī)執(zhí)行POP操作把VLAN標(biāo)簽去掉。新的數(shù)據(jù)包有可能在新的控制邏輯之前到達(dá)后續(xù)的交換機(jī)(如S3)，該交換機(jī)根據(jù)匹配字段查找控制邏輯時(shí)將會(huì)失敗，通常交換機(jī)會(huì)往控制器發(fā)Packet-In消息去請(qǐng)求控制邏輯。

這時(shí)對(duì)OpenFlow交換機(jī)的行為加以修改：如果查找失敗的數(shù)據(jù)包中包含VLAN標(biāo)簽，則認(rèn)為VLAN標(biāo)簽為控制器所設(shè)置，該數(shù)據(jù)包已經(jīng)被控制器處理過(guò)，控制器已經(jīng)為該數(shù)據(jù)包建立了轉(zhuǎn)發(fā)路徑。該交換機(jī)為轉(zhuǎn)發(fā)路徑上的一個(gè)節(jié)點(diǎn)，新的控制邏輯還沒(méi)有到達(dá)該交換機(jī)，因此該交換機(jī)僅緩存數(shù)據(jù)包并等待新的控制邏輯，而不發(fā)送Packet-In消息；新的控制邏輯成功安裝之后再根據(jù)新的控制邏輯來(lái)轉(zhuǎn)發(fā)緩存的數(shù)據(jù)包。

其次，針對(duì)何時(shí)刪除舊的控制邏輯這一問(wèn)題，多數(shù)文獻(xiàn)是等待一個(gè)網(wǎng)絡(luò)時(shí)延之后由控制器發(fā)控制報(bào)文去刪除。本文曾嘗試獲取各交換機(jī)基于控制邏輯所處理的數(shù)據(jù)包個(gè)數(shù)，然后進(jìn)行比較，進(jìn)而判斷數(shù)據(jù)包是否已離開(kāi)出口交換機(jī)。實(shí)驗(yàn)表明其在某些網(wǎng)絡(luò)拓?fù)鋱?chǎng)景下可行，而有些場(chǎng)景下獲取數(shù)據(jù)包個(gè)數(shù)的控制報(bào)文往返用時(shí)反而大于最大網(wǎng)絡(luò)時(shí)延，而且網(wǎng)絡(luò)負(fù)載重時(shí)丟包嚴(yán)重，仍需依靠超時(shí)機(jī)制。為此，本文也將采用等待一定時(shí)間之后由控制器依次發(fā)送控制報(bào)文去刪除舊的控制邏輯的方法。不同的是等待時(shí)間變?yōu)閺陌l(fā)完新控制邏輯開(kāi)始等待最大網(wǎng)絡(luò)時(shí)延加上控制器到新轉(zhuǎn)發(fā)路徑上初始交換機(jī)的時(shí)延。

Open vSwitch的實(shí)現(xiàn)分為用戶空間進(jìn)程和內(nèi)核模塊，如圖2所示。內(nèi)核模塊維護(hù)一張精確匹配的快速轉(zhuǎn)發(fā)表，根據(jù)該流表實(shí)現(xiàn)對(duì)數(shù)據(jù)包的快速處理。用戶空間進(jìn)程(ovs-vswitchd)接收控制器下發(fā)的控制邏輯，維護(hù)一張包含通配符的流表和一張精確匹配的慢路徑轉(zhuǎn)發(fā)表，并將該精確匹配的慢路徑轉(zhuǎn)發(fā)表映射到內(nèi)核空間的快路徑流表。

圖2 Open vSwitch消息處理流程圖

Open vSwitch對(duì)一個(gè)新的數(shù)據(jù)包的處理流程如下：

1) 從網(wǎng)卡收到一個(gè)數(shù)據(jù)包；

2) 內(nèi)核空間函數(shù)ovs_dp_process_received_packet()(datapath/datapath.c)，查找流表并執(zhí)行相應(yīng)action；

3) 若沒(méi)匹配到控制邏輯，則通過(guò)netLinks將該數(shù)據(jù)包傳到用戶空間；

4) 用戶空間的ovs-vswitchd調(diào)用handle_miss_upcalls()(ofproto/ofproto-dpif.c)對(duì)其進(jìn)行處理，查找是否有與flow精確匹配的規(guī)則；

5) 如果不存在，則調(diào)用handle_flow_miss_common()向控制器發(fā)送packet_in；

6) 控制器向交換機(jī)中添加一條新的控制邏輯；

7) 將該規(guī)則同時(shí)保存到用戶空間和內(nèi)核空間的流表；

8) 發(fā)送緩存的數(shù)據(jù)包；

9) 查找流表并做相應(yīng)操作；

10) 把數(shù)據(jù)包從相應(yīng)的端口發(fā)出去。

本文的做法是在第4步和第5步之間加一步：檢查數(shù)據(jù)包中是否設(shè)置了VLAN id。如設(shè)置則認(rèn)為該數(shù)據(jù)包已經(jīng)被控制器處理過(guò)，控制器已經(jīng)為該數(shù)據(jù)流建立了轉(zhuǎn)發(fā)路徑。該交換機(jī)是轉(zhuǎn)發(fā)路徑上的一個(gè)節(jié)點(diǎn)，控制邏輯還沒(méi)有到達(dá)該交換機(jī)，因此不再發(fā)送packet_in，而是把數(shù)據(jù)包緩存起來(lái)等待新的控制邏輯。如不存在VLAN id則表明是新的數(shù)據(jù)流，然后執(zhí)行第5步。

3 仿真分析

為了驗(yàn)證本文方案的可行性，用Mininet網(wǎng)絡(luò)仿真平臺(tái)對(duì)該方案和文獻(xiàn)[7]中的兩階段更新機(jī)制分別進(jìn)行仿真實(shí)驗(yàn)，然后從控制邏輯更新時(shí)的網(wǎng)絡(luò)時(shí)延和丟包個(gè)數(shù)這兩個(gè)方面進(jìn)行分析。

Mininet是一個(gè)極為輕量級(jí)的網(wǎng)絡(luò)仿真平臺(tái)，支持OpenFlow協(xié)議，可以通過(guò)OpenFlow協(xié)議連接外部的Open vSwitch和SDN控制器。本實(shí)驗(yàn)中，基于POX網(wǎng)絡(luò)控制器來(lái)編寫控制邏輯更新算法；基于Open vSwitch1.9版本的代碼進(jìn)行修改，在交換機(jī)中實(shí)現(xiàn)第2節(jié)中的機(jī)制。

仿真網(wǎng)絡(luò)拓?fù)淙鐖D1所示，其中核心交換機(jī)(S5,S6)左邊的所有鏈路參數(shù)設(shè)置為bw=10,delay=1 ms,max_queue_size=40,loss=0，其中帶寬(bw)為10 Mbits/sec；核心交換機(jī)(S5,S6)右邊的所有鏈路參數(shù)為bw=5,delay=2 ms,max_queue_size=20,loss=0。為了測(cè)時(shí)延和丟包個(gè)數(shù)，我們分別在H1、H2和控制器上用tcpdump來(lái)抓包，并用Linux網(wǎng)絡(luò)性能測(cè)試工具iperf從H1發(fā)UDP包到H2。包的大小為1470 Bytes，發(fā)包速率為2 Mbits/sec，發(fā)包持續(xù)時(shí)間為10秒，每組執(zhí)行10次取平均值。時(shí)延包括控制邏輯的更新周期和更新時(shí)影響到的包的平均時(shí)延，更新周期為從開(kāi)始發(fā)新的控制邏輯到發(fā)完最后一條后刪除舊控制邏輯為止；丟包個(gè)數(shù)為10秒內(nèi)的丟包個(gè)數(shù)。文獻(xiàn)[7]和本文的更新周期、端到端時(shí)延都受網(wǎng)絡(luò)規(guī)模的影響，因此將用圖1中的兩種路徑更新來(lái)分別比較更新周期和時(shí)延：P1=[S4,S5,S8,S10] 更新為P1′=[S4,S6,S8,S10]；P2=[S1,S2,S4,S5,S8,S10]更新為P2′=[S1,S3,S4,S6,S8,S10]。

3.1 時(shí) 延

通過(guò)在交換機(jī)上抓包發(fā)現(xiàn)網(wǎng)絡(luò)最大時(shí)延為8.1 ms(S1到S11)，控制器到交換機(jī)的最大時(shí)延為7.1 ms(C到S11)。時(shí)延仿真結(jié)果如表1所示，其中前兩行為控制器觸發(fā)的更新時(shí)延，后兩行為交換機(jī)觸發(fā)的更新時(shí)延，單位為毫秒(ms)。

表1 ETPU和TPU更新周期及時(shí)延

控制器觸發(fā)控制邏輯更新時(shí)，ETPU的更新周期為最大網(wǎng)絡(luò)時(shí)延，而TPU的更新周期需要加上控制器到交換機(jī)的最大網(wǎng)絡(luò)時(shí)延。在圖1的網(wǎng)絡(luò)拓?fù)湎?，本文方案的更新機(jī)制對(duì)數(shù)據(jù)包傳輸幾乎沒(méi)有影響，只比穩(wěn)定狀態(tài)下多了0.1 ms。這是因?yàn)楦虏僮魇怯煽刂破饔|發(fā)的，沒(méi)有packet_in的延時(shí)。P1->P1'時(shí)，新的規(guī)則到達(dá)S4時(shí)，發(fā)往后續(xù)交換機(jī)的控制邏輯更新報(bào)文也到達(dá)了S4，所以S4幾乎同時(shí)轉(zhuǎn)發(fā)出去數(shù)據(jù)包和控制報(bào)文，后續(xù)交換機(jī)也是如此；P2->P2'時(shí)，后續(xù)交換機(jī)先于S1安裝好新的控制邏輯，所以不存在額外的時(shí)延。TPU的端到端時(shí)延也不受影響，因?yàn)樗窍仍诤罄m(xù)交換機(jī)上更新好新的控制邏輯。這時(shí)并不可轉(zhuǎn)發(fā)新的數(shù)據(jù)包，只有當(dāng)入口交換機(jī)安裝了新的控制邏輯之后才會(huì)有新的數(shù)據(jù)流被轉(zhuǎn)發(fā)。

當(dāng)鏈路故障，比如把鏈路狀態(tài)設(shè)為down，由交換機(jī)觸發(fā)控制邏輯更新時(shí)，ETPU的更新周期和控制器觸發(fā)的更新相比則多了將控制邏輯下發(fā)到初始交換機(jī)的時(shí)延，因?yàn)槭菑氖盏絧acket_in開(kāi)始計(jì)算；TPU的更新周期不變。ETPU中數(shù)據(jù)流的端到端時(shí)延和控制器觸發(fā)的更新相比多了packet_in的時(shí)延和初始交換機(jī)安裝新控制邏輯的時(shí)延；而TPU則增加了packet_in的時(shí)延、初始交換機(jī)安裝新控制邏輯的時(shí)延和控制器到交換機(jī)的最大網(wǎng)絡(luò)時(shí)延。ETPU比TPU少了控制器到交換機(jī)的最大網(wǎng)絡(luò)時(shí)延。

3.2 丟 包

控制器觸發(fā)的控制邏輯更新不影響網(wǎng)絡(luò)的時(shí)延和丟包，因此只比較交換機(jī)觸發(fā)的更新對(duì)丟包的影響。iperf的發(fā)包速率分別為2 Mbits/sec和5 Mbits/sec，10秒鐘發(fā)包的總數(shù)分別為1701和4250個(gè)。同樣采用上述兩種路徑更新，其結(jié)果如表2所示。更新前后兩種機(jī)制下數(shù)據(jù)包的傳輸都是一樣的，所以兩種機(jī)制下丟包個(gè)數(shù)的差別主要是控制邏輯更新過(guò)程的不同所致?？梢钥闯觯琲perf發(fā)包慢時(shí)，兩者差別不大；但當(dāng)發(fā)包速率較大、網(wǎng)絡(luò)負(fù)載較重時(shí)，交換機(jī)要緩存的數(shù)據(jù)包個(gè)數(shù)也較多；同時(shí)由于TP建立好新轉(zhuǎn)發(fā)路徑用時(shí)較長(zhǎng)，所以丟包個(gè)數(shù)也較多。

表2 ETPU和TPU的丟包個(gè)數(shù)

4 結(jié) 語(yǔ)

SDN中控制邏輯的更新通常需要更新轉(zhuǎn)發(fā)路徑上的多個(gè)交換機(jī)，本文提出的ETPU能有效縮短由交換機(jī)觸發(fā)的新建轉(zhuǎn)發(fā)路徑所用時(shí)間，降低控制邏輯更新對(duì)數(shù)據(jù)包轉(zhuǎn)發(fā)的影響，即降低端到端時(shí)延和丟包率。仿真實(shí)驗(yàn)結(jié)果表明，當(dāng)網(wǎng)絡(luò)負(fù)載重時(shí)，ETPU效果更加明顯。本文機(jī)制不僅適用于控制邏輯更新，同樣也適用于為數(shù)據(jù)流建立初始轉(zhuǎn)發(fā)路徑。缺點(diǎn)是需要用一個(gè)標(biāo)志位(本文用VLAN id)來(lái)標(biāo)識(shí)數(shù)據(jù)流是否已經(jīng)被控制器處理過(guò)，入口交換機(jī)設(shè)置該標(biāo)志位，出口交換機(jī)再將其去掉。雖有失通用性，但實(shí)現(xiàn)簡(jiǎn)單有效。

[1] 張朝昆,崔勇,唐翯祎,等.軟件定義網(wǎng)絡(luò)(SDN)進(jìn)展研究[J].軟件學(xué)報(bào),2015,26(1):62-81.

[2] Nunes B A A,Mendonca M,Nguyen X N,et al.A survey of software-defined networking:Past,present,and future of programmable networks[J].IEEE Communications Surveys and Tutorials,2014,16(3):1617-1634.

[3] Xin Jin,Hongqiang Harry Liu,Rohan Gandhi,et al.Dynamic scheduling of network updates[C]//Proceedings of the 2014 ACM conference on SIGCOMM,2014:539-550.

[4] Canini M,Kuznetsov P,Levin D,et al.Software transactional networking:Concurrent and consistent policy composition[C]//Proceedings of the 2nd ACM SIGCOMM Workshop on Hot Topics Software Defined Network,2013:1-6.

[5] 宋海權(quán),郭進(jìn),侯孟書,等.基于網(wǎng)絡(luò)時(shí)延的SDN邏輯一致性策略研究[J].電子科技大學(xué)學(xué)報(bào),2014,43(5):730-735.

[6] Mizrahi T,Saat E,Moses Y.Timed consistent network updates[C]//ACM SIGCOMM Symposium on SDN Research (SOSR),2015:326-339.

[7] Mark Reitblatt,Nate Foster,Jennifer Rexford,et al.Abstractions for network update[C]//Proceedings of the ACM SIGCOMM 2012 conference on Applications,technologies,architectures, and protocols for computer communication,2012:323-334.

[8] Luo Shouxi,Yu Hongfang,Li Lemin.Consistency is Not Easy:How to Use Two-phase Update for Wildcard Rules[J].IEEE Communications Letters,2015,19(3):347-350.

[9] Open Networking Foundation(ONF).Openflow switch specification,version 1.5.0[EB/OL].[2014-12-19].https://www.opennetworking.org/.

RESEARCH ON LABEL-BASED SDN CONTROL LOGIC UPDATE POLICY

Yang Yanmei Lu Jing

(SchoolofOptical-ElectricalandComputerEngineering,UniversityofShanghaiforScienceandTechnology,Shanghai200093,China)

To reduce the end-to-end network delay caused by control logic update, we improved the waiting mechanism of label-based two-phase update policy. In the improved mechanism, the controller installs new control logic to all switches in new forwarding path in turn, the ingress switches on forwarding path label the data flow (setting VLAN id); the egress switches remove the label; and the middle switches, according to whether the labels are set on data flow, decide to send packet_in to controller or not. This scheme has been implemented in Open vSwitch, and has been verified through Mininet simulation experiment its feasibility and effectiveness.

Software defined network Control logic update End-to-end network delay Packet loss Open vSwitch

2015-09-01。楊艷梅，實(shí)驗(yàn)師，主研領(lǐng)域：無(wú)線自組網(wǎng)絡(luò)，軟件定義網(wǎng)絡(luò)。盧菁，講師。

TP393.0

A

10.3969/j.issn.1000-386x.2016.11.023