胡慶展 謝邵斌 溫州市煙草專(zhuān)賣(mài)局（公司）信息中心

隨著“互聯(lián)網(wǎng)”模式的全面落地，行業(yè)累計(jì)采集海量消費(fèi)數(shù)據(jù)，形成能反應(yīng)卷煙市場(chǎng)發(fā)展動(dòng)態(tài)的“數(shù)字網(wǎng)絡(luò)”。本課題研究小組基于網(wǎng)格化的人地商圈、商業(yè)批發(fā)、終端零售、消費(fèi)者及專(zhuān)賣(mài)監(jiān)管“五維一體”數(shù)據(jù)，研究零售終端卷煙市場(chǎng)需求指數(shù)模型，探索建設(shè)數(shù)據(jù)驅(qū)動(dòng)的卷煙市場(chǎng)供需匹配、品牌精準(zhǔn)投放應(yīng)用，助力卷煙營(yíng)銷(xiāo)向“數(shù)字化”深度轉(zhuǎn)型。

一、研究背景

當(dāng)前行業(yè)卷煙營(yíng)銷(xiāo)在分析市場(chǎng)容量和需求，制定貨源投放計(jì)劃、投放策略上存在一些問(wèn)題。

（一）市場(chǎng)需求影響因子度量方法有待創(chuàng)新

目前貨源投放以行業(yè)批發(fā)數(shù)據(jù)為主要參考指標(biāo)，終端周邊商圈客流、人群特征等市場(chǎng)因素對(duì)銷(xiāo)量的影響，更多以“定性”方式在投放策略中體現(xiàn)，缺少能度量區(qū)域市場(chǎng)需求影響因子的科學(xué)方法。

（二）區(qū)域市場(chǎng)需求預(yù)測(cè)能力略有缺失

目前行業(yè)較為先進(jìn)的單位已經(jīng)采用終端“樣本戶(hù)數(shù)據(jù)采集”推算社會(huì)庫(kù)存和需求，準(zhǔn)確度較高，但用來(lái)指導(dǎo)縣級(jí)以下區(qū)域市場(chǎng)需求預(yù)測(cè)時(shí)存在樣本戶(hù)不足、數(shù)據(jù)顆粒度不夠細(xì)、維度不夠豐富等問(wèn)題。

（二）卷煙貨源精準(zhǔn)投放仍有提升空間

貨源投放方式以類(lèi)別為主導(dǎo)，類(lèi)別劃分主要基于歷史銷(xiāo)量和客情的“ 以量定量”，與真正意義上按照終端市場(chǎng)實(shí)施的“千人千面”“一戶(hù)一策”仍有一定差距。

二、構(gòu)建思路

基于云計(jì)算、大數(shù)據(jù)平臺(tái)，將溫州數(shù)字地圖按邊長(zhǎng)1 公里的正方形網(wǎng)格切分為若干區(qū)域，以網(wǎng)格為單元匯聚人地商圈、商業(yè)批發(fā)、終端零售、消費(fèi)者、專(zhuān)賣(mài)監(jiān)管“五維”特征數(shù)據(jù)，搭建零售終端卷煙市場(chǎng)需求指數(shù)模型，挖掘特征指標(biāo)對(duì)銷(xiāo)量影響度和權(quán)重，并以此為基礎(chǔ)打造大數(shù)據(jù)分析系統(tǒng)，通過(guò)數(shù)據(jù)驅(qū)動(dòng)實(shí)現(xiàn)市場(chǎng)供需匹配，品牌投放場(chǎng)景化、可視化、精細(xì)化應(yīng)用。

（一）總體架構(gòu)

系統(tǒng)基于云平臺(tái)建設(shè)推進(jìn)，共分為以下四層。

基礎(chǔ)數(shù)據(jù)層：基于數(shù)據(jù)中臺(tái)大數(shù)據(jù)離線(xiàn)計(jì)算MaxCompute，引入第三方人地商圈數(shù)據(jù)，按商圈網(wǎng)格匯聚特征指標(biāo)，通過(guò)指標(biāo)歸一化處理，搭建特征指標(biāo)庫(kù)，為數(shù)據(jù)建模層提供基礎(chǔ)數(shù)據(jù)。

數(shù)據(jù)建模層：基于數(shù)據(jù)中臺(tái)規(guī)范建模Dataphin，對(duì)基礎(chǔ)數(shù)據(jù)層指標(biāo)進(jìn)行二次加工，運(yùn)用隨機(jī)森林、Pearson、多元線(xiàn)性回歸等算法搭建組合模型，輸出特征指標(biāo)對(duì)銷(xiāo)量影響度和權(quán)重。

應(yīng)用數(shù)據(jù)層：基于數(shù)據(jù)中臺(tái)關(guān)系型數(shù)據(jù)庫(kù)RDS，融合業(yè)務(wù)數(shù)據(jù)、前端交互數(shù)據(jù)、數(shù)字地圖對(duì)模型輸出結(jié)果進(jìn)行等值線(xiàn)處理和熱力圖疊加，形成零售終端卷煙市場(chǎng)需求指數(shù)。

應(yīng)用服務(wù)層：基于ECS 云服務(wù)器搭建系統(tǒng)運(yùn)行環(huán)境，開(kāi)發(fā)市場(chǎng)供需匹配、品牌精準(zhǔn)投放場(chǎng)景化應(yīng)用，通過(guò)數(shù)字地圖和數(shù)據(jù)可視化實(shí)現(xiàn)與用戶(hù)、與業(yè)務(wù)流程交互。應(yīng)用輸出的周期投放量結(jié)果能夠?qū)虢?jīng)營(yíng)管理平臺(tái)貨源投放模塊應(yīng)用。

（二）數(shù)據(jù)應(yīng)用場(chǎng)景架構(gòu)

針對(duì)市場(chǎng)供需匹配、品牌精準(zhǔn)投放兩個(gè)業(yè)務(wù)場(chǎng)景，開(kāi)展架構(gòu)設(shè)計(jì)和系統(tǒng)功能開(kāi)發(fā)，將模型輸出與業(yè)務(wù)流程、技術(shù)組件信息流進(jìn)行無(wú)縫銜接，形成業(yè)務(wù)場(chǎng)景下數(shù)據(jù)的應(yīng)用閉環(huán)。

1.市場(chǎng)供需匹配業(yè)務(wù)場(chǎng)景架構(gòu)

在需求預(yù)測(cè)流程分解到周期環(huán)節(jié)，結(jié)合實(shí)際周期終端銷(xiāo)量，計(jì)算實(shí)際銷(xiāo)量指數(shù)，與市場(chǎng)需求指數(shù)進(jìn)行四象限直觀比對(duì)，判斷市場(chǎng)飽和程序，指導(dǎo)后續(xù)周期優(yōu)化總量投放與分類(lèi)調(diào)控策略。

同時(shí)將市場(chǎng)供需匹配結(jié)果納入半年度、年分月、月分周需求預(yù)測(cè)中，優(yōu)化預(yù)測(cè)結(jié)果。

2.品牌精準(zhǔn)投放業(yè)務(wù)場(chǎng)景架構(gòu)

應(yīng)用市場(chǎng)需求指數(shù)開(kāi)展貨源投放，包括以下兩種投放方式。

（1）在銷(xiāo)卷煙投放。輸入在銷(xiāo)品規(guī)“五維”數(shù)據(jù)，代入模型生成市場(chǎng)需求指數(shù)。

（2）新品卷煙投放。輸入新品卷煙產(chǎn)品特征，通過(guò)產(chǎn)品特性匹配同產(chǎn)地、同價(jià)類(lèi)等同特征數(shù)據(jù)，代入模型生成市場(chǎng)需求指數(shù)。

最后以指數(shù)作為權(quán)重，按周期總投放量分解到單客戶(hù)定量，導(dǎo)出周期限量表應(yīng)用到貨源投放。投放后，通過(guò)訂足率、訂足面等指標(biāo)，對(duì)效果進(jìn)行評(píng)估，改進(jìn)下一周期投放策略，形成優(yōu)化模型、優(yōu)化投放的良性循環(huán)。

三、搭建特征指標(biāo)庫(kù)

（一）引入人地商圈數(shù)據(jù)

1.人地商圈數(shù)據(jù)定義

人地商圈數(shù)據(jù)包括人地?cái)?shù)據(jù)和商圈數(shù)據(jù)兩類(lèi)。人地?cái)?shù)據(jù)定義為網(wǎng)格內(nèi)的人群年齡、籍貫、消費(fèi)水平等數(shù)據(jù)。商圈數(shù)據(jù)定義為網(wǎng)格內(nèi)的常駐人口數(shù)、流動(dòng)人口數(shù)、商業(yè)機(jī)構(gòu)數(shù)量等。

2.商圈劃分方式比較

商圈區(qū)域劃分有三種方式，分別按行政區(qū)域劃分、道路水系劃分、標(biāo)準(zhǔn)網(wǎng)格劃分。

（1）行政區(qū)域

優(yōu)點(diǎn)：行政區(qū)域由政府部門(mén)統(tǒng)一規(guī)劃，統(tǒng)計(jì)數(shù)。

缺點(diǎn)：某些社區(qū)和行政村邊界不清晰，劃分顆粒度較粗。

（2）道路水系

優(yōu)點(diǎn)：煙草消費(fèi)行為屬于便利性消費(fèi)，通常被較高等級(jí)道路、河流阻隔。

缺點(diǎn)：較大水系和較高等級(jí)道路可能導(dǎo)致劃分區(qū)域大小均衡性差，不規(guī)則區(qū)域?qū)芾碚?、客?hù)來(lái)說(shuō)較難理解和區(qū)分。

（3）標(biāo)準(zhǔn)網(wǎng)格

優(yōu)點(diǎn)：按照1 公里邊長(zhǎng)劃分，區(qū)域小，精度相對(duì)較高，各地容易推廣實(shí)施。

缺點(diǎn)：無(wú)法體現(xiàn)道路、河流等客觀影響消費(fèi)行為的因素。

3.商圈數(shù)據(jù)源比較

目前，市場(chǎng)調(diào)研人地商圈數(shù)據(jù)主要來(lái)源于通信運(yùn)營(yíng)商和大型互聯(lián)網(wǎng)企業(yè)。

（1）通信運(yùn)營(yíng)商

優(yōu)點(diǎn)：實(shí)名認(rèn)證、信息真實(shí)、位置軌跡連續(xù)。

缺點(diǎn)：無(wú)消費(fèi)信息，缺乏區(qū)域商業(yè)信息。

（2）大型互聯(lián)網(wǎng)企業(yè)

優(yōu)點(diǎn)：基于電商和線(xiàn)下支付采集，商圈信息比較全面。

缺點(diǎn)：非實(shí)名認(rèn)證，人群特征真實(shí)性欠佳，市區(qū)內(nèi)位置軌跡不連續(xù)。

（二）樣本數(shù)據(jù)選擇

為模型輸入提供科學(xué)的樣本數(shù)據(jù)是關(guān)鍵一環(huán)。針對(duì)每一個(gè)卷煙規(guī)格找到批發(fā)銷(xiāo)量和終端銷(xiāo)量基本平衡、存銷(xiāo)比相對(duì)合理、覆蓋不同行政區(qū)劃、商圈類(lèi)型、經(jīng)營(yíng)業(yè)態(tài)的目標(biāo)客戶(hù)群，總樣本客戶(hù)數(shù)比例達(dá)到總客戶(hù)數(shù)的10%約4500戶(hù)。以樣本數(shù)據(jù)作為模型訓(xùn)練對(duì)象代入建模。

四、建立模型

基于規(guī)范建模Dataphin，按網(wǎng)格匯總特征數(shù)據(jù)與批發(fā)銷(xiāo)量代入模型，通過(guò)搭建隨機(jī)森林模型計(jì)算特征指標(biāo)重要性，應(yīng)用Pearson 過(guò)濾特征指標(biāo)，運(yùn)用多元線(xiàn)性回歸輸出特征權(quán)重。將特征指標(biāo)值賦予權(quán)重，最終由網(wǎng)格熱力圖疊加生成零售終端卷煙市場(chǎng)需求指數(shù)。

（一）隨機(jī)森林輸出特征重要性

隨機(jī)森林算法原理：將全量特征數(shù)據(jù)按照7:3 的比例分成訓(xùn)練集與測(cè)試集，通過(guò)訓(xùn)練集數(shù)據(jù)進(jìn)行模型訓(xùn)練，每次隨機(jī)選取其中k 個(gè)指標(biāo)特征和m 個(gè)數(shù)據(jù)樣重復(fù)操作n 次，不同隨機(jī)組合得到n 棵決策樹(shù)，建立隨機(jī)森林模型，輸出各特征重要性。計(jì)算流程如下。

①?zèng)Q策樹(shù)回歸。在訓(xùn)練數(shù)據(jù)集中，遞歸地將每個(gè)區(qū)域劃分為兩個(gè)子區(qū)域并決定每個(gè)子區(qū)域上的輸出值，構(gòu)建二叉決策樹(shù)。

②構(gòu)建隨機(jī)森林。對(duì)每個(gè)決策樹(shù)都預(yù)測(cè)結(jié)果，存儲(chǔ)所有預(yù)測(cè)的結(jié)果，從n 棵決策樹(shù)中得到n 種輸出值。通過(guò)n 顆決策樹(shù)預(yù)測(cè)值的平均值計(jì)算出隨機(jī)森林模型最終預(yù)測(cè)值X：，其中f(x)是每顆決策樹(shù)的預(yù)測(cè)值，n 為隨機(jī)森林中決策樹(shù)的個(gè)數(shù)；

③訓(xùn)練過(guò)程檢驗(yàn)。通過(guò)訓(xùn)練集數(shù)據(jù)進(jìn)行模型訓(xùn)練，將每次隨機(jī)森林模型預(yù)測(cè)值與實(shí)際值進(jìn)行相關(guān)系數(shù)檢驗(yàn)，以Pearson 相關(guān)系數(shù)R 為指標(biāo)用來(lái)判斷模型準(zhǔn)確率。隨著訓(xùn)練過(guò)程，R 值沒(méi)有顯著提高時(shí)，停止迭代。

⑥隨機(jī)森林模型可行性驗(yàn)證。測(cè)試集中各網(wǎng)格實(shí)際批發(fā)量與模型預(yù)測(cè)銷(xiāo)量進(jìn)行相關(guān)性檢驗(yàn)，方法同③，相關(guān)系數(shù)大于0.7 代表測(cè)試集與訓(xùn)練集屬于強(qiáng)相關(guān)。

（二）線(xiàn)性相關(guān)檢驗(yàn)

根據(jù)隨機(jī)森林算法選擇篩選的特征指標(biāo)將分別與卷煙銷(xiāo)量進(jìn)行線(xiàn)性相關(guān)性檢驗(yàn)，選取的檢驗(yàn)方法為Pearson相關(guān)性檢驗(yàn)，用于量度特征指標(biāo)X 與卷煙銷(xiāo)量Y 之間的線(xiàn)性關(guān)系。

（三）多元線(xiàn)性回歸

經(jīng)過(guò)上述線(xiàn)性相關(guān)性檢驗(yàn)后，我們選出常住人口、存銷(xiāo)比等特征指標(biāo)作為多元線(xiàn)性回歸的特征指標(biāo)，通過(guò)這些特征指標(biāo)建立與卷煙銷(xiāo)量的多元線(xiàn)性回歸模型。

五、構(gòu)建零售終端卷煙市場(chǎng)需求指數(shù)與熱力圖

為體現(xiàn)同一個(gè)網(wǎng)格內(nèi)不同位置的零售終端各維度特征，特別是商圈特征值的差異性，利用等值線(xiàn)的計(jì)算方法，輸入網(wǎng)格中心點(diǎn)及指標(biāo)權(quán)重，按半徑擴(kuò)散進(jìn)一步確定單個(gè)零售終端可能受到所處的網(wǎng)格及周邊網(wǎng)格的影響。影響度從網(wǎng)格中心到邊緣逐級(jí)遞減。由此建立覆蓋溫州地區(qū)的多維度等值線(xiàn)圖與熱力圖。

六、系統(tǒng)功能開(kāi)發(fā)與模型應(yīng)用

通過(guò)浙煙數(shù)據(jù)分析平臺(tái)建設(shè)信息化系統(tǒng)，應(yīng)用零售終端卷煙市場(chǎng)需求指數(shù)，開(kāi)發(fā)市場(chǎng)供需匹配、品牌精準(zhǔn)投放兩個(gè)業(yè)務(wù)場(chǎng)景化功能，并通過(guò)數(shù)字地圖、熱力圖、雷達(dá)圖等數(shù)據(jù)可視化呈現(xiàn)，將模型輸出嵌入到貨源調(diào)控、貨源投放業(yè)務(wù)場(chǎng)景和工作流程中去，實(shí)現(xiàn)業(yè)務(wù)能力提升。

（一）市場(chǎng)供需匹配應(yīng)用

通過(guò)數(shù)據(jù)可視化實(shí)現(xiàn)系統(tǒng)功能搭建，用戶(hù)選擇品規(guī)特征指標(biāo)進(jìn)行分析，系統(tǒng)將實(shí)時(shí)調(diào)用模型輸出需求熱力分布，結(jié)合歷史實(shí)際銷(xiāo)量，判斷市場(chǎng)飽和程度、市場(chǎng)需求滿(mǎn)足程度，進(jìn)一步指導(dǎo)卷煙總量調(diào)控以及分類(lèi)調(diào)控。

（二）品牌精準(zhǔn)投放應(yīng)用

通過(guò)數(shù)據(jù)可視化實(shí)現(xiàn)系統(tǒng)功能搭建，用戶(hù)針對(duì)在銷(xiāo)品規(guī)輸入周期總投放量，系統(tǒng)將實(shí)時(shí)調(diào)用模型輸出，在線(xiàn)分析各品規(guī)零售終端卷煙市場(chǎng)需求指數(shù)及周期投放量。如為新品，則從品規(guī)同特征指標(biāo)角度切入，選擇卷煙商品特征指標(biāo)進(jìn)行分析，計(jì)算周期投放量。計(jì)算結(jié)果以Excel 形式生成周期投放限量表，導(dǎo)入浙煙經(jīng)營(yíng)管理平臺(tái)貨源投放模塊開(kāi)展投放運(yùn)用。

七、結(jié)語(yǔ)

項(xiàng)目建設(shè)零售終端卷煙市場(chǎng)需求指數(shù)模型及應(yīng)用系統(tǒng)，具有以下三個(gè)方面的重要意義。

一是創(chuàng)新市場(chǎng)需求指數(shù)。探索零售終端卷煙市場(chǎng)需求指數(shù)模型并形成初步研究成果，為度量區(qū)域市場(chǎng)、終端市場(chǎng)需求程度給出了一套量化評(píng)價(jià)方法。

二是強(qiáng)化市場(chǎng)供需評(píng)估。在當(dāng)前需求預(yù)測(cè)模式基礎(chǔ)上，應(yīng)用指數(shù)模型，加強(qiáng)了縣級(jí)以下區(qū)域市場(chǎng)供需匹配程度的分析和研判。

三是深化品牌精準(zhǔn)投放。在當(dāng)前貨源投放模式基礎(chǔ)上，應(yīng)用指數(shù)模型，找到了投放策略的優(yōu)化方案，實(shí)現(xiàn)真正意義上的“千人千面”“一戶(hù)一策”。