基于數(shù)據(jù)挖掘的市場(chǎng)分析方法

王心語(yǔ)

[摘 ? ?要] 文章研究了基于數(shù)據(jù)挖掘的市場(chǎng)分析方法，以海事行業(yè)為例，提供了基于應(yīng)用數(shù)據(jù)挖掘技術(shù)，提供了分析市場(chǎng)細(xì)分情況、市場(chǎng)參與者情況和市場(chǎng)細(xì)分和參與者的變化趨勢(shì)的實(shí)例，可以為企業(yè)發(fā)展決策提供精細(xì)化的依據(jù)。

[關(guān)鍵詞] 數(shù)據(jù)挖掘;市場(chǎng)分析;海事行業(yè)

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2020. 19. 042

[中圖分類(lèi)號(hào)] F270.7 ? ?[文獻(xiàn)標(biāo)識(shí)碼] ?A ? ? ?[文章編號(hào)] ?1673 - 0194（2020）19- 0100- 03

1 ? ? ?市場(chǎng)分析主要方法綜述

市場(chǎng)分析是對(duì)當(dāng)前和未來(lái)的市場(chǎng)供需情況、競(jìng)爭(zhēng)對(duì)手及外部環(huán)境進(jìn)行分析研究，通過(guò)市場(chǎng)分析，可以揭示當(dāng)前行業(yè)供需情況，以及同業(yè)競(jìng)爭(zhēng)者的競(jìng)爭(zhēng)程度，為企業(yè)發(fā)展決策提供依據(jù)，市場(chǎng)分析是企業(yè)正確制定戰(zhàn)略計(jì)劃和年度經(jīng)營(yíng)計(jì)劃的基礎(chǔ)工作。

根據(jù)邁克爾·波特的五力分析模型[1]，企業(yè)在進(jìn)行競(jìng)爭(zhēng)戰(zhàn)略分析時(shí)需要對(duì)供應(yīng)商的議價(jià)能力、購(gòu)買(mǎi)者的議價(jià)能力、潛在競(jìng)爭(zhēng)者進(jìn)入的能力、替代品的替代能力、行業(yè)內(nèi)競(jìng)爭(zhēng)者現(xiàn)在的競(jìng)爭(zhēng)能力等五種能力進(jìn)行分析[1]。因此，影響企業(yè)發(fā)展的主要市場(chǎng)因素包括3類(lèi)：

（1）市場(chǎng)細(xì)分情況：按照某種標(biāo)準(zhǔn)將市場(chǎng)內(nèi)各種產(chǎn)品、系統(tǒng)或服務(wù)進(jìn)行分類(lèi)，統(tǒng)計(jì)各個(gè)分類(lèi)的銷(xiāo)售收入和比例;

（2）市場(chǎng)參與者情況：包括行業(yè)內(nèi)產(chǎn)品、系統(tǒng)或服務(wù)的采購(gòu)者（需方）和提供者（供方），統(tǒng)計(jì)市場(chǎng)各個(gè)需方的采購(gòu)金額和比例，以及各個(gè)供方的銷(xiāo)售收入和比例;

（3）市場(chǎng)細(xì)分和參與者的變化趨勢(shì)：統(tǒng)計(jì)上述市場(chǎng)細(xì)分和參與者隨時(shí)間變化的情況和趨勢(shì)。

常用的市場(chǎng)調(diào)查方法包括主觀法和客觀法兩類(lèi)，主觀法包括頭腦風(fēng)暴、研討會(huì)形式等，客觀法包括問(wèn)卷調(diào)查、商業(yè)數(shù)據(jù)調(diào)查等，這些方法對(duì)分析上述影響企業(yè)發(fā)展的3類(lèi)主要市場(chǎng)因素，存在全面性和及時(shí)性等方面的不足之處。隨著商業(yè)智能（Business Intelligence，簡(jiǎn)稱(chēng)BI）技術(shù)的發(fā)展，利用現(xiàn)代數(shù)據(jù)倉(cāng)庫(kù)技術(shù)、線(xiàn)上分析處理技術(shù)、數(shù)據(jù)挖掘和數(shù)據(jù)展現(xiàn)技術(shù)進(jìn)行市場(chǎng)數(shù)據(jù)分析，具有良好的商業(yè)價(jià)值。

2 ? ? ?基于數(shù)據(jù)挖掘的市場(chǎng)分析方法

數(shù)據(jù)挖掘是通過(guò)仔細(xì)分析大量數(shù)據(jù)來(lái)揭示有意義的新的關(guān)系、趨勢(shì)和模式的過(guò)程[2]。大數(shù)據(jù)的市場(chǎng)分析方法包括基于大數(shù)據(jù)的市場(chǎng)調(diào)研方法、基于大數(shù)據(jù)的市場(chǎng)信息挖掘、多學(xué)科分析方法和定量與定性分析方法的結(jié)合等[3]?；跀?shù)據(jù)挖掘的市場(chǎng)分析方法其主要作用是通過(guò)Web數(shù)據(jù)的自動(dòng)提取、統(tǒng)計(jì)分析、可視化呈現(xiàn)等方法，幫助企業(yè)快速有效地獲取市場(chǎng)信息，為制定市場(chǎng)戰(zhàn)略、銷(xiāo)售策略和研發(fā)計(jì)劃提供可靠決策依據(jù)。

2.1 ? 基于數(shù)據(jù)挖掘的市場(chǎng)分析法步驟

基于數(shù)據(jù)挖掘的市場(chǎng)分析方法其架構(gòu)如圖1所示。

主要步驟如下：

（1）數(shù)據(jù)采集層：

a.選擇合適的網(wǎng)絡(luò)數(shù)據(jù)采集網(wǎng)站;

b.設(shè)計(jì)開(kāi)發(fā)以Python的Scrapy為框架的抓取程序，循環(huán)遍歷解析頁(yè)面的數(shù)據(jù)，解析完的數(shù)據(jù)保存為Python的字典。

（2）數(shù)據(jù)準(zhǔn)備層：

c.數(shù)據(jù)預(yù)處理對(duì)數(shù)據(jù)源進(jìn)行有效性處理，對(duì)無(wú)效或者有問(wèn)題的信息進(jìn)行修正;

d.進(jìn)行初步的數(shù)據(jù)關(guān)聯(lián)處理，對(duì)不同網(wǎng)站抓取的同一信息進(jìn)行合并;

e.寫(xiě)入MySQL數(shù)據(jù)庫(kù)。

（3）數(shù)據(jù)分析層：

f.采用適當(dāng)?shù)臄?shù)據(jù)挖掘方法，對(duì)數(shù)據(jù)進(jìn)行分類(lèi)、聚類(lèi)、關(guān)聯(lián)等處理，分析;

g.根據(jù)用戶(hù)需要的維度，實(shí)現(xiàn)數(shù)據(jù)在線(xiàn)分析處理。

（4）數(shù)據(jù)展示層：

h.采用數(shù)據(jù)可視化技術(shù)，將分析的結(jié)果向用戶(hù)展示，為企業(yè)管理人員制定決策方案提供基礎(chǔ)和依據(jù);

i.可以在跨平臺(tái)在Windows、Linux、安卓或IOS等操作系統(tǒng)上進(jìn)行數(shù)據(jù)展示。

2.2 ? 基于數(shù)據(jù)挖掘的市場(chǎng)分析法的方面

采用基于數(shù)據(jù)挖掘的市場(chǎng)分析方法，可以在以下方面讓企業(yè)更好地認(rèn)識(shí)市場(chǎng)。

（1）態(tài)勢(shì)呈現(xiàn)

市場(chǎng)態(tài)勢(shì)呈現(xiàn)是對(duì)市場(chǎng)現(xiàn)狀和各要素演變情況的總體把握，通過(guò)對(duì)市場(chǎng)數(shù)據(jù)的收集、分析和可視化展示，可以幫助營(yíng)銷(xiāo)人員做出決策，從而快速應(yīng)對(duì)市場(chǎng)需求的變化。

分析中使用的數(shù)據(jù)挖掘主要是從屬性分析（dependency analysis）、類(lèi)別識(shí)別（class identification）和概念描述[4]，可以幫助營(yíng)銷(xiāo)人員構(gòu)建市場(chǎng)概況。例如，分析同一產(chǎn)品在不同區(qū)域的購(gòu)買(mǎi)頻率和時(shí)機(jī)，不但可以知道客戶(hù)購(gòu)買(mǎi)此產(chǎn)品的數(shù)量，還有助于生產(chǎn)部門(mén)有效地組織生產(chǎn)，降低庫(kù)存和備庫(kù)的成本。另一方面是識(shí)別典型的客戶(hù)群體，即通過(guò)類(lèi)別識(shí)別或概念描述獲得不同客戶(hù)的購(gòu)買(mǎi)特征。這有助于向該客戶(hù)針對(duì)性地推廣產(chǎn)品。

（2）偏差分析

偏差分析可以給營(yíng)銷(xiāo)人員提供分析客戶(hù)的行為的信息，可以采用神經(jīng)網(wǎng)絡(luò)等工具對(duì)偏差進(jìn)行檢測(cè)和分類(lèi)。通過(guò)偏差分析，營(yíng)銷(xiāo)人員可以及時(shí)更新對(duì)客戶(hù)的認(rèn)識(shí)，避免無(wú)效的營(yíng)銷(xiāo)活動(dòng)。同時(shí)，偏差分析還可以使?fàn)I銷(xiāo)人員及時(shí)分析產(chǎn)品價(jià)格變化或促銷(xiāo)手段變化產(chǎn)生的效果。

（3）趨勢(shì)分析

數(shù)據(jù)挖掘中的趨勢(shì)分析工具可以幫助營(yíng)銷(xiāo)人員進(jìn)行有效的預(yù)測(cè)銷(xiāo)售。

一方面，趨勢(shì)分析采用了多種的可視化數(shù)據(jù)呈現(xiàn)手段，可以幫助企業(yè)更好地評(píng)估產(chǎn)品或營(yíng)銷(xiāo)計(jì)劃的表現(xiàn);營(yíng)銷(xiāo)人員可以通過(guò)各種數(shù)據(jù)的相關(guān)性分析，根據(jù)產(chǎn)品或市場(chǎng)確定銷(xiāo)售趨勢(shì)、成本和利潤(rùn)，預(yù)測(cè)未來(lái)的銷(xiāo)售額。

另一方面，可以進(jìn)行競(jìng)爭(zhēng)趨勢(shì)分析，一般來(lái)說(shuō)，出現(xiàn)下述數(shù)據(jù)變化標(biāo)志著行業(yè)中市場(chǎng)競(jìng)爭(zhēng)的加劇，如參與競(jìng)爭(zhēng)的企業(yè)數(shù)量增加、市場(chǎng)份額趨于碎片化、市場(chǎng)排名發(fā)生較大變化等;出現(xiàn)下述數(shù)據(jù)變化標(biāo)志著市場(chǎng)趨于成熟，如市場(chǎng)排名穩(wěn)定、產(chǎn)品需求增長(zhǎng)緩慢、內(nèi)容變化緩慢、市場(chǎng)競(jìng)爭(zhēng)者提供的產(chǎn)品或服務(wù)趨于同質(zhì)化等;出現(xiàn)下述數(shù)據(jù)變化標(biāo)志著行業(yè)中出現(xiàn)了新的市場(chǎng)機(jī)會(huì)，如出現(xiàn)新的產(chǎn)品和服務(wù)需求、出現(xiàn)了新的競(jìng)爭(zhēng)參與者等;上述數(shù)據(jù)都可以通過(guò)數(shù)據(jù)挖掘獲得。

3 ? ? ?海事行業(yè)市場(chǎng)分析實(shí)例

本文選擇我國(guó)海事行業(yè)作為分析的實(shí)例，本文所述的海事行業(yè)是指圍繞我國(guó)海事行政部門(mén)，與水上交通安全監(jiān)督管理、船舶及相關(guān)水上設(shè)施檢驗(yàn)和登記、防止船舶污染和航海保障等相關(guān)的業(yè)務(wù)。

（1）基于數(shù)據(jù)挖掘的海事行業(yè)市場(chǎng)分析系統(tǒng)其主要功能需求包括：

①在時(shí)間維度上，按年度、季度和月度，統(tǒng)計(jì)整體市場(chǎng)情況，顯示數(shù)據(jù)按時(shí)間的變化情況;

②在地域維度上，按省和用戶(hù)定義的區(qū)域，統(tǒng)計(jì)區(qū)域市場(chǎng)情況，進(jìn)行區(qū)域排名，顯示區(qū)域數(shù)據(jù)按時(shí)間的變化情況;

③在企業(yè)維度上，按公司統(tǒng)計(jì)市場(chǎng)情況，對(duì)同一公司各子公司、分公司數(shù)據(jù)進(jìn)行合并，進(jìn)行公司排名，顯示公司數(shù)據(jù)按時(shí)間變化情況;

④在客戶(hù)維度上，按客戶(hù)單位統(tǒng)計(jì)采購(gòu)情況，包括采購(gòu)的總金額、產(chǎn)品類(lèi)別、不同產(chǎn)品類(lèi)別的采購(gòu)時(shí)機(jī)，顯示按時(shí)間變化情況;

⑤在細(xì)分業(yè)務(wù)維度上，按細(xì)分業(yè)務(wù)對(duì)數(shù)據(jù)進(jìn)行歸類(lèi)統(tǒng)計(jì)，進(jìn)行細(xì)分業(yè)務(wù)排名，顯示細(xì)分業(yè)務(wù)按時(shí)間的變化情況;

⑥上述維度的組合統(tǒng)計(jì)和分析。

（2）系統(tǒng)的數(shù)據(jù)源選擇了海事行業(yè)的主要招標(biāo)網(wǎng)站進(jìn)行自動(dòng)抓取。在數(shù)據(jù)挖掘和分析中，主要解決的問(wèn)題包括：

①為實(shí)現(xiàn)行業(yè)業(yè)務(wù)的細(xì)分，對(duì)采購(gòu)項(xiàng)目按照名稱(chēng)進(jìn)行關(guān)鍵詞分解和分類(lèi)，并且將采購(gòu)單位名稱(chēng)作為輔助判別手段，避免錯(cuò)誤分類(lèi);

②為實(shí)現(xiàn)企業(yè)統(tǒng)計(jì)，抓取企業(yè)工商征信查詢(xún)網(wǎng)站信息，建立企業(yè)及其控股企業(yè)和分支機(jī)構(gòu)的數(shù)據(jù)庫(kù)，對(duì)同一公司各子公司、分公司數(shù)據(jù)進(jìn)行合并。

通過(guò)對(duì)2016-2018年相關(guān)數(shù)據(jù)的抓取、分析，在地圖上進(jìn)行可視化呈現(xiàn)，形成如圖2-圖4所示。

此外系統(tǒng)還實(shí)現(xiàn)了按采購(gòu)單位、參與競(jìng)標(biāo)企業(yè)、中標(biāo)企業(yè)的各種維度的統(tǒng)計(jì)和分析，采用可視化工具進(jìn)行態(tài)勢(shì)呈現(xiàn)、偏差分析結(jié)果呈現(xiàn)和趨勢(shì)分析分析結(jié)果呈現(xiàn)。本示例可以用于海事行業(yè)從業(yè)企業(yè)，便于企業(yè)準(zhǔn)確地掌握行業(yè)產(chǎn)品和系統(tǒng)的發(fā)展情況，了解市場(chǎng)的競(jìng)爭(zhēng)情況;還可以用于海事管理部門(mén)，便于部門(mén)掌握轄區(qū)內(nèi)項(xiàng)目建設(shè)情況和變化趨勢(shì);本示例對(duì)海事規(guī)劃部門(mén)也有一定的參考價(jià)值。

4 ? ? ?結(jié) ? ?論

一方面，基于數(shù)據(jù)挖掘的市場(chǎng)分析方法對(duì)于企業(yè)有以下的效益：首先，從財(cái)務(wù)維度看，可以幫助企業(yè)準(zhǔn)確地了解本公司和其他公司的市場(chǎng)和銷(xiāo)售情況，避免在錯(cuò)誤的方向上投入研發(fā)、銷(xiāo)售和制造，從而提高企業(yè)的盈利能力;其次，從客戶(hù)維度看，可以幫助企業(yè)更加精準(zhǔn)地、定量地把握客戶(hù)需求，幫助營(yíng)銷(xiāo)部門(mén)指定有效的推廣產(chǎn)品;最后，從內(nèi)部管理維度看，可以幫助企業(yè)提高營(yíng)運(yùn)效率，以信息化和數(shù)字化手段管理供應(yīng)、制造、銷(xiāo)售環(huán)節(jié)。

另一方面，只有準(zhǔn)確地認(rèn)識(shí)和利用市場(chǎng)挖掘的數(shù)據(jù)，才能發(fā)揮其作用，企業(yè)應(yīng)避免以下誤區(qū)：首先，應(yīng)加強(qiáng)學(xué)習(xí)和培訓(xùn)，才能從大量和復(fù)雜的挖掘數(shù)據(jù)中洞察市場(chǎng)的發(fā)展態(tài)勢(shì)和趨勢(shì);其次，應(yīng)注意數(shù)據(jù)挖掘而產(chǎn)生隱私和安全問(wèn)題，加強(qiáng)對(duì)客戶(hù)信息的保護(hù)，對(duì)數(shù)據(jù)的訪(fǎng)問(wèn)進(jìn)行信息安全保護(hù)。

主要參考文獻(xiàn)

[1]邁克爾·波特. 競(jìng)爭(zhēng)戰(zhàn)略[M].北京：中信出版社，2014.

[2]王光宏，蔣平.數(shù)據(jù)挖掘綜述[J].同濟(jì)大學(xué)學(xué)報(bào)：自然科學(xué)版，2004（2）：246-252.

[3]王銀輝.大數(shù)據(jù)視野下的市場(chǎng)分析方法研究[J].中國(guó)管理信息化，2017，20（2）：98.

[4]Michael J. Shaw， Chandrasekar Subramaniam， Gek Woo Tan，et al. Knowledge Management and Data Mining for Marketing[J]. Decision Support Systems，2001（31）： 127-137.