• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      面向中小企業(yè)的電商平臺挖掘系統(tǒng)設計

      2015-05-30 10:48:04黃雅萍馬可辛周余洪劉曉強
      計算機時代 2015年4期
      關鍵詞:海量數(shù)據(jù)電商平臺數(shù)據(jù)挖掘

      黃雅萍 馬可辛 周余洪 劉曉強

      摘 要: 中小企業(yè)電商平臺在資金和技術(shù)不足的情況下,難以快速有效的構(gòu)建簡單而實用的電商數(shù)據(jù)挖掘系統(tǒng)。文章從分析電商海量數(shù)據(jù)資源的來源、提取方法及其流程入手,提出了一個基本的數(shù)據(jù)挖掘系統(tǒng)方案架構(gòu),從而實現(xiàn)為中小企業(yè)電商平臺服務的一整套數(shù)據(jù)挖掘系統(tǒng)。該系統(tǒng)架構(gòu)簡單實用、易搭建、易整合,可以為中小企業(yè)提供更好的服務支持。

      關鍵詞: 中小企業(yè); 電商平臺; 數(shù)據(jù)挖掘; 海量數(shù)據(jù)

      中圖分類號:TP311.132.3 文獻標志碼:A 文章編號:1006-8228(2015)04-18-03

      Abstract: Under the situation that the SME (small and medium-sized enterprises) e-commerce platforms are lack of fund and technology, it 's very difficult to build a simple and practical e-commerce data mining system quickly and effectively. This article analyses the e-commerce mass data resources, its origin, and the process of how to get it. Besides, The article draws a basic data mining system architecture to achieve a set of data for the service of e-commerce platform for small and medium enterprises mining system. The system structure is simple, practical and easy to build. It can provide a better support for SME's improvement and product sales.

      Key words: SME; E-Commerce platform; data mining; mass data

      1 電商平臺和數(shù)據(jù)挖掘

      隨著網(wǎng)絡的高速發(fā)展,傳統(tǒng)的銷售模式已經(jīng)越來越跟不上社會發(fā)展的節(jié)奏。企業(yè)需要一個網(wǎng)絡在線平臺,能夠跨地域和時間進行商品銷售和交易,這個平臺被稱為電商平臺。目前電商平臺在各個領域的應用得到很大發(fā)展,尤其是與中小企業(yè)的發(fā)展緊密結(jié)合。中小企業(yè)的電商平臺面臨著越來越激烈的競爭,紛紛以先進技術(shù)為功底吸引用戶,促進商品的銷售以達到利潤的最大化。

      數(shù)據(jù)挖掘技術(shù)在電商平臺中獲得了很好的應用,有效地應對在激烈的競爭中獲取利潤最大化的問題。電商平臺的應用主要概括為:產(chǎn)品搜索,產(chǎn)品推薦,欺詐檢測,商業(yè)智能[1]。

      2 電商數(shù)據(jù)挖掘的資源及其流程

      電商數(shù)據(jù)挖掘是一個將信息、數(shù)據(jù)轉(zhuǎn)化為促進電商平臺的瀏覽量和購買行為的過程。電商數(shù)據(jù)挖掘的資源主要包括第三方平臺、互聯(lián)網(wǎng)上各種形式的文檔和用戶訪問信息/訪問行為的追蹤三種。

      數(shù)據(jù)挖掘流程包含五個過程,分別為:設定數(shù)據(jù)挖掘方向、整理可利用數(shù)據(jù)源、構(gòu)建數(shù)據(jù)挖掘模型、集成數(shù)據(jù)挖掘模型到電商平臺管理后臺和相應外部API接口的開發(fā)及維護。電商數(shù)據(jù)挖掘過程如圖1所示。

      3 面向中小企業(yè)的電商平臺挖掘系統(tǒng)設計

      3.1 面向電商平臺的數(shù)據(jù)挖掘系統(tǒng)功能分析

      面向電商平臺的數(shù)據(jù)挖掘系統(tǒng)主要完成客戶信息、商品信息及物流信息的分析等功能。圖2詳細構(gòu)建了適合中小企業(yè)的簡單并且易于構(gòu)建的面向電商平臺的數(shù)據(jù)挖掘系統(tǒng)(SME-EMS, Small and Medium-sized Enterprises E-Commerce Mining System)的具體實現(xiàn)過程。

      3.2 基本數(shù)據(jù)導入

      ⑴ 用戶信息導入。利用數(shù)據(jù)挖掘的分類技術(shù)對用戶信息進行分析歸類,主要的依據(jù)有用戶的地域、 愛好、用戶登錄時間、用戶支付和配送習慣、用戶年齡等。不同的公共屬性可以生成不同的分類,從而發(fā)現(xiàn)潛在客戶,并對有目的性的目標群體進行技術(shù)營銷和推送。

      ⑵ 用戶訂單信息導入。用戶的訂單直接影響庫存信息,庫存決定產(chǎn)品的需求和配送。通過挖掘逐月逐日的數(shù)據(jù)獲取產(chǎn)品的數(shù)量以及客戶對產(chǎn)品的顏色偏好、規(guī)格偏好、款式偏好等,對于企業(yè)安排生產(chǎn)計劃提供技術(shù)支持。

      ⑶ 導入訂單配送信息。電商平臺企業(yè)需要緊密結(jié)合物流行業(yè),其訂單配送的年/月/日信息可以很直觀地預測不同地點的配送量,優(yōu)化配送結(jié)構(gòu),縮短配送時間,節(jié)約壓貨和庫存費用。

      ⑷ 導入用戶評論打分信息。通過分析用戶的評論和打分信息知道用戶所喜好的產(chǎn)品,差評的產(chǎn)品,喜歡的顏色以及款式等。

      ⑸ 導入用戶收藏信息。通過收入用戶收藏的信息,分析預知用戶想購買的潛在產(chǎn)品。

      ⑹ 第三方平臺數(shù)據(jù)導入。將第三方平臺提供的一些具有參考價值的數(shù)據(jù)導入到系統(tǒng)自定義的數(shù)據(jù)庫中。

      3.3 日志處理

      3.3.1 日志收集

      日志數(shù)據(jù)收集包括服務器節(jié)點的日志數(shù)據(jù)收集以及客戶端數(shù)據(jù)采集。

      ⑴ 服務器節(jié)點的信息。訪問電商平臺網(wǎng)頁產(chǎn)生的請求無論是提交POST還是獲取GET甚至PUT都在服務器節(jié)點端產(chǎn)生大量的訪問日志。服務器節(jié)點端可以通過配置獲取服務器端運行的錯誤信息以及可以設置年/月/日/周等不同格式儲存這些文件。同時大多數(shù)電商平臺,還增加額外的后臺SHELL程序去追蹤記錄用戶瀏覽和購買過程中的信息。

      ⑵ 客戶端信息??梢栽O置不同的用戶操作節(jié)點增加JavaScript或第三方插件對用戶不同的行為進行追蹤和記錄,一般可以獲取更為真實的直觀的瀏覽行為路徑,與⑴比較,其優(yōu)勢在于可以直接儲存在數(shù)據(jù)庫中,便于直觀的查看數(shù)據(jù)記錄系統(tǒng),有些第三方系統(tǒng)還可以生成不同的數(shù)據(jù)和報表。

      3.3.2 日志處理分析

      海量的數(shù)據(jù)信息在實際應用中需要刪除大量無用信息,必須進行數(shù)據(jù)清理,根據(jù)不同的需求清理出不同類別的信息。其處理步驟如下。

      ⑴ 查找用戶行為的日志。對用戶行為的日志進行采集。

      ⑵ 根據(jù)用戶行為日志,進行2次歸類分析。主要獲取用戶訪問IP、訪問路徑和訪問時間。

      ⑶ 對2次數(shù)據(jù)進行再次處理。主要對用戶訪問路徑進行分析,獲取用戶訪問的頁面、產(chǎn)品和購買流程。對用戶訪問IP進行分析,獲知用戶所在的區(qū)域,通過用戶訪問時間獲取用戶的訪問習慣,最后對這些進行不同的歸類持久化。

      3.3.3 根據(jù)規(guī)則導入日志分析結(jié)果

      在電商平臺數(shù)據(jù)挖掘系統(tǒng)中,采用路徑分析技術(shù)和關聯(lián)規(guī)則分別對用戶訪問情況和商品訪問情況進行分析。

      ⑴ 用戶訪問情況分析。從用戶訪問日志獲取用戶的訪問路徑,從訪問路徑可以獲知用戶查看的頁面和產(chǎn)品,對于一些常訪問的頁面可以總結(jié)其中的布局樣式描述圖片,而對不被經(jīng)常訪問的頁面,可以對頁面進行優(yōu)化調(diào)整,提高網(wǎng)站整體的PV值。通過路徑獲知如下信息:產(chǎn)品銷售狀況,從而實現(xiàn)產(chǎn)品的調(diào)整優(yōu)化;頁面是否存在安全漏洞,從而通過代碼調(diào)整,防止注入和攻擊;用戶的訪問區(qū)域和用戶喜好,適當?shù)耐扑拖嚓P聯(lián)的產(chǎn)品,為用戶提供人性化的服務,同時提高用戶的訪問時間。

      ⑵ 商品訪問情況分析。首先從整體的用戶訪問情況分析,設定一定的規(guī)則。然后基于這個規(guī)則進行分析。通過路徑關聯(lián)分析, 可以獲知大部分用戶的訪問習慣并適時推薦相關聯(lián)的產(chǎn)品,以增加促銷的效果。

      3.4 SME-EMS系統(tǒng)設計

      由于海量的日志文件和用戶數(shù)據(jù)處理需要消耗大量的系統(tǒng)資源,在系統(tǒng)中對數(shù)據(jù)處理過程進行了前、后端分開處理的設計。為了不影響前端挖掘系統(tǒng)的體驗度,在前、后端系統(tǒng)中間加入了挖掘系統(tǒng)數(shù)據(jù)同步的機制。在日常使用的時候,不進行導入同步,所有信息同步的機制在每天晚上3點左右進行,這個時間段用戶訪問最少,生成的日志最少,能保證數(shù)據(jù)的實時性和準確性。為了和電商平臺系統(tǒng)進行交互并達到實時推薦和促銷的目的,數(shù)據(jù)挖掘系統(tǒng)也需提供接口給電商平臺系統(tǒng)。中小企業(yè)電商平臺挖掘系統(tǒng)SME-EMS的整體架構(gòu)如圖3所示。

      ⑴ 后端定時任務。采用PERL+MYSQL+CRON+LOADBLANCE+HEARTBEAT技術(shù)[2],實現(xiàn)后端定時任務。 PERL技術(shù)在文本的分析匹配時速度和效率是最高的。鑒于低成本運行,系統(tǒng)主要采用MYSQL數(shù)據(jù)庫主從結(jié)構(gòu)。海量數(shù)據(jù)的處理服務器使用兩臺或N臺并做服務器的負載均衡,保證數(shù)據(jù)正常處理。CRON任務可以通過設置時間自動運行相應的任務。此過程主要根據(jù)規(guī)則實現(xiàn)用戶數(shù)據(jù)、日志數(shù)據(jù)、第三方平臺數(shù)據(jù)的分析處理生成元數(shù)據(jù),需要消耗大量的時間和系統(tǒng)資源。HEARTBEAT主要防止MYSQL服務器宕機時候的數(shù)據(jù)丟失。

      ⑵ 挖掘數(shù)據(jù)再次分析處理同步。采用RSYNC+PERL+MYSQL+CRON技術(shù)[3,4],實現(xiàn)服務器之間的數(shù)據(jù)同步。為保證電商平臺數(shù)據(jù)挖掘系統(tǒng)前端的正常工作,保證服務器不受影響,系統(tǒng)特別增加了挖掘數(shù)據(jù)同步服務器。在適當?shù)臅r候系統(tǒng)可以進行聚類分析、語義分析、模式匹配分析、行為模式分析。根據(jù)相應的規(guī)則定義以及前端生成的元數(shù)據(jù)分析二次生成需要的數(shù)據(jù),增加數(shù)據(jù)挖掘的精準度。對于中小企業(yè)來言,就是根據(jù)不同需求提出對產(chǎn)品銷售有促進作用的有用的數(shù)據(jù)信息。

      ⑶ 前端任務。采用PHP+MYSQL+REDIS+MEMCACHE+HEARTBEAT+LOADBLANCE技術(shù)[5],實現(xiàn)前端任務。PHP主要實現(xiàn)生成元數(shù)據(jù)的查詢展示修正功能,REDIS+MEMCACHE實現(xiàn)數(shù)據(jù)的緩存。用戶可以根據(jù)自己的需求生成不同的報表和圖表,查詢不同條件的電商平臺數(shù)據(jù),增加用戶的體驗度。系統(tǒng)增加了一臺緩存服務器,并特別增加數(shù)據(jù)庫集群通信服務,防止MYSQL服務器宕機而影響正常的日常工作。

      ⑷ 同步電商接口實現(xiàn)。采用 MYSQL+PHP+REDIS+MEMCACHE技術(shù)[6],實現(xiàn)同步電商接口。用PHP或PERL實現(xiàn)定制生成不同類型的接口,實現(xiàn)和其他平臺的對接。系統(tǒng)除了生成報表、分析數(shù)據(jù)以及推動線下的活動,還需要做到跟電商系統(tǒng)進行實時對接,精準地提供商品的轉(zhuǎn)化購買力和用戶的體驗度,并同時預留接口給倉儲(WMS)、物流(Logistics)、郵件服務(EDM)、庫存(IMS)、客戶管理(CRM)、客戶管理系統(tǒng)的客服中心(Call Center)以及集團管理系統(tǒng)(ERP)等。

      4 SME-EMS系統(tǒng)實施分析

      4.1 SME-EMS與傳統(tǒng)電商平臺挖掘架構(gòu)的比較

      ⑴ 實現(xiàn)費用低。SME-EMS采用開源的開發(fā)環(huán)境和技術(shù),軟件成本幾乎接近零。具體成本分析如表1所示。對于中小企業(yè)而言,低成本、系統(tǒng)易維護、團隊易組建是基本的要求和目標,本系統(tǒng)則是一個很好的選擇。

      ⑵ 易與其他系統(tǒng)集成。 SME-EMS便于與其他電商平臺配套系統(tǒng)集成。很多電商企業(yè)自身有WMS,EDM,IMS,Logistics,CRM,CALL Center以及定制化的ERP系統(tǒng),這些系統(tǒng)大部分都是獨立的一套系統(tǒng),并且在選擇和定制化使用上存在多樣性,這導致與數(shù)據(jù)挖掘系統(tǒng)的接口集成很復雜,可變性很強。采用PHP開發(fā)接口定制化很強并且容易開發(fā)維護,而大部分中小企業(yè)電商平臺是采用PHP+MYSQL的B/S結(jié)構(gòu)免費系統(tǒng),所以易于集成。

      4.2 SME-EMS的系統(tǒng)實施可行性分析

      從體系架構(gòu)和技術(shù)實現(xiàn)的角度分析,SME-EMS需要若干服務器,分別作為存儲服務器、同步服務器、調(diào)度服務器和數(shù)據(jù)服務器,各類服務器的角色及其在整個電商平臺數(shù)據(jù)挖掘體系的功能明確。開發(fā)人員可以選擇PERL,PHP,PYTHON等腳本語言,根據(jù)確定的需求,開發(fā)相應的數(shù)據(jù)分析挖掘任務。

      5 結(jié)論

      本文將數(shù)據(jù)挖掘技術(shù)和電商平臺兩者有機結(jié)合起來,為中小企業(yè)快速實現(xiàn)電商平臺挖掘系統(tǒng)提供了有效的實現(xiàn)方案。整個系統(tǒng)成本低、易于搭建、易于開發(fā)維護,適合幫助中小企業(yè)電商根據(jù)客戶的消費趨勢和市場走向,調(diào)整市場策略,進行正確的決策,提高利潤率。系統(tǒng)不足之處在于,對于龐大的電商系統(tǒng)和大數(shù)據(jù)增長級的平臺,系統(tǒng)的穩(wěn)定性存在不足,需要改進調(diào)度算法,優(yōu)化分析查詢處理方法等。

      參考文獻:

      [1] 李楠.電子商務中的數(shù)據(jù)挖掘[J].中國城市經(jīng)濟,2011.12:378-379

      [2] 門伯里,豪斯,普拉奇.實用負載均衡技術(shù):網(wǎng)站性能優(yōu)化攻略[M].人民郵電出版社,2013.

      [3] 施瓦茨,扎伊采夫,特卡琴科.高性能MySQL[M].電子工業(yè)出版社,2013.

      [4] 施瓦茨,福瓦,菲尼克斯.Perl語言入門(中文版)[M].東南大學出版社,2012.

      [5] 基恩,席卡里爾.Pro JPA2中文版:精通Java持久化API[M].清華大學出版社,2011.

      [6] 趙麗芬.數(shù)據(jù)挖掘技術(shù)在電子商務中應用研究[J].信息與電腦(理論版),2011.4:174

      猜你喜歡
      海量數(shù)據(jù)電商平臺數(shù)據(jù)挖掘
      探討人工智能與數(shù)據(jù)挖掘發(fā)展趨勢
      基于并行計算的大數(shù)據(jù)挖掘在電網(wǎng)中的應用
      電力與能源(2017年6期)2017-05-14 06:19:37
      基于HADOOP集群的數(shù)據(jù)采集和清洗
      軟件工程(2016年11期)2017-01-17 17:05:51
      商業(yè)銀行海量金融數(shù)據(jù)分析中數(shù)據(jù)分析技術(shù)的實踐探究
      海量數(shù)據(jù)庫的設計與優(yōu)化
      基于電商平臺的大學生互聯(lián)網(wǎng)創(chuàng)業(yè)經(jīng)濟研究
      試析我國個人消費信貸領域發(fā)展面臨的主要挑戰(zhàn)
      基于hadoop平臺海量數(shù)據(jù)的快速查詢與實現(xiàn)
      基于用戶體驗的電商平臺界面管理影響因素研究
      科技視界(2016年20期)2016-09-29 11:07:22
      試論電商平臺主導的供應鏈融資
      衡阳市| 肃北| 鄂托克前旗| 佛山市| 曲周县| 怀远县| 嘉荫县| 宁国市| 博兴县| 兴和县| 张家口市| 陵川县| 偏关县| 探索| 双柏县| 章丘市| 嵊州市| 大洼县| 新河县| 凤凰县| 厦门市| 濮阳市| 双峰县| 岚皋县| 大洼县| 阿坝县| 汨罗市| 嵊州市| 馆陶县| 陆良县| 易门县| 文水县| 从化市| 会宁县| 阳城县| 治多县| 漳浦县| 吉水县| 通城县| 姚安县| 贺州市|