董勤

摘要 汽車(chē)行業(yè)某垂直門(mén)戶(hù)網(wǎng)站（下稱(chēng)汽車(chē)網(wǎng)）從2006年初開(kāi)始上線到今天已經(jīng)成功運(yùn)營(yíng)十多年，在全國(guó)各大城市均設(shè)有獨(dú)立的服務(wù)器和分站，主要提供汽車(chē)資訊、廣告、當(dāng)?shù)仄?chē)報(bào)價(jià)、經(jīng)銷(xiāo)商門(mén)店、車(chē)主投訴處理等功能。由于地區(qū)性差異，各分站發(fā)展到今天雖然界面形式上一致，但數(shù)據(jù)格式上卻各自演化無(wú)法統(tǒng)一，管理層無(wú)法及時(shí)得到準(zhǔn)確的全局決策信息。為了徹底解決該問(wèn)題，經(jīng)調(diào)研決定在總部開(kāi)發(fā)一套決策支持系統(tǒng)，集成各分站數(shù)據(jù)，讓管理層隨時(shí)都可以得到準(zhǔn)確、及時(shí)的信息。該系統(tǒng)的成功實(shí)施提升了公司的決策效率，使高管們?cè)诘谝粫r(shí)間掌控全國(guó)行業(yè)動(dòng)態(tài)，及時(shí)調(diào)整廣告策略，給經(jīng)銷(xiāo)商們提供符合市場(chǎng)的價(jià)格信息，企業(yè)也因此獲得了客戶(hù)的廣泛好評(píng)。

【關(guān)鍵詞】汽車(chē)網(wǎng) 決策支持系統(tǒng) 數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)中心

1 引言

作為業(yè)內(nèi)排名靠前的汽車(chē)行業(yè)垂直門(mén)戶(hù)，汽車(chē)網(wǎng)隨著業(yè)務(wù)的不斷發(fā)展，在全國(guó)主要大中城市均有分布式服務(wù)器集群。北京、上海、廣州、武漢、成都的客戶(hù)可以就近訪問(wèn)電信或者網(wǎng)通甚至是其他更小規(guī)模服務(wù)商的網(wǎng)絡(luò)內(nèi)的服務(wù)器，以便得到最好的網(wǎng)絡(luò)速度體驗(yàn)，并且，隨著業(yè)務(wù)的飛速發(fā)展，用戶(hù)產(chǎn)生的內(nèi)容和數(shù)據(jù)也越來(lái)越多，對(duì)存儲(chǔ)要求也越來(lái)越高，集中式的網(wǎng)站服務(wù)根本無(wú)法滿足全國(guó)各地用戶(hù)的多種需求，分布式網(wǎng)站的策略到現(xiàn)在依然有效，可以根據(jù)IP將用戶(hù)訪問(wèn)分流到各地。但是這種策略對(duì)公司的高層領(lǐng)導(dǎo)來(lái)說(shuō)也帶來(lái)了新問(wèn)題，高層領(lǐng)導(dǎo)無(wú)法及時(shí)得到一個(gè)全局的數(shù)據(jù)視圖以準(zhǔn)確掌控業(yè)務(wù)狀態(tài)，需要各分公司配合出各地報(bào)表，匯總到總裁辦公室合并為Excel，最后得到全局視圖。這種人工的方式費(fèi)力，延遲，經(jīng)常出錯(cuò)，公司高層領(lǐng)導(dǎo)已經(jīng)無(wú)法接受這種傳統(tǒng)模式，因此立項(xiàng)研發(fā)決策支持系統(tǒng)以徹底解決問(wèn)題。

決策支持系統(tǒng)通常來(lái)講分為三部分：數(shù)據(jù)采集處理、數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)展現(xiàn)。通常的做法是采購(gòu)大型軟件公司的成熟方案，如IBM的DataStage，DB2，Portal系列;Oracle公司的Oracle DB，ApplicationServer，F(xiàn)orm系列以及Microsoft公司的BI解決方案。這些方案的優(yōu)點(diǎn)是成熟可靠，缺點(diǎn)也很明顯：不能靈活應(yīng)對(duì)特殊場(chǎng)景，服務(wù)按小時(shí)計(jì)費(fèi)價(jià)格昂貴。

汽車(chē)網(wǎng)選擇從開(kāi)源軟件入手，以開(kāi)源的Linux操作系統(tǒng)為核心，采用Java語(yǔ)言編寫(xiě)數(shù)據(jù)采集與清洗軟件，使用Hadoop、Spark、Hbase作為分析處理和數(shù)據(jù)存儲(chǔ)服務(wù)器，并用G2框架為基礎(chǔ)開(kāi)發(fā)個(gè)性化報(bào)表系統(tǒng)。最后同樣能夠達(dá)到一流商用BI方案的效果，并且可以針對(duì)自己的業(yè)務(wù)需求靈活快速地調(diào)整，而且開(kāi)源軟件本身免費(fèi)，取得了極佳的性?xún)r(jià)比。

2 需求分析

決策支持系統(tǒng)需要的數(shù)據(jù)種類(lèi)繁多，比較典型的有以下幾種，其一是各種頁(yè)面的訪問(wèn)量，廣告位曝光、點(diǎn)擊、報(bào)名轉(zhuǎn)化，從而分析廣告效果，以便進(jìn)行動(dòng)態(tài)調(diào)整廣告策略;其二是監(jiān)控當(dāng)?shù)亟?jīng)銷(xiāo)商網(wǎng)店優(yōu)惠活動(dòng)及車(chē)型價(jià)格，采集分析其他重點(diǎn)汽車(chē)網(wǎng)站的報(bào)價(jià)信息進(jìn)行對(duì)比，統(tǒng)計(jì)分析價(jià)格規(guī)律，從而讓管理層做出最優(yōu)決策，以配置各地庫(kù)存數(shù)量及制定相關(guān)報(bào)價(jià)策略;其三是監(jiān)控用戶(hù)輿論方向，對(duì)每一款車(chē)型的提問(wèn)、回答，分析出當(dāng)前用戶(hù)比較關(guān)注的焦點(diǎn)，從而做相關(guān)活動(dòng)提高社區(qū)粘度;其四是收集車(chē)主投訴，匯總統(tǒng)計(jì)得出質(zhì)量問(wèn)題規(guī)律，對(duì)接車(chē)廠從而更好地服務(wù)于最終消費(fèi)者。因此技術(shù)上需要每日從全國(guó)20多個(gè)分站抽取相關(guān)增量數(shù)據(jù)到總部數(shù)據(jù)中心，對(duì)處理好的數(shù)據(jù)進(jìn)行分析和挖掘。

3 系統(tǒng)設(shè)計(jì)方案

傳統(tǒng)的決策支持系統(tǒng)分為ETL、DaraWarehouse、BI三部分;其中ETL部分一般采用IBM的SataStage工具來(lái)實(shí)現(xiàn);數(shù)據(jù)中心主要采用NAS和IP SAN相結(jié)合的方式分別滿足共享文件存儲(chǔ)和數(shù)據(jù)存儲(chǔ)的功能，容量擴(kuò)展主要依賴(lài)于磁盤(pán)陣列和磁帶庫(kù);BI部分則采用水晶報(bào)表作為展現(xiàn)工具?？紤]到這么設(shè)計(jì)代價(jià)昂貴，尤其是數(shù)據(jù)中心部分的集中存儲(chǔ)方式擴(kuò)展起來(lái)不是很方便，性能也難以保障，因此在汽車(chē)網(wǎng)的決策支持系統(tǒng)中，采用新的設(shè)計(jì)方式，如圖1所示。

如圖1所示，該設(shè)計(jì)主要采用了以開(kāi)源框架Hadoop為基礎(chǔ)的分布式處理與存儲(chǔ)思想，規(guī)避了傳統(tǒng)收費(fèi)軟件，使用相對(duì)廉價(jià)的PC服務(wù)器集群取代昂貴的專(zhuān)用磁盤(pán)陣列存儲(chǔ)設(shè)備，使得海量數(shù)據(jù)的處理存儲(chǔ)變得相對(duì)簡(jiǎn)單、便宜。其中數(shù)據(jù)采集部分，使用kafla、flume等分布式組件遠(yuǎn)程收集各分站的業(yè)務(wù)數(shù)據(jù)，匯總到總部數(shù)據(jù)中心，然后采用Spark Streaming對(duì)數(shù)據(jù)流進(jìn)行實(shí)時(shí)處理，結(jié)果再以鍵值對(duì)的方式存入Hbase，對(duì)于需要進(jìn)行多維分析的數(shù)據(jù)可以存入傳統(tǒng)的RDBMS中，也可以自己寫(xiě)OLAP方法針對(duì)需求進(jìn)行定制分析。

4 實(shí)施

4.1 數(shù)據(jù)采集與清洗

汽車(chē)網(wǎng)各種業(yè)務(wù)數(shù)據(jù)，如各分站經(jīng)銷(xiāo)商的報(bào)價(jià)數(shù)據(jù)，各車(chē)型的用戶(hù)口碑，各地用戶(hù)的投訴與評(píng)論，各分站的汽車(chē)專(zhuān)業(yè)文章及廣告位，閱讀量、點(diǎn)擊量等均需要及時(shí)傳送匯總到數(shù)據(jù)中心。這個(gè)過(guò)程分為數(shù)據(jù)抽取、數(shù)據(jù)清洗、數(shù)據(jù)傳送三個(gè)環(huán)節(jié)。首先各分站的分布式數(shù)據(jù)抽取工作并不容易，如果直接連接到各地生產(chǎn)庫(kù)上，可能會(huì)影響性能，因此對(duì)于數(shù)據(jù)庫(kù)類(lèi)型的數(shù)據(jù)源，各分站先做主備模式，只需要連接到備機(jī)上根據(jù)時(shí)間抽取增量數(shù)據(jù)再通過(guò)kafka隊(duì)列傳輸?shù)娇偛繑?shù)據(jù)中心;對(duì)于日志文件，則采取先集中備份到日志轉(zhuǎn)發(fā)機(jī)，再采用消息隊(duì)列kafka傳輸?shù)娇偛繑?shù)據(jù)中心;fiume管道對(duì)HDFS格式的文件傳輸比較友好，專(zhuān)門(mén)用來(lái)傳輸這類(lèi)格式的數(shù)據(jù)。這些數(shù)據(jù)在進(jìn)入隊(duì)列或者管道之前進(jìn)行統(tǒng)一的格式轉(zhuǎn)換，即完成數(shù)據(jù)清洗工作。數(shù)據(jù)傳輸任務(wù)設(shè)置在每天夜間定時(shí)完成，最后匯總到數(shù)據(jù)中心，由Spark Streaming進(jìn)行實(shí)時(shí)分析、處理、分類(lèi)，最后存到Hbase數(shù)據(jù)倉(cāng)庫(kù)，也有少量存入Mysql數(shù)據(jù)庫(kù)中。

4.2 數(shù)據(jù)分析與處理

Spark Streaming從消息隊(duì)列中獲取數(shù)據(jù)流，并按照時(shí)間分塊，轉(zhuǎn)化為rdd，然后通過(guò)滑動(dòng)窗口對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)的統(tǒng)計(jì)分析計(jì)算。Spark Streaming中提供了很多封裝好了的簡(jiǎn)單易用的算子，例如map，flatMap，filter，sort，reduceByKey，collect等，通過(guò)這些算子的組合，可以完成不同的計(jì)算需求。這些算子會(huì)創(chuàng)建很多map/reduce子任務(wù)，分發(fā)到不同的集群子節(jié)點(diǎn)，進(jìn)行分布式運(yùn)算。例如要統(tǒng)計(jì)10分鐘內(nèi)多款車(chē)型詳情頁(yè)面的閱讀次數(shù)，則可以采用10分鐘作為滑動(dòng)窗口的大小，而滑動(dòng)頻率決定了觸發(fā)計(jì)算任務(wù)的頻率，需要根據(jù)實(shí)際的數(shù)據(jù)量、集群的算力、實(shí)時(shí)性等統(tǒng)一考慮，設(shè)置適當(dāng)?shù)拇翱诨瑒?dòng)頻率可以讓集群運(yùn)行更加穩(wěn)定;計(jì)算的過(guò)程如下：從日志中篩選出這幾款車(chē)型的訪問(wèn)記錄（filter算子），然后轉(zhuǎn)換為鍵值對(duì)（url，1），最后通過(guò)reduceByKey統(tǒng)計(jì)出每款車(chē)型的總訪問(wèn)量。在處理更復(fù)雜的情況時(shí)，還需要從數(shù)據(jù)中抽取出重要的數(shù)據(jù)字段（主要通過(guò)正則匹配來(lái)實(shí)現(xiàn)），然后轉(zhuǎn)換為對(duì)象實(shí)例，方便后續(xù)的處理;在計(jì)算的過(guò)程中，有的時(shí)候還可以把需要重復(fù)使用的數(shù)據(jù)緩存起來(lái)，后續(xù)就會(huì)直接使用cache，而不是重新計(jì)算，這可以極大地提高計(jì)算速度。

4.3 多維分析與報(bào)表展現(xiàn)

Hbase本身是key-value存儲(chǔ)格式，適合海量存儲(chǔ)，但對(duì)于復(fù)雜的多維分析運(yùn)算需要額外編寫(xiě)程序，另外還可以借助傳統(tǒng)的RDBMS來(lái)實(shí)現(xiàn)。在汽車(chē)網(wǎng)廣告分析模塊中，利用開(kāi)源的Mysql作為補(bǔ)充進(jìn)行報(bào)表運(yùn)算。多維分析的表結(jié)構(gòu)設(shè)計(jì)與普通的事務(wù)處理表結(jié)構(gòu)設(shè)計(jì)并不相同，它更多的傾向于數(shù)據(jù)分析，要求從多個(gè)維度考察度量指標(biāo)，比方說(shuō)在廣告點(diǎn)擊量分析數(shù)據(jù)倉(cāng)庫(kù)，記錄了每個(gè)廣告的曝光量點(diǎn)擊量，這個(gè)廣告發(fā)布在哪個(gè)位置，哪天發(fā)布的。多維數(shù)據(jù)庫(kù)由事實(shí)表和維度表組成，其中事實(shí)表由維度和度量組成，度量是廣告的點(diǎn)擊量和曝光量，維度是時(shí)間、位置、廣告。有了這樣一個(gè)多維數(shù)據(jù)庫(kù)記錄歷史到今天的廣告數(shù)據(jù)，很容易鉆?。╠rill down）和上卷（roll up）來(lái)分析廣告效果。以前靠人工收集數(shù)據(jù)，EXCEL匯總的模式，已經(jīng)被高度自動(dòng)化的數(shù)據(jù)抽取、清洗、分析、匯總、生成報(bào)表的流程取代，延遲從以前的好幾天變成現(xiàn)在的幾小時(shí)，報(bào)表數(shù)據(jù)精確無(wú)誤，高層能隨時(shí)查看最新動(dòng)態(tài)，對(duì)用戶(hù)關(guān)心的汽車(chē)投訴問(wèn)題、行情信息、銷(xiāo)售量、熱銷(xiāo)和滯銷(xiāo)車(chē)型了如指掌。另外也不需要采購(gòu)昂貴的水晶報(bào)表軟件來(lái)完成這項(xiàng)工作，開(kāi)源引擎G2是一個(gè)非常好的工具，被深度應(yīng)用于汽車(chē)網(wǎng)的報(bào)表展現(xiàn)中。

5 結(jié)論

決策支持系統(tǒng)的數(shù)據(jù)采集模塊分布在全國(guó)多個(gè)分站，在帶寬充足的前提下和總部數(shù)據(jù)中心的通信穩(wěn)定可靠，項(xiàng)目成功運(yùn)行半年多充分證實(shí)最初的設(shè)計(jì)正確可行。

數(shù)據(jù)流實(shí)時(shí)分析處理部分，快速高效，超過(guò)預(yù)期。實(shí)踐證明采用Spark Streaming在內(nèi)存中實(shí)時(shí)處理的效果要優(yōu)于先將數(shù)據(jù)存入HDFS攢到一定量再進(jìn)行批處理的方式。

自動(dòng)化報(bào)表程序快速高效，準(zhǔn)確率高。高管隨時(shí)掌握全國(guó)各分公司業(yè)務(wù)的最新動(dòng)態(tài)，準(zhǔn)確抓住業(yè)務(wù)的敏感點(diǎn)，及時(shí)調(diào)整市場(chǎng)策略實(shí)現(xiàn)效益最大化，充分體現(xiàn)了數(shù)據(jù)的價(jià)值。

參考文獻(xiàn)

[1]姚雄飛，覃海生，多品牌汽車(chē)銷(xiāo)售集團(tuán)的業(yè)務(wù)決策支持系統(tǒng)的架構(gòu)設(shè)計(jì)[J].電腦編程技巧與維護(hù)，2016.

[2]莊玉良，賀超.基于物聯(lián)網(wǎng)的汽車(chē)業(yè)再制造信息采集與決策支持系統(tǒng)研究[J]，物流技術(shù)，2016 （06）.

[3]張若儒，基于HBase的OLAP多維數(shù)據(jù)聚集計(jì)算[J].東南大學(xué)，2012.

[4]尹國(guó)明，汽車(chē)維修故障診斷智能決策支持系統(tǒng)的研究[J].中國(guó)新技術(shù)新產(chǎn)品， 2013（23）.

[5]楊春瑩，杜小芳，王維.汽車(chē)企業(yè)訂單生產(chǎn)決策支持系統(tǒng)[J]，汽車(chē)工程師，2011 （10）.

[6]楊艷霞，于海平.基于數(shù)據(jù)倉(cāng)庫(kù)的汽車(chē)配件銷(xiāo)售決策支持系統(tǒng)[J].計(jì)算機(jī)與數(shù)字工程，2010 （07）.