基于物流平臺(tái)的智能推薦系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

金英華（沈陽師范大學(xué)，沈陽　110034）

?

基于物流平臺(tái)的智能推薦系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

金英華
（沈陽師范大學(xué)，沈陽110034）

摘要：本文介紹了Hadoop及MapReduce模型的一些基本情況，包括對Hadoop的框架構(gòu)成核心節(jié)點(diǎn)的主要工作及MapReduce模型的工作流程模式，對第二代Hadoop平臺(tái)簡的Yarn框架及其基本的工作流程進(jìn)行了介紹，同時(shí)關(guān)注了一個(gè)嶄新的基于內(nèi)存存儲(chǔ)的計(jì)算框架Spark。文中對智能化物流平臺(tái)的框架結(jié)構(gòu)進(jìn)行了整體的描述，包括WEB業(yè)務(wù)各層的結(jié)構(gòu)的概要介紹，數(shù)據(jù)庫實(shí)例中抽取幾個(gè)表進(jìn)行了簡單的表示，和智能化體系中核心部分推薦系統(tǒng)的設(shè)計(jì)結(jié)構(gòu)的闡述。其中推薦系統(tǒng)部分較為詳細(xì)地介紹了系統(tǒng)的設(shè)計(jì)思路，從業(yè)務(wù)需求的分析，到系統(tǒng)結(jié)構(gòu)的設(shè)計(jì)和系統(tǒng)工作的大體流程。

關(guān)鍵詞：推薦系統(tǒng)；Hadoop；物流平臺(tái)

1　智能推薦系統(tǒng)的概覽

下面以匹配客戶對象的智能推薦為例進(jìn)行說明，智能推薦系統(tǒng)實(shí)現(xiàn)的功能目的，與天貓、京東的網(wǎng)站平臺(tái)的形式類似，當(dāng)發(fā)貨方即貨主企業(yè)或生產(chǎn)制造企業(yè)等，登錄系統(tǒng)平臺(tái)網(wǎng)站時(shí)或者移動(dòng)APP端時(shí)，系統(tǒng)的后臺(tái)經(jīng)過智能計(jì)算核心組件模塊，為此類型的登錄客戶實(shí)時(shí)計(jì)算出它可能會(huì)感興趣的物流企業(yè)、運(yùn)輸車隊(duì)等，這樣的承接方即以物流運(yùn)輸為主體業(yè)務(wù)的一方，平臺(tái)將這樣的列表信息在瀏覽器中或者移動(dòng)終端中為登錄用戶即時(shí)展示，以提高用戶體驗(yàn)度。同樣，在物流運(yùn)輸一方登錄時(shí)，也會(huì)顯示它可能感興趣的貨主企業(yè)。

2　智能推薦系統(tǒng)的框架設(shè)計(jì)

平臺(tái)的智能推薦系統(tǒng)框架，主要由數(shù)據(jù)過濾、智能計(jì)算、數(shù)據(jù)存儲(chǔ)層和中央控制單元四個(gè)部分組成，如圖1所示。智能推薦系統(tǒng)的數(shù)據(jù)來源，主要來自于兩種類型數(shù)據(jù)即實(shí)時(shí)型數(shù)據(jù)和批量類型數(shù)據(jù)。其中批量類型這個(gè)部分，主要是從結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù)庫中取得，即Oracle數(shù)據(jù)庫實(shí)例的關(guān)系表和HBase鍵值對的數(shù)據(jù)表；實(shí)時(shí)型的數(shù)據(jù)，采用了技術(shù)成熟度較高、響應(yīng)度高、應(yīng)用范圍比較廣的Redis數(shù)據(jù)庫作為平臺(tái)緩存數(shù)據(jù)庫，平臺(tái)性能在此基礎(chǔ)上得到了大幅度的提升。

數(shù)據(jù)ETL模塊作為過濾層發(fā)揮其作用，主要是為推薦系統(tǒng)算法提供基礎(chǔ)計(jì)算數(shù)據(jù)，對原始數(shù)據(jù)數(shù)據(jù)進(jìn)行清理轉(zhuǎn)換，以便核心的智能計(jì)算單元發(fā)揮更高性能提高處理數(shù)據(jù)的速度，尤其是在實(shí)時(shí)性的處理方面，一旦從Oracle或者M(jìn)ongoDB、Redis這些數(shù)據(jù)源取得的數(shù)據(jù)過于冗余，或者是與智能計(jì)算單元接口所要求的數(shù)據(jù)類型、格式等不相一致時(shí)，對于計(jì)算的性能影響也是顯著的。根據(jù)數(shù)據(jù)來源的類型不同，相應(yīng)地，數(shù)據(jù)過濾層的接口部分在數(shù)據(jù)源類的內(nèi)部實(shí)現(xiàn)同樣是以結(jié)構(gòu)化和非結(jié)構(gòu)化進(jìn)行分組別進(jìn)行設(shè)計(jì)和編碼實(shí)現(xiàn)，對外則統(tǒng)一接口命名進(jìn)行多態(tài)繼承，這樣的傳統(tǒng)OOP面向?qū)ο蟮木幊棠Ｐ头绞綄τ谙到y(tǒng)后期在數(shù)據(jù)層的擴(kuò)展是有利的，尤其是在非結(jié)構(gòu)化類型的數(shù)據(jù)庫快速發(fā)展的時(shí)代，鍵值型數(shù)據(jù)庫、圖存數(shù)據(jù)庫等等，對于這類的接口模塊的可擴(kuò)展性是一種最基本的開發(fā)要求。

3　推薦系統(tǒng)的工作流程

根據(jù)物流行業(yè)的運(yùn)作特性，主要是監(jiān)控和分析貨源發(fā)布、訂單處理等操作的工作時(shí)間節(jié)點(diǎn)，一般情況下，時(shí)間節(jié)點(diǎn)集中在白天的工作時(shí)間范圍內(nèi)，因此，對于批量數(shù)據(jù)的分析計(jì)算工作，論文研究中參考電商平臺(tái)的批量數(shù)據(jù)分析處理方式，批量數(shù)據(jù)處理工作的啟動(dòng)時(shí)間點(diǎn)根據(jù)這個(gè)具體運(yùn)作的明顯的特點(diǎn)，設(shè)置為每日21:00點(diǎn)開始進(jìn)行批量數(shù)據(jù)分析作業(yè)。

3.1數(shù)據(jù)預(yù)處理

智能推薦系統(tǒng)在啟動(dòng)批量數(shù)據(jù)分析工作后，首先由推薦系統(tǒng)的數(shù)據(jù)ETL中的提取業(yè)務(wù)模塊通過JDBC連接各WEB平臺(tái)中的數(shù)據(jù)源，包括了Oracle數(shù)據(jù)庫和MongoDB數(shù)據(jù)庫（前期作為GPS數(shù)據(jù)存儲(chǔ)，后期用來做路線推薦用），向這些數(shù)據(jù)源發(fā)送查詢請求，以便從實(shí)例的結(jié)構(gòu)表中取得數(shù)據(jù)集，對讀取后數(shù)據(jù)集以貨主公司ID和物流公司ID進(jìn)行分組計(jì)算，計(jì)算出貨主企業(yè)對物流公司評價(jià)均值，對平臺(tái)數(shù)據(jù)源中的結(jié)構(gòu)化數(shù)據(jù)計(jì)算完成后，由轉(zhuǎn)換存儲(chǔ)功能模塊將數(shù)據(jù)以預(yù)定數(shù)據(jù)格式，即鍵值對的形＜Key:｛itemid:rate｝＞進(jìn)行存儲(chǔ)處理工作，將結(jié)構(gòu)化的數(shù)據(jù)轉(zhuǎn)換為非結(jié)構(gòu)化記錄數(shù)據(jù)集，最后，由數(shù)據(jù)ETL中的傳輸功能模塊調(diào)用Hadoop的FileObject接口將過濾后數(shù)據(jù)存儲(chǔ)到分布式文件系統(tǒng)HDFS中，以便推薦系統(tǒng)中的計(jì)算服務(wù)層各個(gè)計(jì)算單元直接處理調(diào)用。

3.2智能推薦算法流程

為了達(dá)到推薦的目的并減小存儲(chǔ)容量，一般為推薦結(jié)果設(shè)置一個(gè)K值即為用戶推薦的物品列表只選取前K個(gè)物品，實(shí)驗(yàn)中在配置文件中提前設(shè)置K值。

推薦系統(tǒng)計(jì)算層的計(jì)算單元根據(jù)上下文環(huán)境配置直接從Haddoop平臺(tái)的分布式文件系統(tǒng)HDFS中讀取相應(yīng)的預(yù)處理后的批量數(shù)據(jù)文件，由系統(tǒng)自動(dòng)計(jì)算文件的大小對其進(jìn)行分片，默認(rèn)在上下文環(huán)境配置中設(shè)置為64M或者128M即可，每個(gè)分片會(huì)對應(yīng)一個(gè)Map任務(wù)節(jié)點(diǎn)，在Map任務(wù)節(jié)點(diǎn)中執(zhí)行計(jì)算任務(wù)，逐行讀取數(shù)據(jù)以鍵值存入上下文數(shù)據(jù)中，為了減小Reduce任務(wù)節(jié)點(diǎn)的計(jì)算壓力，針對當(dāng)前的Map任務(wù)節(jié)點(diǎn)由Combiner單元執(zhí)行一次的合并處理，Hadoop框架根據(jù)各Map任務(wù)節(jié)點(diǎn)中鍵值和數(shù)據(jù)大小啟動(dòng)相應(yīng)數(shù)量的Reduce任務(wù)節(jié)點(diǎn)，在Reduce任務(wù)節(jié)點(diǎn)中以鍵值（貨主ID）合并來自不同Map任務(wù)節(jié)點(diǎn)中的上下文數(shù)據(jù)，這時(shí)可以得到N個(gè)貨主評價(jià)向量，由N個(gè)貨主評價(jià)向量計(jì)算得出項(xiàng)目（即物流公司）的同現(xiàn)矩陣，最后N個(gè)貨主評價(jià)向量分別與同現(xiàn)矩陣相乘得到N個(gè)貨主的推薦向量，選取前K個(gè)推薦結(jié)果存入緩存數(shù)據(jù)庫中，完成推薦計(jì)算。

整個(gè)推薦計(jì)算完成后，當(dāng)WEB業(yè)務(wù)要實(shí)現(xiàn)推薦效果時(shí)，即可直接從緩存數(shù)據(jù)庫中讀取最新的推薦結(jié)果，為貨主企業(yè)推薦K個(gè)比較感興趣物流企業(yè)。

參考文獻(xiàn)：

［1］Chert MS. Data mining: arl overview from a database perspective［J］. IEEE Trans on Knowledgeand data engineering，1996:8（06）: 866-883.

［2］Pang-Ning Tan， Michael Steinbach， Yipin Kumar著.范明，范宏建等譯.數(shù)據(jù)挖掘?qū)д摚跰］.北京:人民郵電出版社，2006.

DOI:10.16640/j.cnki.37-1222/t.2016.11.137

作者簡介：金英華（1965-），女，遼寧蓋縣人，碩士研究生，副教授，研究方向：計(jì)算機(jī)軟件。