武斌 李金成 郭毅
【摘 ?要】為響應(yīng)“互聯(lián)網(wǎng)+”戰(zhàn)略思想,同時(shí)保證物資采購(gòu)的公平公正,提升采購(gòu)的效率,對(duì)物資電商化采購(gòu)進(jìn)行了持續(xù)的創(chuàng)新探索。本文通過基于拉普拉斯等距映射優(yōu)化算法,對(duì)電商平臺(tái)商品推薦功能進(jìn)行重新設(shè)計(jì)實(shí)現(xiàn),和傳統(tǒng)協(xié)同過濾算法相比,提升了推薦效率,尤其在大數(shù)據(jù)處理方面。
【關(guān)鍵詞】大數(shù)據(jù)處理;電力;電子商務(wù);互聯(lián)網(wǎng)+;拉普拉斯等距映射
1.集體企業(yè)設(shè)計(jì)的政策背景
工業(yè)互聯(lián)網(wǎng)平臺(tái)可實(shí)現(xiàn)產(chǎn)品、機(jī)器、數(shù)據(jù)、人的全面互聯(lián)互通和綜合集成,正成為國(guó)家工業(yè)新基礎(chǔ)設(shè)施。近十年來,公司不斷探索互聯(lián)網(wǎng)采購(gòu)業(yè)務(wù)創(chuàng)新,推進(jìn)采購(gòu)模式創(chuàng)新,進(jìn)而實(shí)現(xiàn)多元化的采購(gòu)模式。通過國(guó)網(wǎng)商城采購(gòu)專區(qū),對(duì)于公開透明程度非常高,且非必須公開招標(biāo)的物資,突破傳統(tǒng)思維定式,破除固有的“需求計(jì)劃預(yù)測(cè)與集中報(bào)送—確定采購(gòu)品牌和參數(shù)—談判評(píng)審確定供應(yīng)商及其產(chǎn)品價(jià)格—部署固化商品目錄—采購(gòu)結(jié)果匹配與執(zhí)行”的流程,把物資采購(gòu)過程在國(guó)網(wǎng)商城物資電商化采購(gòu)專區(qū)上實(shí)現(xiàn),實(shí)現(xiàn)“實(shí)時(shí)商品選購(gòu)-下單-形成采購(gòu)訂單-審批-支付”全過程電子化;同時(shí),針對(duì)集體企業(yè)采購(gòu)特點(diǎn),采購(gòu)專區(qū)期望提供授權(quán)代理、平臺(tái)模式、委托簽約等多種業(yè)務(wù)運(yùn)營(yíng)模式,支持先款后貨、先貨后款、限額采購(gòu)等付款模式。最終實(shí)現(xiàn)多元化采購(gòu)模式,踐行國(guó)網(wǎng)商城物資采購(gòu)模式多方面創(chuàng)新思想,深化和完善公司物資采購(gòu)業(yè)務(wù),進(jìn)一步提高公司發(fā)展質(zhì)量、拓寬發(fā)展領(lǐng)域。
2.商品推薦模塊的詳細(xì)設(shè)計(jì)
2.1拉普拉斯等距映射的主要思路
隨著數(shù)據(jù)慢慢變大,我們?yōu)榱藢?shí)驗(yàn)結(jié)果的準(zhǔn)確性,要采用數(shù)據(jù)降維來使數(shù)據(jù)便于計(jì)算和可視化,其更深層次的意義在于有效信息的提取綜合及無用信息的刪除。
本實(shí)驗(yàn)中采用的方法是非線性降維中的流性學(xué)習(xí)LE(拉普拉斯等距映射)算法來進(jìn)行數(shù)據(jù)降維。拉普拉斯特征映射(Laplacian Eigenmaps)是一種不常見的降維算法。它從與普通降維算法不同的角度來看問題。它從本地角度構(gòu)建數(shù)據(jù)之間的關(guān)系。也許這是抽象的。具體而言,拉普拉斯特征映射是基于圖的降維算法。它希望相關(guān)的點(diǎn)(圖中連接的點(diǎn))在尺寸減小的空間中盡可能接近,以便在減小尺寸后保持原始數(shù)據(jù)結(jié)構(gòu)。
拉普拉斯特征映射通過構(gòu)造其鄰接矩陣為W的圖來重建數(shù)據(jù)流形的局部結(jié)構(gòu)特征(參見此處的鄰接矩陣的定義)。主要思想是如果兩個(gè)數(shù)據(jù)實(shí)例i和j非常相似,那么在維數(shù)減少之后,i和j應(yīng)該在目標(biāo)子空間中盡可能接近。設(shè)數(shù)據(jù)實(shí)例的數(shù)量為n*n,目標(biāo)子空間的維度,即最終的降維目標(biāo),為 m。定義n * m大小的矩陣Y,其中每個(gè)行向量yT i是目標(biāo)m 維子空間(即,簡(jiǎn)化數(shù)據(jù)實(shí)例i)中的數(shù)據(jù)實(shí)例i的向量表示。我們的目標(biāo)是在降維后保持類似的數(shù)據(jù)樣本i和j盡可能接近目標(biāo)子空間。
具體步驟為:
第1步:構(gòu)建圖表
首先將所有的原始數(shù)據(jù)變成一個(gè)圖,例如使用KNN算法將每個(gè)點(diǎn)的最近K點(diǎn)連接到頂部,即生產(chǎn)最小生成樹。
2.2算法實(shí)際應(yīng)用
集體企業(yè)項(xiàng)目主要圍繞供應(yīng)商統(tǒng)一管理、尋源管理、合同管理、供應(yīng)商準(zhǔn)備、下單選購(gòu)、配送發(fā)貨、支付結(jié)算、發(fā)票管理、履約支付這九個(gè)部分的需求展開建設(shè)實(shí)施,以實(shí)現(xiàn)集體企業(yè)平臺(tái)模式、授權(quán)代理模式兩種業(yè)務(wù)模式,一二三級(jí)專區(qū)依照管理需求部署,具備先款后貨、先貨后款、限額采購(gòu)多種采購(gòu)方式的業(yè)務(wù)需求;其中采購(gòu)中心請(qǐng)購(gòu)單2個(gè)二級(jí)模塊、訂單中心3個(gè)二級(jí)模塊、付款單2個(gè)二級(jí)模塊、采購(gòu)額度1個(gè)二級(jí)模塊、站內(nèi)信2個(gè)二級(jí)模塊、設(shè)置3個(gè)二級(jí)模塊。
本次算法優(yōu)化主要應(yīng)用于采購(gòu)專區(qū)的相關(guān)商品推薦模塊。原先項(xiàng)目中采用的是傳統(tǒng)協(xié)同過濾算法,直接進(jìn)行商品推薦,采用余弦相似度作為相似度標(biāo)準(zhǔn)進(jìn)行個(gè)體相似性數(shù)據(jù)化標(biāo)準(zhǔn)。此算法可以較為合理的進(jìn)行相關(guān)推薦,但是在大數(shù)據(jù)的背景下,數(shù)據(jù)量越來越大,每條數(shù)據(jù)的維度也越來越多,整體算法的執(zhí)行效率也越來越低。在調(diào)研了目前的大數(shù)據(jù)處理技術(shù),最終選用拉普拉斯等距映射作為本次算法優(yōu)化的技術(shù)基礎(chǔ)。
拉普拉斯等距映射本質(zhì)是將多維坐標(biāo)系內(nèi)的點(diǎn),保持其之間的相對(duì)關(guān)系,同時(shí)將他們映射到一個(gè)低維甚至是二維空間,但數(shù)據(jù)變成低維數(shù)據(jù)后,算法的執(zhí)行效率就得到了大幅提升。
在確定了算法的基本思路之后,還要進(jìn)行算法可行性分析,利用目前比較流行的UserBehavior數(shù)據(jù)集,將數(shù)據(jù)集按照4:1分為數(shù)據(jù)組和測(cè)試組,按照算法思路對(duì)數(shù)據(jù)組進(jìn)行分析,預(yù)測(cè)測(cè)試組結(jié)果,對(duì)測(cè)試結(jié)果和實(shí)際結(jié)果進(jìn)行卡方檢驗(yàn),經(jīng)測(cè)試,卡方值小于0.05,具有統(tǒng)計(jì)學(xué)意義,也就是說,算法預(yù)測(cè)結(jié)果較為可靠。
3.項(xiàng)目設(shè)計(jì)優(yōu)勢(shì)與未來展望
3.1項(xiàng)目設(shè)計(jì)總結(jié)
隨著互聯(lián)網(wǎng)+概念不斷的深入人心,互聯(lián)網(wǎng)也為物資采購(gòu)提供了公開透明、便捷管理的大環(huán)境。物資集中化采購(gòu)能夠及時(shí)、準(zhǔn)確地制定集團(tuán)采購(gòu)計(jì)劃,實(shí)現(xiàn)按需采購(gòu);同時(shí)方便集團(tuán)進(jìn)行物資采購(gòu)價(jià)格的有效分析,進(jìn)一步優(yōu)化集中采購(gòu)物資的談判定價(jià)工作;還能夠有效對(duì)集中采購(gòu)物資供應(yīng)商進(jìn)行科學(xué)、及時(shí)、準(zhǔn)備的評(píng)估,最終使集團(tuán)集中采購(gòu)的優(yōu)勢(shì)得到有效發(fā)揮,達(dá)到降低采購(gòu)成本、提高采購(gòu)作業(yè)整體效率的作用;也實(shí)現(xiàn)了集團(tuán)對(duì)下屬單位物資采購(gòu)的有效跟蹤,建立有效的跟蹤監(jiān)督機(jī)制;為集團(tuán)領(lǐng)導(dǎo)者進(jìn)行采購(gòu)決策提供及時(shí)、可靠的信息。集體企業(yè)物資采購(gòu),在對(duì)同類企業(yè)進(jìn)行相關(guān)深入調(diào)研的基礎(chǔ)上,以體系化、透明化的采購(gòu)制度和監(jiān)督要求出發(fā),結(jié)合自身特點(diǎn),優(yōu)化設(shè)計(jì)采購(gòu)流程,用創(chuàng)新的物資采購(gòu)和管理模式,進(jìn)行集體企業(yè)物資采購(gòu)管理,真正實(shí)現(xiàn)公平、透明、陽光采購(gòu)。
3.2未來展望
未來的集體企項(xiàng)目還會(huì)有很多可以發(fā)展的空間,代碼方面的簡(jiǎn)潔合理,安全方面如何做到更加可靠,算法方面如何達(dá)到更好的執(zhí)行效率,項(xiàng)目架構(gòu)如何更好的適應(yīng)大并發(fā)要求等。在保證開發(fā)進(jìn)度的基礎(chǔ)上,也會(huì)更加注重這些優(yōu)化問題。為實(shí)現(xiàn)多元化采購(gòu)模式,加快采購(gòu)模式創(chuàng)新貢獻(xiàn)自己的力量。
參考文獻(xiàn):
[1]黃啟宏,劉釗.流形學(xué)習(xí)中非線性維數(shù)約簡(jiǎn)方法概述[J].計(jì)算機(jī)應(yīng)用研究,2007,24(11):19-25.
[2]劉愛萍.等距特征映射算法的改進(jìn)及其應(yīng)用[D].常州大學(xué),2011.
[3]流形學(xué)習(xí)方法在圖像處理中的應(yīng)用研究[D].北京交通大學(xué),2009.
[4]Belkin M,Niyogi P.Laplacian Eigenmaps for Dimensionality Reduction and Data Representation[J].Neural Computation,2014,15(6):1373-1396.
(作者單位:國(guó)網(wǎng)電子商務(wù)有限公司)