大數(shù)據(jù)環(huán)境下并行化先進(jìn)先出成本算法研究

侯寧

摘 要：傳統(tǒng)計(jì)算機(jī)算法在大數(shù)據(jù)環(huán)境下效率較差。為此，從數(shù)據(jù)處理并行角度出發(fā)探索大數(shù)據(jù)環(huán)境下實(shí)現(xiàn)先進(jìn)先出的新算法邏輯，通過先進(jìn)先出算法實(shí)現(xiàn)對成本的有效計(jì)算，尤其是提高計(jì)算容錯(cuò)性，利用優(yōu)化的并行化計(jì)算模式提高算法時(shí)間效率。對傳統(tǒng)成本算法與新的并行化先進(jìn)先出成本算法在實(shí)際數(shù)據(jù)上進(jìn)行比較實(shí)驗(yàn)，結(jié)果表明并行化的先進(jìn)先出成本算法在時(shí)間效率上優(yōu)于傳統(tǒng)成本算法，且隨著數(shù)據(jù)量的不斷擴(kuò)大時(shí)間效率更加明顯，而先進(jìn)先出的計(jì)算模型與傳統(tǒng)算法在計(jì)算誤差上并無擴(kuò)大，說明并行化的先進(jìn)先出成本算法在大數(shù)據(jù)環(huán)境下優(yōu)于傳統(tǒng)成本算法。

關(guān)鍵詞：大數(shù)據(jù)環(huán)境;先進(jìn)先出成本算法;并行化計(jì)算;時(shí)間效率

DOI：10. 11907/rjdk. 182526

中圖分類號：TP312

文獻(xiàn)標(biāo)識碼：A文章編號：1672-7800（2019）006-0085-04

Abstract： With the popularity of large data environment， the traditional computer algorithms show some problems such as poor efficiency in large data environment. This paper explores a new arithmetic logic to implement FIFO in large data environment from the point of data processing parallelism. Through the first-in-first-out （FIFO） algorithm， the cost can be calculated effectively， especially the fault tolerance can be improved in large data mode. By using the optimized parallel computing mode， the time efficiency of the algorithm is improved. Experiments on real data show that parallel first-in-first-out cost algorithm is superior to traditional cost algorithm in time efficiency and time efficiency is more obvious with the continuous expansion of data volume， and the first-in-first-out calculation model is also better than the traditional algorithm. There is no expansion in the calculation error. This shows that the parallel first in first out cost algorithm is better than the traditional cost algorithm in big data environment.

Key Words： first-in-first-out; Parallelization; Time efficiency

0 引言

成本是企業(yè)核算經(jīng)濟(jì)效益的基本內(nèi)容和中心環(huán)節(jié)。在企業(yè)成本核算的一般程序中，約當(dāng)產(chǎn)量比例法是生產(chǎn)費(fèi)用在月末完工產(chǎn)品和產(chǎn)品分配環(huán)節(jié)應(yīng)用較廣的一種方法[1]，不同的約當(dāng)產(chǎn)量法產(chǎn)品成本的真實(shí)性與正確性不同，在復(fù)雜連續(xù)生產(chǎn)條件下，先進(jìn)先出計(jì)價(jià)具有實(shí)物流轉(zhuǎn)與成本流轉(zhuǎn)一致、如實(shí)反映本月實(shí)際成本水平、提供真實(shí)生產(chǎn)占用資金數(shù)據(jù)、真實(shí)反映產(chǎn)品成本降低情況等優(yōu)勢[2]。約當(dāng)產(chǎn)量比例法相比于傳統(tǒng)的成本計(jì)算方法，只是將數(shù)據(jù)統(tǒng)一為按月度計(jì)算，在算法本質(zhì)上并沒有改變，因此需要一種成本算法對傳統(tǒng)模型進(jìn)行改進(jìn)。而涉及數(shù)據(jù)庫設(shè)計(jì)時(shí)，經(jīng)常需要處理多對多關(guān)系，處理效率及便利性對算法執(zhí)行效率極為重要[3]，將數(shù)據(jù)庫中的多對多數(shù)據(jù)關(guān)系改進(jìn)后引入到成本計(jì)算模型中，形成先進(jìn)先出的成本關(guān)系是本文研究的算法模型之一。對象和關(guān)系數(shù)據(jù)是業(yè)務(wù)實(shí)體模型的兩種表現(xiàn)形式，業(yè)務(wù)實(shí)體在內(nèi)存中表現(xiàn)為對象，在數(shù)據(jù)庫中表現(xiàn)為關(guān)系數(shù)據(jù)。內(nèi)存中的對象之間存在關(guān)聯(lián)和繼承關(guān)系，而在數(shù)據(jù)庫中關(guān)系數(shù)據(jù)無法直接表達(dá)為多對多關(guān)聯(lián)和繼承關(guān)系。因此，把對象持久化到關(guān)系數(shù)據(jù)庫中，需要進(jìn)行對象/關(guān)系映射[4]，而成本計(jì)算中也需要對象/關(guān)系的映射，因此先進(jìn)先出的成本算法模型需要一種并行化的映射模式以提高算法執(zhí)行效率。高效的服務(wù)器算法是大數(shù)據(jù)環(huán)境中的關(guān)鍵技術(shù)[5]，并行化計(jì)算模式是高效算法的重要組成部分之一。本文提出的并行化模式正是基于高效的服務(wù)器算法模式之上，引入基于多對多的數(shù)據(jù)關(guān)系下的先進(jìn)先出算法模型進(jìn)行企業(yè)成本計(jì)算，并通過改進(jìn)窗口函數(shù)模型進(jìn)行邏輯優(yōu)化。

1 算法結(jié)構(gòu)分析

1.1 先進(jìn)先出模型

先進(jìn)先出是財(cái)務(wù)管理中常見的一種存貨計(jì)價(jià)方法。先進(jìn)先出法指按照先購進(jìn)存貨先發(fā)出的原則，對先發(fā)出存貨的個(gè)別計(jì)價(jià)方法。該方法根據(jù)存貨批次逐一對生產(chǎn)成本進(jìn)行計(jì)算， 對實(shí)際存貨加以計(jì)價(jià) [6]。采用這種方法，先購入的存貨成本在后購入存貨成本之前轉(zhuǎn)出，據(jù)此確定發(fā)出存貨和期末存貨的成本[7]。具體做法是，接收有關(guān)存貨時(shí)，逐筆登記每批存貨的數(shù)量、單價(jià)和金額;發(fā)出存貨時(shí)，按照先進(jìn)先出原則計(jì)價(jià)，逐筆登記存貨發(fā)出和結(jié)存金額。

按照原材料編碼提供各原材料當(dāng)月的總耗用量，見表 1;當(dāng)月產(chǎn)品的實(shí)際產(chǎn)量見表 2;產(chǎn)品耗用原材料的工藝信息，即在沒有損耗的前提下，單位產(chǎn)品理論上耗用多少單位的原材料，見表 3。

以上是基于大數(shù)據(jù)環(huán)境下的先進(jìn)先出計(jì)算模型流程，此模型在實(shí)際成本計(jì)算中由于使用了先進(jìn)先出思想，因此對成本的計(jì)算步驟可查，容錯(cuò)性較高，間接提高了成本計(jì)算的準(zhǔn)確性。同時(shí)算法不存在時(shí)間等待，具有一定的高效性。

1.2 并行計(jì)算模型優(yōu)化

成本計(jì)算常見邏輯主要是通過嵌套循環(huán)遍歷原材料入庫表與使用表，最終處理得到原材料入庫表與使用表間的多對多數(shù)據(jù)關(guān)系。這種算法邏輯采用循環(huán)方式，只能對數(shù)據(jù)進(jìn)行串行處理，因此時(shí)間復(fù)雜度較高。本文以空間換時(shí)間[5]，將串行計(jì)算模型改為并行計(jì)算模型。新的算法邏輯每次同時(shí)處理多張?jiān)牧鲜褂帽?，一次性得到各原材料入庫與使用數(shù)據(jù)的對應(yīng)關(guān)系，算法邏輯如下：

（1）對原材料使用表按照原材料名稱、使用日期先后排序，對原材料入庫表也按照原材料名稱、入庫日期先后排序。

（2）每張?jiān)牧鲜褂帽硪?jì)算出當(dāng)前使用表總數(shù)[TUA]與前一張使用表總數(shù)[TUB]，每張入庫表要計(jì)算出當(dāng)前入庫表總數(shù)[TWA]與截止到前一張入庫的匯總數(shù)[TWB]。將改造后的原材料使用表與入庫表通過名稱進(jìn)行關(guān)聯(lián)，由此形成新的入庫與使用關(guān)聯(lián)數(shù)據(jù)表。對關(guān)聯(lián)數(shù)據(jù)表中的每組數(shù)據(jù)同時(shí)進(jìn)行處理，得到兩個(gè)數(shù)據(jù)：①當(dāng)前原材料使用量即本組數(shù)據(jù)對應(yīng)的由入庫狀態(tài)轉(zhuǎn)變成使用狀態(tài)的數(shù)量，稱之為[TRA]。[TRA]的計(jì)算由[TUA]與[TWA]和[TWB]的差值之一組成;②之前的原材料使用量，即前組數(shù)據(jù)對應(yīng)的由入庫狀態(tài)轉(zhuǎn)變?yōu)槭褂脿顟B(tài)的數(shù)量，稱之為[TRB]。[TRB]的計(jì)算由[TUB]與[TWA]和[TWB]的差值之一組成。

（3）關(guān)聯(lián)數(shù)據(jù)表中的每組數(shù)據(jù)并行化計(jì)算[TRA]-[TRB]，兩者之差[TRC]即為本組數(shù)據(jù)對應(yīng)的入庫表中進(jìn)入本組使用表的數(shù)目，最后篩選出[TRC>]0的每組數(shù)據(jù)即為查詢結(jié)果。

2 算法偽代碼分析

為驗(yàn)證新算法邏輯的可行性，在SQL Server2012環(huán)境中使用窗口函數(shù)對大數(shù)據(jù)樣本下的新算法邏輯進(jìn)行數(shù)據(jù)模擬，以實(shí)例詳細(xì)闡述基于SQL Server窗口函數(shù)的算法實(shí)踐。事實(shí)證明，窗口函數(shù)是應(yīng)對大數(shù)據(jù)處理的一種有效解決方案[8]?，F(xiàn)假設(shè)有如表 6所示的若干原材料入庫表及表7所示的若干原材料使用表，經(jīng)過SQL代碼處理后得到關(guān)聯(lián)數(shù)據(jù)表 8。

3 實(shí)驗(yàn)數(shù)據(jù)分析

將原材料入庫表與原材料使用表取10%的數(shù)據(jù)作為實(shí)驗(yàn)數(shù)據(jù)。表9、表10為傳統(tǒng)成本計(jì)算模型與先進(jìn)先出的并行化算法比較。

由表 9、表 10可知，基于先進(jìn)先出的并行算法相比一般串行算法邏輯有時(shí)間效率優(yōu)勢，且當(dāng)數(shù)據(jù)量越來越大時(shí)，時(shí)間效率越發(fā)明顯。同時(shí)算法計(jì)算誤差與傳統(tǒng)算法計(jì)算誤差一致，因此該算法在提升時(shí)間效率的同時(shí)保證了算法計(jì)算誤差沒有擴(kuò)大。

4 結(jié)語

在SQL Server2012環(huán)境中使用窗口函數(shù)對大數(shù)據(jù)樣本進(jìn)行處理，實(shí)踐證明使用先進(jìn)先出的并行化計(jì)算邏輯后，相比傳統(tǒng)算法降低了時(shí)間復(fù)雜度，同時(shí)計(jì)算誤差上沒有擴(kuò)大，說明基于先進(jìn)先出的并行化成本計(jì)算模型在大數(shù)據(jù)環(huán)境下比傳統(tǒng)成本算法擁有更好的性能。未來可引入更加精確的成本計(jì)算方法如基于產(chǎn)品特征的成本計(jì)算模型以提高成本計(jì)算精度，同時(shí)針對時(shí)間效率可在并行化模式基礎(chǔ)上加入排序算法以優(yōu)化數(shù)據(jù)存取效率，從而進(jìn)一步降低算法的時(shí)間復(fù)雜度。

參考文獻(xiàn)：

[1] 吳晶晶. 基于先進(jìn)先出計(jì)價(jià)的約當(dāng)產(chǎn)量比例法應(yīng)用問題研究[J]. 赤峰學(xué)院學(xué)報(bào)：自然科學(xué)版，2017， 33（11）：130-132.

[2] 王大江. 基于先進(jìn)先出計(jì)價(jià)的約當(dāng)產(chǎn)量法研究[J]. 渭南師范學(xué)院學(xué)報(bào)，2015， 30（2）：85-89.

[3] 韋金興. 用編程的方法處理數(shù)據(jù)庫中多對多關(guān)系——以計(jì)量標(biāo)準(zhǔn)和計(jì)量設(shè)備為例[J]. 計(jì)算機(jī)光盤軟件與應(yīng)用，2014（20）：92-93.

[4] 覃遠(yuǎn)霞. 基于關(guān)系數(shù)據(jù)庫的對象/關(guān)系映射研究[J]. 科技風(fēng)，2008（5）：54-55.

[5] 喬平安，顏景善，周敏. 基于Linux系統(tǒng)的構(gòu)建高性能服務(wù)器的研究[J]. 計(jì)算機(jī)與數(shù)字工程，2016（4）：653-657.

[6] 林瓏. 存貨計(jì)價(jià)與核算的研究[J]. 當(dāng)代經(jīng)濟(jì)，2015（9）：120-121.

[7] 財(cái)政部. 企業(yè)會計(jì)準(zhǔn)則 [M]. 北京：經(jīng)濟(jì)科學(xué)出版社，2006.

[8] 宋光旋，趙大鵬，王曉玲. IM2：一種改進(jìn)的MIN/MAX窗口函數(shù)優(yōu)化技術(shù)[J]. 華東師范大學(xué)學(xué)報(bào)：自然科學(xué)版，2018（1）：104-116.

[9] 李帥，吳斌，杜修明，等. 基于Spark的BIRCH算法并行化的設(shè)計(jì)與實(shí)現(xiàn)[J]. 計(jì)算機(jī)工程與科學(xué)，2017， 39（1）：35-41.

[10] 李慧彥. 一種并行化的分類算法研究[J]. 智能計(jì)算機(jī)與應(yīng)用， 2017，7（3）：127-129.

[11] 蔡洪基. 從網(wǎng)狀到關(guān)系數(shù)據(jù)庫映射的研究[D]. 天津：南開大學(xué)， 2007.

[12] 林菁. 一種從關(guān)系數(shù)據(jù)庫到XML映射方法的研究及應(yīng)用[J]. 電腦知識與技術(shù)，2006（20）：17-19.

[13] 楊景常，周國權(quán). 先進(jìn)先出（FIF0）存儲器技術(shù)在高速數(shù)據(jù)采集中的應(yīng)用[J]. 西華大學(xué)學(xué)報(bào)：自然科學(xué)版， 2002， 21（2）：20-21.

[14] 溫惠英，徐建閩，鄒亮. 基于遺傳算法的離散時(shí)間動態(tài)網(wǎng)絡(luò)最短路徑求解[J]. 華南理工大學(xué)學(xué)報(bào)：自然科學(xué)版，2008，36（2）：13-16.

[15] 張帆，邵之江，仲衛(wèi)濤，等. 基于Matlab的分布式并行優(yōu)化計(jì)算環(huán)境[J]. 系統(tǒng)仿真學(xué)報(bào)，2002，14（9）：1145-1148.

[16] 賀繼剛，楊曉偉，吳廣潮，等. 基于模板保留的快速并行細(xì)化算法[J]. 計(jì)算機(jī)應(yīng)用與軟件，2007，24（12）：26-28.

[17] 李俠民，徐美瑞. ?兩個(gè)快速的完全的并行細(xì)化算法[J]. 計(jì)算機(jī)研究與發(fā)展，1996（7）：521-527.

[18] 劉漢興，田緒紅，孫微微. 基于Web的XML與數(shù)據(jù)庫映射[J]. 現(xiàn)代計(jì)算機(jī)，2002（11）：83-86.

[19] 劉喜重，朱玉文，但軍波，等. OOAD中的信息結(jié)構(gòu)及數(shù)據(jù)庫映射的實(shí)現(xiàn)[J]. 計(jì)算機(jī)工程與應(yīng)用， 2005， 41（30）：169-170.

[20] 魏群，段國林，蔡瑾，等. ?STEP模型基于數(shù)據(jù)倉庫的關(guān)系數(shù)據(jù)庫映射實(shí)現(xiàn)[J]. 機(jī)械設(shè)計(jì)與制造，2010（5）：209-211.

（責(zé)任編輯：杜能鋼）