●山東農(nóng)業(yè)大學(xué)經(jīng)濟(jì)管理學(xué)院 張明敏 董雪艷
大數(shù)據(jù)技術(shù)在會計(jì)中的應(yīng)用初探
●山東農(nóng)業(yè)大學(xué)經(jīng)濟(jì)管理學(xué)院 張明敏 董雪艷
信息技術(shù)的迅猛發(fā)展對會計(jì)工作產(chǎn)了的影響日益廣泛。會計(jì)工作可以采用更先進(jìn)的技術(shù)來提高效率,實(shí)現(xiàn)會計(jì)的目的。本文探討了大數(shù)據(jù)技術(shù)的內(nèi)涵、大數(shù)據(jù)的相關(guān)技術(shù)及其在會計(jì)中的應(yīng)用,并對大數(shù)據(jù)應(yīng)用的未來趨勢和挑戰(zhàn)進(jìn)行了展望。
大數(shù)據(jù) 大數(shù)據(jù)技術(shù) 會計(jì)
目前,大數(shù)據(jù)技術(shù)已經(jīng)融合并促進(jìn)了很多行業(yè)的發(fā)展,也使得數(shù)據(jù)作為早已存在的“新興資源”而萬般得寵。在會計(jì)領(lǐng)域,“大數(shù)據(jù)+會計(jì)”的模式必定將推動會計(jì)在新信息時代的變革,由此產(chǎn)生的“大會計(jì)”能夠體現(xiàn)企事業(yè)單位、政府、國家的綜合數(shù)據(jù)處理能力。大數(shù)據(jù)相關(guān)技術(shù)應(yīng)用于會計(jì)是“大會計(jì)”面世的第一步,這不僅是會計(jì)理論變革的需要,更是會計(jì)在實(shí)際應(yīng)用中的需要。
(一)大數(shù)據(jù)技術(shù)的定義。大數(shù)據(jù)技術(shù)實(shí)質(zhì)是信息技術(shù)的一種。正是因?yàn)樾畔⒓夹g(shù)的應(yīng)用才使會計(jì)信息化被提出來并成為現(xiàn)實(shí);同時,會計(jì)信息是個體提供者提供的信息,這些個體信息只有匯集才能成為宏觀經(jīng)濟(jì)決策的有用信息,這種匯集本身就是信息技術(shù)。因此,信息技術(shù)是指在管理與處理各種信息過程中所應(yīng)用的各種相關(guān)技術(shù)的總稱,其顯著特點(diǎn)是通過相關(guān)技術(shù)手段,“非接觸”地實(shí)現(xiàn)相應(yīng)的信息溝通目的。
具體來說,大數(shù)據(jù)技術(shù)是指幫助人們對大容量、多種類、高速產(chǎn)生的數(shù)據(jù)進(jìn)行獲取、存儲和分析,最終提取出有價值的信息并且要保障整個過程中的數(shù)據(jù)安全的技術(shù)??梢岳斫鉃?,大數(shù)據(jù)技術(shù)是具有從各種各樣類型的數(shù)據(jù)中,快速獲得有價值信息的能力的信息技術(shù)。當(dāng)前大數(shù)據(jù)存在兩條主要技術(shù)路線,一條是基于集群技術(shù)的數(shù)據(jù)資源整合技術(shù),將分散的計(jì)算和存儲資源整合輸出;另一條是基于虛擬機(jī)技術(shù)的數(shù)據(jù)資源切分技術(shù)。這兩條技術(shù)路線應(yīng)用在會計(jì)領(lǐng)域?qū)?jì)信息集成整合,并根據(jù)不同會計(jì)信息使用者的需求進(jìn)行資源切分后輸出相應(yīng)財(cái)務(wù)報表或財(cái)務(wù)圖等可視化結(jié)果。
(二)大數(shù)據(jù)技術(shù)鏈。大數(shù)據(jù)技術(shù)鏈?zhǔn)侵复髷?shù)據(jù)技術(shù)在信息處理過程中形成的各技術(shù)環(huán)節(jié)及相互關(guān)系,表現(xiàn)為:數(shù)據(jù)采集、數(shù)據(jù)組織、數(shù)據(jù)分析、數(shù)據(jù)應(yīng)用、數(shù)據(jù)再利用、數(shù)據(jù)投資幾個環(huán)節(jié)。一個信息技術(shù)企業(yè)的內(nèi)部組織結(jié)構(gòu)可以概括為組織與管理層、分析與發(fā)現(xiàn)層、應(yīng)用與服務(wù)層三個層次。數(shù)據(jù)的采集、組織、對應(yīng)組織管理層,數(shù)據(jù)分析對應(yīng)分析與發(fā)現(xiàn)層,數(shù)據(jù)的利用和再利用對應(yīng)的是應(yīng)用與服務(wù)層。不同的大數(shù)據(jù)技術(shù)鏈環(huán)節(jié)所使用的大數(shù)據(jù)技術(shù)不同。可以看出,大數(shù)據(jù)技術(shù)鏈環(huán)節(jié)與相應(yīng)的組織結(jié)構(gòu)在會計(jì)應(yīng)用中仍適用,大數(shù)據(jù)技術(shù)鏈帶來的數(shù)據(jù)市場的細(xì)分也將會改變傳統(tǒng)會計(jì)的組織結(jié)構(gòu)。
大數(shù)據(jù)的產(chǎn)生、組織和處理主要是通過分布式文件處理系統(tǒng)來實(shí)現(xiàn)的,主流的技術(shù)是Hadoop+Mapreduce。其中Hadoop的分布式文件處理系統(tǒng)(HDFS)作為大數(shù)據(jù)存儲的框架,分布式計(jì)算框架MapReduce作為大數(shù)據(jù)處理的框架。
(一)大數(shù)據(jù)存儲技術(shù)。數(shù)據(jù)存儲的第一步是在數(shù)據(jù)源中進(jìn)行數(shù)據(jù)的抽取和清洗。數(shù)據(jù)抽取時通常由抽取規(guī)則驅(qū)動一個通用抽取算法在數(shù)據(jù)源中搜索與抽取規(guī)則匹配的數(shù)據(jù)對象。數(shù)據(jù)清洗是對數(shù)據(jù)源進(jìn)行詳細(xì)分析后,將從單個或多個數(shù)據(jù)源中抽取的原始數(shù)據(jù)(不純、含有雜質(zhì),有人也稱為臟數(shù)據(jù))經(jīng)過一系列轉(zhuǎn)化使其成為滿足數(shù)據(jù)質(zhì)量要求的數(shù)據(jù)。
傳統(tǒng)的結(jié)構(gòu)型數(shù)據(jù)庫SQL已經(jīng)不適用于大數(shù)據(jù)存儲,非關(guān)系型分布式數(shù)據(jù)庫NoSQL是實(shí)現(xiàn)HDFS的主要技術(shù)。海量數(shù)據(jù)存儲的關(guān)鍵技術(shù)在于數(shù)據(jù)分塊存儲和容錯機(jī)制,世界領(lǐng)先的大數(shù)據(jù)應(yīng)用平臺Hadoop正是為解決這一問題而研發(fā)的技術(shù),它能夠存儲的數(shù)據(jù)量在PB級別以上,并且針對非結(jié)構(gòu)化數(shù)據(jù)也能很好地處理。(1)分塊存儲技術(shù):HDFS是Hadoop的分布式文件處理系統(tǒng),采用的是元數(shù)據(jù)集中管理與數(shù)據(jù)分塊存儲相結(jié)合的分塊策略,切分文件是根據(jù)文件的邏輯記錄結(jié)構(gòu)進(jìn)行切分,保證邏輯記錄的完整性,同時形成虛擬的全局邏輯目錄,以供數(shù)據(jù)處理和分析時,系統(tǒng)通過文件的邏輯目錄順利地找到被分割后的文件塊并對該文件塊進(jìn)行處理;(2)容錯機(jī)制:通過數(shù)據(jù)的副本策略來實(shí)現(xiàn)高度容錯,HDFS中的文件通常有3個復(fù)制的塊,除了自身的塊外,另外兩個塊用于容錯機(jī)制,即在文件本身由于磁盤損壞、系統(tǒng)故障等原因而失效后,將啟用復(fù)制塊用于失效的恢復(fù)??傊?,副本策略保證了文件存儲的高可靠性,分塊策略保證數(shù)據(jù)并發(fā)讀寫的效率并且是MapReduce(Hadoop的分布式計(jì)算框架)實(shí)現(xiàn)并行數(shù)據(jù)處理的基礎(chǔ)。
(二)大數(shù)據(jù)查詢和分析技術(shù)
1.大數(shù)據(jù)查詢技術(shù)。SQL on Hadoop技術(shù)建立在Hadoop之上,專門用于大數(shù)據(jù)存儲的非關(guān)系型數(shù)據(jù)庫進(jìn)行查詢和分析,但目前還處于起步階段。SQL on Hadoop的技術(shù)實(shí)現(xiàn)原理有多維數(shù)據(jù)庫并行處理技術(shù)和表分區(qū)技術(shù)。
(1)多維數(shù)據(jù)庫并行處理技術(shù):通過對查詢語句進(jìn)行分析、優(yōu)化,根據(jù)分析的結(jié)果將查詢分解或復(fù)制為多個等價的子查詢,將子查詢語句在相應(yīng)的數(shù)據(jù)庫節(jié)點(diǎn)上執(zhí)行,它降低了每個本地?cái)?shù)據(jù)庫的查詢規(guī)模,并實(shí)現(xiàn)查詢的本地化并行查詢,提高了數(shù)據(jù)的查詢效率。(2)表分區(qū)技術(shù):經(jīng)表分區(qū)后,數(shù)據(jù)在數(shù)據(jù)庫中按一定的規(guī)律存放。當(dāng)進(jìn)行數(shù)據(jù)查詢時,系統(tǒng)只需掃描存放數(shù)據(jù)的響應(yīng)表分區(qū),查詢掃描規(guī)模可以大大降低,數(shù)據(jù)查詢性能也會得到相應(yīng)的提高。
2.大數(shù)據(jù)分析技術(shù)。大數(shù)據(jù)分析技術(shù)又稱數(shù)據(jù)挖掘技術(shù),是大數(shù)據(jù)應(yīng)用的核心部分。數(shù)據(jù)挖掘的目的是從數(shù)據(jù)中挖掘隱含的信息,進(jìn)而發(fā)現(xiàn)知識。數(shù)據(jù)挖掘采用較多的數(shù)據(jù)有決策樹、分類、聚類、粗糙集、回歸分析、關(guān)聯(lián)規(guī)則、特征分析、神經(jīng)網(wǎng)絡(luò)、遺傳算法等。其中決策樹、分類、聚類、粗糙集都是對數(shù)據(jù)進(jìn)行分類的技術(shù),使得同一類別數(shù)據(jù)間的相似性盡可能大,不同類別數(shù)據(jù)間的相似性盡可能?。粩?shù)據(jù)分類之后,回歸分析、關(guān)聯(lián)歸則、特征分析和神經(jīng)網(wǎng)絡(luò)都是對隱藏在數(shù)據(jù)間的關(guān)系和趨勢特征進(jìn)行挖掘的技術(shù);遺傳算法是被用來評估其他算法適合度的技術(shù)。
另外,數(shù)據(jù)分析的結(jié)果呈現(xiàn)由可視化技術(shù)來完成,一種是可視化分析報表,用圖和表來描述數(shù)據(jù)分析結(jié)果;另一種是可視化分析,得到的是一個數(shù)據(jù)集的統(tǒng)一的視圖,點(diǎn)擊餅圖或者柱圖,相關(guān)分析結(jié)果可以進(jìn)一步展現(xiàn)。
(三)大數(shù)據(jù)安全技術(shù)。據(jù)統(tǒng)計(jì),過去十年間,網(wǎng)絡(luò)安全漏洞增加了8倍,安全問題不解決,同樣會成為大數(shù)據(jù)發(fā)展道路上的障礙。
1.大數(shù)據(jù)安全存儲技術(shù)。大數(shù)據(jù)安全存儲技術(shù)主要有數(shù)據(jù)加密、分離密鑰和加密數(shù)據(jù)、使用過濾器、數(shù)據(jù)備份、加強(qiáng)細(xì)粒度授權(quán)管理。這些技術(shù)的目的主要是:為數(shù)據(jù)流的上傳與下載提供有效的保護(hù);把數(shù)據(jù)使用與數(shù)據(jù)保管相分離,把密鑰與要保護(hù)的數(shù)據(jù)隔離開;一旦發(fā)現(xiàn)數(shù)據(jù)離開了用戶的網(wǎng)絡(luò),就自動阻止數(shù)據(jù)的再次傳輸;定期通過系統(tǒng)容災(zāi)、敏感信息集中管控和數(shù)據(jù)管理等產(chǎn)品,實(shí)現(xiàn)對端對端的數(shù)據(jù)保護(hù);根據(jù)大數(shù)據(jù)的密級程度和用戶需求的不同,將大數(shù)據(jù)和用戶設(shè)定不同的權(quán)限等級,并嚴(yán)格控制訪問權(quán)限。
2.大數(shù)據(jù)采集和傳輸安全技術(shù)。大數(shù)據(jù)采集技術(shù)使用身份認(rèn)證、數(shù)據(jù)加密、完整性保護(hù)等安全機(jī)制來應(yīng)對可能出現(xiàn)的數(shù)據(jù)損壞、數(shù)據(jù)丟失、數(shù)據(jù)泄露、數(shù)據(jù)竊取等安全威脅;大數(shù)據(jù)傳輸安全采用的技術(shù)和實(shí)現(xiàn)目的有目的端認(rèn)證源端的身份以確保數(shù)據(jù)的真實(shí)性、數(shù)據(jù)加密以滿足數(shù)據(jù)機(jī)密性的要求、密文數(shù)據(jù)后附加MAC(消息認(rèn)證碼)以達(dá)到數(shù)據(jù)完整性保護(hù)的目的、數(shù)據(jù)分組中加入時間戳或不可重復(fù)的標(biāo)識來保證數(shù)據(jù)抵抗重放攻擊的能力。
3.大數(shù)據(jù)挖掘安全技術(shù)。數(shù)據(jù)挖掘過程中首要解決的安全問題是對數(shù)據(jù)挖掘者的身份認(rèn)證和訪問管理。(1)對挖掘者進(jìn)行身份認(rèn)證是為了證實(shí)用戶的真實(shí)身份與其所稱的身份是否相符,進(jìn)行身份認(rèn)證時可以使用基于秘密信息(如ID、口令、密鑰等)的身份認(rèn)證技術(shù)、基于信物(如信用卡、智能卡、令牌等)的身份認(rèn)證技術(shù)和基于生物(如指紋、聲音、虹膜等)特征的身份認(rèn)證技術(shù)等。(2)訪問控控制是進(jìn)行數(shù)據(jù)安全保護(hù)的核心策略,常見的訪問控制模式主要有自主訪問控制、強(qiáng)制訪問控制、基于角色的訪問控制。其特征分別是能夠授予或收回其他主體的訪問權(quán)限、根據(jù)安全策略強(qiáng)制控制用戶的訪問權(quán)限、通過對角色授權(quán)來控制用戶對系統(tǒng)資源的訪問。
4.大數(shù)據(jù)發(fā)布安全技術(shù)。在進(jìn)行數(shù)據(jù)挖掘后,要向數(shù)據(jù)使用者輸出可視化結(jié)果,數(shù)據(jù)發(fā)布的主要安全技術(shù)是安全審計(jì)。對大數(shù)據(jù)進(jìn)行安全審計(jì)的角度主要有大數(shù)據(jù)日志、網(wǎng)絡(luò)監(jiān)聽、網(wǎng)關(guān)設(shè)備、代理審計(jì),能過這些層面記錄與系統(tǒng)安全有關(guān)的活動,對其進(jìn)行處理、評估審查,查找安全隱患,并對出現(xiàn)的問題進(jìn)行分析和處理。但是再嚴(yán)密的審計(jì)手段也難免有疏漏之處,在數(shù)據(jù)發(fā)布之后,如果出現(xiàn)機(jī)密、隱私的外泄等安全問題,就需要采用數(shù)據(jù)溯源技術(shù),及時準(zhǔn)確地定位到出現(xiàn)問題的環(huán)節(jié)和責(zé)任者,以便對數(shù)據(jù)安全問題的解決。
(一)信息技術(shù)在會計(jì)中應(yīng)用的階段性成果。會計(jì)與信息技術(shù)的關(guān)系不僅表現(xiàn)為會計(jì)對信息技術(shù)的利用,還表現(xiàn)在信息技術(shù)對會計(jì)產(chǎn)生的重大影響。信息技術(shù)在會計(jì)中的應(yīng)用經(jīng)歷過了兩個階段:會計(jì)電算化階段和企業(yè)資源計(jì)劃(ERP)階段。
電算化為會計(jì)帶來的變革主要是擺脫了手工做賬的煩瑣,實(shí)現(xiàn)會計(jì)數(shù)據(jù)處理的加速。其明顯優(yōu)勢是大幅提高了工作效率并通過節(jié)省人力、物力降低了會計(jì)成本,但形成了企業(yè)內(nèi)部各部門間的信息孤島現(xiàn)象;
企業(yè)資源計(jì)劃(ERP)則使得會計(jì)信息與其他部門信息處于同一信息系統(tǒng)中,將企業(yè)的物流、財(cái)流、人流、信息流集成在一起,作為整體為企業(yè)管理提供依據(jù),企業(yè)內(nèi)部的信息孤島問題得到緩解,但企業(yè)內(nèi)部與企業(yè)外部間又產(chǎn)生了新的信息孤島。
(二)大數(shù)據(jù)技術(shù)在會計(jì)中的應(yīng)用。據(jù)統(tǒng)計(jì),會計(jì)信息滿足了人們從事經(jīng)濟(jì)管理所需要的70%以上的信息,現(xiàn)在大數(shù)據(jù)技術(shù)作為信息技術(shù)的前沿理所應(yīng)當(dāng)應(yīng)用在最創(chuàng)造價值的會計(jì)數(shù)據(jù)的分析中。
1.?dāng)?shù)據(jù)存儲。會計(jì)人員可以利用大數(shù)據(jù)存儲技術(shù)提高未來會計(jì)大數(shù)據(jù)存儲的條理性、整潔性、容錯性,當(dāng)需要對會計(jì)數(shù)據(jù)進(jìn)行處理時可以迅速、便捷、安全地抽取所需數(shù)據(jù);如果會計(jì)數(shù)據(jù)在處理過程中丟失或毀損,大數(shù)據(jù)的副本策略可以對數(shù)據(jù)及時恢復(fù),保障數(shù)據(jù)的完整性。通過結(jié)構(gòu)優(yōu)化的數(shù)據(jù)擴(kuò)展了會計(jì)數(shù)據(jù)的維度,多維度的數(shù)據(jù)交叉有助于將零碎的數(shù)據(jù)整合為有用的信息,而局部的信息又可以堆積成一個知識,進(jìn)而提升了信息的質(zhì)量。
2.?dāng)?shù)據(jù)查詢和分析。大數(shù)據(jù)查詢和分析技術(shù)應(yīng)用在會計(jì)中可以對所有相關(guān)數(shù)據(jù)進(jìn)行分析,而不僅局限于財(cái)務(wù)數(shù)據(jù);更加關(guān)注會計(jì)主體的外部信息,而不僅限于內(nèi)部的數(shù)據(jù)。大數(shù)據(jù)查詢技術(shù)不僅是數(shù)據(jù)分析人員查詢目標(biāo)數(shù)據(jù)的工具,還可以滿足稅務(wù)、銀行、利益相關(guān)者等對原始數(shù)據(jù)查閱的需求,因而在一定程度上解決了企業(yè)內(nèi)部與外部之間的信息孤島問題。各種分析方法下的會計(jì)數(shù)據(jù)分類、挖掘、效果評估增強(qiáng)了會計(jì)數(shù)據(jù)的可靠性??梢暬夹g(shù)使分析結(jié)果的呈現(xiàn)更加多樣化,在一定程度上使會計(jì)數(shù)據(jù)的可理解性得到提升。會計(jì)走向大數(shù)據(jù)的趨勢也必然是包含大量的非結(jié)構(gòu)化數(shù)據(jù),全面挖掘大數(shù)據(jù)與未來實(shí)現(xiàn)會計(jì)輔助決策和創(chuàng)造經(jīng)濟(jì)利潤的目標(biāo)密不可分。
3.?dāng)?shù)據(jù)安全。會計(jì)數(shù)據(jù)安全關(guān)系到企事業(yè)單位甚至國家利益的重大問題,因此會計(jì)安全問題也是會計(jì)主體接受信息技術(shù)時考慮的基礎(chǔ)問題。一系列的大數(shù)據(jù)安全技術(shù)為采集、傳輸、存儲、挖掘、發(fā)布等各個環(huán)節(jié)中會計(jì)數(shù)據(jù)的安全性提供保障,不論是基礎(chǔ)數(shù)據(jù)還是加工數(shù)據(jù),凡是涉及會計(jì)主體機(jī)密的敏感數(shù)據(jù)可以受到很好的保護(hù),會計(jì)主體更愿意接受大數(shù)據(jù)技術(shù)。這樣未來的會計(jì)數(shù)據(jù)市場才有可能發(fā)展起來,為會計(jì)信息需求者提供個性化的選擇。
大數(shù)據(jù)技術(shù)廣泛應(yīng)用于實(shí)踐,包括應(yīng)用于會計(jì),才能體現(xiàn)它的潛在價值,也能發(fā)現(xiàn)大數(shù)據(jù)技術(shù)存在的弊病,促進(jìn)大數(shù)據(jù)技術(shù)的改良。“大數(shù)據(jù)+會計(jì)”模式必定會為會計(jì)開創(chuàng)新的天地。
大數(shù)據(jù)技術(shù)的發(fā)展給會計(jì)變革帶來了新的機(jī)遇,但同時也面對著大數(shù)據(jù)質(zhì)量管理等大數(shù)據(jù)治理方面的難題,是否會有越來越多的“臟數(shù)據(jù)”混入真實(shí)數(shù)據(jù)之中,數(shù)據(jù)的抽取和清洗技術(shù)又能否實(shí)現(xiàn)高清度的數(shù)據(jù)過濾;另外,數(shù)據(jù)產(chǎn)權(quán)問題也被提出來,大數(shù)據(jù)產(chǎn)權(quán)的有無、多少應(yīng)該怎樣界定,數(shù)據(jù)產(chǎn)權(quán)是屬于某個人還是某個組織,人們?yōu)榱吮Wo(hù)數(shù)據(jù)記錄的個人隱私是否會趨向于“數(shù)字化節(jié)制”時代的發(fā)展,抑或是“個人數(shù)據(jù)超市”將興起;會計(jì)人員及會計(jì)信息使用者的信息技術(shù)水平會影響大數(shù)據(jù)技術(shù)在會計(jì)中的應(yīng)用進(jìn)程;能否及時建立完善的大數(shù)據(jù)標(biāo)準(zhǔn)和大數(shù)據(jù)法律保護(hù)機(jī)制以創(chuàng)造大數(shù)據(jù)發(fā)展的良好環(huán)境等等都是值得關(guān)注的問題。會計(jì)數(shù)據(jù)作為大數(shù)據(jù)帝國的一員,應(yīng)當(dāng)緊跟大數(shù)據(jù)發(fā)展的步伐,積極做出自身的調(diào)整并為大數(shù)據(jù)的進(jìn)一步發(fā)展做出一定的貢獻(xiàn)?!?/p>
1.鮑亮、李倩.2014.實(shí)戰(zhàn)大數(shù)據(jù)[M].清華大學(xué)出版社。
2.陳輝.2012.信息技術(shù)在會計(jì)中的具體應(yīng)用[J].會計(jì)師,1。
3.沈弋、徐光華、王正艷.2014.“言行一致”的企業(yè)社會責(zé)任信息披露——大數(shù)據(jù)環(huán)境下的演化框架[J].中國會計(jì)學(xué)會環(huán)境會計(jì)專業(yè)委員會2014學(xué)術(shù)年會論文集。
4.蘇對泳、譚琳.2014.大數(shù)據(jù)技術(shù)及其在信息系統(tǒng)中的應(yīng)用[J].計(jì)算機(jī)光盤軟件與應(yīng)用,2。
5.王鵬、黃焱等.2014.云計(jì)算與大數(shù)據(jù)技術(shù)[M].人民郵電出版社。
6.張尼、張?jiān)朴碌?2014.大數(shù)據(jù)安全技術(shù)與應(yīng)用[M].人民郵電出版社。
7.趙剛.2013.大數(shù)據(jù):技術(shù)與應(yīng)用實(shí)踐指南[M].電子工業(yè)出版社,10。
8.鄭樓英.2007.數(shù)據(jù)挖掘技術(shù)在會計(jì)信息系統(tǒng)中的應(yīng)用初探[J].財(cái)會研究,6。