基于區(qū)塊鏈的安全可信分布式大數(shù)據(jù)管理系統(tǒng)

蔣宇

【摘要】? ? 本文設(shè)計(jì)一種應(yīng)用區(qū)塊鏈技術(shù)的大數(shù)據(jù)管理系統(tǒng)及方法，涉及區(qū)塊鏈技術(shù)領(lǐng)域，本發(fā)明 包括數(shù)據(jù)庫層、區(qū)塊鏈層、數(shù)據(jù)共享層和數(shù)據(jù)應(yīng)用層，本發(fā)明通過采用區(qū)塊鏈技術(shù)，實(shí)現(xiàn)大數(shù)據(jù)管理，構(gòu)建出包括數(shù)據(jù)庫層、區(qū)塊鏈層、數(shù)據(jù)共享層和數(shù)據(jù)應(yīng)用層的架構(gòu)體系，充分利用區(qū)塊鏈技術(shù)的去中心化、不可篡改、分布式共同記賬、非對(duì)稱加密和數(shù)據(jù)安全存儲(chǔ)等特點(diǎn)，實(shí)現(xiàn)數(shù)據(jù)的交互。

【關(guān)鍵詞】? ? 區(qū)塊鏈? ? 大數(shù)據(jù)管理系統(tǒng)? ? 設(shè)計(jì)

Abstract： This article designs a big data management system and method using blockchain technology， involving the field of blockchain technology. The invention includes a database layer， a blockchain layer， a data sharing layer， and a data application layer. Block chain technology realizes big data management， builds an architecture system including database layer， blockchain layer， data sharing layer and data application layer， and makes full use of the decentralized， non-tamperable， distributed shared accounting of blockchain technology ， Asymmetric encryption and data security storage features to achieve data interaction. This article uses encryption and decryption functions to realize the encryption and decryption of big data， and improves the data security performance; the present invention also uses a sharing algorithm to realize data sharing in the blockchain， making full use of the sharing mechanism， and has decentralization， The advantages of trustlessness and data encryption can better solve the data management problems in big data applications.

Keywords： Blockchain; Big Data Management System; Design

前言

在大數(shù)據(jù)應(yīng)用場景不斷增加的同時(shí)，其存在的一些問題，其弊端也逐漸凸顯出來，具體體現(xiàn)在以下3個(gè)方面：（1）由于數(shù)據(jù)量的增加以及數(shù)據(jù)處理速度的提升，傳統(tǒng)的數(shù)據(jù)加密手段和安全檢測機(jī)制很難應(yīng)對(duì)，數(shù)據(jù)在傳輸過程中的保密性大大下降，數(shù)據(jù)面臨著被竊的可能性;（2）隨著人們對(duì)數(shù)據(jù)的依賴越來越重，數(shù)據(jù)的價(jià)值也不斷提升，數(shù)據(jù)的交換、交易行為以及相關(guān)市場應(yīng)運(yùn)而生，目前數(shù)據(jù)的共享能力難以滿足當(dāng)前的需要。第三次工業(yè)革命使科學(xué)技術(shù)迅速的發(fā)展，為各個(gè)企業(yè)帶來了機(jī)遇和挑戰(zhàn)。隨著消費(fèi)升級(jí)，概念、層次、方式也發(fā)生了極大的變化，數(shù)據(jù)呈爆炸式增長，大數(shù)據(jù)的概念也被社會(huì)各界所重視。本文主要對(duì)大數(shù)據(jù)時(shí)代對(duì)商業(yè)模式影響進(jìn)行研究和分析，明確現(xiàn)存商業(yè)模式的問題，并提出對(duì)應(yīng)的策略，增加企業(yè)的綜合實(shí)力和競爭力。

一、區(qū)域鏈

1.1區(qū)塊鏈結(jié)構(gòu)

用區(qū)塊鏈所串接的分布式賬本能讓兩方有效地記錄交易，并且可以永久查詢驗(yàn)證此交易。比特幣系統(tǒng)是區(qū)塊鏈技術(shù)的第一個(gè)現(xiàn)實(shí)產(chǎn)業(yè)應(yīng)用，本小節(jié)以比特幣系統(tǒng)為例，對(duì)區(qū)塊鏈的數(shù)據(jù)結(jié)構(gòu)加以說明。區(qū)塊鏈數(shù)據(jù)結(jié)構(gòu)如圖 1所示。

1.2區(qū)塊鏈基礎(chǔ)架構(gòu)模型

區(qū)塊鏈?zhǔn)谴罱ㄔ陂_放互聯(lián)的計(jì)算機(jī)網(wǎng)絡(luò)上的，需要借助網(wǎng)絡(luò)的通訊能力為其傳輸各種信息。區(qū)塊鏈基礎(chǔ)架構(gòu)與國際標(biāo)準(zhǔn)化組織制定的開放式系統(tǒng)互聯(lián)極其相似：開放式系統(tǒng)互聯(lián)模型把網(wǎng)絡(luò)通信的工作分為 7 層，分別是物理層、數(shù)據(jù)鏈路層、網(wǎng)絡(luò)層、傳輸層、會(huì)話層、表示層和應(yīng)用層;區(qū)塊鏈系統(tǒng)則依據(jù)功能的不同將其基礎(chǔ)架構(gòu)則分為 6 層，由低到高依次為數(shù)據(jù)層、網(wǎng)絡(luò)層、共識(shí)層、激勵(lì)層、合約層和應(yīng)用層組成。

1.3區(qū)塊鏈核心技術(shù)

區(qū)塊鏈最初被提出時(shí)，是為了解決在互不相識(shí)的網(wǎng)絡(luò)環(huán)境中，雙方在沒有第三方認(rèn)證機(jī)構(gòu)的存在下進(jìn)行安全交易的問題，即創(chuàng)建一種在沒有可信任方的情況下通過通信信道進(jìn)行支付的機(jī)制，也就是本文中常說的去中心化機(jī)制。為了解決雙方之間的交易信任以及交易安全問題，區(qū)塊鏈提出了四大核心技術(shù)以解決此問題：分布式賬本、加密技術(shù)、共識(shí)機(jī)制以及智能合約。

1.4區(qū)塊鏈的分類

一般來說，按照去中心化的程度將區(qū)塊鏈分為公有鏈、聯(lián)盟鏈以及私有鏈。在三種鏈中

公有鏈的去中心化程度最高，幾乎達(dá)到了完全去中心化;聯(lián)盟鏈?zhǔn)侨踔行幕?私有鏈則是強(qiáng)中心化。

二、大數(shù)據(jù)管理系統(tǒng)的設(shè)計(jì)

2.1總體設(shè)計(jì)

數(shù)據(jù)協(xié)議是在不太影響挖掘效果的前提下對(duì)數(shù)據(jù)處理進(jìn)行簡化，可以有效提高挖掘效率。數(shù)據(jù)清洗保證了挖掘數(shù)據(jù)庫中數(shù)據(jù)的完整性和一致性，提高了數(shù)據(jù)挖掘的有效性。數(shù)據(jù)轉(zhuǎn)換就是根據(jù)挖掘目標(biāo)，將數(shù)據(jù)轉(zhuǎn)換成適合挖掘的形式。常用的方法有概念分層和數(shù)據(jù)離散化。

數(shù)據(jù)挖掘被稱為數(shù)據(jù)庫中的信息發(fā)現(xiàn)，即從大量數(shù)據(jù)中提取出有效的信息的高級(jí)處理模型。數(shù)據(jù)挖掘利用一些算法和計(jì)算從海量的繁雜的數(shù)據(jù)中提取所需要的知識(shí)和信息，它可以通過對(duì)歷史或者當(dāng)前的數(shù)據(jù)進(jìn)行分析與研究，來為未來的決策進(jìn)行判斷。

信息系統(tǒng)：設(shè)S=（U，A，V，f）為一個(gè)信息系統(tǒng)。其中，為有限非空集合，xi為對(duì)象或者元組;為屬性的有限非空集合。V是屬性值得集合，V=∪（Va），其中Va∈A，Va為屬性a的值域;f：U×A→V為信息函數(shù)。

關(guān)聯(lián)分析研究的關(guān)系分為兩種：簡單關(guān)聯(lián)關(guān)系和序列關(guān)聯(lián)關(guān)系。決定關(guān)系的三個(gè)基本度量：支持度（可信度）、置信度（支持度）和興趣度[2]。

（1）支持度：數(shù)據(jù)集包含某些特定項(xiàng)出現(xiàn)的概率。

（2）置信度=

（3）興趣度：數(shù)據(jù)之間的親密關(guān)系。興趣度大于1時(shí)，表示存在關(guān)聯(lián)關(guān)系。

設(shè)為項(xiàng)集，為屬性集。

關(guān)聯(lián)規(guī)則：，其中，，

設(shè)的項(xiàng)集為P，的項(xiàng)集為Q，記G=Q∪P

可信度，支持度

2.2數(shù)據(jù)庫層的設(shè)計(jì)

為了獲得有效的數(shù)據(jù)，需要進(jìn)行數(shù)據(jù)清洗、文本分割和特征降維。中文分詞有三個(gè)步驟，分別是填好詞典進(jìn)行分詞，使用分詞裝置，去掉停止詞以去掉無意義的詞。與文本挖掘方法相比，粒度更細(xì)，評(píng)分更合理。

在統(tǒng)計(jì)學(xué)中，把研究對(duì)象的全體叫做總體。構(gòu)成總體的每個(gè)數(shù)據(jù)成員就是個(gè)體。為了了解總體數(shù)據(jù)的特征，我們需要從總體中抽取樣本數(shù)據(jù)，為了能由樣本對(duì)總體做出可靠地判斷，抽取樣本時(shí)希望帶有隨機(jī)性和獨(dú)立性，同時(shí)要排除一些干擾項(xiàng)。

影響數(shù)據(jù)質(zhì)量的三個(gè)基本因素：準(zhǔn)確性、完整性和一致性[4]。影響數(shù)據(jù)質(zhì)量的另外兩個(gè)因素是可信性和可解釋性，可信性體現(xiàn)的是有多少數(shù)據(jù)是使用戶信任的，可解釋性體現(xiàn)的是數(shù)據(jù)能否容易了解。

導(dǎo)致不正確的數(shù)據(jù)可能有多種緣由的：

（1）收集數(shù)據(jù)的機(jī)器可能出故障或者是錯(cuò)誤;

（2）可能在數(shù)據(jù)錄入時(shí)出現(xiàn)人或計(jì)算機(jī)的失誤;

（3）當(dāng)個(gè)別用戶提交自己的個(gè)人信息時(shí)，想要保護(hù)自己的個(gè)人隱私，就有可能故意向強(qiáng)制輸入字段中輸入了不正確的值。

屬性子集則是選擇經(jīng)過刪除不相關(guān)或者冗余的屬性縮小數(shù)據(jù)量。

2.3區(qū)塊鏈層

區(qū)塊鏈層，其內(nèi)至少設(shè)置有區(qū)塊鏈系統(tǒng)，區(qū)塊鏈系統(tǒng)包括數(shù)據(jù)層、網(wǎng)絡(luò)層、共識(shí)層、激勵(lì)層和智能合約層，其中數(shù)據(jù)層利用Merkle樹進(jìn)行數(shù)據(jù)存儲(chǔ)，在結(jié)構(gòu)上通過區(qū)塊以鏈?zhǔn)降姆绞竭B接，并且數(shù)據(jù)結(jié)構(gòu)設(shè)置有加密單元、加密算法模塊和數(shù)據(jù)傳遞模塊;網(wǎng)絡(luò)層主要由錯(cuò)綜交織的網(wǎng)絡(luò)節(jié)點(diǎn)構(gòu)成，通過不同的網(wǎng)絡(luò)節(jié)點(diǎn)，利用點(diǎn)對(duì)點(diǎn)技術(shù)實(shí)現(xiàn)數(shù)據(jù)通訊和連接，使得處于區(qū)塊鏈網(wǎng)絡(luò)中的不同節(jié)點(diǎn)設(shè)備能夠互通互聯(lián)，在共識(shí)層中設(shè)置有共識(shí)機(jī)制，共識(shí)機(jī)制能夠?qū)^(qū)塊鏈網(wǎng)絡(luò)中設(shè)置的數(shù)據(jù)進(jìn)行一致性交互，從而具有較好的數(shù)據(jù)共識(shí)能力和數(shù)據(jù)防攻擊能力。

2.4數(shù)據(jù)共享層

數(shù)據(jù)共享層 ，其內(nèi)至少設(shè)置有節(jié)點(diǎn)服務(wù)器，節(jié)點(diǎn)服務(wù)器應(yīng)用于區(qū)塊鏈網(wǎng)絡(luò)中，并與區(qū)塊鏈節(jié)點(diǎn)連接。

2.5數(shù)據(jù)應(yīng)用層

數(shù)據(jù)應(yīng)用層，其內(nèi)至少設(shè)置有應(yīng)用服務(wù)器，應(yīng)用服務(wù)器通過無線通訊接口、RS232接口、USB接口或者遠(yuǎn)程通訊接口與加密數(shù)據(jù)庫連接，應(yīng)用服務(wù)器設(shè)置有解密單元;其中：數(shù)據(jù)庫層與區(qū)塊鏈層連接，區(qū)塊鏈層與數(shù)據(jù)共享層連接，數(shù)據(jù)共享層與數(shù)據(jù)應(yīng)用層連接。

三、結(jié)束語

高級(jí)數(shù)據(jù)分析則事源于80年代后期，是一門交叉性學(xué)科，融合了人工智能、統(tǒng)計(jì)學(xué)、數(shù)據(jù)庫技術(shù)等多種技術(shù)。傳統(tǒng)的大數(shù)據(jù)系統(tǒng)運(yùn)行較為復(fù)雜，成本較高，可以通過區(qū)域鏈的基礎(chǔ)上大數(shù)據(jù)管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，提高數(shù)據(jù)處理的速度與完整，起到較高的應(yīng)用價(jià)值。以實(shí)現(xiàn)經(jīng)濟(jì)價(jià)值使用當(dāng)今最先進(jìn)的互聯(lián)網(wǎng)技術(shù)的目的不僅使公司能夠準(zhǔn)確地了解消費(fèi)者的需求，以便他們生產(chǎn)并投放市場以滿足消費(fèi)需求另外，還可以大大減少企業(yè)獲取信息的時(shí)間，從而減少降低了成本，可用于企業(yè)的創(chuàng)新，生產(chǎn)，開發(fā)等生產(chǎn)活動(dòng)，并提高提高公司在市場競爭中的地位，使公司獲得巨大的經(jīng)濟(jì)效益受益，公司可以利用大數(shù)據(jù)為客戶提供更好的產(chǎn)品和服務(wù)，從而實(shí)現(xiàn)企業(yè)利潤的增長;通過使用大數(shù)據(jù)，公司還可以節(jié)省大量成本，更準(zhǔn)確地確定銷售目標(biāo)，降低風(fēng)險(xiǎn)并預(yù)測消費(fèi)者的潛在需求，以便最終達(dá)到靈活生產(chǎn)的目的，針對(duì)每個(gè)消費(fèi)者提供真正合適的產(chǎn)品和服務(wù)

參? 考? 文? 獻(xiàn)

[1]賀海武，延安，陳澤華.基于區(qū)塊鏈的智能合約技術(shù)與應(yīng)用綜述[J].計(jì)算機(jī)研究與發(fā)展，2018，55（11）：2452-2466.

[2]黃征，李祥學(xué)，來學(xué)嘉，等.區(qū)塊鏈技術(shù)及其應(yīng)用[J]. 信息安全研究，2017， 3（03）：237-245

[3]劉肖飛.基于動(dòng)態(tài)授權(quán)的拜占庭容錯(cuò)共識(shí)算法的區(qū)塊鏈性能改進(jìn)研究[D].杭州：浙江大學(xué)，2017

[4]沈鑫，裴慶祺，劉雪峰，等.區(qū)塊鏈技術(shù)綜述[J].網(wǎng)絡(luò)與信息安全學(xué)報(bào)，2016， 2（11）：11-20.

[5]宋燾誼，趙運(yùn)磊.區(qū)塊鏈共識(shí)算法的比較研究[J].計(jì)算機(jī)應(yīng)用與軟件，2018，35（08）：1-8.

[6]袁勇，王飛躍.區(qū)塊鏈技術(shù)發(fā)展現(xiàn)狀與展望[J].自動(dòng)化學(xué)報(bào)，2016，42：4.

[7]張健.區(qū)塊鏈：定義未來金融與經(jīng)濟(jì)新格局[M].北京：機(jī)械工業(yè)出版社，2016.

[8] Justin OConnell. What Are the Use Cases for Private Blockchains？ The Experts Weigh In[J]. Bitcoin Magazine，2016.

[9] Duong T， Fan L， Zhou H S. 2-hop blockchain： Combining Proof-of-Work and Proof-of-Stake Securely [OL].[2017-04-15]. https：//eprint.iacr.org/2016/716.pdf.

[10] Gervais A， Karame G O， Wüst K， et al. On the security and performance of proof of work blockchains[C]//Proceedings of the 2016 ACM SIGSAC Conference on Computer and Communications Security. ACM， 2016： 3-16.

[11] Gilad Y， Hemo R， Micali S， et al. Algorand： Scaling Byzantine Agreements for Cryptocurrencies [C]. Proceedings of the 26th Symposium on Operating Systems Principles .Shanghai， China：ACM，2017.51-68.

[12]曾鏘.大數(shù)據(jù)驅(qū)動(dòng)的商業(yè)模式創(chuàng)新研究[J].科學(xué)學(xué)研究，2019，37（6）：1142-1152.

[13]張曉飛.大數(shù)據(jù)時(shí)代背景下企業(yè)管理模式創(chuàng)新策略研究[J].現(xiàn)代營銷（信息版），2019（4）：114-115.

[14]汪濤.大數(shù)據(jù)時(shí)代企業(yè)管理模式的創(chuàng)新路徑研究[J].湖北函授大學(xué)學(xué)報(bào)，2017（24）：94-95+100.

[15]曾鏘.大數(shù)據(jù)驅(qū)動(dòng)的商業(yè)模式創(chuàng)新研究[J].科學(xué)學(xué)研究，2019，37（6）：1142-1152.

[16]張曉飛.大數(shù)據(jù)時(shí)代背景下企業(yè)管理模式創(chuàng)新策略研究[J].現(xiàn)代營銷（信息版），2019（4）：114-115.

[17]汪濤.大數(shù)據(jù)時(shí)代企業(yè)管理模式的創(chuàng)新路徑研究[J].湖北函授大學(xué)學(xué)報(bào)，2017（24）：94-95+100