大數(shù)據(jù)環(huán)境下基于MySQL的數(shù)據(jù)庫架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)

江西應(yīng)用工程職業(yè)學(xué)院 江國文

引言

隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，人們頻繁的訪問數(shù)據(jù)庫，向后臺(tái)發(fā)送數(shù)據(jù)處理請求。因此需要操作系統(tǒng)擁有較快的處理速度，來滿足人們的訪問需求。與此同時(shí)，隨著大規(guī)模系統(tǒng)的出現(xiàn)，MySQL技術(shù)也有了較快的發(fā)展，充分發(fā)揮出運(yùn)行速度快、使用成本低的優(yōu)勢，有效提高了數(shù)據(jù)處理的質(zhì)量與效率。而且使用基于MySQL的數(shù)據(jù)庫架構(gòu)，既可以按需使用數(shù)據(jù)資源，還可以提高數(shù)據(jù)安全性。因此，本文討論如何在大數(shù)據(jù)環(huán)境下，設(shè)計(jì)與實(shí)現(xiàn)基于MySQL的數(shù)據(jù)庫架構(gòu)，就顯得極為重要。

一、大數(shù)據(jù)環(huán)境下MySQL的數(shù)據(jù)庫架構(gòu)概述

大數(shù)據(jù)是指無法在可承受的時(shí)間范圍內(nèi)用常規(guī)軟件進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合?，F(xiàn)階段，大數(shù)據(jù)的定義已經(jīng)不再單純局限于數(shù)據(jù)的規(guī)模大小，它代表著傳統(tǒng)的計(jì)算機(jī)技術(shù)已經(jīng)難以有效處理龐大的數(shù)據(jù)信息，同時(shí)也代表著大數(shù)據(jù)處理的新技術(shù)和新方法，將會(huì)帶來更大的發(fā)展。通常來說，大數(shù)據(jù)具有四個(gè)特征。一是數(shù)據(jù)體量巨大。二是數(shù)據(jù)種類多樣，主要可以分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)兩種。三是指價(jià)值密度較低，這與數(shù)據(jù)總量的大小互為反比。四是指處理數(shù)據(jù)的速度較快，這是大數(shù)據(jù)最為突出的優(yōu)勢。隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，大數(shù)據(jù)技術(shù)也在各個(gè)領(lǐng)域中得到了廣泛應(yīng)用，其基本內(nèi)涵逐漸呈現(xiàn)多元化特點(diǎn)，需要從理論、技術(shù)與實(shí)踐三個(gè)角度深入解析。就理論角度而言，大數(shù)據(jù)理論是大數(shù)據(jù)技術(shù)發(fā)展的必然需求，其也是相關(guān)領(lǐng)域應(yīng)用的基礎(chǔ)。大數(shù)據(jù)的理論基礎(chǔ)可以理解為相關(guān)行業(yè)對(duì)大數(shù)據(jù)技術(shù)的定性描述，進(jìn)而探討大數(shù)據(jù)對(duì)行業(yè)的作用。就大數(shù)據(jù)技術(shù)角度而言，大數(shù)據(jù)技術(shù)是大數(shù)據(jù)發(fā)展的重要基石。大數(shù)據(jù)技術(shù)在發(fā)展過程中，結(jié)合互聯(lián)網(wǎng)、云計(jì)算、信息存儲(chǔ)、分布式與感知技術(shù)，通過對(duì)大量的數(shù)據(jù)進(jìn)行采集、分類與存儲(chǔ)，最終規(guī)整形成統(tǒng)一的大數(shù)據(jù)技術(shù)。就大數(shù)據(jù)實(shí)踐角度而言，大數(shù)據(jù)實(shí)踐是大數(shù)據(jù)相關(guān)技術(shù)的最終體現(xiàn)，也是大數(shù)據(jù)技術(shù)的根本價(jià)值，各行各業(yè)利用大數(shù)據(jù)技術(shù)進(jìn)行相關(guān)實(shí)踐，共同描繪了大數(shù)據(jù)技術(shù)宏偉藍(lán)圖。

MySQL概念與特點(diǎn)：

在大數(shù)據(jù)背景下，MySQL作為一個(gè)關(guān)系型數(shù)據(jù)庫，廣泛應(yīng)用于WEB方面。且隨著信息技術(shù)的迅猛發(fā)展，MySQL逐漸成為關(guān)系型數(shù)據(jù)庫應(yīng)用最廣泛的軟件之一。在實(shí)際應(yīng)用過程中，該軟件會(huì)使用不同的表格來存儲(chǔ)數(shù)據(jù)，有助于分類整理數(shù)據(jù)。同時(shí)，MySQL軟件還采用了雙授權(quán)政策，分為社區(qū)版和商業(yè)版?zhèn)z種。最大的優(yōu)點(diǎn)是開放源碼，除此之外，還有運(yùn)行速度快、使用成本低等優(yōu)點(diǎn)。就其特性而言，首先，使用C和C++進(jìn)行編寫，還進(jìn)行了多種測試，確?？梢赃M(jìn)行源代碼的移植。其次，既可以當(dāng)做一個(gè)單獨(dú)的程序，在客戶端服務(wù)器中使用，也可以作為一個(gè)庫，植入到其他的軟件中進(jìn)行使用。此外，還支持大型的數(shù)據(jù)庫，可以及時(shí)處理上千萬條記錄，提高數(shù)據(jù)的處理速度與處理效率。

二、MySQL的數(shù)據(jù)庫架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)

（一）MySQL關(guān)系型數(shù)據(jù)庫設(shè)計(jì)

1.相關(guān)功能確定

MySQL關(guān)系型數(shù)據(jù)庫設(shè)計(jì)時(shí)，其創(chuàng)建功能與刪除功能主要包括于DBEntityTask中。在創(chuàng)建過程中主要采用多線程設(shè)計(jì)原則，每當(dāng)設(shè)計(jì)一個(gè)MySQL關(guān)系型數(shù)據(jù)庫時(shí)，就需要多線程處理。具體設(shè)計(jì)如下：

2.數(shù)據(jù)表設(shè)計(jì)

MySQL關(guān)系型數(shù)據(jù)庫的創(chuàng)建過程主要包括db_entity_list、server_pool_list與ser_connection三張表。具體過程中，server_pool_list主要負(fù)責(zé)記錄大量數(shù)據(jù)、內(nèi)存等參數(shù)信息；iops主要負(fù)責(zé)數(shù)據(jù)的查詢，表db_entity_list與表srv_connection想關(guān)聯(lián)，通過一系列算法操作。表server_pool_list中的vip字段是用來訪問實(shí)例的IP地址，訪問完之后將信息記錄在表db_entity_list中的VIP字段里。

3. MySQL關(guān)系型數(shù)據(jù)庫實(shí)現(xiàn)過程

在MySQL關(guān)系型數(shù)據(jù)庫創(chuàng)建過程中，相應(yīng)的云服務(wù)平臺(tái)會(huì)對(duì)相關(guān)信息參數(shù)進(jìn)行檢驗(yàn)，校驗(yàn)通過后，會(huì)對(duì)輸入的信息編碼，并傳給C++端進(jìn)行處理。當(dāng)C++端接收到相關(guān)信息編碼后，會(huì)依據(jù)系統(tǒng)規(guī)則，將相應(yīng)指令錄入db_entity_list中。相關(guān)人員則通過查詢srv_connection表，可以獲得相應(yīng)的參數(shù)。再次通過服務(wù)器調(diào)試，便可獲得server_po_lis在MySQL關(guān)系型數(shù)據(jù)庫中的地址。Python端收到消息后，將消息解碼，對(duì)所連接的存儲(chǔ)創(chuàng)建lvm，用于安裝數(shù)據(jù)實(shí)例；其次，在實(shí)例創(chuàng)建過程中，端口會(huì)隨機(jī)生成MySQL數(shù)據(jù)庫訪問密碼；最后，如果MySQL關(guān)系型數(shù)據(jù)庫創(chuàng)建失敗，則會(huì)將相關(guān)信息反饋于服務(wù)器中。服務(wù)器根據(jù)反饋信息，進(jìn)行相應(yīng)的處理，便直接完成MySQL關(guān)系型數(shù)據(jù)庫的更新。

（二）MySQL關(guān)系型數(shù)據(jù)庫實(shí)例操作

1.功能設(shè)計(jì)

MySQL關(guān)系型數(shù)據(jù)庫還包括升級(jí)數(shù)據(jù)庫資料、修改對(duì)應(yīng)參數(shù)與刷新信息狀態(tài)等實(shí)例?；趯?shí)例是可用狀態(tài)，用戶才可對(duì)數(shù)據(jù)庫中的實(shí)例進(jìn)行操作，具體操作步驟如下：

2.數(shù)據(jù)表設(shè)計(jì)

對(duì)實(shí)例可進(jìn)行升級(jí)實(shí)例、刷新實(shí)例、更改參數(shù)的操作，其中參數(shù)修改操作涉及數(shù)據(jù)庫表 db_ entity_list、表db_para_list與all_parameter_list數(shù)據(jù)表。若用于有修改相應(yīng)參數(shù)的需求時(shí)，首先需要在上述數(shù)據(jù)庫表中對(duì)相應(yīng)的參數(shù)進(jìn)行查詢；其次，再獲取表db_entity_list中記錄的實(shí)例ID，并根據(jù)獲取到的ID在表db_para_list中查找db-id字段，在表db_para_list中，記錄了每個(gè)參數(shù)的默認(rèn)值和可修改范圍。

3.具體實(shí)現(xiàn)

當(dāng)用戶要對(duì)某一個(gè)參數(shù)進(jìn)行修改時(shí)，前臺(tái)會(huì)將信息以編碼形式傳遞給C++端，C++端收到消息后將信息解碼，根據(jù)數(shù)據(jù)信息去數(shù)據(jù)庫中查詢；如果查詢結(jié)果顯示是第一次修改數(shù)據(jù)，系統(tǒng)就會(huì)將修改后的信息插入表db_para_list中，反之，系統(tǒng)將直接修改數(shù)據(jù)表中的信息。有些MySQL數(shù)據(jù)庫參數(shù)需要將實(shí)例運(yùn)行停止后才可以變動(dòng)；因而需要在all_parameter_list數(shù)據(jù)庫表中進(jìn)行相應(yīng)參數(shù)查詢，并確定是否進(jìn)行實(shí)例查詢，如果不需要，則sql語句可以對(duì)參數(shù)直接修改，反之，就需要先關(guān)閉實(shí)例，再對(duì)實(shí)例中的配置文件進(jìn)修改，修改結(jié)束后自動(dòng)重啟相應(yīng)的實(shí)例。最終，系統(tǒng)如果檢測到相關(guān)實(shí)例完成重啟后，變將相應(yīng)的信息反饋到C++端，便會(huì)將數(shù)據(jù)庫狀態(tài)設(shè)置為可用狀態(tài)。

（三）數(shù)據(jù)庫實(shí)例備份的設(shè)計(jì)與實(shí)現(xiàn)

1.功能設(shè)計(jì)

實(shí)例備份分為立即備份和定時(shí)備份。DBEntityTask 類中包含的方法可對(duì)實(shí)例數(shù)據(jù)進(jìn)行備份、刪除以及創(chuàng)建刪除臨時(shí)實(shí)例數(shù)據(jù)等操作。實(shí)現(xiàn)實(shí)例的備份和恢復(fù)的方法如下：

2.數(shù)據(jù)表設(shè)計(jì)

關(guān)于MySQL數(shù)據(jù)庫關(guān)于實(shí)力備份和恢復(fù)的表有backup_info_list和backup_stra_list,其中表backup_ stra_ list用于備份策略的設(shè)置，表backup_ info_ list用于記錄備份文件的信息，無論是手動(dòng)備份還是自動(dòng)備份，所有的備份信息都記錄在表backup info_ list中。

3.具體實(shí)現(xiàn)

MySQL數(shù)據(jù)庫實(shí)現(xiàn)備份有用戶手動(dòng)備份和系統(tǒng)定時(shí)備份。定時(shí)器觸發(fā)定時(shí)備份設(shè)置，備份信息就會(huì)存儲(chǔ)到數(shù)據(jù)庫表backup_stra_list中，當(dāng)出現(xiàn)備份時(shí)間時(shí)，定時(shí)器自動(dòng)響應(yīng)并發(fā)出請求。同時(shí)，前端的服務(wù)器應(yīng)及時(shí)查看數(shù)據(jù)備份情況，如果不處于備份狀態(tài)，則無法進(jìn)行備份操作；反之，把信息以編碼的形式發(fā)送到C++端，C++端收到信息后進(jìn)行解碼，并將相應(yīng)的數(shù)據(jù)信息錄入backup_info_list數(shù)據(jù)表中。用戶可在WEB頁面查詢到所有備份記錄。

三、結(jié)束語

如今微博、網(wǎng)游等終端廣泛應(yīng)用，頻繁向后臺(tái)發(fā)送數(shù)據(jù)處理請求，傳統(tǒng)單機(jī)數(shù)據(jù)庫系統(tǒng)正面臨著前所未有的PB級(jí)數(shù)據(jù)量的存儲(chǔ)和計(jì)算難題。而MySQL數(shù)據(jù)庫，是以GPL開源協(xié)議為基礎(chǔ)，進(jìn)而開發(fā)出來的開源數(shù)據(jù)庫軟件，同時(shí)，MySQL數(shù)據(jù)庫自身性能及穩(wěn)定性卓越，帶給使用者很大的信心。因此，要實(shí)現(xiàn)大數(shù)據(jù)的快速發(fā)展，就要有數(shù)據(jù)庫技術(shù)的全力支持。結(jié)構(gòu)化、非結(jié)構(gòu)化、面向關(guān)系型、面向?qū)ο蟮缺姸鄶?shù)據(jù)庫概念，只有與現(xiàn)代化技術(shù)相互融合，才有可能促進(jìn)雙方共同發(fā)展，進(jìn)而實(shí)現(xiàn)多源異構(gòu)的海量數(shù)據(jù)存儲(chǔ)以及信息資源的高效利用。

[1]劉艷.大數(shù)據(jù)環(huán)境下基NoSQL數(shù)據(jù)庫的存儲(chǔ)技術(shù)研究[J].信息通信,2016(9):108-109.

[2]劉陽娜.大數(shù)據(jù)下的MySQL數(shù)據(jù)庫的效率優(yōu)化[J].信息通信,2017(12):111-112.

[3]劉江霞.一種基于Hadoop的大數(shù)據(jù)倉庫技術(shù)研究[J].電腦編程技巧與維護(hù),2017(16):65-67.

[4]王小霞.基于Hibernate框架的科研管理信息系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].信息技術(shù)與網(wǎng)絡(luò)安全,2017,36(23):104-106.

[5]趙永霞,李文杰.SQL Server中的數(shù)據(jù)導(dǎo)入MYSQL[J].通訊世界,2016(8):212-212.