摘 ?要： 現(xiàn)有混合型大數(shù)據(jù)多源集成系統(tǒng)存在集成度較低、耦合度較低的缺陷，為了解決上述問(wèn)題，引入復(fù)變函數(shù)對(duì)混合型大數(shù)據(jù)多源集成系統(tǒng)進(jìn)行設(shè)計(jì)。根據(jù)現(xiàn)有系統(tǒng)存在的問(wèn)題，搭建系統(tǒng)架構(gòu)，以此為基礎(chǔ)，對(duì)系統(tǒng)硬件計(jì)算機(jī)體系進(jìn)行設(shè)計(jì)，主要由處理單元、存儲(chǔ)單元與輸入輸出單元組成。系統(tǒng)軟件主要包括數(shù)據(jù)庫(kù)模塊、數(shù)據(jù)查詢模塊與混合型數(shù)據(jù)多源集成模塊。通過(guò)系統(tǒng)硬件與軟件的設(shè)計(jì)，實(shí)現(xiàn)了混合型大數(shù)據(jù)多源集成系統(tǒng)的運(yùn)行。通過(guò)測(cè)試得到，與現(xiàn)有混合型大數(shù)據(jù)多源集成系統(tǒng)相比，設(shè)計(jì)的混合型大數(shù)據(jù)多源集成系統(tǒng)極大地提升了集成度與耦合度，充分說(shuō)明設(shè)計(jì)的混合型大數(shù)據(jù)多源集成系統(tǒng)具備更好的數(shù)據(jù)集成效果。

關(guān)鍵詞： 復(fù)變函數(shù); 混合型大數(shù)據(jù); 多源集成系統(tǒng); 集成度; 耦合度; 數(shù)據(jù)管理子模塊

中圖分類號(hào)： TN99?34; G255 ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼： A ? ? ? ? ? ? ? ? ? ? ?文章編號(hào)： 1004?373X（2020）01?0183?04

Design of mixed big data multi?source integrated system

based on function of complex variable

ZHOU Zhijin

Abstract： The function of complex variable is introduced to design a mixed big data multi?source integrated system to deal with the defects that the existing mixed big data multi?source integrated system has low level of integration and degree of coupling. The system architecture is built in consideration of the existing system problems. The hardware computer system is designed on the basis of the built system architecture， which is mainly composed of processing unit， storage unit and input and output unit. The software of the system mainly includes database module， data query module and mixed data multi?source integrated module. The operation of mixed big data multi?source integrated system is realized by designing the system hardware and software. The test results show that， compared with the existing mixed big data multi?source integrated system， the mixed big data multi?source integrated system greatly improves the level of integration and coupling degree， which fully demonstrates that the designed mixed big data multi?source integrated system has better effect of data integration.

Keywords： function of complex variable; mixed big data; multi?source integrated system; level of integration; degree of coupling; data management sub?module

0 ?引 ?言

隨著我國(guó)數(shù)字化的發(fā)展，每個(gè)領(lǐng)域數(shù)據(jù)的數(shù)量都在逐漸增多，并且數(shù)據(jù)來(lái)源也在不斷增加，導(dǎo)致數(shù)據(jù)結(jié)構(gòu)為混合型數(shù)據(jù)，要想對(duì)其進(jìn)行查詢，提取較為復(fù)雜。為了滿足現(xiàn)今社會(huì)對(duì)數(shù)據(jù)的需求，需對(duì)混合型大數(shù)據(jù)進(jìn)行多源集成，經(jīng)過(guò)數(shù)據(jù)集成對(duì)數(shù)據(jù)進(jìn)行相應(yīng)的整理。由于大數(shù)據(jù)時(shí)代的到來(lái)，如何對(duì)混合型大數(shù)據(jù)進(jìn)行多源集成成為目前重點(diǎn)研究問(wèn)題之一[1]。

就現(xiàn)有的研究來(lái)看，國(guó)內(nèi)外對(duì)混合型大數(shù)據(jù)多源集成研究均取得了一定成果，使用較為廣泛的主要為CORDS系統(tǒng)、TSIMMIS系統(tǒng)以及基于SSH架構(gòu)的數(shù)據(jù)集成系統(tǒng)。其中，CORDS系統(tǒng)主要是通過(guò)對(duì)多源數(shù)據(jù)之間的關(guān)系進(jìn)行研究，以此為基礎(chǔ)，對(duì)其進(jìn)行集成，滿足用戶查詢與提取的需求;TSIMMIS系統(tǒng)主要依據(jù)中間描述語(yǔ)言對(duì)中間件與包裝器進(jìn)行組件，以此為工具，在混合型大數(shù)據(jù)中對(duì)需求數(shù)據(jù)進(jìn)行查詢與提取，實(shí)現(xiàn)混合型大數(shù)據(jù)的多源集成;基于SSH架構(gòu)的數(shù)據(jù)集成系統(tǒng)通過(guò)對(duì)混合型大數(shù)據(jù)進(jìn)行深入研究，通過(guò)Spring，Struts與Hibernate技術(shù)，提升了數(shù)據(jù)的集成度與耦合度，并采用Hadoop技術(shù)對(duì)大數(shù)據(jù)進(jìn)行多源集成。上述三種方法具有各自的優(yōu)勢(shì)，但是其均存在著集成度較低、耦合度較低的缺陷，無(wú)法滿足用戶對(duì)數(shù)據(jù)提取的需求，為了解決上述問(wèn)題，基于復(fù)變函數(shù)對(duì)混合型大數(shù)據(jù)多源集成系統(tǒng)進(jìn)行設(shè)計(jì)[2]。復(fù)變函數(shù)指的是自變量與因變量為復(fù)數(shù)的函數(shù)。通過(guò)復(fù)變函數(shù)的應(yīng)用，可以極大地改善混合型大數(shù)據(jù)多源集成系統(tǒng)的性能，對(duì)現(xiàn)有系統(tǒng)存在的問(wèn)題進(jìn)行解決[3]，同時(shí)，設(shè)計(jì)測(cè)試實(shí)驗(yàn)對(duì)系統(tǒng)性能進(jìn)行相應(yīng)的測(cè)試與分析。

1 ?混合型大數(shù)據(jù)多源集成系統(tǒng)架構(gòu)設(shè)計(jì)

通過(guò)對(duì)現(xiàn)有系統(tǒng)存在問(wèn)題的分析，本著解決問(wèn)題的目標(biāo)，對(duì)混合型大數(shù)據(jù)多源集成系統(tǒng)架構(gòu)進(jìn)行設(shè)計(jì)[4]。混合型大數(shù)據(jù)多源集成系統(tǒng)架構(gòu)如圖1所示。

如圖1所示，混合型大數(shù)據(jù)多源集成系統(tǒng)架構(gòu)設(shè)計(jì)主要采用前后端分離的形式，軟件開(kāi)發(fā)主要采用MVC結(jié)構(gòu)，完成了系統(tǒng)每個(gè)層次的封裝處理，使數(shù)據(jù)調(diào)用過(guò)程相互獨(dú)立，為系統(tǒng)安全提供了有效的保障[5]。

2 ?混合型大數(shù)據(jù)多源集成系統(tǒng)硬件設(shè)計(jì)

混合型大數(shù)據(jù)多源集成系統(tǒng)硬件設(shè)備主要為計(jì)算機(jī)體系，其主要由處理單元、存儲(chǔ)單元與輸入輸出單元構(gòu)成[6]。計(jì)算機(jī)體系硬件結(jié)構(gòu)如圖2所示。

2.1 ?處理單元

處理單元是計(jì)算機(jī)體系的大腦，其核心硬件為處理器，通常采用CPU對(duì)其進(jìn)行表示，CPU實(shí)質(zhì)上是一個(gè)集成的運(yùn)算器與控制器。其中，運(yùn)算器主要進(jìn)行算術(shù)與邏輯運(yùn)算，分為算術(shù)邏輯單元與運(yùn)算寄存器組;控制器主要獲取指令，經(jīng)過(guò)相應(yīng)的處理向各部件發(fā)送控制信號(hào)，分為指令寄存器、指令譯碼器與程序計(jì)數(shù)器等[7]。CPU參數(shù)設(shè)置情況如表1所示。

表1 ?CPU參數(shù)設(shè)置

[參數(shù)名稱 表示內(nèi)容 參數(shù)設(shè)置 主頻 CPU內(nèi)部元部件的工作頻率 1.7 GHz 字長(zhǎng) CPU處理二進(jìn)制的位數(shù) 32位 外頻 CPU進(jìn)行信息交換的頻率 200 MHz ]

2.2 ?存儲(chǔ)單元

存儲(chǔ)單元主要是實(shí)現(xiàn)計(jì)算機(jī)體系的記憶功能，是程序代碼與數(shù)據(jù)的載體。存儲(chǔ)單元的結(jié)構(gòu)如圖3所示。

其中，外部低速存儲(chǔ)器是目前使用較為廣泛的存儲(chǔ)器，一般以磁或光的形式對(duì)數(shù)據(jù)進(jìn)行相應(yīng)的存儲(chǔ)。

2.3 ?輸入輸出單元

輸入輸出單元是計(jì)算機(jī)體系的重要組成部分，主要由輸入設(shè)備與輸出設(shè)備組成[8]。輸入設(shè)備主要是將程序、數(shù)據(jù)、字符、文字、命令等信息輸入到計(jì)算機(jī)中;輸出設(shè)備主要是將計(jì)算機(jī)得到的中間結(jié)果或者最終結(jié)果以數(shù)據(jù)、文字或者信號(hào)的形式輸出[9]。輸入輸出單元電路如圖4所示。

通過(guò)上述過(guò)程完成了系統(tǒng)硬件的設(shè)計(jì)，但是其無(wú)法實(shí)現(xiàn)大數(shù)據(jù)的多源集成，為此對(duì)系統(tǒng)軟件進(jìn)行設(shè)計(jì)[10]。

3 ?混合型大數(shù)據(jù)多源集成系統(tǒng)軟件設(shè)計(jì)

系統(tǒng)軟件設(shè)計(jì)主要包括數(shù)據(jù)庫(kù)模塊、數(shù)據(jù)查詢模塊與混合型數(shù)據(jù)多源集成模塊[11]。具體內(nèi)容如下所示。

3.1 ?數(shù)據(jù)庫(kù)模塊

為了實(shí)現(xiàn)混合型大數(shù)據(jù)的多源集成，對(duì)數(shù)據(jù)庫(kù)模塊進(jìn)行設(shè)計(jì)，其主要由調(diào)度子模塊與數(shù)據(jù)管理子模塊構(gòu)成[12]。其中，調(diào)度子模塊主要是對(duì)數(shù)據(jù)集成進(jìn)行相應(yīng)的調(diào)度，數(shù)據(jù)控制調(diào)度表如表2所示。

數(shù)據(jù)管理子模塊主要是對(duì)數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行編碼管理，其基本信息情況如表3所示。

3.2 ?數(shù)據(jù)查詢模塊

要想對(duì)混合型大數(shù)據(jù)進(jìn)行多源集合，首先要根據(jù)用戶的需求在數(shù)據(jù)庫(kù)中對(duì)相關(guān)數(shù)據(jù)進(jìn)行查詢與提取?，F(xiàn)有系統(tǒng)數(shù)據(jù)查詢速度較慢、查詢結(jié)果較差，為此采用蟻群算法對(duì)數(shù)據(jù)進(jìn)行查詢[13]。

蟻群算法實(shí)質(zhì)上是一種尋找最優(yōu)路徑的概率型算法，原理圖如圖5所示。

數(shù)據(jù)查詢過(guò)程為：

[costx=ixi?α2]

式中[α]表示查詢因子。

3.3 ?混合型數(shù)據(jù)多源集成模塊

依據(jù)上述數(shù)據(jù)查詢與提取結(jié)果為依據(jù)，通過(guò)復(fù)變函數(shù)對(duì)混合型大數(shù)據(jù)進(jìn)行多源集成[14]。

混合型大數(shù)據(jù)多源集成過(guò)程就是將用戶需求數(shù)據(jù)進(jìn)行整合的過(guò)程。復(fù)變函數(shù)可以對(duì)數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換與裝載，即混合型大數(shù)據(jù)多源集成過(guò)程為：數(shù)據(jù)抽取、數(shù)據(jù)轉(zhuǎn)換與清洗、數(shù)據(jù)加載[15]。

混合型大數(shù)據(jù)多源集成流程圖如圖6所示。

通過(guò)系統(tǒng)硬件與軟件的設(shè)計(jì)，實(shí)現(xiàn)了混合型大數(shù)據(jù)多源集成系統(tǒng)的運(yùn)行，為用戶提供更加精準(zhǔn)的數(shù)據(jù)。

4 ?系統(tǒng)性能測(cè)試

上述過(guò)程實(shí)現(xiàn)了混合型大數(shù)據(jù)多源集成系統(tǒng)的設(shè)計(jì)與運(yùn)行，但是對(duì)其是否能夠解決現(xiàn)有系統(tǒng)存在的難題還不能確定，為此設(shè)計(jì)仿真對(duì)比實(shí)驗(yàn)對(duì)設(shè)計(jì)系統(tǒng)的性能進(jìn)行相應(yīng)的測(cè)試與分析。實(shí)驗(yàn)過(guò)程中，主要采用設(shè)計(jì)系統(tǒng)與CORDS系統(tǒng)、TSIMMIS系統(tǒng)以及基于SSH架構(gòu)的數(shù)據(jù)集成系統(tǒng)進(jìn)行對(duì)比實(shí)驗(yàn)，通過(guò)集成度與耦合度對(duì)系統(tǒng)性能進(jìn)行體現(xiàn)。具體實(shí)驗(yàn)結(jié)果分析過(guò)程如下：

4.1 ?集成度對(duì)比分析

通過(guò)實(shí)驗(yàn)得到集成度對(duì)比情況如表4所示。

通過(guò)表4可知，設(shè)計(jì)系統(tǒng)的集成度遠(yuǎn)遠(yuǎn)高于現(xiàn)有三種系統(tǒng)，其最大值可以達(dá)到97%。

4.2 ?耦合度對(duì)比分析

耦合度表示系統(tǒng)軟件之間的耦合力，耦合度越高，則表示系統(tǒng)性能越好。通過(guò)實(shí)驗(yàn)得到耦合度對(duì)比情況如圖7所示。

由圖7可知，設(shè)計(jì)系統(tǒng)的耦合度遠(yuǎn)遠(yuǎn)高于現(xiàn)有三種系統(tǒng)，其最大值可以達(dá)到93%。

通過(guò)測(cè)試結(jié)果顯示，設(shè)計(jì)的混合型大數(shù)據(jù)多源集成系統(tǒng)極大地提升了集成度與耦合度，充分說(shuō)明設(shè)計(jì)的混合型大數(shù)據(jù)多源集成系統(tǒng)具備更好的數(shù)據(jù)集成效果。

5 ?結(jié) ?語(yǔ)

本文設(shè)計(jì)的混合型大數(shù)據(jù)多源集成系統(tǒng)極大地提升了集成度與耦合度，可以為用戶提供更加精準(zhǔn)的數(shù)據(jù)。但是實(shí)驗(yàn)過(guò)程中，由于實(shí)驗(yàn)參數(shù)的設(shè)置，導(dǎo)致實(shí)驗(yàn)結(jié)果與實(shí)際結(jié)果有著一定的偏差，雖然不影響實(shí)驗(yàn)結(jié)論，但是不夠精確，因此需要對(duì)設(shè)計(jì)的混合型大數(shù)據(jù)多源集成系統(tǒng)進(jìn)行進(jìn)一步的研究與優(yōu)化。

參考文獻(xiàn)

[1] 劉聲.數(shù)學(xué)專業(yè)復(fù)變函數(shù)教學(xué)方法探討[J].數(shù)學(xué)學(xué)習(xí)與研究，2017，12（24）：12.

[2] 王林童，趙騰，張焰，等.配用電大數(shù)據(jù)多源集成及存儲(chǔ)優(yōu)化方法[J].高電壓技術(shù)，2018，44（4）：1131?1139.

[3] 余小高，余小鵬.基于Web服務(wù)、移動(dòng)代理和本體的教育大數(shù)據(jù)集成研究[J].信息通信，2017，45（9）：35?38.

[4] 何偉，張倫寧，賀成成，等.地災(zāi)監(jiān)測(cè)的大數(shù)據(jù)信息平臺(tái)研究及應(yīng)用[J].測(cè)繪通報(bào)，2019（1）：127?131.

[5] 張治，戚業(yè)國(guó).基于大數(shù)據(jù)的多源多維綜合素質(zhì)評(píng)價(jià)模型的構(gòu)建[J].中國(guó)電化教育，2017，29（9）：69?77.

[6] 王卷樂(lè)，程凱，邊玲玲，等.面向SDGs和美麗中國(guó)評(píng)價(jià)的地球大數(shù)據(jù)集成框架與關(guān)鍵技術(shù)[J].遙感技術(shù)與應(yīng)用，2018（5）：3?11.

[7] 史欣田，龐景月，張新，等.基于集成極限學(xué)習(xí)機(jī)的衛(wèi)星大數(shù)據(jù)分析[J].儀器儀表學(xué)報(bào)，2018，39（12）：81?91.

[8] 武鴻亮.基于大數(shù)據(jù)的Web數(shù)據(jù)集成及數(shù)據(jù)挖掘技術(shù)的研究[J].科研，2017（9）：144.

[9] 章泳，李槐.大數(shù)據(jù)下的Web數(shù)據(jù)集成與挖掘[J].電子技術(shù)與軟件工程，2017，56（22）：184.

[10] 李紅斌，王嘉偉.基于多源信息的數(shù)控機(jī)床故障診斷系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].電子設(shè)計(jì)工程，2018，26（18）：84?88.

[11] 申建建，曹瑞，蘇承國(guó)，等.水火風(fēng)光多源發(fā)電調(diào)度系統(tǒng)大數(shù)據(jù)平臺(tái)架構(gòu)及關(guān)鍵技術(shù)[J].中國(guó)電機(jī)工程學(xué)報(bào)，2019，39（1）：43?55.

[12] 劉金晶，曹文潔.基于本體論的多源異構(gòu)數(shù)據(jù)集成方法研究[J].軟件導(dǎo)刊，2018，17（3）：198?200.

[13] 李敏波，王海鵬，陳松奎，等.工業(yè)大數(shù)據(jù)分析技術(shù)與輪胎銷售數(shù)據(jù)預(yù)測(cè)[J].計(jì)算機(jī)工程與應(yīng)用，2017，53（11）：100?109.

[14] 劉瑜，詹朝暉，朱遞，等.集成多源地理大數(shù)據(jù)感知城市空間分異格局[J].武漢大學(xué)學(xué)報(bào)（信息科學(xué)版），2018，43（3）：327?335.

[15] 潘可佳，王鑫，楊帆，等.面向電力大數(shù)據(jù)的多源異構(gòu)數(shù)據(jù)融合技術(shù)研究[J].機(jī)械與電子，2017，35（9）：7?11.

作者簡(jiǎn)介：周志進(jìn)（1988—），男，貴州貴陽(yáng)人，碩士，講師，研究方向?yàn)楹瘮?shù)論。