湯蕾蕾

摘要：通過對數(shù)據(jù)的利用和價值探索，研究傳統(tǒng)應(yīng)用架構(gòu)中的問題，針對新型的挑戰(zhàn)和現(xiàn)實的分析，進(jìn)行新一代數(shù)據(jù)庫架構(gòu)的思考。

關(guān)鍵詞：數(shù)據(jù)；煙囪式；數(shù)據(jù)孤島；數(shù)據(jù)架構(gòu)

中圖分類號：TP311 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2014）10-2188-04

1 概述

我們堅信處于大多數(shù)系統(tǒng)核心的是數(shù)據(jù)，而不是算法（或者稱之為代碼）。隨著互聯(lián)網(wǎng)（固定互聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)）技術(shù)和物聯(lián)網(wǎng)技術(shù)的發(fā)展，最終用戶產(chǎn)生和消費的數(shù)據(jù)將比以往更加推動信息技術(shù)的使用，我們業(yè)務(wù)流程的運轉(zhuǎn)需要各個環(huán)節(jié)的人員產(chǎn)生和消費相應(yīng)的數(shù)據(jù)，數(shù)據(jù)需要更加地及時、有效、精確；我們的業(yè)務(wù)的運營越來越離不開相應(yīng)的數(shù)據(jù)。

在任何情況下我們需要通過Web來呈現(xiàn)給用戶使用的所有功能歸根結(jié)底都是一個界面一個具有較好用戶體驗的界面來更好地產(chǎn)生和消費數(shù)據(jù)，以促進(jìn)人與人之間的協(xié)同、人與機器之間的協(xié)同以及業(yè)務(wù)流程更加高效、精準(zhǔn)的運轉(zhuǎn)從而提高企業(yè)的經(jīng)營效率和效益。這些數(shù)據(jù)就構(gòu)成了我們企業(yè)應(yīng)用信息系統(tǒng)的核心價值，不論這些數(shù)據(jù)是合作伙伴創(chuàng)建的還是我們的一線員工和管理層所創(chuàng)建的。市場需求的變化促進(jìn)了業(yè)務(wù)和業(yè)務(wù)流程的變化和促進(jìn)了人的變化，促進(jìn)了數(shù)據(jù)的變化即需要創(chuàng)建和消費、利用更多類型、更多種類、更大量的數(shù)據(jù)，數(shù)據(jù)推動了我們需要更多的產(chǎn)品/應(yīng)用，所以架構(gòu)師、開發(fā)人員將會圍繞數(shù)據(jù)創(chuàng)建了傳統(tǒng)的“n”層軟件棧（數(shù)據(jù)存儲層、業(yè)務(wù)邏輯層與顯示層）即我們的應(yīng)用都是由數(shù)據(jù)來驅(qū)動的。

2 傳統(tǒng)方式實現(xiàn)的問題

從上面所闡述的信息我們可以了解到架構(gòu)師、開發(fā)人員將會圍繞數(shù)據(jù)創(chuàng)建了傳統(tǒng)的“n”層軟件棧（數(shù)據(jù)存儲層、業(yè)務(wù)邏輯層與顯示層）即我們的應(yīng)用都是由數(shù)據(jù)來驅(qū)動的。例如我們假想一個非常簡單的購買書籍的Web應(yīng)用，此應(yīng)用提供書籍方面的信息（如果用戶感興趣，它可能也提供購買這些書的功能）；此應(yīng)用的功能可能包括可查找的庫存索引、關(guān)于每件產(chǎn)品的基本信息，以及用戶每本書作出的評論。而訪問這些具體的信息構(gòu)成了這個應(yīng)用的核心，驅(qū)動了架構(gòu)的其他部分。該應(yīng)用還有可能使用Flash和AJAX技術(shù)， 支持通過移動設(shè)備來訪問， 并提供一個一流的用戶界面。而此應(yīng)用的歸根結(jié)底來看就是提供相應(yīng)的一些具有特定邏輯頁面圍繞相應(yīng)的數(shù)據(jù)，讓用戶能夠創(chuàng)建、操作、查詢、顯示這些數(shù)據(jù)從而完成相應(yīng)的業(yè)務(wù)功能；數(shù)據(jù)在系統(tǒng)中處于核心地位。

對于我們的Web 業(yè)務(wù)應(yīng)用（架構(gòu)師、開發(fā)人員將會圍繞數(shù)據(jù)創(chuàng)建了傳統(tǒng)的“n”層軟件棧（數(shù)據(jù)存儲層、業(yè)務(wù)邏輯層與顯示層））來說相應(yīng)的應(yīng)用全景圖如下圖簡述：

在如上圖所示的一般的傳統(tǒng)n層軟件棧架構(gòu)中，應(yīng)用將輸入（對于Web來說，就是GET、POST和cookie信息的集合）映射為對原始數(shù)據(jù)的請求，這些原始數(shù)據(jù)可能存在于數(shù)據(jù)庫中。它們被轉(zhuǎn)換為內(nèi)存中的數(shù)據(jù)，并通過一些業(yè)務(wù)邏輯進(jìn)行智能化處理。輸出模塊將針對顯示對這些數(shù)據(jù)對象進(jìn)行轉(zhuǎn)換，變成HTML、JavaScript、CSS等。

隨著按照這種方式建設(shè)的應(yīng)用系統(tǒng)越來越多，就出現(xiàn)了如圖2所示的情況。

這種方式即是以應(yīng)用為劃分的“煙囪”結(jié)構(gòu)，數(shù)據(jù)基于應(yīng)用，并被鎖定在應(yīng)用系統(tǒng)中，形成一個個數(shù)據(jù)的孤島。帶來以下一些最基本的問題：

1）數(shù)據(jù)并沒有被作為一個單獨的IT組成部分被規(guī)劃和設(shè)計，而是作為應(yīng)用系統(tǒng)的一部分，由于應(yīng)用系統(tǒng)的供應(yīng)商不同，并且其設(shè)計工作也缺乏相互之間的協(xié)調(diào)，因此，數(shù)據(jù)模型基本按照各個應(yīng)用系統(tǒng)的功能需求進(jìn)行設(shè)計和實現(xiàn)。

2）由于缺乏有效的數(shù)據(jù)共享，在有些業(yè)務(wù)環(huán)節(jié)上，一個應(yīng)用所需的數(shù)據(jù)無法從相關(guān)的其他應(yīng)用系統(tǒng)中獲得，而只好重復(fù)錄入。

3）另一方面，由于同一個數(shù)據(jù)可能存在多個數(shù)據(jù)源（從多個應(yīng)用系統(tǒng)中被重復(fù)錄入），由此導(dǎo)致了信息的不一致。

在我們按照傳統(tǒng)的方式中由于存在的這些問題和重大缺陷和限制，導(dǎo)致不能形成完整的數(shù)據(jù)視圖（例如相互有關(guān)聯(lián)的數(shù)據(jù)分散于不同的應(yīng)用系統(tǒng)，數(shù)據(jù)編碼標(biāo)準(zhǔn)不一致，數(shù)據(jù)不一致和不可信等；讓進(jìn)行數(shù)據(jù)的整合和數(shù)據(jù)分析基本上不太可能）和應(yīng)用系統(tǒng)集成復(fù)雜度和難度很高（沒有好的設(shè)計規(guī)范和架構(gòu)以及代碼質(zhì)量，基本上代碼重用程度都很低；從界面集成、數(shù)據(jù)集成、應(yīng)用集成這三個方向來做都很困難）；甚至出現(xiàn)無法集成或者為了集成而集成純粹完成任務(wù)而已）。相應(yīng)的如圖3所示：

在很多企業(yè)當(dāng)中都在建設(shè)數(shù)據(jù)中心以形成一個好的商業(yè)智能（BI）平臺，從而采用一系列技術(shù)和產(chǎn)品：例如ETL技術(shù)、數(shù)據(jù)倉庫技術(shù)、實時數(shù)據(jù)復(fù)制技術(shù)、BI技術(shù)等等來實現(xiàn)；以達(dá)到輔助業(yè)務(wù)決策管理的功能。相應(yīng)的數(shù)據(jù)流架構(gòu)圖例子如下所示：

這個架構(gòu)圖基本上不存在什么問題，但是按照這種模式建設(shè)出來相應(yīng)的數(shù)據(jù)中心平臺后會發(fā)現(xiàn)對我們的數(shù)據(jù)的利用、數(shù)據(jù)的完整性、數(shù)據(jù)的精確性是無法保證的。這是因為我們沒有解決“應(yīng)用為劃分的“煙囪”結(jié)構(gòu)，數(shù)據(jù)孤島“ 這個癥結(jié)，如果這個癥結(jié)不進(jìn)行解決的話，我們企業(yè)整體IT系統(tǒng)的數(shù)據(jù)的增長和利用是無法保證和實現(xiàn)的更好以輔助我們的業(yè)務(wù)運營讓我們的用戶更加依賴于我們的數(shù)據(jù)這一目標(biāo)的。

3 新方式的架構(gòu)：新一代關(guān)系型數(shù)據(jù)架構(gòu)

我們需要從解決“應(yīng)用為劃分的“煙囪”結(jié)構(gòu)，數(shù)據(jù)孤島“ 這個根源癥結(jié)入手，從而讓我們企業(yè)中所有的應(yīng)用通過一個平臺來解決應(yīng)用煙囪，數(shù)據(jù)孤島的問題，從而讓我們企業(yè)中所有的應(yīng)用形成為一個整體。

傳統(tǒng)的數(shù)據(jù)架構(gòu)一般來說具有以下的定義：數(shù)據(jù)架構(gòu)是指企業(yè)總體的數(shù)據(jù)采集、處理、存儲和管理等的總體架構(gòu)，區(qū)別于應(yīng)用架構(gòu)，數(shù)據(jù)架構(gòu)主要側(cè)重于業(yè)務(wù)處理所需的信息和信息流，包括：

3.1 總體架構(gòu)

1）數(shù)據(jù)標(biāo)準(zhǔn)化：企業(yè)級數(shù)據(jù)定義的標(biāo)準(zhǔn)化及管理水平；

2）數(shù)據(jù)質(zhì)量：數(shù)據(jù)的準(zhǔn)確性；

3）數(shù)據(jù)管理：對IT系統(tǒng)中的數(shù)據(jù)管理，包括：存儲組織、清理、訪問控制等；

在這里我們將對數(shù)據(jù)架構(gòu)進(jìn)行擴充，讓數(shù)據(jù)架構(gòu)包含應(yīng)用的功能，這個思維的來源源自于很多產(chǎn)商（例如IBM）所倡導(dǎo)的數(shù)據(jù)服務(wù)概念，所以在這里我們設(shè)計的一個數(shù)據(jù)架構(gòu)并不是純粹的是一個傳統(tǒng)的數(shù)據(jù)架構(gòu)而且包含相應(yīng)的應(yīng)用架構(gòu)，從而形成我們的數(shù)據(jù)開放平臺：Data Open Platform（新一代數(shù)據(jù)中心）。并且我們在以前已經(jīng)建設(shè)了很多的應(yīng)用系統(tǒng)形成了很多的數(shù)據(jù)，我們需要把這些數(shù)據(jù)進(jìn)行加工存儲到數(shù)據(jù)開放平臺中，以供現(xiàn)有的應(yīng)用和將來的應(yīng)用進(jìn)行使用。

相應(yīng)一個粗粒度的應(yīng)用架構(gòu)全景圖如圖5所示。

從上面這張圖我們可以看到，我們需要建設(shè)一個數(shù)據(jù)開放平臺，數(shù)據(jù)開放平臺提供了一系列服務(wù)API供各個應(yīng)用進(jìn)行使用，各個應(yīng)用都需要利用數(shù)據(jù)開放平臺中提供的數(shù)據(jù)來即可以利用企業(yè)中以前積累和將來積累的一系列數(shù)據(jù)來完成相應(yīng)的業(yè)務(wù)處理；當(dāng)然業(yè)務(wù)應(yīng)用與業(yè)務(wù)應(yīng)用之間的集成由集成平臺（例如企業(yè)應(yīng)用集成平臺、流程平臺等）來完成。數(shù)據(jù)開發(fā)平臺最簡單來講分成以下幾大部分：

1）數(shù)據(jù)開放平臺數(shù)據(jù)層：即需要相應(yīng)的數(shù)據(jù)庫服務(wù)器存儲我們企業(yè)中以前積累和將來積累的一系列數(shù)據(jù)經(jīng)過加工后的有用、完整、精確的數(shù)據(jù)，例如主數(shù)據(jù)、元數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)等。這個數(shù)據(jù)的形成就需要利用相應(yīng)的ETL技術(shù)、數(shù)據(jù)倉庫技術(shù)等技術(shù)。

2）數(shù)據(jù)規(guī)則層：即需要建立一系列的數(shù)據(jù)所有權(quán)規(guī)則、數(shù)據(jù)共享規(guī)則、數(shù)據(jù)可用性規(guī)則來限制數(shù)據(jù)的創(chuàng)建、利用等；反應(yīng)到數(shù)據(jù)開放平臺這個整體就是一系列的算法/代碼。

3）數(shù)據(jù)邏輯層：為了讓在數(shù)據(jù)開放平臺中的數(shù)據(jù)能夠給各個業(yè)務(wù)應(yīng)用利用，我們需要開發(fā)大量的業(yè)務(wù)邏輯來處理和加工數(shù)據(jù)開放平臺中的數(shù)據(jù)。這樣的話就會形成一系列的支撐應(yīng)用（例如統(tǒng)一用戶管理應(yīng)用、主數(shù)據(jù)管理應(yīng)用、數(shù)據(jù)分析應(yīng)用（例如提供報表等等））。

4）服務(wù)API層：如何讓各個業(yè)務(wù)應(yīng)用更好和方便快捷地使用我們的數(shù)據(jù)呢？我們需要提供一系列簡單的服務(wù)API給各個應(yīng)用使用。

4 總結(jié)

本文通過對應(yīng)用需求的思考，確認(rèn)數(shù)據(jù)對應(yīng)用系統(tǒng)的重要性，并針對傳統(tǒng)方式實現(xiàn)架構(gòu)中的研究發(fā)現(xiàn)原先那種煙囪式的開發(fā)模式導(dǎo)致的數(shù)據(jù)孤島的出現(xiàn)，我們通過總體規(guī)劃、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量的四個方面著手去研究新一代關(guān)系型數(shù)據(jù)庫架構(gòu)。去更深的對數(shù)據(jù)進(jìn)行利用和探求數(shù)據(jù)的價值。

參考文獻(xiàn)：

[1] 劉平.基于價值的企業(yè)信息資源管理研究[D].武漢：華中科技大學(xué)， 2004.

[2] 趙捷.核心系統(tǒng)建設(shè)要從IT整體規(guī)劃入手[N].金融時報， 2006.

[3] 陳旭群.X銀行企業(yè)架構(gòu)管理研究與實踐[D].廈門：廈門大學(xué)， 2009.