◆王智宇
?
智能存儲在企業(yè)云存儲中的應用與研究
◆王智宇
(廣東省電信規(guī)劃設計院有限公司 廣東 510630)
隨著互聯(lián)網(wǎng)、云計算、大數(shù)據(jù)等技術的快速發(fā)展,許多企業(yè)為了提高數(shù)據(jù)共享、并發(fā)處理、協(xié)作辦公能力,引入了云平臺。云平臺可以將政企單位的計算機按照矩陣模式連接在一起,構建一個基于智能存儲的云服務平臺,實現(xiàn)信息的動態(tài)管理、均衡負載、虛擬化管理,具有重要的作用和意義。
智能存儲;云計算;虛擬化;數(shù)據(jù)遷移
隨著大數(shù)據(jù)、云計算、移動計算、數(shù)據(jù)庫等技術的快速發(fā)展,許多企業(yè)引入了先進的自動化辦公系統(tǒng),比如公文管理系統(tǒng)、績效管理系統(tǒng)、招標管理系統(tǒng)、OA管理系統(tǒng)等,這些系統(tǒng)有力地促進了企業(yè)信息化、共享化、智能化水平,也為企業(yè)發(fā)展帶來了新的生產力,提高了企業(yè)的市場競爭力[1]。企業(yè)自動化工具的增多,也促進了云計算在企業(yè)共享中的應用,很多企業(yè)開始引入云計算技術,構建云服務平臺,將所有的系統(tǒng)都部署于同一個系統(tǒng),這樣就可以更好的滿足企業(yè)發(fā)展需求。
云服務平臺開發(fā)的關鍵就是設立數(shù)據(jù)存儲和管理系統(tǒng)。因此本文為了提高數(shù)據(jù)共享能力和并發(fā)處理效率,提出采用智能分級存儲模式,實現(xiàn)數(shù)據(jù)的動態(tài)、分級管理。智能存儲包括六個關鍵功能,分別是元數(shù)據(jù)管理、數(shù)據(jù)遷移控制、數(shù)據(jù)文件估值、數(shù)據(jù)遷移控制、數(shù)據(jù)訪問重定向和文件監(jiān)視功能[2]。元數(shù)據(jù)管理可以將數(shù)據(jù)劃分到最小級別,保證數(shù)據(jù)遷移的原子性和完整性。數(shù)據(jù)遷移控制可以將訪問頻次非常高的數(shù)據(jù)遷移到優(yōu)先級較高的位置,同時將訪問頻次變低的數(shù)據(jù)遷移到較弱的區(qū)域。數(shù)據(jù)文件估值可以按照數(shù)據(jù)訪問頻次、大小、創(chuàng)建時間、占用存儲空間等進行估值,以便為數(shù)據(jù)遷移控制提供依據(jù)。數(shù)據(jù)訪問重定向管理可以提高數(shù)據(jù)訪問的虛擬化程度,構建一個新型的數(shù)據(jù)訪問平臺,進一步提高數(shù)據(jù)訪問性能,數(shù)據(jù)訪問重定向不需要用戶掌握數(shù)據(jù)存儲的位置,只需要輸入邏輯業(yè)務請求即可完成重定向管理性能。文件系統(tǒng)監(jiān)視管理可以實時監(jiān)控系統(tǒng)運行情況,包括訪問命中率、系統(tǒng)延時、讀寫比例、存儲空間大小等,為文件系統(tǒng)遷移控制提供評估信息。數(shù)據(jù)遷移管理可以為用戶提供一個遷移控制模型,這樣就可以實現(xiàn)數(shù)據(jù)遷移的層級管理,調整數(shù)據(jù)存儲的優(yōu)先級比例,更好地實現(xiàn)數(shù)據(jù)智能化、動態(tài)化存儲。智能存儲在云存儲中的應用如圖1所示。
圖1 企業(yè)智能云存儲
企業(yè)智能云存儲開發(fā)和設計過程中,最為關鍵的內容是實現(xiàn)數(shù)據(jù)分類、數(shù)據(jù)放置和數(shù)據(jù)遷移。
數(shù)據(jù)分類可以根據(jù)企業(yè)日常工作的內容實現(xiàn)數(shù)據(jù)劃分,按照工作需求劃分為新聞數(shù)據(jù)、公文數(shù)據(jù)、財務數(shù)據(jù)、人力數(shù)據(jù)等,將這些數(shù)據(jù)實現(xiàn)進行分類管理,以便能夠提高智能云存儲的效率。目前,為了進一步提高數(shù)據(jù)分類的準確度,論文已經(jīng)提出了采用專家知識和數(shù)據(jù)挖掘的分類算法,比如模式識別、機器學習和統(tǒng)計分析方法,設置業(yè)務主題規(guī)則,實時的進行數(shù)據(jù)分類和估值。
數(shù)據(jù)放置可以根據(jù)智能云分級存儲系統(tǒng)的需求,將數(shù)據(jù)實現(xiàn)分級放置。目前,數(shù)據(jù)放置采用先進的優(yōu)先級原則,可以在數(shù)據(jù)庫中添加新型數(shù)據(jù)和熱點數(shù)據(jù),這些數(shù)據(jù)被訪問的次數(shù)非常高,數(shù)據(jù)放置的方法也非??茖W,這些都會影響智能分級存儲系統(tǒng)的效率和速度,如果數(shù)據(jù)放置不合理,將會形成一個數(shù)據(jù)訪問瓶頸問題,造成數(shù)據(jù)訪問速度整體效率大大下降。目前常用的數(shù)據(jù)放置模式包括順序放置、隨機放置和優(yōu)先級放置。順序放置按照數(shù)據(jù)保存的順序將數(shù)據(jù)存儲到服務器中,保存政企單位的數(shù)據(jù)信息,順序放置可以實現(xiàn)數(shù)據(jù)的先進先出功能,最新的數(shù)據(jù)始終保存在高位置,這樣就可以促進數(shù)據(jù)訪問效率提升。隨機放置可以采用Hash算法,將新型數(shù)據(jù)放置在最新的數(shù)據(jù)庫hash位置,隨機放置保存的數(shù)據(jù)不連續(xù),只是放置在一個合理的位置,如果用戶訪問相關的數(shù)據(jù)也需要隨機訪問。優(yōu)先級放置可以將數(shù)據(jù)庫進行層次化,優(yōu)先級較高的位置放置熱點數(shù)據(jù),優(yōu)先級較低的位置放置非熱點數(shù)據(jù),這樣就可以以最快的速度訪問最新數(shù)據(jù)內容。
數(shù)據(jù)遷移技術。智能云分級存儲系統(tǒng)運行過程中,政企單位信息化系統(tǒng)產生的數(shù)據(jù)是動態(tài)變化的,因此數(shù)據(jù)庫訪問也具有優(yōu)先層次劃分,利用數(shù)據(jù)遷移技術可以將不同的數(shù)據(jù)遷移到不同的優(yōu)先級位置上,這樣就可以提高數(shù)據(jù)訪問效率。智能云分級存儲系統(tǒng)中,數(shù)據(jù)遷移技術包括同級遷移和異級遷移兩種方法。同級遷移模式發(fā)生在同一優(yōu)先級位置的存儲系統(tǒng)硬件配置發(fā)生變化,為了能夠均衡硬件的負載情況,可以在同一級進行數(shù)據(jù)庫中進行遷移,確保存儲器具有足夠的容量。異級遷移模式是指根據(jù)數(shù)據(jù)估值,可以將重要的、訪問頻次較高的數(shù)據(jù)遷移到優(yōu)先級較高的位置,異級遷移模式是系統(tǒng)最為常見的模式,可以更好地優(yōu)化存儲系統(tǒng),異級遷移過程中是自動化的,遷移過程可以是高性能存儲設備向低性能存儲設備遷移,也可以相反遷移。
智能分級存儲設計最為關鍵的技術就是虛擬化技術。虛擬化可以實現(xiàn)桌面虛擬化和服務器虛擬化。桌面虛擬化可以配置一個虛擬化的桌面服務器,并且能夠安裝相關的虛擬化工具,這樣就可以創(chuàng)建多個邏輯獨立的虛擬機,每一個虛擬機都可以關聯(lián)一個虛擬桌面用戶ID,這樣就可以運行服務器。系統(tǒng)面向每一個終端用戶定制和創(chuàng)建一個虛擬用戶桌面,每一個桌面僅需要配置一臺鍵盤、一個鼠標和一個顯示器,安裝一個云端桌面即可登錄到服務器,加載虛擬桌面運行時信息。連接管理中間件可以為用戶虛擬桌面、服務器提供一個資源池,實現(xiàn)邏輯業(yè)務的通信連接和資源調度功能,將遠程數(shù)據(jù)中心的服務器虛擬化,提供數(shù)以萬計的虛擬桌面客戶端。因此,高密度的用戶群造成了調度、管理的困難,同時一個磁盤也難以形成并發(fā)訪問能力,網(wǎng)絡帶寬資源也無法得到協(xié)同,因此而已采用一個連接中間件,能夠實現(xiàn)用戶認證、通信連接、數(shù)據(jù)轉發(fā)、資源調度,負責虛擬桌面應用功能啟動、負載均衡、分配桌面資源等功能。
服務器虛擬化是桌面虛擬化系統(tǒng)的一個重要的組成內容,虛擬桌面嚴重依賴服務器虛擬化的性能。桌面虛擬化需要提供并發(fā)處理能力、透明存儲能力、分片管理能力,同一臺物理服務器可以經(jīng)過虛擬化操作,形成多個虛擬桌面。目前,服務器端虛擬化技術較多,主要是針對承載服務器運行的硬件物理資源進行抽象化,這些技術主要包括虛擬CPU、虛擬設備與輸入輸出、虛擬內存,并且針對每一個虛擬桌面提供一個強大的隔離性、安全性操作內容,保證虛擬桌面用戶的并發(fā)處理能力,保證每一個虛擬化桌面的運行數(shù)據(jù)是完整的、安全的。
隨著企業(yè)云計算平臺的應用和改進,企業(yè)云存儲將會引入更加先進的管理功能,實現(xiàn)企業(yè)云存儲的先進性、全面性管理模式,更好地為企業(yè)提供智能化、信息化和自動化服務,進一步解放企業(yè)生產力,提高企業(yè)市場競爭能力。
[1]毛正標.云存儲在校園網(wǎng)中應用的研究[J].中國高新技術企業(yè),2014.
[2]劉鋒.云存儲技術在智能交通中的作用的理論分析[J].電子技術與軟件工程,2016.