大數(shù)據(jù)背景下高冗余數(shù)據(jù)壓縮和存儲(chǔ)優(yōu)化算法的分析與研究

尹強(qiáng)飛

摘要：存儲(chǔ)問題一直以來是人們對(duì)信息化高速發(fā)展而高度關(guān)注的。最近隨著云存儲(chǔ)自身具備的優(yōu)勢(shì)對(duì)傳統(tǒng)存儲(chǔ)引起的沖擊也備受熱議。對(duì)于云存儲(chǔ)可以通過犧牲空間以及性能而實(shí)現(xiàn)數(shù)據(jù)壓縮將會(huì)導(dǎo)致在解壓時(shí)引起一定程度的損耗。為此，該文在高冗余數(shù)據(jù)壓縮和存儲(chǔ)算法中進(jìn)行了優(yōu)化處理，通過對(duì)傳統(tǒng)遺傳算法和數(shù)據(jù)壓縮存儲(chǔ)算法等進(jìn)行優(yōu)化從而解決高冗余數(shù)據(jù)存儲(chǔ)和壓縮等問題。

關(guān)鍵詞：遺傳算法；性能；壓縮存儲(chǔ)；冗余；云存儲(chǔ)

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2017）29-0271-02

1 背景

最近隨著云存儲(chǔ)自身具備的優(yōu)勢(shì)對(duì)傳統(tǒng)存儲(chǔ)引起的沖擊，近年來存儲(chǔ)問題是人們對(duì)信息化高速發(fā)展而高度關(guān)注。云存儲(chǔ)指的是技術(shù)人員通過集群應(yīng)用、網(wǎng)絡(luò)技術(shù)等等將存在于計(jì)算機(jī)網(wǎng)絡(luò)中數(shù)量巨大的不同數(shù)據(jù)類型的存儲(chǔ)硬件通過軟件來進(jìn)行結(jié)合，一同向外部提供數(shù)據(jù)訪問以及存儲(chǔ)服務(wù)的一個(gè)系統(tǒng)。任何事物都是兩面的，大數(shù)據(jù)對(duì)我們?nèi)粘Ｉ顜砹撕芏嗪锰?，然而在存?chǔ)技術(shù)層面上也面臨的前所未有的挑戰(zhàn)。如何保證在互聯(lián)網(wǎng)環(huán)境下對(duì)數(shù)據(jù)存儲(chǔ)安全和高效值得我們深思。云存儲(chǔ)具有不受時(shí)間和地點(diǎn)等形式的限制，同時(shí)對(duì)于其擴(kuò)展性和成本低等都是傳統(tǒng)存儲(chǔ)所無(wú)法比擬的。然而，對(duì)于云存儲(chǔ)實(shí)現(xiàn)數(shù)據(jù)壓縮將成為關(guān)鍵技術(shù)。

2 優(yōu)化的遺傳算法

遺傳算法是使用遺傳信息和策略來指導(dǎo)適者生存的搜索方向，因此不需要梯度并假設(shè)搜索空間是連續(xù)的和可區(qū)分的。遺傳算法與參數(shù)空間中的多個(gè)點(diǎn)同時(shí)存在，因此具有高效的全局優(yōu)化能力。遺傳算法通過種群的選擇、交叉和變異來模擬生物的自然選擇和進(jìn)化的核心演化機(jī)制。代碼在解決問題的過程，通過一個(gè)可以識(shí)別的計(jì)算機(jī)代碼來解決問題。選擇編碼可以給出初始種群的相應(yīng)問題的解，通常所說的初始種群可以使用以下形式。

在遺傳算法的選擇算子在操作過程中稱為復(fù)制或再現(xiàn)，其目的是防止在操作過程中缺乏有效的算法基因，通過選擇算子可以使個(gè)體具有更大的生存概率，提高算法的搜索性能和解決方案的質(zhì)量。 在傳統(tǒng)遺傳算法中，通常使用目標(biāo)函數(shù)形成如下。

改進(jìn)算法采用自適應(yīng)函數(shù)，以個(gè)體適應(yīng)度為基準(zhǔn)，以總適應(yīng)度為判別標(biāo)準(zhǔn)。當(dāng)比例過大時(shí)，適應(yīng)度從小到大的順序序列號(hào)按比例直接作為復(fù)制概率。當(dāng)比例適中，直接適應(yīng)度的比例作為復(fù)制概率。當(dāng)比例小時(shí)，按序列號(hào)指數(shù)比例作為復(fù)制概率。

3 優(yōu)化的數(shù)據(jù)壓縮存儲(chǔ)算法

眾所周知，為用戶提供服務(wù)的計(jì)算機(jī)中相關(guān)文件所具有的服務(wù)操作。然而真正實(shí)現(xiàn)這些操作的是在服務(wù)器上運(yùn)行程序中的文件流。由于用戶操作是根據(jù)業(yè)務(wù)需求而要求不斷的執(zhí)行程序，這樣頻繁的操作就勢(shì)必對(duì)服務(wù)器帶來壓力而給用戶帶來體驗(yàn)和服務(wù)時(shí)降低了質(zhì)量。為此，需要對(duì)文件存儲(chǔ)進(jìn)行壓縮處理。

如圖1展示了大規(guī)模的數(shù)據(jù)壓縮程序的顯示。在本文中，以提高當(dāng)前的數(shù)據(jù)壓縮算法的整體性能，我們進(jìn)行了研究高冗余數(shù)據(jù)壓縮存儲(chǔ)算法和遺傳算法的并行計(jì)算。

模型是人們對(duì)客觀世界的理解并對(duì)客觀世界的近似描述，而數(shù)據(jù)模型是對(duì)現(xiàn)實(shí)世界的抽象。分布式文件服務(wù)器系統(tǒng)是系統(tǒng)組件企業(yè)應(yīng)用的基礎(chǔ)，本文在保證企業(yè)分布式部署對(duì)其他企業(yè)應(yīng)用系統(tǒng)共享文件服務(wù)器組和非結(jié)構(gòu)化數(shù)據(jù)管理的基礎(chǔ)上提出了改進(jìn)方案，并為企業(yè)維護(hù)提供了完整的解決方案，可以有效降低企業(yè)應(yīng)用系統(tǒng)開發(fā)，部署和維護(hù)成本，提高企業(yè)應(yīng)用系統(tǒng)服務(wù)質(zhì)量。

存儲(chǔ)節(jié)點(diǎn)集群：歷史數(shù)據(jù)持久性的長(zhǎng)期保存。塊存儲(chǔ)的數(shù)據(jù)源，通常是集群數(shù)據(jù)中設(shè)置的加載機(jī)器作為數(shù)據(jù)塊單元的一次或幾次。

元數(shù)據(jù)節(jié)點(diǎn)集群：用來協(xié)調(diào)整個(gè)集群和對(duì)整個(gè)系統(tǒng)的元數(shù)據(jù)信息工作提供需要。企業(yè)應(yīng)用系統(tǒng)中存在大量的非結(jié)構(gòu)化數(shù)據(jù)，通常企業(yè)組織使用基于web的分布式文件服務(wù)器維護(hù)非結(jié)構(gòu)化數(shù)據(jù)，并授予企業(yè)應(yīng)用系統(tǒng)中的訪問權(quán)限。

4 結(jié)束語(yǔ)

本文主要研究基于遺傳算法和并行計(jì)算的高冗余數(shù)據(jù)壓縮存儲(chǔ)的優(yōu)化作用。優(yōu)化傳統(tǒng)算法和數(shù)據(jù)壓縮不僅降低了系統(tǒng)維護(hù)和升級(jí)成本，同時(shí)耶提高了系統(tǒng)的健壯性。因此，優(yōu)化的遺傳算法和優(yōu)化的數(shù)據(jù)壓縮為云存儲(chǔ)提供了更有力的發(fā)展空間，對(duì)云存儲(chǔ)問題是十分必要和具有重大意義。

參考文獻(xiàn)：

[1] 張娜. 基于遺傳壓縮感知的無(wú)線傳感器網(wǎng)絡(luò)數(shù)據(jù)壓縮方法[J]. 計(jì)算機(jī)應(yīng)用與軟件， 2016， 2（4）：52-57.

[2] Patel， Himali， Unnati Itwala， Roshni Rana， and Kruti Dangarwala. Survey of Lossless Data Compression Algorithms[J]. International Journal of Engineering Research and Technology， 2015， 4（4）：133-138.

[3] 陳碩章， 劉海斌， 王春暉， 等. 基于LabVIEW和云數(shù)據(jù)庫(kù)存儲(chǔ)的遠(yuǎn)程測(cè)試系統(tǒng)設(shè)計(jì)[J]. 國(guó)外電子測(cè)量技術(shù)， 2016， 3（6）：45-48.

[4] 徐小龍， 周靜嵐， 楊庚. 一種基于數(shù)據(jù)分割與分級(jí)的云存儲(chǔ)數(shù)據(jù)隱私保護(hù)機(jī)制[J]. 計(jì)算機(jī)科學(xué)， 2013， 2（2）：111-116.

[5] 陳杰. 大數(shù)據(jù)場(chǎng)景下的云存儲(chǔ)技術(shù)與應(yīng)用[J]. 中興通訊技術(shù). 2012， 5（6）：353-358.

[6] 辛剛， 羅香玉. 支持容錯(cuò)QoS的高效分布式文件存儲(chǔ)算法[J]. 電腦與電信， 2014， 3（6）：102-109.endprint