云存儲(chǔ)中實(shí)現(xiàn)彩鈴鈴音庫(kù)分配調(diào)度方法的研究

孫啟昌，常會(huì)卿，黃梅英

（中國(guó)移動(dòng)通信集團(tuán)河南有限公司，鄭州 450008）

1 業(yè)務(wù)概述

彩鈴業(yè)務(wù)為近幾年來(lái)在移動(dòng)通信行業(yè)興起的一項(xiàng)音樂(lè)回鈴音業(yè)務(wù)。

現(xiàn)有一般彩鈴鈴音資源的制作，是由提供鈴音資源的CP（內(nèi)容提供商）負(fù)責(zé)完成的。CP負(fù)責(zé)選擇歌曲的高潮部分或者熱門部分進(jìn)行剪切。長(zhǎng)度一般保持在45s以上。由CP按照彩鈴系統(tǒng)鈴音發(fā)布流程完成對(duì)該鈴音的上傳，并保存在鈴音資源庫(kù)中，供用戶訂購(gòu)。

彩鈴平臺(tái)系統(tǒng)隨著CP不斷地發(fā)布新的鈴音資源，在彩鈴平臺(tái)上慢慢地形成了一個(gè)規(guī)模龐大的鈴音資源庫(kù)，其中可能包含上百萬(wàn)首的彩鈴鈴音資源，并且會(huì)一直不斷的增長(zhǎng)。從彩鈴業(yè)務(wù)開始向用戶提供以來(lái)，每個(gè)彩鈴鈴音庫(kù)的鈴音數(shù)量已經(jīng)超過(guò)130萬(wàn)首以上，需要的存儲(chǔ)空間達(dá)到700 GB以上，并且每月還有十幾到幾十個(gè)GB的新增鈴音上線加入。

對(duì)于一個(gè)彩鈴平臺(tái)來(lái)說(shuō)，彩鈴用戶根據(jù)自己的喜好來(lái)定制彩鈴音，而彩鈴平臺(tái)提供了巨量的彩鈴音資源，這就必然會(huì)造成鈴音定制的不均衡，有的鈴音比較流行，喜好的人多，因此訂購(gòu)的就多，而有的鈴音，從上線到如今幾年中沒(méi)有一次的訂購(gòu)，而且這種零訂購(gòu)或極低訂購(gòu)次數(shù)（比如一次兩次）的鈴音資源與訂購(gòu)上萬(wàn)次的鈴音可能平等同樣占用多套鈴音庫(kù)的存儲(chǔ)資源，這就造成大量的存儲(chǔ)空間及設(shè)備處理能力的浪費(fèi)。

按照上述的彩鈴鈴音庫(kù)的部署情況的分析，在彩鈴平臺(tái)中鈴音庫(kù)的部署占用的巨大的數(shù)據(jù)存儲(chǔ)資源，而且這些設(shè)備利用率較低，同時(shí)由于每個(gè)彩鈴平臺(tái)中都建立有一套或多套彩鈴鈴音庫(kù)，如何保證各個(gè)彩鈴平臺(tái)的各種業(yè)務(wù)數(shù)據(jù)一致性，保證彩鈴呼叫平臺(tái)中實(shí)際進(jìn)行彩鈴播放時(shí)的準(zhǔn)確性，對(duì)于整個(gè)彩鈴業(yè)務(wù)是極為關(guān)鍵的。

針對(duì)上面的分析，本文提出了一種彩鈴平臺(tái)鈴音庫(kù)的采用云存儲(chǔ)資源分配調(diào)度的方法，通過(guò)此方法，使彩鈴系統(tǒng)的所有鈴音庫(kù)全部都建設(shè)在一套基于云存儲(chǔ)的系統(tǒng)之上，達(dá)到多套彩鈴平臺(tái)共享一套彩鈴鈴音庫(kù)存儲(chǔ)池。

2 系統(tǒng)模塊組成與功能

基于私有云存儲(chǔ)的多彩鈴鈴音庫(kù)共享系統(tǒng)的工作原理是利用數(shù)據(jù)傳輸專線網(wǎng)絡(luò)構(gòu)建私有云存儲(chǔ)系統(tǒng)，當(dāng)彩鈴系統(tǒng)發(fā)布新的彩鈴音媒體文件數(shù)據(jù)時(shí)，數(shù)據(jù)通過(guò)統(tǒng)一的數(shù)據(jù)流接口存儲(chǔ)到私有云端。通過(guò)統(tǒng)一的彩鈴平臺(tái)的數(shù)據(jù)接口隨時(shí)提供彩鈴業(yè)務(wù)管理平臺(tái)和彩鈴呼叫平臺(tái)使用。

2.1 彩鈴私有存儲(chǔ)云系統(tǒng)結(jié)構(gòu)

彩鈴私有存儲(chǔ)云系統(tǒng)結(jié)構(gòu)如圖1所示。數(shù)據(jù)存儲(chǔ)設(shè)備是云存儲(chǔ)最基礎(chǔ)的部分。存儲(chǔ)設(shè)備可以是FC光纖通道存儲(chǔ)設(shè)備，可以是NAS和 iSCSI等IP存儲(chǔ)設(shè)備，也可以是 SCSI或SAS等 DAS存儲(chǔ)設(shè)備。存儲(chǔ)設(shè)備之上是一個(gè)統(tǒng)一存儲(chǔ)設(shè)備管理系統(tǒng)，可以實(shí)現(xiàn)存儲(chǔ)設(shè)備的邏輯虛擬化管理、多鏈路冗余管理以及硬件設(shè)備的狀態(tài)監(jiān)控和故障維護(hù)。

圖1 彩鈴私有存儲(chǔ)云系統(tǒng)結(jié)構(gòu)

基礎(chǔ)管理模塊是云存儲(chǔ)系統(tǒng)管理的核心部分?；A(chǔ)管理層通過(guò)集群、分布式文件系統(tǒng)和網(wǎng)格計(jì)算等技術(shù)，實(shí)現(xiàn)云存儲(chǔ)中多個(gè)存儲(chǔ)設(shè)備之間的協(xié)同工作，使多個(gè)的存儲(chǔ)設(shè)備可以對(duì)外提供同一種服務(wù)，并提供更大更強(qiáng)更好的數(shù)據(jù)訪問(wèn)性能。

元數(shù)據(jù)服務(wù)模塊是云存儲(chǔ)數(shù)據(jù)訪問(wèn)核心的部分。元數(shù)據(jù)是描述文件系統(tǒng)中文件屬性和位置信息的數(shù)據(jù)，元數(shù)據(jù)管理是并行文件系統(tǒng)的重要組成部分，由于其被操作的頻繁性，元數(shù)據(jù)管理方式對(duì)并行文件系統(tǒng)有重要影響。元數(shù)據(jù)服務(wù)模塊主要的功能是對(duì)元數(shù)據(jù)庫(kù)和元數(shù)據(jù)標(biāo)準(zhǔn)進(jìn)行管理和操作,其主要功能有注冊(cè)元數(shù)據(jù)標(biāo)準(zhǔn),基于元數(shù)據(jù)標(biāo)準(zhǔn)建立元數(shù)據(jù)庫(kù),對(duì)元數(shù)據(jù)庫(kù)和元數(shù)據(jù)標(biāo)準(zhǔn)的注冊(cè)和刪除;注冊(cè)和刪除用戶,修改用戶密碼,修改用戶權(quán)限;在元數(shù)據(jù)庫(kù)里導(dǎo)入元數(shù)據(jù)標(biāo)準(zhǔn)等。

彩鈴平臺(tái)作為存儲(chǔ)云的使用用戶，通過(guò)標(biāo)準(zhǔn)的公用應(yīng)用接口來(lái)訪問(wèn)云存儲(chǔ)系統(tǒng)，享受云存儲(chǔ)服務(wù)。彩鈴平臺(tái)是與文件存儲(chǔ)系統(tǒng)相關(guān)的應(yīng)用系統(tǒng)，彩鈴平臺(tái)中的各個(gè)應(yīng)用可以通過(guò)POSIX、NFS、CIFS、FTP訪問(wèn)云存儲(chǔ)系統(tǒng)的文件存儲(chǔ)相關(guān)功能，或通過(guò)記錄存儲(chǔ)及檢索API訪問(wèn)記錄存儲(chǔ)擴(kuò)展功能。

2.2 應(yīng)用接口模塊提供的文件系統(tǒng)服務(wù)

應(yīng)用接口模塊為上層彩鈴應(yīng)用提供POSIX API、FTP、NFS、CIFS以及記錄存儲(chǔ)及檢索API等接口。提供文件系統(tǒng)服務(wù)分為：

文件與目錄操作：包括新增文件或目錄、文件或目錄更名、刪除文件或目錄、移動(dòng)文件或目錄、創(chuàng)建與刪除鏈接以及文件與目錄的統(tǒng)計(jì)功能。

文件訪問(wèn)功能：包括文件的讀取和寫入、文件加鎖與文件截?cái)喙δ堋?/p>

文件與目錄的訪問(wèn)控制：功能包括更改文件或目錄的訪問(wèn)權(quán)限、更改文件或目錄的所有者。

另外還要包括：操作維護(hù)功能，如數(shù)據(jù)導(dǎo)入、系統(tǒng)管理、用戶管理、服務(wù)管理、配額管理、服務(wù)等級(jí)管理、系統(tǒng)統(tǒng)計(jì)與監(jiān)測(cè)。同時(shí)還包括安全相關(guān)功能，如包括數(shù)據(jù)加密和數(shù)據(jù)隔離等。

3 業(yè)務(wù)實(shí)現(xiàn)流程

將各個(gè)彩鈴平臺(tái)的鈴音庫(kù)從原來(lái)的傳統(tǒng)存儲(chǔ)模式下改造為采用基于云存儲(chǔ)的技術(shù)下實(shí)現(xiàn)。在彩鈴鈴音庫(kù)云中建立一組存儲(chǔ)池用來(lái)存儲(chǔ)鈴音實(shí)體文件，如前所述，這些文件有的使用頻次高，有的使用頻次低，而對(duì)于一定合理性價(jià)比的硬件設(shè)備來(lái)說(shuō)，可以提供的數(shù)據(jù)吞吐能力或者數(shù)據(jù)存取能力是有一定的限度的，不能無(wú)止境的增加，如果整個(gè)彩鈴平臺(tái)的存取能力需求遠(yuǎn)超過(guò)這個(gè)上限，通常需要配置多套來(lái)并行處理來(lái)分擔(dān)這些存取能負(fù)荷。即建立多套的鈴音庫(kù)存儲(chǔ)實(shí)體的存儲(chǔ)池，如果存儲(chǔ)池中對(duì)每個(gè)鈴音庫(kù)都采取完整全庫(kù)的方法則基本上等效于傳統(tǒng)方法下的彩鈴鈴音庫(kù)的配置方案，并不能體現(xiàn)云存儲(chǔ)帶來(lái)的好處。

本文提供一種彩鈴鈴音庫(kù)云的內(nèi)部鈴音部署算法，該算法根據(jù)彩鈴業(yè)務(wù)管理平臺(tái)和彩鈴呼叫平臺(tái)對(duì)彩鈴鈴音庫(kù)的彩鈴音文件的存取負(fù)荷進(jìn)行計(jì)算統(tǒng)計(jì)，然后根據(jù)這些存取負(fù)荷計(jì)算鈴音庫(kù)存儲(chǔ)池的文件存儲(chǔ)配置，在按照一定合適的性價(jià)比的硬件存儲(chǔ)設(shè)備組織彩鈴鈴音庫(kù)云。

圖2 彩鈴鈴音庫(kù)云內(nèi)部鈴音部署調(diào)度算法

本文的彩鈴鈴音庫(kù)云的內(nèi)部鈴音部署調(diào)度算法如圖2所示，以下算法和存儲(chǔ)資源調(diào)度策略的運(yùn)行由基礎(chǔ)管理模塊和元數(shù)據(jù)服務(wù)模塊定期執(zhí)行或認(rèn)為命令下強(qiáng)制執(zhí)行：

步驟101，在基礎(chǔ)管理模塊中，先計(jì)算忙時(shí)平均每秒彩鈴鈴音播放負(fù)荷：

忙時(shí)平均每秒彩鈴鈴音播放負(fù)荷（E）= (總用戶數(shù)×忙時(shí)集中率×彩鈴平均呼叫時(shí)長(zhǎng)×彩鈴播放帶寬)÷3 600 。

步驟102，在基礎(chǔ)管理模塊中，統(tǒng)計(jì)計(jì)算彩鈴系統(tǒng)鈴音庫(kù)的鈴音總訂購(gòu)數(shù)量，需要彩鈴業(yè)務(wù)平臺(tái)的業(yè)務(wù)數(shù)據(jù)庫(kù)提供基礎(chǔ)訂購(gòu)數(shù)據(jù)信息，再由本模塊進(jìn)行統(tǒng)計(jì)計(jì)算。即鈴音總訂購(gòu)數(shù)量=∑Ki（i=1…n）（Ki：某鈴音訂購(gòu)次數(shù)，n為鈴音總數(shù)）。

步驟103，選取合適的性價(jià)比的硬件存儲(chǔ)設(shè)備，記錄該設(shè)備的處理能力參數(shù)，作為存儲(chǔ)設(shè)備處理能力標(biāo)準(zhǔn),標(biāo)記為S。以此硬件存儲(chǔ)設(shè)備為標(biāo)準(zhǔn)作為存儲(chǔ)池中的存儲(chǔ)設(shè)備的基本單元，該存儲(chǔ)單元作為配置的參考，實(shí)際配置時(shí)不限于此單一設(shè)備，其他設(shè)備也可以使用，只是在計(jì)算時(shí)按以該單元為標(biāo)準(zhǔn)進(jìn)行等效核算。此數(shù)據(jù)預(yù)先配置于系統(tǒng)中。由基礎(chǔ)管理模塊從配置數(shù)據(jù)中取得。

步驟104，通過(guò)彩鈴系統(tǒng)忙時(shí)平均每秒彩鈴鈴音播放總負(fù)荷（E）和存儲(chǔ)設(shè)備處理能力標(biāo)準(zhǔn)（S）,計(jì)算整個(gè)彩鈴系統(tǒng)需要的等效的標(biāo)準(zhǔn)存儲(chǔ)設(shè)備數(shù)量M。如需考慮安全冗余，則可以在計(jì)算結(jié)果的基礎(chǔ)上增加一定的比例即可得出總存儲(chǔ)設(shè)備的需求量。即：M=(∑Ki×e1)/S，（i=1…n）；（其中 ：e1是鈴音單次訂購(gòu)的平均播放負(fù)荷）。

步驟105，在基礎(chǔ)管理模塊中，對(duì)彩鈴系統(tǒng)鈴音庫(kù)的鈴音按訂購(gòu)數(shù)量進(jìn)行排序，提取鈴音文件進(jìn)行分組，然后進(jìn)行存儲(chǔ)資源分配。即對(duì)有用戶訂購(gòu)的鈴音，從最高訂購(gòu)次數(shù)起依次累加選取總負(fù)荷的p%的鈴音文件作為一個(gè)鈴音文件分組。

步驟106，在基礎(chǔ)管理模塊中，把步驟104產(chǎn)生的鈴音文件分組進(jìn)行部署。對(duì)彩鈴私有鈴音存儲(chǔ)云的數(shù)據(jù)存儲(chǔ)設(shè)備進(jìn)行分配，以預(yù)設(shè)的存儲(chǔ)設(shè)備處理能力標(biāo)準(zhǔn)（S）為基本分配單元。分配(M-2)p%的存儲(chǔ)設(shè)備到該分組，把本組文件分配在組內(nèi)所有存儲(chǔ)設(shè)備上。

步驟107，判斷鈴音是否分配完成，如果未分配完成，則跳轉(zhuǎn)到步驟105繼續(xù)鈴音的下一個(gè)分組及資源的分配。如果分配完成，分配系統(tǒng)中零訂購(gòu)次數(shù)的非活躍鈴音文件。

步驟108，對(duì)下一個(gè)分組的資源分配準(zhǔn)備相應(yīng)的計(jì)算資源。

步驟109，在基礎(chǔ)管理模塊中，分配系統(tǒng)中零訂購(gòu)次數(shù)的非活躍鈴音文件。這些文件不會(huì)產(chǎn)生播放負(fù)荷，因此可以分配極低性能的主備兩套存儲(chǔ)資源達(dá)到安全存儲(chǔ)不丟失即可。

步驟110，在基礎(chǔ)管理模塊中，向彩鈴系統(tǒng)數(shù)據(jù)庫(kù)提交彩鈴鈴音文件分組及鈴音文件定位數(shù)據(jù)。

步驟111，在基礎(chǔ)管理模塊中，對(duì)鈴音文件分組及資源分配結(jié)果提交元數(shù)據(jù)模塊，更新元數(shù)據(jù)服務(wù)數(shù)據(jù)庫(kù)。

4 云存儲(chǔ)實(shí)現(xiàn)彩鈴鈴音庫(kù)資源分配調(diào)度的優(yōu)點(diǎn)

當(dāng)采用云存儲(chǔ)，使用者不需要了解云存儲(chǔ)內(nèi)部具體的設(shè)備的具體細(xì)節(jié)。不用管設(shè)備是什么型號(hào)，什么結(jié)構(gòu)。云狀存儲(chǔ)系統(tǒng)中的所有設(shè)備對(duì)使用者來(lái)講都是完全透明的，任何地方的任何一個(gè)經(jīng)過(guò)授權(quán)的使用者都可以通過(guò)網(wǎng)絡(luò)與云存儲(chǔ)連接，對(duì)云存儲(chǔ)進(jìn)行數(shù)據(jù)訪問(wèn)。

同時(shí)，按本文對(duì)彩鈴云存儲(chǔ)進(jìn)行部署和動(dòng)態(tài)的資源分配，可以最大的利用存儲(chǔ)設(shè)備資源，提高存儲(chǔ)設(shè)備的處理能力。是一種降低系統(tǒng)建設(shè)成本的同時(shí)不會(huì)降低系統(tǒng)處理性能和安全性的技術(shù)方案。

5 結(jié)論

與傳統(tǒng)的鈴音上線方法相比，本文中的方法和技術(shù)的優(yōu)點(diǎn)主要體現(xiàn)在以下5個(gè)方面。

首先，采用程序自動(dòng)運(yùn)行，避免了人為因素帶來(lái)的諸多不便，在降低維護(hù)工作量的同時(shí)，大大提高了鈴音上線效率。

其次，具有通用型，適合各種類型的鈴音，包括本地鈴音、中央音樂(lè)平臺(tái)鈴音、集團(tuán)鈴音、DIY鈴音等，而且還具備可擴(kuò)展性，傳統(tǒng)的兩種方法均不具備這些特點(diǎn)。

第三，本方法添加了程序自動(dòng)檢測(cè)鈴音功能。通過(guò)專門編寫的鈴音檢測(cè)軟件，對(duì)新發(fā)布的鈴音進(jìn)行自動(dòng)檢查，可以檢查出鈴音的質(zhì)量方面的問(wèn)題。

第四，本方法對(duì)網(wǎng)絡(luò)環(huán)境要求不高。本方法為非實(shí)時(shí)性接口，沒(méi)有實(shí)時(shí)性接口對(duì)網(wǎng)絡(luò)要求那么嚴(yán)格，雙方只要能正常登陸ftp，就可以完成鈴音自動(dòng)上線，并得到結(jié)果反饋。

第五，本方法結(jié)構(gòu)簡(jiǎn)單，交互接口少，易于使用。

[1]卓蘇拉,歐爾,佩吉.云計(jì)算與數(shù)據(jù)中心自動(dòng)化[M].張猛,譯.北京:人民郵電出版社,2012.

[2]羅頓等.云計(jì)算架構(gòu)：解決方案設(shè)計(jì)手冊(cè)[M].趙龍剛等,譯.北京:機(jī)械工業(yè)出版社,2012.

[3]樓攬?jiān)?彩鈴業(yè)務(wù)發(fā)展探討[J].電信工程技術(shù)與標(biāo)準(zhǔn)化,2006(12).

[4]康曉非,暴宇.數(shù)字移動(dòng)通信[M].北京：人民郵電出版社,2010.