徐偉
(接上期)
三.系統(tǒng)的軟硬件及安全設計
1.系統(tǒng)軟硬件設計
揚州臺云媒資系統(tǒng)的服務器包含虛擬服務器和實體服務器兩種。基于云計算的虛擬服務器包括了10個刀片服務器用于部署虛擬化服務(目前投入實際使用4臺虛擬服務器)和10臺虛擬工作站。項目中還部署一臺物理容量為48T的虛擬帶庫,用于備份存儲媒資入庫歸檔的重要數據。虛擬磁帶庫通過存儲虛擬化技術把一個磁盤存儲系統(tǒng)完全模擬成了一個磁帶庫,包括磁帶庫機械臂、磁帶驅動器、各種類型的磁帶以及容量。虛擬磁帶庫的主要含義是,直接利用現(xiàn)有備份軟件的所有強大管理功能。
實體服務器中,網絡核心存儲設備由在線存儲系統(tǒng)EMC Isilon X200和數據庫存儲共享陣列Dell PowerVault MD3600f構成;近線存儲系統(tǒng)采用數據流磁帶庫Quantum Scalar i6000;以太網交換機分別采用H3C 5800-60c和H3C S5120-52C-E I。兩臺數據庫服務器由D E L L PowerEdge R720構成,采用Linux操作平臺和服務器雙機并行方式工作,數據采用獨立雙控盤陣RAID1方式存儲,采用專用備份軟件自動進行數據備份。分級存儲遷移服務器采用兩臺DELL PowerEdge R720,實現(xiàn)對歸檔系統(tǒng)以及近線帶庫進行管理。采用四臺DELL PowerEdge R720作為轉碼遷移服務器,以實現(xiàn)媒體資源數據的交換和共享、視音頻格式轉換、文件傳輸、文件校驗、自動技審等功能。兩臺打包服務器采用HP 380G7,用于高清制作網絡系統(tǒng)故事板的合成轉碼。上下載、審核以及縮編工作站采用大洋D3-HD5 PRO,編目審核工作站采用HP Z220。
在本次系統(tǒng)實體服務器上操作系統(tǒng)軟件采用了:Windows Server 2008 R2 Enterprise、Red Hat Enterprise Linux Server 5.8 X64;數據庫軟件采用ORACLE 10G RAC 。媒資系統(tǒng)采用大洋大洋E S B互聯(lián)平臺以及E M B(Enterprise Media Bus)轉碼中心,這些平臺軟件都是業(yè)界廣泛使用的軟件,具有良好穩(wěn)定性。
2.系統(tǒng)的安全設計
(1)數據庫的安全設計
為了保證網絡安全,數據庫服務器采用了先進的雙機容錯技術(即服務器集群技術),它保證了數據、應用程序和信息系統(tǒng)的高可用性,本網絡采用了ORACLE 10G RAC技術。
Oracle RAC的全稱為Oracle Real Application Clusters。在此前稱之為OPS,是一個計算環(huán)境。通過它,用戶可以充分利用多個使用集群技術互聯(lián)的計算機的處理能力。Oracle Real Application Clusters通過簡單輕松地使用單一系統(tǒng)映像的方式,可以沒有任何限制地利用集群環(huán)境的硬件資源來為任何打包應用和客戶應用進行計算資源的擴展和提供高可靠性。Oracle Real Application Clusters允許在一個集群配置的環(huán)境中使用多個節(jié)點來訪問一個單一的數據庫,從而防止應用和數據庫用戶由于硬件或是軟件導致的操作失敗,并且能方便利用硬件的擴展來提高系統(tǒng)性能,保證高可用性和高安全性,這種應用的主要優(yōu)點是:
兩臺服務器通過軟件建立一個虛擬服務器名,數據庫資源掛在虛擬的服務器下,客戶機訪問數據庫時直接訪問虛擬機,兩臺服務器一主一備,一旦主機癱瘓,備份機可以在一分鐘之內接管數據庫服務,接管過程對客戶機是透明的,這種技術作為成熟技術已經得到廣泛的應用并取得較好得效果。
(2)交換系統(tǒng)的安全設計
以太網核心為兩臺H3C5800萬兆交換機,可配置48口千兆模塊,兩臺交換機形成級聯(lián),每臺服務器用雙網線做成 TEAM,同時連接到兩臺交換機,任意一根網線斷開或接觸不良都不會引發(fā)服務器連接故障。
Isilon X200存儲系統(tǒng)內配置有主備Infiniband交換機,每個X200節(jié)點有兩根Infiniband線纜分別連接到主備交換機,任意一個節(jié)點的一根Infiniband連接線傳輸中斷都不會影響數據傳輸。
(3)服務器硬件安全
本系統(tǒng)中關鍵服務器采用雙機熱備工作模式,即核心FC交換機、服務器FC交換機和主要樓層交換機支持可熱插拔的SFP接口、冗余電源、冗余風扇等,這樣無論單個電源模塊、風扇、端口鏈路損壞都不會影響服務器和存儲系統(tǒng)提供的訪問服務,保證系統(tǒng)高可靠性。
四.系統(tǒng)的流程設計
1.系統(tǒng)總體流程設計
上圖是媒資系統(tǒng)的總體流程設計圖,其中有媒資資料入庫、資料管理、節(jié)目下載輸出等數據交互流程設計。數據的互聯(lián)互通是一個系統(tǒng)化的工程,本系統(tǒng)的流程設考慮ESB、EMB之間會有很多數據的傳遞,所以在流程服務之間的注冊及調用應該都采用了WebService、消息隊列等成熟的、標準的接口協(xié)議。在后臺數據交換中心包含了ESB、EMB、轉碼中心、媒體遷移中心等,這些在整個互聯(lián)互通平臺中起著至關重要的作用。
2.節(jié)目入庫流程
媒資的庫流程首先由欄目制作人員進行一次編目,由資源管理器提交媒資系統(tǒng)?;蛴擅劫Y系統(tǒng)上載、導入歷史資料及補充素材。入庫完成后,由媒資分級存儲軟件進行按照歸檔策略對文件歸檔;歸檔結束后由媒資編目人員,對歷史資料節(jié)目素材進行元數據編目。其次編目審核人員對編目元數據進行審核,符合的編目元數據就能通過從而完成元數據入庫,如果不通過則打回重新編目。
3.節(jié)目檢索流程
節(jié)目制作人員通過W E B檢索瀏覽低碼率,確認所需媒體文件發(fā)出檢索指令,通過HTTP/TCP協(xié)議傳遞給WEB服務器;后臺的WEB服務器對于非靜態(tài)頁面的代碼(JSP代碼等)傳遞給應用服務器解析;應用服務器通過查詢數據庫檢索出用戶需要的檢索結果;應用服務器把查詢結果轉化為HTML(Hypertext Markup Language超文本標記語言)傳遞回WEB服務器;WEB服務器再將結果通過HTTP/TCP協(xié)議傳遞給用戶;用戶如果想瀏覽查詢結果中對應的流媒體數據,再通過HTTP/TCP協(xié)議發(fā)出查看指令傳遞給WEB服務器;WEB服務器將URL(Uniform Resource Locator統(tǒng)一資源定位符)文件定位傳遞給流媒體服務器;流媒體服務器從媒資在線盤塔中找到相應的流媒體文件;流媒體服務器通過RTP/UDP協(xié)議將流媒體文件數據傳遞給用戶端,用戶就可以邊下載邊瀏覽流媒體數據了。
4.節(jié)目、素材歸檔流程
媒資系統(tǒng)進行資料上載后,根據需要產生高低雙碼流資料(可根據實際應用設定高低碼流的格式),為了避免高碼流資料在線時間過長對在線存儲系統(tǒng)造成壓力,上載節(jié)目在進行高碼流質量審核之后進入歸檔流程,根據遷移策略條件完成高碼流素材歸檔,即首先將高碼流文件存儲在在線硬盤上;再依據系統(tǒng)制定的數據遷移策略,滿足遷移策略的數據被遷移到近線存儲區(qū)如磁帶庫中,并根據策略決定在線硬盤上的數據對象是否刪除。其他應用系統(tǒng)傳送過來的素材或成片其高碼流素材經質量審核后同樣進入歸檔流程;自產素材的低碼流文件、其他業(yè)務系統(tǒng)上傳并通過轉碼產生的低碼流文件,經編目、編目終審之后進入歸檔流程,其中關鍵幀以及低碼流文件分別進入關鍵幀歸檔區(qū)和低碼流歸檔區(qū),并同時根據遷移策略決定是否刪除原有的關鍵幀、低碼流文件,至此關鍵幀、低碼流文件歸檔完成。遷移策略主要用于描述系統(tǒng)存儲的各種媒體類數據對象分別采用何種方式進行分級存儲管理,其主要屬性應包括:遷移觸發(fā)條件(水位線),遷移目標,數據對象類型等。當近線存儲區(qū)達到一定的存儲容量后,同樣根據策略將滿足離線條件的數據流磁帶直接進行離線處理,并生成離線介質,進入庫房管理。
5.節(jié)目素材查詢調用流程
根據全網檢索瀏覽共享平臺的審核調度中心發(fā)出的數據調用指令請求后,存儲遷移系統(tǒng)判斷數據對象存儲狀態(tài),并按照優(yōu)先級從速度最快的存儲區(qū)調用的原則,將數據對象自動回遷到在線存儲區(qū)中。如果所需素材存在于在線存儲中,則由遷移調度服務器,進行相應的遷移操作。如果在近線存儲中,則首先從近線存儲中遷移到在線存儲中,然后遷移到用戶指定的位置。如素材處于離線狀態(tài),則向管理員發(fā)出提示,所需素材在離線架上的哪盤磁帶上。
管理員收到提示后,手工取帶,將其上載到媒資的近線設備的磁帶機,并由遷移調度服務器上載到在線存儲設備,最后遷移到用戶指定的位置。高碼流節(jié)目完成離線、近線至在線的回遷后,系統(tǒng)下載管理工作站判斷該檢索結果的輸出方式,以將高碼流節(jié)目下載到錄像帶上交給檢索請求用戶,或者將高碼流節(jié)目通過業(yè)務系統(tǒng)之間的數據交換鏈路傳送給發(fā)送調用請求的業(yè)務系統(tǒng)二級庫存儲。
五.結語
揚州臺云媒資系統(tǒng)通過規(guī)劃和設計建成后,經過技術部門的反復詳細的測試和維護,已經能正常投入使用。該系統(tǒng)建成后,大大滿足了節(jié)目的日常制作需求,大量自制節(jié)目的文件化歸檔以及歷史資料的搶救性恢復入庫需求。當然,我臺的媒資系統(tǒng)的后期發(fā)掘尚在起步階段,相關的系統(tǒng)端口交互以及后期的基于云計算虛擬化存儲還在進一步調試中,通過下一段的技術調試,相信全臺媒資系統(tǒng)的功能會更加完善和成熟。(全文完)B&P;