楊華

摘 要：本文分析了目前互動(dòng)電視系統(tǒng)監(jiān)控管理現(xiàn)狀，指出了應(yīng)用性能管理的必要性，最后給出了應(yīng)用性能管理設(shè)備在互動(dòng)系統(tǒng)中的實(shí)際部署應(yīng)用。

關(guān)鍵詞：互動(dòng)電視系統(tǒng)；應(yīng)用性能管理

1 互動(dòng)電視系統(tǒng)監(jiān)控管理現(xiàn)狀

隨著互動(dòng)業(yè)務(wù)飛速發(fā)展，互動(dòng)用戶日益增長(zhǎng)，系統(tǒng)穩(wěn)定安全運(yùn)行的重要性越顯凸出，目前已有的監(jiān)控管理管理手段主要提供是從網(wǎng)絡(luò)層面進(jìn)行監(jiān)控，監(jiān)控的主要指標(biāo)包括：網(wǎng)絡(luò)鏈路連通性、網(wǎng)絡(luò)帶寬利用率、網(wǎng)絡(luò)重傳率、設(shè)備內(nèi)存使用情況等。但尚無(wú)較好的手段來(lái)從應(yīng)用層面了解系統(tǒng)運(yùn)行狀況的好壞，比如用戶訪問(wèn)點(diǎn)播系統(tǒng)的感知如何，頁(yè)面加載情況等。

2 應(yīng)用性能管理的必要性和技術(shù)趨勢(shì)

目前互動(dòng)電視業(yè)務(wù)多樣，包括了游戲、商城、互聯(lián)網(wǎng)、等多種增值業(yè)務(wù)，已經(jīng)傳統(tǒng)的點(diǎn)播類(lèi)業(yè)務(wù)。用戶在訪問(wèn)這些業(yè)務(wù)系統(tǒng)時(shí)所體會(huì)到的頁(yè)面響應(yīng)情況直接影響用戶感知和體驗(yàn)。然而就目前的監(jiān)控手段，系統(tǒng)運(yùn)行管理人員針對(duì)用戶反映的應(yīng)用慢、系統(tǒng)中斷的問(wèn)題無(wú)從定位問(wèn)題根源。

應(yīng)用性能管理是一種新的網(wǎng)絡(luò)以及應(yīng)用管理的概念，從應(yīng)用層面上，側(cè)重對(duì)系統(tǒng)的關(guān)鍵業(yè)務(wù)應(yīng)用進(jìn)行監(jiān)控、優(yōu)化。提高關(guān)鍵應(yīng)用的可靠性和服務(wù)質(zhì)量，保障用戶良好的用戶體驗(yàn)。

簡(jiǎn)單的說(shuō)，應(yīng)用性能管理可以實(shí)現(xiàn)網(wǎng)絡(luò)鏈路質(zhì)量、硬件設(shè)備、流量分布、軟件應(yīng)用系統(tǒng)性能的自動(dòng)關(guān)聯(lián)分析。例如，一個(gè)用戶通過(guò)機(jī)頂盒訪問(wèn)游戲系統(tǒng)，應(yīng)用性能管理技術(shù)可以將該用戶從發(fā)起請(qǐng)求到數(shù)據(jù)交互涉及的所有元素進(jìn)行關(guān)聯(lián)分析，包括用戶終端到系統(tǒng)的游戲系統(tǒng)服務(wù)器性能，終端性能、線路帶寬質(zhì)量、數(shù)據(jù)經(jīng)過(guò)的路由交換設(shè)備性能、有無(wú)異常流量干擾等，將各個(gè)元素用戶用戶訪問(wèn)體驗(yàn)的影響告知系統(tǒng)運(yùn)行管理人員，直接定位應(yīng)用訪問(wèn)性能低下的問(wèn)題根源，實(shí)現(xiàn)復(fù)雜問(wèn)題分析簡(jiǎn)單化。

相對(duì)于傳統(tǒng)的網(wǎng)元分析技術(shù)，例如NMS（network management system），應(yīng)用性能管理技術(shù)強(qiáng)調(diào)的是一整套關(guān)聯(lián)元素的自動(dòng)關(guān)聯(lián)分析和智能定位，而非針對(duì)單一某網(wǎng)元進(jìn)行分析（如關(guān)注于交換機(jī)管理），因?yàn)檎紫到y(tǒng)的應(yīng)用性能問(wèn)題和故障不僅僅是某一網(wǎng)元（如硬件設(shè)備）造成的，應(yīng)用性能管理技術(shù)這一管理理念可以大大減輕系統(tǒng)運(yùn)行管理人員的工作量。

3 應(yīng)用性能管理設(shè)備在互動(dòng)電視系統(tǒng)中的應(yīng)用

有線互動(dòng)電視系統(tǒng)用戶已接近200萬(wàn)，信號(hào)覆蓋全省13個(gè)地市50多個(gè)區(qū)縣，互動(dòng)業(yè)務(wù)種類(lèi)多樣，包含點(diǎn)播、回看、游戲、商城、電子營(yíng)業(yè)廳等。隨著互動(dòng)業(yè)務(wù)飛速發(fā)展，互動(dòng)用戶日益增長(zhǎng)，系統(tǒng)穩(wěn)定安全運(yùn)行的重要性越顯凸出，之前已有的監(jiān)控管理設(shè)備主要提供對(duì)網(wǎng)絡(luò)設(shè)備，互動(dòng)傳輸設(shè)備進(jìn)行監(jiān)控，但對(duì)于互動(dòng)電視各業(yè)務(wù)系統(tǒng)，尚無(wú)較好的手段從應(yīng)用層面來(lái)了解系統(tǒng)運(yùn)行狀況的好壞，對(duì)于用戶反映頁(yè)面響應(yīng)慢等問(wèn)題也無(wú)法定位問(wèn)題根源，同時(shí)系統(tǒng)側(cè)發(fā)現(xiàn)每日互動(dòng)點(diǎn)播都會(huì)存在部分節(jié)目流無(wú)法釋放的現(xiàn)象，這些未釋放的節(jié)目流在系統(tǒng)中形成廢流，對(duì)系統(tǒng)帶寬資源、安全照成隱患，但之前的監(jiān)控檢測(cè)設(shè)備尚不能定位產(chǎn)生該問(wèn)題的原因。

為根本解決上述問(wèn)題，有線將應(yīng)用性能管理設(shè)備采用鏡像旁路部署模式，通過(guò)鏡像用戶對(duì)互動(dòng)系統(tǒng)的訪問(wèn)進(jìn)行分析，從而實(shí)現(xiàn)了實(shí)時(shí)監(jiān)視指定的互動(dòng)應(yīng)用系統(tǒng)的性能、頁(yè)面加載時(shí)間、所有頁(yè)面元素的加載序、服務(wù)器時(shí)間、受影響用戶數(shù)、錯(cuò)誤等信息。實(shí)時(shí)了解用戶感知，對(duì)于用戶反映頁(yè)面響應(yīng)慢的問(wèn)題 ，也可詳細(xì)分析和定位原因；能夠基于系統(tǒng)、主機(jī)、來(lái)源、多個(gè)角度進(jìn)行分析，支持基于IP、端口等對(duì)數(shù)據(jù)包進(jìn)行分析和網(wǎng)絡(luò)監(jiān)控，同時(shí)對(duì)于原先系統(tǒng)中存在廢流的問(wèn)題也找到了問(wèn)題根源，使問(wèn)題得到了解決。

以下是一用戶反映訪問(wèn)高清電視劇頁(yè)面時(shí)感到系統(tǒng)響應(yīng)慢問(wèn)題的排查過(guò)程。

通過(guò)應(yīng)用性能管理設(shè)備可以將該用戶訪問(wèn)的所有頁(yè)面及其加載時(shí)間情況羅列，從圖中可以方便的看到該用戶訪問(wèn)所有頁(yè)面時(shí)所有環(huán)節(jié)的耗時(shí)（服務(wù)器，網(wǎng)絡(luò)，終端解析），該用戶訪問(wèn)頁(yè)面時(shí)消耗的服務(wù)器時(shí)間都比較少，同時(shí)當(dāng)頁(yè)面元素較多時(shí)，頁(yè)面加載時(shí)間會(huì)更長(zhǎng)，如圖1紅框標(biāo)示。圖2顯示了該用戶訪問(wèn)高清電視劇頁(yè)面時(shí)頁(yè)面加載時(shí)間的分布，由圖可見(jiàn)終端耗時(shí)較大，引起這終端耗時(shí)較大的主要原因?yàn)轫?yè)面元素較多，同時(shí)機(jī)頂盒解析能力不夠?qū)е?。后續(xù)將用戶機(jī)頂盒升級(jí)配置后，問(wèn)題解決。

由此可以看出，通過(guò)應(yīng)用性能的監(jiān)控，可以方便定位用戶對(duì)業(yè)務(wù)系統(tǒng)體驗(yàn)不好時(shí)問(wèn)題產(chǎn)生的根本原因，分析是由于系統(tǒng)服務(wù)器，還是網(wǎng)絡(luò)鏈路，或是終端性能造成。

以下是對(duì)于互動(dòng)系統(tǒng)中存在節(jié)目流沒(méi)有正常釋放現(xiàn)象的問(wèn)題排查過(guò)程。

應(yīng)用性能管理設(shè)備通過(guò)用戶對(duì)系統(tǒng)的訪問(wèn)分析，可以實(shí)時(shí)了解各區(qū)域系統(tǒng)網(wǎng)絡(luò)的具體性能，圖3顯示了江蘇有線各個(gè)地市系統(tǒng)網(wǎng)絡(luò)情況總體性能，可以看到無(wú)錫區(qū)域網(wǎng)絡(luò)傳輸?shù)目偭髁亢涂倲?shù)據(jù)包數(shù)明顯高于其他各個(gè)地市，連接失敗比例達(dá)78.21%。

圖4為無(wú)錫網(wǎng)絡(luò)異常事件詳情，從數(shù)量上看，造成網(wǎng)絡(luò)質(zhì)量下降的主要原因是TCP連接失敗（占網(wǎng)絡(luò)異常事件比例99.89%），方便問(wèn)題的進(jìn)一步排查。

應(yīng)用性能管理設(shè)備給出了用戶訪問(wèn)的目標(biāo)服務(wù)器及其連接情況，如圖5所示，通過(guò)這一分析，系統(tǒng)管理人員很清楚的看到出現(xiàn)連接失敗的服務(wù)器是推流服務(wù)器，而其他門(mén)戶服務(wù)器和后臺(tái)服務(wù)器未出現(xiàn)連接失敗。然而通過(guò)檢查推流服務(wù)器狀態(tài)，推流服務(wù)器工作狀態(tài)正常。

為進(jìn)一步排查問(wèn)題，系統(tǒng)管理人員通過(guò)應(yīng)用性能管理設(shè)備將所有訪問(wèn)推流服務(wù)器出現(xiàn)大量連接失敗的用戶進(jìn)行了統(tǒng)計(jì)，同時(shí)對(duì)這些用戶對(duì)系統(tǒng)訪問(wèn)的細(xì)節(jié)進(jìn)行了跟蹤。下圖為某一用戶對(duì)推流服務(wù)器訪問(wèn)出現(xiàn)大量連接失敗的具體細(xì)節(jié)。從圖中看出該用戶于13：00左右不斷發(fā)起大量（2000次/秒）TCP連接，然后被推流服務(wù)器拒絕，系統(tǒng)管理人員通過(guò)用戶點(diǎn)播記錄的查詢發(fā)現(xiàn)用戶與13：00前就結(jié)束了點(diǎn)播行為，然后終端不斷向系統(tǒng)發(fā)起大量無(wú)效連接，同時(shí)在系統(tǒng)側(cè)排查后發(fā)現(xiàn)用戶點(diǎn)的節(jié)目流沒(méi)有隨著用戶點(diǎn)播行為的結(jié)束而釋放，通過(guò)系統(tǒng)管理人員的歸類(lèi)統(tǒng)計(jì)，發(fā)現(xiàn)出現(xiàn)該問(wèn)題的終端系同款機(jī)頂盒，聯(lián)合終端廠商排查，發(fā)現(xiàn)正是由于該款機(jī)頂盒軟件缺陷原因，導(dǎo)致用戶節(jié)目點(diǎn)播結(jié)束后，不能正常釋放節(jié)目流，將該款機(jī)頂盒升級(jí)處理后，原先系統(tǒng)中存在廢流的問(wèn)題得到解決。

4 總結(jié)

互動(dòng)用戶日益增長(zhǎng)，系統(tǒng)穩(wěn)定安全運(yùn)行的重要性越顯凸出，應(yīng)用性能管理設(shè)備能夠提供端到端的web應(yīng)用系統(tǒng)的全流程監(jiān)控和分析，實(shí)時(shí)了解用戶體驗(yàn)，定位故障根源。

[參考文獻(xiàn)]

[1]互動(dòng)電視業(yè)務(wù)與網(wǎng)絡(luò)性能研究.《 南京郵電大學(xué)學(xué)報(bào)》.

[2]互動(dòng)電視系統(tǒng)與網(wǎng)絡(luò)性能測(cè)試方案.廣播科學(xué)研究院.

[3]應(yīng)用性能管理方案.深信服科技公司.

[4]廣電網(wǎng)絡(luò)互動(dòng)電視業(yè)務(wù)規(guī)劃.深圳同洲電子有限公司.