終端智能測試方法論

［劉光］

1 中國寬帶互聯(lián)網(wǎng)業(yè)務(wù)發(fā)展現(xiàn)狀

近年來，我國信息通信行業(yè)主管部門堅決貫徹黨中央、國務(wù)院關(guān)于網(wǎng)絡(luò)“提速降費(fèi)”的決策部署，會同相關(guān)企業(yè)，全力推進(jìn)寬帶網(wǎng)絡(luò)基礎(chǔ)設(shè)施建設(shè)，推動我國寬帶發(fā)展水平取得了“跨越式”發(fā)展。

我國寬帶發(fā)展聯(lián)盟發(fā)布的《中國寬帶普及狀況報告》顯示，全國所有地級及以上城市均建成了光纖網(wǎng)絡(luò)全覆蓋的“光網(wǎng)城市”，部分城市加速推進(jìn)千兆接入網(wǎng)絡(luò)的建設(shè)。隨著電信普遍服務(wù)試點工作的不斷推進(jìn)，全國98%行政村通光纖的目標(biāo)也將很快實現(xiàn)。截至2020 年第四季度末，我國光纖寬帶用戶在固定寬帶用戶中占比達(dá)到98%以上，已超越多年來寬帶發(fā)展世界領(lǐng)先的日韓等國，穩(wěn)居全球第一，平均用戶接入帶寬早突破100 M，并且呈現(xiàn)逐年快速提升之勢，1 000 M 光寬進(jìn)入家庭已成趨勢，光貓、路由器等終端設(shè)備的性能和質(zhì)量日漸成為制約高帶寬高質(zhì)量光寬業(yè)務(wù)發(fā)展的瓶頸。

2 光貓終端測試現(xiàn)狀及需求分析

中國電信是中國寬帶業(yè)務(wù)發(fā)展最早的運(yùn)營商，擁有最多種類、最多廠商、最多型號、最多版本的OLT 設(shè)備及光貓終端設(shè)備，以中國電信廣東分公司為例，OLT 就包括華為、中興、烽火、貝爾等4 個設(shè)備廠商的7 種EPONGPON 設(shè)備；光貓終端設(shè)備種類則更多，僅廠家就包括華為、中興、烽火、四川天邑等12 個，型號數(shù)量200 個以上，版本數(shù)量在800 個以上。

每年都會有新的設(shè)備和版本入網(wǎng)，用以滿足用戶更高帶寬、更加多樣的需求，而在中國電信業(yè)務(wù)如此高速發(fā)展的今天，對新的終端和版本的測試目前還是采取傳統(tǒng)的人工測試方式，在有限的人力資源情況下，為終端質(zhì)量把控帶來了巨大的問題和挑戰(zhàn)：

2.1 新終端設(shè)備入網(wǎng)，無法進(jìn)行長時間的性能及穩(wěn)定性測試

問題舉例：

（1）某型號光貓，在入網(wǎng)測試時，偶爾出現(xiàn)Ipv6 業(yè)務(wù)不可用，設(shè)備重啟后便可恢復(fù)。由于是概率性發(fā)生，且發(fā)生時間不固定，人工測試很難發(fā)現(xiàn)。

（2）某型號光貓，在入網(wǎng)測試幾天后，發(fā)生流氓貓現(xiàn)象。該問題發(fā)生在對光貓進(jìn)行長時間、壓力測試情況下，引起光貓配置丟失導(dǎo)致。人工測試很難發(fā)現(xiàn)。

2.2 新終端設(shè)備入網(wǎng)，無法遍歷上聯(lián)所有的OLT 設(shè)備進(jìn)行兼容性測試，需要投入太多的人力資源，帶來潛在的問題

問題舉例：

（1）某型號光貓在華為OLT 下能正常注冊，在烽火OLT 下注冊失敗；

（2）某型號光貓，相同終端在不同的OLT 下測速不同，其中在某廠家OLT 下測速不達(dá)標(biāo)。

2.3 新版本入網(wǎng)測試時，無法進(jìn)行多次升降級版本驗證

問題舉例：

（1）某型號光貓新版本入網(wǎng)測試時，測試一次后沒有發(fā)現(xiàn)異常。再測試一次，則會出現(xiàn)吊死的情況。

（2）某型號光貓新版本入網(wǎng)測試時，升降級測試幾次之后，出現(xiàn)與平臺無法通訊的情況。

2.4 OLT 版本升級后，無法進(jìn)行所有光貓的兼容驗證

問題舉例：

（1）某OLT 版本升級后，導(dǎo)致下聯(lián)的某廠家型號的光貓注冊失敗。

2.5 現(xiàn)網(wǎng)發(fā)生的概率性的問題，無法進(jìn)行復(fù)現(xiàn)驗證

問題舉例：

（1）某特定型號OLT+某特定型號光貓+某特定型號機(jī)頂盒在長時間運(yùn)行過程中，機(jī)頂盒出現(xiàn)卡頓花屏現(xiàn)象。

（2）某型號光貓，在長時間使用過程中，會發(fā)生寬帶穩(wěn)定性波動較大情況。

我們暫且不再一一列舉潛在的問題和挑戰(zhàn)，總的來說，通過傳統(tǒng)的人工測試，無論在新終端/新版本入網(wǎng)選型、到貨檢測、現(xiàn)網(wǎng)問題復(fù)現(xiàn)等環(huán)節(jié)，都會帶來測試效率低、占用大量人力與時間，有些概率性或穩(wěn)定性問題無法測試復(fù)現(xiàn)、定位等問題。急需尋找一種測試方法，來規(guī)避這些可能的問題。

3 光貓終端自動化測試實施方案

3.1 總體方案

基于上述終端測試現(xiàn)狀的分析，考慮調(diào)整現(xiàn)有的測試策略，優(yōu)化現(xiàn)有的測試流程，結(jié)合運(yùn)營商現(xiàn)有的測試能力，引入更高效的測試手段和工具。

（1）測試策略調(diào)整：采取人工測試+自動化測試結(jié)合的方式，來更好的把控終端質(zhì)量，提升測試的效率。其中：人工測試主要關(guān)注配件、外觀、常規(guī)的配合和功能測試等，自動化測試主要關(guān)注性能、長時間穩(wěn)定性、并發(fā)穩(wěn)定性等。

（2）測試流程優(yōu)化：在新終端/新版本入網(wǎng)測試前，廠商需要按照運(yùn)營商的標(biāo)準(zhǔn)，提供完整的自測報告，以保證終端自身的功能、性能、穩(wěn)定性，而運(yùn)營商則把測試重點放在終端和本省網(wǎng)絡(luò)結(jié)合之后的性能、穩(wěn)定性上。

（3）引入高效的測試工具和手段：如上述（1）中所述，需要引入自動化手段和工具，基于現(xiàn)網(wǎng)100%網(wǎng)絡(luò)接入環(huán)境，開發(fā)覆蓋各類實際業(yè)務(wù)場景的自動化測試任務(wù)流，100%模擬以往需大量人手操作執(zhí)行的各類測試驗證工作，提升測試效率，釋放人力投入更具價值的生產(chǎn)創(chuàng)新工作，下面重點介紹該自動化測試方案。

3.2 技術(shù)原理

通過自動化的手段模擬人工進(jìn)行光貓的功能、性能、穩(wěn)定性以及光貓和OLT 的兼容性測試。

系統(tǒng)使用python 3 作為腳本程序主體語言，利用Selenium 和Webdriver 技術(shù)驅(qū)動網(wǎng)頁程序，實現(xiàn)對光貓注冊管理、寬帶測速、QoE 探針、ITMS 網(wǎng)管系統(tǒng)、天翼高清播放、語音電話撥測的自動化操作，并通過自動化接口對接ITMS、終端探針、天翼高清SQM 等業(yè)務(wù)質(zhì)量管理系統(tǒng)，實現(xiàn)測試結(jié)果的全自動獲取，自動生成報告，解決以往人工測試需手工記錄、易錯漏與耗時長等問題。

3.3 實施方案

3.3.1 終端自動化測試系統(tǒng)架構(gòu)

如圖1，系統(tǒng)按照以下方案進(jìn)行構(gòu)建：

圖1 終端自動化測試系統(tǒng)架構(gòu)

該方案中包括四大部分：

（1）測試設(shè)備：指的是3.3.1 章節(jié)中提到的被測設(shè)備，通過網(wǎng)線、電話線和測試系統(tǒng)相連接。

（2）測試網(wǎng)絡(luò)：測試用的OLT 及其上聯(lián)網(wǎng)絡(luò)設(shè)備。其中OLT 覆蓋了廣東省所有的OLT 型號，包括華為、中興、烽火、貝爾的GPON 和EPON。

（3）測試系統(tǒng)：這是該測試方法論用到的核心測試工具平臺，包括測試管理平臺（WEB 服務(wù)器）、測試執(zhí)行服務(wù)器、腳本編寫環(huán)境、語音模擬服務(wù)器、交換機(jī)等。

（4）網(wǎng)管系統(tǒng)：指廣東省的ITMS 系統(tǒng)、SQM 系統(tǒng)、QoE 系統(tǒng)等。該測試方法論在設(shè)計之初就考慮到，能更好的結(jié)合現(xiàn)有的系統(tǒng)能力。

3.3.2 終端自動化測試系統(tǒng)模塊

測試系統(tǒng)主要包括以下幾部分：

管理服務(wù)器：提供WEB 管理入口，實現(xiàn)光貓管理、測試策略管理、測試任務(wù)管理、測試報告管理、系統(tǒng)管理等，管理服務(wù)器為該系統(tǒng)的核心管理模塊，測試工程師的絕大部分工作都是在該WEB 界面完成。

執(zhí)行服務(wù)器：通過交換機(jī)，上聯(lián)管理服務(wù)器，下聯(lián)光貓設(shè)備，接收管理服務(wù)器下發(fā)的各類測試任務(wù)，執(zhí)行測試腳本。

腳本編寫環(huán)境：該系統(tǒng)封裝了常用的測試接口，采用Python 腳本實現(xiàn)了所有業(yè)務(wù)測試的腳本，簡單易學(xué)。

語音測試服務(wù)器：該設(shè)備為輔助測試設(shè)備，配合光貓的語音業(yè)務(wù)測試。

3.3.3 終端部署

由于終端種類繁多，采取以下方案（如圖2 所示）進(jìn)行部署：

圖2 終端部署方案

按照這種方案部署有以下優(yōu)勢：

（1）集中管理：通過對光貓（或機(jī)頂盒）、貓架位置進(jìn)行一對一編號，可以保證在有限的空間里，集中放置更多的終端設(shè)備；

（2）易于散熱：將每臺光貓分層、隔位放置，保證設(shè)備在長時間運(yùn)行過程中可以充分的散熱，不會相互影響；

（3）方便測試：整個測試方案中實現(xiàn)了不同OLT 和光貓的自動化切換，通過分區(qū)域、分層部署，更加方便管理和測試。

3.3.4 應(yīng)用場景

（1）功能自動化測試

重點實現(xiàn)以下主要測試用例功能自動化測試：

①光貓自動化注冊

② 光貓和網(wǎng)管平臺交互測試

③三大主要業(yè)務(wù)IPTV、寬帶、語音測試

④ IPV6 業(yè)務(wù)測試

⑤ 光貓版本升降級

⑥ 光貓恢復(fù)出廠測試

（2）性能專項測試

按照光貓的測試規(guī)范標(biāo)準(zhǔn)，進(jìn)行光寬帶吞吐量性能測試。（多次數(shù)據(jù)采集）

（3）長時間穩(wěn)定性測試

對光貓基本功能進(jìn)行7＊24 小時的MTBF 測試，保障光貓長時間運(yùn)行過程中基本功能穩(wěn)定，使用質(zhì)量高，用戶體驗好。

（4）其它使用場景

將光貓自動化測試系統(tǒng)與現(xiàn)有的測試業(yè)務(wù)流程結(jié)合，可以支持：

①新光貓入網(wǎng)、入庫測試

② 光貓版本升降級驗證測試

③用戶現(xiàn)場偶現(xiàn)問題的復(fù)現(xiàn)定位測試

④ 固定光貓，可測試上聯(lián)網(wǎng)絡(luò)設(shè)備

3.4 效果分析

（1）自動化測試報告

測試報告樣例如表1 所示：

表1 終端自動化測試報表樣例

（2）性能專項測試報告

對多光貓、多OLT 進(jìn)行吞吐量性能專項測試，測試報告樣例如圖3、圖4、圖5 所示：

圖3 華為終端測試結(jié)果實例

圖4 烽火終端測試結(jié)果實例

圖5 中興終端測試結(jié)果實例

（3）測試問題定位分析測試過程中，會有測試日志和錯誤截圖，方便定位和分析問題。以注冊測試為例：

圖6、圖7 展示了注冊過程中的每一步日志和截圖。

圖6 終端自動測試過程截圖

圖7 終端自動測試系統(tǒng)進(jìn)程日志圖例

3.5 實施前后對比

表2 所示為該方法論中提到的自動化測試方案和傳統(tǒng)的手工測試方案的對比。

表2 多種測試方案的對比

3.6 方法落地資源需求

（1）測試場地：要求具備5 米（長）＊5 米（寬）的場地來放置被測光貓，為了方便管理和散熱，該方案中使用了定制版貓架。

（2）測試網(wǎng)絡(luò)環(huán)境：覆蓋廣東省電信所有主流OLT類型的網(wǎng)絡(luò)環(huán)境，同時，準(zhǔn)備對應(yīng)數(shù)量的測試賬號，落地過程中需要考慮不同賬號類型的分布。

（3）測試終端：申請對應(yīng)數(shù)量的公免測試賬號，會自帶光貓和機(jī)頂盒，可用于調(diào)試測試環(huán)境，未來可用新終端或現(xiàn)網(wǎng)終端來替換初始光貓。

（4）供電設(shè)備：為光貓和機(jī)頂盒提供充足的供電端口。

（5）電視：展示測試過程中的機(jī)頂盒HDMI 輸出。

（6）測試服務(wù)器：1 臺測試管理服務(wù)器+2 臺測試執(zhí)行服務(wù)器+1 臺語音測試服務(wù)器+配套交換機(jī)等輔助設(shè)備。

4 總結(jié)

方法實施使用后，可覆蓋當(dāng)前入網(wǎng)選型測試、到貨檢測等多種場景下的終端業(yè)務(wù)質(zhì)量、長時間性能穩(wěn)定性測試，通過7＊24 小時不間斷測試采集的海量數(shù)據(jù)，智能分析不同OLT、不同光貓、不同版本匹配組合下的功能、性能及穩(wěn)定性問題，全程無需人工干預(yù)，全部通過自動化方式實現(xiàn)。同時在實際使用過程中，可不斷把用戶反饋的問題、更豐富的測試場景和終端、更多的版本進(jìn)行整合，通過AI持續(xù)優(yōu)化測試用例、流程，保證測試結(jié)果更客觀合理，切實保證全網(wǎng)的網(wǎng)絡(luò)及終端質(zhì)量，給用戶提供更高速、穩(wěn)定、可靠的服務(wù)、更優(yōu)質(zhì)的用戶體驗，提升用戶滿意度，降低用戶投訴率，同時每年可節(jié)省百萬級的傳統(tǒng)人工測試成本費(fèi)用。