故障現(xiàn)象

近日，某專線用戶向我們反映多處業(yè)務(wù)通訊失敗，具體表現(xiàn)是，在專線單位服務(wù)器不能實(shí)現(xiàn)對(duì)客戶端設(shè)備的管理。

故障分析

首先梳理一下網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，具體網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)如圖1所示。

圖1 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

通過圖1我們可以看到，該專線采用ONU接入，上聯(lián)至數(shù)據(jù)機(jī)房專線OLT，各基站專線業(yè)務(wù)依托環(huán)網(wǎng)設(shè)備，最終也匯聚到數(shù)據(jù)機(jī)房專線OLT。整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)比較簡單，可以簡單理解成是EPON系統(tǒng)組網(wǎng)。知悉了網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，接下來我們開始排查。

具體的排查步驟是自上而下，采用順藤摸瓜的方式。首先在該專線OLT上使用命令show mac-address-table l2-address vlan 17查看設(shè)備全局VLAN17的MAC地址，可以看到很多MAC地址上線，但是仔細(xì)觀察發(fā)現(xiàn)，這些MAC地址都是該OLT的PON口學(xué)習(xí)上來的，而上聯(lián)中心基站的端口并沒有學(xué)習(xí)到VLAN17的MAC地址。

既然VLAN17的MAC地址都是從PON口學(xué)習(xí)到的，那么上聯(lián)口是什么情況呢？使用命令show mac-addresstable l2-address port 28，查看上聯(lián)端口28學(xué)習(xí)到MAC地址的情況，結(jié)果只能看到VLAN1的MAC地址上來，這是為什么呢？同樣在環(huán)網(wǎng)設(shè)備連接專線OLT的端口依然學(xué)習(xí)不到VLAN17的MAC地址，問題分析到這里，進(jìn)一步排查到兩側(cè)設(shè)備端口都處于UP狀態(tài)，端口VLAN數(shù)據(jù)均沒有發(fā)現(xiàn)問題，那么為什么MAC地址學(xué)習(xí)不到呢？

我們對(duì)兩側(cè)設(shè)備學(xué)習(xí)到的VLAN1的MAC地址進(jìn)行比對(duì)，也就是說在專線OLT端口28學(xué)習(xí)到的MAC地址，應(yīng)該是環(huán)網(wǎng)設(shè)備的MAC地址。但是我們并沒有在環(huán)網(wǎng)設(shè)備上發(fā)現(xiàn)該地址，這一發(fā)現(xiàn)可以斷定，OLT的28口連接的不是環(huán)網(wǎng)設(shè)備。發(fā)現(xiàn)此問題后，為了驗(yàn)證端口是否正確，我們關(guān)閉了OLT的28口，但是環(huán)網(wǎng)設(shè)備上連接專線OLT的端口依然UP，這樣就可以斷定是設(shè)備間互聯(lián)端口出現(xiàn)了問題。

故障解決

得出這一結(jié)論后，我們?cè)贠LT處發(fā)現(xiàn)上聯(lián)端口25、27和28口均處于Up狀態(tài)，根據(jù)端口描述其中端口25上聯(lián)BRAS設(shè)備，27口連接服務(wù)器，28口連接環(huán)網(wǎng)設(shè)備，但是28口當(dāng)前是通過網(wǎng)線連接，28口連接環(huán)網(wǎng)設(shè)備肯定是光口，而這里使用的是電口。由于該OLT上聯(lián)口是光電混用的，而連接服務(wù)器的27口連接的是光口，這樣我們將27口的尾纖恢復(fù)到28口上，然后就可以看到端口28可以正常學(xué)習(xí)到VLAN17的MAC地址，這樣故障就得到解決。進(jìn)一步通過專線單位核實(shí)，服務(wù)器和客戶端設(shè)備通信恢復(fù)正常。

經(jīng)驗(yàn)總結(jié)

上面我們得知故障，通過使用一系列show命令查看MAC地址的學(xué)習(xí)情況，并結(jié)合網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)進(jìn)行MAC地址的比較排查，最終找到故障原因，再將端口光纖恢復(fù)后故障解決。雖然故障的出現(xiàn)十分偶然，但原因后面卻深藏著制度上的漏洞。

后期我們通過調(diào)查得知是同事整理機(jī)柜線纜時(shí)，將光纖和網(wǎng)線插拔錯(cuò)誤從而導(dǎo)致了該故障的發(fā)生。借鑒此故障的發(fā)生，我們對(duì)機(jī)房整理線纜制定了規(guī)范，認(rèn)真做好線纜標(biāo)簽，杜絕此類事件的發(fā)生。并制定了相應(yīng)的網(wǎng)絡(luò)設(shè)備線纜優(yōu)化調(diào)整制度，涉及到調(diào)整前端口和線纜信息的記錄；調(diào)整中線纜的規(guī)范走向，調(diào)整后網(wǎng)絡(luò)的比較驗(yàn)證以及端口核對(duì)信息等，通過一系列的舉措，最大程度地保障網(wǎng)絡(luò)的高質(zhì)量穩(wěn)定運(yùn)行。