故障現(xiàn)象

近期筆者在單位服務(wù)器虛擬化（VMware vSphere）集群中新建了一臺虛擬主機(jī)用作Web服務(wù)器部署Web應(yīng)用。虛擬主機(jī)建好后，服務(wù)器操作系統(tǒng)（CentOS 7）順利安裝完成，虛擬機(jī)能正常訪問網(wǎng)絡(luò)。奇怪的是，遠(yuǎn)程VPN登錄服務(wù)器網(wǎng)絡(luò)，無法訪問上述創(chuàng)建的VMware虛擬主機(jī)，而且也無法Ping通故障虛擬主機(jī)。但遠(yuǎn)程VPN進(jìn)入服務(wù)器網(wǎng)絡(luò)，通過VMware vSphere管理主機(jī)，能Ping通上述故障虛擬主機(jī)，故障虛擬主機(jī)也能Ping通VMware vSphere管理主機(jī)。

網(wǎng)絡(luò)架構(gòu)

服務(wù)器虛擬化采用VMware vSphere6.0虛擬化軟件將三臺物理服務(wù)器進(jìn)行集群，三臺物理主機(jī)的互聯(lián)網(wǎng)絡(luò)部分和存儲網(wǎng)絡(luò)部分獨(dú)立分開，每臺物理服務(wù)器通過獨(dú)立網(wǎng)絡(luò)接口與存儲交換機(jī)相連，然后存儲交換機(jī)再與網(wǎng)絡(luò)存儲相聯(lián)接。

同時，每臺物理服務(wù)器通過另外一個獨(dú)立網(wǎng)絡(luò)接口與匯聚交換機(jī)相聯(lián)接，再通過防火墻接入互聯(lián)網(wǎng)。有專門的一臺物理主機(jī)用作VMware vSphere管理主機(jī)和網(wǎng)絡(luò)存儲管理主機(jī)。具體結(jié)構(gòu)如圖1所示。

故障排查

部署Web應(yīng)用的工程師需要通過SSH遠(yuǎn)程登錄到新建的虛擬主機(jī)進(jìn)行遠(yuǎn)程部署，反映無法通過SSH進(jìn)行遠(yuǎn)程連接。SSH服務(wù)已經(jīng)安裝并成功啟動，并且在VMware vSphere管理主機(jī)進(jìn)行過SSH遠(yuǎn)程連接測試，能進(jìn)行連接，用管理員賬號也可以成功登錄，一切正常。初步可以排除故障虛擬主機(jī)的配置問題。如果SSH服務(wù)和網(wǎng)絡(luò)配置有問題，上述測試應(yīng)該能夠發(fā)現(xiàn)問題的。

1.聯(lián)系遠(yuǎn)程部署Web應(yīng)用工程師進(jìn)行聯(lián)合調(diào)試。要求進(jìn)行Ping測試，對方反饋無法Ping通虛擬主機(jī)（虛擬主機(jī)網(wǎng)絡(luò)允許Ping）。初步排除SSH服務(wù)引起的故障，問題很可能出在網(wǎng)絡(luò)連接上。

2.遠(yuǎn)程登錄VMware vSphere管理主機(jī)，Ping故障的虛擬主機(jī)。奇怪的現(xiàn)象出現(xiàn)了，筆者居然可以Ping通。遠(yuǎn)程部署Web應(yīng)用工程師是通過VPN連接到服務(wù)器網(wǎng)絡(luò)的，筆者也是通過VPN連接進(jìn)來的。難道是VPN登錄賬號配置的問題？

圖1 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

3.登錄防火墻，檢查VPN配置，筆者所用VPN賬號與部署工程師所用的VPN賬號配置權(quán)限完全相同。為了進(jìn)一步驗(yàn)證，用部署工程師所用的VPN賬號遠(yuǎn)程登錄到服務(wù)器網(wǎng)絡(luò)，通過VMware vSphere管理主機(jī)Ping故障的虛擬主機(jī)，居然可以Ping通，說明故障跟VPN賬號配置無關(guān)。

4.再次詢問部署工程師是如何進(jìn)行操作的。部署工程師反饋是通過VPN遠(yuǎn)程連接后，直接在本地遠(yuǎn)程連接SSH和Ping包測試的，無法通過SSH登錄，也無法Ping通。部署工程師和筆者的測試不同在于：一個是VPN連接后，在本地直接訪問虛擬主機(jī)，而筆者是VPN連接后，遠(yuǎn)程登錄到VMware vSphere管理主機(jī)，通過VMware vSphere管理主機(jī)訪問虛擬主機(jī)。VPN登錄連接成功后，本地主機(jī)和VMware vSphere管理主機(jī)是一樣的，都在同一個服務(wù)器組成的局域網(wǎng)內(nèi)，不應(yīng)該無法Ping通。

5.模擬部署工程師的操作進(jìn)行測試。首先通過VPN登錄服務(wù)器網(wǎng)絡(luò)，在本地直接Ping故障虛擬主機(jī)，的確無法Ping通。難道是VMware vSphere網(wǎng)絡(luò)配置的問題？嘗試通過服務(wù)器局域網(wǎng)中的另外一臺實(shí)體服務(wù)器Ping故障虛擬主機(jī)，也是可以Ping通的。VMware vSphere網(wǎng)絡(luò)配置的問題也被排除了。

至此，故障已經(jīng)相當(dāng)明確了，服務(wù)器局域網(wǎng)本地訪問是沒有任何問題，問題就聚焦在VPN登錄進(jìn)來的主機(jī)。懷疑問題應(yīng)該出在了出口防火墻的VPN配置上。

6.VPN是在內(nèi)網(wǎng)中架設(shè)一臺VPN服務(wù)器。用戶連上互聯(lián)網(wǎng)后，通過互聯(lián)網(wǎng)連接VPN服務(wù)器，然后通過VPN服務(wù)器進(jìn)入內(nèi)網(wǎng)，可讓用戶通過外網(wǎng)訪問到內(nèi)網(wǎng)資源。VPN連接成功，就相當(dāng)于內(nèi)部局域網(wǎng)中的一臺主機(jī)。

筆者單位的VPN服務(wù)器集成在了防火墻設(shè)備中。登錄網(wǎng)絡(luò)防火墻，仔細(xì)分析VPN配置，發(fā)現(xiàn)VPN登錄進(jìn)來的用戶賬號被分配到了172.17.70.X網(wǎng)段。問題進(jìn)一步明晰，是172.17.70.X的網(wǎng)段的主機(jī)無法Ping通172.17.50.X網(wǎng)段的故障虛擬主機(jī)。是否172.17.70.X的網(wǎng)段的主機(jī)也無法Ping通172.17.50.X網(wǎng)段的其他主機(jī)？如果同樣也無法Ping通，則問題可能出在三層轉(zhuǎn)發(fā)。結(jié)合圖1，可以判定是網(wǎng)絡(luò)防火墻的問題。如果可以正常Ping通，說明僅無法Ping通故障虛擬主機(jī)，則問題很可能出在網(wǎng)關(guān)配置。

7.VPN遠(yuǎn)程登錄連接，在本地直接Ping172.17.50.X網(wǎng)段的另一臺服務(wù)器172.17.50.6，一切正常。由此可以推斷，故障是由網(wǎng)關(guān)配置造成的。

故障解決

圖2 故障虛擬主機(jī)網(wǎng)絡(luò)配置

由于VPN遠(yuǎn)程登錄后，可以Ping通172.17.50.X網(wǎng)段的其他主機(jī)，說明防火墻的VPN關(guān)于網(wǎng)絡(luò)地址分配的配置沒有問題。問題出在故障虛擬主機(jī)的網(wǎng)絡(luò)配置。遠(yuǎn)程登錄到VMware vSphere管理主機(jī)，查看故障虛擬主機(jī)的網(wǎng)絡(luò)配置（如圖2）。故障虛擬主機(jī)的網(wǎng)關(guān)被錯設(shè)置成了172.17.50.253，正確的網(wǎng)關(guān)應(yīng)該是172.17.50.254。修改網(wǎng)關(guān)，設(shè)置完成重新啟動，故障消失。

經(jīng)驗(yàn)總結(jié)

本次VMware虛擬主機(jī)網(wǎng)絡(luò)不通故障的順利解決，給我們提供了以下四點(diǎn)啟發(fā)。

1.Ping命令是網(wǎng)絡(luò)管理員的得力助手，在日常的網(wǎng)絡(luò)維護(hù)和故障排除中有著不可替代的作用。在使用Ping命令前，請確保被Ping主機(jī)、網(wǎng)絡(luò)設(shè)備（如：防火墻、路由器、三層交換機(jī)等設(shè)備）、Ping主機(jī)允許Ping包通過，否則根本無法確認(rèn)網(wǎng)絡(luò)是否連通。

2.網(wǎng)絡(luò)是一個互聯(lián)互通的系統(tǒng)，需要放在一個系統(tǒng)里綜合考慮。開始筆者是排除故障虛擬主機(jī)的配置問題，最后問題又聚焦回故障主機(jī)的網(wǎng)絡(luò)配置，最終通過重新修改網(wǎng)關(guān)配置解決問題。

3.主機(jī)在同一個網(wǎng)段內(nèi)互相訪問，無需通過網(wǎng)關(guān)進(jìn)行轉(zhuǎn)發(fā)，網(wǎng)關(guān)配置出錯，將不會影響同一個網(wǎng)段內(nèi)的主機(jī)互相訪問。主機(jī)跨網(wǎng)段訪問時，網(wǎng)關(guān)就顯得至關(guān)重要了。如果網(wǎng)關(guān)配置出錯，主機(jī)將數(shù)據(jù)包發(fā)往錯誤的地址，從而造成網(wǎng)絡(luò)不通。

4.網(wǎng)絡(luò)管理工作不能過于隨意，得遵循一定的規(guī)范。之所以出現(xiàn)上述錯誤配置，是由于筆者單位內(nèi)部局域網(wǎng)中有部分三層交換機(jī)被網(wǎng)絡(luò)工程師配置成相應(yīng)網(wǎng)段的253地址作為網(wǎng)關(guān)。按照常理網(wǎng)關(guān)配置一般不是網(wǎng)段的1地址就是254地址，一般網(wǎng)段的開始或者結(jié)尾地址是分配給網(wǎng)關(guān)使用，即172.17.50.1或者172.17.50.254。如果嚴(yán)格遵循這種分配規(guī)范，怎么也不會將網(wǎng)關(guān)錯誤配置成172.17.50.253。