故障現(xiàn)象

筆者單位在九十年代初期就建立了小型數(shù)據(jù)中心機房，從那時開始一直維護使用到現(xiàn)在。最初有幾臺服務器，發(fā)展至今已有三十余臺服務器。早期采購的服務器以SUN的服務器為主，也搭配一些其他服務器，SUN服務器的存儲采用SUN StorEdge351磁盤陣列。SUN StorEdge3510磁盤陣列與服務器采用DAS通過FC光纖直接連接，做的RAID5+Spare（9塊 146GB磁盤做RAID5，1塊146GB磁盤做全局熱備），從筆者承擔網(wǎng)管工作以來，設備運行一直很穩(wěn)定，極少發(fā)現(xiàn)問題。直到近期，筆者和同事在日常巡查機房時，發(fā)現(xiàn)某個機架傳出報警聲。

故障排查

嘀嘀嘀的報警聲，聽上去聲音不大也不刺耳，我們并沒有很快判斷出是機架上哪一臺設備報警，通過觀察設備指示燈和其他設備，大致確定是SUN StorEdge3510磁盤陣列報警。登錄服務器發(fā)現(xiàn)磁盤陣列可讀寫，不影響數(shù)據(jù)。

看看設備上貼的標簽，標簽上寫著10.0.14.14，這是磁盤陣列管理地址。找了一臺筆記本設置好相同網(wǎng)段的地址，通過超級終端telnet連上去，提示輸入密碼Password，想了想不確定密碼是什么，輸入幾次密碼都不對。這下有點兒不知所措，想到直接連COM口看看，但是又找不到COM串口線。

好在磁盤陣列是通過光纖直接連接服務器，登錄服務器以root身份運行pkginfo | grep sccli（操作系統(tǒng)是 Sun Solaris9），發(fā)現(xiàn)安裝Sun StorEdge 3000 Family CLI，可 以 使用磁盤陣列管理命令。在命令行下輸入 sccli，進 入 sccli>，輸入show events，查看磁盤陣列日志信息，發(fā)現(xiàn)有警告顯示“ALERT: SCSI drive failure (CH2 ID11)、CH2 ID11:ALERT: redundant path failure detected、CH2 ID11:SCSI Target ALERT: unexpected select timeout”。懷疑11號磁盤有問題。

在sccli>下，輸入show disks，查看磁盤陣列中磁盤的信息，10號磁盤Status狀 態(tài) 顯 示USED，11號 盤Status狀態(tài)顯示FRMT。11號磁盤顯示的狀態(tài)很奇怪，磁盤有問題一般狀態(tài)顯示BAD。先替換11號磁盤看看，找出備用的磁盤陣列磁盤，按照磁盤陣列的ID號規(guī)則（如圖1），找出11號磁盤，替換11號盤。在sccli>下，輸 入show disks，查看磁盤陣列中磁盤的信息，10號磁盤Status狀態(tài)顯示USED，11號磁盤Status狀態(tài)顯示rebuild，但是報警聲一直未停。再查看一下磁盤陣列日志，發(fā) 現(xiàn)“CH2 ID10: ALERT:redundant path failure detected、CH2 ID10: SCSI Target ALERT: unexpected select timeout、ALERT:SCSI drive failure (CH2 ID10)”，我們很疑惑，難道10號磁盤也壞了？在磁盤陣列里10號磁盤是設置為備盤的，而且狀態(tài)顯示USED，不是 BAD。

至此，我們考慮可能11號磁盤和10號磁盤并沒有壞，干脆把換下的11號磁盤換掉10號磁盤看看會怎么樣。替換完磁盤，查看磁盤狀態(tài)信息，顯示FMRT，格式化，后來顯示STAND-BY，LD（邏輯驅(qū)動器）信息顯示GLOBAL（全局熱備），感覺磁盤故障解決了。

圖1 磁盤驅(qū)動器插槽ID號規(guī)則示意圖

但是報警聲沒有停，奇怪的是11號磁盤，怎么可以使用換掉10號磁盤？很懷疑10號磁盤沒有壞，可能只是10號磁盤從安裝到磁盤陣列前就已經(jīng)使用過，磁盤上有數(shù)據(jù)，裝到磁盤陣列上又沒有進行配置（設置為 GLOBAL），導 致 11號 磁盤出現(xiàn)故障，10號磁盤熱備盤沒有啟用，磁盤陣列報警。但是換下的11號磁盤能換下疑似有故障的10號磁盤繼續(xù)使用，可能是11號磁盤最開始被格式使磁盤能繼續(xù)使用的緣故。

通過查看show logical-drives，磁盤陣列狀態(tài)顯示Good。通過mute命令清除了報警聲，磁盤陣列中的磁盤運行狀態(tài)正常。為了更好地保障業(yè)務，盡可能避免風險，我們用新磁盤更換了磁盤陣列10號磁盤。

實際上，最終我們將磁盤陣列的10號和11號的磁盤全部更換為了新磁盤。這次故障處理經(jīng)歷，讓我們感覺很疑惑。雖然故障沒影響到單位業(yè)務，但卻暴露了我們網(wǎng)管工作的一些弱點。

經(jīng)驗總結(jié)

根據(jù)此次故障處理過程中遇到問題，筆者進行了思考并做了總結(jié)。

1.網(wǎng)絡管理員一定要記好機房設備的維護管理的重要信息，例如，管理地址、管理的用戶名和密碼等。

2.網(wǎng)絡管理員要將設備管理的線纜存放好，便于排查故障時使用。

3.網(wǎng)絡管理員要注意磁盤陣列中磁盤排列順序，避免在維護時拔錯磁盤。如本文SUN StorEdge 3510磁盤陣列磁盤順序如圖1。

4.網(wǎng)絡管理員在日常巡查時，要及時查看磁盤陣列的日志情況，及時發(fā)現(xiàn)問題并解決。

5.對于老舊設備，網(wǎng)絡管理員要做好簡單、冗余和可熱插拔配件的儲備，以便維護更換，保障業(yè)務不間斷，例如，硬盤、風扇、電源等。

6.對于老舊設備，網(wǎng)絡管理員要提高數(shù)據(jù)備份的頻率（周期）。

7.建立設備操作臺賬，避免留下故障疑惑點或隱患。