基于RPA技術(shù)的軟件機(jī)器人網(wǎng)絡(luò)巡檢系統(tǒng)的研究與應(yīng)用

楊志國 程玉紅

摘要：本文針對服務(wù)器、網(wǎng)絡(luò)設(shè)備、數(shù)據(jù)庫、磁盤陣列需要手動(dòng)執(zhí)行命令巡檢的現(xiàn)狀，通過使用RPA技術(shù)、爬蟲技術(shù)、megacli等第三方工具獲取各模塊數(shù)據(jù)并存儲(chǔ)，實(shí)現(xiàn)了數(shù)據(jù)庫監(jiān)控自動(dòng)化和硬件設(shè)備狀態(tài)的實(shí)時(shí)監(jiān)控。

關(guān)鍵詞：RPA技術(shù) 網(wǎng)絡(luò)巡檢 實(shí)時(shí)監(jiān)控

一、背景

隨著企業(yè)信息化建設(shè)的不斷發(fā)展，開灤集團(tuán)公司已建成擁有幾百臺(tái)服務(wù)器設(shè)備和網(wǎng)絡(luò)設(shè)備的IT基礎(chǔ)設(shè)施，支撐著覆蓋全礦區(qū)的網(wǎng)絡(luò)及財(cái)務(wù)、物資等應(yīng)用系統(tǒng)的正常運(yùn)行。僅集團(tuán)公司核心機(jī)房就有近300多臺(tái)服務(wù)器、交換機(jī)和存儲(chǔ)設(shè)備，這些設(shè)備的巡檢和維護(hù)已成為技術(shù)人員一項(xiàng)繁重的工作任務(wù)。目前設(shè)備的巡檢需要運(yùn)維人員每天手工遠(yuǎn)程去逐臺(tái)檢查設(shè)備的硬件狀態(tài)和運(yùn)行狀態(tài)，通過人工的方式去檢查的工作量較大、屬于重復(fù)性勞動(dòng)，卻占用了運(yùn)維人員的大量工作時(shí)間，仍然存在著不能及時(shí)發(fā)現(xiàn)設(shè)備問題的現(xiàn)象。數(shù)據(jù)庫備份服務(wù)器每天產(chǎn)生200多個(gè)備份文件和60多個(gè)工作日志，需要每天人工去查看數(shù)據(jù)庫備份文件是否成功備份以及日志是否成功導(dǎo)出，有沒有異常情況等，也會(huì)占用運(yùn)維人員大量時(shí)間。

軟件巡檢機(jī)器人可以自動(dòng)巡檢服務(wù)器設(shè)備、網(wǎng)絡(luò)設(shè)備以及數(shù)據(jù)庫備份狀態(tài)，對設(shè)備工作狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)測，并可以實(shí)時(shí)查看設(shè)備的運(yùn)行狀況，使維護(hù)人員能及時(shí)了解設(shè)備的運(yùn)行狀態(tài)，及時(shí)對故障進(jìn)行處理，可以大幅節(jié)省運(yùn)維人員重復(fù)勞動(dòng)的工作時(shí)間，從而使運(yùn)維人員能夠有時(shí)間去完成更有價(jià)值、創(chuàng)造性的工作。

二、意義

通過使用python腳本與rpa軟件機(jī)器人來獲取服務(wù)器、交換機(jī)、數(shù)據(jù)庫、磁盤陣列等巡檢信息，實(shí)現(xiàn)了設(shè)備的自動(dòng)巡檢;通過數(shù)據(jù)展示服務(wù)，提供了對各模塊巡檢數(shù)據(jù)展示、閾值設(shè)置、問題告警等功能，可查看巡檢設(shè)備狀態(tài)，各模塊歷史數(shù)據(jù);出現(xiàn)問題時(shí)及時(shí)發(fā)送告警郵件和語音提醒，使運(yùn)維人員及時(shí)發(fā)現(xiàn)問題和解決問題。

三、系統(tǒng)設(shè)計(jì)

1、系統(tǒng)總體思路

系統(tǒng)設(shè)計(jì)分為數(shù)據(jù)獲取與數(shù)據(jù)展示兩部分，數(shù)據(jù)獲取服務(wù)通過部署腳本與工具的形式，通過定時(shí)任務(wù)方式每日啟動(dòng)腳本獲取數(shù)據(jù)并存入數(shù)據(jù)庫。數(shù)據(jù)展示部分為實(shí)時(shí)讀取數(shù)據(jù)庫相應(yīng)信息，通過Django的MTV框架渲染到界面進(jìn)行展示，首頁自動(dòng)刷新顯示異常設(shè)備信息。

2、系統(tǒng)構(gòu)成

系統(tǒng)主要分為數(shù)據(jù)獲取服務(wù)與數(shù)據(jù)展示系統(tǒng)，兩者獨(dú)立部署與運(yùn)行。

數(shù)據(jù)獲取服務(wù)分為服務(wù)器、網(wǎng)絡(luò)設(shè)備、磁盤陣列、數(shù)據(jù)庫四個(gè)模塊。服務(wù)器模塊獲取其硬件配置與資源占用率、陣列卡狀態(tài)等數(shù)據(jù)，網(wǎng)絡(luò)設(shè)備模塊獲取其硬件配置、在線狀態(tài)、端口狀態(tài)與流量。數(shù)據(jù)展示系統(tǒng)提供數(shù)據(jù)展示、頁面告警提醒、郵件告警等服務(wù)。

四、技術(shù)方案

1、系統(tǒng)總體設(shè)計(jì)

（1）數(shù)據(jù)獲取服務(wù)系統(tǒng)結(jié)構(gòu)

數(shù)據(jù)獲取服務(wù)系統(tǒng)結(jié)構(gòu)分為服務(wù)器、網(wǎng)絡(luò)設(shè)備、磁盤陣列、數(shù)據(jù)庫四部分。

一是服務(wù)器模塊。物理服務(wù)器陣列卡數(shù)據(jù)監(jiān)控，在windows與Linux系統(tǒng)中使用megacli工具，獲取陣列卡的參數(shù)判定陣列卡磁盤狀態(tài)，獲取bbu電池的溫度參數(shù)獲取電池溫度;通過python第三方庫psutil庫，獲取cpu、內(nèi)存、磁盤的利用率與內(nèi)存、磁盤的已利用大小;通過windows中wmic與 linux中dmidecode工具，獲取cpu、主板的生產(chǎn)商等硬件配置信息;通過windows中wmic工具與linux中ifconfig和lspci工具，獲取網(wǎng)卡mac地址、廠商與網(wǎng)絡(luò)連接狀態(tài)數(shù)據(jù);通過python第三方庫os庫獲取服務(wù)器操作系統(tǒng)版本、運(yùn)行時(shí)間、當(dāng)前進(jìn)程數(shù)據(jù)。

二是網(wǎng)絡(luò)設(shè)備模塊。通過telnet工具連接交換機(jī)并執(zhí)行交換機(jī)命令獲取數(shù)據(jù)。獲取設(shè)備硬件信息，主要包括硬件CPU、內(nèi)存、電源、風(fēng)扇、模塊、板卡;獲取設(shè)備在線狀態(tài)、端口Up/Down/errdisable/disable狀態(tài)、端口流量等信息。

三是獲取支持瀏覽器的磁盤陣列軟件管理系統(tǒng)的網(wǎng)頁數(shù)據(jù)。通過selenium工具登錄管理系統(tǒng)獲取cookie，使用爬蟲技術(shù)獲取磁盤陣列狀態(tài)與事件的網(wǎng)頁數(shù)據(jù)。

四是數(shù)據(jù)庫模塊。通過tnsping命令獲取oracle數(shù)據(jù)庫的監(jiān)聽狀態(tài);通過數(shù)據(jù)庫oracle命令獲取數(shù)據(jù)庫、連接實(shí)例狀態(tài)、歸檔模式、表空間信息、會(huì)話數(shù)、命中率等數(shù)據(jù);通過數(shù)據(jù)庫的備份文件與日志獲取數(shù)據(jù)庫備份狀態(tài)。

2、數(shù)據(jù)展示系統(tǒng)結(jié)構(gòu)

數(shù)據(jù)展示采用B/S架構(gòu)，通過網(wǎng)頁直觀展示信息，數(shù)據(jù)展示服務(wù)系統(tǒng)結(jié)構(gòu)整體分為服務(wù)器、網(wǎng)絡(luò)設(shè)備、磁盤陣列、數(shù)據(jù)庫四部分。首頁實(shí)時(shí)展示報(bào)錯(cuò)設(shè)備的詳細(xì)異常信息，點(diǎn)擊后跳轉(zhuǎn)到指定設(shè)備的多條詳細(xì)數(shù)據(jù)展示界面，錯(cuò)誤信息會(huì)標(biāo)紅展示。

一是服務(wù)器模塊詳情頁展示包含服務(wù)器服務(wù)器連接狀態(tài)、服務(wù)器運(yùn)行系統(tǒng)、raid卡狀態(tài)、cpu狀態(tài)、memory內(nèi)存狀態(tài)、硬盤的使用狀態(tài)（C、D、E、F等）、網(wǎng)卡信息、服務(wù)器進(jìn)程等，其中服務(wù)器進(jìn)程支持指定進(jìn)程搜索，用的是模糊查詢進(jìn)程，輸入關(guān)鍵字即可匹配出來相關(guān)展示進(jìn)程。

二是網(wǎng)絡(luò)設(shè)備模塊詳情頁的展示包含網(wǎng)絡(luò)連接狀態(tài)、電源狀態(tài)、板卡狀態(tài)、風(fēng)扇狀態(tài)、cpu狀態(tài)、模塊狀態(tài)、溫度狀態(tài)、環(huán)境狀態(tài)、其他命令入口（show_cdp_neighbors、show_clock、show_version等共10條命令，進(jìn)入可查看最新數(shù)據(jù)和歷史數(shù)據(jù)。

三是磁盤陣列詳情頁展示包括事件（錯(cuò)誤代碼、最后一個(gè)時(shí)間戳記、狀態(tài)、描述、對象類型、對象標(biāo)識(shí)、對象名）和內(nèi)部存儲(chǔ)器（驅(qū)動(dòng)器、容量、使用、狀態(tài)、MDisK、機(jī)柜標(biāo)識(shí)、插槽）兩部分的數(shù)據(jù)表格展示。

四是數(shù)據(jù)庫詳情頁展示部分，包括數(shù)據(jù)庫監(jiān)聽和數(shù)據(jù)庫運(yùn)行部分：監(jiān)聽狀態(tài)、歸檔狀態(tài)、運(yùn)行狀態(tài)、會(huì)話數(shù)數(shù)目、數(shù)據(jù)庫實(shí)例狀態(tài)、數(shù)據(jù)庫空間信息表、庫緩存命中率、共享SQL和PL/SQL的固定對象命中率、數(shù)據(jù)字典緩存命中率、數(shù)據(jù)緩存命中率、Latch Hit內(nèi)部結(jié)構(gòu)維護(hù)鎖命中率、日志緩沖區(qū)命中率、共享池等;數(shù)據(jù)庫備份部分：錯(cuò)誤數(shù)據(jù)備份表、全部備份數(shù)據(jù)文件搜索入口等。

五是基線閾值及巡檢頻率管理界面，用戶可根據(jù)需要對不同設(shè)備的參數(shù)進(jìn)行閾值設(shè)置，也可設(shè)置整體系統(tǒng)的巡檢頻率，提高整體系統(tǒng)的靈活性。

五、結(jié)論

本系統(tǒng)將RPA軟件機(jī)器人技術(shù)與數(shù)據(jù)庫巡檢需求相結(jié)合，改變以往數(shù)據(jù)庫依賴手工巡檢方式，實(shí)現(xiàn)了數(shù)據(jù)庫監(jiān)控自動(dòng)化，大大提高了工作效率;在網(wǎng)絡(luò)巡檢系統(tǒng)中將網(wǎng)絡(luò)設(shè)備硬件參數(shù)納入到網(wǎng)絡(luò)巡檢系統(tǒng)當(dāng)中，通過引入網(wǎng)絡(luò)爬蟲技術(shù)實(shí)現(xiàn)硬件設(shè)備集中監(jiān)控和管理，自動(dòng)提取設(shè)備信息和告警日志，實(shí)現(xiàn)了硬件設(shè)備狀態(tài)實(shí)時(shí)監(jiān)控;本系統(tǒng)通過固定腳本實(shí)時(shí)巡檢服務(wù)器、網(wǎng)絡(luò)設(shè)備、數(shù)據(jù)庫、磁盤陣列等，相較于以往的手動(dòng)輸入命令查看更加便捷，結(jié)果展示也變得更加清晰，實(shí)時(shí)跟進(jìn)設(shè)備信息，避免設(shè)備異常不能及時(shí)發(fā)現(xiàn)造成的相應(yīng)連鎖錯(cuò)誤，在服務(wù)器與網(wǎng)絡(luò)設(shè)備運(yùn)維等方面能夠大大節(jié)省人力成本，提高了工作效率。

作者簡介：楊志國（1978年7月）男，籍貫：河北省辛集市人，漢族，現(xiàn)職稱：高級(jí)工程師，學(xué)歷：本科，研究方向：計(jì)算機(jī)網(wǎng)絡(luò)，從事計(jì)算機(jī)專業(yè)工作。