基于AWK和Shell的計費賬務內控監(jiān)測系統(tǒng)設計

郭 湘

(中移鐵通廣東分公司，廣東 廣州 510080)

0 引言

近些年電信企業(yè)內部管理體制在不斷發(fā)生變革。為了適應日趨激烈的市場競爭，公司的經營規(guī)模、組織構架和管理層次都在相應發(fā)生變化，然而管理工作很多沒有同步發(fā)展起來，無形中加大了企業(yè)的風險指數(shù)。電信運營商的內部控制建設關乎企業(yè)的正常運營，是適應市場競爭的客觀需要。計費賬務[1]是涉及公司財務收入的重要依據(jù)，對計費賬務中每一環(huán)節(jié)的管控到位也能反映出一個公司內控管理水平。

本文基于AWK[2]和Shell[3]編程語言，設計了計費賬務內控監(jiān)測系統(tǒng)，并重點闡述其軟件設計。系統(tǒng)采用C/S[4]和B/S混合編程的方法，在采集交換機話單文件[5]列表流程中使用封裝腳本體的方法，實現(xiàn)交換機登錄[6]、采集文件、標準化、入庫一次性自動執(zhí)行，在采集核對功能上采用B/S架構進行告警展示。系統(tǒng)實現(xiàn)了省級中心和地市運維兩級對計費賬務流程監(jiān)控，為后期內控審計工作提供有效的憑據(jù)。

1 系統(tǒng)整體流程

系統(tǒng)整體監(jiān)控點分布如圖1所示，設計理念是將計費賬務系統(tǒng)設定為不確認系統(tǒng)，為每個計費賬務流程環(huán)節(jié)設置監(jiān)控探針點[7]。探針點以旁路的方式嵌入到交換機、數(shù)據(jù)庫、應用程序中，探針采集到的數(shù)據(jù)與現(xiàn)有綜合計費賬務系統(tǒng)中的數(shù)據(jù)進行比對，從而在每月出賬前發(fā)現(xiàn)每個計費環(huán)節(jié)中可能出現(xiàn)的問題，同時驗證賬務數(shù)據(jù)的準確性。

系統(tǒng)在計費核心網(wǎng)上部署1臺數(shù)據(jù)采集機和1臺應用服務器，采集機采集全省各交換機的原始數(shù)據(jù)和計費賬務數(shù)據(jù)，應用服務器上部署監(jiān)控數(shù)據(jù)庫和前端應用服務。圖1為系統(tǒng)硬件搭建。

圖1 系統(tǒng)硬件搭建

如圖2所示，系統(tǒng)分為三層架構：采集控制層、數(shù)據(jù)管理層、功能應用層，其中采集控制層包括：交換話單文件列表采集模塊、計費流程校驗數(shù)據(jù)采集模塊、賬務準備校驗數(shù)據(jù)采集模塊、賬務結果校驗數(shù)據(jù)采集模塊。中間數(shù)據(jù)管理層包括賬務監(jiān)控數(shù)據(jù)庫和檢驗數(shù)據(jù)原始庫，各環(huán)節(jié)探針采集到的數(shù)據(jù)形成文本導入賬務監(jiān)控數(shù)據(jù)庫中，它是系統(tǒng)功能實現(xiàn)的數(shù)據(jù)基礎。最后一層是功能應用層，實現(xiàn)采集核對、賬務日志、詳單處理檢查、平衡性檢查、賬務數(shù)據(jù)檢查業(yè)務邏輯。

2 計費賬務流程

圖3為本系統(tǒng)計費流程。計費賬務從總體上來看主要由三部分組成：話單環(huán)節(jié)、批價環(huán)節(jié)和賬務環(huán)節(jié)。計費系統(tǒng)首先從交換機上進行話單采集，然后將二進制文件標準化為文本文件；計費系統(tǒng)將話單記錄按來去話方向分揀為計費話單和結算話單；分揀后的計費話單去重處理后進行批價入庫；最后系統(tǒng)進行費用合賬處理，生成每個號碼當月的賬務信息。為了保證這條“生產線”上產品的質量，必須在每個環(huán)節(jié)設置控制點，保證數(shù)據(jù)的準確。

3 系統(tǒng)軟件設計

整個內控監(jiān)測系統(tǒng)的軟件部分包括數(shù)據(jù)采集、比對、輸出告警顯示等程序設計。本文主要在AWK和Shell的基礎上對話單文件列表采集核對模塊進行分析，對其中涉及的賬務、平衡性檢查等模塊只做簡略介紹，并不深究其控制代碼。

3.1 采集控制程序設計

為了方便管理，本系統(tǒng)對全省各地市每一臺交換設備設置了一個8位ID，交換機的ID規(guī)則為區(qū)號+序號，如廣州的一臺匯接局交換機，命名規(guī)則為20000001。整個軟件流程如圖4所示。

此流程采用C/S編程方式，主要有以下三個環(huán)節(jié):

圖2 系統(tǒng)架構圖

圖3 計費流程圖

圖4 采集數(shù)據(jù)流圖

(1)在采集機(服務端)上完成交換機參數(shù)表設置。交換機列表包括區(qū)號、交換機標識、交換機型號、交換機IP地址、采集賬號、密碼、目錄位置、交換機注冊時間。系統(tǒng)會每隔一段時間掃描和提取賬務系統(tǒng)中的交換機數(shù)據(jù)表，比對交換機列表，如有新增，則加入交換機列表。交換機列表以文本形式存放于采集服務器下。

(2)登錄交換機(客戶端)。登錄方式為FTP方式，輸入?yún)?shù)為交換機列表參數(shù)，包括交換機IP地址、登錄用戶名和密碼，登錄成功則進入交換機的采集目錄。圖5為登錄某交換機的指令序列。

圖5 登錄指令序列

全省可按輪詢交換機列表參數(shù)方式進行后臺定時自動登錄，同時在后臺形成登錄日志文件，如果失敗，則后臺定時登錄交換機進行重新補登操作。

(3)采集列表，并進行標準化及入庫核對。交換機每個月在話單存儲空間生成一個以年月命名的目錄，目錄下存放話單文件，交換機將每秒經過交換機的話務寫入到臨時話單文件中，每隔一段時間(一般為1 h)截斷寫入，并正式生成話單文件。系統(tǒng)根據(jù)以上的話單生成原理，通過采集原始話單文件列表的相關信息與賬務系統(tǒng)中采集的數(shù)據(jù)進行核對，從而發(fā)現(xiàn)運行的賬務系統(tǒng)是否存在話單文件漏采或采集不完整的情況。圖6為采集部分代碼。

圖6 采集代碼片段

對采集的列表文件進行標準化：截取關鍵字段信息，包括交換機ID、話單文件生成日期、話單文件生成時間、采集文件名稱、采集文件大小。這里用到多種工具進行格式標準化，標準化代碼段如圖7所示。這里要注意的是，由于華為和中興文件列表中的文件名、話單產生時間格式和位置不同，因此用到的標準化指令也不同。

新技術的整合將支持開發(fā)新的工具，幫助個人進行終身學習、參與公共政策決策以及依靠個人力量產生信息資源、軟件和其他商品及服務。

圖7 標準化代碼片段

cat功能是顯示文本文件內容，并將操作對象顯示在標準輸出,本指令將列表文件顯示內容重定向到標準化文件20000011.txt；cat輸出通過管道方式傳遞給接下來執(zhí)行的AWK程序；AWK程序段功能就是對輸入數(shù)據(jù)進行模式匹配：掃描文件中的每一行，查找與命令行中所給定內容相匹配的模式。如果發(fā)現(xiàn)內容匹配，則進行下一個編程步驟。如上示例表示，若存在“20000011”字段，則調用print函數(shù)打印到緩存區(qū)中，同時按照標準化文件要求截取1～4字段信息；接著調用sed[8]程序進行第二次文件過濾，在沒有指定地址情況下，sed將處理輸入緩存文件的所有行，本例sed程序功能是掃描緩存區(qū)輸入的所有行，如發(fā)現(xiàn)有空格則執(zhí)行刪除操作，并用替換功能將字段間用“|”進行分隔；最后一道過濾是采用grep程序，該指令用于查找包含指定的范本樣式內容的文件，參數(shù)e是排除包含“12”、“13”字符的行，本例功能即刪除過往年份或無效話單文件名。經過三次過濾后，最終形成需要入庫的標準化文件。

因為AWK可以作為一個Shell的命令使用，因此AWK能與Shell批處理程序很好地融合在一起，這給實現(xiàn)AWK與Shell程序的混合編程提供了可能。實現(xiàn)混合編程的關鍵是AWK與Shell Script之間的對話，換言之，就是AWK與Shell Script之間的信息交互：AWK從Shell Script中獲取所需的信息，在AWK中執(zhí)行Shell命令行；Shell Script將命令執(zhí)行的結果傳遞給AWK處理以及Shell Script讀取AWK的執(zhí)行結果等，圖8為兩者之間的變量傳遞實例。

圖8 AWK和Shell的參數(shù)傳遞

圖8程序片段中，AWK處理交換機列表文件后產生的結果傳遞給Shell程序中的ip、us等參數(shù)；而在標準化過濾過程中，AWK和grep又可直接引用Shell中的變量參數(shù)ry和by的值。

3.2 數(shù)據(jù)管理程序設計

系統(tǒng)數(shù)據(jù)管理層需對采集到的標準化文件進行裝載入庫。同時需從賬務生產系統(tǒng)中獲取采集日志記錄(需跨庫操作)，兩組數(shù)據(jù)通過數(shù)據(jù)庫的SQL語句外聯(lián)方式建立連接，形成核對基礎數(shù)據(jù)表,圖9為數(shù)據(jù)庫語句片斷。

圖9 數(shù)據(jù)庫語句片斷

為了便于管理，程序將登錄、采集、標準化、數(shù)據(jù)裝載入庫進行封裝，生成shell腳本體。腳本體對Linux和Informix環(huán)境變量[9]設置、交換機網(wǎng)絡地址、登錄指令、操作參數(shù)設置、文件格式轉換、數(shù)據(jù)庫SQL語句執(zhí)行進行統(tǒng)一包裝。即用戶在使用“采集核對”探針操作時，只需要調用一次腳本程序就可完成從數(shù)據(jù)采集到入庫的一系列操作，從而保證了程序執(zhí)行的連貫性，確保網(wǎng)絡傳輸數(shù)據(jù)的高效和安全。

3.3 功能應用程序設計

采集核對功能模塊包括對比匯總查詢、采集文件異常告警查詢、采集超時異常告警查詢，實現(xiàn)對全省交換機采集情況進行監(jiān)測和分析。該過程采用了B/S編程方法，使用了JSP技術進行開發(fā)。

3.3.1 對比匯總查詢

用戶可根據(jù)區(qū)號、交換機ID、查詢時間段進行組合查詢。匯總對比記錄展示是對所有的交換機側文件和計費側采集文件進行對比顯示。系統(tǒng)根據(jù)交換機側生成的話單文件與計費賬務側話單文件記錄進行映射對比。由于計費側記錄包含了完整路徑,如“/data/crtbs/ddd/coll/20000011/201501/2015012023.BIL”，所有比對過程中需采用substr函數(shù)進行截取。

3.3.2 采集異常告警

采集異常告警包括兩方面：交換機側已經生成話單文件而計費賬務側仍未采集到話單文件；計費賬務已經采集到了話單文件，但是它們與原始的交換機側生成的原始話單文件大小不一致。系統(tǒng)會將以上問題話單文件進行告警展示，提醒地市人員及時介入并進行核查處理。

3.3.3 采集超時告警

對計費賬務側長時間未采集到話單文件的交換機進行告警顯示。系統(tǒng)判斷采集超時的依據(jù)是：系統(tǒng)掃描計費賬務側采集到的話單文件記錄，篩選出系統(tǒng)中最新的一條話單文件記錄，根據(jù)此話單文件的生成時間與當前系統(tǒng)時間比對，若比對結果的時間偏差超過系統(tǒng)設置的超時閾值，則告警提示此交換機的計費賬務側采集超時。一般故障原因有兩種：交換機側話單文件未生成(交換側原因)或計費賬務側采集未成功(網(wǎng)絡、系統(tǒng)原因)，需要地市網(wǎng)管進行甄別處理。圖10為監(jiān)控頁面。

圖10 監(jiān)控頁面

3.4 其他功能

計費賬務內控監(jiān)測系統(tǒng)還包括其他模塊：詳單處理檢查、平衡性檢查、賬務日志檢查。

3.4.1 詳單處理檢查

話單處理檢查模塊包括每月話單數(shù)比對檢查、平均每日話單數(shù)檢查、交換機每日話單數(shù)檢查、計費流程監(jiān)控，以保證話單采集的完整性和整個計費過程的準確性。

3.4.2 平衡性檢查

平衡性檢查模塊包括采集批價流程的平衡性檢查、詳單表與合賬表平衡性檢查以及代收費平衡性檢查。這部分的平衡性檢查核心主要是對計費節(jié)點數(shù)據(jù)再計算和相鄰節(jié)點數(shù)據(jù)差值計算。平衡指標包括記錄數(shù)平衡和費用平衡,圖11為平衡性檢查環(huán)節(jié)圖。

圖11 平衡性檢查環(huán)節(jié)圖

3.4.3 賬務日志檢查

賬務日志模塊包括出賬處理登記表和出賬日志查詢，實現(xiàn)對每個賬期進行流程分析和出賬記錄登記。

出賬處理登記表的作用包括記錄每月出賬完成情況，對每月出賬記錄進行存檔；系統(tǒng)提供出賬處理登記表的批量打印功能，以供出賬負責人員簽字確認，同時作為后期公司財務內控審計的檢查依據(jù)。

4 測試和分析

系統(tǒng)試運行1個月后，網(wǎng)管人員利用監(jiān)控系統(tǒng)，兩次發(fā)現(xiàn)計費側因為交換機問題或網(wǎng)絡故障而導致話單漏采問題。以采集核對模塊為例：系統(tǒng)運行期間，如果全年按每月平均發(fā)現(xiàn)2個漏采文件，每個文件按約1萬條話單估算，全年將丟失約近24萬條話單，漏采造成的營收損失是顯而易見的。同時計費賬務內控監(jiān)測系統(tǒng)的自動化告警能力也縮短了計費人員從發(fā)現(xiàn)故障到處理的時間周期，提高了工作效率。

5 結論

本文基于AWK和Shell設計了一套計費賬務內控系統(tǒng)，主要說明了其中采集核對軟件部分，對其中多個功能的運作進行了分析。目前該系統(tǒng)能夠基本滿足賬務系統(tǒng)監(jiān)控需求，在實際使用中，后臺采集程序定時自動運行，完成對全省交換機輪詢登錄并進行數(shù)據(jù)統(tǒng)一采集、入庫和比對。計費賬務內控監(jiān)測系統(tǒng)投入使用以來，減輕了大量人工核對操作量，提高了計費賬務處理的效率。隨著公司內控矩陣不斷補充完善，計費賬務內控系統(tǒng)將加入更多的控制點，提高系統(tǒng)內控監(jiān)測能力。