一個基于實時計算的扇區(qū)流量統(tǒng)計模型設(shè)計

文/吳龍波

1 背景

管制扇區(qū)是空中交通管理里的專業(yè)名詞，它是指一塊劃定容積的扇形立體空域。管制扇區(qū)通常設(shè)置在某一高空管制單位或進近管制單位內(nèi)，每個扇區(qū)投影到平面上是一個多邊形區(qū)域，由特定的多個扇區(qū)邊界點和邊界點兩兩連線組成。管制扇區(qū)是一個立體區(qū)域，即每個扇區(qū)除了平面區(qū)域限制還有高度范圍限制，通過兩者限制即可組成扇區(qū)的立體空間。每一扇形區(qū)間有一名或一組空中交通管制員負有管制職責，通過扇區(qū)航班流量的計算能真實反饋管制員的工作負荷，因此扇區(qū)流量統(tǒng)計得到各管制單位的高度關(guān)注。但受限于扇區(qū)形狀的空間復(fù)雜性以及大量航跡的計算難度，目前的傳統(tǒng)框架的統(tǒng)計結(jié)果往往延遲較大且存在較大誤差。

為了管制扇區(qū)流量統(tǒng)計的準確性和實時性，本文結(jié)合主流的分布式實時計算框架Flink 和自動化航跡數(shù)據(jù)，提出一種基于實時計算的管制扇區(qū)流量統(tǒng)計模型。自動化航跡數(shù)據(jù)是典型的流式數(shù)據(jù)，并且數(shù)據(jù)量龐大，適合用實時計算框架進行處理。它是飛機在飛行過程中每4 秒發(fā)出的四維時空信息，包括發(fā)送時刻、經(jīng)度、緯度和高度，而經(jīng)緯度和高度是判斷飛機通過某一扇區(qū)的重要依據(jù)。ApacheFlink 是目前大數(shù)據(jù)領(lǐng)域中廣泛使用的分布式實時計算框架，相比Apache Storm 和SparkStreaming，F(xiàn)link 以高吞吐、低延遲、高可靠和精確計算等特性備受關(guān)注。

2 實時統(tǒng)計模型設(shè)計

基于實時計算Flink 的統(tǒng)計模型設(shè)計如圖1所示，包括航跡發(fā)送、消息隊列、實時計算、數(shù)據(jù)庫等組件。

航跡發(fā)送：模擬自動化航跡數(shù)據(jù)發(fā)送。

圖1：實時統(tǒng)計模型圖

圖2：過扇區(qū)算法圖解

消息隊列：將接收到的航跡數(shù)據(jù)緩存在消息隊列里并做持久化，持久化時間設(shè)定為7 天。

實時計算Flink：從消息隊列中實時獲取航跡數(shù)據(jù)，對每一個航跡數(shù)據(jù)判斷是否通過扇區(qū)，并將相同航班的記錄匯總成一條記錄。

分析數(shù)據(jù)庫：數(shù)據(jù)庫中，假設(shè)過扇區(qū)記錄保存在FlySector 表，其字段組成包括：航班號（CALLSIGN）、二次代碼(SSRCODE)、起飛機場(ADES)、扇區(qū)代碼(SECTORCODE)、進扇區(qū)時間(ENTRYTIME)、出扇區(qū)時間(EXITTIME)。通過分析數(shù)據(jù)庫的快速查詢性能，能夠迅速獲取特定時間段內(nèi)每個扇區(qū)的流量。

3 詳細算法設(shè)計

本模型的難點在于實時計算Flink 中實現(xiàn)扇區(qū)統(tǒng)計算法，其中主要包括過扇區(qū)的判斷算法和相同航班判斷算法。

3.1 過扇區(qū)判斷算法

給定一個航班的某個航跡數(shù)據(jù)，過扇區(qū)判斷算法負責判斷該時刻該航班是否處于某個扇區(qū)中。為便于說明，本文將扇區(qū)簡化為平面多邊形，同時把航跡和扇區(qū)邊界點的經(jīng)緯度轉(zhuǎn)換為XY 坐標。判斷是否在扇區(qū)內(nèi)可以使用引射線法：在測試航跡點的Y（或X）坐標畫一條直線，會得到一個測試點所在的行與扇區(qū)多邊形邊的交點的列表。在圖2的這個例子中有2條邊與測試點所在的行相交。如果測試航跡點在X 坐標兩邊點的個數(shù)都是奇數(shù)則該測試點在扇區(qū)內(nèi)，否則在扇區(qū)外。下圖中測試點的左邊各有奇數(shù)（1）個交點，所以航跡點在扇區(qū)內(nèi)。過扇區(qū)判斷算法偽代碼如下：

3.2 相同航班判斷法

通過3.1 的過扇區(qū)判斷算法，我們可以把航跡數(shù)據(jù)轉(zhuǎn)為中間數(shù)據(jù)記錄，每條中間記錄保存的字段信息有：航班號（CALLSIGN）、二次代碼(SSRCODE)、起飛機場(ADES)、扇區(qū)代碼(SECTORCODE)、航跡時間（ATO）。如航跡無法匹配上一個扇區(qū)，則該航跡數(shù)據(jù)丟棄。中間數(shù)據(jù)記錄是圖1中實時計算Flink1 的計算結(jié)果，根據(jù)此結(jié)果，在實時計算Flink2 中用相同航班判斷法對相同航班的數(shù)據(jù)進行融合更新，并將合并的單一記錄插入分析型數(shù)據(jù)庫。

同一個航班的中間記錄可以使用FlinkSQL 中的窗口函數(shù)進行融合判斷，通過窗口函數(shù)，我們可以把當前中間記錄的前后特定時間內(nèi)的同一航班記錄數(shù)據(jù)找出來并按照航跡時間進行排序，示例如表1所示。

表1

表2

表3

在實時計算Flink2 中對以上記錄進行整合，即可計算出航班CSN001 過扇區(qū)ZGGGACC01 的結(jié)果記錄，如表2所示。

3.3 扇區(qū)架次計算

通過時間段重合算法即可在分析型數(shù)據(jù)庫獲取扇區(qū)流量統(tǒng)計結(jié)果，假設(shè)需要查詢時刻T1 到T2 扇區(qū)ZGGGACC01 的流量，查詢語句示例如表3。

4 結(jié)語

本文研究了一個基于實時計算框架和航跡數(shù)據(jù)的管制扇區(qū)流量計算模型，相比傳統(tǒng)模型，該模型算法通過大數(shù)據(jù)技術(shù)中的Flink 集群實現(xiàn)了航跡數(shù)據(jù)分布式實時處理和計算。通過Flink 集群和分析型數(shù)據(jù)庫的配合，實現(xiàn)了在航班經(jīng)過扇區(qū)后實時計算出通過扇區(qū)的航班架次，同時把延時時間降低到秒級。本模型的應(yīng)用能大大改善空管系統(tǒng)中扇區(qū)架次統(tǒng)計的短板，對管制員工作負荷的分析有重要的促進意義，對管制一線生產(chǎn)工作有良好的輔助作用。