Python和FME下的疫情數(shù)據(jù)可視化

譚仁春，江 威*，馬藝文，陳俊偉

（1.武漢市測(cè)繪研究院，湖北 武漢 430022；2.武漢市自然資源和規(guī)劃信息中心，湖北 武漢 430014；3.湖北金拓維信息技術(shù)有限公司，湖北 武漢 430223）

時(shí)間和空間是現(xiàn)實(shí)世界最基本最重要的屬性，有研究表明，現(xiàn)實(shí)世界中的數(shù)據(jù)超過(guò)80%與地理位置有關(guān)[1]。地理信息系統(tǒng)（GIS）技術(shù)的出現(xiàn)和發(fā)展，為傳染病的研究工作提供了強(qiáng)有力的工具和獨(dú)特的研究方法[2]。3S 技術(shù)的發(fā)展與應(yīng)用，成為從時(shí)間和空間上跟蹤、監(jiān)測(cè)傳染病蔓延、傳播的重要手段，尤其是涉及大范圍、多因素的動(dòng)態(tài)研究，多源多時(shí)相多尺度的空間數(shù)據(jù)更能體現(xiàn)出其獨(dú)特優(yōu)勢(shì)[3]。3S 技術(shù)和時(shí)空大數(shù)據(jù)等信息化技術(shù)的高速發(fā)展和應(yīng)用，為傳統(tǒng)的各類公共衛(wèi)生信息和數(shù)據(jù)提供了豐富的分析方式和手段，改變了數(shù)據(jù)分析理論滯后和分析技術(shù)缺失的現(xiàn)狀，可以充分挖掘數(shù)據(jù)的隱含知識(shí)和潛在應(yīng)用價(jià)值。

傳染病的防治和應(yīng)對(duì)是健康城市建設(shè)的重要方面[4]。在人口流動(dòng)不斷加快加大、全球重大傳染病疫情頻發(fā)的時(shí)代，傳染病預(yù)防控制工作已成為我國(guó)可持續(xù)發(fā)展工作的重要組成部分[5]。新型冠狀病毒肺炎是近百年來(lái)人類遭遇的影響范圍最廣的全球性大流行病，對(duì)全世界是一次嚴(yán)重危機(jī)和嚴(yán)峻考驗(yàn)，人類生命安全和健康面臨重大威脅[6]。應(yīng)從數(shù)據(jù)分析的角度，對(duì)歷史數(shù)據(jù)進(jìn)行深入的結(jié)構(gòu)性分析，從中挖掘出具有社會(huì)意義和理論價(jià)值的知識(shí)，作為決策的科學(xué)依據(jù)[7]。結(jié)合GIS 領(lǐng)域的中間件工具FME 和面向?qū)ο蟮淖匀婚_(kāi)發(fā)語(yǔ)言Python，本文設(shè)計(jì)了一套獲取COVID-19 數(shù)據(jù)并繪制疫情地圖的算法流程，實(shí)現(xiàn)了疫情數(shù)據(jù)獲取、展示、發(fā)布和應(yīng)用的集成管理。

1 技術(shù)路線

FME 是空間數(shù)據(jù)轉(zhuǎn)換處理系統(tǒng)，提供了完整的空間ETL 解決方案。ArcPy 是一個(gè)Python 站點(diǎn)包，通過(guò)Python 實(shí)現(xiàn)地理數(shù)據(jù)分析、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)管理和地圖自動(dòng)化。Anaconda 是一個(gè)用于科學(xué)計(jì)算的開(kāi)源Python 發(fā)行版本，提供跨平臺(tái)的包管理和環(huán)境管理功能，可以很方便地解決多版本Python 并存、切換以及各種第三方包安裝問(wèn)題。在跨平臺(tái)整合方面，F(xiàn)ME Workbench 中可實(shí)現(xiàn)fmepython、ArcPy 和Anaconda 的集成，只需在模板調(diào)試時(shí)配置Python 編譯器分別指向Anaconda 和ArcPy 即可。由于fmepython 尚未封裝為獨(dú)立包，脫離FME Workbench 開(kāi)發(fā)平臺(tái)和環(huán)境后，無(wú)法調(diào)用fmepython 和FME Workbench 中的轉(zhuǎn)換器。目前通過(guò)PyCharm 等IDE 支持ArcPy 和Anaconda 的集成，不能調(diào)用fmepython。

結(jié)合現(xiàn)有的平臺(tái)軟件和專業(yè)化工具，本文設(shè)計(jì)了時(shí)空疫情大數(shù)據(jù)可視化技術(shù)路線，最終形成發(fā)布為Web 應(yīng)用的疫情時(shí)序變化地圖。技術(shù)路線包括數(shù)據(jù)抓取、數(shù)據(jù)清洗、數(shù)據(jù)可視化和疫情地圖發(fā)布4 個(gè)關(guān)鍵步驟，如圖1 所示。

圖1 技術(shù)路線圖

2 疫情數(shù)據(jù)抓取與清洗

2.1 數(shù)據(jù)抓取

基于Python 和FME，本文設(shè)計(jì)了疫情聚合數(shù)據(jù)抓取的兩條技術(shù)路線：①在FME Workbench 中調(diào)用Anaconda 抓取數(shù)據(jù)，再結(jié)合fmepython 和其他轉(zhuǎn)換器進(jìn)行數(shù)據(jù)預(yù)處理和輸出；②在PyCharm 中調(diào)用Anaconda抓取數(shù)據(jù)，保存為xls 格式或其他格式到本地。

兩條技術(shù)路線均可從丁香園、騰訊網(wǎng)和其他發(fā)布網(wǎng)頁(yè)上爬取疫情數(shù)據(jù)。數(shù)據(jù)源不同解析時(shí)采用的方法略有不同，但核心步驟基本為：①網(wǎng)頁(yè)端獲取數(shù)據(jù)；②JSON數(shù)據(jù)標(biāo)準(zhǔn)化；③解析JSON 數(shù)據(jù)；④以xls 或其他格式輸出到本地。技術(shù)路線1 在網(wǎng)頁(yè)端獲取數(shù)據(jù)時(shí)采用HTTPCaller 和HTTPExtractor 轉(zhuǎn)換器，類似于PyCharm中調(diào)用Requests 包獲取網(wǎng)頁(yè)信息。JSONFragmenter 轉(zhuǎn)換器解析JSON 數(shù)據(jù)的思路與PyCharm 中調(diào)用JSON包一致。在數(shù)據(jù)輸出方面，F(xiàn)ME 直接寫(xiě)出為xls 模塊，PyCharm 中則調(diào)用Pandas 進(jìn)行表格數(shù)據(jù)輸出。

2.2 數(shù)據(jù)清洗

數(shù)據(jù)是大數(shù)據(jù)技術(shù)的核心，進(jìn)行大數(shù)據(jù)挖掘分析與應(yīng)用時(shí)大量的工作是解決數(shù)據(jù)存在的數(shù)據(jù)質(zhì)量問(wèn)題[8]。數(shù)據(jù)清洗是數(shù)據(jù)質(zhì)量研究的起點(diǎn)，是提高數(shù)據(jù)質(zhì)量的重要手段之一。數(shù)據(jù)清洗的目的是對(duì)海量冗余度較高的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化檢查，同時(shí)挖掘出后續(xù)數(shù)據(jù)分析和可視化等所必需的關(guān)鍵數(shù)據(jù)信息。疫情數(shù)據(jù)清洗包括時(shí)空數(shù)據(jù)一體化清洗和時(shí)空數(shù)據(jù)分省扇出。抓取到的疫情數(shù)據(jù)中存在時(shí)間和空間上的大量冗余，空間信息以省份名稱和城市名稱體現(xiàn)，時(shí)間信息記錄在時(shí)間戳中。本文利用FME Workbench 中DateTime 相關(guān)轉(zhuǎn)換器和函數(shù)進(jìn)行數(shù)據(jù)清洗，主要流程為：①以省份和城市為組，按爬取時(shí)間排序；②利用DateTimeParse 函數(shù)輸出FME 格式的時(shí)間字符串；③利用DateTimeDiff 函數(shù)計(jì)算相鄰記錄的時(shí)間差；④過(guò)濾提取時(shí)間差值為1 或?yàn)榭盏挠涗洝?/p>

時(shí)空數(shù)據(jù)一體化清洗后的數(shù)據(jù)為全國(guó)范圍的疫情數(shù)據(jù)，結(jié)合省份名稱扇出數(shù)據(jù)，最終形成各省份疫情專題數(shù)據(jù)。數(shù)據(jù)以FME 格式的日期字符串命名，便于后續(xù)進(jìn)行時(shí)空可視化展示。

3 疫情數(shù)據(jù)可視化

3.1 FME 疫情可視化

FME Workbench 2019 中集成了Data Inspector，從而具備了數(shù)據(jù)可視化的能力。FME Workbench 中包含HTML ReportGenerator 和ChartGenerator 兩個(gè)轉(zhuǎn)換器，可用于數(shù)據(jù)成果的可視化展示。HTML ReportGenerator轉(zhuǎn)換器支持生成HTML 前端頁(yè)面，頁(yè)面中可嵌入折線圖Line、餅狀圖Pie、柱狀圖Bar 和地圖Map，也可結(jié)合具體需要進(jìn)行多種表現(xiàn)形式的展示，如圖2、3 所示。ChartGenerator 轉(zhuǎn)換器直接生成一個(gè)統(tǒng)計(jì)圖的柵格數(shù)據(jù)，另存為jpg 或pdf 格式。

圖2 廣東省現(xiàn)存確診餅狀圖（2020 年4 月12 日）

圖3 廣東省治愈以及死亡柱狀圖（2020 年4 月12 日）

3.2 Pyecharts 疫情可視化

Echarts 是一個(gè)百度開(kāi)源的數(shù)據(jù)可視化圖表庫(kù)，憑借其良好的交互性、精巧的圖表設(shè)計(jì)，得到了眾多開(kāi)發(fā)者的認(rèn)可。Python 是一種富有表達(dá)力的語(yǔ)言，適用于數(shù)據(jù)處理。將數(shù)據(jù)分析與數(shù)據(jù)可視化相結(jié)合，用戶可通過(guò)設(shè)置全局配置項(xiàng)和系統(tǒng)配置項(xiàng)等輕松便捷地實(shí)現(xiàn)Pyecharts 的初始化和集成展示。

本文利用2020 年3 月1 日-2020 年4 月18 日的疫情數(shù)據(jù)制作了湖北省COVID-19 疫情時(shí)序化地圖，動(dòng)態(tài)展示了湖北省各城市COVID-19 累計(jì)確診和現(xiàn)存確診情況，如圖4、5 所示。疫情時(shí)序化地圖（累計(jì)確診）由中間的地圖組件Map、底部的時(shí)間軸組件Timeline 和左下角旋轉(zhuǎn)后的柱狀圖Bar 組成。

3.3 Streamlit 輕量級(jí)Web 應(yīng)用

Streamlit 是第一個(gè)專門(mén)針對(duì)機(jī)器學(xué)習(xí)和數(shù)據(jù)科學(xué)團(tuán)隊(duì)的應(yīng)用開(kāi)發(fā)框架，是開(kāi)發(fā)自定義機(jī)器學(xué)習(xí)工具最快的方法。利用Streamlit 可搭建一個(gè)輕量級(jí)的Web 應(yīng)用，快速高效地集成展示COVID-19 疫情時(shí)序化地圖（圖6）。

圖4 湖北省COVID-19 疫情時(shí)序化地圖（累計(jì)確診）

圖5 湖北省COVID-19 疫情時(shí)序化地圖（現(xiàn)存確診）

圖6 輕量級(jí)疫情可視化Web 應(yīng)用

4 結(jié) 語(yǔ)

COVID-19 疫情深刻影響著人類的發(fā)展進(jìn)程，在數(shù)據(jù)抗疫和科技抗疫技術(shù)理念的驅(qū)動(dòng)下，本文利用Python和FME 極大地提升了數(shù)據(jù)爬取、可視化、數(shù)據(jù)挖掘和分析的效率，并將疫情數(shù)據(jù)與手機(jī)信令等活動(dòng)軌跡大數(shù)據(jù)進(jìn)行融合，可模擬和預(yù)測(cè)疫情發(fā)展趨勢(shì)。