吳燕

摘 要 隨著社會快速發(fā)展、人口數(shù)量不斷增長，空氣質(zhì)量問題越來越突出。本文以寧夏石嘴山地區(qū)空氣質(zhì)量為研究內(nèi)容，通過Python語言的網(wǎng)絡爬蟲技術完成該地區(qū)近八年來的歷史數(shù)據(jù)的獲取，并對數(shù)據(jù)進行清洗、處理，最后通過HTML語言、JS語言、Echarts等技術實現(xiàn)對數(shù)據(jù)的加載和可視化等功能。完成后的系統(tǒng)，界面友好、數(shù)據(jù)分析準確度高、統(tǒng)計功能較完備、分析結果展示人性化，為石嘴山地區(qū)的環(huán)境保護提供一系列決策依據(jù)。

關鍵詞 空氣質(zhì)量 數(shù)據(jù)爬取 可視化

中圖分類號：X51 文獻標識碼：A 文章編號：1007-0745（2021）10-0026-03

1 研究背景及意義

空氣質(zhì)量與人們的生活和健康息息相關，不論在室內(nèi)還是室外，人們的生活都離不開空氣。我國自90年代以來，已建成5000多個環(huán)境空氣質(zhì)量監(jiān)測點，其中涉及到的有從縣、到市、到省最后到國家。從監(jiān)測功能上講，涵蓋城市環(huán)境空氣質(zhì)量監(jiān)測、區(qū)域環(huán)境空氣質(zhì)量監(jiān)測、背景環(huán)境空氣質(zhì)量監(jiān)測，還包括溫室氣體、酸雨、沙塵影響空氣質(zhì)量監(jiān)測等[1]。同時基于物聯(lián)網(wǎng)技術、互聯(lián)網(wǎng)、網(wǎng)絡爬取技術等應用將不同類型、不同地域的監(jiān)測點的數(shù)據(jù)實時匯總至國家氣象局并進行實時分析和統(tǒng)計，數(shù)據(jù)對民眾開放。

寧夏石嘴山市是傳統(tǒng)的資源依賴型城市，形成了以煤炭、冶金、機械、化工、陶瓷等多類非常齊全的重工業(yè)體系。石嘴山市地處寧夏回族自治區(qū)最北端，緊靠內(nèi)蒙古地區(qū)。蒸發(fā)強烈、空氣干燥，年平均降水量不到蒸發(fā)量的十分之一。多年來快速的工業(yè)化發(fā)展進程，雖然帶來了經(jīng)濟體量的提升和該地區(qū)人們物質(zhì)生活質(zhì)量的提升，但同時也帶來了嚴重的空氣污染問題。

基于當前石嘴山地區(qū)的空氣質(zhì)量監(jiān)測已經(jīng)較為完整的情況，本文通過對該地區(qū)自2013年至今的所有空氣質(zhì)量數(shù)據(jù)、境內(nèi)企業(yè)相關數(shù)據(jù)、城市周邊環(huán)境數(shù)據(jù)等進行數(shù)據(jù)獲取和數(shù)據(jù)分析。選取合適的數(shù)據(jù)分析方法和可視化技術，設計具有實時數(shù)據(jù)、歷史數(shù)據(jù)、PM2.5濃度分析、AQI指數(shù)分析的空氣質(zhì)量分析系統(tǒng)，該系統(tǒng)能夠在一定程度上具有自動化、網(wǎng)絡化等特點。通過對影響空氣質(zhì)量的各種因子（如PM2.5、SO2、NO2、CO、O3）的數(shù)據(jù)分析結果為為政府部門制訂空氣質(zhì)量提升政策提供依據(jù)。

2 需求分析

2.1 對石嘴山地區(qū)空氣質(zhì)量數(shù)據(jù)進行實時采集，并在此基礎上進行相關數(shù)據(jù)分析

通過獲取石嘴山地區(qū)空氣質(zhì)量實時數(shù)據(jù)，分別采用圖形UI、監(jiān)測點數(shù)據(jù)列表的方式展示24小時內(nèi)的AQI指數(shù)趨勢。

2.2 基于歷史數(shù)據(jù)進行相關分析與結果展示

數(shù)據(jù)統(tǒng)計分析模塊采用多樣化的圖表展示，根據(jù)獲取數(shù)據(jù)的內(nèi)容，統(tǒng)計分析模塊包括對歷年數(shù)據(jù)的整體統(tǒng)計（可以使用PM2.5或AQI指數(shù)），對比多年來的數(shù)據(jù)均值，以直觀對比年度數(shù)據(jù)。

2.3 繪制2021年以來PM2.5數(shù)據(jù)折線圖，直觀展示空氣質(zhì)量走勢

為更加直觀的了解到歷年來空氣質(zhì)量高點變化情況，對歷年數(shù)據(jù)中AQI指數(shù)>50的數(shù)值進行統(tǒng)計展示。

3 系統(tǒng)可行性分析

3.1 經(jīng)濟可行性

系統(tǒng)設計開發(fā)對硬件要求需求不高，所需開發(fā)工具均為開源，無需過多支出，因此在開發(fā)階段實現(xiàn)了經(jīng)濟可行。

3.2 技術可行性

系統(tǒng)實現(xiàn)過程所需相關技術主要涉及到的有Python語言、CSS和成熟的網(wǎng)頁解析技術以及數(shù)據(jù)庫等技術[2]，均為市場成熟技術且被開發(fā)者熟練掌握，因此實現(xiàn)了技術可行。

3.3 操作可行性

該系統(tǒng)布局簡單、操作簡便、互動性強，便于用戶使用，因此實現(xiàn)了操作可行。

4 系統(tǒng)總體設計

石嘴山市空氣質(zhì)量分析系統(tǒng)包括實時數(shù)據(jù)可視化管理模塊、歷史數(shù)據(jù)可視化管理模塊兩大模塊，每個模塊下又包含若干子模塊，具體內(nèi)容如下圖1所示。

4.1 實時數(shù)據(jù)分析與展示模塊設計

該模塊分為數(shù)據(jù)獲取、圖形化數(shù)據(jù)展示、AQI數(shù)據(jù)可視化三個子模塊。

4.2 歷史數(shù)據(jù)分析與展示模塊設計

該模塊分為歷史數(shù)據(jù)列表展示、歷史數(shù)據(jù)分析、歷史數(shù)據(jù)可視化三個子模塊。

5 系統(tǒng)數(shù)據(jù)庫設計

根據(jù)系統(tǒng)需求分析，本文所實現(xiàn)的系統(tǒng)在滿足功能設計的基礎上，數(shù)據(jù)庫包含實時數(shù)據(jù)管理表、歷史數(shù)據(jù)管理表。

5.1 數(shù)據(jù)庫E-R圖設計

空氣質(zhì)量管理主要有城市、空氣質(zhì)量、監(jiān)測站點等實體，城市信息實體的屬性有ID、名稱。空氣質(zhì)量實體的屬性有二氧化硫、監(jiān)測站點名稱、監(jiān)測時間、空氣質(zhì)量指數(shù)、AQI等信息。監(jiān)測站實體包括監(jiān)測站名稱、監(jiān)測ID等信息。相關E-R圖，如圖2所示。

5.2 數(shù)據(jù)庫邏輯結構設計

數(shù)據(jù)庫邏輯結構設計就是把概念結構設計階段完成的實體-關系圖轉化為與選用數(shù)據(jù)庫管理系統(tǒng)產(chǎn)品所支持的數(shù)據(jù)模型相符合的邏輯結構。本系統(tǒng)數(shù)據(jù)庫包含實時空氣質(zhì)量表與歷史空氣質(zhì)量表。

6 基于網(wǎng)絡爬蟲與API的數(shù)據(jù)獲取實現(xiàn)

通過網(wǎng)絡爬取來獲取網(wǎng)頁中包含的數(shù)據(jù)，從而獲取歷史空氣質(zhì)量。通過開發(fā)者工具分析網(wǎng)頁結構，所獲取的數(shù)據(jù)是以半結構化（HTML）的格式存在于該網(wǎng)站，主要獲取的字段包括日期、質(zhì)量等級、AQI指數(shù)、當天AQI排名、PM2.5、二氧化硫、二氧化氮、一氧化碳、臭氧等。

通過API（應用程序編程接口）可以更為便捷地獲取目標地區(qū)的空氣質(zhì)量數(shù)據(jù)，如AQI指數(shù)、空氣質(zhì)量等級等。該接口調(diào)用由Python的請求庫訪問，一般為get或post請求[3]。請求返回結果以JSON格式解析，經(jīng)提取數(shù)據(jù)后存入到數(shù)據(jù)庫中。

7 數(shù)據(jù)分析過程及結果

7.1 歷史空氣數(shù)據(jù)的獲取

空氣質(zhì)量數(shù)據(jù)的獲取通過爬取目標網(wǎng)站“天氣網(wǎng)”中的石嘴山市所有發(fā)布的空氣質(zhì)量監(jiān)測的數(shù)據(jù)，存儲于MYSQL數(shù)據(jù)庫中，通過JSON轉換等加載到前臺界面中。

7.2 歷史空氣質(zhì)量數(shù)據(jù)列表化展示

該列表支持用戶自動設置界面每次展示多少條數(shù)據(jù)、界面上翻和下翻的后臺服務端分頁的功能。

7.3 歷史空氣質(zhì)量數(shù)據(jù)可視化展示

數(shù)據(jù)統(tǒng)計分析模塊采用多樣化的圖表展示，幫助用戶直觀了解過去以及現(xiàn)在空氣質(zhì)量指數(shù)以及PM2.5的變化情況及趨勢[4]。

根據(jù)本系統(tǒng)的數(shù)據(jù)獲取的內(nèi)容，數(shù)據(jù)統(tǒng)計分析模塊應包括對歷年來獲取的數(shù)據(jù)整體統(tǒng)計（可使用PM2.5或AQI指數(shù)），并通過對比多年來的數(shù)據(jù)均值，以直觀查看各年度數(shù)據(jù)。

7.4 數(shù)據(jù)分析結論

根據(jù)均值對比圖統(tǒng)計，可知：2014年到2017年底，石嘴山市的PM2.5濃度一直較高。結合相關資料調(diào)查，這是由于石嘴山市在2018年前推動大氣污染治理還未取得較好效果，境內(nèi)以煤炭為主的生產(chǎn)加工企業(yè)較多。從2018年開始PM2.5濃度明顯下降，說明政府以及民眾的重視度提高，采取很大力度的措施得到顯著的效果。但是2020年PM2.5又有了上升的趨勢，是由于靜穩(wěn)天氣的影響使得一月份PM2.5有升高的趨勢，從而影響了整年度的PM2.5值。

從2021年變化走勢圖可知：2021年PM2.5濃度總體有所改善，僅有個別幾天有明顯上升的趨勢。以3月15日為例，石嘴山市出現(xiàn)大范圍沙塵暴天氣，嚴重是影響空氣質(zhì)量。

結論：對比2013年到2021年3月份空氣質(zhì)量指數(shù)數(shù)據(jù)顯示，以AQI指數(shù)為衡量標準，石嘴山市2018年以前的空氣質(zhì)量大于50的天氣比較密集也比較多，從2018年以后污染情況逐漸改善。

8 結語

隨著人們對空氣污染問題的重視度越來越高，空氣質(zhì)量在逐漸改善，基于該系統(tǒng)的實現(xiàn)，相信在以后的發(fā)展中，空氣監(jiān)測系統(tǒng)會越來越完善，會通過歷史數(shù)據(jù)作出分析、預測，為監(jiān)測人員提供依據(jù)。

總體而言，系統(tǒng)功能完備、界面交互性強，具有非常好的社會價值和使用意義。通過Bootstrap、CSS使界面更加美觀，并減少開發(fā)所需時間，提高開發(fā)效率。隨著人們對空氣污染問題的重視度越來越高，空氣質(zhì)量在逐漸改善，基于該系統(tǒng)的實現(xiàn)，相信在以后的發(fā)展中，空氣監(jiān)測系統(tǒng)會越來越完善，會通過歷史數(shù)據(jù)作出分析、預測，為監(jiān)測人員提供依據(jù)。

參考文獻：

[1] 劉姝童，劉詩嬌，夏鳴，梁鈺薇，姚婷瑋.天津機場運行對區(qū)域空氣質(zhì)量影響評估研究[J].科技風，2021（09）：141-144.

[2] 司桂靜，崔向前，鄒坤，戚昭岳.基于Python和Django實現(xiàn)城域網(wǎng)流量統(tǒng)計監(jiān)控系統(tǒng)[J].山東通信技術，2020，40（01）： 26-27.

[3] 白昌盛.基于Django的Python Web開發(fā)[J].信息與電腦（理論版），2019，31（24）：37-40.

[4] 李錦華，孫萌，陳緣，呂海波.2014-2020年渭南市霧霾發(fā)展狀況分析[J].科學咨詢（科技·管理），2021（03）：70-71.