基于數(shù)據(jù)挖掘的天氣因素研究——以吉安縣為例

吳玉春,曾 寰,李金忠,楊 治,劉 華

基于數(shù)據(jù)挖掘的天氣因素研究——以吉安縣為例

吳玉春,*曾 寰,李金忠,楊 治,劉 華

（井岡山大學(xué)電子與信息工程學(xué)院，江西，吉安 343009）

影響天氣的因素有降雨量、氣壓、氣溫、風(fēng)速及風(fēng)向等，研究天氣影響因素對(duì)人們的生產(chǎn)生活有一定的指導(dǎo)作用。本研究提出使用數(shù)據(jù)挖掘技術(shù)探究天氣因素之間的相關(guān)性。使用K-S檢驗(yàn)方法對(duì)數(shù)據(jù)進(jìn)行正態(tài)性檢驗(yàn)，使用Pearson相關(guān)系數(shù)，對(duì)天氣逐日數(shù)據(jù)降雨量、氣壓、氣溫、風(fēng)速進(jìn)行相關(guān)性檢驗(yàn)，使用Eta相關(guān)系數(shù)對(duì)天氣逐日數(shù)據(jù)降雨量、氣壓、氣溫、風(fēng)速與風(fēng)向進(jìn)行相關(guān)性檢驗(yàn)，使用一元線性回歸對(duì)天氣因素氣壓和氣溫進(jìn)行分析。在中國(guó)氣象網(wǎng)站的吉安縣1980-2019年天氣數(shù)據(jù)上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明：數(shù)據(jù)集中各數(shù)據(jù)項(xiàng)不服從正態(tài)性分布，天氣當(dāng)中的氣壓與氣溫具有強(qiáng)負(fù)關(guān)聯(lián)線性關(guān)系，風(fēng)向類型與氣壓、氣溫有強(qiáng)關(guān)聯(lián)關(guān)系。

天氣分析；數(shù)據(jù)挖掘；線性回歸；Pearson相關(guān)系數(shù)；Eta相關(guān)系數(shù)

數(shù)據(jù)挖掘定義為從數(shù)據(jù)集合當(dāng)中自動(dòng)抽取隱藏在數(shù)據(jù)中的有用信息的非平凡過(guò)程，這些信息的表現(xiàn)形式為：規(guī)則、概念、規(guī)律和模式[1]。決策者可以通過(guò)數(shù)據(jù)挖掘技術(shù)來(lái)分析特定類型的歷史數(shù)據(jù)和當(dāng)前數(shù)據(jù)，并從中發(fā)掘關(guān)聯(lián)關(guān)系，預(yù)測(cè)未來(lái)可能發(fā)生行為。隨著氣象信息化程度的提高，氣象部門積累了海量的氣象數(shù)據(jù)，據(jù)有關(guān)文獻(xiàn)顯示，氣象部門每天業(yè)務(wù)的應(yīng)用的數(shù)據(jù)高達(dá)PB數(shù)量級(jí)[1]。如何利用好這些數(shù)據(jù)用以提高預(yù)報(bào)準(zhǔn)確性和災(zāi)害天氣預(yù)警能力成為重要關(guān)鍵問(wèn)題。

目前，應(yīng)用于氣象研究領(lǐng)域的數(shù)據(jù)挖掘技術(shù)主要包含兩個(gè)方面：采用數(shù)理統(tǒng)計(jì)方法如統(tǒng)計(jì)分析、相關(guān)分析方法和回歸分析在內(nèi)的統(tǒng)計(jì)學(xué)模型；采用機(jī)器學(xué)習(xí)及數(shù)值分析軟計(jì)算方法應(yīng)用于空間數(shù)據(jù)研究和氣象模式建模等[2]。

文獻(xiàn)[3]采用了C4.5分類方法、k-means聚類方法以及關(guān)聯(lián)規(guī)Apriori算法用于挖掘PM2.5與能見(jiàn)度、風(fēng)速、風(fēng)向、露點(diǎn)和濕度的相關(guān)關(guān)系。文獻(xiàn)[4]采用GIS空間分析技術(shù)及Mann-Kendall檢驗(yàn)應(yīng)用于華東區(qū)域暴雨的時(shí)空特征進(jìn)行研究得到暴雨的發(fā)生表現(xiàn)出較強(qiáng)的空間差異性。文獻(xiàn)[5]使用了數(shù)理統(tǒng)計(jì)方法用于評(píng)估干旱檢測(cè)模型構(gòu)建當(dāng)中，得出采用SVM方法用于構(gòu)建的模型對(duì)高程表現(xiàn)出較高的敏感性。文獻(xiàn)[6]選取地表溫度、大氣壓強(qiáng)等5個(gè)影響降水的氣象要素，分別采用C4.5、隨機(jī)森林對(duì)降水進(jìn)行預(yù)測(cè)。文獻(xiàn)[7]采用k-means對(duì)經(jīng)過(guò)一定規(guī)則提取的序列化特征進(jìn)行符號(hào)化，并最終得到降雨天氣預(yù)測(cè)模型。文獻(xiàn)[8]將KNN算法應(yīng)用霾等級(jí)的預(yù)報(bào)應(yīng)用當(dāng)中。文獻(xiàn)[9]利用神經(jīng)網(wǎng)絡(luò)、樸素貝葉斯、隨機(jī)森林和K -近鄰算法構(gòu)建天氣預(yù)報(bào)預(yù)測(cè)模型，并在Kaggle網(wǎng)站的天氣數(shù)據(jù)對(duì)各模型算法進(jìn)行訓(xùn)練和測(cè)試得出隨機(jī)深林算法取得最佳性能。文獻(xiàn)[10]運(yùn)用數(shù)據(jù)挖掘技術(shù)中數(shù)據(jù)預(yù)處理技術(shù)來(lái)對(duì)從加拿大政府網(wǎng)站上的爬取天氣的天氣數(shù)據(jù)和海洋表面溫度數(shù)據(jù)進(jìn)行篩選、無(wú)關(guān)數(shù)據(jù)剔除、數(shù)據(jù)歸一化等來(lái)完善數(shù)據(jù)，接著使用SPSS軟件進(jìn)行時(shí)間序列分析，以及使用三維散點(diǎn)圖和直觀圖得到溫度在地域上的變化趨勢(shì)；同時(shí)建立連續(xù)復(fù)小波變換模型來(lái)對(duì)海洋表面溫度進(jìn)行分析，得到海洋表面溫度存在周期性波動(dòng)變化。綜合以上文獻(xiàn)，可以看出，天氣數(shù)據(jù)的分析常采用數(shù)理統(tǒng)計(jì)分析、相關(guān)性分析等統(tǒng)計(jì)學(xué)模型，其中數(shù)理統(tǒng)計(jì)分析方法主要包含：散點(diǎn)圖、直方圖等頻率分析技術(shù)；相關(guān)性分析用于對(duì)數(shù)據(jù)進(jìn)行篩選，可用于對(duì)數(shù)據(jù)進(jìn)行降維，去除無(wú)關(guān)數(shù)據(jù)的影響等。若需對(duì)天氣中某個(gè)因變量隨自變量的變化則采用回歸分析、機(jī)器學(xué)習(xí)等技術(shù)來(lái)對(duì)收集到的天氣數(shù)據(jù)進(jìn)行建模分析。

本文從中國(guó)氣象網(wǎng)站上獲取了吉安市吉安縣1980年至2019年的天氣數(shù)據(jù)，利用數(shù)據(jù)挖掘技術(shù)中的相關(guān)性分析和一元線性回歸方法對(duì)該天氣數(shù)據(jù)進(jìn)行分析與實(shí)驗(yàn)并得出了一些相關(guān)結(jié)論。

1 研究方法

1.1 相關(guān)性系數(shù)

對(duì)不同數(shù)據(jù)類型之間的變量采用不同相關(guān)性分析方法，數(shù)據(jù)類型可以分為三類：標(biāo)度型(Scale)、有序型(Ordinal)和類別型(Nominal)，它們之間的定義分別為：標(biāo)度型數(shù)據(jù)為連續(xù)性的數(shù)值如身高、體重、溫度等；有序型的數(shù)據(jù)為具有高低次序的階段性離散數(shù)值如年齡、學(xué)歷等；類別型的數(shù)據(jù)為沒(méi)有高低次序和大小區(qū)分如性別、民族等。

相關(guān)性分析方法一般采用四種：卡方檢驗(yàn)，Spearman系數(shù)、Pearson系數(shù)、Eta系數(shù)。檢驗(yàn)不同類型的變量的相關(guān)性方法如表1所示。

表1 不同類型變量的相關(guān)性方法

由于本研究涉及的數(shù)據(jù)類型為類別型數(shù)據(jù)和標(biāo)度型數(shù)據(jù)，因此，接下來(lái)將只介紹Eta相關(guān)系數(shù)和Pearson相關(guān)系數(shù)。

Pearson相關(guān)系數(shù)適用于兩個(gè)連續(xù)變量的線性相關(guān)性描述，其計(jì)算方法為公式(1)。

Pearson相關(guān)系數(shù)僅僅是變量之間線性關(guān)系的一個(gè)度量，它不能用于描述非線性關(guān)系。當(dāng)|| ≥ 0.8時(shí)，可視為高度相關(guān)；0.5 ≤ || ≤ 0.8時(shí)，可視為中度相關(guān)；0.3 ≤ || ≤ 0.5時(shí)，視為低度相關(guān)；當(dāng)|| ≤ 0.3，說(shuō)明兩個(gè)變量之間的相關(guān)程度極弱，可視為不相關(guān)。

當(dāng)求取類別型變量與連續(xù)型（標(biāo)度型）變量的關(guān)聯(lián)強(qiáng)度時(shí)，可利用η(Eta)系數(shù)。其計(jì)算方法如公式(2)所示。

1.2 一元線性回歸

回歸分析當(dāng)中，線性回歸可以用來(lái)定量的分析兩種或兩種以上變量間的相互依賴關(guān)系，當(dāng)只包括一個(gè)自變量和一個(gè)因變量且二者的關(guān)系可用一條直線擬合時(shí)，稱為一元線性回歸分析。其線性方程為公式(3)。

=+（3）

其中x為自變量，y為因變量。擬合求解時(shí)采用最小二乘法，其方程為公式(4)，(5)。

2 結(jié)果

2.1 數(shù)據(jù)源

文中分析的數(shù)據(jù)集來(lái)自中國(guó)氣象網(wǎng)，收集到的為吉安市吉安縣1980年1月1日至2019年12月31日逐日天氣數(shù)據(jù)，數(shù)據(jù)條數(shù)為14609條，數(shù)據(jù)格式為表2。

表中2019年12月31日的數(shù)據(jù)表示為10237×0.1hPa = 1023.7hPa的平均氣壓，98×0.1℃ = 9.8℃的平均氣溫，38×0.1mm = 3.8mm累計(jì)一天的降水量，平均風(fēng)速為17×0.1m/s = 1.7m/s，最大風(fēng)速風(fēng)向的編碼為2。表中各列的數(shù)據(jù)類型有標(biāo)度型和類別型，其中平均氣壓，平均氣溫，20-20時(shí)累計(jì)降水量（一天累計(jì)降雨量），平均風(fēng)速為標(biāo)度型，最大風(fēng)速風(fēng)向?yàn)轭悇e型。

表2 天氣數(shù)據(jù)的原始格式

2.2 數(shù)據(jù)正態(tài)性分布檢驗(yàn)

本研究采用概率密度直方圖的形式對(duì)天氣各特征數(shù)據(jù)進(jìn)行直觀顯示，結(jié)果如圖1所示：

由圖1可得出數(shù)據(jù)集中各特征數(shù)據(jù)正態(tài)分布不明顯。因?yàn)闃颖玖看笮?4609>5000，所以采用Kolmogorov–Smirnov(K-S)檢驗(yàn)方法對(duì)以上各列天氣數(shù)據(jù)進(jìn)行進(jìn)一步正態(tài)分布檢驗(yàn)，各列數(shù)據(jù)項(xiàng)在顯著性水平為0.01的情況下，其結(jié)果如表3所示，K-S檢驗(yàn)結(jié)果表明各數(shù)據(jù)項(xiàng)均不符合正態(tài)分布。

表3 采用K-S正態(tài)性檢驗(yàn)結(jié)果

注：*代表1%的顯著性水平

結(jié)合兩種方法對(duì)數(shù)據(jù)進(jìn)行正態(tài)性檢驗(yàn)，得出平均本站氣壓、平均氣溫、一天累計(jì)降水量、平均風(fēng)速這些數(shù)據(jù)項(xiàng)均不符合正態(tài)分布的分布規(guī)律。如果樣本數(shù)據(jù)正態(tài)分布，則樣本數(shù)據(jù)大概率可以代表總體數(shù)據(jù)，樣本數(shù)據(jù)若非正態(tài)分布，則樣本數(shù)據(jù)和總體數(shù)據(jù)之間關(guān)聯(lián)弱。論文中獲取的1980-2019年的天氣樣本數(shù)據(jù)不符合正態(tài)分布，不能代替總體天氣數(shù)據(jù)規(guī)律，采用相關(guān)性分析和一元線性回歸的分析結(jié)果不作為總體預(yù)測(cè)結(jié)果。

2.3 相關(guān)性分析

針對(duì)吉安市吉安縣天氣數(shù)據(jù)進(jìn)行了相關(guān)性分析，其中平均本站氣壓、平均氣溫、20-20時(shí)累計(jì)降雨量，平均風(fēng)速各列由于是標(biāo)度型數(shù)據(jù)，因此可以采用Pearson相關(guān)系數(shù)對(duì)它們之間的線性相關(guān)性進(jìn)行分析；由最大風(fēng)速風(fēng)向?qū)儆陬悇e型數(shù)據(jù)，而其他各列數(shù)據(jù)類型為標(biāo)量型數(shù)據(jù)，因此，最大風(fēng)速風(fēng)向列與其他列相關(guān)性分析采用Eta相關(guān)系數(shù)。結(jié)果如表4和表5所示。

表4 基于Pearson系數(shù)的相關(guān)性分析結(jié)果

注：**在 0.01 級(jí)別（雙尾），相關(guān)性顯著。

表5 基于Eta系數(shù)的相關(guān)性分析結(jié)果

由表4和表5所展示的結(jié)果可以得出，平均本站氣壓與平均氣溫具有較高的負(fù)線性相關(guān)性，最大風(fēng)速的風(fēng)向分別與平均本站氣壓，平均氣溫具有較強(qiáng)相關(guān)性。

2.4 一元線性回歸分析

采用一元線性回歸方法對(duì)平均本站氣壓與平均氣溫作進(jìn)一步分析，通過(guò)數(shù)據(jù)擬合得到如圖3(a)所示線性方程y=1.02E4-0.88x，其中x為平均氣溫，y為平均本站氣壓，線性置信度R2為0.790，表明具有較高的線性擬合度。從圖3(b)所示的回歸標(biāo)準(zhǔn)化殘差的正態(tài)P-P圖和圖3(c)所示的回歸標(biāo)準(zhǔn)化殘差的散點(diǎn)圖也可以得出其擬合性好。

(a)平均本站氣壓與平均氣溫線性回歸圖；(b)回歸標(biāo)準(zhǔn)化殘差的正態(tài)P-P圖；(c)回歸標(biāo)準(zhǔn)化殘差的散點(diǎn)圖

2.5 極端天氣分析

由于天氣狀況中暴雨天氣危害極大，而在氣象部門發(fā)布的天氣預(yù)報(bào)中小雨、中雨、暴雨等專業(yè)術(shù)語(yǔ)，它們之間的區(qū)別是：小雨是指24 h內(nèi)降水量不超過(guò)10 mm的雨，小到中雨為5 ～ 16.9 mm，中雨為10 ～ 24.9 mm，中到大雨為17 ～ 37.9 mm，大雨為25 ～ 49.9 mm，大到暴雨為38 ～ 74.9 mm。24 h內(nèi)雨量超過(guò)50 mm的稱為暴雨，超過(guò)100 mm的稱為大暴雨，超過(guò)250 mm的稱為特大暴雨。我們統(tǒng)計(jì)了吉安市吉安縣降雨量> 38 mm的隨月份變化的歷史統(tǒng)計(jì)結(jié)果，結(jié)果如圖4所示，吉安市吉安縣暴雨發(fā)生頻率比較高的時(shí)段為4-6月份。

圖3 1980-2019吉安縣暴雨天氣隨月份變化的歷史統(tǒng)計(jì)

3 結(jié)論

本研究采用數(shù)據(jù)挖掘相關(guān)技術(shù)對(duì)吉安縣1980年至2019年的天氣的逐日數(shù)據(jù)進(jìn)行分析，各特征項(xiàng)不服從正態(tài)分布，吉安縣平均本站氣壓與平均氣溫具有較高的負(fù)線性相關(guān)性，最大風(fēng)速的風(fēng)向分別與平均本站氣壓、平均氣溫具有強(qiáng)相關(guān)性，吉安縣暴雨發(fā)生頻率比較高的時(shí)段為4-6月份。通過(guò)對(duì)實(shí)驗(yàn)結(jié)果的分析，有利于指導(dǎo)人們生產(chǎn)生活。

[1] 彭霞云,裘薇,李文娟,等.數(shù)據(jù)挖掘技術(shù)用于降水相態(tài)判別的嘗試[J].科技通報(bào),2018,34(1):44-47.

[2] 賈志明,王東峰,程智.數(shù)據(jù)挖掘技術(shù)在氣象預(yù)報(bào)研究中的應(yīng)用[J].黑龍江科學(xué),2020,11(8):34-35.

[3] 危蓉,徐偉.基于大數(shù)據(jù)的天氣狀況研究[J].信息通信,2015(12):122-123.

[4] 婁寧.基于時(shí)空數(shù)據(jù)挖掘技術(shù)的華東區(qū)域暴雨時(shí)空特征[J].應(yīng)用生態(tài)學(xué)報(bào),2017,28(12):4043-4050.

[5] 張婧嫻,沈潤(rùn)平,郭佳.不同數(shù)據(jù)挖掘方法在綜合干旱監(jiān)測(cè)模型構(gòu)建中的應(yīng)用研究[J].江西農(nóng)業(yè)大學(xué)學(xué)報(bào),2017, 39(5):1047-1056.

[6] 張佳華,姚宜斌,曹娜.基于決策樹(shù)對(duì)有無(wú)降水進(jìn)行預(yù)測(cè)[J].測(cè)繪地理信息,2017,42(5):107-109.

[7] 陳曉云,吳本昌,韓海濤.基于多維時(shí)間序列挖掘的降雨天氣模型研究[J].計(jì)算機(jī)工程與設(shè)計(jì),2010,31(4):898-902.

[8] 熊亞軍,廖曉農(nóng),李梓銘,等.KNN數(shù)據(jù)挖掘算法在北京地區(qū)霾等級(jí)預(yù)報(bào)中的應(yīng)用[J].氣象,2015,41(1):98-104.

[9] Fairoz Q Kareem,Adnan Mohsin Abdulazeez,Dathar A Hasan. Predicting weather forecasting state based on data mining classification algorithms[J]. Asian Journal of Research in Computer Science,2021.

[10] 陳波,姬家昌,多俊杰.關(guān)于全球氣候變化和極端天氣數(shù)據(jù)的量化分析[J].科學(xué)技術(shù)創(chuàng)新,2020(24):56-57.

RESEARCH ON WEATHER FACTORS BASED ON DATA MINING – TAKING JI’AN AS AN EXAMPLE

WU Yu-chun，*ZENG Huan，LI Jin-zhong，YANG Zhi，LIU Hua

（School of Electronics and Information Engineering, Jinggangshan University, Ji’an, Jiangxi 343009, China）

This paper proposed to use data mining technology to explore the correlation among weather factors. Pearson correlation coefficient and Eta correlation coefficient tests were performed on daily data of rainfall, air pressure, air temperature, wind speed and wind direction. The linear equation was used to fit the air pressure and air temperature with high correlation. Experiments were carried out on the weather data of Ji’an city from China meteorological website. The experimental results showed that Pearson correlation coefficient analysis suggested air pressure was strongly negative correlated with air temperature, but Eta correlation coefficient analysis suggested wind direction type is strongly correlated with air pressure and air temperature.

data mining; weather analysis; linear regression; Pearson correlation coefficient; Eta correlation coefficient

TP311.13

A

10.3969/j.issn.1674-8085.2022.06.011

1674-8085（2022）06-0071-05

2022-05-19；

2022-06-24

國(guó)家自然科學(xué)基金項(xiàng)目(62141203)；江西省教育廳科技計(jì)劃項(xiàng)目(GJJ180574)；吉安市指導(dǎo)性科技計(jì)劃項(xiàng)目(吉市科計(jì)字2021[8]號(hào)基礎(chǔ)11)；井岡山大學(xué)科研基金項(xiàng)目(JZ2004)

吳玉春(1975-)，女，江西吉安人，高級(jí)實(shí)驗(yàn)師，碩士，主要從事數(shù)據(jù)挖掘研究(E-mail:1322391726@qq.com)；

*曾 寰(1990-)，男，江西吉安人，實(shí)驗(yàn)師，碩士，主要從事數(shù)據(jù)挖掘研究(E-mail:584251395@qq.com).