卿 楓 周 林 王芋欽 劉玉婷

（西華大學(xué) 電氣與電子信息學(xué)院，四川 成都 610039）

1 問(wèn)題背景和重述

1.1 問(wèn)題背景

由于美國(guó)總統(tǒng)大選是每四年舉行一次。在2020年也會(huì)有美國(guó)大選，這次的美國(guó)大選候選人是特朗普和拜登，他們分別是共和黨和民主黨的代表人。兩人分別在金融貿(mào)易，經(jīng)濟(jì)金融治理還有一些其他的發(fā)展領(lǐng)域，例如對(duì)于新冠病毒的措施、基礎(chǔ)設(shè)施的建設(shè)、稅收、環(huán)境保護(hù)、醫(yī)療保險(xiǎn)、就業(yè)、貿(mào)易、移民和教育等。他們?cè)趯?duì)這些方面的問(wèn)題處理上都有著不同的立場(chǎng)，同時(shí)他們?cè)谔幚磉@些問(wèn)題也有不同的行政綱領(lǐng)和政治立場(chǎng)。無(wú)論是特朗普還是拜登當(dāng)選都會(huì)對(duì)美國(guó)的經(jīng)濟(jì)發(fā)展以及全球經(jīng)濟(jì)金融發(fā)展形成新的并且是不同的戰(zhàn)略格局。不同的候選人當(dāng)選會(huì)對(duì)美國(guó)有著不同的影響，那么到底會(huì)產(chǎn)生怎么樣的影響呢？而中國(guó)又應(yīng)該如何去應(yīng)對(duì)這些問(wèn)題呢？

1.2 開(kāi)放的問(wèn)題

1.建立數(shù)學(xué)模型，利用相關(guān)數(shù)據(jù)定量分析不同候選人當(dāng)選對(duì)美國(guó)經(jīng)濟(jì)可能產(chǎn)生的影響。（您可以選擇一個(gè)或者多個(gè)字段分別回答此問(wèn)題或給出一個(gè)全面的答案）

2.建立數(shù)學(xué)模型，利用相關(guān)數(shù)據(jù)定量分析不同候選人當(dāng)選對(duì)中國(guó)經(jīng)濟(jì)可能產(chǎn)生的影響。（您可以選擇一個(gè)或者多個(gè)字段分別回答此問(wèn)題或給出一個(gè)全面的答案）

3.假設(shè)你是中國(guó)經(jīng)濟(jì)發(fā)展智庫(kù)的成員，結(jié)合問(wèn)題1和問(wèn)題2的數(shù)學(xué)模型，在這兩種情況下（哪一方獲勝），你會(huì)對(duì)中國(guó)在相關(guān)領(lǐng)域的經(jīng)濟(jì)對(duì)策和政策提出什么建議？請(qǐng)具體說(shuō)明你的觀(guān)點(diǎn)。

2 問(wèn)題分析

2.1 問(wèn)題分析一

首先，問(wèn)題一我們認(rèn)為拜登和特朗普的政策會(huì)取決于他們背后的兩個(gè)黨派的想法，而黨派會(huì)以之前的方法繼續(xù)施行，所以我們打算將之前兩個(gè)黨派分別執(zhí)政的時(shí)候美國(guó)的數(shù)據(jù)提取出來(lái)，分成兩個(gè)數(shù)據(jù)集，一個(gè)是共和黨執(zhí)政期間的數(shù)據(jù)，一個(gè)是民主黨執(zhí)政期間的數(shù)據(jù)。例如基礎(chǔ)設(shè)施建設(shè)，人均GDP，就業(yè)情況等幾十個(gè)數(shù)據(jù)集，經(jīng)過(guò)團(tuán)隊(duì)的考量與篩選得到了十個(gè)數(shù)據(jù)集，并且對(duì)這十個(gè)數(shù)據(jù)集進(jìn)行數(shù)據(jù)預(yù)處理，數(shù)據(jù)預(yù)處理之后得到的清洗后的數(shù)據(jù)，再將這十個(gè)數(shù)據(jù)集放入到因子分析模型，得到落石圖，并且找到其中的拐點(diǎn)，也就是那幾個(gè)主要影響美國(guó)經(jīng)濟(jì)的因子，得到這幾個(gè)因子過(guò)后，我們就可以將其放入我們寫(xiě)好的幾個(gè)機(jī)器學(xué)習(xí)算法和神經(jīng)網(wǎng)絡(luò)模型，得到最后的預(yù)測(cè)數(shù)據(jù)，取其中最優(yōu)的一個(gè)模型的預(yù)測(cè)值，并且分析這樣的預(yù)測(cè)值會(huì)對(duì)美國(guó)的經(jīng)濟(jì)產(chǎn)生什么樣的影響。[1]

2.2 問(wèn)題分析二

對(duì)于問(wèn)題二來(lái)說(shuō)，我們將會(huì)獲取新的數(shù)據(jù)集，例如分別收集在共和黨和民主黨兩黨執(zhí)政期間的中美貿(mào)易量，中國(guó)出口貿(mào)易量，中國(guó)進(jìn)口貿(mào)易量，中國(guó)稅收等，并且清洗整理數(shù)據(jù)內(nèi)容，得到一份完整的數(shù)據(jù)集，將這份數(shù)據(jù)集放入到SVR中，得到新的預(yù)測(cè)值，再利用這個(gè)預(yù)測(cè)值預(yù)測(cè)兩個(gè)候選人分別會(huì)對(duì)中國(guó)的經(jīng)濟(jì)影響，而兩個(gè)黨派也就是分別代表了拜登與特朗普所會(huì)實(shí)行的政策。

2.3 問(wèn)題分析三

對(duì)于問(wèn)題三來(lái)說(shuō)，我們會(huì)將之前所得到的影響美國(guó)經(jīng)濟(jì)幾個(gè)主要因子中最后的預(yù)測(cè)數(shù)據(jù)提取出來(lái)，并且這幾個(gè)數(shù)據(jù)分別乘以他們的因子系數(shù)，而這個(gè)值就是我們最后所得到的解，因?yàn)槲覀兛梢酝ㄟ^(guò)這個(gè)值來(lái)判斷究竟兩個(gè)黨派也就是兩個(gè)候選人所做的事情誰(shuí)會(huì)影響經(jīng)濟(jì)正發(fā)展的更多，或者誰(shuí)會(huì)導(dǎo)致經(jīng)濟(jì)回退也就得到了兩黨后面會(huì)對(duì)美國(guó)造成的影響，并且選擇這個(gè)數(shù)據(jù)大的一位，還有一個(gè)問(wèn)題是對(duì)中國(guó)的相關(guān)經(jīng)濟(jì)提出的問(wèn)題，在我看來(lái)，我認(rèn)為中國(guó)的相關(guān)領(lǐng)域的經(jīng)濟(jì)對(duì)策是應(yīng)當(dāng)實(shí)行反制措施，將中國(guó)的教育和醫(yī)療水平，公共設(shè)施等數(shù)據(jù)與美國(guó)的人均GDP做一個(gè)分析，將其相關(guān)性為負(fù)相和相關(guān)性較小的因子提出來(lái)，中國(guó)則需要大量的提升這些方面的能力就可以了。[2]

3 模型假設(shè)

（1）假設(shè)從網(wǎng)上獲得的數(shù)據(jù)都是真實(shí)可實(shí)用的。

（2）假設(shè)主要因素是相互獨(dú)立的，并且不會(huì)互相影響。

（3）假設(shè)兩個(gè)黨派中仍然會(huì)堅(jiān)持自己的政策方針。

（4）假設(shè)沒(méi)有其他特定的因素影響美國(guó)大選。

（5）假設(shè)其他候選人被選上的可能性遠(yuǎn)低于題中所給兩位候選人。

4 建立模型并且解決問(wèn)題一

4.1 數(shù)據(jù)預(yù)處理

為了收集美國(guó)相關(guān)的數(shù)據(jù)，我們?cè)诤芏鄶?shù)據(jù)庫(kù)上進(jìn)行搜尋，得到了下列的一百多個(gè)數(shù)據(jù)集，為了滿(mǎn)足本題所要求的情況，我們將其數(shù)據(jù)按時(shí)間分成共和黨執(zhí)政和民主黨執(zhí)政期間進(jìn)行處理。

并且我們利用了python對(duì)其進(jìn)行數(shù)據(jù)預(yù)處理，包括在可以用每列的平均值的插入填補(bǔ)空值，重復(fù)值的刪除、異常值使用3σ原則，最終得到的干凈整潔的數(shù)據(jù)。

最終經(jīng)過(guò)我們的考慮與斟酌，我們留下了九列數(shù)據(jù)用于相關(guān)性分析。

4.2 相關(guān)性分析模型的建立

相關(guān)性分析python實(shí)現(xiàn)。將所有共和黨的數(shù)據(jù)代入python中的相關(guān)性分析模型得出其熱力圖。將所有民主黨的數(shù)據(jù)代入python中的因子分析模型得出其熱力圖。并且最終將其相關(guān)性提出。最終得出影響美國(guó)經(jīng)濟(jì)較大的幾個(gè)數(shù)據(jù)為進(jìn)出口貿(mào)易量、教育人口數(shù)、可替代核能和保險(xiǎn)服務(wù)等。

4.3 BP神經(jīng)網(wǎng)絡(luò)模型的建立

4.3.1 BP神經(jīng)網(wǎng)絡(luò)的基本原理

BP神經(jīng)網(wǎng)絡(luò)即為BackproPagation的縮寫(xiě)，即反向傳播的意思，正向傳播時(shí)，輸入樣本從輸入層傳入，經(jīng)過(guò)各個(gè)隱層逐層處理后,傳向輸出層。

4.3.2 BP神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)

BP神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)如圖1所示。

圖1 BP神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)圖

4.3.3 BP神經(jīng)網(wǎng)絡(luò)的傳遞函數(shù)

我們?cè)谶@里的BP神經(jīng)網(wǎng)絡(luò)用的傳遞函數(shù)是非線(xiàn)性變換函數(shù)——Sigmoid函數(shù)。因?yàn)楹瘮?shù)本身及其導(dǎo)數(shù)都是連續(xù)的，所以非常好處理，并且也較為容易上手：

4.3.4 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法

將以上誤差定義式展開(kāi)至隱層，有：

進(jìn)一步展開(kāi)至輸入層，有：

顯然，調(diào)整權(quán)值的原則是使誤差不斷減小，因此應(yīng)使權(quán)值與誤差的梯度下降成正比，即：

對(duì)于一般多層感知器，設(shè)共有h個(gè)隱層，各個(gè)點(diǎn)分別命名為m1，m2，…mh，

各個(gè)隱藏層輸出分別命名為y1，y2，y3，…yh，矩陣命名為為w1，w2，…wh，wh+1輸出層：

第h隱層：

按以上規(guī)律逐層類(lèi)推，則第一層隱藏權(quán)值調(diào)整公式

容易看出，BP神經(jīng)算法中，權(quán)值的調(diào)整公式均由這幾個(gè)東西決定，即：學(xué)習(xí)率，本層輸出的誤差信號(hào)，本層輸入信號(hào)X（或Y）。

4.3.5 BP神經(jīng)網(wǎng)絡(luò)前向傳輸

我們需要將權(quán)重和偏置隨機(jī)初始化，并且對(duì)每一個(gè)權(quán)重取[-1,1]隨機(jī)的實(shí)數(shù)，每一個(gè)偏置同樣也取[0,1]實(shí)數(shù)，之后就可以前向傳輸?shù)倪\(yùn)作。

4.3.6 BP神經(jīng)網(wǎng)絡(luò)的python實(shí)現(xiàn)

本次的我們選擇python實(shí)現(xiàn)BP神經(jīng)網(wǎng)絡(luò)是因?yàn)閜ython作為一門(mén)開(kāi)源編程語(yǔ)言，在里面有比較友好的庫(kù)，例如pandas庫(kù)可以提供高性能的分析工具，而shuffle則可以隨機(jī)打亂工具，將原有序列打亂，返回一個(gè)全新的順序錯(cuò)亂的值。

這次的BP神經(jīng)網(wǎng)絡(luò)的效果非常的差，因?yàn)閿?shù)據(jù)量過(guò)少，所以導(dǎo)致了過(guò)擬合的狀態(tài)，但是所幸我們?nèi)匀贿€有其他的選擇，BP神經(jīng)網(wǎng)絡(luò)只是我們的一種選擇，接下來(lái)我們將會(huì)介紹我們其他的模型。

4.4 SVR模型的建立

4.4.1 SVR模型的支持向量回歸

給定訓(xùn)練樣本如下：

SVR問(wèn)題可形式化為:

實(shí)際中常常采用一種更棒的方法，迭取多個(gè)滿(mǎn)足條件0<αi

若考慮特征映射形式，則：

4.4.2 利用SVR模型的支持向量回歸求解

最終得到的預(yù)測(cè)值如圖2，圖3所示：

圖2 民主黨的預(yù)測(cè)值與準(zhǔn)確值

圖3 共和黨的預(yù)測(cè)值與準(zhǔn)確值

最終我們得到使用SVR模型中的三種方法，線(xiàn)性、核、徑向得出了它的準(zhǔn)確率，最終線(xiàn)性的預(yù)測(cè)效果最高可以達(dá)到97.79%，分別為如圖4。

圖4 SVR模型線(xiàn)性預(yù)測(cè)準(zhǔn)確率

所以使用線(xiàn)性模型進(jìn)行預(yù)測(cè)得到的效果是不錯(cuò)的。

4.5 決策樹(shù)，模型的建立

4.5.1 決策樹(shù)的原理

決策樹(shù)（Decision Tree）是一種基本的分類(lèi)與回歸方法，分類(lèi)樹(shù)是決策樹(shù)在分類(lèi)時(shí)的稱(chēng)呼，回歸樹(shù)是用于回歸時(shí)的稱(chēng)呼。本文主要討論決策樹(shù)中的分類(lèi)樹(shù)與回歸樹(shù)的一些基本理論，后續(xù)文章會(huì)繼續(xù)討論決策樹(shù)的Boosting和Bagging相關(guān)方法。[5]

4.5.2 利用決策樹(shù)解決預(yù)測(cè)問(wèn)題

先假設(shè)給定的數(shù)據(jù)集為：

決策樹(shù)學(xué)習(xí)是由訓(xùn)練數(shù)據(jù)集估計(jì)條件概率模型?；谔卣骺臻g劃分的類(lèi)的條件概率模型有無(wú)窮多個(gè)，所以我們就可以根據(jù)這個(gè)方案對(duì)我們的數(shù)據(jù)進(jìn)行預(yù)測(cè)。

決策樹(shù)學(xué)習(xí)算法包含特征選擇、決策樹(shù)的生成與決策樹(shù)的剪枝過(guò)程。

建立回歸樹(shù)的過(guò)程大致可以分為兩步：

（1）將預(yù)測(cè)變量空間(X1,X2,X3,...XP)的可能取值構(gòu)成的集合分割成J個(gè)互不重疊的區(qū)域{R1,R2,R3,...,Rj}；

（2）對(duì)落入?yún)^(qū)域Rj的每個(gè)觀(guān)測(cè)值做同樣的預(yù)測(cè)，預(yù)測(cè)值等于Rj上訓(xùn)練集的各個(gè)樣本取值的算術(shù)平均數(shù)。

比如在第一步中得到兩個(gè)區(qū)域R1和R2，R1中訓(xùn)練集的各個(gè)樣本平均數(shù)為10，R2中訓(xùn)練集的各個(gè)樣本取值的算術(shù)平均數(shù)為20，則對(duì)給定的觀(guān)測(cè)值X=x，若x∈R1，給出的預(yù)測(cè)值為10，若x∈R2，則預(yù)測(cè)值為20。

類(lèi)似于上述決策樹(shù)分類(lèi)算法的第（10）步，關(guān)鍵在于如何構(gòu)建區(qū)域劃分{R1,R1,R1,...,Rj}。事實(shí)上，區(qū)域的形狀是可以為任意形狀的，但出于模型簡(jiǎn)化和增強(qiáng)可解釋性的考慮，這里將預(yù)測(cè)變量空間劃分成高維矩形，我們稱(chēng)這些區(qū)域?yàn)榉Q(chēng)盒子。RSS的定義為：

在執(zhí)行遞歸二又分裂時(shí)，先選擇預(yù)測(cè)變量Xj和分割點(diǎn)s，將預(yù)測(cè)變量空間分為兩個(gè)區(qū)域{X|Xj＜s}和{X|Xj≥s}，使RSS盡可能地減小。也就是說(shuō)，考慮所有預(yù)測(cè)變量X1,X2,X3,...Xp和與每個(gè)預(yù)測(cè)變量對(duì)應(yīng)的s的取值，然后選擇預(yù)測(cè)變量和分割點(diǎn)，使構(gòu)造出的樹(shù)具有最小的RSS。更詳細(xì)地，對(duì)j和s，定義一對(duì)半平面：

重復(fù)上述步驟，尋找繼續(xù)分割數(shù)據(jù)集的最優(yōu)預(yù)測(cè)變量和最優(yōu)分割點(diǎn)，使隨之產(chǎn)生的區(qū)域中的RSS達(dá)到最小。此時(shí)被分割的不再是整個(gè)預(yù)測(cè)變量空間，而是之前確定的兩個(gè)區(qū)域之一。如此一來(lái)就能得到3個(gè)區(qū)域。接著進(jìn)一步分割3個(gè)區(qū)域之一以最小化RSS。這一過(guò)程不斷持續(xù)，直到符合某個(gè)停止準(zhǔn)則，如我們?cè)诜诸?lèi)決策樹(shù)中討論到的前剪枝中的停止準(zhǔn)則。[6]

區(qū)域{R1,R1,R1,...,Rj}產(chǎn)生后，就可以確定某一給定的測(cè)試數(shù)據(jù)所屬的區(qū)域，并用這一區(qū)域訓(xùn)練集的各個(gè)樣本取值的算術(shù)平均數(shù)作為與測(cè)試進(jìn)行預(yù)測(cè)。

上述方法生成的回歸樹(shù)會(huì)在訓(xùn)練集中取得良好的預(yù)測(cè)效果，卻很有可能造成數(shù)據(jù)的過(guò)擬合，導(dǎo)致在測(cè)試集上效果不佳。原因在于這種方法產(chǎn)生的樹(shù)可能過(guò)于復(fù)雜。一棵分裂點(diǎn)更少、規(guī)模更?。▍^(qū)域{R1,R2,R3,...,Rj}的個(gè)數(shù)更少）的樹(shù)會(huì)有更小的方差和更好的可解釋性（以增加微小偏差為代價(jià)）。針對(duì)上述問(wèn)題，一種可能的解決辦法是：僅當(dāng)分裂使殘差平方和RSS的減小量超過(guò)某閥值時(shí)，才分裂樹(shù)結(jié)點(diǎn)。這種策略能生成較小的樹(shù)，但可能產(chǎn)生過(guò)于短視的問(wèn)題，一些起初看來(lái)不值得的分裂卻可能之后產(chǎn)生非常好的分裂。也就是說(shuō)在下一步中，RSS會(huì)大幅減小。

因此，更好的策略是生成一棵很大的樹(shù)T0然后通過(guò)后剪枝得到子樹(shù)。

4.5.3 決策樹(shù)的回歸預(yù)測(cè)算法

1.利用遞歸二叉分裂在訓(xùn)練集中生成一額大樹(shù)，只有當(dāng)終端結(jié)點(diǎn)包含的觀(guān)測(cè)值個(gè)數(shù)低于某個(gè)最小值時(shí)才停止。

2.對(duì)大樹(shù)進(jìn)行代價(jià)復(fù)雜性剪枝，得到一系列最優(yōu)子樹(shù)，子樹(shù)是α的函數(shù)。

3.利用K折交叉驗(yàn)誕選擇α。具體做法是將訓(xùn)練集分為K折。對(duì)所有k=1,2,3,...，對(duì)訓(xùn)練集上所有不屬于第k折的數(shù)據(jù)重復(fù)第(1)步～第(2)步得到與α對(duì)應(yīng)的子樹(shù)，并求出上述子樹(shù)在第k折上的均方預(yù)測(cè)誤差。

4.每個(gè)α?xí)邢鄳?yīng)的K個(gè)均方預(yù)測(cè)誤差，對(duì)這K個(gè)值求平均，選出使平均誤差最小的α。

5.找出選定的α在第（2）步中對(duì)應(yīng)的子樹(shù)。

4.5.4 利用python實(shí)現(xiàn)決策樹(shù)算法

最終我們得到了決策樹(shù)對(duì)兩黨的預(yù)測(cè)準(zhǔn)確率分別為66%和59%，如圖5、圖6所示，所以這個(gè)模型也不是特別理想。

圖5 共和黨預(yù)測(cè)值

圖6 民主黨預(yù)測(cè)值

4.6 最終模型對(duì)本題的求解

最終通過(guò)比較三個(gè)模型我們選擇了SVR模型進(jìn)行預(yù)測(cè)，因?yàn)樗臏?zhǔn)確率達(dá)到了97.79%，并且我們將之前的數(shù)據(jù)輸入得到了兩黨分別在執(zhí)政后美國(guó)的經(jīng)濟(jì)增長(zhǎng)情況。

5 模型的優(yōu)化

本次的bp神經(jīng)網(wǎng)絡(luò)最終得到的效果不是很好，若是數(shù)據(jù)能夠多一些，那么我們便能夠預(yù)測(cè)得到較為準(zhǔn)確的數(shù)據(jù)。

在后來(lái)我們仔細(xì)的思考了自己的模型,我們認(rèn)為這次的數(shù)據(jù)量其實(shí)可以使用機(jī)器學(xué)習(xí)中的隨機(jī)森林，再通過(guò)對(duì)每個(gè)模型的特點(diǎn)進(jìn)行基于A(yíng)daBoost的融合，生成一個(gè)融合模型，最終可以用融合模型去預(yù)測(cè)得到最后的數(shù)據(jù)，這樣可以將準(zhǔn)確率再次向上提升幾個(gè)百分比。