徐晉輝,馮 菁
(淮北職業(yè)技術(shù)學(xué)院基礎(chǔ)部,安徽淮北 235000)
ID3算法在證券投資中的應(yīng)用研究
徐晉輝,馮 菁
(淮北職業(yè)技術(shù)學(xué)院基礎(chǔ)部,安徽淮北 235000)
決策樹是數(shù)據(jù)挖掘中簡單常用的分類算法,它是一種以實(shí)例為基礎(chǔ)的歸納學(xué)習(xí)算法,來發(fā)現(xiàn)數(shù)據(jù)模式和規(guī)則[1,2]。根據(jù)ID3算法,對股指期貨自然人投資者數(shù)據(jù)樣本進(jìn)行分析,獲得不同屬性上的信息增益,最后生成決策樹,可將此樹轉(zhuǎn)換成一個(gè)if-then規(guī)則的集合,并找到數(shù)據(jù)建模的規(guī)律和模式,提取有價(jià)值的信息,為證券公司擴(kuò)展業(yè)務(wù),增加客戶,規(guī)避風(fēng)險(xiǎn)做出科學(xué)的決策支持。
數(shù)據(jù)挖掘;教學(xué)質(zhì)量評價(jià);ID3算法;決策樹
我國證券業(yè)經(jīng)過二十多年的發(fā)展,已經(jīng)成企業(yè)融資的重要渠道。各證券公司為了擴(kuò)展業(yè)務(wù),吸引客戶,紛紛采取各種措施,加強(qiáng)對客戶的管理。利用ID3算法來分析個(gè)人投資者相關(guān)資料,不僅簡單、快捷,而且可以有效地規(guī)避來自個(gè)人投資者財(cái)務(wù)狀況、誠信狀況方面的風(fēng)險(xiǎn)。
2.1 數(shù)據(jù)挖掘(Data Mining)的定義
隨著計(jì)算機(jī)數(shù)據(jù)庫管理應(yīng)用的普及和MIS的廣泛應(yīng)用,對數(shù)據(jù)庫中記錄進(jìn)行簡單查詢存取,已遠(yuǎn)不能滿足應(yīng)用,人們要從大量記錄信息中找尋出隱藏在背后的重要信息,如關(guān)于這些數(shù)據(jù)的整體特征描述及預(yù)測其發(fā)展趨勢[3]。
數(shù)據(jù)挖掘,簡單地說就是從大量的數(shù)據(jù)中挖掘出人們所需,有用的知識。在龐大的沒有進(jìn)行過處理的數(shù)據(jù)中,提取隱藏在內(nèi)的、人們沒有發(fā)現(xiàn)的、但又是潛在有用的信息和知識的過程[3,4,5,6]。人工智能領(lǐng)域稱為知識發(fā)現(xiàn),而數(shù)據(jù)庫領(lǐng)域則稱為數(shù)據(jù)挖掘[3]。
2.2 決策樹方法
決策樹是數(shù)據(jù)挖掘中的一種分類算法,它是一種以實(shí)例為基礎(chǔ)的歸納學(xué)習(xí)算法[2],針對一些看似無序列,無規(guī)則,無關(guān)聯(lián)的數(shù)據(jù)集合,從中分析,獲取有價(jià)值的分類規(guī)則,并由決策樹直觀表示,樹中路徑則代表了一定的規(guī)則和結(jié)果。算法生成的決策樹中每個(gè)分支或路徑表示決策規(guī)則集合,這些規(guī)則是通過先前的大量數(shù)據(jù)集分類發(fā)現(xiàn)的規(guī)則,樹分支上的每個(gè)節(jié)點(diǎn)代表數(shù)據(jù)記錄上的某個(gè)屬性的取值,葉子結(jié)點(diǎn)代表一個(gè)類別。樹的每一個(gè)分支或路徑則代表了測試的一個(gè)結(jié)果。在建樹的過程中,需要使用剪枝來剪去數(shù)據(jù)中的噪聲和孤立點(diǎn)[7],從而提高在未知數(shù)據(jù)上分類的準(zhǔn)確性。常用的決策樹算法有ID3、C4.5、CART[1,4,8]等。
樹的生成算法(ID3)
設(shè)S是s個(gè)數(shù)據(jù)樣本的集合,假定決策屬性,具有m個(gè)不同的值,即表示有m個(gè)不同類別Ci,(i={1,…,m}),si是類Ci中的樣本數(shù)。對一個(gè)樣本分類的期望信息可由下面公式1給出:
如果以屬性A作為決策樹的根,屬性A具有v個(gè)不同值{a1,a2,a3,…av},它將S分成v個(gè)子集{S1,S2,…Sv},其中Sj包含S中這樣一些樣本,它們在A上具有值aj。則這些子集對應(yīng)于由包含集合S的節(jié)點(diǎn)生長出來的分枝。對于給定的子集Sj,有公式2:
熵值越小,子集劃分的純度越高。在屬性A上分枝將獲得的信息增益公式4:
ID3選擇Gain(A)最大的屬性A作為分枝屬性,各分支集合遞歸使用ID3方法再建立決策樹結(jié)點(diǎn)和分支[2,10],直到某一分支子集中的例子屬于同一類。這種方法使生成的決策樹平均深度最小,能夠較快生成一棵決策樹。
股指期貨在2010年1月8日獲得國務(wù)院的審批。是一種以股票價(jià)格指數(shù)作為標(biāo)的物的金融期貨合約。股指期貨是一種把股票與期貨兩種產(chǎn)品屬性結(jié)合在一起的新型投資產(chǎn)品。在國際市場上已經(jīng)有20年的發(fā)展歷史。投資者不妨把它理解成股票指數(shù)的一種新的交易方式。中國股市一向只能做多,不能做空[11]。也就是說,我們只能巴望著股票上漲,才能賺錢。于是,漲的時(shí)候大家瘋買,跌的時(shí)候大家狂賣。而股指期貨呢,既能買空,也能賣空。簡而言之,如果預(yù)期未來價(jià)格下跌,將手中借來的股票按目前價(jià)格賣出,待行情跌后再按照合約價(jià)格買進(jìn),歸還給股票借出方。反之如果看漲,亦可以按照目前價(jià)格借入股票,等漲價(jià)了再賣出去,兩種方法都能賺取差價(jià)。
4.1 股指期貨自然人投資者綜合評價(jià)表
股指期貨投資設(shè)置了一個(gè)準(zhǔn)入門檻,股指期貨比股票的風(fēng)險(xiǎn)還大。問題是得考慮自己是否輸?shù)闷?,并且不存在?yán)重不良誠信記錄。中金所(中國金融期貨交易所)推出的首只期指將是滬深300股指期貨,即選取滬深,規(guī)模大,流動性強(qiáng)的最具代表性的300只成份股作為編制對象。
各個(gè)證券公司為擴(kuò)展業(yè)務(wù),增加客戶,也要進(jìn)行必需的綜合評價(jià)。
表中大致要求如下:綜合評估滿分為100分。
評估專員應(yīng)堅(jiān)持“客觀全面、審慎嚴(yán)謹(jǐn)、明確責(zé)任”的原則對每位投資者進(jìn)行評估。認(rèn)真填寫《股指期貨自然人投資者適當(dāng)性綜合評估表》,不得為綜合評估得分在70分以下的投資者申請開立股指期貨交易編碼。
4.2 數(shù)據(jù)收集及預(yù)處理
4.2.1 數(shù)據(jù)收集
我們收集了五十條記錄,并按要求打好分?jǐn)?shù),給出評價(jià)結(jié)果,存放Access數(shù)據(jù)庫中。
為了把問題簡單化,把年齡學(xué)歷作為一個(gè)字段,還有投資經(jīng)歷字段,財(cái)務(wù)狀況字段,誠信狀況字段,評價(jià)結(jié)果。
4.2.2 數(shù)據(jù)預(yù)處理
建立決策樹時(shí)考慮表中年齡學(xué)歷,投資經(jīng)歷,財(cái)務(wù)狀況,誠信狀況等屬性(字段)對總體結(jié)果的影響,提取的五十條數(shù)據(jù)。在分析表中發(fā)現(xiàn),表中數(shù)據(jù)有些是連續(xù)數(shù)值,不便于直接分類,首先將這些連續(xù)值進(jìn)行“離散化”,
如年齡與學(xué)歷屬性,劃分兩個(gè)等級,高(>=10),低(<10分)。
投資經(jīng)歷劃分兩個(gè)等級低(<=10),高(>10分)。
財(cái)務(wù)狀況分為低(分值<20),中(分值在20與40之間),高(50分)。
誠信狀況為良好(>=10),低(<10分)。
4.3 ID3算法實(shí)現(xiàn)
對所有屬性進(jìn)行信息增益計(jì)算,先計(jì)算該樣本對于評價(jià)結(jié)果類別屬性的期望信息。
分析表中數(shù)據(jù),其中結(jié)果為“是”,“否”人數(shù)各為26,24。則有:
I(26,24)=(26/50)*log2(26/50)0.99885
計(jì)算每個(gè)屬性的條件信息熵與信息增益。
財(cái)務(wù)狀況得分<20的客戶,是否人數(shù)分別為0,12,
財(cái)務(wù)狀況得分在20~40之間,是否人數(shù)分別為23,11
財(cái)務(wù)狀況得分在50的,是否人數(shù)分別為3,1。
H(財(cái)務(wù)狀況)=12/50*I(12,0)+34/50*I(23,11)+4/50*I(3,1)=0.6824648
同樣求出:H(學(xué)歷年齡)=0.9263218;H(投資經(jīng)歷)=0.92366
H(誠信狀況)=0.90867。
它們的信息增益分別為:Gain(財(cái)務(wù)狀況)=0.3163852;Gain(投資經(jīng)歷)=0.07519;
Gain(學(xué)歷年齡)=0.07253;Gain(誠信狀況)=0.090175。
因?yàn)樨?cái)務(wù)狀況的信息增益最大,先按財(cái)務(wù)狀況進(jìn)行分類。
如圖1:根結(jié)點(diǎn)
圖1 根結(jié)點(diǎn)
財(cái)務(wù)狀況為“低”中的例子屬同類“否”,得出此子樹已是葉子結(jié)點(diǎn),不用在劃分。
以財(cái)務(wù)狀況為“中”,“高”這兩個(gè)分枝繼續(xù)ID3算法,計(jì)算年齡學(xué)歷屬性值為”>=10”,“<10”中,類別屬性為“是”,“否”的條件熵的計(jì)算。
I(23,8)=0.82381
I(3,0)=0,H(學(xué)歷年齡)=0.75112Gain(學(xué)歷年齡)=0.07269
投資狀況為高,低,類別屬性為“是”,“否”的條件熵的計(jì)算。
I(18,3)=0.59167
I(5,8)=0.96124,H(投資)=0.73297Gain(投資狀況)=0.09084
相對于誠信狀況屬性,I(23,9)=0.85715,I(0,2)=0
H(誠信狀況)=0.80673Gain(誠信狀況)=0.01708
對于每一棵子樹,按照以上方法進(jìn)行遞歸計(jì)算,最后得出的決策樹如圖2所示。
圖2 最終生成決策樹
為了增加決策樹的可讀性及可理解性,需要對決策樹進(jìn)行修剪。我們設(shè)計(jì)一個(gè)允許最大誤差率,得到一棵經(jīng)過剪枝后的決策樹。
根據(jù)決策樹提取分類規(guī)則。這五十個(gè)樣本生成的分類規(guī)則如下:
1.If財(cái)務(wù)狀況得分為低then評價(jià)結(jié)果為否
2.If(財(cái)務(wù)狀況得分為高and誠信為良好)then評價(jià)結(jié)果為是
3.If(財(cái)務(wù)狀況得分為高and誠信為低)then評價(jià)結(jié)果為否
4.If(財(cái)務(wù)狀況得分為中and投資經(jīng)歷為高and誠信為高)then評價(jià)結(jié)果為是
5.If(財(cái)務(wù)狀況得分為中and投資經(jīng)歷為高and誠信為低)then評價(jià)結(jié)果為否
6.If(財(cái)務(wù)狀況得分為中and投資經(jīng)歷為低and學(xué)年為低)then評價(jià)結(jié)果為否
7.If(財(cái)務(wù)狀況得分為中and投資經(jīng)歷為高and學(xué)年為高and誠信為高)then評價(jià)結(jié)果為是
8.If(財(cái)務(wù)狀況得分為中and投資經(jīng)歷為高and學(xué)年為高and誠信為低)then評價(jià)結(jié)果為否
證券公司要在激烈市場競爭中獲勝,充分占有市場。就要增加現(xiàn)有客戶滿意度,吸引潛在客戶,提高客戶交易水平。本文主要講述了決策樹在實(shí)際中的應(yīng)用,根據(jù)申請表提供的樣本記錄,利用ID3算法,做了一個(gè)簡單的決策樹,并提取分類規(guī)則。證券公司分析決策時(shí)對數(shù)據(jù)的依賴性和敏感度越來越高,數(shù)據(jù)挖掘技術(shù)作為分析與輔助決策工具已越來越得到國內(nèi)券商的重視。
[1]郭亮山.淺淡數(shù)據(jù)挖掘技術(shù)在公安領(lǐng)域中的應(yīng)用[J].福建警察學(xué)院學(xué)報(bào),2008(4):32-36.
[2]楊靜,張楠男,李建,劉延明,梁美紅.決策樹算法的研究與應(yīng)用[J].計(jì)算機(jī)技術(shù)與發(fā)展,2010,20(2):114-116.
[3]張友生,徐峰.系統(tǒng)分析師技術(shù)指南[M].清華大學(xué)出版社,2004.9.
[4]邵峰晶,于忠清.數(shù)據(jù)挖掘原理與算法[M].中國水利水電出版社,2003.8.
[5]肖志明.決策樹算法在高校教學(xué)評價(jià)中的應(yīng)用研究[J].廣西輕工業(yè),2008,(11):164-167.
[6]覃寶靈.決策樹技術(shù)在教學(xué)質(zhì)量評價(jià)中的應(yīng)用研究[J].電腦知識與技術(shù),2007,3(13):191-192.
[7]Han Jiawei,Micheline Kamber.Data Mining:Concepts and Technique(數(shù)據(jù)挖掘——概念與技術(shù))[M].北京:高等教育出版社,2001.
[8]袁燕.決策樹算法在高校教學(xué)評價(jià)系統(tǒng)中的應(yīng)用[J].浙江海洋學(xué)院學(xué)報(bào),2006,25(4):440-444.
[9]李霞.ID3分類算法在銀行客戶流失中的應(yīng)用研究[J].計(jì)算機(jī)技術(shù)與發(fā)展,2009(3):158-160.
[10]Quinlan J R.Induction of decision tress[J].Machine learning,1986,81-106.
F833/837TP301.6
A
1671-8275(2012)02-0060-03
2012-01-30
徐晉輝(1973-),女,安徽淮北人,淮北職業(yè)技術(shù)學(xué)院基礎(chǔ)部實(shí)驗(yàn)師。
何玉付