• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      使用垂直數(shù)據(jù)格式挖掘頻繁項集

      2011-11-27 01:46:30陳偉
      關(guān)鍵詞:數(shù)據(jù)格式項集事務

      陳偉

      (淮南聯(lián)合大學 計算機系,安徽 淮南232038)

      通常,關(guān)聯(lián)規(guī)則挖掘是指從一個大型的數(shù)據(jù)集中發(fā)現(xiàn)有趣的關(guān)聯(lián)或相關(guān)關(guān)系,即從數(shù)據(jù)集中識別出頻繁出現(xiàn)的屬性值集(Sets of Attribute-Values),也稱為頻繁項集(Frequent Itemsets,簡稱頻繁集),然后再利用這些頻繁集創(chuàng)建描述關(guān)聯(lián)規(guī)則的過程。

      1 關(guān)聯(lián)規(guī)則挖掘算法

      關(guān)聯(lián)規(guī)則挖掘算法——Apriori算法是使用候選項集找頻繁項集的過程。

      Apriori算法通過對數(shù)據(jù)庫D的多趟掃描來發(fā)現(xiàn)所有的頻繁項目集。在第一趟掃描數(shù)據(jù)庫時,對項集I中的每一個數(shù)據(jù)項計算其支持度,確定出滿足最小支持度的頻繁1項集的集合L1,然后,L1用于找頻繁2項集的集合L2,如此下去……在后續(xù)的第k次掃描中,首先以k-1次掃描中所發(fā)現(xiàn)的含k-1個元素的頻繁項集的集合Lk-1為基礎(chǔ),生成所有新的候選項目集CK(Candidate Itemsets),即潛在的頻繁項目集,然后掃描數(shù)據(jù)庫 D,計算這些候選項目集的支持度,最后從候選集CK中確定出滿足最小支持度的頻繁k項集的集合Lk,并將Lk作為下一次掃描的基礎(chǔ)。重復上述過程直到不再發(fā)現(xiàn)新的頻繁項目集[1]。

      2 關(guān)聯(lián)規(guī)則算法的改進

      從Apriori算法中由k頻繁項集生成k+1頻繁項集時,首先生成候選項目集Ck+1,該函數(shù)不僅要對 k項集的所有符合Apriori算法條件的數(shù)據(jù)進行交集,并且要判斷候選項目集的所有子集是否在k頻繁項集中。該函數(shù)生成的許多候選項目集并不是要找的頻繁項集,但在掃描數(shù)據(jù)庫時,要記錄下這些數(shù)據(jù)的出現(xiàn)次數(shù),這會耗費大量的CPU開銷。如果D中的事務數(shù)很大,k頻繁項集中項數(shù)很多,則侯選項目集的元素個數(shù)就會很大,例如2 000個頻繁 1項集,將產(chǎn)生 2 000×999/2=999 000個候選2項集。如此巨大數(shù)量的候選項目集,對它進行出現(xiàn)次數(shù)的統(tǒng)計時開銷非常大,這也是整個算法性能優(yōu)劣的關(guān)鍵所在。

      (1)使用垂直數(shù)據(jù)格式挖掘頻繁項集

      Apriori算法是從 TID項集格式(即{TID:itemset})的事務集挖掘頻繁模式,其中TID是事務標識符,而item-set是事務TID中購買的商品集。這種數(shù)據(jù)格式稱作水平數(shù)據(jù)格式。另外,數(shù)據(jù)也可以用項-TID集格式(即{item:TID_set})表示,其中 item是項的名稱,而 TID_set是包含item事務標識符的集合。這種格式稱作垂直數(shù)據(jù)格式。下面使用垂直數(shù)據(jù)格式進行有效的挖掘頻繁項集。

      首先,通過掃描一次數(shù)據(jù)庫D,在求頻繁 l項集的同時,把數(shù)據(jù)由水平格式轉(zhuǎn)化為垂直格式,即記錄下每個項集在事務數(shù)據(jù)庫中出現(xiàn)時該條數(shù)據(jù)在數(shù)據(jù)庫D中的TID號,則項集的支持度計數(shù)直接是項集的TID集的長度。從k=2開始,根據(jù)Apriori性質(zhì)中相交條件的項集進行Apriroi連接運算,使用頻繁k項集來構(gòu)造候選k+1項集。通過取頻繁k項集的TID集的交計算對應的k+1項集的TID集。如果該TID集的長度大于最小支持度計數(shù),則該記錄為頻繁項集。重復該過程,每次k值增加1,直到不能再找到頻繁項集或候選項集。

      (2)挖掘?qū)嵗?/p>

      設事務數(shù)據(jù)庫D,如表1。

      假定要求最小支持度計數(shù)為2,掃描一次該數(shù)據(jù)集可以把它轉(zhuǎn)換成表2所示的垂直數(shù)據(jù)格式。

      2015年東京警視廳的數(shù)據(jù)顯示,一年中有1.3998萬人借錢,借出去的金額為688.7346萬日元(約40萬元人民幣),歸還率是78.6%,這一數(shù)據(jù)比2009年的64.3%有了很大進步。但是,也可以看出,超過20%的人,還是借錢沒還。

      表1 事務數(shù)據(jù)庫

      表2 頻繁1項集

      通過取每對頻繁單個項的TID集的交,可以在該數(shù)據(jù)集上進行挖掘。由于表2中有4個項是頻繁的,總共進行6次交運算,結(jié)果有6個非空2項集,如表3所示。

      表3 頻繁2項集

      根據(jù)Apriori性質(zhì),對得到的頻繁2項集求交集,只進行1次交集,所以符合條件的頻繁三項集為{I2,I3,I5}。如表 4所示。

      表4 頻繁3項集

      通過挖掘可以驗證最終得到的頻繁項集和用Apriori算法得到的結(jié)果是相同的[2-3]。

      (3)算法的描述

      輸入:事務數(shù)據(jù)庫D;

      最小支持度計數(shù)閾值min_sup。

      輸出:D中的頻繁項集L。

      輸出:所有的頻繁1項集。

      輸入:頻繁k-1項集。最小支持度計數(shù)min_sup。

      輸出:所有的頻繁k項集。

      3 改進算法的分析

      理論上,改進算法應快于算法Apriori,原因如下:

      (1)該算法不用求候選頻繁項集,從而省去了項集進行連接步以后對該項集所有子集的判斷,這會節(jié)省大量的CPU開銷,尤其是當數(shù)據(jù)庫D中的數(shù)據(jù)比較多,同時候選項集比較多時,例如頻繁1項集2 000個,根據(jù)Apriori性質(zhì),則候選頻繁1項集要有2 000×999/2=999 000個,但其中也許只有少數(shù)是要找的頻繁2項集。Apriori算法要求其中所有999 000個在數(shù)據(jù)庫中的頻繁度。

      (2)除了由頻繁k項集產(chǎn)生候選k+1項集時利用Apriori性質(zhì)之外,這種方法的另一優(yōu)點是不需要掃描數(shù)據(jù)庫來確定k+1項集(k≥1)的支持度。這是因為每個k項集的TID集攜帶了計算該支持度所需的完整信息。

      該算法的缺點是TID集可能很長,長集合不僅需要大量空間,而且求交運算需要大量計算時間。

      [1]韓家煒.數(shù)據(jù)挖掘概念與技術(shù)[M].北京:機械工業(yè)出版社,2000.

      [2]陸楠.關(guān)聯(lián)規(guī)則的挖掘及其算法的研究[D].長春:吉林大學,2007.

      [3]羅可,張學茂.一種高效的頻集挖掘算法[J].長沙理工大學學報(自然科學版),2006,3(3):84-90.

      [4]汪光一.關(guān)聯(lián)規(guī)則挖掘算法的研究[D].北京:北京交通大學,2007.

      [5]高峰,謝劍英.發(fā)現(xiàn)關(guān)聯(lián)規(guī)則的增量式更新算法[J].計算機工程,2000(12):49-50.

      [6]KANTARDZIC M(美).數(shù)據(jù)挖掘-概念、模型、方法和算法[M].北京:清華大學出版社,2003.

      猜你喜歡
      數(shù)據(jù)格式項集事務
      “事物”與“事務”
      基于分布式事務的門架數(shù)據(jù)處理系統(tǒng)設計與實現(xiàn)
      河湖事務
      在智能交通系統(tǒng)中PLC數(shù)據(jù)格式轉(zhuǎn)換方法的研究
      電子測試(2018年1期)2018-04-18 11:52:49
      論子函數(shù)在C語言數(shù)據(jù)格式輸出中的應用
      DWG與SHP數(shù)據(jù)格式互轉(zhuǎn)換方法研究——以龍巖規(guī)劃測繪數(shù)據(jù)為例
      關(guān)聯(lián)規(guī)則中經(jīng)典的Apriori算法研究
      卷宗(2014年5期)2014-07-15 07:47:08
      一種頻繁核心項集的快速挖掘算法
      計算機工程(2014年6期)2014-02-28 01:26:12
      SQLServer自治事務實現(xiàn)方案探析
      基于ArcGIS的規(guī)劃數(shù)據(jù)格式轉(zhuǎn)換研究
      剑河县| 广南县| 分宜县| 牡丹江市| 台南县| 定州市| 馆陶县| 玉龙| 砚山县| 邳州市| 容城县| 修水县| 蒲江县| 彰武县| 扎赉特旗| 大理市| 盱眙县| 大厂| 甘洛县| 林口县| 开鲁县| 襄樊市| 巴里| 新田县| 滦南县| 都匀市| 武定县| 南川市| 五寨县| 西乌| 石家庄市| 横峰县| 商洛市| 泽库县| 达日县| 涿鹿县| 多伦县| 渭源县| 阜宁县| 循化| 双峰县|