大數(shù)據(jù)背景下數(shù)據(jù)預處理方法研究運用

唐成龍，諶 頏，唐海春，吳澤鋒

（1廣州理工學院 廣東 廣州 510540）

（2廣州科技貿易職業(yè)學院 廣東 廣州 511442）

1 引言

在經濟快速發(fā)展的背景下，各類新進技術相繼興起應用，以云計算、大數(shù)據(jù)為代表應用頻次最高，其內部蘊含的價值不可估測。現(xiàn)下海量數(shù)據(jù)高效處理，對目前技術應用提出新的要求，為進一步高效、及時獲取數(shù)據(jù)信息中有效信息，需選取高速分析處理技術，對數(shù)據(jù)進行系統(tǒng)性分析優(yōu)化升級。數(shù)據(jù)預處理工作是數(shù)據(jù)分析、挖掘前重要準備工作，選取科學處理方式，是保證最終數(shù)據(jù)質量及有效性舉措。有必要分析加大數(shù)據(jù)預處理方式研究，提高數(shù)據(jù)預處理水平。

2 大數(shù)據(jù)背景下數(shù)據(jù)預處理價值分析

現(xiàn)下數(shù)據(jù)信息爆發(fā)式增長，為快速從海量數(shù)據(jù)中提取有價值信息，應選取有效技術措施，做好數(shù)據(jù)預處理工作，增強數(shù)據(jù)有效性。數(shù)據(jù)預處理作為數(shù)據(jù)挖掘與知識發(fā)現(xiàn)過程核心環(huán)節(jié)之一，加強數(shù)據(jù)預處理價值體現(xiàn)在以下幾方面：（1）海量原始數(shù)據(jù)中通常包含以下特征：①不完整。屬性值或僅包含聚離數(shù)據(jù)；②含噪音。數(shù)據(jù)內部含有錯誤或存在偏離預期分散數(shù)值；③不一致。數(shù)據(jù)記錄規(guī)范性和邏輯性與其他數(shù)據(jù)未實現(xiàn)統(tǒng)一化，缺乏一定科學性。由于上述問題存在，人們使用數(shù)據(jù)過程中對其具有完整性、時效性及可靠性要求，所以需加強數(shù)據(jù)預處理，保證達成上述目標，為人們提供良好的服務。（2）由于數(shù)據(jù)采集規(guī)模較大，數(shù)據(jù)預處理通常需耗損大量時間，高質量決策依附于可靠度較高的數(shù)據(jù)，從實際中獲取數(shù)據(jù)大多結構不一致、完整性不足等，無法實現(xiàn)直接利用目標。因此，需加強數(shù)據(jù)預處理，提高數(shù)據(jù)自身質量，為后續(xù)決策的正確性奠定良好基礎。

3 大數(shù)據(jù)背景下數(shù)據(jù)預處理方法

由于數(shù)據(jù)種類及組織模式呈現(xiàn)為多元化，內部關聯(lián)性較為復雜，且數(shù)據(jù)質量不盡相同，造成數(shù)據(jù)解讀、分析多個環(huán)節(jié)中存在部分不足。因此，數(shù)據(jù)預處理作為數(shù)據(jù)分析、挖掘的重要準備工作，通過應用數(shù)據(jù)預處理措施，初期將海量數(shù)據(jù)中與最終挖掘、決策相關性較低的數(shù)據(jù)去除，為挖掘算法提供可靠性較高的數(shù)據(jù)信息。數(shù)據(jù)挖掘前提條件是應保證數(shù)據(jù)可靠性，去除其中“臟數(shù)據(jù)”，主要包含缺失數(shù)據(jù)、不確定數(shù)據(jù)等，對其進行預處理的方法，主要包含以下幾方面。

3.1 數(shù)據(jù)清洗

采取高效的技術措施檢測原始數(shù)據(jù)質量，判定其是否存在錯誤、不一致等，選取各類清洗處理技術，將數(shù)據(jù)進行清洗，提高數(shù)據(jù)可靠性。數(shù)據(jù)清洗技術內容較多，若想獲取良好的數(shù)據(jù)清洗成效，應首先明確“臟數(shù)據(jù)”種類及形成因素，將其進行處理，轉變?yōu)樗钄?shù)據(jù)。隨著信息業(yè)和商業(yè)高速發(fā)展，進一步促進數(shù)據(jù)清洗技術的良好發(fā)展。

3.1.1 重復數(shù)據(jù)的清洗

為從本質層面保證數(shù)據(jù)分析、挖掘速度和精準度，需將原始數(shù)據(jù)中疊加重復數(shù)據(jù)進行去除，以免對數(shù)據(jù)分析最終結果造成干擾。初期數(shù)據(jù)中存在兩個或超過兩個實例，則將其視為重復數(shù)據(jù)。為高效、及時確定數(shù)據(jù)重復，一般選取的措施為逐一將每一個實例進行比較，確定與其相吻合的實例。為掌握實例中數(shù)據(jù)自身屬性，可通過統(tǒng)計學進行檢測，按照不同數(shù)值型屬性均值和標準方差值，布設相應的屬性區(qū)間，并與上述數(shù)據(jù)一一對應，辨識數(shù)據(jù)集合中重復記錄，及時將重復數(shù)據(jù)去除。針對上述疊加數(shù)據(jù)通常選用相似度計算，以其作為去除準則，判定數(shù)據(jù)相似度是否滿足要求。將兩條記錄相似度進行比較，其數(shù)值超出一定限值，則判定兩條記錄吻合，反之兩者屬于不同實體[1]。

3.1.2 缺失數(shù)據(jù)清洗

完善缺失數(shù)據(jù)作為數(shù)據(jù)清洗過程中面臨的又一瓶頸，實際數(shù)據(jù)采集過程中，因人為操作不當致使信息可靠性喪失等，造成數(shù)據(jù)內容缺乏一定的完整性，會對抽取模式精準性和導出標準造成一定干擾。錯誤數(shù)據(jù)挖掘模型應用于決策端口時，會造成結果與決策偏離正確軌道，造成嚴重損失。針對缺失數(shù)據(jù)清洗，其選取方式包含兩方面：一方面，忽略缺失數(shù)據(jù)。原始數(shù)據(jù)收集、整理過程中，受多方面因素影響，造成部分數(shù)據(jù)屬性不完善，為避免其對整個數(shù)據(jù)群造成影響，需選取忽略刪除方式去除。數(shù)據(jù)整體規(guī)模較小，且完整性數(shù)據(jù)較少條件下，一般選用該方式進行數(shù)據(jù)清洗，此種方式應用效率較高。若數(shù)據(jù)集合規(guī)模較大，一經刪除部分記錄之后，造成后續(xù)數(shù)據(jù)規(guī)?？s小，構建模型典型性和適用性無法凸顯，可靠性降低。此外，刪除缺失數(shù)據(jù)過程中，可能將原有有價值數(shù)據(jù)去除，進而對后續(xù)數(shù)據(jù)挖掘、模型構建造成干擾，最終挖掘成果可靠性不佳，易對最終決策有所干擾。另一方面，基于填充技術缺失值插補算法。上述刪除法應用過程中存在一定局限性，所以被應用選擇頻次較低。為填充原始數(shù)據(jù)缺失內容，可選取最接近缺失值替代，保證數(shù)據(jù)挖掘質量及可靠性。填充方法存留原有潛在價值數(shù)據(jù)，構建最終模擬更具可靠性，為決策提供高質量信息數(shù)據(jù)。

3.1.3 噪聲數(shù)據(jù)處理

數(shù)據(jù)正式挖掘之前，通常將數(shù)據(jù)設定為理想狀態(tài)，但現(xiàn)實生活中收集、整理數(shù)據(jù)過程中，受多重因素干擾，會產生一定的噪音數(shù)據(jù)，即“離群點”。由于噪聲數(shù)據(jù)偏離正確數(shù)據(jù)范圍內，難以保證最終數(shù)據(jù)分析、挖掘成果，影響其后續(xù)挖掘結果準確性。一般常用消除噪聲數(shù)據(jù)方式包含兩種：（1）分箱法。將預處理數(shù)據(jù)分散至不同箱子中，以周圍實際平滑噪聲數(shù)據(jù)為基準，將其劃分為兩種類型。依照平均數(shù)值進行平滑，提取平均數(shù)值，并將其作為整個箱子中數(shù)據(jù)代表值；按照中位數(shù)平滑，與上述方式相同；根據(jù)箱邊界平滑，定義箱邊界是箱中最大和最小數(shù)值。（2）噪聲過濾。選用聚類方法對離群點進行分析、過濾。噪聲過濾中，常用算法主要包含EF算法、IPF算法[2]。

3.2 數(shù)據(jù)集成與變換

數(shù)據(jù)集成過程作為一項復雜性工作，主要將多文件或數(shù)據(jù)庫中數(shù)據(jù)進行整合匯總處理，從本質層面消除語義的模糊性。數(shù)據(jù)變換主要是對原有數(shù)據(jù)進行分析，掌握其特點規(guī)律，選取維變換或轉化方式，減少數(shù)據(jù)中有效量數(shù)目。數(shù)據(jù)變換將數(shù)據(jù)轉化為吻合數(shù)據(jù)挖掘需求各種形式，依照實際應用數(shù)據(jù)挖掘算法，確定使用數(shù)據(jù)轉換具體方式。通常數(shù)據(jù)轉換方式較多，應依照數(shù)據(jù)屬性實際狀況，選取科學、合理數(shù)據(jù)處理措施，如函數(shù)變換、數(shù)據(jù)規(guī)范化等，規(guī)范化有助于數(shù)據(jù)實現(xiàn)合理劃分類別，以及避免對度量單位依賴性。

3.3 數(shù)據(jù)歸納

數(shù)據(jù)歸納主要是對發(fā)現(xiàn)任務和數(shù)據(jù)自身解讀層面，探尋數(shù)據(jù)中表達特征，以此實現(xiàn)縮減數(shù)據(jù)模型，進而保證數(shù)據(jù)原有形貌同時最大限度簡化數(shù)據(jù)量，保證大數(shù)據(jù)挖掘更具高效性。數(shù)據(jù)規(guī)約包含兩種方式，即維規(guī)約、數(shù)量規(guī)約。數(shù)據(jù)規(guī)約過程中包含關鍵技術如下：（1）高維數(shù)據(jù)降維處理。數(shù)據(jù)規(guī)約過程中重點內容是高效減少數(shù)據(jù)數(shù)量，提取其特性核心目的在于其是否可準確展示相關問題屬性，且將多余屬性去除，保證其學習高效性增強。（2）實例歸納?，F(xiàn)階段使用頻次較高的減少數(shù)據(jù)方式為實例規(guī)約方式，實現(xiàn)數(shù)據(jù)減少目標同時，保證數(shù)據(jù)處理質量。應用自動生成實例方法，進而降低數(shù)據(jù)宏觀整體規(guī)模，其包含技術較多，如實例選擇、實例生成等。實例選擇主要是生成一個最小數(shù)據(jù)集，將噪聲數(shù)據(jù)等多余數(shù)據(jù)去除，獨立之后進行數(shù)據(jù)挖掘算法；實例生成主要是構建多種實際案例，涉及相關算法包含LVQ。（3）離散化技術。數(shù)據(jù)離散化之前，需估測離散型數(shù)據(jù)整體規(guī)模，隨后將其數(shù)據(jù)按照一定順序排列，明確多個分裂點將數(shù)據(jù)劃分為多個區(qū)間。將處于同一區(qū)域內全部連續(xù)性數(shù)據(jù)，選取統(tǒng)一性方式匹配值相同離散型數(shù)據(jù)上。按照分裂點認定方式不同，離散化主要劃分為兩種方式，即自頂向下、自底向上。（4）不平衡學習。利用機器進行學習形成數(shù)據(jù)模型過程中，針對不同種類數(shù)據(jù)集成上形成良好的差異。其中，多數(shù)標準分類學習算法會傾向于實例，對少數(shù)實例予以忽視。數(shù)據(jù)預處理相關技術可有效避免類型分布不均衡狀況，核心方式包含兩種，即欠采樣方法、過度采樣方法，前者是抽樣創(chuàng)建初期數(shù)據(jù)子集作為數(shù)據(jù)挖掘，建議將大多實例去除；后者實際抽樣過程中復制大量相同實例[3]。

4 反思與建議

多數(shù)方法可在數(shù)據(jù)清理和規(guī)約中應用，且兩者在整合數(shù)據(jù)預處理過程中更為重要，特別是整個數(shù)據(jù)規(guī)約流程。原有應用統(tǒng)計學對數(shù)據(jù)進行處理時，基于概率論下，以設計試驗方法最終獲取相關數(shù)據(jù)，從而保證數(shù)據(jù)吻合相關形成模型。數(shù)據(jù)挖掘面臨的是大規(guī)模數(shù)據(jù)，數(shù)量、變量數(shù)較大，數(shù)據(jù)間關系較為復雜，兩者存在目標相同，選取推導掌握整體數(shù)據(jù)規(guī)律，是統(tǒng)計學實施核心方式，數(shù)據(jù)挖掘更強調對整體規(guī)律分析。由上述分析獲知，掌握兩者間存在差異性，具體應用過程中，掌握數(shù)據(jù)挖掘中數(shù)據(jù)特征，綜合應用多學科知識，高效融合統(tǒng)計學方法。

針對未來數(shù)據(jù)預處理方式改善建議如下：首先，注重數(shù)據(jù)預處理應與專業(yè)知識與知識應用融合，且應始終貫穿于數(shù)據(jù)預處理各環(huán)節(jié)中。其次，原始數(shù)據(jù)源獲取是數(shù)據(jù)預處理重要節(jié)點，需嚴控其預處理各環(huán)節(jié)質量，保證數(shù)據(jù)處理高效性及可靠性。最后，應積極推行倡導對數(shù)據(jù)預處理實現(xiàn)循環(huán)模式[4]。

5 結語

大數(shù)據(jù)時代背景下，各類先進技術應用于多個領域行業(yè)中，有助于推動數(shù)據(jù)預處理方法提升和擴展。數(shù)據(jù)預處理是數(shù)據(jù)挖掘基礎保證，通過高質量數(shù)據(jù)預處理工作，將其中多余數(shù)據(jù)、錯誤數(shù)據(jù)等去除，及時填充缺失數(shù)據(jù)，實現(xiàn)必需數(shù)據(jù)集成匯總，保證數(shù)據(jù)質量可靠性，為決策提供完整、高效數(shù)據(jù)。