黃志清 張送 韋通明 溫麗梅 韋統(tǒng)邊

關鍵詞：大數(shù)據;數(shù)據遷移;數(shù)據測試

1引言

近年來，隨著時代的快速發(fā)展，全球已經從互聯(lián)網時代進入大數(shù)據時代，目前全球數(shù)據總量已經達到ZB級。相應地，對于數(shù)據存儲硬件的要求和服務器容量的要求也變得越來越高，為了適應越來越多的使用場景和進行相應的數(shù)據分析處理，數(shù)據遷移在這個過程中也就變得越來越重要。因此，最為重要的就是確保數(shù)據遷移后數(shù)據的完整性和準確性。本文對數(shù)據遷移測試的全過程方法進行了分析，并且提出了一種數(shù)據遷移測試的具體方法，旨在減少測試邏輯混亂帶來的時間成本和人力成本，從而更加高效地提高數(shù)據質量[1]。

2數(shù)據迂移測試中容易出現(xiàn)的問題

數(shù)據測試人員基本上是按照項目需求文檔的規(guī)則，對原本的數(shù)據源數(shù)據和遷移后的數(shù)據源數(shù)據進行比對，從分析的角度出發(fā)，只有每一條數(shù)據都能夠完全相同，才能夠保證數(shù)據的準確性和完整性。在數(shù)據測試的過程中，經常會碰到下文所述問題，會影響數(shù)據的準確性和完整性，需要特別注意[2]。

2.1測試邏輯混亂

當測試人員對遷移后的數(shù)據進行測試的時候，有時候沒有經過前置條件的數(shù)據就直接測試后面的數(shù)據，造成數(shù)據測試結果無效。出現(xiàn)該問題的原因有可能是項目需求文檔未申明清楚，產品人員傳遞需求有誤或者沒有規(guī)范的項目管理流程。這樣的數(shù)據測試結果無法證明數(shù)據是正確的，從而需要復測，導致人力成本和時間成本增加。如果出現(xiàn)這樣的問題，就需要規(guī)范測試需求和測試流程，從而能夠直接找到問題所在，進而進行分析和解決。

2.2測試點不全面

在測試人員對數(shù)據進行測試的時候，有時因為業(yè)務給出的要求不能覆蓋全部使用場景，導致部分數(shù)據的測試結果不準確，從而影響后續(xù)的數(shù)據分析和業(yè)務開展。造成這個問題也可能是其他原因，如不同的業(yè)務場景適用的數(shù)據要求不一樣，僵硬地套用測試規(guī)則就容易導致測試點不全面。因此，需要針對常用的業(yè)務場景設立通用的測試點標準，對于具體業(yè)務還需要具體評估，而后分析和補充測試點[3]。

2.3測試時間較長

在一個完整的測試過程中，因為可能存在的項目需求不明確，測試人員未在一開始就溝通或梳理清楚需要測試的要點，以及多次重復測試，需要測試的數(shù)據量大小等，所以導致測試人員在一個完整的項目周期內測試部分花費的時間較長，從而影響整體的項目進度，甚至提高時間和人力成本。因此，需要在開始階段，與開發(fā)、需求方進行共同探討，如需要從哪些方面展開相關的測試，可以確保數(shù)據的可用性和正確性。

3數(shù)據遷移測試流程及方法

數(shù)據測試中需要對遷移后的數(shù)據進行全面分析[4]，厘清據遷移之后從哪些方面進行數(shù)據測試。數(shù)據遷移測試應關注如圖1、圖2、圖3所示方法流程。

3.1數(shù)據遷移測試內容

數(shù)據遷移測試主要由測試人員完成，測試通過后由研發(fā)部門部署上線[5]。主要包含以下測試內容：（1）對遷移后的數(shù)據進行全面分析，厘清數(shù)據遷移之后需要從哪些方面進行數(shù)據測試;（2）編寫soL語句，從數(shù)據庫里面獲取遷移前后的數(shù)據;（3）利用Excel數(shù)據分析工具的數(shù)據排序、篩選、分列、去除重復項等功能建立數(shù)據遷移比對模板，提高測試過程的規(guī)范性，并且可以輸出一致的核對結果，該模板可以通用;（4）利用數(shù)據表的唯一關鍵字（如ID）、日期字段、時間字段以及其他可以進行分區(qū)的字段對數(shù)據進行分區(qū)分模塊的數(shù)據比對，通過并發(fā)的方式可以同時比對多個模塊的數(shù)據，從而大大減少數(shù)據遷移測試的時間成本和人力成本，且數(shù)據的正確性能夠得到保證;（5）統(tǒng)計時間范圍內總數(shù)據的條數(shù)是否相等，如果不相等說明數(shù)據質量不符合要求，需要重新迭代數(shù)據;（6）分析表結構和注釋內容是否符合規(guī)范，即兩張表的表名、字段名、注釋名等是否相同。如果不符合規(guī)范，說明數(shù)據質量不符合要求，需要重新迭代數(shù)據;（7）判斷迭代后的數(shù)據是否出現(xiàn)異常情況，如不允許空值出現(xiàn)的數(shù)據庫出現(xiàn)了空值的情況;（8）分析和統(tǒng)計數(shù)據遷移前后各個字段的值出現(xiàn)的頻次是否相等：（9）分析如果出現(xiàn)數(shù)據轉換，遷移后的字段數(shù)據是否符合數(shù)據轉換要求。比如，原字段為空值，轉換后為其他值的情況;（10）判斷（6）（7）（8）三項是否符合條件，不符合條件說明數(shù)據質量不符合要求，需要重新迭代數(shù)據;（11）抽取樣本數(shù)據，對其中的數(shù)據進行逐一比較和分析，以判斷遷移后的數(shù)據是否有出現(xiàn)變化。

3.2數(shù)據測試難點

在實際的測試過程中，常常會碰到以下難點。

（1）業(yè)務具有復雜性。測試人員對于不同的業(yè)務場景有一套通用的測試流程和標準。但問題在于，由于業(yè)務的復雜性，對于數(shù)據的使用有了更多、更高的要求，因此需要對每個業(yè)務場景進行單獨分析——需要新增的測試點，這對數(shù)據測試人員提出了更高的要求，需要花費大量時間和精力去做測試分析，并且需要從一開始就參與到算法的討論和評審中，對整個過程達成一致之后才不會出現(xiàn)理解不同步的情況，從而導致實際效果不如預期[6]。

（2）測試流程不規(guī)范。正常的測試流程為：問題反饋給開發(fā)人員修改，修改完后再給測試人員進行復測。在復測的過程中，因為測試人員的個人理解和技術手段等原因，對于測試方式、測試流程、測試點都會有自己的理解。如果遇到問題較多、復測流程不規(guī)范、不能對整個測試流程都了解清楚、業(yè)務經驗不足的情況，就會容易造成問題循環(huán)反復，從而大量浪費開發(fā)人員和測試人員的時間，并且提高了項目的時間成本[7]。

（3）沒有一套可行性高的測試方法或者自動化程度高的測試工具和模板。在實際測試的過程中，因為缺乏自動化程度高的測試工具、平臺和模板，導致實際測試方式會因為測試人員本身的技術能力、業(yè)務經驗、個人理解等有很大的區(qū)別，如果出現(xiàn)測試人員離開，其他人員接手的情況，那么就需要花費更多的時間且測試后的效果不可控[8]。

（4）整個項目的時間成本和人力成本不可控。因為上述的多種原因，如業(yè)務的復雜性、測試流程的不規(guī)范、沒有一套可行性高的測試方法或者自動化程度高的測試工具、模板等其他原因，每一因素出現(xiàn)都會對整個項目的時間成本和人力成本造成重大的影響，從而影響公司的項目進度，甚至影響個人的能力評價等[9]。

3.3數(shù)據測試展望

自動化的數(shù)據測試是最理想的目標，通過利用自動化和智能化的測試工具，設立不同的測試規(guī)則和數(shù)據模型，一方面可以大大縮減通用測試需要的時間和流程，另一方面為更多業(yè)務場景的測試分析提供了更多的設計方法和可行性，能夠有效確保數(shù)據遷移后的數(shù)據的準確性，從而實現(xiàn)對數(shù)據質量的管理，降低了人力成本和時間成本[10]。

建立一個通用性高、適用性強的數(shù)據測試平臺也是一種可行的方式。通過在平臺上建立多樣化的數(shù)據遷移測試模板，從而能夠對大部分業(yè)務場景實現(xiàn)覆蓋，并且可以在平臺上對新的業(yè)務進行二次開發(fā)。操作簡單、開發(fā)簡單也是其必須具備的能力，這有利于新的測試人員快速熟悉并且上手，從而大大減少在整個項目過程中數(shù)據遷移測試所花費的時間，進而降低公司項目成本。另外，對于從事數(shù)據測試的相關人員的能力培養(yǎng)也是一個重要課題。通過聘請行業(yè)內的知名人士或者資深經驗者給公司員工進行相關能力培訓，加上對應的實戰(zhàn)演練，對測試人員的能力提升會有很大的幫助。與此同時，測試人員要多把每一次的經驗累積總結下來，形成知識間的互通，有助于業(yè)務經驗的快速增長和測試能力的快速提高。

4結束語

本文主要介紹了一種用于數(shù)據遷移之后對數(shù)據準確性進行測試的可行性方法，即利用Excel數(shù)據分析工具的數(shù)據排序、篩選、分列、去除重復項等功能建立數(shù)據遷移比對模板，提高測試過程的規(guī)范性，并且可以輸出一致的核對結果，該模板可以通用：利用數(shù)據表的唯一關鍵字（如ID）、日期字段、時間字段以及其他可以進行分區(qū)的字段對數(shù)據進行分區(qū)分模塊的數(shù)據比對，通過并發(fā)的方式可以同時比對多個模塊的數(shù)據，從而大大減少數(shù)據遷移測試的時間成本和人力成本，且數(shù)據的正確性能夠得到保證：提出了一種可行性較高的測試方法，用來規(guī)范數(shù)據測試流程，避免測試混亂的問題，完善測試邏輯，從而能夠有效確保數(shù)據遷移后數(shù)據的準確性，實現(xiàn)對數(shù)據質量的更好管理。