基于信息化技術(shù)的統(tǒng)計(jì)數(shù)據(jù)質(zhì)量評(píng)估體系構(gòu)建研究

摘要：隨著現(xiàn)階段信息技術(shù)的飛速發(fā)展，信息技術(shù)的應(yīng)用為統(tǒng)計(jì)工作提供了更多的便利，但立足于信息時(shí)代背景下，受海量數(shù)據(jù)的沖擊，統(tǒng)計(jì)數(shù)據(jù)質(zhì)量問題也逐漸凸顯。保證統(tǒng)計(jì)數(shù)據(jù)的完整性、一致性、時(shí)效性、可靠性，已經(jīng)成為現(xiàn)階段統(tǒng)計(jì)工作所要考量的重要問題。因此，利用數(shù)據(jù)挖掘、人工智能、大數(shù)據(jù)分析技術(shù)，保證統(tǒng)計(jì)工作中數(shù)據(jù)的全面性，以此發(fā)現(xiàn)數(shù)據(jù)中可能存在的諸多問題和漏洞，從而及時(shí)解決問題，不僅可以構(gòu)建較為完善的數(shù)據(jù)質(zhì)量評(píng)估體系，還可以滿足新時(shí)期數(shù)據(jù)統(tǒng)計(jì)工作的本質(zhì)要求。本文基于信息化技術(shù)的統(tǒng)計(jì)數(shù)據(jù)質(zhì)量評(píng)估體系的構(gòu)建展開分析和論述。

關(guān)鍵詞：信息技術(shù)；統(tǒng)計(jì)數(shù)據(jù)質(zhì)量評(píng)估體系

引言

信息技術(shù)在統(tǒng)計(jì)數(shù)據(jù)質(zhì)量評(píng)估體系的構(gòu)建中起著重要作用，其不僅可以提高數(shù)據(jù)評(píng)估的有效性和時(shí)效性，更能有效應(yīng)對(duì)傳統(tǒng)統(tǒng)計(jì)數(shù)據(jù)質(zhì)量評(píng)估過程中所存在的諸多問題和挑戰(zhàn)，從而為統(tǒng)計(jì)數(shù)據(jù)的質(zhì)量評(píng)估提供更加全面、及時(shí)且有效的數(shù)據(jù)支持。但是，目前利用各類信息技術(shù)進(jìn)行統(tǒng)計(jì)數(shù)據(jù)質(zhì)量評(píng)估，還缺乏較為完善且統(tǒng)一的評(píng)估體系，而且信息化時(shí)代各類新技術(shù)快速更新，評(píng)估工具和評(píng)估方法在技術(shù)上存在參差和滯后，這都會(huì)影響最終評(píng)估結(jié)果的準(zhǔn)確性和全面性。因此，針對(duì)這類共性問題，需要立足于目前統(tǒng)計(jì)數(shù)據(jù)質(zhì)量評(píng)估體系構(gòu)建的具體情況，展開具體分析，由此保證信息技術(shù)在統(tǒng)計(jì)數(shù)據(jù)質(zhì)量評(píng)估體系構(gòu)建中應(yīng)用的有效性。

1. 統(tǒng)計(jì)數(shù)據(jù)質(zhì)量評(píng)估體系的概念與原理

統(tǒng)計(jì)數(shù)據(jù)質(zhì)量評(píng)估體系是指對(duì)統(tǒng)計(jì)數(shù)據(jù)在采集、整理、處理和報(bào)告等各環(huán)節(jié)中的一體化處理，需要保證數(shù)據(jù)的完整性、一致性、時(shí)效性、可靠性。在統(tǒng)計(jì)學(xué)領(lǐng)域，質(zhì)量評(píng)估是確保統(tǒng)計(jì)數(shù)據(jù)能夠反映現(xiàn)實(shí)情況、支持決策、政策執(zhí)行的關(guān)鍵所在，而對(duì)于統(tǒng)計(jì)數(shù)據(jù)質(zhì)量評(píng)估來說，其準(zhǔn)確性是指在統(tǒng)計(jì)數(shù)據(jù)與實(shí)際情況之間的符合程度，也可以理解為是為了保證數(shù)據(jù)的真實(shí)性和可信度。其中，可信度、準(zhǔn)確性評(píng)估通常包括數(shù)據(jù)采集的準(zhǔn)確性，以及處理過程中可能存在的誤差、數(shù)據(jù)報(bào)告的正確性等。在統(tǒng)計(jì)數(shù)據(jù)質(zhì)量準(zhǔn)確性評(píng)估的過程中，還需考慮數(shù)據(jù)來源、數(shù)據(jù)采集方法、數(shù)據(jù)處理邏輯等各類因素。對(duì)于統(tǒng)計(jì)數(shù)據(jù)質(zhì)量評(píng)估的完整性來說，是為了保證相關(guān)數(shù)據(jù)沒有遺漏或丟失。完整性的評(píng)估更關(guān)注數(shù)據(jù)采集過程中是否會(huì)存在漏報(bào)、錯(cuò)報(bào)或重復(fù)報(bào)告等情況，從而保證數(shù)據(jù)的完整性，這對(duì)支持決策以及反映現(xiàn)實(shí)情況均發(fā)揮著尤為重要的作用[1]。

2. 統(tǒng)計(jì)數(shù)據(jù)質(zhì)量評(píng)估體系構(gòu)建存在的共性挑戰(zhàn)

2.1 數(shù)據(jù)采集、整合與數(shù)據(jù)清洗、處理的問題

從廣義的角度來說，構(gòu)建統(tǒng)計(jì)數(shù)據(jù)質(zhì)量評(píng)估體系是為了保證數(shù)據(jù)分析和決策的有效性，但在構(gòu)建的過程中，可能會(huì)面臨數(shù)據(jù)采集和整合的共性問題。

一方面，數(shù)據(jù)的來源多樣常伴隨數(shù)據(jù)質(zhì)量參差不齊，除此之外，還須考慮數(shù)據(jù)的可追溯性以及各類數(shù)據(jù)應(yīng)用的時(shí)效性，由此才能依托具備可重用性的數(shù)據(jù)，構(gòu)建有效且完整的數(shù)據(jù)質(zhì)量評(píng)估體系。

另一方面，在構(gòu)建統(tǒng)計(jì)數(shù)據(jù)質(zhì)量評(píng)估體系的過程中，數(shù)據(jù)清洗和數(shù)據(jù)處理也是較為突出的共性問題，一般來說，原始的數(shù)據(jù)可能會(huì)存在缺失值或異常值等問題，這可能導(dǎo)致統(tǒng)計(jì)數(shù)據(jù)質(zhì)量評(píng)估體系構(gòu)建的局限性。因此，須注重這類數(shù)據(jù)的統(tǒng)一管理，考慮數(shù)據(jù)的一致性和標(biāo)準(zhǔn)化，確保這類數(shù)據(jù)在統(tǒng)計(jì)數(shù)據(jù)質(zhì)量評(píng)估體系構(gòu)建過程中的可比性及可效信度，為數(shù)據(jù)分析和決策提供有效的支持。

2.2 數(shù)據(jù)質(zhì)量評(píng)估指標(biāo)的模糊性

在構(gòu)建統(tǒng)計(jì)數(shù)據(jù)質(zhì)量評(píng)估體系的過程中，需要考慮各場(chǎng)景的應(yīng)用需要，以保證評(píng)估結(jié)果的準(zhǔn)確性和有效性。較為常見的數(shù)據(jù)質(zhì)量評(píng)估指標(biāo)包括數(shù)據(jù)是否完整、是否一致、是否可靠、是否及時(shí)，并根據(jù)不同數(shù)據(jù)的類型和用途，采用多個(gè)指標(biāo)進(jìn)行綜合評(píng)估，以全面了解數(shù)據(jù)質(zhì)量，才更具可行性。但是，在構(gòu)建統(tǒng)計(jì)數(shù)據(jù)質(zhì)量評(píng)估體系的過程中，傳統(tǒng)工作方式較為單一，無法滿足該類多個(gè)指標(biāo)綜合評(píng)估的目的。不僅如此，數(shù)據(jù)質(zhì)量評(píng)估本身是一個(gè)長(zhǎng)期反復(fù)的工作，并不屬于一次性工作。因此，還須立足實(shí)際，建立健全有效的數(shù)據(jù)控制機(jī)制和管理機(jī)制，及時(shí)發(fā)現(xiàn)數(shù)據(jù)在應(yīng)用過程中可能存在的問題，并建立健全數(shù)據(jù)監(jiān)控體系，對(duì)該類數(shù)據(jù)進(jìn)行定期的抽樣分析，輔助健全的預(yù)警機(jī)制，幫助發(fā)現(xiàn)構(gòu)建統(tǒng)計(jì)數(shù)據(jù)質(zhì)量評(píng)估體系過程中可能存在的質(zhì)量問題。針對(duì)這類共性問題，更需要依托智能化、信息化技術(shù)，才能保證數(shù)據(jù)質(zhì)量的有效改進(jìn)，從而更好地管理和應(yīng)用該類數(shù)據(jù)，提高決策的可行性[2]。

2.3 人才與資源無法滿足需求

在構(gòu)建統(tǒng)計(jì)數(shù)據(jù)質(zhì)量評(píng)估體系的過程中，除了上述所提到的共性問題外，人員、技術(shù)、資源投入同樣是共性問題。構(gòu)建一個(gè)相對(duì)完善的統(tǒng)計(jì)數(shù)據(jù)質(zhì)量評(píng)估體系，需要具備專業(yè)技術(shù)和知識(shí)的人員以及充足的資源支持。例如，數(shù)據(jù)分析專家，可以深入了解數(shù)據(jù)的特性，進(jìn)行數(shù)據(jù)的有效清潔、整理、處理等；統(tǒng)計(jì)建模專家，可以利用各類統(tǒng)計(jì)算法和模型，對(duì)數(shù)據(jù)進(jìn)行深度分析，保證統(tǒng)計(jì)數(shù)據(jù)質(zhì)量評(píng)估體系的科學(xué)性。但是，目前缺乏具備上述綜合素質(zhì)的人才，且資源投入相對(duì)較少，無法滿足現(xiàn)階段各領(lǐng)域?qū)τ诮y(tǒng)計(jì)數(shù)據(jù)質(zhì)量評(píng)估體系的建設(shè)需求，不僅如此，統(tǒng)計(jì)數(shù)據(jù)質(zhì)量評(píng)估體系的建設(shè)還存在跨部門的情況。此外，不同部門的數(shù)據(jù)來源與數(shù)據(jù)需求不同，需要協(xié)調(diào)統(tǒng)一，因此，建立健全較為全面的統(tǒng)計(jì)數(shù)據(jù)質(zhì)量評(píng)估體系，解決各部門之間可能存在的信息壁壘問題，才能確保數(shù)據(jù)質(zhì)量評(píng)估工作的有效運(yùn)行[3]。

3. 基于信息化技術(shù)的統(tǒng)計(jì)數(shù)據(jù)質(zhì)量評(píng)估體系構(gòu)建與應(yīng)用策略

3.1 應(yīng)用數(shù)據(jù)技術(shù)，建立健全數(shù)據(jù)采集系統(tǒng)

要構(gòu)建完善的統(tǒng)計(jì)數(shù)據(jù)質(zhì)量評(píng)估體系，可以立足于信息化技術(shù)的發(fā)展背景，應(yīng)用各類信息化技術(shù)，建立健全數(shù)據(jù)采集系統(tǒng)。健全的數(shù)據(jù)采集系統(tǒng)需明確數(shù)據(jù)來源，以確保數(shù)據(jù)的追根溯源性和可信度。不僅如此，還須設(shè)置數(shù)據(jù)采集的相關(guān)規(guī)范和標(biāo)準(zhǔn)，以確保數(shù)據(jù)在采集過程中的一致性和準(zhǔn)確性，利用先進(jìn)的數(shù)據(jù)采集工具和數(shù)據(jù)分析技術(shù)，提高數(shù)據(jù)采集的有效性。

在采集系統(tǒng)健全后，須利用數(shù)據(jù)清洗工具和相關(guān)算法，對(duì)所采集到的數(shù)據(jù)進(jìn)行清洗和去除，這是提高數(shù)據(jù)質(zhì)量的關(guān)鍵所在。數(shù)據(jù)清洗通常是指通過一系列的處理算法，糾正和識(shí)別數(shù)據(jù)當(dāng)中可能存在的錯(cuò)誤、缺失或重復(fù)值等，從而確保各類數(shù)據(jù)的準(zhǔn)確性和一致性[4]。例如，專門的數(shù)據(jù)采集工具WebScraper、ParseHub、Octoparse等，可以幫助自動(dòng)化網(wǎng)頁數(shù)據(jù)的抓取和提取，以提高該類數(shù)據(jù)應(yīng)用的準(zhǔn)確性。而對(duì)于API接口來說，可以直接獲取第三方的數(shù)據(jù)信息，以實(shí)現(xiàn)數(shù)據(jù)的快速整合。除此之外，數(shù)據(jù)儲(chǔ)存技術(shù)如關(guān)系型數(shù)據(jù)庫、NoSQL數(shù)據(jù)庫、數(shù)據(jù)湖等，可以根據(jù)具體場(chǎng)景選擇數(shù)據(jù)類型，并進(jìn)行儲(chǔ)存和管理。而通過數(shù)據(jù)清洗工具和相關(guān)算法，可以提高數(shù)據(jù)的整體質(zhì)量，減少數(shù)據(jù)分析過程中可能存在的誤差和偏差，并保證統(tǒng)計(jì)數(shù)據(jù)的可行性[5]。

3.2 利用數(shù)據(jù)質(zhì)量管理工具，設(shè)計(jì)合適的數(shù)據(jù)質(zhì)量度量指標(biāo)

在構(gòu)建統(tǒng)計(jì)數(shù)據(jù)質(zhì)量評(píng)估體系過程中，可以應(yīng)用數(shù)據(jù)質(zhì)量管理工具、數(shù)據(jù)挖掘技術(shù)、自動(dòng)化檢測(cè)工具、數(shù)據(jù)質(zhì)量度量指標(biāo)等，提高數(shù)據(jù)質(zhì)量評(píng)估的有效性，如數(shù)據(jù)質(zhì)量分析工具Talend Data Quality、Informatica Data Quality，數(shù)據(jù)清洗工具DataDog、Prometheus，數(shù)據(jù)質(zhì)量規(guī)則引擎工具Ataccama、Trillium Software System等[6]。而對(duì)于自動(dòng)化工具來說，可以自動(dòng)化執(zhí)行數(shù)據(jù)質(zhì)量測(cè)試用例，以減少人工干預(yù)，提高數(shù)據(jù)測(cè)試的整體效率。依托這類新技術(shù)，設(shè)計(jì)合適的數(shù)據(jù)質(zhì)量度量指標(biāo)，如針對(duì)數(shù)據(jù)的準(zhǔn)確性、完整性、一致性、時(shí)效性、可信度，實(shí)時(shí)監(jiān)測(cè)數(shù)據(jù)的整體質(zhì)量，及時(shí)發(fā)現(xiàn)該類數(shù)據(jù)在應(yīng)用過程中可能存在的問題。例如，針對(duì)數(shù)據(jù)準(zhǔn)確性，可以設(shè)計(jì)的指標(biāo)有數(shù)據(jù)錯(cuò)誤率、數(shù)據(jù)精度、數(shù)據(jù)完整性、數(shù)據(jù)一致性，如表1所示。針對(duì)數(shù)據(jù)完整性，可以設(shè)計(jì)數(shù)據(jù)完整率、數(shù)據(jù)缺失率、數(shù)據(jù)冗余等，從而保證數(shù)據(jù)的完備性。通過利用各類數(shù)據(jù)質(zhì)量管理工具，對(duì)該類數(shù)據(jù)進(jìn)行有效的監(jiān)測(cè)和管理，并通過自動(dòng)化的方式進(jìn)行數(shù)據(jù)收集分析，以提高各類數(shù)據(jù)質(zhì)量的有效性。通過合適的數(shù)據(jù)質(zhì)量度量指標(biāo)，構(gòu)建統(tǒng)計(jì)數(shù)據(jù)質(zhì)量評(píng)估體系，可以保證該類數(shù)據(jù)應(yīng)用的完整性和有效性[7]。

3.3 健全數(shù)據(jù)質(zhì)量改進(jìn)系統(tǒng)與統(tǒng)一的合作機(jī)制

建立和運(yùn)用以信息為基礎(chǔ)的統(tǒng)計(jì)數(shù)據(jù)質(zhì)量評(píng)價(jià)制度，需要建立完善的數(shù)據(jù)質(zhì)量提升體系和協(xié)調(diào)協(xié)作機(jī)制。其中，建立一個(gè)數(shù)據(jù)品質(zhì)改善體系，包括數(shù)據(jù)收集、處理、分析、發(fā)布的各個(gè)階段，并通過信息技術(shù)綜合提高數(shù)據(jù)的準(zhǔn)確性、完整性。因此，結(jié)合實(shí)際需要構(gòu)建規(guī)范化的數(shù)據(jù)獲取過程，利用API集成、數(shù)據(jù)清洗等自動(dòng)化手段，降低人工誤差，提升數(shù)據(jù)輸入的效率和精度[8]。同時(shí)，推進(jìn)元數(shù)據(jù)的規(guī)范化，保證各類資料的來源、定義及變更的可追蹤，為后續(xù)的資料核實(shí)與品質(zhì)評(píng)價(jià)提供依據(jù)[9]。此外，通過搭建多個(gè)部門間的信息交流平臺(tái)，使相關(guān)主體可以及時(shí)了解當(dāng)前的信息，從而提升政策制定的科學(xué)性。例如，通過組織數(shù)據(jù)質(zhì)量評(píng)價(jià)活動(dòng)，建立閉環(huán)機(jī)制，并根據(jù)評(píng)價(jià)的結(jié)論對(duì)數(shù)據(jù)進(jìn)行改善，對(duì)存在的問題進(jìn)行實(shí)時(shí)校正，形成全員參與、共同維護(hù)數(shù)據(jù)質(zhì)量的良好氛圍，實(shí)現(xiàn)數(shù)據(jù)質(zhì)量的可持續(xù)優(yōu)化，為企業(yè)的決策和發(fā)展提供數(shù)據(jù)基礎(chǔ)[10]。

結(jié)語

隨著我國(guó)經(jīng)濟(jì)社會(huì)的快速發(fā)展，可以借助現(xiàn)代化的信息技術(shù)，為科學(xué)的政策制定奠定良好的理論依據(jù)。因此，應(yīng)用數(shù)據(jù)技術(shù)建立健全數(shù)據(jù)采集系統(tǒng)，利用數(shù)據(jù)質(zhì)量管理工具設(shè)計(jì)合適的數(shù)據(jù)質(zhì)量度量指標(biāo)，健全數(shù)據(jù)質(zhì)量改進(jìn)系統(tǒng)與統(tǒng)一的合作機(jī)制，實(shí)現(xiàn)多個(gè)領(lǐng)域間的數(shù)據(jù)資源共享與協(xié)同，推進(jìn)信息化與統(tǒng)計(jì)工作的深入結(jié)合，提高大數(shù)據(jù)的利用效率和使用效率，對(duì)于促進(jìn)經(jīng)濟(jì)社會(huì)發(fā)展具有積極意義。

參考文獻(xiàn)：

[1]徐婷婷.基于機(jī)器學(xué)習(xí)的高校合同數(shù)據(jù)的異常檢測(cè)與質(zhì)量評(píng)估[D].武漢：華中農(nóng)業(yè)大學(xué)，2022.

[2]梁巖，任玉鳳，李志紅，等.統(tǒng)計(jì)指標(biāo)數(shù)據(jù)質(zhì)量控制與評(píng)估方法探究[J].統(tǒng)計(jì)與管理，2022，37（5）：21-26.

[3]何永鋒.金融統(tǒng)計(jì)數(shù)據(jù)質(zhì)量評(píng)估體系國(guó)際經(jīng)驗(yàn)及中國(guó)實(shí)踐[J].黑龍江金融，2021（7）：22-25.

[4]朱文軒.基于數(shù)據(jù)挖掘的我國(guó)林業(yè)統(tǒng)計(jì)數(shù)據(jù)質(zhì)量評(píng)估方法與實(shí)證研究[D].北京：北京林業(yè)大學(xué)，2021.

[5]王佩.基于多源數(shù)據(jù)的統(tǒng)計(jì)數(shù)據(jù)質(zhì)量評(píng)估方法與應(yīng)用研究[D].西安：西安財(cái)經(jīng)大學(xué)，2021.

[6]李剛.長(zhǎng)沙市經(jīng)濟(jì)普查數(shù)據(jù)質(zhì)量評(píng)估及提升策略研究[D].長(zhǎng)沙：湖南大學(xué)，2021.

[7]程薇薇.概率論與數(shù)理統(tǒng)計(jì)服務(wù)專業(yè)教學(xué)模式改革探索[J].大學(xué)，2021（7）：117-118.

[8]田長(zhǎng)磊.芻議信息化技術(shù)在統(tǒng)計(jì)工作中的應(yīng)用實(shí)踐[J].投資與創(chuàng)業(yè)，2020， 31（24）：85-87.

[9]汪娟，向宗城.計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)在醫(yī)院統(tǒng)計(jì)管理中的運(yùn)用[J].軟件，2020，41（12）： 101-103.

[10]黃萍.基于信息化技術(shù)對(duì)醫(yī)院檔案管理的新模式探討[J].黑龍江檔案，2020（6）：2-3.

作者簡(jiǎn)介：璐然，碩士研究生，工程師，644822420@qq.com，研究方向：醫(yī)療大數(shù)據(jù)統(tǒng)計(jì)分析。