周山山
[摘 要]在各企業(yè)推行數(shù)字化轉(zhuǎn)型的時(shí)代浪潮中,如何做好數(shù)據(jù)治理是各企業(yè)面臨的一大難題。數(shù)據(jù)治理中最關(guān)鍵、最重要的一環(huán)就是數(shù)據(jù)質(zhì)量管理。文章詳細(xì)解讀和探討了GJB 5000B中測量與績效管理實(shí)踐域關(guān)于數(shù)據(jù)質(zhì)量的管理實(shí)踐,通過分析數(shù)據(jù)質(zhì)量的來由,旨在探討做好軟件質(zhì)量管理中的數(shù)據(jù)質(zhì)量管控和推廣,并為相關(guān)工作者提供借鑒和參考。
[關(guān)鍵詞]數(shù)據(jù)質(zhì)量;軟件管理;數(shù)據(jù)質(zhì)量管理;測量與績效管理
中圖分類號(hào):TP311 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1674-1722(2023)11-0001-03
在探討數(shù)據(jù)質(zhì)量之前,首先需要清楚什么是數(shù)據(jù)質(zhì)量。從20世紀(jì)70年代開始,關(guān)于數(shù)據(jù)質(zhì)量的研究工作逐漸興起,其主要經(jīng)歷了萌芽、形成和繁榮三個(gè)階段,經(jīng)過幾十年的研究發(fā)展,形成了許多理論、技術(shù)和方法[1]。在軟件開發(fā)管理領(lǐng)域,測量與績效管理是GJB 5000B版標(biāo)準(zhǔn)中的重要實(shí)踐域之一,該實(shí)踐域的目的是運(yùn)用測量和分析的方法管理工作和業(yè)務(wù)績效,確保在實(shí)現(xiàn)業(yè)務(wù)目標(biāo)的同時(shí),組織能力和績效得到同步提高。
數(shù)據(jù)質(zhì)量是測量與績效管理實(shí)踐域的一項(xiàng)重要實(shí)踐,做好測量與績效管理工作的基礎(chǔ)是做好數(shù)據(jù)質(zhì)量的管控。沒有數(shù)據(jù)質(zhì)量,任何數(shù)據(jù)分析工作便沒有了基礎(chǔ),基于數(shù)據(jù)分析開展的決策就會(huì)產(chǎn)生偏差,進(jìn)而影響組織的業(yè)務(wù)目標(biāo)實(shí)現(xiàn)。高質(zhì)量的數(shù)據(jù)已經(jīng)成為企業(yè)增強(qiáng)市場競爭力、制定正確決策的戰(zhàn)略資源之一[2]。文章通過討論數(shù)據(jù)質(zhì)量的定義、發(fā)展過程,分析各企業(yè)如何做好數(shù)據(jù)質(zhì)量管控,以便為各企業(yè)的數(shù)據(jù)質(zhì)量管控工作提供治理方向。
在數(shù)據(jù)質(zhì)量的發(fā)展過程中,數(shù)據(jù)質(zhì)量包括絕對(duì)值質(zhì)量和過程質(zhì)量?!缎畔⒓夹g(shù) 數(shù)據(jù)質(zhì)量評(píng)價(jià)指標(biāo)》中對(duì)“數(shù)據(jù)質(zhì)量”一詞作出了明確定義:數(shù)據(jù)質(zhì)量是在指定條件下使用時(shí),數(shù)據(jù)的特性滿足明確的與隱含的要求[3]。
數(shù)據(jù)質(zhì)量關(guān)注如績效和測量信息的齊全性和準(zhǔn)確性等方面的內(nèi)容,數(shù)據(jù)質(zhì)量需要保證數(shù)據(jù)測量要遵循的操作定義及數(shù)據(jù)存儲(chǔ)的完整性。
GJB 5000A-2008《軍用軟件研制能力成熟度模型》將數(shù)據(jù)質(zhì)量作為一條子實(shí)踐提出了要求,即在測量分析過程域“SP 2.1采集測量數(shù)據(jù)”中的子實(shí)踐“盡可能靠近數(shù)據(jù)源進(jìn)行數(shù)據(jù)完整性檢查”[4]。該子實(shí)踐僅要求檢查數(shù)據(jù)的完整性,既不全面,也不具備較強(qiáng)的可操作性,間接導(dǎo)致了各企業(yè)在落實(shí)GJB 5000系列標(biāo)準(zhǔn)的過程中,對(duì)于數(shù)據(jù)質(zhì)量的管理不夠重視,缺乏有質(zhì)量的數(shù)據(jù),數(shù)據(jù)分析、數(shù)據(jù)治理工作無法有效開展。
因此,GJB 5000B-2021在換版過程中吸取了GJB 5000A推進(jìn)過程中的經(jīng)驗(yàn)教訓(xùn),將對(duì)數(shù)據(jù)質(zhì)量的要求提升至測量與績效管理實(shí)踐域中的一條獨(dú)立實(shí)踐,即“MPM3.2建立并維護(hù)保證數(shù)據(jù)質(zhì)量的準(zhǔn)則”[5]。大數(shù)據(jù)時(shí)代比任何時(shí)候都更加注重?cái)?shù)據(jù)質(zhì)量。該標(biāo)準(zhǔn)對(duì)實(shí)踐提出了具體操作要求,便于標(biāo)準(zhǔn)落地實(shí)施,為各企業(yè)發(fā)揮四級(jí)的軟件能力成熟度水平打牢數(shù)據(jù)基礎(chǔ),體現(xiàn)了數(shù)據(jù)質(zhì)量是后續(xù)開展量化管理的基礎(chǔ),必須予以高度重視。
高質(zhì)量的數(shù)據(jù)是分析、預(yù)測和開展軟件開發(fā)活動(dòng)的基礎(chǔ)。隨著軟件開發(fā)相關(guān)數(shù)據(jù)越來越多,社會(huì)大眾逐步認(rèn)識(shí)到了數(shù)據(jù)質(zhì)量的重要性,并發(fā)現(xiàn)了一些潛在的數(shù)據(jù)質(zhì)量問題[6]。
在企業(yè)推進(jìn)GJB 5000系列標(biāo)準(zhǔn)的過程中,經(jīng)常會(huì)出現(xiàn)兩類關(guān)于數(shù)據(jù)質(zhì)量的典型問題。一類是測量數(shù)據(jù)缺失。例如,某軟件項(xiàng)目提交的測量分析報(bào)告,由于部分?jǐn)?shù)據(jù)不完整,導(dǎo)致數(shù)據(jù)質(zhì)量不高、存在大量空值,進(jìn)而影響組織級(jí)測量項(xiàng)的偏差,導(dǎo)致組織過程改進(jìn)項(xiàng)未得到準(zhǔn)確識(shí)別,影響組織過程改進(jìn)。另一類是測量數(shù)據(jù)不準(zhǔn)確。例如,某項(xiàng)目采用軟件產(chǎn)品線的方式研制軟件,大量使用了軟件模塊,但是在采集部分測量數(shù)據(jù)時(shí),仍舊采用常規(guī)計(jì)算方法,導(dǎo)致出現(xiàn)測量數(shù)據(jù)不準(zhǔn)確的情況,即對(duì)軟件按照新開發(fā)的方式計(jì)算工作量,往往使軟件的生產(chǎn)率顯著提高或嚴(yán)重脫離實(shí)際。
因此,數(shù)據(jù)質(zhì)量管理具有重要意義,其重要性主要體現(xiàn)在以下三個(gè)方面。
第一,數(shù)據(jù)質(zhì)量管理是實(shí)施數(shù)據(jù)治理的必要環(huán)節(jié)。數(shù)據(jù)治理是數(shù)據(jù)資源及其在應(yīng)用過程中相關(guān)活動(dòng)的集合。數(shù)據(jù)治理主要包括數(shù)據(jù)戰(zhàn)略、數(shù)據(jù)架構(gòu)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)交換和數(shù)據(jù)安全等諸多方面。數(shù)據(jù)質(zhì)量是其中必不可少且關(guān)鍵的環(huán)節(jié)。同時(shí),數(shù)據(jù)治理的目的是保證產(chǎn)生、提供和使用高質(zhì)量的數(shù)據(jù)。
第二,數(shù)據(jù)質(zhì)量管理是數(shù)據(jù)資產(chǎn)建立的重要保障。數(shù)據(jù)資產(chǎn)是指由組織擁有或者控制、為組織帶來利益的數(shù)據(jù)資源。數(shù)據(jù)是組織重要的、核心的、寶貴的資產(chǎn)。數(shù)據(jù)價(jià)值的高低由數(shù)據(jù)質(zhì)量的好壞直接決定。
第三,數(shù)據(jù)質(zhì)量管理是數(shù)據(jù)應(yīng)用服務(wù)的基礎(chǔ)條件。數(shù)據(jù)應(yīng)用服務(wù)是數(shù)據(jù)資產(chǎn)價(jià)值的重要表現(xiàn)形式,與組織的業(yè)務(wù)息息相關(guān)。高質(zhì)量數(shù)據(jù)提取才能生成高價(jià)值的信息。數(shù)據(jù)質(zhì)量直接影響數(shù)據(jù)應(yīng)用服務(wù)的效果。
(一)數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)定義
《信息技術(shù) 數(shù)據(jù)質(zhì)量評(píng)價(jià)指標(biāo)》關(guān)于數(shù)據(jù)質(zhì)量的評(píng)判標(biāo)準(zhǔn)給出了明確的規(guī)定[3],如圖1所示。
1.規(guī)范性
規(guī)范性是指數(shù)據(jù)符合數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)模型、元數(shù)據(jù)、安全規(guī)范、業(yè)務(wù)規(guī)則或權(quán)威參考數(shù)據(jù)的程度。數(shù)據(jù)測量項(xiàng)應(yīng)滿足本企業(yè)規(guī)范中的測量項(xiàng)定義。
2.完整性
完整性是指按照數(shù)據(jù)規(guī)則要求,數(shù)據(jù)元素被賦予數(shù)值的程度,一般以數(shù)據(jù)采集到的程度衡量數(shù)據(jù)的完整性,即應(yīng)采集的數(shù)據(jù)和實(shí)際采集到數(shù)據(jù)的比例。測量項(xiàng)采集人應(yīng)按測量分析計(jì)劃的要求采集數(shù)據(jù),保證數(shù)據(jù)的完整性。
3.準(zhǔn)確性
準(zhǔn)確性是指數(shù)據(jù)準(zhǔn)確表示其描述的實(shí)際對(duì)象真實(shí)值的程度。采集人在數(shù)據(jù)采集時(shí),測量項(xiàng)的量綱、精度、值域、測量函數(shù)、采集存儲(chǔ)方法及采集時(shí)機(jī)應(yīng)滿足本企業(yè)規(guī)范中的測量項(xiàng)定義。
4.一致性
一致性是指數(shù)據(jù)與其他特定上下文中使用的數(shù)據(jù)無矛盾的程度。單個(gè)測量項(xiàng)只能有一個(gè)采集源。當(dāng)同一測量數(shù)據(jù)多處存在時(shí),數(shù)據(jù)之間應(yīng)保持一致。
5.時(shí)效性
時(shí)效性是指數(shù)據(jù)在時(shí)間變化中的正確程度。在不同階段,測量項(xiàng)應(yīng)按測量分析計(jì)劃要求進(jìn)行采集、分析和存儲(chǔ),應(yīng)定期(根據(jù)項(xiàng)目要求)或事件觸發(fā)時(shí)(出廠質(zhì)量評(píng)審、內(nèi)外部檢查等)更新測量數(shù)據(jù)。
6.可訪問性
可訪問性是指數(shù)據(jù)能被訪問的程度。數(shù)據(jù)經(jīng)采集分析后應(yīng)按企業(yè)規(guī)范中的測量項(xiàng)定義進(jìn)行存儲(chǔ),確保能被訪問。同時(shí),數(shù)據(jù)在需要采集時(shí),應(yīng)保證能被授權(quán)人員訪問。
(二)數(shù)據(jù)質(zhì)量監(jiān)控與評(píng)估
數(shù)據(jù)質(zhì)量監(jiān)控的目的是滿足數(shù)據(jù)質(zhì)量要求,消除或減少異常數(shù)據(jù)。主要方式是利用已定義的規(guī)則定時(shí)進(jìn)行批處理,及時(shí)發(fā)現(xiàn)問題,提高輸出數(shù)據(jù)質(zhì)量。數(shù)據(jù)質(zhì)量監(jiān)控一般采用信息化手段實(shí)施,保證監(jiān)控效率和監(jiān)控質(zhì)量。數(shù)據(jù)質(zhì)量評(píng)估則是利用數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)和評(píng)估方法,評(píng)估數(shù)據(jù)質(zhì)量,得到評(píng)估結(jié)果,為提升數(shù)據(jù)質(zhì)量提供參考和依據(jù)。
通常情況下,可以按照數(shù)據(jù)質(zhì)量各維度的標(biāo)準(zhǔn)制定符合要求的計(jì)分準(zhǔn)則,最終評(píng)分則按照各個(gè)標(biāo)準(zhǔn)的滿足情況進(jìn)行評(píng)分加權(quán),加權(quán)后的結(jié)果作為數(shù)據(jù)質(zhì)量的優(yōu)劣評(píng)判依據(jù)。需要注意的是,數(shù)據(jù)的優(yōu)劣與數(shù)據(jù)的特性、數(shù)據(jù)的應(yīng)用場景及業(yè)務(wù)發(fā)展階段息息相關(guān)。
(三)數(shù)據(jù)質(zhì)量原因分析
數(shù)據(jù)質(zhì)量原因分析的主要工作是準(zhǔn)確描述問題和具體分析問題。首先是呈現(xiàn)問題,準(zhǔn)確描述問題是分析解決問題的首要條件,問題描述清楚的過程也是分析解決問題的一部分。其次是針對(duì)具體問題展開具體分析,通常采用可視化的方式,分類統(tǒng)計(jì)數(shù)據(jù)問題,分析數(shù)據(jù)質(zhì)量的變化趨勢,找出其中常見的問題。
數(shù)據(jù)質(zhì)量分析不能只停留在發(fā)現(xiàn)問題本身,而是需要追根溯源,找到數(shù)據(jù)的源頭系統(tǒng)。影響數(shù)據(jù)質(zhì)量的因素一般涉及技術(shù)、業(yè)務(wù)和管理三個(gè)方面。
技術(shù)因素主要表現(xiàn)為由于數(shù)據(jù)處理各技術(shù)環(huán)節(jié)異常產(chǎn)生的數(shù)據(jù)質(zhì)量問題,主要包括數(shù)據(jù)模型設(shè)計(jì)、數(shù)據(jù)采集過程、數(shù)據(jù)源和數(shù)據(jù)存儲(chǔ)等。
業(yè)務(wù)因素主要表現(xiàn)為由于業(yè)務(wù)系統(tǒng)作業(yè)流程和人工操作流程設(shè)置不當(dāng)而產(chǎn)生的數(shù)據(jù)質(zhì)量問題,主要包括業(yè)務(wù)需求不清晰、業(yè)務(wù)端數(shù)據(jù)輸入不規(guī)范、業(yè)務(wù)需求的變更和數(shù)據(jù)作假等。
管理因素主要表現(xiàn)為由于人員能力及管理機(jī)制等方面原因產(chǎn)生的數(shù)據(jù)質(zhì)量問題,主要包括缺乏數(shù)據(jù)思維、缺乏明確的數(shù)據(jù)質(zhì)量目標(biāo)、缺乏有效的數(shù)據(jù)管控機(jī)制和質(zhì)量問題處置機(jī)制等。
(四)數(shù)據(jù)質(zhì)量改進(jìn)與提升
數(shù)據(jù)質(zhì)量改進(jìn)與提升可以采用PDCA循環(huán)過程這一方法。PDCA循環(huán)又稱戴明環(huán)。該方法是由質(zhì)量管理專家休哈特率先提出的,通過管理專家戴明的宣傳并普及,其成為全面質(zhì)量管理的思想基礎(chǔ)和方法依據(jù)。
PDCA循環(huán)分為策劃(Plan)、實(shí)施(Do)、檢查(Check)和處置(Act)四個(gè)步驟。它可以使我們的思想方法和工作步驟更加條理化、系統(tǒng)化,反映了企業(yè)管理業(yè)務(wù)的一般規(guī)律。在質(zhì)量管理過程中,各項(xiàng)工作通常按照制定計(jì)劃、實(shí)施計(jì)劃和檢查效果展開,然后將成功的實(shí)踐納入規(guī)章制度,未獲得成功的工作留到下一循環(huán)繼續(xù)解決[7]。
根據(jù)PDCA循環(huán),數(shù)據(jù)質(zhì)量改進(jìn)與提升的通用步驟可以分為以下五個(gè)方面。
一是明確質(zhì)量提升改進(jìn)目標(biāo),圍繞企業(yè)業(yè)務(wù),定義數(shù)據(jù)質(zhì)量管理的需求和提升目標(biāo)。
二是建立組織體系保障,構(gòu)建數(shù)據(jù)質(zhì)量管理的組織體系,包括制定相關(guān)業(yè)務(wù)規(guī)則、目標(biāo)和指標(biāo)等,確保數(shù)據(jù)質(zhì)量管理得到組織體系的保障。
三是實(shí)施考核體系,建立數(shù)據(jù)質(zhì)量KPI,確定數(shù)據(jù)質(zhì)量水平和警戒值,通過常態(tài)化開展數(shù)據(jù)質(zhì)量考核,評(píng)估數(shù)據(jù)質(zhì)量管理情況。
四是制定問題解決方案,根據(jù)數(shù)據(jù)質(zhì)量的提升改進(jìn)目標(biāo),制定數(shù)據(jù)質(zhì)量問題處理策略和計(jì)劃并付諸行動(dòng),落實(shí)問題整改和糾正,解決數(shù)據(jù)質(zhì)量問題。
五是確認(rèn)數(shù)據(jù)質(zhì)量提升效果,通過不斷監(jiān)控和評(píng)估數(shù)據(jù)質(zhì)量,確認(rèn)數(shù)據(jù)質(zhì)量提升效果。
文章從數(shù)據(jù)質(zhì)量的含義、意義及工作內(nèi)容等方面展開了實(shí)踐探討,結(jié)合GJB 5000B《軍用軟件能力成熟度模型》的換版思想及GB/T 36344《信息技術(shù) 數(shù)據(jù)質(zhì)量評(píng)價(jià)指標(biāo)》的規(guī)范性要求,為企業(yè)實(shí)施GJB 5000B四級(jí)或是數(shù)字化轉(zhuǎn)型提供了數(shù)據(jù)保證。
數(shù)據(jù)質(zhì)量保證是一項(xiàng)基礎(chǔ)且繁復(fù)的工作,文章僅是筆者從實(shí)踐的演變角度對(duì)標(biāo)準(zhǔn)的簡單分析和研究,不能保證完全深入透徹地描述其背后的復(fù)雜情況,有待后續(xù)隨著標(biāo)準(zhǔn)的進(jìn)一步實(shí)施,發(fā)掘更多的優(yōu)秀實(shí)踐,指導(dǎo)各企業(yè)開展數(shù)據(jù)質(zhì)量治理工作。
[1]蔡莉,梁宇,朱揚(yáng)勇,等.數(shù)據(jù)質(zhì)量的歷史沿革和發(fā)展趨勢[J].計(jì)算機(jī)科學(xué),2018(04):1-10.
[2]甘似禹,車品覺,楊天順,等.大數(shù)據(jù)治理體系[J].計(jì)算機(jī)應(yīng)用與軟件,2018(06):1-8.
[3] GB/T 36344-2018,信息技術(shù) 數(shù)據(jù)質(zhì)量評(píng)價(jià)指標(biāo)[S].北京:中國標(biāo)準(zhǔn)出版社,2018.
[4] GJB 5000A-2018,軍用軟件研制能力成熟度模型[S].北京:總裝備部軍標(biāo)出版發(fā)行部,2009.
[5] GJB 5000B-2021,軍用軟件能力成熟度模型[S].北京:國家軍用標(biāo)準(zhǔn)出版發(fā)行部,2022.
[6]涂菲菲,周明輝.軟件開發(fā)活動(dòng)數(shù)據(jù)的數(shù)據(jù)質(zhì)量問題[J].軟件學(xué)報(bào),2019(05):1522-1531.
[7]周強(qiáng).PDCA循環(huán)理論在外匯數(shù)據(jù)質(zhì)量管理上的應(yīng)用研究與實(shí)踐[J].微型電腦應(yīng)用,2017(01):62-66.