基于系統(tǒng)工程的試驗與評價質(zhì)量管理體系設(shè)計

劉琦

（湖南交通工程學(xué)院高科技研究院，湖南衡陽 421009）

0 引言

隨著《中國制造2025》的提出與不斷推進，隨著國際政治經(jīng)濟形勢的變化，逐步完成關(guān)鍵零部件、關(guān)鍵裝備的國產(chǎn)化，已成為裝備研發(fā)和生產(chǎn)中需面臨的首要問題。對裝備建設(shè)而言，試驗與評價[1]（Test and Evaluation，T&E）的作用是：獲取裝備的相關(guān)信息，完成相關(guān)技術(shù)指標(biāo)、性能指標(biāo)的分析，發(fā)現(xiàn)設(shè)計生產(chǎn)的薄弱環(huán)節(jié)并加以改進。而T&E的策劃、實施過程、結(jié)果等如何，如何衡量T&E是否達(dá)到了預(yù)定的目標(biāo)，則需要運用質(zhì)量管理[2-3]方法對T&E過程進行全面管理，以確保T&E的有效性、科學(xué)性和準(zhǔn)確性。

在裝備T&E質(zhì)量管理方面，國內(nèi)外的學(xué)者已進行了大量的相關(guān)研究，如居加祥等[4]將質(zhì)量管理方法融入到地面裝備系統(tǒng)聯(lián)調(diào)試驗的質(zhì)量管理過程，提出了具有航天特色的質(zhì)量管理方法；朱軍等[5]對航天裝備試驗質(zhì)量管理知識體系的構(gòu)建進行了論述，給出了知識體系的框架和內(nèi)容；郭建軍[6]對試驗裝備保障項目的質(zhì)量管理效能評估機制進行研究，設(shè)計了評估組織管理機構(gòu)，規(guī)范了評估執(zhí)行計劃，提出了評估模型構(gòu)建的幾種方式；顧清[7]以磁學(xué)工程武器裝備為對象，對試驗質(zhì)量管理進行了探討，闡述了試驗管理PDCA程序及試驗可能出現(xiàn)差錯的6個方面；秦曉君等[8]從健全試驗裝備采辦管理機構(gòu)、完善試驗裝備采辦管理法規(guī)制度、強化質(zhì)量管理體系監(jiān)督和加強試驗裝備質(zhì)量管理人才隊伍建設(shè)等方面，提出了加強試驗裝備采辦過程質(zhì)量管理的對策建議；單永海等[9]從過程管理角度出發(fā)，對裝備試驗過程質(zhì)量管理進行了研究，從技術(shù)層面提出了裝備科研試驗全過程質(zhì)量管理理論、方法和應(yīng)用的思路。

在質(zhì)量管理體系的理論、應(yīng)用方面，國內(nèi)外已進行了大量的研究，如國際標(biāo)準(zhǔn)化組織發(fā)布了2015版的ISO9000系列標(biāo)準(zhǔn)[10]，2016版醫(yī)療器械質(zhì)量管理體系標(biāo)準(zhǔn)ISO13845[11]等。Gregory[12]描述了在北卡羅來納大學(xué)醫(yī)學(xué)院基因組學(xué)核心設(shè)施中建立質(zhì)量管理體系的系統(tǒng)方法，給出了質(zhì)量管理體系的實施步驟；Rashed等[13]針對質(zhì)量管理體系應(yīng)用中質(zhì)量審核人為判斷的不足，構(gòu)建了中性質(zhì)量審核（Neutrosophic Quality Audit）模型；陳朝兵[14]對公共服務(wù)質(zhì)量管理體系的需求進行了分析，構(gòu)建了“復(fù)合型”基本公共服務(wù)質(zhì)量管理體系；段心林等[15]提出了與研發(fā)活動相匹配的汽車研發(fā)組織質(zhì)量管理體系構(gòu)建方法，建立了質(zhì)量管理體系框架。在T&E的質(zhì)量管理體系研究方面，當(dāng)前的研究主要集中在試驗和檢測方面。如楊鈺等[16]從明確質(zhì)量規(guī)劃、建立質(zhì)量保證、執(zhí)行質(zhì)量控制、持續(xù)質(zhì)量改進4個方面對藥物臨床試驗質(zhì)量管理體系的建設(shè)進行了闡述；牛曉也等[17]從數(shù)據(jù)上證明了應(yīng)用質(zhì)量管理體系（QMS）可顯著提高醫(yī)療機構(gòu)臨床試驗管理的質(zhì)量及效率；Kateryna等[18]對于臨床試驗的質(zhì)量管理，建立了質(zhì)量管理體系的過程模型，給出了現(xiàn)場試驗實施質(zhì)量管理體系的一般框架；S. Djali等[19]對藥物臨床試驗基于數(shù)據(jù)和量度驅(qū)動策略的質(zhì)量管理體系開發(fā)進行了描述。對于裝備T&E質(zhì)量管理體系的研究還處于初步研究階段，如管海山[20]分析了當(dāng)前裝備試驗后勤保障質(zhì)量管理體系建設(shè)存在的問題，并提出了加強后勤保障質(zhì)量管理體系建設(shè)的改進對策；韓成哲等[21]給出了裝備試驗質(zhì)量管理體系結(jié)構(gòu)，并根據(jù)軍事裝備試驗的4個階段，闡述了試驗全過程質(zhì)量控制的基本方法；洛剛等[22]提出了建立裝備試驗質(zhì)量管理體系的構(gòu)想，并就建立該體系應(yīng)注意的若干問題進行了論述；侯興明等[23]闡述了航天試驗裝備質(zhì)量、質(zhì)量管理和質(zhì)量管理體系的概念，并從5個方面對質(zhì)量管理體系的框架進行了研究和設(shè)計。

從現(xiàn)有研究情況看，對企業(yè)管理、試驗管理，按照ISO和GB（國家標(biāo)準(zhǔn)）標(biāo)準(zhǔn)構(gòu)建質(zhì)量管理體系，進行質(zhì)量管理體系認(rèn)證，并按照要求對企業(yè)進行全方位的質(zhì)量管理，已成為現(xiàn)代企業(yè)管理標(biāo)準(zhǔn)化、規(guī)范化的必備條件。但T&E作為一個系統(tǒng)，其質(zhì)量管理方法與質(zhì)量管理體系的研究還處于初始探索階段，還需在如下方面進行深入的研究和探索以提升T&E的質(zhì)量管理水平，進一步提升產(chǎn)品質(zhì)量：1）設(shè)計T&E質(zhì)量管理體系，對T&E全過程質(zhì)量管理的目標(biāo)、需求、策略和任務(wù)等進行總體規(guī)劃，完成質(zhì)量管理的頂層設(shè)計；2）構(gòu)建量化質(zhì)量評價模型，對T&E全過程產(chǎn)生的信息進行質(zhì)量評價，特別是進行T&E信息的信度和效度分析；3）設(shè)計軟科學(xué)項目通用質(zhì)量特性評價規(guī)則，相比具體軟硬件產(chǎn)品（其通用質(zhì)量特性[24]表現(xiàn)為可靠性、維修性、保障性、安全性、測試性、環(huán)境適應(yīng)性等），T&E屬于管理性的軟科學(xué)項目，其產(chǎn)出為文件、數(shù)據(jù)，其通用質(zhì)量特性更多的表現(xiàn)為文件的符合性、數(shù)據(jù)的準(zhǔn)確性、信息的時效性等，此時需要對T&E的通用質(zhì)量特性進行設(shè)計，并給出相應(yīng)的評價分析方法。鑒于質(zhì)量管理體系的必要性和基礎(chǔ)性，本文以T&E為對象，從系統(tǒng)工程角度對T&E質(zhì)量管理體系的需求、PDCA循環(huán)過程、通用質(zhì)量特性等進行研究，為產(chǎn)品T&E的質(zhì)量管理提供總體性框架性的支持。

1 T&E質(zhì)量管理需求分析

T&E的定義[1,25-26]為：通過試驗獲取足夠有價值的數(shù)據(jù)資料（信息），并將所獲得的數(shù)據(jù)進行處理、邏輯組合和分析，將其結(jié)果與裝備研制總要求中規(guī)定的戰(zhàn)術(shù)技術(shù)指標(biāo)和作戰(zhàn)使用要求進行分析比較，對實現(xiàn)裝備研制目標(biāo)的情況進行評價，對軍事裝備（包括系統(tǒng)、分系統(tǒng)及其部件）的戰(zhàn)術(shù)技術(shù)性能和作戰(zhàn)使用性能進行評定的過程，其目的是為裝備的定型、部隊使用、研制單位驗證設(shè)計思想和檢驗生產(chǎn)工藝提供科學(xué)的決策依據(jù)。根據(jù)ISO9001：2015，質(zhì)量管理體系（Quality Management System，QMS）是指在質(zhì)量方面指揮和控制組織的管理體系。它將資源與過程結(jié)合，以過程管理方法進行系統(tǒng)管理，涵蓋了從確定顧客需求、設(shè)計研制、生產(chǎn)、檢驗、銷售、交付之前全過程的策劃、實施、監(jiān)控、糾正與改進活動的要求，一般以文件化的方式，成為組織內(nèi)部質(zhì)量管理工作的要求。

從T&E的定義看，其包括裝備某項指標(biāo)在某個具體階段的T&E和裝備所有指標(biāo)在其全壽命周期內(nèi)的所有T&E，前者稱為T&E的元模型，后者是所有元模型的邏輯組合。元模型可用如下的五元組描述[26]：T&E元模型={壽命階段，評價指標(biāo)，裝備層次，試驗方法，評價方法}。以五元組模型為基礎(chǔ)，將壽命階段拓展為論證階段、方案階段、工程研制階段、定型階段、批生產(chǎn)階段、使用與保障階段，將評價指標(biāo)細(xì)化為可靠性、維修性、保障性、測試性、安全性、環(huán)境適應(yīng)性等，將裝備層次拓展為零配件、整機、子系統(tǒng)、系統(tǒng)、體系，則可構(gòu)建T&E霍爾三維結(jié)構(gòu)模型[26]。

結(jié)合T&E的工作特點、定義與目標(biāo)，依據(jù)ISO9001：2015《質(zhì)量管理體系要求》，對比一般的硬件產(chǎn)品，T&E的質(zhì)量管理有其特殊的工程需求，主要體現(xiàn)如下。

1）管理的特殊性。T&E的最終結(jié)果是信息和方法，是一種特殊的產(chǎn)品。相比一般企業(yè)進行ISO認(rèn)證，其產(chǎn)品為軟件、硬件產(chǎn)品，T&E的產(chǎn)品具有特殊性，它是產(chǎn)品試驗的信息、指標(biāo)評價的方法，具有非常強的抽象性，對其質(zhì)量檢驗與控制、管理等需要運用特殊的手段進行。以質(zhì)量管理中的不合格為例，T&E的不合格包括評價方法不正確、試驗數(shù)據(jù)異常于裝備的真實表現(xiàn)、試驗數(shù)據(jù)記錄不規(guī)范等。

2）工作的伴隨性。T&E伴隨于裝備的研發(fā)、生產(chǎn)、使用過程，屬于伴隨性的核心工作。與一般企業(yè)進行ISO認(rèn)證時是針對某個（某些）裝備全壽命周期的全面質(zhì)量認(rèn)證與檢驗不同，T&E是伴隨性的工作，是企業(yè)核心工作的一部分。除專業(yè)的實驗室、試驗靶場外，T&E工作一般由企業(yè)的研發(fā)、生產(chǎn)或測試部門（為便于描述，后文將企業(yè)內(nèi)部負(fù)責(zé)T&E的部門統(tǒng)稱為試驗部）完成，這些部門的工作過程通常沒有經(jīng)過專業(yè)的質(zhì)量管理體系認(rèn)證。

3）任務(wù)的科學(xué)性。T&E的質(zhì)量管理重點關(guān)注于信息與方法的正確性和科學(xué)性認(rèn)證，而不是符合性認(rèn)證。T&E關(guān)注于裝備試驗、評價信息是否正確反映了裝備的真實狀態(tài)，關(guān)注于指標(biāo)評價的方法是否科學(xué)，這屬于統(tǒng)計學(xué)領(lǐng)域的信度和效度分析[27-28]。符合性是對于給定的標(biāo)準(zhǔn)要求，只要裝備的購買、生產(chǎn)等符合這些標(biāo)準(zhǔn)要求，即可認(rèn)為其符合質(zhì)量要求。而信度和效度需要用科學(xué)的方法進行評價，證明所得評價結(jié)果與裝備真實狀態(tài)的一致性。

4）過程的信息性。ISO質(zhì)量體系認(rèn)證強調(diào)基于過程的管理，T&E的過程包括信息的需求分析、信息的產(chǎn)生、信息的評價和信息的傳遞。該類過程的識別、分析、管理區(qū)別于一般產(chǎn)品，需要對抽象的信息獲取、信息評價分析、信息管理等有明確、科學(xué)的方法，并需要有專業(yè)的數(shù)據(jù)處理人員加入。

5）評價的具體性。相比一般的軟硬件裝備，T&E質(zhì)量評價方式需要進行科學(xué)的定義，并給出比較客觀的評價準(zhǔn)則。在GJB 9001C-2017標(biāo)準(zhǔn)中，將通用質(zhì)量要求定義為可靠性、維修性、保障性、測試性、安全性和環(huán)境適應(yīng)性。而對于T&E，其產(chǎn)品為信息，其管理屬于過程性管理。在信息方面，信息的來源又分為試驗信息、外部供方提供的信息和評價產(chǎn)生的信息，這就涉及到對信息的評價，此時難以用硬件裝備的通用質(zhì)量要求進行評價衡量，需要給出信息質(zhì)量的評價方式。在管理方面，需對T&E的操作、執(zhí)行可行性、經(jīng)費管理滿足性等進行評價，這就需要定義符合T&E要求的質(zhì)量評價指標(biāo)。

上述5種需求是T&E區(qū)別于一般軟硬件產(chǎn)品最為關(guān)鍵的需求，對T&E構(gòu)建質(zhì)量管理體系，需要重點進行考慮，并融入質(zhì)量管理體系實踐的全過程。分析上述5點需求，明確其解決方案，并根據(jù)一般硬件裝備質(zhì)量管理體系設(shè)計的原則和要求，基于ISO9001：2015的工作框架，即可實現(xiàn)對T&E質(zhì)量管理的體系設(shè)計。

2 T&E質(zhì)量管理的顧客需求分析

ISO9001：2015強調(diào)通過滿足顧客要求增強顧客滿意度，因此明確T&E的顧客對象和顧客要求就成為T&E質(zhì)量管理的關(guān)鍵和基礎(chǔ)工作。從T&E的定義看，T&E的最終目的是獲取數(shù)據(jù)資料，評價研制目標(biāo)的實現(xiàn)情況。T&E的顧客是裝備的研制、生產(chǎn)或者采購單位。之所以有不同類型的顧客，是因為在裝備不同的壽命階段，T&E所產(chǎn)生的數(shù)據(jù)資料提供給的對象不同。由于在不同壽命階段，顧客類型不同，所以顧客需求的重點不同。

表1給出了T&E在不同壽命階段所需面對的顧客和顧客需求，所列出的顧客需求中，最為關(guān)鍵的是給出準(zhǔn)確、可追溯、甚至是故障可重現(xiàn)的T&E結(jié)果，這是最基本的共性要求，也是衡量T&E質(zhì)量的一個重要準(zhǔn)則。

表1 不同壽命階段T&E面對的顧客和顧客需求

3 T&E質(zhì)量管理的PDCA設(shè)計

ISO9001：2015標(biāo)準(zhǔn)倡導(dǎo)在建立、實施質(zhì)量管理體系及提高其有效性時采用過程方法，強調(diào)基于PDCA方法實現(xiàn)質(zhì)量的逐步提升。T&E的PDCA主要包括如下工作：

1）計劃（Plan）。提出對零配件、裝備T&E的計劃。計劃包括：列出需要進行評價的指標(biāo)、給出指標(biāo)的評價方法、列出需要進行試驗的內(nèi)容、給出試驗實施的步驟和數(shù)據(jù)整理方案、從理論上證明評價方法的科學(xué)性。

2）執(zhí)行（Do）。對零配件、裝備進行T&E的實施。執(zhí)行包括進行零配件和裝備的試驗、收集整理試驗數(shù)據(jù)、進行指標(biāo)的評價、給出評價的結(jié)果。

3）檢查（Check）。對T&E結(jié)果的正確性進行檢查驗證。檢查包括：基于類似零配件、裝備的T&E信息分析當(dāng)前T&E信息的合理性；回溯T&E的過程，避免出現(xiàn)不正確的操作和遺漏；與預(yù)期的結(jié)果（包括理論分析結(jié)果）進行比對，發(fā)現(xiàn)T&E中的異常值；列出所有異常信息，以便于進一步的分析。

4）處理（Act）。對于檢查中出現(xiàn)的不正確操作和遺漏、異常信息進行深入的分析，并給出解決方案。處理包括：改進不正確的操作、補充遺漏的T&E項目、分析異常值出現(xiàn)的原因；對于前述的這些處理給出解決方案，進一步可形成制度，避免在進一步的T&E中出現(xiàn)類似問題。

上述的PDCA過程是針對零部件或者裝備在某一個壽命階段所需進行的工作，隨裝備層次不同、類型不同、壽命階段不同，所需進行T&E的指標(biāo)不同、評價的方法不同，但所需進行的工作內(nèi)容是類似的。

當(dāng)最后一步的處理實施完成后，根據(jù)所需工作的開展情況，若本壽命階段所有的工作已按照要求完成，則可進入下一壽命階段的PDCA循環(huán)；若在本壽命階段還有大量的工作未完成，則需根據(jù)檢查和處理的結(jié)果，需返回本壽命階段的計劃，繼續(xù)進行本階段的PDCA。圖1給出了T&E的PDCA過程示意圖。由圖1可見，T&E的PDCA是逐步實施，并且通過不斷的改進實現(xiàn)T&E工作質(zhì)量的逐步提升，并且在每個P、D、C、A階段也可以進行細(xì)化的PDCA，實現(xiàn)本階段工作質(zhì)量的提升。

圖1 T&E的PDCA循環(huán)

4 T&E通用質(zhì)量特性設(shè)計

對于一般的硬件產(chǎn)品，特別是軍用裝備，其通用質(zhì)量特性[24,29]表現(xiàn)為可靠性、維修性等“六性”，而T&E屬于軟科學(xué)性質(zhì)的過程與產(chǎn)品，需從符合性、全面性、科學(xué)性、時效性、操作性等方面構(gòu)建軟科學(xué)產(chǎn)品的“五性”質(zhì)量指標(biāo)。

1）符合性。是指T&E指標(biāo)、方法、過程等選擇符合裝備研制、生產(chǎn)與保障等的標(biāo)準(zhǔn)（包括國標(biāo)、國軍標(biāo)、行業(yè)標(biāo)準(zhǔn)、國際標(biāo)準(zhǔn)）要求、合同要求，符合信息傳遞與管理的規(guī)范要求。

2）全面性。是指在T&E過程中，需全面考慮需評價的指標(biāo)、全面考慮需采集和分析的信息，從全系統(tǒng)、全過程的角度，對指標(biāo)進行設(shè)計，對信息進行規(guī)劃，避免指標(biāo)和信息的遺漏和工作的重復(fù)。

3）科學(xué)性。是指在T&E過程中，對指標(biāo)的評價方法選擇應(yīng)具備科學(xué)性，即在指標(biāo)評價過程中，評價方法應(yīng)能綜合篩選和利用現(xiàn)場試驗信息、歷史信息、子系統(tǒng)信息等，并且指標(biāo)評價的結(jié)果應(yīng)滿足數(shù)據(jù)分析的信度和效度要求，評價的結(jié)果應(yīng)能反映指標(biāo)的實際情況，避免指標(biāo)評價的不準(zhǔn)確性。

4）時效性。任何信息的應(yīng)用都有其特定的時效，需在給定的時間范圍內(nèi)傳遞、應(yīng)用，超過預(yù)定時間，不僅信息成為冗余信息，而且會造成其他工作的延誤。因此在T&E的時序安排上，不僅要給出需要采集、分析的信息，而且應(yīng)給出這些信息傳輸?shù)臅r間要求。

5）操作性。是指試驗方法、指標(biāo)評價方法和計算方法應(yīng)考慮當(dāng)前工作的實際環(huán)境條件，包括試驗環(huán)境、計算環(huán)境、人員能力、單位之間的協(xié)調(diào)能力等，使得T&E是可操作的，以確保試驗的順利實施、數(shù)據(jù)的準(zhǔn)確采集、計算的順利執(zhí)行和信息的高效傳遞。

上述“五性”從需求管理、理論分析、實踐操作3個層面對T&E的質(zhì)量管理與評價提出要求，在具體裝備的T&E中需進一步結(jié)合裝備的實際，采用頭腦風(fēng)暴、Delphi法等進一步論證具體的評價指標(biāo)和評價方法?！拔逍浴睉?yīng)用的具體流程要求如圖2所示。從圖2可見，對于“五性”的論證需多次反復(fù)進行，確保T&E的高質(zhì)量順利實施。

圖2 T&E通用質(zhì)量特性的分析需求與流程

5 結(jié)語

T&E作為一種軟科學(xué)的過程與產(chǎn)品，其質(zhì)量管理體系的設(shè)計區(qū)別于一般的硬件裝備。結(jié)合ISO9000質(zhì)量管理體系的要求，運用系統(tǒng)工程的理論、方法和技術(shù)，本文對T&E質(zhì)量管理體系需求、顧客對象和顧客需求、PDCA循環(huán)和通用質(zhì)量特性要求進行了闡述。首先，基于T&E的軟科學(xué)特性和工作特殊性，對T&E質(zhì)量管理的需求進行了分析，明確了T&E質(zhì)量管理需重點關(guān)注的5個特殊要求；然后，對不同壽命階段裝備T&E需面對的顧客對象和顧客需求進行了分析，明確了質(zhì)量管理原則中“以顧客為關(guān)注焦點”的質(zhì)量管理需求；再次，針對質(zhì)量管理體系設(shè)計中質(zhì)量的過程性要求，對PDCA質(zhì)量環(huán)的主要工作要求進行了闡述；最后，針對T&E質(zhì)量評價的軟科學(xué)特性，給出了質(zhì)量評價的符合性、全面性、科學(xué)性、時效性和操作性“五性”指標(biāo)，為軟科學(xué)產(chǎn)品的通用質(zhì)量評價給出了指標(biāo)建議。