楊思遠(yuǎn)

（福建省計量科學(xué)研究院，福建 福州 350012）

質(zhì)檢大數(shù)據(jù)平臺技術(shù)架構(gòu)及應(yīng)用服務(wù)價值模型探討

楊思遠(yuǎn)

（福建省計量科學(xué)研究院，福建 福州 350012）

在“互聯(lián)網(wǎng)+”時代，質(zhì)檢機(jī)構(gòu)承載了巨大數(shù)據(jù)資源。構(gòu)建質(zhì)檢大數(shù)據(jù)平臺實現(xiàn)質(zhì)檢數(shù)據(jù)資源的集中共享和分析利用是國家質(zhì)檢總局的一項重大決策。文中從分析質(zhì)檢系統(tǒng)當(dāng)前數(shù)據(jù)現(xiàn)狀入手，首先闡述了平臺架構(gòu)的構(gòu)建主線，而后提出了質(zhì)檢大數(shù)據(jù)平臺的架構(gòu)模型，該質(zhì)檢大數(shù)據(jù)架構(gòu)模型以數(shù)據(jù)采集系統(tǒng)、資源調(diào)度平臺、應(yīng)用體系3大主線為核心，數(shù)據(jù)源接入、數(shù)據(jù)存儲中間件、數(shù)據(jù)服務(wù)中間件為支撐，并深度探討了質(zhì)檢大數(shù)據(jù)平臺技術(shù)架構(gòu)包含的內(nèi)容和技術(shù)細(xì)節(jié)，該模型可為質(zhì)檢大數(shù)據(jù)平臺的構(gòu)建提供重要參考。最后創(chuàng)新性地提出了質(zhì)檢大數(shù)據(jù)平臺的應(yīng)用價值模型，該模型體現(xiàn)了質(zhì)檢大數(shù)據(jù)平臺的服務(wù)理念。

質(zhì)檢；大數(shù)據(jù)；架構(gòu)；服務(wù)

1 前言

質(zhì)檢機(jī)構(gòu)承載了巨大數(shù)據(jù)資源，質(zhì)檢部門除掌握了本部門大量的產(chǎn)品質(zhì)量、計量器具、特種設(shè)備、動植物檢疫等檢測數(shù)據(jù)外，還可以通過實驗室資質(zhì)認(rèn)可，獲取醫(yī)療、交通、建材、公路、防疫、氣象、能源、水電等一切需要向社會出具具有證明作用數(shù)據(jù)的檢測技術(shù)機(jī)構(gòu)的海量的第一手檢測數(shù)據(jù)，通過統(tǒng)計分析這些數(shù)據(jù)，可以為社會提供產(chǎn)品質(zhì)量、計量器具、特種設(shè)備，以及醫(yī)療、交通、氣象、能源等特殊行業(yè)的有用信息，擁有其他行政監(jiān)管部門無法獲取的數(shù)據(jù)資源[1]。構(gòu)建質(zhì)檢大數(shù)據(jù)平臺實現(xiàn)質(zhì)檢數(shù)據(jù)資源的集中共享和分析利用是國家質(zhì)檢總局的一項重大決策，也是質(zhì)檢部門找準(zhǔn)位置，主動履職，參與經(jīng)濟(jì)建設(shè)的重要突破口。

2 十二五期間質(zhì)檢系統(tǒng)數(shù)據(jù)分析

十二五期間，我國質(zhì)檢工作取得了豐碩的成果，以下是從第四次全國質(zhì)檢科技大會上得到的部分?jǐn)?shù)據(jù)，見表1。

以上成果為我國“質(zhì)量強(qiáng)國”建設(shè)作出重要貢獻(xiàn)，也使得質(zhì)檢工作積累了大量的數(shù)據(jù)，平均每年以TB級的量在增長，然而從數(shù)據(jù)的利用情況來講，質(zhì)檢數(shù)據(jù)利用率較低。正如國家質(zhì)檢總局局長支樹平指出，目前數(shù)據(jù)資源無法共享已成為阻礙質(zhì)檢發(fā)展的瓶頸問題，現(xiàn)在比較突出的矛盾是，數(shù)據(jù)資源雖然豐富，但信息系統(tǒng)彼此割裂，數(shù)據(jù)資源無法共享，造成了大量的“信息孤島”“僵尸數(shù)據(jù)”[3]。多年來，由于質(zhì)檢機(jī)構(gòu)對數(shù)據(jù)資源重視程度不夠，未意識到檢測數(shù)據(jù)是一種資源，也沒有意識到數(shù)據(jù)是可以產(chǎn)生巨大的價值，造成大量具有價值的數(shù)據(jù)閑置不用，甚至棄之不理，更無從談起對數(shù)據(jù)的分析處理和預(yù)研預(yù)判，使數(shù)據(jù)為國家社會利用。近年來，隨著國家對大數(shù)據(jù)以及信息化建設(shè)的日益重視，構(gòu)建質(zhì)檢大數(shù)據(jù)平臺已經(jīng)成為質(zhì)檢事業(yè)的一項重要內(nèi)容。

表1 十二五期間我國質(zhì)檢工作取得的部分成果和數(shù)據(jù)利用情況[2]

3 質(zhì)檢大數(shù)據(jù)平臺技術(shù)架構(gòu)探討

3.1 平臺架構(gòu)的構(gòu)建主線

圖1 平臺架構(gòu)的構(gòu)建主線

（1）通過質(zhì)檢各機(jī)構(gòu)的數(shù)據(jù)接入和數(shù)據(jù)存儲，進(jìn)行數(shù)據(jù)的量級積累。

（2）對積累的數(shù)據(jù)采用離線計算和實時計算的方式挖掘數(shù)據(jù)的價值。

（3）根據(jù)行業(yè)、政府和客戶的需求進(jìn)行查詢分析和數(shù)據(jù)挖掘，形成具有質(zhì)檢特色的數(shù)據(jù)應(yīng)用。

3.2 質(zhì)檢大數(shù)據(jù)架構(gòu)平臺模型

圖2 質(zhì)檢大數(shù)據(jù)架構(gòu)平臺模型

該質(zhì)檢大數(shù)據(jù)架構(gòu)模型以數(shù)據(jù)采集系統(tǒng)、資源調(diào)度平臺、應(yīng)用體系3大主線為核心，數(shù)據(jù)源接入、數(shù)據(jù)存儲中間件、數(shù)據(jù)服務(wù)中間件為支撐，由點入面全面構(gòu)建質(zhì)檢大數(shù)據(jù)平臺。下面從底層開始對各模塊分開闡述。

3.2.1 數(shù)據(jù)源

數(shù)據(jù)源是指質(zhì)檢系統(tǒng)各機(jī)構(gòu)的數(shù)據(jù)，包括內(nèi)部數(shù)據(jù)和外部數(shù)據(jù)。內(nèi)部數(shù)據(jù)包括各機(jī)構(gòu)的資產(chǎn)系統(tǒng)、財務(wù)系統(tǒng)、人資系統(tǒng)、業(yè)務(wù)系統(tǒng)、OA系統(tǒng)等，各系統(tǒng)以統(tǒng)一標(biāo)準(zhǔn)、統(tǒng)一規(guī)范的方式導(dǎo)入到質(zhì)檢大數(shù)據(jù)平臺或者通過平臺的數(shù)據(jù)采集組件實時的把數(shù)據(jù)采集到平臺中。外部數(shù)據(jù)是指在質(zhì)檢系統(tǒng)接受國家經(jīng)濟(jì)環(huán)境、宏觀政策、自然環(huán)境的影響和指導(dǎo)產(chǎn)生的數(shù)據(jù)（含圖像、音視頻系統(tǒng)以及word和excel等歸檔數(shù)據(jù)，和網(wǎng)站、微博、微信等社交數(shù)據(jù)）。

3.2.2 質(zhì)檢數(shù)據(jù)統(tǒng)一采集系統(tǒng)（QDCS）

圖3 質(zhì)檢數(shù)據(jù)統(tǒng)一采集系統(tǒng)

質(zhì)檢數(shù)據(jù)統(tǒng)一采集系統(tǒng)（QDCS）是構(gòu)建數(shù)據(jù)源和數(shù)據(jù)存儲系統(tǒng)間的橋梁，通過對質(zhì)檢數(shù)據(jù)的采集，為平臺提供數(shù)據(jù)支持。從架構(gòu)上來看，QDCS劃分為前端采集、數(shù)據(jù)緩存預(yù)處理等模塊。前端模塊主要針對各種數(shù)據(jù)形式（結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)）提供實時采集組件，實時采集組件可以按日志進(jìn)行實時數(shù)據(jù)的獲取。數(shù)據(jù)緩存預(yù)處理是對質(zhì)檢的清洗和數(shù)據(jù)集成的過程：數(shù)據(jù)清洗目的在于去除無效數(shù)據(jù)，消除質(zhì)檢機(jī)構(gòu)不同系統(tǒng)之間的數(shù)據(jù)對立關(guān)系，提高數(shù)據(jù)質(zhì)量；數(shù)據(jù)集成的目的在于聯(lián)動質(zhì)檢各機(jī)構(gòu)之間數(shù)據(jù)，協(xié)定數(shù)據(jù)傳輸方式，建立質(zhì)檢數(shù)據(jù)倉庫。數(shù)據(jù)緩存預(yù)處理模塊應(yīng)對從各質(zhì)檢機(jī)構(gòu)接收到的數(shù)據(jù)起到緩存和緩沖作用，避免因后端系統(tǒng)繁忙或故障而導(dǎo)致的處理阻塞或消息丟失。

3.2.3 大數(shù)據(jù)存儲中間件

數(shù)據(jù)存儲中間件包含數(shù)據(jù)存儲層和數(shù)據(jù)訪問層，數(shù)據(jù)存儲層包括RDBMS等關(guān)系型數(shù)據(jù)存儲、分布式消息隊列KAFKA、分布式存儲HIVE/HBASE和文檔式存儲MongoDB等。數(shù)據(jù)訪問層則為數(shù)據(jù)資源調(diào)度平臺和應(yīng)用提供各種數(shù)據(jù)訪問接口如JDBC/ODBC/REST等。需要指出的是數(shù)據(jù)存儲系統(tǒng)雖然可以容納各種數(shù)據(jù)格式，但是依然以分布式數(shù)據(jù)存儲為主，目前基于HADOOP的開源數(shù)據(jù)倉庫HIVE具有一定的局限性，需要對HIVE進(jìn)行定制開發(fā)。

3.2.4 質(zhì)檢大數(shù)據(jù)資源調(diào)度平臺（QRSP）

圖4 質(zhì)檢大數(shù)據(jù)資源調(diào)度平臺

質(zhì)檢大數(shù)據(jù)資源調(diào)度平臺能夠?qū)Ω黝愘Y源進(jìn)行調(diào)度和管理。質(zhì)檢大數(shù)據(jù)資源調(diào)度平臺基于HADOOP的Yarn的通用資源調(diào)度平臺，可以實現(xiàn)HIVE/PIG查詢預(yù)處理、小數(shù)據(jù)預(yù)處理、HABASE實時查詢、SPARK內(nèi)存計算和MAPREDUCE/HDFS引擎的HADOOP集群，提供高并發(fā)任務(wù)調(diào)度和資源管理，實現(xiàn)集群資源共享。質(zhì)檢大數(shù)據(jù)資源調(diào)度平臺除了可以進(jìn)行內(nèi)存、閃存等資源管理之外，還具備網(wǎng)絡(luò)I0、磁盤IO、磁盤空間等資源管理，為業(yè)務(wù)提供更好的資源保障。

3.2.5 數(shù)據(jù)服務(wù)中間件

數(shù)據(jù)服務(wù)中間件通過統(tǒng)一的數(shù)據(jù)訪問接口提供數(shù)據(jù)開發(fā)服務(wù)（如數(shù)據(jù)分析服務(wù)、數(shù)據(jù)挖掘服務(wù)、數(shù)據(jù)共享服務(wù)、數(shù)據(jù)交換服務(wù)等）和數(shù)據(jù)自主服務(wù)（如多維展現(xiàn)、自助分析等）。

3.2.6 質(zhì)檢大數(shù)據(jù)應(yīng)用體系（QASS）

大數(shù)據(jù)應(yīng)用體系實現(xiàn)在數(shù)據(jù)服務(wù)系統(tǒng)之上產(chǎn)生的各類應(yīng)用系統(tǒng)，如決策分析、運營管控和各類增值服務(wù)，大數(shù)據(jù)應(yīng)用體系對下可為政府、企業(yè)、機(jī)構(gòu)和社會公眾等微觀經(jīng)濟(jì)提供各類增值服務(wù)，對上可為國家國民經(jīng)濟(jì)的發(fā)展提供數(shù)據(jù)支撐和趨勢分析。

圖5 質(zhì)檢大數(shù)據(jù)應(yīng)用體系

3.2.7 平臺管理

平臺管理主要實現(xiàn)ETL任務(wù)配置、離線任務(wù)配置、實時任務(wù)配置、內(nèi)存任務(wù)配置、數(shù)據(jù)服務(wù)配置、數(shù)據(jù)源管理、存儲平臺配置、任務(wù)管理、權(quán)限管理、安全管理、平臺監(jiān)控、日志管理、系統(tǒng)審計、配置管理、業(yè)務(wù)監(jiān)控等功能。需要說明的是平臺管理需支持全程的配置化，包括數(shù)據(jù)源、存儲、采集、計算、模型和服務(wù)，以實現(xiàn)數(shù)據(jù)處理全周期的活動都可以通過元數(shù)據(jù)配置來完成。

4 質(zhì)檢大數(shù)據(jù)應(yīng)用服務(wù)價值構(gòu)成

圖6 質(zhì)檢大數(shù)據(jù)應(yīng)用服務(wù)價值構(gòu)成

筆者認(rèn)為質(zhì)檢大數(shù)據(jù)應(yīng)用服務(wù)的價值核心在于：民眾、社會、政府和機(jī)構(gòu)，這四者之間是相互依賴、相互支撐、相輔相成的。通過以數(shù)據(jù)為核心構(gòu)建質(zhì)檢大數(shù)據(jù)平臺，利用平臺開發(fā)相關(guān)的應(yīng)用為政府提供數(shù)據(jù)分析和預(yù)研預(yù)判服務(wù)，政府再利用數(shù)據(jù)引導(dǎo)社會需求，構(gòu)建智慧社區(qū)等項目，民眾通過社會和機(jī)構(gòu)提供的精準(zhǔn)服務(wù)享受質(zhì)檢帶來的便利，這四者和諧統(tǒng)一，成為一個有機(jī)整體。當(dāng)然在構(gòu)建質(zhì)檢大數(shù)據(jù)平臺中需充分調(diào)研質(zhì)檢各機(jī)構(gòu)、客戶和政府的需求，形成更加準(zhǔn)確的用戶需求模型，充分體現(xiàn)平臺的價值，以下列幾點供參考：

表2 質(zhì)檢大數(shù)據(jù)應(yīng)用服務(wù)價值舉例

身處大數(shù)據(jù)時代，人們生活所需的食品安全、產(chǎn)品質(zhì)量、計量檢定、紡織品檢測等信息，往往都來自質(zhì)檢部門的信息數(shù)據(jù)開放；產(chǎn)業(yè)發(fā)展所需的戰(zhàn)略思考、布局規(guī)劃、落地方案等，往往要依托對質(zhì)檢部門信息數(shù)據(jù)的挖掘、重組、混搭[3]。質(zhì)檢機(jī)構(gòu)只有把維護(hù)國家利益和群眾利益作為工作的立足點和出發(fā)點，始終把服務(wù)經(jīng)濟(jì)社會發(fā)展作為中心任務(wù)，充分發(fā)揮職能作用，利用大數(shù)據(jù)挖掘出的各類數(shù)據(jù)服務(wù)，落實國家產(chǎn)業(yè)政策、促進(jìn)產(chǎn)業(yè)結(jié)構(gòu)調(diào)整、提升行業(yè)及產(chǎn)業(yè)發(fā)展水平、提高產(chǎn)品質(zhì)量，為建設(shè)“質(zhì)量強(qiáng)國”提供數(shù)據(jù)支撐。

5 結(jié)束語

正如國家質(zhì)檢總局局長支樹平所指出的，進(jìn)入“十三五”，質(zhì)檢事業(yè)改革與發(fā)展并重，機(jī)遇與挑戰(zhàn)共存：一方面，黨和國家對質(zhì)量工作高度重視；另一方面，新形勢下質(zhì)檢部門面臨許多挑戰(zhàn)，改革發(fā)展的任務(wù)很重[4]。構(gòu)建質(zhì)檢大數(shù)據(jù)平臺，實現(xiàn)對質(zhì)監(jiān)和出入境檢驗檢疫等數(shù)據(jù)的采集、加工、分析和應(yīng)用，并加大對質(zhì)檢大數(shù)據(jù)應(yīng)用價值的研究，提高質(zhì)量安全監(jiān)管服務(wù)的針對性和有效性，讓質(zhì)檢在技術(shù)和數(shù)據(jù)資源跑上“信息高速路”，是當(dāng)前擺在質(zhì)檢人面前一項重要的課題。

[1]劉勇.加快建設(shè)質(zhì)檢統(tǒng)一開放檢測數(shù)據(jù)平臺[EB/OL]. http://www.cqn.com.cn/news/zgzljsjd/1117052.html,2016-01-18.

[2]央廣網(wǎng).第四次全國質(zhì)檢科技大會在京召開，科技引領(lǐng)質(zhì)檢事業(yè)發(fā)展[EB/OL].http://china.cnr.cn/gdgg/20160419/ t20160419_521914851.shtml,2016-04-19.

[3]張中峻.推進(jìn)質(zhì)檢數(shù)據(jù)開放共享的意義及實現(xiàn)路徑思考[J].辦公室業(yè)務(wù),2016.

[4]于慧.國家質(zhì)檢總局局長支樹平,2016年要推進(jìn)數(shù)據(jù)資源共享，破解阻礙質(zhì)檢發(fā)展瓶頸[EB/OL].http://www. cinn.cn/xw/ztzl/bwjrgdxw/351694.shtml,2016-01-12.

Discussion to Quality Big Data platform’s Technology Architecture and Application Services Value Model

YANG Si-Yuan
(Fujian Metrology Institute,FuZhou 350003,Fujian,China)

In the era of Internet+,the measuring institutions are carrying huge data resources. To construct Quality Big Data platform,Centralize shared data resources and use is a major decision for the AQSIQ. This paper analyzes the current status of quality data firstly,then propose architecture mode of big data platform. The quality big data architecture model consists of the 3 main lines ,data acquisition systems,resource scheduling platform and application system,as the core. The data source access,data storage middleware,data services middleware are as a support,The detailed discussion on the content and technical details of quality big data platform technology architecture are also conducted .This model provides an important reference for building quality big data platform construction. Finally,it proposes innovativly application value model quality big data platform,The model embodies the services concept of the big data platform quality.

Quality; Big data; Architecture; Services

2016-03-02

楊思遠(yuǎn)，男，福建省計量科學(xué)研究院，網(wǎng)絡(luò)信息中心，工程師