劉書含 翁 荻 巫英才

(浙江大學(xué)計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)國家重點(diǎn)實(shí)驗(yàn)室 杭州 310058)

1 引 言

自 2013 年工業(yè) 4.0[1](或互聯(lián)工業(yè)、工業(yè)互聯(lián)網(wǎng)[2-3])的概念被提出以來，全世界的工業(yè)進(jìn)程都飛速奔向智能制造時(shí)代。工廠中越來越多的傳感器、3D 掃描儀等各類新設(shè)備以及藍(lán)牙網(wǎng)絡(luò)等各種連接方式為人類帶來了海量的工業(yè)數(shù)據(jù)資源，從而開啟了工業(yè)信息化革新的大門[4]。但是，對工業(yè)數(shù)據(jù)進(jìn)行分析仍然是一項(xiàng)嚴(yán)峻的挑戰(zhàn)。一方面是因?yàn)楣I(yè)數(shù)據(jù)規(guī)模大、維度高、結(jié)構(gòu)多變、內(nèi)容復(fù)雜；另一方面是因?yàn)楣I(yè)數(shù)據(jù)具有多變的應(yīng)用場景，難以直接應(yīng)用全自動化的分析模型。

數(shù)據(jù)可視化使用視覺通道對數(shù)據(jù)屬性進(jìn)行編碼，并通過直觀的圖表傳遞信息[5]。種類豐富的可視化形式滿足了對大量復(fù)雜的異構(gòu)數(shù)據(jù)量身定制圖表的需求。再者，可視分析結(jié)合數(shù)據(jù)可視化方法將人類感知融入數(shù)據(jù)分析的過程中[6]，同時(shí)利用人類智慧和機(jī)器算力，極大地增加了分析的靈活性、可解釋性和準(zhǔn)確度。因此，可視分析被廣泛地應(yīng)用于工業(yè)數(shù)據(jù)，是工業(yè) 4.0 必不可少的關(guān)鍵技術(shù)[7-8]。

本文收集了近十年來在可視化、可視分析、人機(jī)交互會議與期刊中發(fā)表的有關(guān)工業(yè)場景的研究，并在網(wǎng)絡(luò)上采用關(guān)鍵詞搜索的方式提取了相關(guān)研究。本綜述的結(jié)構(gòu)包括：第二章總結(jié)了工業(yè)場景下常用的數(shù)據(jù)類型，并按照生產(chǎn)階段(設(shè)計(jì)規(guī)劃、生產(chǎn)制造、運(yùn)維服務(wù))及屬性(時(shí)間、空間、時(shí)空結(jié)合)分別歸類介紹；第三章根據(jù)數(shù)據(jù)的共有屬性，按時(shí)間、空間、時(shí)空結(jié)合分類介紹了對應(yīng)的可視化方法；第四章總結(jié)了可視分析在不同工業(yè)場景下的應(yīng)用，并討論如何合理地把自動化分析方法應(yīng)用到可視分析中；第五章展望了工業(yè)數(shù)據(jù)可視分析的發(fā)展前景，并提出未來的研究方向。

2 工業(yè)數(shù)據(jù)

本文收集并統(tǒng)計(jì)了近十年來常見的工業(yè)數(shù)據(jù)類型，按照生產(chǎn)階段分類介紹其用途、采集方式、形式，并按照數(shù)據(jù)屬性進(jìn)行歸納總結(jié)，如表 1所示。

表1 常用的工業(yè)數(shù)據(jù)Table 1 Commonly used industrial data

2.1 按生產(chǎn)階段分類

經(jīng)過文獻(xiàn)調(diào)研[9]，并結(jié)合工廠實(shí)際生產(chǎn)的先后順序，本文將數(shù)據(jù)的產(chǎn)生時(shí)間劃分為設(shè)計(jì)規(guī)劃、生產(chǎn)制造和產(chǎn)品運(yùn)維等 3 個階段。設(shè)計(jì)規(guī)劃階段主要包括工廠初期設(shè)計(jì)建造、改造以及生產(chǎn)規(guī)劃等過程，生產(chǎn)制造階段涵蓋工廠實(shí)際制造產(chǎn)品的過程，產(chǎn)品運(yùn)維階段包含產(chǎn)品離開工廠裝配線后的維護(hù)過程。

2.1.1 設(shè)計(jì)規(guī)劃數(shù)據(jù)域

設(shè)計(jì)規(guī)劃階段產(chǎn)生的數(shù)據(jù)主要包括工廠布局?jǐn)?shù)據(jù)、工序設(shè)計(jì)數(shù)據(jù)和日程規(guī)劃數(shù)據(jù)等。

(1)工廠布局?jǐn)?shù)據(jù)標(biāo)明工廠中每個機(jī)器設(shè)備的位置信息和空間物理信息。由于布局能夠影響生產(chǎn)效率，收集并分析工廠布局?jǐn)?shù)據(jù)尤為重要。如，在自動化程度高的車間中，不合理的布局會增加產(chǎn)品在工序間的傳遞時(shí)間；而在自動化程度低的場景下，糟糕的布局會影響工人之間的可見性，從而降低溝通效率[10]。利用 3D 掃描儀從實(shí)際場景采集[10-12]和從設(shè)計(jì)的 CAD 文件中分析獲取[13]等都是工廠布局?jǐn)?shù)據(jù)的常見收集途徑。數(shù)據(jù)的形式有點(diǎn)云[14]、坐標(biāo)等。

(2)工序設(shè)計(jì)數(shù)據(jù)記錄了工廠中裝配線或流水線的順序信息和時(shí)間配置，包括但不限于某階段某設(shè)備的計(jì)劃裝配時(shí)長、設(shè)備與設(shè)備之間的裝配順序等[15]。在工廠中，設(shè)備之間實(shí)際上可能存在多個拓?fù)湫?。如，先安裝左前輪還是右前輪對車輛裝配過程不會造成太大影響，但如果左輪和右輪的傳送流水線速度差異過大，就可能導(dǎo)致裝配線堆積阻塞。該種數(shù)據(jù)可從工廠系統(tǒng)日志、設(shè)計(jì)文件等內(nèi)容中分析提取，又被稱為材料流[16]。

(3)日程規(guī)劃數(shù)據(jù)表示工廠的生產(chǎn)計(jì)劃。對部分工廠而言，同樣的裝配線可以通過簡單的改動完成多種產(chǎn)品的生產(chǎn)[17]。所以如何安排每種產(chǎn)品生產(chǎn)的時(shí)間、如何調(diào)整裝配線、何時(shí)進(jìn)行調(diào)整，都是日程規(guī)劃需要考慮的問題。日程規(guī)劃數(shù)據(jù)可從歷史系統(tǒng)日志中提取，也可以是分析系統(tǒng)的輸出[18]。

2.1.2 生產(chǎn)制造數(shù)據(jù)域

生產(chǎn)制造階段產(chǎn)生的數(shù)據(jù)主要包括工況狀態(tài)數(shù)據(jù)、控制信息數(shù)據(jù)和污染情況數(shù)據(jù)等。

(1)工況狀態(tài)數(shù)據(jù)記錄了工廠車間或設(shè)備每個時(shí)刻的工作狀態(tài)。工況狀態(tài)中有大量的數(shù)據(jù)采集自傳感器，反映了工廠中某些設(shè)備的物理或化學(xué)屬性，如溫度、壓強(qiáng)、速度、流量等[19-20]。在這些數(shù)據(jù)的基礎(chǔ)上進(jìn)行簡單組合和計(jì)算，還可以進(jìn)一步得到聚合信息，如工作效率、危險(xiǎn)指標(biāo)等[21-22]，這也是工況狀態(tài)數(shù)據(jù)的一種類型。

(2)控制信息數(shù)據(jù)記錄了工廠中各個時(shí)刻可直接調(diào)控的信息?？刂菩畔⒓劝囬g設(shè)備機(jī)器的配置數(shù)據(jù)(如傳送帶速度、電流頻率、輸水流量、送風(fēng)溫度等)，還包含車間的人力資源分配情況[13](如工種安排、工人數(shù)量、工人調(diào)度等)，特別是在建筑業(yè)中[23]，合理的人力資源分配意味著更高的安全性以及更高的效率。機(jī)器的參數(shù)既可采集自傳感器，又可人工記錄自儀表盤。人力資源信息則一般來自于刷卡信息或系統(tǒng)調(diào)度記錄。

(3)污染情況數(shù)據(jù)記錄了工廠的污染情況，包括廢氣(時(shí)間、排放量、方向)，廢水(時(shí)間、排放量、方向)，廢渣(時(shí)間、污染物總量、其他信息)等。污染數(shù)據(jù)的采集方式眾多，既可以收集自傳感器，又可以通過定期的采樣化驗(yàn)得到[24]。

2.1.3 產(chǎn)品運(yùn)維數(shù)據(jù)域

產(chǎn)品運(yùn)維階段產(chǎn)生的數(shù)據(jù)主要包括產(chǎn)品質(zhì)檢數(shù)據(jù)和物流服務(wù)數(shù)據(jù)等。

(1)產(chǎn)品質(zhì)檢數(shù)據(jù)記錄了工廠所生產(chǎn)產(chǎn)品的質(zhì)量情況。對以制造業(yè)為代表的有實(shí)際產(chǎn)品的工業(yè)類型而言，不同的產(chǎn)品有各自的質(zhì)檢標(biāo)準(zhǔn)，如檢測車輛前保險(xiǎn)杠的密度、強(qiáng)度、邊緣切割情況等[25]。至于以燃煤發(fā)電為代表的重工業(yè)類型產(chǎn)業(yè)[26]，因?yàn)椴簧a(chǎn)實(shí)際產(chǎn)品，所以一般無產(chǎn)品質(zhì)檢數(shù)據(jù)。

(2)物流服務(wù)數(shù)據(jù)記錄了產(chǎn)品離開裝配線之后的物流及服務(wù)維護(hù)信息。一方面，它包括產(chǎn)品離開裝配線后的物流配送信息[27]，如物流位置、配送時(shí)間等；另一方面，它也涵蓋了產(chǎn)品的維護(hù)及服務(wù)數(shù)據(jù)，如保修時(shí)間、退換情況等。特別地，物流服務(wù)數(shù)據(jù)有別于物流倉庫數(shù)據(jù)[28]：前者以產(chǎn)品為主體進(jìn)行記錄，后者還需考慮儲物、工人等信息。物流倉庫實(shí)際可視作一個獨(dú)立的工廠。

2.2 按數(shù)據(jù)屬性分類

不同生產(chǎn)階段的數(shù)據(jù)有共同的屬性，按照屬性可以進(jìn)一步歸納總結(jié)各工業(yè)生產(chǎn)階段的共性。歸納數(shù)據(jù)屬性便于在可視化設(shè)計(jì)時(shí)，用不同的視覺通道對不同的數(shù)據(jù)屬性進(jìn)行合適的編碼。本節(jié)在表 1 歸納的基礎(chǔ)上，主要介紹其中使用最普遍、意義最重要的兩個維度：時(shí)間與空間。

2.2.1 時(shí)間序列

工廠裝配的先后邏輯使其天然帶有時(shí)間的維度，所以在工廠中許多數(shù)據(jù)都是時(shí)間序列數(shù)據(jù)。準(zhǔn)確地說，工廠采集到的是一系列有序的離散點(diǎn)，各自記錄了該時(shí)間點(diǎn)上的某數(shù)據(jù)值，時(shí)間點(diǎn)按先后排布就得到了時(shí)間序列數(shù)據(jù)。

時(shí)間維度信息對工廠分析而言至關(guān)重要，特別是級聯(lián)因果的分析。舉例來說，假設(shè)工廠流水線上發(fā)生了事件 A(傳送帶 M 堵塞)和事件 B(傳送帶 N 堵塞)，傳送帶 M 和 N 相鄰。在未知時(shí)間信息的情況下，無法進(jìn)行兩個事件的關(guān)聯(lián)分析。但若已知事件 B 緊接在事件 A 后出現(xiàn)，則事件 A較有可能導(dǎo)致了事件 B。

工序設(shè)計(jì)、日程規(guī)劃、工況狀態(tài)、控制信息、污染情況、物流服務(wù)都具有時(shí)間屬性，屬于時(shí)間序列數(shù)據(jù)。

2.2.2 空間位置

工業(yè)數(shù)據(jù)中的空間信息雖然大多數(shù)都可以表示為離散的坐標(biāo)位置，但根據(jù)抽象到具體的程度，坐標(biāo)又可以分為三級。第一級是用一個抽象的坐標(biāo)結(jié)點(diǎn)表示一個設(shè)備，設(shè)備與設(shè)備之間的關(guān)聯(lián)(如路徑、可見方向)就是結(jié)點(diǎn)之間的連線。第二級是用二維平面中的一個區(qū)域表示一個設(shè)備，比原始的位置信息增加了面積屬性。隨著數(shù)據(jù)采集技術(shù)的不斷發(fā)展，越來越多的新型數(shù)據(jù)采集設(shè)備被采用(如 3D 掃描儀)，于是點(diǎn)云逐漸成為記錄工廠空間信息的第三級重要的數(shù)據(jù)形式。相比于結(jié)點(diǎn)或區(qū)域，點(diǎn)云更加準(zhǔn)確地記錄了設(shè)備的3D 信息，這意味著更容易進(jìn)行還原。工廠布局?jǐn)?shù)據(jù)形式眾多，三級皆有。其中，物流服務(wù)、工況狀態(tài)大都使用第一級坐標(biāo)結(jié)點(diǎn)。

3 工業(yè)數(shù)據(jù)可視化

時(shí)間、空間是工業(yè)數(shù)據(jù)普遍具有的重要維度屬性，本節(jié)將逐一介紹在可視化時(shí)間、空間、時(shí)空相結(jié)合的數(shù)據(jù)時(shí)常用的形式，以及近年來各種可視化形式在工業(yè)數(shù)據(jù)上的實(shí)際應(yīng)用情況，如表 2。

表2 常用的工業(yè)數(shù)據(jù)可視化形式Table 2 Commonly used industrial data visualization

3.1 時(shí)間序列數(shù)據(jù)的可視化

Aigner 等[39]根據(jù)時(shí)間數(shù)據(jù)的性質(zhì)將其分為3 個正交的維度：線性時(shí)間或周期時(shí)間、時(shí)間點(diǎn)或時(shí)間區(qū)間、有序時(shí)間或分支時(shí)間。3 個維度的不同組合有不一樣的可視化設(shè)計(jì)。Brehmer 等[40]根據(jù)時(shí)間序列數(shù)據(jù)的特征，探索了時(shí)序數(shù)據(jù)的設(shè)計(jì)空間[40]。線性時(shí)間通常用從左到右的一根軸編碼[41-42]，象征著時(shí)間的流逝，周期時(shí)間通常用環(huán)形或螺旋狀編碼[43-44]；時(shí)間點(diǎn)和時(shí)間區(qū)間的粒度不同，一個常用點(diǎn)表示，另一個常用區(qū)域表示；有序時(shí)間常用有向圖表明順序，而分支時(shí)間的一個典型代表就是故事線[45-46]。此外，線性時(shí)間上面還存在一些離散的區(qū)間，這些區(qū)間構(gòu)成了事件的序列[47-48]。在工業(yè)數(shù)據(jù)中，線性時(shí)間點(diǎn)及時(shí)間區(qū)間、周期時(shí)間點(diǎn)及時(shí)間區(qū)間的可視化較為常見。

3.1.1 時(shí)間點(diǎn)

黨的十八大以來，黨中央、國務(wù)院把脫貧攻堅(jiān)擺到治國理政的突出位置，近幾年，盡管脫貧攻堅(jiān)在不斷深入，但因病致貧、因病返貧的比例不降反升，仍然是導(dǎo)致農(nóng)村貧困人口致貧的主要原因。

線性時(shí)間點(diǎn)最普遍的可視化形式是可以用于反應(yīng)趨勢的折線圖以及可以用于反映數(shù)量的柱狀圖或面積圖。Castor 等[24]使用圖 1 的折線圖表示工廠排放的廢水中有害化學(xué)物質(zhì)隨時(shí)間變化的含量，而 Post 等[12]使用圖 2 的面積圖表示單一機(jī)器某時(shí)刻的工作負(fù)載。

圖1 工廠排放廢水中所含化學(xué)物質(zhì)的折線圖[24]Fig.1 Line chart of chemicals contained in waste water[24]

圖2 單一機(jī)器某時(shí)刻的工作負(fù)載[12]Fig.2 Workload of each machine[12]

線性時(shí)間點(diǎn)還有一種常見的形式是堆疊圖，ThemeRiver[49]就是一個非常典型的案例，如圖 3所示。Post 等[12]在模擬、分析和評估工廠設(shè)備位置變化的影響時(shí)，也采用了堆疊圖來展示總的工作負(fù)載，如圖 4 所示。

圖3 堆疊圖[49]Fig.3 Stacked chart[49]

圖4 用堆疊圖展示總工作負(fù)載[12]Fig.4 Using stacked chart to show workload[12]

目前，工業(yè)時(shí)間序列數(shù)據(jù)普遍使用的可視化形式中，折線圖長于呈現(xiàn)變化趨勢；柱狀圖則犧牲了一部分連續(xù)性來兼容區(qū)間總量統(tǒng)計(jì)的功能；面積圖能綜合前兩者的優(yōu)點(diǎn)，但其編碼較為復(fù)雜，帶來了理解成本；而堆疊圖在需要同時(shí)呈現(xiàn)整體和部分的關(guān)系時(shí)更具優(yōu)勢。

此外，還有許多線性時(shí)間點(diǎn)的新穎可視化形式未被應(yīng)用到工業(yè)數(shù)據(jù)中。如 Time curves[37]可以通過連線在散點(diǎn)圖中疊加時(shí)間信息，這和材料流較為相似。但材料流主要強(qiáng)調(diào)拓?fù)湫蚝完P(guān)聯(lián)性，而 Time curves[37]還能編碼更加細(xì)粒度的信息，特別適合用戶在細(xì)節(jié)視圖上根據(jù)需求自定義使用。還有山圖[34]通過面積圖的重疊排布來減小所占空間，且因?yàn)椴还灿?y 軸，能夠同時(shí)分析比較具有不同單位的數(shù)據(jù)。

3.1.2 時(shí)間區(qū)間

在可視化線性時(shí)間區(qū)間時(shí)，甘特圖[50]常被用在生產(chǎn)計(jì)劃、流水線占用情況等數(shù)據(jù)上。甘特圖由多個橫條組成，每個橫條的左側(cè)表示開始時(shí)間、右側(cè)表示結(jié)束時(shí)間，橫條的長度就是所需時(shí)長。這樣一個橫條就能表示一個產(chǎn)品在某機(jī)器上的生產(chǎn)占用時(shí)間。

如圖 5 所示，LiveGantt[17]使用甘特圖輔助分析了制造進(jìn)程中產(chǎn)生的數(shù)據(jù)。以任務(wù) A 為例，其從 0 點(diǎn)至 6 點(diǎn)占用了 DA001。圖中一共有 13個任務(wù) 4 個資源，而用戶可以很快速地發(fā)現(xiàn)任務(wù)B、C 之間有一段時(shí)間重疊且分別在兩個同類資源上，說明甘特圖長于簡潔明了地呈現(xiàn)多任務(wù)多資源的信息，這和工業(yè)場景非常契合。而任務(wù) C和任務(wù) D 之間的 Ch 代表 12 點(diǎn)后對 DA002 進(jìn)行了配置調(diào)整，意味著甘特圖也可應(yīng)用于輔助插入臨時(shí)任務(wù)。

圖5 甘特圖[17]Fig.5 Gantt chart[17]

圖6 日歷圖[19]Fig.6 Calendar[19]

線性時(shí)間區(qū)間與周期時(shí)間區(qū)間的可視化具有許多相似之處，事實(shí)上嵌套的環(huán)形圖類似于卷成圓的甘特圖，在表現(xiàn)機(jī)器繁忙程度、規(guī)避生產(chǎn)沖突、進(jìn)行生產(chǎn)規(guī)劃時(shí)都能起到優(yōu)秀的作用。日歷圖的獨(dú)特之處在于可以展示與特定日期的聯(lián)系，如節(jié)假日、產(chǎn)品的淡季和旺季。

3.2 空間位置數(shù)據(jù)的可視化

工業(yè)數(shù)據(jù)中的空間信息按照抽象到具體的程度分為結(jié)點(diǎn)坐標(biāo)、平面區(qū)域、立體點(diǎn)云三級，本節(jié)將分別介紹這三級數(shù)據(jù)的常用可視化設(shè)計(jì)及其在工業(yè)數(shù)據(jù)上的實(shí)際應(yīng)用情況。

3.2.1 結(jié)點(diǎn)坐標(biāo)

用一個單獨(dú)結(jié)點(diǎn)抽象表示位置是最簡潔直觀的一種方法。在工業(yè)數(shù)據(jù)的背景下，這種表示形式雖然以較粗的粒度描述了單個設(shè)備信息，但是能幫助用戶快速概覽工廠的整體布局情況以及設(shè)備之間的關(guān)聯(lián)情況。Post 等[12]使用結(jié)點(diǎn)抽象表示工廠中的設(shè)備，如圖 7 所示，首先用不同顏色流線編碼材料類型，然后由結(jié)點(diǎn)和流線共同組成的聚合視圖呈現(xiàn)了材料流的整體情況。這一視圖的優(yōu)點(diǎn)在于簡潔的抽象結(jié)點(diǎn)既完成了表示設(shè)備的任務(wù)又為其他信息留出了空間——流線的粗細(xì)和密集程度能快速反映工作負(fù)載，而且流線的方向明確了產(chǎn)品在各設(shè)備間的流動信息。

圖7 用抽象結(jié)點(diǎn)表示坐標(biāo)的示例[12]Fig.7 Example of using abstract nodes to represent locations[12]

3.2.2 平面區(qū)域

比起結(jié)點(diǎn)坐標(biāo)，平面區(qū)域能更加直觀地反映設(shè)備或車間的占地面積。其優(yōu)點(diǎn)是在設(shè)計(jì)或改造工廠布局時(shí)，能更加快速地判斷能否完成設(shè)備的移動、評估車間的擁擠程度等。BlueCollar 系統(tǒng)中[13]使用不同大小的平面區(qū)域來表示各類設(shè)備，區(qū)域間的連線就是工人在工廠車間中的軌跡。如圖 8 所示，圖中 A 設(shè)備的面積明顯大于 B 設(shè)備。不僅如此，還能基本判斷出B 和 C 屬于同一類設(shè)備，且設(shè)備類別在工廠布局時(shí)也是很有意義的信息。

圖8 用平面區(qū)域表示位置的示例[13]Fig.8 Example of using a flat area to indicate a location[13]

3.2.3 立體點(diǎn)云

點(diǎn)云是通過 3D 掃描儀得到的物體外觀表面點(diǎn)數(shù)據(jù)集合，根據(jù)點(diǎn)的密集程度可以分為稀疏點(diǎn)云和密集點(diǎn)云。傳統(tǒng)方法常通過 CAD 等軟件或工具將點(diǎn)云還原到 3D 圖中進(jìn)行可視化。近年來，隨著沉浸式技術(shù)的發(fā)展，點(diǎn)云的可視化形式越來越豐富。特別是在增強(qiáng)現(xiàn)實(shí)(Augmented Reality，AR)、虛擬現(xiàn)實(shí)(Virtual Reality，VR)的場景下，得益于點(diǎn)云信息的詳細(xì)度，用戶能夠在更加真實(shí)的還原場景上作進(jìn)一步的分析。

特別地，已經(jīng)有許多綜述介紹增強(qiáng)現(xiàn)實(shí)[38,53]、虛擬現(xiàn)實(shí)[52]在工業(yè) 4.0 時(shí)代的應(yīng)用及前景，其中也不乏與可視化密切相關(guān)的系統(tǒng)和工作。如FlapAssist[10]利用 VR 技術(shù)可視化工廠進(jìn)行設(shè)計(jì)并評估設(shè)計(jì)。在該工作中，點(diǎn)云被用于還原設(shè)備來評估其間的可見度，如圖 9(a)所示。而圖 9(b)中也顯示了 Lindskog 等[11]嘗試用點(diǎn)云記錄多種類型的設(shè)備，便于在 AR 及 VR 環(huán)境下共同合作設(shè)計(jì)工廠。

圖9 用點(diǎn)云表示位置的示例[10-11]Fig.9 Example of using points cloud to indicate a location[10-11]

3.3 時(shí)空結(jié)合的可視化

在某些案例中，時(shí)空數(shù)據(jù)維度的組合能呈現(xiàn)更多信息。在 ViDX 中[30]，研究者使用馬雷圖可視化工廠的裝配線。如圖 10 所示，橫軸表示時(shí)間，縱軸表示機(jī)組(即空間位置)，一條線表示一個產(chǎn)品從頭至尾的裝配流程。從圖中可以發(fā)現(xiàn)，12 點(diǎn)附近和別處密度差異極大，并且連續(xù)一系列的產(chǎn)品在各個設(shè)備上都出現(xiàn)了問題。這也證明了時(shí)間和空間結(jié)合能夠更好地反映級聯(lián)問題。

圖10 馬雷圖[30]Fig.10 Marey chart[30]

4 工業(yè)數(shù)據(jù)的智能可視分析方法

4.1 工業(yè)數(shù)據(jù)的可視分析及應(yīng)用

目前，已經(jīng)有許多可視分析系統(tǒng)被設(shè)計(jì)出來，并服務(wù)于工業(yè)分析的各個方面(如布局改造、日程規(guī)劃、運(yùn)行監(jiān)控、污染處理等)。

布局改造方面，KnowIME[29]以知識圖譜的形式可視化了與某一設(shè)備相近的所有設(shè)備，便于調(diào)整或選擇相近的備選項(xiàng)。BlueCollar[13]系統(tǒng)對工人走動路線進(jìn)行可視分析，并利用結(jié)果調(diào)整工廠布局，借此提高工廠效率。如圖 11 所示，概覽視圖是工廠當(dāng)前的布局，機(jī)器間連線是歷史數(shù)據(jù)中的工人路徑，機(jī)器外框顏色編碼了算法得出的建議調(diào)整程度，顏色越深說明越需要調(diào)整。當(dāng)用戶選中某個機(jī)器后，熱力圖會提示用戶將該機(jī)器調(diào)到各個位置的提效概率。Gebhardt 等[10]的工作和 Lindskog 等[11]的工作都利用了 VR 技術(shù)，其中一個用于輔助合作設(shè)計(jì)工廠布局，另一個用于評估。Yang 等[35]利用增強(qiáng)現(xiàn)實(shí)方法優(yōu)化點(diǎn)云配準(zhǔn)算法，輔助還原工廠。Büttner 等[53]的工作探究了 AR 技術(shù)在訓(xùn)練工人裝配上的意義。

圖11 BlueCollar 的系統(tǒng)示意圖[13]Fig.11 BlueCollar’s overview[13]

日程規(guī)劃方面，W?rner 等[31]的工作結(jié)合甘特圖、3D 還原場景、工件詳細(xì)信息面板實(shí)現(xiàn)了對實(shí)時(shí)日程規(guī)劃或突發(fā)生產(chǎn)需求的支持。如圖 12 所示，左上角視圖呈現(xiàn)了各生產(chǎn)任務(wù)對資源的占用情況，左下角視圖監(jiān)控了工廠中實(shí)際生產(chǎn)的流水線，右側(cè)是更加細(xì)節(jié)的任務(wù)信息。根據(jù)左上角可以快速發(fā)現(xiàn)機(jī)器的工作情況，并結(jié)合生產(chǎn)需求找到閑暇區(qū)間插入突發(fā)任務(wù)或進(jìn)行后續(xù)日程規(guī)劃。LiveGantt 系統(tǒng)[17]中有 3 個視圖，如圖 13 所示，(a)記錄了探索的視圖序列；(b)是主要視圖，橫軸編碼時(shí)間，每個橫條代表一個任務(wù)，黑色粗線表示用戶當(dāng)前關(guān)心的時(shí)間，高亮最近的任務(wù)，當(dāng)用戶點(diǎn)擊關(guān)心的任務(wù)后，高亮其后的任務(wù)序列；(c)記錄了隨時(shí)間變化的工作負(fù)載，橙色表示增加、藍(lán)色表示減少，飽和度越高斜率越大即變化程度越大。相較于早期的甘特圖，LiveGantt 一方面智能地對任務(wù)進(jìn)行了排序，使多個占用同類資源的任務(wù)更加靠近，另一方面對占用同類資源的任務(wù)進(jìn)行了可視化上的聚合，圖 14(a～d)表明，這種可視化的聚合進(jìn)一步清楚明了地呈現(xiàn)了生產(chǎn)任務(wù)。PlanningVis[33]提供了更加細(xì)節(jié)的視圖來對比多種生產(chǎn)計(jì)劃——在選中等待優(yōu)化的生產(chǎn)計(jì)劃之后，備選的計(jì)劃會在效率、關(guān)聯(lián)性等各個方面分別用折線圖、平行坐標(biāo)軸等進(jìn)行更加細(xì)粒度的對比，而且系統(tǒng)高效的處理性能支持實(shí)時(shí)的計(jì)劃調(diào)整，如圖 15 所示。

圖12 實(shí)時(shí)日程規(guī)劃系統(tǒng)[31]Fig.12 Real-time schedule planning system[31]

圖13 LiveGantt的系統(tǒng)示意圖[17]Fig.13 LiveGantt’s overview[17]

圖14 LiveGantt 的優(yōu)化示意圖[17]Fig.14 The optimization process of LiveGantt[17]

圖15 PlanningVis 的系統(tǒng)示意圖[33]Fig.15 PlanningVis’s overview[33]

運(yùn)行監(jiān)控方面實(shí)際上包括數(shù)據(jù)監(jiān)控和異常分析。Kostoláni 等[21]采用 AR 技術(shù)，實(shí)現(xiàn)對工廠的監(jiān)控，使人行走在工廠中就能看到數(shù)字儀表盤和信息圖表，如圖 16 所示。Mahmoodpour 等[22]為不同用戶角色設(shè)計(jì)了不同的可視化面板來實(shí)現(xiàn)監(jiān)控和調(diào)整。圖 17 中的 ViDX[30]是一個非常典型的可視分析系統(tǒng)，利用馬雷圖、環(huán)形圖和 3D 設(shè)備還原來分析裝配線上的異常。

圖16 增強(qiáng)現(xiàn)實(shí)下的儀表盤[21]Fig.16 Dashboard in augmented reality[21]

圖17 ViDX 的系統(tǒng)示意圖[30]Fig.17 ViDX’s overview[30]

產(chǎn)品運(yùn)維方面，Castor 等[24]結(jié)合折線圖和流線圖對廢水廢氣進(jìn)行可視分析，Huettenberger 等[25]利用可視化方法對車輛進(jìn)行質(zhì)量檢測。產(chǎn)品運(yùn)維階段的可視分析應(yīng)用相較于其他階段還不多，但物流數(shù)據(jù)、售后數(shù)據(jù)等都有著豐富的信息價(jià)值和極大的探索空間，今后可能會出現(xiàn)更多相關(guān)的應(yīng)用。

4.2 與自動分析方法的結(jié)合

在可視分析系統(tǒng)中，合理地集成智能的機(jī)器算法也尤為重要，一方面人類智慧可以進(jìn)一步提升算法的準(zhǔn)確度，另一方面機(jī)器算力可以幫助人類提升計(jì)算效率。包括異常檢測、優(yōu)化決策在內(nèi)的問題都有許多已經(jīng)很成熟的方法。

4.2.1 異常檢測

異常檢測包括無監(jiān)督、半監(jiān)督和全監(jiān)督算法。無監(jiān)督算法中基于聚類的 K-means[54]和 EM算法[55]非常具有代表性，可以通過探索離群點(diǎn)來找到異常。半監(jiān)督和全監(jiān)督算法中常用的則有分類樹、遺傳算法神經(jīng)網(wǎng)絡(luò)等。

在工業(yè)數(shù)據(jù)的應(yīng)用場景下，需要根據(jù)數(shù)據(jù)的特征、可視化的形式，并結(jié)合實(shí)際需求對異常進(jìn)行合適的定義。一方面，數(shù)據(jù)不一定如聚類圖中的離群點(diǎn)一樣具有顯著的異常特征；另一方面，在不同的可視化形式下，異常的呈現(xiàn)形式也會隨之變化。如 BlueCollar[13]基于分布估計(jì)算法對布局中的每一個設(shè)備都進(jìn)行合理程度的評估，通過量化布局的優(yōu)劣獲得分?jǐn)?shù)來定義該場景下的異常。Huettenberger 等[25]在三角網(wǎng)格上采用帕累托前沿的思想，對產(chǎn)品可能存在問題的部分通過加權(quán)計(jì)算進(jìn)行突出可視化，如圖 18 所示，在連續(xù)的空間上用不同顏色編碼異常(顏色越綠意味著異常越嚴(yán)重)。

異常檢測的自動分析方法已有較為成熟的體系，在可視分析中對異常的編碼也有許多不同的嘗試，如位置(散點(diǎn)圖中的離群點(diǎn))、顏色(如圖 18)、標(biāo)簽(文字標(biāo)注)等，這些工作的可視化重點(diǎn)在于“展示”異常。然而，ViDX 等工作是基于可視化對異常進(jìn)行“檢測”和“探索”，這類可視分析系統(tǒng)在結(jié)合領(lǐng)域知識、找尋未知異常方面有自動化算法不可替代的啟迪作用。

圖18 可視化異常檢測[25]Fig.18 Visual anomaly detection[25]

4.2.2 優(yōu)化決策

工業(yè)場景中的優(yōu)化決策就是對工業(yè)資源進(jìn)行調(diào)配控制，即得到合理的配置方式。許多配置決策問題都可以抽象為求解多目標(biāo)優(yōu)化問題，也就是通過搜索解空間找到帕累托最優(yōu)，整數(shù)規(guī)劃可以完成這項(xiàng)任務(wù)。PlanningVis[33]生成備選生產(chǎn)計(jì)劃時(shí)就考慮采用整數(shù)規(guī)劃，但考慮到耗時(shí)較長，所以該工作采用了一種結(jié)合線性規(guī)劃[56]和啟發(fā)式算法[57]的混合優(yōu)化算法[58]。

強(qiáng)化學(xué)習(xí)的方法也常被用于優(yōu)化決策，Zhan等[59]利用強(qiáng)化學(xué)習(xí)對火力發(fā)電廠進(jìn)行了效率優(yōu)化。此外，還有諸如貝葉斯模型、遺傳算法等機(jī)器學(xué)習(xí)方法[32]也被用于優(yōu)化決策。

5 總 結(jié)

進(jìn)入工業(yè) 4.0 時(shí)代，智能制造既是機(jī)遇又是挑戰(zhàn)。工業(yè)數(shù)據(jù)可視化在解決大規(guī)模、高維度、結(jié)構(gòu)多變、內(nèi)容復(fù)雜的工業(yè)數(shù)據(jù)導(dǎo)致的問題上依然發(fā)揮極為重要的作用。本文概覽了智能制造背景下的可視化技術(shù)、可視分析系統(tǒng)及其在工業(yè)場景的應(yīng)用，按生產(chǎn)階段和數(shù)據(jù)屬性歸納并總結(jié)了常用的工業(yè)數(shù)據(jù)，又根據(jù)數(shù)據(jù)屬性的共性按時(shí)間、空間、時(shí)空組合屬性呈現(xiàn)了可視化方法，并介紹了現(xiàn)有的可視分析系統(tǒng)及工具，最后討論了與自動分析算法的結(jié)合。

隨著數(shù)據(jù)采集方式的豐富、可視化形式的創(chuàng)新、機(jī)器算力的騰飛，工業(yè) 4.0 時(shí)代的可視分析仍存在巨大發(fā)展空間。

從數(shù)據(jù)來源的角度，此前工業(yè) 4.0 曾被概括為三大主題：“智能工廠”、“智能生產(chǎn)”、“智能物流”。本文所收集文章大都圍繞制造業(yè)展開研究，也就是“智能生產(chǎn)”，而在重工業(yè)、建造業(yè)、物流業(yè)方面存在不少空白。特別是物流服務(wù)發(fā)展飛速的今天，工業(yè) 4.0 下一階段的信息化或許會轉(zhuǎn)向運(yùn)維和服務(wù)。

從可視化形式的角度，雖然諸如折線圖、直方圖的傳統(tǒng)圖表已經(jīng)足以支持大量的基礎(chǔ)可視化，然而對復(fù)雜數(shù)據(jù)的探索不會止步于了解簡單圖表即可呈現(xiàn)的統(tǒng)計(jì)信息。未來可能的創(chuàng)新方向包括：(1)通過創(chuàng)新的算法為傳統(tǒng)圖表添加智慧，如 LiveGantt[17]；(2)基于新的數(shù)據(jù)設(shè)計(jì)新的可視化形式；(3)基于新的交互為可視分析提效，隨著人機(jī)交互的不斷發(fā)展，如增強(qiáng)現(xiàn)實(shí)、虛擬現(xiàn)實(shí)等新的交互形式必將為可視分析注入更多新鮮血液。

從智能分析方法的角度，許多算法發(fā)展已經(jīng)非常成熟，如異常檢測、優(yōu)化決策、模式挖掘，但仍需要進(jìn)一步地探索和調(diào)整其在可視分析系統(tǒng)中的應(yīng)用。如在考慮與深度學(xué)習(xí)的結(jié)合時(shí)如何更好地兼顧可視分析的可解釋性和深度學(xué)習(xí)的優(yōu)秀效果?？梢暬鳛椤巴暾鉀Q方案的粘合劑”在工業(yè)數(shù)據(jù)分析問題上可以更好地與機(jī)器合作，將來有望進(jìn)一步探索自動分析方法和可視分析的組合。