面向智能制造的云平臺技術

王恩東　張東　亓開元

摘要：提出了基于融合架構構建面向智能制造的云數(shù)據(jù)中心的理念，并認為利用高速互連、新型存儲及內存計算、可重構等關鍵技術能夠實現(xiàn)硬件重構和軟件定義。應用實踐表明：通過3個階段持續(xù)演進，融合架構將引領敏捷、高效和智能的云數(shù)據(jù)中心，從而推動智能制造快速發(fā)展。

關鍵詞： 智能制造；融合架構；硬件重構；軟件定義；云平臺

Abstract： In this paper， we propose the key idea for constructing intelligent manufacturing-oriented cloud data center based on smart architecture. In addition， the key technologies， including high-speed interconnection， new storage and memory computing， reconfigurable technology are introduced to implement hardware reconfiguration and software defining. The practice shows that smart architecture will make cloud data center more agile， efficiency and intelligent through its three phases of evolution， and it will promote intelligent manufacturing developing rapidly.

Key words： intelligent manufacturing； smart architecture； hardware reconfiguration； software defining； cloud platform

21世紀以來，新一輪科技革命和產業(yè)變革正在孕育興起，全球科技創(chuàng)新呈現(xiàn)出新的發(fā)展態(tài)勢和特征[1]。面向工業(yè)制造領域，信息技術、生物技術、新材料、新能源廣泛滲透使得傳統(tǒng)制造智能化、服務化、綠色化趨勢明顯[2]。特別是信息技術與制造業(yè)的深度融合正在深刻變革著工業(yè)產品設計研發(fā)、工藝制造、經營管理模式，從而更有效地配置資源，大幅度地提高生產效率，降低成本，提高核心競爭能力，從而推動產品換代和產業(yè)升級[3]。

在科技創(chuàng)新和產業(yè)變革的趨勢下，世界上主要的制造大國都推出了具有本國特色的“智能制造”發(fā)展戰(zhàn)略。無論是美國的工業(yè)互聯(lián)網、德國的工業(yè)4.0還是中國制造2025[4]，智能制造主要體現(xiàn)在以下幾個方面：

（1）生產過程智能化，即生產方式的自動化、精密化、智能化。

（2）生產裝備和產品智能化，即把芯片、傳感器、軟件嵌入到生產裝備和產品中，使之具備動態(tài)存儲、感知和通信能力，實現(xiàn)可追溯、可識別、可定位。

（3）制造模式智能化，即建立以個性定制、協(xié)同開發(fā)、精準推薦、智能生產、智能物流為代表的智能制造新模式。

（4）管理智能化，將云計算、大數(shù)據(jù)、深度學習等技術以及現(xiàn)代管理理念融入到制造企業(yè)中，實現(xiàn)基于數(shù)據(jù)的精準經營決策。

（5）服務智能化，即體現(xiàn)為高效、準確、及時挖掘客戶潛在需求并實時響應，也體現(xiàn)為產品交付后通過線上線下（O2O）的相關服務實現(xiàn)全生命周期管理。

可以看到，智能制造離不開移動互聯(lián)網、物聯(lián)網、云計算、大數(shù)據(jù)等新一代信息技術的支撐和驅動。具體來講，前端傳感器、移動終端和嵌入設備時時處處感應著物理制造過程的狀態(tài)變化，并將其轉變?yōu)閿?shù)字化原始數(shù)據(jù)。整個工業(yè)系統(tǒng)基于物聯(lián)網、移動互聯(lián)網實現(xiàn)設備間、設備與控制系統(tǒng)、企業(yè)上下游的聯(lián)通，將數(shù)據(jù)傳輸匯總到后端云數(shù)據(jù)中心。云數(shù)據(jù)中心對數(shù)據(jù)進行存儲、建模和初步統(tǒng)計分析后形成信息；再進一步通過分類、歸納、演繹和預測等深度挖掘成為知識；最后，智能設備可在軟件平臺的控制下，對設計規(guī)程、制造指令、運維告警進行精確響應，靈活調整運行參數(shù)，產出智能產品來影響物理世界、服務大眾生活[5]。

因此，新一代信息技術推動著制造業(yè)向著數(shù)字化、網絡化、智能化方向快速發(fā)展。這個過程以云計算作為計算和存儲能力的資源平臺，以工業(yè)互聯(lián)網作為物理和信息系統(tǒng)的連接紐帶，以大數(shù)據(jù)及相關技術作為知識共享、價值挖掘的認知方法，而圍繞深度學習的芯片、算法則成為強化制造智能的優(yōu)化工具。其中，云計算是基礎，它可以為智能制造提供核心驅動力。

1 面向智能制造的數(shù)據(jù)中心

面臨的挑戰(zhàn)

可以預見，今后面向智能制造的前端生產裝備、智能產品將朝著輕量化和泛在化發(fā)展。通過物聯(lián)網、工業(yè)互聯(lián)網將各種各樣的數(shù)據(jù)持續(xù)不斷向后端傳輸，造成數(shù)據(jù)的爆發(fā)增長。除傳統(tǒng)結構化數(shù)據(jù)外，音/視頻、圖片等非結構化數(shù)據(jù)比重快速增加，而其固有的不可預測性、不連貫語義使得難以進行分析處理。同時，數(shù)據(jù)處理的速度問題也愈發(fā)突出，需要以秒/分鐘級為目標進行實時/準實時處理。也就是說，數(shù)據(jù)來源的多樣性、語義的不確定性和處理的實效性使得后端計算量越來越大，對數(shù)據(jù)中心的存儲和計算能力都提出了巨大的需求。在這種趨勢下，面向智能制造的數(shù)據(jù)中心規(guī)模持續(xù)增長，且大規(guī)模數(shù)據(jù)中心也越來越集中。規(guī)?；?、集中化的數(shù)據(jù)中心將面臨著性能、效率、能耗等方面的諸多問題和一系列挑戰(zhàn)。

首先是性能方面的瓶頸問題。2005年之后處理器主頻基本停滯在3 GHz。同時，集成電路的制程工藝也遇到瓶頸，摩爾定律難以維持下去，2014年國際半導體技術藍圖（ITRS）宣布將不再遵循摩爾定律[6]。性能上的另外一個問題在于存儲性能瓶頸，處理器外部的主存、磁盤與內部寄存器、緩存的訪問速度相差巨大，造成整個系統(tǒng)數(shù)據(jù)存取性能的不匹配。例如，主存訪問時間比L1 Cache高出2個數(shù)量級，比磁盤快4～5個數(shù)量級。此外，網絡瓶頸也是制約數(shù)據(jù)中心擴展性的重要因素，目前的數(shù)據(jù)中心普遍采用分布式架構，設備間的互連網絡帶寬遠低于設備內的互連帶寬，并且協(xié)議復雜、層次眾多，使得業(yè)務系統(tǒng)擴展受到嚴重限制。

第2個挑戰(zhàn)是效率問題。據(jù)Gartner統(tǒng)計，目前數(shù)據(jù)中心的服務器平均利用率為12%[7]。雖然通過虛擬化能實現(xiàn)計算資源在不同業(yè)務間的調度，從而使得單一設備的利用率提升到60%左右，但是傳統(tǒng)架構中服務器、存儲等設備是分離的，資源共享僅限于同類設備，這就使得整體的資源利用率仍然不高。效率低下的另一個原因是中央處理器（CPU）普遍采用通用的迭代電路設計，而圖形處理器（GPU）、數(shù)字信號處理（DSP）等專用芯片采用專用硬件電路設計，在執(zhí)行快速傅里葉變換（FFT）、離散傅里葉變換（DFT）等特定算法時并行度高，性能能夠提高100～1 000倍。因此，提升CPU針對大規(guī)模應用的性能，或發(fā)展面向應用的專用和可重構計算單元，具有廣闊的空間。

第3個挑戰(zhàn)是能耗問題。統(tǒng)計分析表明，大多數(shù)數(shù)據(jù)中心的服務器能耗占比在50%以上，問題突出。在無法降低處理器功耗的前提下，就需要通過提升能效來實現(xiàn)以較少的能耗達到更高的性能。然而，就目前的工藝水平，通過維持功耗基本不變提升單顆處理器的性能難以實現(xiàn)。此外，深度學習等智能計算的發(fā)展進一步加劇了數(shù)據(jù)中心能耗和能效的雙重挑戰(zhàn)。例如， Google的AlphaGo其規(guī)模為1 920個CPU和280個GPU，在與李世石的對弈中，AlphaGo的功率為500 kW，而李世石僅為0.1 kW。由此可見，AlphaGo與人腦的計算效率差距巨大，這也表明CPU/GPU在設計上存在冗余或瓶頸，造成能效低下。深度學習若要大規(guī)模應用，將會給數(shù)據(jù)中心能耗帶來更大的挑戰(zhàn)，迫切需要提升數(shù)據(jù)中心的單位能效。

2 面向智能制造的云平臺

技術

隨著規(guī)模的不斷擴大，傳統(tǒng)數(shù)據(jù)中心那種將設備進行簡單堆積，以交換機連接，再輔以虛擬化軟件進行資源調度和管理的方式已經無法滿足智能制造帶來的計算量與數(shù)據(jù)量需求，必須在各個層面進行技術的創(chuàng)新，推動數(shù)據(jù)中心架構的變革。我們將這種適應未來需求的全新數(shù)據(jù)中心架構定義為融合架構[8]。

融合架構就是面向應用的硬件重構和軟件定義[9]，也就是在硬件層將計算、存儲、網絡整合為資源池，在軟件層動態(tài)感知業(yè)務的資源需求，利用硬件重組的能力，智能地動態(tài)分配和組合資源，以滿足各類應用的需求。融合架構的實現(xiàn)，從當前來看至少需要以下幾個方面的關鍵技術來做支撐：

（1）在高速互連方面，硅光技術的發(fā)展將加速硬件解耦化，為硬件重構奠定基礎。

（2）高性能非易失性存儲器的突破性進展將簡化存儲層次結構，大幅提升系統(tǒng)效能。另外，大容量內存技術將使得內存計算成為現(xiàn)實。

（3）可重構計算技術的發(fā)展使得硬件面向軟件優(yōu)化，或者說硬件適配軟件成為可能。

（4）軟件定義將支撐面向應用優(yōu)化的數(shù)據(jù)中心基礎設施的按需重構。

2.1 高速互連

光互連相對于電信號互連具有高帶寬、低延遲、長距離等優(yōu)勢，而硅光互連相對于目前用于板間或者節(jié)點間通信的光纖技術又有著更高的通信速率、更低的功耗，以及因更簡單的結構所帶來的更高部署密度和更簡單互連協(xié)議等優(yōu)點。例如，電互連的傳輸速率是10 Gbit/s，而光互連可達30 Gbit/s，并且通過波分復用并行傳輸可進一步達到Tbit/s級的速度。同時，光學器件的體積較小，部署密度是電互連的5倍以上，而功耗僅為1/7[10]。硅光技術的上述優(yōu)勢，使其特別適合用于芯片間的高速和長距離互連，其應用將加速推動硬件資源的解耦，進而實現(xiàn)數(shù)據(jù)中心硬件資源的物理池化。

硅光技術將使目前毫秒級的跨節(jié)點訪問延遲縮短至納秒級，使節(jié)點內和節(jié)點間的訪存延遲幾乎沒有差異，因此資源的解耦和池化便成為可能，如圖1所示。目前虛擬化技術采用的分時復用模式是在硬件資源無法從物理上切分時的選擇，但虛擬化本身帶來了額外的資源開銷。因此，當硬件資源具備物理的解耦能力之后，一種基于軟件定義的資源邊界配置與組織模式，將會較大程度上提升數(shù)據(jù)中心的總體能效。

2.2 新型存儲與內存計算

隨著半導體工藝的進步，非易失性存儲在性能和容量密度方面已經取得較大進展，將對計算機系統(tǒng)的存儲層次結構產生重大影響[11]。內存與外存合二為一，存儲層次更加扁平化，如圖2所示。這種扁平化將帶來更低的數(shù)據(jù)訪問延遲、更高的訪問帶寬，以及更大容量的存儲空間，支撐實現(xiàn)更高效率的“內存計算”。近年來，非易失性內存固定存儲器（NVM）和傳統(tǒng)動態(tài)存儲器（DRAM）單位容量的成本持續(xù)下降，而服務器的內存容量支持能力大幅增長，也使得在內存中緩存海量的實時數(shù)據(jù)成為現(xiàn)實。內存計算通過將用戶程序在內存中執(zhí)行，避免了傳統(tǒng)架構中訪問磁盤的輸入輸出（IO）瓶頸和并行度差的問題。例如，K-means聚類和Logistic回歸算法的處理速度在Spark內存計算架構下將比傳統(tǒng)Hadoop提升37.8倍和114倍[12]。

2.3 可重構技術

可重構技術可以分為數(shù)據(jù)中心級、系統(tǒng)級和芯片級3個層次，芯片級的可重構即是根據(jù)應用的需求進行芯片功能重構。隨著3D晶體管工藝的推廣應用，處理器芯片內部的晶體管資源更加豐富，可編程現(xiàn)場可編程門陣列（FPGA）的性能和容量也都大幅提升，使得面向特定應用重構硬件邏輯成為可能[13]。可重構處理器既保持了處理器的通用性，又具備專用硬件邏輯的高效率，以及邏輯可重構帶來的靈活性。這實際上就是一種更細粒度的軟件定義的資源重構，將對數(shù)據(jù)中心整體效率帶來較大提升。實現(xiàn)可重構的關鍵是應用邏輯的在線快速動態(tài)加載與切換。將應用邏輯劃分為通用靜態(tài)邏輯和專用動態(tài)邏輯，如圖3所示。通用的靜態(tài)邏輯可以預先配置，用于建立異構部件與CPU的數(shù)據(jù)通路；而動態(tài)邏輯與應用特征有關，可以通過CPU與加速部件的高速接口完成目標應用在線快速切換，從而在毫秒級內完成邏輯動態(tài)重構。

2.4 軟件定義

軟件定義的基本思想是控制與基礎設施分離，實現(xiàn)邏輯集中的資源彈性調整、動態(tài)分配與可編程配置，也就是說將計算、存儲、網絡等基礎設施資源化，作為隨需提供的服務。目前，軟件定義的關注重點正在從資源抽象和控制分離，逐步擴展到業(yè)務感知能力。特別是在數(shù)據(jù)中心資源管理中引入機器學習技術，例如在模式識別、音/視頻處理等領域廣泛應用的深層神經網絡[14]，建立應用感知的資源重構決策系統(tǒng)，賦予基礎設施感知上層應用需求、識別資源使用行為特征的能力，為業(yè)務構建最佳運行環(huán)境。

3 融合架構演進路線及應用

實踐

融合架構的最終形態(tài)，就是硬件趨于一致，軟件定義一切。通過硬件重構，將各種資源融合到一個全新形態(tài)的設備中，再通過軟件定義表現(xiàn)出計算、存儲、網絡、安全功能，派生出科學計算、大數(shù)據(jù)和人機交互等業(yè)務，滿足不同的智能制造應用場景需求。具體到發(fā)展路線，我們認為可以從軟、硬件2個層面演進，并分3個階段逐步發(fā)展。

（1）第1階段，在硬件上實現(xiàn)散熱、電源、管理功能等非IT資源的集中化和模塊化，并利用軟件虛擬化實現(xiàn)計算、存儲等IT資源的池化和集中管理。

（2）第2階段，進一步將非計算部分的存儲、網絡等IO設備進行池化，機柜內采用硅光電等技術進行高速互聯(lián)，并以軟件定義的計算、存儲和網絡來滿足業(yè)務需求。

（3）第3階段是最終將CPU、內存等所有IT資源完全池化，從硬件上可實現(xiàn)任意組合，根據(jù)應用需求智能地分配和組合相關資源，實現(xiàn)完全意義上業(yè)務驅動的軟件定義數(shù)據(jù)中心。

3.1 第1代融合架構

第1代融合基礎架構的特征是實現(xiàn)散熱、電源、管理等非IT資源的集中化和模塊化，如圖4所示。與傳統(tǒng)架構相比，集中供電能夠提高系統(tǒng)供電效率，減少電源自身的損耗；集中散熱不但方便系統(tǒng)維護，而且能夠降低系統(tǒng)散熱功耗；對資源的集中管理能夠實現(xiàn)系統(tǒng)功耗監(jiān)測控制、散熱調控等智能化管理。

第1代融合架構代表是參照美國開放計算項目（OCP）[15]和中國天蝎規(guī)范[16]研發(fā)的機柜級服務器，OCP和天蝎規(guī)范都針對機柜服務器的尺寸、空間、設施、供電等方面形成各自統(tǒng)一標準，已經在全球互聯(lián)網巨頭的數(shù)據(jù)中心廣泛應用。例如，Google每年采購量在40萬節(jié)點，F(xiàn)acebook每年25萬節(jié)點，中國BATQ每年也都在10萬節(jié)點以上。通過第1代融合架構應用，中國互聯(lián)網數(shù)據(jù)中心的空間利用率可以提升13.8%，能耗能降低15%以上，總所有成本（TCO）降低10%，部署效率提高10倍，浪潮在百度陽泉數(shù)據(jù)中心更是創(chuàng)造了單日部署1萬節(jié)點的記錄。

3.2 第2代融合架構

第2代融合基礎架構在第1代基礎上，基于高速互聯(lián)構建分布式網絡，進一步將存儲硬件池化，并通過軟件定義實現(xiàn)資源拓撲靈活定義、存儲按需供給，如圖5所示。

第2代融合架構的典型代表是云服務器架構（CRA） 。網絡方面，CRA將傳統(tǒng)網卡、交換機取消，統(tǒng)一設計為統(tǒng)一網絡引擎（UNE），每個UNE鏈接4個節(jié)點，相互之間組成分布式網絡構成一個機柜級交換核心，實現(xiàn)與主干網絡的連接。每個UNE對內有8個25 G的外設部件快速互連（PCI-E）接口，而對外有4個40 G和4個100 G的以太網接口，如圖6所示。相比傳統(tǒng)網絡，該架構可以：（1）通信延遲降低77%。傳統(tǒng)架構最低通信延遲超過10 μs，但是CRA僅為2.3 μs。（2）靈活多樣，按需擴展?；诜植际骄W絡，通過軟件定義能夠支持多種組網方式，并且可以根據(jù)負載和應用類型進行縱/橫向流量動態(tài)調配，網絡規(guī)?？梢噪S需擴展。在存儲方面，CSA將原屬于各個節(jié)點的存儲空間池化，形成存儲擴展節(jié)點，通過PCI-E 高速網絡連接，最大能擴展到24×12盤位。此外，通過集成虛擬化平臺和云管理平臺，實現(xiàn)硬件和虛擬資源的統(tǒng)一管理，形成軟硬一體的基礎設施即服務（IaaS）解決方案。

CSA通過一體化的基礎架構融合，不僅電源、管理等模塊全部采用冗余和熱插拔設計，兩路/四路/八路通用計算節(jié)點、集成眾核（MIC）/GPU/協(xié)處理異構加速節(jié)點、存儲擴展節(jié)點都可以按需配置，能夠滿足智能制造領域智能監(jiān)測控制、數(shù)字訂單、協(xié)同管理、工業(yè)分析和預測等全方位的應用需求，同時部署密度提高52%，部署效率提高10倍?；贑SA、利用FPGA構建的語音識別系統(tǒng)功耗只相當于CPU方案的15.7%，性能可以提升2.87倍。

軟件層面的代表是云海云數(shù)據(jù)中心操作系統(tǒng)InCloud OS，基于OpenStack構建并增強，全面支持軟件定義，統(tǒng)一管理主流小型機、x86服務器和存儲，支持異構虛擬化和混合云管理，如圖7所示。InCloud OS通過整合異構設備，資源利用率提高70%，空間成本節(jié)省50%，服務交付時間由數(shù)天縮短至分鐘級，業(yè)務部署時間由平均12 h縮短至5 min，有效提升智能制造信息系統(tǒng)的管理和運維效率。

3.3 第3代融合架構

第3代融合架構的特征是CPU、內存、存儲、網絡完全池化，完全按需進行資源的軟件定義。在未來的智能工廠，即使遠在千里之外也能洞悉生產車間內的一切，監(jiān)視生產的每個環(huán)節(jié)，準確控制每個生產步驟和節(jié)拍，科學管控倉儲和物流系統(tǒng)，根據(jù)個性化需求和生產情況變化快速規(guī)劃出及時、準確的控制指令。第3代融合架構能夠通過感知上層業(yè)務的類型和資源需求，利用硬件的重構能力動態(tài)地分配和組合資源，變化高效靈活的服務形態(tài)，為上述智能制造場景構建最佳的運行環(huán)境，并能夠有效提升應用性能和系統(tǒng)能效，具體如圖8所示。

4 結束語

作為支撐智能制造的重要基礎設施，融合架構能夠從更深層次上提高云數(shù)據(jù)中心的精簡化和智能化程度，促進能源使用效率（PUE）降低至1.2以下；通過將各類資源整合為資源池，可以實現(xiàn)資源的任意重構，資源利用率提高50%；滿足彈性伸縮和超大規(guī)模持續(xù)擴展需求，擴展性提高20倍以上；通過感知業(yè)務的資源需求，數(shù)據(jù)中心可以自動重組資源來為業(yè)務構建最佳的運行環(huán)境，按需建立從底層硬件到上層業(yè)務軟件的信任鏈，讓應用軟件與基礎設施之間的契合程度達到一個前所未有的水平，從真正意義上賦予數(shù)據(jù)中心高效、綠色、靈動、智能，驅動智能制造的快速、健康發(fā)展，支撐“中國制造2025”的實現(xiàn)。

致謝

本文得到李仁剛高級工程師、蘇志遠博士的幫助，謹致謝意！

參考文獻

[1] 周濟.智能制造—“中國制造2025”的主攻方向[J]. 中國機械工程， 2015， 26（17）： 2273-2284

[2] 張潔， 呂佑龍. 智能制造的現(xiàn)狀與發(fā)展趨勢[J]. 高科技與產業(yè)化， 2015（226）： 42-47

[3] 陶永， 王田苗， 李秋實， 等. 基于 “互聯(lián)網+” 的制造業(yè)全生命周期設計、制造、服務一體化[J]. 科技導報， 2016， 34（4）： 45-9

[4] 馮國華. 因地制宜打造大數(shù)據(jù)驅動的智能工業(yè)[N]. 中國電子報， 2015-01-12

[5] 于青利， 李曼， 周倩. 云計算時代托舉智能制造走向成功[J]. 世界電信， 2015（7）： 28-36

[6] International Technology Roadmap for Semiconductors. 2014 ITRS Reports[R]. Gyeonggi-do， 2014

[7] The Sorry State of Server Utilization and the Impending Post-Hypervisor Era [EB/OL]. https：//gigaom.com/2013/11/30/the-sorry-state-of-server-utilization-and-the-impending-post-hypervisor-era/

[8] 王恩東. 融合架構引領云計算數(shù)據(jù)中心[R]. 北京： 第八屆中國云計算大會， 2016

[9] 張廣彬， 盤駿， 曾智強. 數(shù)據(jù)中心2013：硬件重構與軟件定義[R]. ZDNet企業(yè)解決方案中心， 2014

[10] ROELKENS G， LIU L， LIANG D. III-V/Silicon Photonics for On-Chip and Intra-Chip Optical Interconnects [J]. Laser & Photonics Reviews， 2010， 4（6）： 751-779

[11] TORRES L， BRUM R M， CARGNINI L V， et al. Trends on the Application of Emerging Nonvolatile Memory to Processors and Programmable Devices[C]//2013 IEEE International Symposium on Circuits and Systems （ISCAS2013）. USA： IEEE， 2013： 101-104

[12] ZAHARIA M. Parallel Programming with Spark [EB/OL]. http：//ampcamp.berkeley.edu/wp-content/uploads/2013/02/Parallel-Programming-With-Spark-Matei-Zaharia-Strata-2013.pdf

[13] HAUCK S， DEHON A. Reconfigurable Computing： the Theory and Practice of FPGA-Based Computation [M]. USA： Morgan Kaufmann， 2010

[14] LECUN Y， BENGIO Y， HINTON G. Deep Learning [J]. Nature， 2015（521）： 436-444

[15] Open Compute Project [EB/OL]. http：//www.opencompute.org/

[16] 開放數(shù)據(jù)中心委員會. 天蝎整機柜服務器技術規(guī)范[S]