• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      基于Hadoop的鋼鐵生產(chǎn)大數(shù)據(jù)存儲平臺研究

      2016-11-29 03:42:33常錦才
      軟件 2016年9期
      關(guān)鍵詞:鋼鐵集群分布式

      王 卓,辛 星,尹 曉,常錦才,2*

      (1. 華北理工大學 理學院,河北 唐山 063009;2. 河北省數(shù)據(jù)科學與應(yīng)用重點實驗室 河北 唐山 063009)

      基于Hadoop的鋼鐵生產(chǎn)大數(shù)據(jù)存儲平臺研究

      王卓1,辛星1,尹曉1,常錦才1,2*

      (1. 華北理工大學 理學院,河北 唐山063009;2. 河北省數(shù)據(jù)科學與應(yīng)用重點實驗室 河北 唐山063009)

      大數(shù)據(jù)平臺在鋼鐵企業(yè)的部署對產(chǎn)業(yè)轉(zhuǎn)型和升級有重要作用。鋼鐵產(chǎn)業(yè)大數(shù)據(jù)具有 明顯的實時性、動態(tài)性和不確定性等特點。為應(yīng)對Hadoop分布式文件系統(tǒng)在處理實時工業(yè)數(shù)據(jù)流顯現(xiàn)出的一些不足,提出了基于分布式NameNode節(jié)點的HDFS。對基于分布式NameNode節(jié)點的HDFS進行了總體設(shè)計,包括TopNameNode和分布式NameNode的主要功能和工作機制。分析了分布式NameNode節(jié)點的HDFS的性能優(yōu)點。提出了在虛擬化資源管理平臺上搭建基于Hadoop的動態(tài)可伸縮的分布式文件存儲平臺。將基于知識工程的方法和基于數(shù)據(jù)驅(qū)動的方法相結(jié)合,建立了一種新的混合故障診斷模型。最后對分布式鋼鐵生產(chǎn)大數(shù)據(jù)存儲平臺的優(yōu)勢進行分析。

      鋼鐵大數(shù)據(jù);HDFS;分布式NameNode;技術(shù)架構(gòu);故障診斷

      本文著錄格式:王卓,辛星,尹曉,等. 基于Hadoop的鋼鐵生產(chǎn)大數(shù)據(jù)存儲平臺研究[J]. 軟件,2016,37(9):47-51

      0 引言

      大數(shù)據(jù)平臺的盡早部署直接影響著整個鋼鐵產(chǎn)業(yè)的轉(zhuǎn)型升級和戰(zhàn)略突破。在美國工業(yè)聯(lián)網(wǎng)和德國工業(yè)4.0引領(lǐng)的第四次工業(yè)革命的背景下,若不能將大數(shù)據(jù)技術(shù)運用于鋼鐵實際生產(chǎn),實現(xiàn)鋼鐵產(chǎn)業(yè)智能化,中國鋼鐵將會在國際競爭中處于劣勢,甚至面臨被淘汰的危險。因此,把大數(shù)據(jù)和鋼鐵生產(chǎn)行業(yè)結(jié)合,實現(xiàn)鋼鐵工業(yè)4.0非常必要。大數(shù)據(jù)存儲方案和平臺是大數(shù)據(jù)的基礎(chǔ)和關(guān)鍵的一環(huán),傳統(tǒng)的存儲模式有存儲數(shù)據(jù)量小,計算速度慢,故障后解決困難,損失大的問題,而Hadoop HDFS分布式文件系統(tǒng)具有高容錯性,高可擴展性的特點,存儲平臺安全、穩(wěn)定、可靠[1],同時HDFS使工業(yè)生產(chǎn)的流式數(shù)據(jù)充分發(fā)揮其價值,減少鋼鐵工業(yè)的原料浪費,充分利用生產(chǎn)中的熱量,減少熱量浪費,同時又減少對環(huán)境的傷害。本文就Hadoop HDFS為適應(yīng)鋼鐵生產(chǎn)數(shù)據(jù)特點的優(yōu)化,存儲平臺的技術(shù)架構(gòu),指導生產(chǎn)的實現(xiàn)以及混合故障診斷展開討論。

      1 Hadoop發(fā)展現(xiàn)狀

      Hadoop作為Apache Nutch項目的一個子項目,從2002開始實現(xiàn)開發(fā),經(jīng)過4年的發(fā)展,逐步實現(xiàn)以MapReduce作為計算框架并與NDFS(Nutch distributed file system)結(jié)合的方式來支持Nutch的主要算法,直到2006成為一套完整而獨立的軟件,并正式起名為 Hadoop。

      Apache Hadoop軟件庫是一個框架。它的目的是把單一服務(wù)器擴展到成千上萬的機器,每個節(jié)點提供本地計算和存儲,而不是依靠硬件來實現(xiàn)高可用性。

      Hadoop主要包括以下模塊:

      (1)Hadoop Common:常見的實用程序,支持其他Hadoop模塊。

      (2)Hadoop分布式文件系統(tǒng)(HDFS):一個分布式文件系統(tǒng),它提供了高通量訪問應(yīng)用程序數(shù)據(jù)。

      (3)Hadoop YARN:一個集群作業(yè)調(diào)度和資源管理的框架。

      (4)Hadoop MapReduce:基于YARN的系統(tǒng),并行處理大型數(shù)據(jù)集。

      Hadoop目前在互聯(lián)網(wǎng)行業(yè)的發(fā)展已進入成熟階段,Hadoop設(shè)計之初的目標就定位于高可靠性、高可拓展性、高容錯性和高效性,正是這些設(shè)計上與生俱來的優(yōu)點,才使得Hadoop一出現(xiàn)就受到眾多大公司的青睞,同時也引起了研究界的普遍關(guān)注。Apache Hadoop技術(shù)已廣泛應(yīng)用在互聯(lián)網(wǎng)領(lǐng)域,雅虎使用多達4000個節(jié)點的Hadoop集群來支持廣告系統(tǒng)和Web搜索的研究;中國移動研究院基于Hadoop開發(fā)了“大云”(Big Cloud)系統(tǒng),不但用于相關(guān)數(shù)據(jù)分析,還對外提供服務(wù);百度每周的數(shù)據(jù)量可達200 TB,該公司使用Hadoop處理進行搜索日志分析和網(wǎng)頁數(shù)據(jù)挖掘工作;國內(nèi)的高校和科研院所也對基于Hadoop在數(shù)據(jù)存儲、資源管理、作業(yè)調(diào)度、性能優(yōu)化、系統(tǒng)高可用性和安全性方面進行研究。

      經(jīng)過多年的發(fā)展與完善,Apache Hadoop在2016年1月25日,發(fā)布了Hadoop最新的2.73版本。

      2 為適應(yīng)鋼鐵大數(shù)據(jù)特點的HDFS優(yōu)化研究

      2.1分布式NameNode節(jié)點總體結(jié)構(gòu)設(shè)計

      傳統(tǒng)Hadoop構(gòu)架中,只存在單一的NameNode節(jié)點。而鋼鐵企業(yè)的實時生產(chǎn)大數(shù)據(jù)具有時效性強,數(shù)據(jù)量大的問題。Hadoop傳統(tǒng)的單一NameNode節(jié)點,會有單點失效,性能瓶頸,擴展瓶頸等問題。一旦出現(xiàn)問題,對企業(yè)會造成一定的損失。雖然Hadoop使用SecondaryNameNode來備份NameNode的元數(shù)據(jù),然而NameNode出現(xiàn)問題時并不能實現(xiàn)自動切換,必須由人工介入,將會打亂企業(yè)的生產(chǎn)計劃[2]。因此,創(chuàng)新性地提出了分布式NameNode節(jié)點的HDFS設(shè)計。

      在HDFS集群中加入一個能夠可靠工作的TopNameNode節(jié)點,它負責管理所有的NameNode節(jié)點,使各個NameNode節(jié)點更好地協(xié)作,確保HDFS集群的正常運行。

      在采用分布式NameNode架構(gòu)的HDFS中,各個NameNode節(jié)點組成一個分布式的NameNode系統(tǒng),作為HDFS的主節(jié)點,它們對文件系統(tǒng)提供相同的服務(wù)。同時為保證TopNameNode和NameNode的高可用性[3-4],每個節(jié)點在集群中都有備份節(jié)點。分布式NameNode節(jié)點的HDFS系統(tǒng)結(jié)構(gòu)如圖1所示。

      圖1 分布式名稱節(jié)點的HDFS系統(tǒng)結(jié)構(gòu)圖Fig.1 HDFS System Structure Diagram Based on Distributed NameNode

      (1)TopNameNode節(jié)點

      TopNameNode節(jié)點是所有NameNode節(jié)點的控制節(jié)點,它要維護所有NameNode的健康狀態(tài)、所有DataNode的信息。其主要任務(wù)為:

      ① 監(jiān)控分布式NameNode系統(tǒng)的工作狀況:HDFS集群中的所有NameNode節(jié)點每隔一段時間向TopNameNode節(jié)點發(fā)送一次心跳信號,如果TopNameNode節(jié)點在指定時間內(nèi)沒有收到某個NameNode節(jié)點的心跳信號,便認為此節(jié)點故障。

      ②處理NameNode節(jié)點的故障:當TopNameNode節(jié)點發(fā)現(xiàn)某個NameNode節(jié)點發(fā)生故障時,立即啟動該NameNode節(jié)點的備份節(jié)點Secondary NameNode替換故障節(jié)點。

      ③轉(zhuǎn)發(fā)DataNode的信息,TopNameNode節(jié)點收集所有DataNode的狀態(tài)信息,再轉(zhuǎn)發(fā)給所有的NameNode節(jié)點。

      (2)NameNode節(jié)點

      NameNode節(jié)點與單一NameNode節(jié)點的任務(wù)基本一致。唯一的區(qū)別點在于:單一的NameNode節(jié)點包含了HDFS的所有元數(shù)據(jù),而分布式的NameNode節(jié)點中,元數(shù)據(jù)是分散存儲在各個NameNode節(jié)點中的。集群中所有NameNode節(jié)點都是對等的,一起為HDFS提供元數(shù)據(jù)服務(wù)。

      2.2HDFS可靠性的設(shè)計實現(xiàn)

      (1)安全模式

      HDFS啟動時,NameNode將進入安全模式。處于安全模式的NameNode無法進行任何的文件操作,內(nèi)部的副本創(chuàng)建也被禁止[5]。NameNode此時需和各DataNode通信,獲得DataNode保存的數(shù)據(jù)塊信息,并對數(shù)據(jù)塊信息進行檢查。只有通過了NameNode的檢查,此數(shù)據(jù)塊才被認為安全。當認為安全的數(shù)據(jù)塊所占的比例達到了配置值,NameNode才會退出。

      (2)TopNameNode

      若NameNode、DataNode節(jié)點向TopNameNode發(fā)送的心跳信息在指定時間內(nèi)未得到回復(fù),則認為TopNameNode發(fā)生了故障[6],進而把心跳信息發(fā)送給SecondaryTopNameNode;若SecondaryTop NameNode向TopNameNode發(fā)送的信息請求在指定時間內(nèi)未得到回復(fù),就代替其進行工作。這樣的保障機制使得TopNameNode/SecondaryTopNameNode能時刻維護集群中NameNode和DataNode節(jié)點的最新信息。

      (3)心跳包和副本重新創(chuàng)建

      為了保證NameNode和各個DataNode的聯(lián)系,分布式存儲平臺采用了心跳包(Heart beat)機制。位于整個HDFS核心的NameNode,通過周期性的活動來檢查DataNode的活性。NameNode周期性向管理的各個DataNode發(fā)送心跳包,而收到心跳包的DataNode則需回復(fù)。由于心跳包總是定時發(fā)送,NameNode把將要執(zhí)行的命令通過心跳包發(fā)送給DataNode,而DataNode收到心跳包,一方面回復(fù)NameNode,另一方面就開始了與用戶或者應(yīng)用的數(shù)據(jù)傳輸[7]。

      如偵測到了DataNode失效,那之前保存在此DataNode上的數(shù)據(jù)就變成不可用的[8-9]。那么,如果有的副本存儲在失效的DataNode上,則需要重新創(chuàng)建這個副本,放到另外可用的地方。其他需要創(chuàng)建副本的情況包括數(shù)據(jù)塊校驗失敗等。

      (4)數(shù)據(jù)一致性

      DataNode與應(yīng)用數(shù)據(jù)交互的大部分情況都是通過網(wǎng)絡(luò)進行的,而網(wǎng)絡(luò)數(shù)據(jù)傳輸帶來的一大問題就是數(shù)據(jù)是否能原樣到達[10]。為保證數(shù)據(jù)的一致性,HDFS采用了數(shù)據(jù)校驗,校驗和機制。

      (5)租約

      每當寫入文件之前,一個客戶端必須要獲得NameNode發(fā)放的一個租約。NameNode保證同一個文件只會發(fā)放一個允許寫的租約,那么就可以有效防止出現(xiàn)多人寫入的情況。

      2.3基于分布式NameNode節(jié)點的HDFS特性和優(yōu)點

      (1)NameNode/SecondaryNameNode實現(xiàn)了快速切換

      在原有的SecondaryNameNode機制的基礎(chǔ)上,分布式NameNode節(jié)點增加了TopNameNode,統(tǒng)籌管理各NameNode,在某個NameNode節(jié)點發(fā)生故障時,可迅速實現(xiàn)NameNode/SecondaryNameNode的切換,提高了HDFS的可用性。

      (2)分布式NameNode服務(wù)性能的提升

      HDFS集群中多個NameNode可同時為客戶端提供元數(shù)據(jù)服務(wù),對于元數(shù)據(jù)的請求,根據(jù)元數(shù)據(jù)存放策略可定位對應(yīng)的NameNode節(jié)點,解決了單一NameNode節(jié)點的單點性能瓶頸問題。

      (3)Hadoop集群更易擴展

      集群中的多個NameNode,大大增加了可用于存放元數(shù)據(jù)的內(nèi)存資源,集群中可擴展更多的DataNode,存儲更多的數(shù)據(jù),不再輕易受到單一NameNode節(jié)點內(nèi)存和存儲容量的限制。

      3 鋼鐵生產(chǎn)大數(shù)據(jù)存儲平臺技術(shù)架構(gòu)

      本文設(shè)計的鋼鐵生產(chǎn)大數(shù)據(jù)存儲平臺由虛擬化資源管理平臺和Hadoop分布式存儲平臺構(gòu)成。Hadoop分布式存儲系統(tǒng)部署在資源管理平臺提供的虛擬機池中[11]。其特點是可動態(tài)部署Hadoop Slave節(jié)點,快速搭建Hadoop分布式存儲系統(tǒng)。其技術(shù)架構(gòu)如圖2所示。

      圖2 基于Hadoop的鋼鐵生產(chǎn)大數(shù)據(jù)存儲平臺Fig.2 Big Data Storage Platform for Iron and Steel Enterprises Based on Hadoop

      虛擬化資源平臺基于CentOS操作系統(tǒng)。CentOS由Red Hat Enterprise Linux依照開放源代碼規(guī)定釋出的源代碼所編譯而成[12]。其硬件兼容性好,生命周期為7到10年,基本可以覆蓋硬件的生命周期。

      在搭建的分布式存儲平臺上,可搭建Apache Hive, Apache HBase, Apache Cassandra等數(shù)據(jù)庫系統(tǒng),對鋼鐵企業(yè)生產(chǎn)的實時數(shù)據(jù)處理分析,指導鋼鐵企業(yè)生產(chǎn)規(guī)劃,如圖3所示。

      圖3 鋼鐵工業(yè)大數(shù)據(jù)指導鋼鐵生產(chǎn)規(guī)劃示意圖Fig.3 Big Data of Iron and Steel Enterprises Directing Steel Production Planning Diagram

      4 基于數(shù)據(jù)驅(qū)動的混合故障診斷

      Hadoop HDFS具有能存儲海量歷史數(shù)據(jù)和采集實時流式數(shù)據(jù)的特點。可通過對歷史和實時數(shù)據(jù)的處理,進行故障檢測。將基于知識工程的方法和基于Hadoop的鋼鐵生產(chǎn)大數(shù)據(jù)分布式存儲平臺進行結(jié)合,主要利用基于數(shù)據(jù)驅(qū)動的方法來對故障進行檢測,利用基于知識工程的方法來對故障進行診斷[13]。數(shù)據(jù)驅(qū)動的混合故障診斷的框架如圖4所示。

      圖4 數(shù)據(jù)驅(qū)動的混合故障診斷的框架Fig.4 Hybrid Fault Diagnosis Framework Driven by Data

      混合故障診斷的實現(xiàn)流程如下:

      (1)應(yīng)用HDFS收集處理流式數(shù)據(jù),對數(shù)據(jù)進行處理。得到有效的數(shù)據(jù)。

      (2)利用基于數(shù)據(jù)驅(qū)動方法建立故障模型對數(shù)據(jù)進行處理,得出故障檢測結(jié)果。

      (3)應(yīng)用HDFS存儲量大的特點。對歷史數(shù)據(jù)進行挖掘。建立基于知識模型的專家系統(tǒng)[14]。

      (4)將故障結(jié)果輸入到基于知識的專家系統(tǒng),得到故障原因,實現(xiàn)決策支持。

      (5)若利用知識模型沒有對故障診斷成功,實時數(shù)據(jù)和故障檢測結(jié)果進行數(shù)據(jù)挖掘來實時地更新基于知識的模型。對實時的數(shù)據(jù)進行數(shù)據(jù)挖掘,得到出現(xiàn)的關(guān)鍵字,重要字段等,更新知識模型[15]。

      5 鋼鐵生產(chǎn)大數(shù)據(jù)存儲平臺優(yōu)勢分析

      5.1低成本的優(yōu)秀解決方案

      基于Hadoop的分布式存儲系統(tǒng)提供了低成本解決問題的方案,其本身無License限制,可輕松在上百臺普通PC上并發(fā)存儲大規(guī)模數(shù)據(jù)。鋼鐵企業(yè)無需購置高性能機器來滿足繁重的實時數(shù)據(jù)流處理。集群性能的提升與投入的資金呈線性關(guān)系,在成本控制方面的優(yōu)勢超過分析型數(shù)據(jù)庫的可擴展方面的優(yōu)勢。

      5.2可靠、高效、可伸縮的數(shù)據(jù)存儲平臺

      基于Hadoop的分布式文件存儲系統(tǒng)具有可靠,高效的特點,HDFS架構(gòu)如圖5所示

      圖5 分布式文件存儲系統(tǒng)架構(gòu)Fig.5 Hadoop Distributed File System Framework

      上文已討論分布式文件存儲系統(tǒng)高可靠性的實現(xiàn)。HDFS假設(shè)計算元素和存儲失敗,因此通過創(chuàng)建并維護多個工作數(shù)據(jù)副本,確保能對失敗的節(jié)點重新分布處理;由于存儲平臺通過并行方式存儲,通過并行處理加快處理速度,因此該平臺具有高效的特點;由于平臺的運算性能可線性疊加,處理的數(shù)據(jù)流可達PB、ZB的級別,可伸縮性強。

      5.3靈活的多服務(wù)應(yīng)用支持

      鋼鐵生產(chǎn)大數(shù)據(jù)存儲平臺基于Hadoop HDFS。HDFS的默認配置適合于大多數(shù)安裝的應(yīng)用,支持大多數(shù)平臺,支持shell命令行風格的HDFS目錄交互。Namenode和Datanode都內(nèi)建了網(wǎng)絡(luò)服務(wù)器,可方便地查看集群的狀態(tài)。這些優(yōu)點使得在云計算中運用Hadoop的分布式架構(gòu)成為可能,使云計算能夠不受平臺等的限制。

      6 結(jié)束語

      隨著工業(yè)互聯(lián)網(wǎng)的迅速發(fā)展,工業(yè)生產(chǎn)的實時數(shù)據(jù)量在不斷增長,HDFS在鋼鐵企業(yè)中的應(yīng)用受到了越來越多的關(guān)注,但其單點設(shè)計給鋼鐵生產(chǎn)企業(yè)所帶來的問題也日益凸顯。本文首先提出了一種分布式NameNode節(jié)點的HDFS模型,以此來解決HDFS單一NameNode的不足。針對鋼鐵企業(yè)對海量數(shù)據(jù)處理的迫切需求,提出了在虛擬化資源管理平臺上搭建基于Hadoop的動態(tài)可伸縮的海量數(shù)據(jù)存儲平臺,并給出其技術(shù)架構(gòu)。最后,給出了一種工業(yè)大數(shù)據(jù)下的混合故障診斷模型,并對分布式數(shù)據(jù)存儲平臺的優(yōu)勢進行了分析,為鋼鐵工業(yè)數(shù)據(jù)的實時存儲提供了新的解決方案。

      致謝:感謝華北理工大學大學生創(chuàng)新創(chuàng)業(yè)計劃項目(X2016128),河北省人力資源與社會保障廳留學回國人員科技活動項目(C2015005014)的資助。

      [1] 周斌. 基于Hadoop的海量工程數(shù)據(jù)關(guān)聯(lián)規(guī)劃挖掘方法研究[D]. 北京交通大學, 2016.

      [2] 李明明, 李偉. 基于HDFS的高可靠性存儲系統(tǒng)的研究[J].西安科技大學學報, 2016, 03: 428-430.

      [3] 王又立, 王晶. 一種基于Kerberos和HDFS的數(shù)據(jù)存儲平臺訪問控制策略[J]. 軟件, 2016, 37(01): 67-70.

      [4] 蔣濤, 周傲英, 高云君, 等. 不確定數(shù)據(jù)查詢處理[J]. 新型工業(yè)化, 2013, 3(5): 83-101.

      [5] 王來, 翟健宏. 基于HDFS的分布式存儲策略分析[J]. 智能計算機與應(yīng)用, 2016, 01: 5-8.

      [6] 李可, 李昕. 基于Hadoop生態(tài)集群管理系統(tǒng)Ambari的研究與分析[J]. 軟件, 2016, 37(02): 93-97.

      [7] 王少娟. 基于Hadoop的作業(yè)調(diào)度負載均衡算法研究[D].安徽理工大學, 2016.

      [8] 楊彬. 分布式文件系統(tǒng)HDFS處理小文件的優(yōu)化方案[J].軟件, 2014, 35(6): 65-69.

      [9] 楊海鵬, 戴波. 數(shù)據(jù)采集與監(jiān)控系統(tǒng)在石油化工企業(yè)中的應(yīng)用[J]. 新型工業(yè)化, 2014, 4(3): 44-51.

      [10] Tupe A, Priyadarshi A. Data Mining with Big Data and Privacy Preservation[J]. nature, 2016, 5(4).

      [11] Ma, Ke. Research and implementation of distributed storage system based on big data. 2016 IEEE International Conference on Big Data Analysis (ICBDA): IEEE, 2016:1-4.

      [12] Singh, Somya, Gaurav Raj, and Gurneet Kaur. Analysis of HDFS RPC and Hadoop with RDMA by evaluating write performance.2016 6th International Conference-Cloud System and Big Data Engineering (Confluence): IEEE, 2016: 368-372.

      [13] Wang, Chia-Hui, et al. Coupling GPU and MPTCP to improve Hadoop/MapReduce performance. 2016 2nd International Conference on Intelligent Green Building and Smart Grid (IGBSG): IEEE, 2016: 1-6.

      [14] Docherty J, Corbett H. Managing Change in the Public Relations Industry: The Impact and Potential of Big Data[J]. 2016.

      [15] Vega-Gorgojo G, Fjellheim R, Roman D, et al. Big Data in the Oil & Gas Upstream Industry-A Case Study on the Norwegian Continental Shelf[J]. OIL GAS-EUROPEAN MAGAZINE, 2016, 42(2): 66-68.

      Research on Big Data Storage Platform for Iron and Steel Enterprises Based on Hadoop

      WANG Zhuo1, XIN Xing1, Yin Xiao1, CHANG Jin-cai1,2
      (1. College of Sciences, North China University of Science and Technology, Tangshan 063009; 2. The Key Laboratory of Data Science and Applications of Hebei Province, Tangshan 063009)

      The deployment of big data platform in iron and steel enterprises has an important role in the industrial transformation and upgrading. The big data of iron and steel industries has the characteristics of real time, dynamic and uncertainty. HDFS is gradually showing some deficiencies with the real time industrial data stream, to cope with this, a HDFS based on distributed NameNode nodes is proposed. HDFS based on distributed NameNode nodes is designed generally, including the main functions and working mechanisms of TopNameNode node and distributed NameNode nodes. The performance benefits of HDFS based on distributed NameNode nodes are analyzed. A Solution that building a dynamic scalable distributed file storage platform based on Hadoop in the virtual resource management platform is proposed. A new hybrid fault diagnosis model is built combining method based on Knowledge Engineering with the data driven method. At last, advantages of the big data storage platform for Iron and steel enterprises based on Hadoop are analyzed.

      Big data on iron and steel enterprises; HDFS; Distributed nameNode; Technology framework; Fault diagnosis

      TP311.13

      A

      10.3969/j.issn.1003-6970.2016.09.011

      河北省人力資源與社會保障廳留學回國人員科技活動資助項目(C2015005014)。華北理工大學大學生創(chuàng)新創(chuàng)業(yè)計劃項目(X2016128)。

      通訊聯(lián)系人: 常錦才(1973-),男,博士,教授。

      猜你喜歡
      鋼鐵集群分布式
      《鋼鐵是怎樣煉成的》
      海上小型無人機集群的反制裝備需求與應(yīng)對之策研究
      “鋼鐵俠”
      一種無人機集群發(fā)射回收裝置的控制系統(tǒng)設(shè)計
      電子制作(2018年11期)2018-08-04 03:25:40
      撲面而來的“鋼鐵鳥”
      航空世界(2018年12期)2018-07-16 08:34:50
      分布式光伏熱錢洶涌
      能源(2017年10期)2017-12-20 05:54:07
      分布式光伏:爆發(fā)還是徘徊
      能源(2017年5期)2017-07-06 09:25:54
      Python與Spark集群在收費數(shù)據(jù)分析中的應(yīng)用
      勤快又呆萌的集群機器人
      鋼鐵是怎樣煉成的?
      曲松县| 原阳县| 昌图县| 房产| 新密市| 页游| 星子县| 利津县| 辽中县| 德钦县| 澄迈县| 六枝特区| 宣武区| 西城区| 芮城县| 青田县| 漳浦县| 汉阴县| 青田县| 古丈县| 仁怀市| 公主岭市| 长海县| 通化市| 井陉县| 娱乐| 通海县| 湖北省| 永靖县| 固始县| 武乡县| 且末县| 连州市| 广宗县| 兰西县| 山阴县| 新宁县| 大埔区| 仪征市| 永清县| 化德县|