蓋普勒
數(shù)據(jù)采集一直是困擾所有制造工廠的傳統(tǒng)痛點(diǎn)。由于自動(dòng)化設(shè)備品牌類型繁多,廠家和數(shù)據(jù)接口各異,國(guó)外廠家本地支持有限,以及不同采購(gòu)年代等問題,即使實(shí)現(xiàn)數(shù)據(jù)自動(dòng)采集,也不意味著能獲得整個(gè)制造過程的所有數(shù)據(jù)??梢哉f,只要還有人工參與的環(huán)節(jié),這些數(shù)據(jù)就不完整。
工業(yè)數(shù)據(jù)采集類型
互聯(lián)網(wǎng)的數(shù)據(jù)主要來(lái)自于互聯(lián)網(wǎng)用戶和服務(wù)器等網(wǎng)絡(luò)設(shè)備,主要是大量的文本數(shù)據(jù)、社交數(shù)據(jù)以及多媒體數(shù)據(jù)等,而工業(yè)數(shù)據(jù)主要來(lái)源于機(jī)器設(shè)備數(shù)據(jù)、工業(yè)信息化數(shù)據(jù)和產(chǎn)業(yè)鏈相關(guān)數(shù)據(jù)。
從數(shù)據(jù)采集的類型上看,不僅要涵蓋基礎(chǔ)的數(shù)據(jù),還將逐步包括半結(jié)構(gòu)化的用戶行為數(shù)據(jù)、網(wǎng)狀的社交關(guān)系數(shù)據(jù)、文本或音頻類型的用戶意見和反饋數(shù)據(jù)、設(shè)備和傳感器采集的周期性數(shù)據(jù),網(wǎng)絡(luò)爬蟲獲取的互聯(lián)網(wǎng)數(shù)據(jù),以及未來(lái)越來(lái)越多有潛在意義的各類數(shù)據(jù)。主要包括以下幾種:
一是海量的Key-Value數(shù)據(jù)。在傳感器技術(shù)飛速發(fā)展的今天,包括光電、熱敏、氣敏、力敏、磁敏、聲敏、濕敏等不同類別的工業(yè)傳感器在現(xiàn)場(chǎng)得到了大量應(yīng)用,而且很多時(shí)候機(jī)器設(shè)備的數(shù)據(jù)大概要到毫秒級(jí)的精度才能分析海量的工業(yè)數(shù)據(jù),該部分?jǐn)?shù)據(jù)的特點(diǎn)是每條數(shù)據(jù)內(nèi)容很少,但是采集頻率極高。
二是文檔數(shù)據(jù)。包括工程圖紙、仿真數(shù)據(jù)、設(shè)計(jì)的CAD圖紙等,還有大量的傳統(tǒng)工程文檔。
三是信息化數(shù)據(jù)。由工業(yè)信息系統(tǒng)中產(chǎn)生的數(shù)據(jù),大多都是通過數(shù)據(jù)庫(kù)形式存儲(chǔ)的,因此這部分?jǐn)?shù)據(jù)是最好采集的。
四是接口數(shù)據(jù)。由已經(jīng)建成的工業(yè)自動(dòng)化或信息系統(tǒng)提供的接口類型的數(shù)據(jù),包括txt格式、JSON格式、XML格式等。
五是視頻數(shù)據(jù)。工業(yè)現(xiàn)場(chǎng)會(huì)有大量的視頻監(jiān)控設(shè)備,這些設(shè)備會(huì)產(chǎn)生大量的視頻數(shù)據(jù)。
六是圖像數(shù)據(jù)。包括工業(yè)現(xiàn)場(chǎng)各類圖像設(shè)備拍攝的圖片(例如,巡檢人員用手持設(shè)備拍攝的設(shè)備、環(huán)境信息圖片)。
七是音頻數(shù)據(jù)。包括語(yǔ)音及聲音信息(例如,操作人員的通話、設(shè)備運(yùn)轉(zhuǎn)的音量等)。
八是其他數(shù)據(jù)。例如遙感遙測(cè)信息、三維高程信息等。
數(shù)據(jù)采集的方法
傳統(tǒng)的數(shù)據(jù)采集方法包括人工錄入、調(diào)查問卷、電話隨訪等方式。大數(shù)據(jù)時(shí)代到來(lái)后,一個(gè)突出的變化就是數(shù)據(jù)采集方法有了質(zhì)的飛躍,下面所介紹的數(shù)據(jù)采集方式的突破直接改變著大數(shù)據(jù)應(yīng)用的場(chǎng)景。
傳感器
傳感器是一種檢測(cè)裝置,能感受到被測(cè)量的信息,并能將檢測(cè)感受到的信息,按一定規(guī)律變換成為電信號(hào)或其他所需形式的信息輸出,以滿足信息的傳輸、處理、存儲(chǔ)、顯示、記錄和控制等要求。在生產(chǎn)車間中一般存在許多的傳感節(jié)點(diǎn),24小時(shí)監(jiān)控著整個(gè)生產(chǎn)過程,當(dāng)發(fā)現(xiàn)異常時(shí)可迅速反饋至上位機(jī),可以算得上是數(shù)據(jù)采集的感官接受系統(tǒng),屬于數(shù)據(jù)采集的底層環(huán)節(jié)。
傳感器在采集數(shù)據(jù)的過程中主要特性是其輸入與輸出的關(guān)系。
其靜態(tài)特性反映了傳感器在被測(cè)量各個(gè)值處于穩(wěn)定狀態(tài)時(shí)的輸入和輸出關(guān)系,這意味著當(dāng)輸入為常量,或變化極慢時(shí),這一關(guān)系就稱為靜態(tài)特性。我們總是希望傳感器的輸入與輸出成唯一的對(duì)照關(guān)系,最好是線性關(guān)系。
一般情況下,輸入與輸出不會(huì)符合所要求的線性關(guān)系,同時(shí)由于存在遲滯、蠕變等因素的影響,輸入輸出關(guān)系的唯一性也不能實(shí)現(xiàn)。因此我們不能忽視工廠中的外界影響,其影響程度取決于傳感器本身,可通過傳感器本身的改善加以抑制,有時(shí)也可以加對(duì)外界條件加以限制。
RFID技術(shù)
該技術(shù)全稱Radio Frequency Identification,中文又稱射頻識(shí)別技術(shù),其是一種非接觸式的自動(dòng)識(shí)別技術(shù),通過射頻信號(hào)自動(dòng)識(shí)別目標(biāo)對(duì)象并獲取相關(guān)的數(shù)據(jù)信息。利用射頻方式進(jìn)行非接觸雙向通信,達(dá)到識(shí)別目的并交換數(shù)據(jù)。RFID技術(shù)可識(shí)別高速運(yùn)動(dòng)物體并可同時(shí)識(shí)別多個(gè)標(biāo)簽,操作快捷方便。
在工作時(shí),RFID讀寫器通過天線發(fā)送出一定頻率的脈沖信號(hào),當(dāng)RFID標(biāo)簽進(jìn)入磁場(chǎng)時(shí),憑借感應(yīng)電流所獲得的能量發(fā)送出存儲(chǔ)在芯片中的產(chǎn)品信息(Passive Tag,無(wú)源標(biāo)簽或被動(dòng)標(biāo)簽),或者主動(dòng)發(fā)送某一頻率的信號(hào)(Active Tag,有源標(biāo)簽或主動(dòng)標(biāo)簽)。
閱讀器對(duì)接收的信號(hào)進(jìn)行解調(diào)和解碼然后送到后臺(tái)主系統(tǒng)進(jìn)行相關(guān)處理;主系統(tǒng)根據(jù)邏輯運(yùn)算判斷該卡的合法性,針對(duì)不同的設(shè)定做出相應(yīng)的處理和控制,發(fā)出指令信號(hào)控制執(zhí)行機(jī)構(gòu)動(dòng)作。
RFID技術(shù)解決了物品信息與互聯(lián)網(wǎng)實(shí)現(xiàn)自動(dòng)連接的問題,結(jié)合后續(xù)的大數(shù)據(jù)挖掘工作,能發(fā)揮其強(qiáng)大的威力。
數(shù)據(jù)采集技術(shù)難點(diǎn)
在制造業(yè)領(lǐng)域,現(xiàn)今數(shù)據(jù)采集依然是一個(gè)難點(diǎn)。很多企業(yè)的生產(chǎn)數(shù)據(jù)采集主要依靠傳統(tǒng)的手工作業(yè)方式,采集過程中容易出現(xiàn)人為的記錄錯(cuò)誤且效率低下。
有些企業(yè)雖然引進(jìn)了相關(guān)技術(shù)手段,并且應(yīng)用了數(shù)據(jù)采集系統(tǒng),但是由于系統(tǒng)本身的原因以及企業(yè)沒有選擇最適合自己的數(shù)據(jù)采集系統(tǒng),因此也無(wú)法實(shí)現(xiàn)信息采集的實(shí)時(shí)性、精確性和延伸性管理,各單元出現(xiàn)了信息斷層的現(xiàn)象。
技術(shù)難點(diǎn)主要包括以下幾方面:
第一,數(shù)據(jù)量巨大。任何系統(tǒng),在不同的數(shù)據(jù)量面前,所需要的技術(shù)難度是不完全相同的。
如果單純是將數(shù)據(jù)采到,可能還比較好完成,但采集之后還需要處理,因?yàn)楸仨毧紤]數(shù)據(jù)的規(guī)范與清洗,因?yàn)榇罅康墓I(yè)數(shù)據(jù)是“臟”數(shù)據(jù),直接存儲(chǔ)無(wú)法用于分析,在存儲(chǔ)之前,必須進(jìn)行處理,對(duì)海量的數(shù)據(jù)進(jìn)行處理,從技術(shù)上又提高了難度。
第二,工業(yè)數(shù)據(jù)的協(xié)議不標(biāo)準(zhǔn)?;ヂ?lián)網(wǎng)數(shù)據(jù)采集一般都是我們常見的HTTP等協(xié)議,但在工業(yè)領(lǐng)域,會(huì)出現(xiàn)ModBus、OPC、CAN、ControlNet、DeviceNet、Profibus、Zigbee等各類型的工業(yè)協(xié)議,而且各個(gè)自動(dòng)化設(shè)備生產(chǎn)及集成商還會(huì)自己開發(fā)各種私有的工業(yè)協(xié)議,導(dǎo)致在工業(yè)協(xié)議互聯(lián)互通,難度極大。
很多開發(fā)人員在工業(yè)現(xiàn)場(chǎng)實(shí)施綜合自動(dòng)化等項(xiàng)目時(shí),遇到的最大問題就是面對(duì)眾多的工業(yè)協(xié)議,沒有辦法進(jìn)行有效的解析和采集。
第三,視頻傳輸所需帶寬非常巨大。由于傳統(tǒng)工業(yè)信息化都是在現(xiàn)場(chǎng)進(jìn)行數(shù)據(jù)采集,視頻數(shù)據(jù)傳輸主要在局域網(wǎng)中進(jìn)行。所以,傳統(tǒng)數(shù)據(jù)采集方式中帶寬不是主要的問題。
但是,隨著云計(jì)算技術(shù)的普及和公有云的興起,大數(shù)據(jù)需要大量的計(jì)算資源和存儲(chǔ)資源,工業(yè)數(shù)據(jù)逐步遷移到公有云已經(jīng)是大勢(shì)所趨。但是,一個(gè)工業(yè)企業(yè)可能會(huì)有幾十路視頻,成規(guī)模的企業(yè)會(huì)有上百路視頻,如此龐大數(shù)量的視頻文件如何通過互聯(lián)網(wǎng)順暢傳輸?shù)皆贫?,是開發(fā)人員面臨的巨大挑戰(zhàn)。
第四,對(duì)原有系統(tǒng)的采集難度大。在工業(yè)企業(yè)實(shí)施大數(shù)據(jù)項(xiàng)目時(shí),數(shù)據(jù)采集往往不是針對(duì)傳感器或者PLC,而是采集已經(jīng)完成布署的自動(dòng)化系統(tǒng)上位機(jī)數(shù)據(jù)。
這些自動(dòng)化系統(tǒng)在部署時(shí)廠商水平參差不齊,大部分系統(tǒng)是沒有數(shù)據(jù)接口的,文檔也大量缺失,大量的現(xiàn)場(chǎng)系統(tǒng)沒有點(diǎn)表等基礎(chǔ)設(shè)置數(shù)據(jù),使得對(duì)于這部分?jǐn)?shù)據(jù)采集的難度極大。
第五,安全性考慮不足。傳統(tǒng)的工業(yè)系統(tǒng)都是運(yùn)行在局域網(wǎng)中的,就整體看來(lái),安全并不是需要突出考慮的重點(diǎn)問題。 然而,一旦需要通過云端調(diào)度工業(yè)之中最為核心的生產(chǎn)能力,又沒有對(duì)安全的充分考慮,造成損失,是難以彌補(bǔ)的。