基于BP神經(jīng)網(wǎng)絡的食品安全抽檢數(shù)據(jù)挖掘

王星云，左敏，*，肖克晶，劉婷

(1．北京工商大學計算機與信息工程學院，北京 100048;2．中國食品藥品檢定研究院，北京 100050)

基于BP神經(jīng)網(wǎng)絡的食品安全抽檢數(shù)據(jù)挖掘

王星云1，左敏1，*，肖克晶1，劉婷2

(1．北京工商大學計算機與信息工程學院，北京 100048;2．中國食品藥品檢定研究院，北京 100050)

數(shù)據(jù)挖掘技術在食品安全領域擁有巨大的應用價值和潛力。通過分析逆向傳播(BP)神經(jīng)網(wǎng)絡算法，說明使用該方法的可行性和優(yōu)越性。以抽檢數(shù)據(jù)為對象，闡述了數(shù)據(jù)預處理過程，設計并實現(xiàn)了數(shù)據(jù)挖掘實驗。最后利用挖掘結果進行食品檢驗結論預測，驗證了方法的實用價值和指導意義。實驗表明，基于BP神經(jīng)網(wǎng)絡的數(shù)據(jù)挖掘方法具有良好的過程健壯性和較高的結果準確性。通過預判不合格食品的出現(xiàn)，可以指導實際食品安全抽檢工作，從而杜絕食品安全問題的發(fā)生。

數(shù)據(jù)挖掘;食品安全;抽檢數(shù)據(jù);檢驗結論;BP神經(jīng)網(wǎng)絡

在國家經(jīng)濟蓬勃發(fā)展，生活水平不斷提高的今天，社會大眾對身體健康的訴求日益增強。在眾多的健康影響因素中，食品的質量和安全對身體有著最直接而重要的影響［1］。確保食品的質量安全是整個食品行業(yè)和相關部門的責任與義務，其中食品抽檢工作作為保證食品質量安全的最后一關，是最為直接和徹底的手段。抽檢工作是通過定期制定計劃，對各類食品進行抽樣檢測，測定各種污染物、微生物、營養(yǎng)指標等的含量來判斷食品合格與否［2-3］，不合格食品將被嚴格禁止流入市場，從而避免食品安全問題的發(fā)生。

通過對食品抽檢工作的了解，各級食品安全監(jiān)管部門每天都會產(chǎn)生大量的檢驗報告，詳細記錄諸如生產(chǎn)企業(yè)、食品來源、存儲狀態(tài)等屬性信息，以及檢驗項目、檢測結果、檢驗結論等檢測信息。這些信息反映了外界各種因素的綜合作用結果，隱含了食品多維屬性之間的潛在聯(lián)系［4］。本文擬采用BP神經(jīng)網(wǎng)絡數(shù)據(jù)挖掘方法，發(fā)掘食品自身屬性與檢驗結論之間的內在規(guī)律和模式，進而利用已知的屬性信息預測食品的檢驗結論是否合格。這些預測結果可以作為檢測工作的先驗知識，為重點檢測哪些項目、檢驗結論是否有誤等提供決策指導，有效提高抽檢工作的效率和效果，達到預防食品安全問題發(fā)生的目的。

1 BP神經(jīng)網(wǎng)絡

人工神經(jīng)網(wǎng)絡受到生物學的啟發(fā)，通過模仿神經(jīng)元的結構和功能來模擬人腦，解決一些非線性的復雜問題，具有強大的分類和預測能力［5］。人工神經(jīng)網(wǎng)絡的學習機制是利用大量具有多維屬性，并且已知分類的數(shù)據(jù)作為輸入，在初始閾值和權值的作用下，計算輸出結果并和實際結果比較獲得誤差。然后通過不斷調整閾值和權值，使誤差不斷減小到可接受范圍，此時的輸出結果近似等于實際值［6］。將當前的參數(shù)作為已訓練好的神經(jīng)網(wǎng)絡模型保存下來，當再次接收一組輸入時，網(wǎng)絡就能夠準確預測其輸出結果。

在眾多的神經(jīng)網(wǎng)絡算法中，以BP神經(jīng)網(wǎng)絡的應用最為廣泛和成功［7］，它利用隱含層將誤差從輸出向輸入逐層反向傳播，在反向傳播的過程中利用最速下降法修改權值和閾值，使誤差函數(shù)快速收斂，具有很快的訓練速度和良好的算法性能。

BP神經(jīng)網(wǎng)絡可以完成任意n維到m維的映射［8］，對于食品檢驗結論的預測本質上就是尋找這種映射關系，將具有多維屬性且不同取值的食品數(shù)據(jù)準確分類到合格或不合格的類別中，這與BP神經(jīng)網(wǎng)絡數(shù)據(jù)挖掘方法的功能相吻合。同時，BP神經(jīng)網(wǎng)絡可以處理具有連續(xù)或離散屬性的數(shù)據(jù)，對訓練數(shù)據(jù)集中的空值甚至錯誤值具有良好的健壯性，適合用于分析數(shù)據(jù)類型復雜、存在較多缺失值的數(shù)據(jù)集，這正好符合了食品安全抽檢數(shù)據(jù)的特點。另外，BP神經(jīng)網(wǎng)絡模仿人腦學習的方式使其具有快速、準確、并行解決復雜問題的能力，當訓練數(shù)據(jù)足夠多時，BP神經(jīng)網(wǎng)絡能夠將誤差降低至很小的程度，使預測結果足夠精確，符合提前控制食品安全問題發(fā)生的要求［9-10］。綜合考慮，將采用BP神經(jīng)網(wǎng)絡方法對食品抽樣檢測數(shù)據(jù)進行數(shù)據(jù)挖掘。

2 數(shù)據(jù)挖掘實驗設計

2.1 任務描述

目前，中國食品藥品檢定研究院承擔了各類食品安全相關的監(jiān)督檢驗、委托檢驗、抽查檢驗等工作。采樣人員根據(jù)抽檢計劃實地獲取食品樣品，記錄樣品的屬性信息，這些信息被提交到檢測檢驗數(shù)據(jù)管理平臺，檢測人員根據(jù)系統(tǒng)中的食品分類，確定需要檢驗的項目，并進行檢測得出結論。

以上述抽檢工作產(chǎn)生的數(shù)據(jù)為基礎，本文數(shù)據(jù)挖掘的主要任務是使用已采集的樣品屬性信息作為輸入，已知的檢驗結論作為輸出，訓練BP神經(jīng)網(wǎng)絡模型反映食品屬性和食品檢驗結論之間的相關關系［11］，分析模型的性能和結果的準確度，并利用這種潛在關系來預測在特定的屬性取值下，檢驗結論是否合格。

2.2 數(shù)據(jù)選擇

數(shù)據(jù)本身的結構和特點直接影響到BP神經(jīng)網(wǎng)絡的訓練效果，需要充分考慮模型結構和挖掘目的，選擇合適的特征屬性，確定合適的輸出結果，并且選取足夠的數(shù)據(jù)項作為訓練樣本［12］。

2.2.1 確定結果分類

BP神經(jīng)網(wǎng)絡的輸出節(jié)點表示分類結果，假設一項食品抽檢數(shù)據(jù)只包含2個檢測項(A，B)，結論為合格或不合格2種，那么分類結果是檢測項與結論取值的組合，形如(A合格，B合格)，(A合格，B不合格)，(A不合格，B合格)，(A不合格，B不合格)共22個。實際上一種食品的檢驗項目平均有20種左右，分類結果將達到220個之多，顯然這種挖掘結果可讀性差，并且訓練過程需要耗費大量時間［13］，不具有實用價值。一個較好的解決方案是對不同檢驗項目單獨訓練BP神經(jīng)網(wǎng)絡，使結果分類只包含一種檢驗項目的兩種檢驗結論共2個分類，這樣訓練時間將大幅縮短并且輸出結果清晰明了。對于需要檢測多個項目的食品樣品，只需使用多個已訓練的對應檢驗項目的BP神經(jīng)網(wǎng)絡進行預測，分別得到檢驗結論即可。

2.2.2 選取特征屬性

一條食品抽檢數(shù)據(jù)包含近70個屬性，事實上并不是所有屬性都適合作為訓練輸入，其中如“抽檢編號”、“聯(lián)系人”等屬性不包含分類結果的有用信息，需要去除。另外如“樣品規(guī)格”、“樣品批號”等名詞性屬性雖然可能含有分類相關的有用信息，但是在填報時沒有取值范圍限定，對于沒有范圍限定的名詞性屬性由于可能存在取值過多的情況，會影響訓練效率，并且預測結果會因為新值的出現(xiàn)產(chǎn)生較大誤差，所以也需要去除。

綜合分析后，選取檢測檢驗數(shù)據(jù)管理平臺數(shù)據(jù)庫中包含污染物“鉛”的10 000條抽檢數(shù)據(jù)作為訓練數(shù)據(jù)集，選定“生產(chǎn)企業(yè)省份”、“抽樣地點”、“年銷售額”等13個屬性作為特征屬性，檢驗結論“合格項”、“不合格項”作為輸出結果分類。

2.3 數(shù)據(jù)預處理

數(shù)據(jù)預處理工作是為了保證輸入數(shù)據(jù)的質量，它是整個數(shù)據(jù)挖掘過程中唯一需要人工處理的環(huán)節(jié)，卻是極其重要、必不可少的環(huán)節(jié)［14-15］。在上述選定的10 000條食品抽檢數(shù)據(jù)中，存在大量缺失值、不規(guī)范項，甚至錯誤項，所以在開始挖掘之前還需要對數(shù)據(jù)進行清洗和轉換，以保證BP神經(jīng)網(wǎng)絡模型能夠正確處理這些樣本。結合抽檢數(shù)據(jù)的特點，對訓練數(shù)據(jù)集進行如下處理［16-17］。

1)對所有的空值、NULL值、“未提供”等全部置為空，BP神經(jīng)網(wǎng)絡可以處理此類缺失值，不需要做默認值替換或者刪除處理［18］。

2)“生產(chǎn)日期”屬性的值包含了年月日的完整信息，由于日期的取值在理論上沒有范圍限定，可以將日期概化為季度，這樣既限制了名詞性屬性的取值范圍，同時保留了日期本身的信息。如2015/3/1轉換為“一季度”，2014/12/20轉換為“四季度”。

3)“年銷售額”屬性的值包括“萬元”、“元”和沒有單位的數(shù)值，需要統(tǒng)一單位后去除文本信息，將名詞性屬性轉換為數(shù)值型屬性。如“12萬元”改為數(shù)字12，“2 000元”改為數(shù)字0．2。

4)“單價”屬性的值包括大量不同單位，如“元/個”、“元/500 g”等，同樣需要統(tǒng)一單位并去除文本信息，將名詞性屬性轉換為數(shù)值型屬性。如“3．5元/盒”改為數(shù)字3．5。

3 實驗過程與結果分析

使用懷卡托智能分析環(huán)境(Waikato environment for knowledge analysis，WEKA)。WEKA是一款開源的數(shù)據(jù)挖掘和機器學習工具，由Java語言編寫，實現(xiàn)了分類、聚類、回歸、關聯(lián)規(guī)則等多種數(shù)據(jù)挖掘方法［19］，由于其開放源代碼，使用者可以方便地調用和改進已有算法。

將經(jīng)過預處理的訓練數(shù)據(jù)集共10 000條導入WEKA，其結構如圖1。選擇分類方法下的Multilayer Perceptron算法，進行BP神經(jīng)網(wǎng)絡訓練，訓練過程分為構建網(wǎng)絡模型和模型交叉驗證2步。

圖1 訓練數(shù)據(jù)集Fig．1Structure of training set

在數(shù)據(jù)量較大且具有較多特征屬性、BP神經(jīng)網(wǎng)絡模型比較復雜的情況下，模型的構建過程耗時771秒，訓練效果比較理想。訓練好的模型確定了各個節(jié)點的內部閾值，如表1，以及節(jié)點之間的權值，如表2。表示在這些確定的取值下，模型的輸出結果最為準確。以不合格項輸出節(jié)點(Node 0)和合格項輸出節(jié)點(Node 1)為例，其內部閾值分別為2．54和-2．51，隱含層第一個節(jié)點Node 2與Node 0和Node 1之間的權值分別為-0．28和0．28。

表1 各節(jié)點內部閾值Tab．1Internal threshold of nodes

表2 輸出節(jié)點與隱層節(jié)點間權值Tab．2Weight between output nodes and hidden layer nodes

模型建立后采取十折交叉運算進行準確性驗證，它將數(shù)據(jù)集分成10份，輪流將其中9份作為訓練數(shù)據(jù)，一份作為測試數(shù)據(jù)進行試驗［20］。在總共10 000條抽檢數(shù)據(jù)中，被正確分類的數(shù)據(jù)項有9 943條，其余有57條被錯誤分類，正確率達到99．4%，模型的一致性檢驗達到96．5%，其他誤差指標都在較低水平，表明模型在各方面具有較高的準確率(見表3)。具體分類結果見表4，總計900條不合格數(shù)據(jù)中，有867條被正確分類，33條被錯誤分類為合格數(shù)據(jù)，總計9 100條合格數(shù)據(jù)中有9 076條被正確分類，24條被錯誤分類為不合格數(shù)據(jù)。

表3 模型評價指標Tab．3Evaluation indexes of model

表4 訓練結果混淆矩陣Tab．4Confusion matrix of training results

所有數(shù)據(jù)項的分類情況見圖2，其中×符號代表分類正確點，方框符號代表分類錯誤點。由圖2可見，由于作為訓練樣本輸入的合格項數(shù)據(jù)基數(shù)較大，在不合格項中錯誤點出現(xiàn)的比例(33/900)遠高于合格項中錯誤點出現(xiàn)的比例(24/9100)。實際上，應當盡量避免將實際不合格的項判斷為合格項，需要把此類錯誤限定在較小的范圍內，因此實驗還存在改進空間，可以考慮從增加不合格項訓練樣本、提高數(shù)據(jù)質量等方面進行。

圖2 分類錯誤圖示Fig．2Graph of classifier errors

4 預測實驗

從檢測檢驗數(shù)據(jù)管理平臺數(shù)據(jù)庫中隨機選取“鉛”檢驗項合格與不合格的數(shù)據(jù)各100條，與訓練樣本做同樣的預處理。將數(shù)據(jù)導入上述訓練好的BP神經(jīng)網(wǎng)絡模型中進行分類預測(見表5)，給出了預測結果的混淆矩陣。結果顯示該模型正確預測了99條不合格項的檢測數(shù)據(jù)，1條被錯誤預測，其余100條合格項檢測數(shù)據(jù)全部被正確預測，正確率達到99．5%。

表5 預測結果混淆矩陣Tab．5Confusion matrix of prediction results

以圖3中兩條預測結果為例說明該方法對抽檢工作的指導意義。某次抽樣工作抽取了河南省某調味品樣品，獲得該樣品對應的屬性信息為(河南，超市，鄉(xiāng)村，10，調味品，外購，二季度，2，工業(yè)加工食品，普通食品，固體，預包裝，常溫)，利用已訓練好的BP神經(jīng)網(wǎng)絡預測出該食品檢驗項目“鉛”的檢驗結論為“不合格項”，檢測人員參考預測結果需對該樣品的“鉛”檢驗項進行重點檢測。抽取的另一樣品是河北省某酒類食品，其屬性信息為(河北，成品庫，鄉(xiāng)村，570，酒類，加工/自制，一季度，25，工業(yè)加工食品，普通食品，液體，預包裝，常溫)，通過預測給出該食品檢驗項目“鉛”的檢驗結論為“合格項”，在考慮準確率為99．5%的情況下，檢測人員可以選擇免檢該項目。

圖3 預測實例Fig．3Instances of prediction

通過這種方式，監(jiān)管部門檢測人員可以使用待檢測食品的屬性信息，提前預測出各種檢驗項目的檢驗結論，對于預測結論為“不合格項”的食品，需要進行重點檢測，避免漏檢、錯檢情況的發(fā)生。對于預測結論為“合格項”的食品，可以選擇免檢，節(jié)約大量的時間、設備和人力資源。

5 結論及展望

研究表明，基于BP神經(jīng)網(wǎng)絡的數(shù)據(jù)挖掘方法適用于對食品抽檢數(shù)據(jù)進行分析，在抽檢數(shù)據(jù)本身具有多維屬性，且含有較多空值和錯誤值的情況下，BP神經(jīng)網(wǎng)絡仍然可以做出準確的判斷，其準確率高達99．4%。預測實驗表明，在已經(jīng)獲得了食品基本信息的情況下，該方法可在實際檢測工作進行之前，準確預測出對應檢驗項目的檢驗結論，對檢測工作具有重要的指導意義，不僅可以提高檢測工作的效率和效果，還可以節(jié)約資源和成本。通過后續(xù)的改進、優(yōu)化和系統(tǒng)性整合，該方法可以實現(xiàn)對不合格食品的準確預測、實時監(jiān)控和風險預警等功能，為預防食品安全問題的發(fā)生提供理論依據(jù)和應用參考。

［1］孫寶國，王靜，孫金沅．中國食品安全問題與思考［J］．中國食品學報，2013(5):1-5．

SUN Baoguo，WANG Jing，SUN Jinyuan．Perspectives on China food safety problems［J］．Journal of Food Science and Technology，2013(5):1-5．

［2］李月娟，吳霞明，王君，等．食品分析及安全檢測關鍵技術研究［J］．中國釀造，2012，31(12):13-17．

LI Yuejuan，WU Xiaming，WANG Jun，et al．The research of key technology on food analysis and security detection［J］．China Brewing，2012，31(12):13-17．

［3］金劍，齊思源，彭亞拉．神經(jīng)網(wǎng)絡法在食品安全預警中的應用［J］．食品科技，2011，36(11):306-309．

JIN Jian，QI Siyuan，PENG Yala．Application of artificial neural networks in food safety pre-warning system［J］．Food Science and Technology，2011，36(11): 306-309．

［4］田春園．基于數(shù)據(jù)挖掘的食品安全風險評價與預警系統(tǒng)［D］．青島:青島理工大學，2012．

［5］李冰，郭祀遠，李琳，等．人工神經(jīng)網(wǎng)絡在食品工業(yè)中的應用［J］．食品科學，2003，24(6):161-164．

LI Bing，GUO Siyuan，LI Lin，et al．Application of artificial neural network on food industry［J］．Food Science，2003，24(6):161-164．

［6］蔡強，王君君，李海生，等．基于神經(jīng)網(wǎng)絡的食品安全評價模型構建研究［J］．食品科學技術學報，2014，32(1):69-76．

CAI Qiang，WANG Junjun，LI Haisheng，et al．Research on establishment of food safety evaluation model based on neural network［J］．Journal of Food Science and Technology，2014，32(1):69-76．

［7］NAJAH A，EL-SHAFIE A，KARIM O A，et al．Application of artificial neural networks for water quality prediction［J］．Neural Computing and Applications，2013，22 (S1):187-201．

［8］DING Shifen，LI Hui，SU Chunyang，et al．Evolutionary artificial neural networks:a review［J］．Artificial Intelligence Review，2013，39(3):251-260．

［9］KARAHOCA D，KARAHOCA A，?ZERK YAVUZ．An early warning system approach for the identification of currency crises with data mining techniques［J］．Neural Computing and Applications，2013，23(7/8):2471-2479．

［10］LIU Zhen，MENG Lingyong，ZHAO Wei，et al．Application of ANN in food safety early warning［C］∥Future Computer and Communication(ICFCC)，2010 2nd International Conference．Wuhan:IEEE，2010:677-680．

［11］章德賓，徐家鵬，許建軍，等．基于監(jiān)測數(shù)據(jù)和BP神經(jīng)網(wǎng)絡的食品安全預警模型［J］．農(nóng)業(yè)工程學報，2010，26(1):221-226．

ZHANG Debin，XU Jiapeng，XU Jianjun，et al．Model for food safety warning based on inspection data and BP neural network［J］．Transactions of the CSAE，2010，26(1):221-226．

［12］BHARATI M，RAMAGERI M．Data mining techniques and applications［J］．Indian Journal of Computer Science and Engineering，2010，1(2):25-47．

［13］YANG Jing，ZENG Xiaoqin，ZHONG Shuiming，et al．Effective neural network ensemble approach for improving generalization performance［J］．Neural Networks and Learning Systems，2013，24(6):878-887．

［14］FAMILI F，SHEN W M，WEBER R，et al．Data pre-processing and intelligent data analysis［J］．International Journal on Intelligent Data Analysis，1997，1(1): 3-23．

［15］劉明吉，王秀峰，黃亞樓．數(shù)據(jù)挖掘中的數(shù)據(jù)預處理［J］．計算機科學，2000，27(4):54-57．

LIU Mingji，WANG Xiufeng，HUANG Yalou．Data preprocessing in data mining［J］．Computer Science，2000，27(4):54-57．

［16］晁鳳英，杜樹新．基于關聯(lián)規(guī)則的食品安全數(shù)據(jù)挖掘方法［J］．食品與發(fā)酵工業(yè)，2007，33(4):107-109．

CHAO Fengying，DU Shuxin．Data mining technics for food safety based on association rules［J］．Food and Fermentation Industries，2007，33(4):107-109．

［17］徐燕偉．增量關聯(lián)規(guī)則算法及其在食品安全監(jiān)管中的應用［D］．杭州:浙江大學，2008．

［18］ENNETT C M，F(xiàn)RIZE M，WALKER C R．Influence of missing values on artificial neural network performance［J］．Studies in Health Technology and Informatics，2001(1):449-453．

［19］HALL M，F(xiàn)RANK E，HOLMES G，et al．The WEKA data mining software:an update［J］．ACM SIGKDD Explorations Newsletter，2009，11(1):10-18．

［20］EFRON B，TIBSHIRANI R．Cross-validation and the bootstrap:estimating the error rate of a prediction rule［M］．Stanford California:Division of Biostatistics，1995．

Data Mining on Food Safety Sampling Inspection Data Based on BP Neural Network

WANG Xingyun1，ZUO Min1，*，XIAO Kejing1，LIU Ting2
(1．School of Computer and Information Engineering，Beijing Technology and Business University，Beijing 100048，China; 2．National Institute for Food and Drug Control，Beijing 100050，China)

Data mining technology has great application values and potential in the food safety field．The feasibility and advantage of the BP neural network algorithm were explained．The process of data preprocessing was introduced，and the experiment of data mining was designed then realized，focusing on sampling inspection data．Finally，by taking advantage of the mining results，a prediction of food inspection conclusions was put forward which verified the method’s practical value and guiding significance．The experiment indicated that data mining method based on BP neural network has favorable robustness and good accuracy．The predictions of unqualified food’s appearance can lead food safety sampling and inspection work in practice，which can put an end to the occurrence of food safety problems．

data mining;food safety;sampling inspection data;inspection conclusion;BP neural network

檀彩蓮)

TS201．6;TP393．01

A

10．3969/j．issn．2095-6002．2016．06． 015

2095-6002(2016)06-0085- 06

2015-12- 02

“十二五”國家科技支撐計劃項目(2015BAK36B04);北京市屬高等學校青年拔尖人才培育計劃項目(CIT＆TCD201404029);北京工商大學創(chuàng)新團隊計劃項目(19008001074)。

王星云，男，碩士研究生，研究方向為食品安全數(shù)據(jù)挖掘;

*左敏，男，教授，博士，主要從事人工智能方面的研究。

。

王星云，左敏，肖克晶，等．基于BP神經(jīng)網(wǎng)絡的食品安全抽檢數(shù)據(jù)挖掘［J］．食品科學技術學報，2016，34(6):85-90．

WANG Xingyun，ZUO Min，XIAO Kejing，et al．Data mining on food safety sampling inspection data based on BP neural network［J］．Journal of Food Science and Technology，2016，34(6):85-90．