• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      獸藥致病命名實(shí)體Att-Aux-BERT-BiLSTM-CRF識(shí)別

      2022-04-07 14:02:22鄭麗敏田立軍
      關(guān)鍵詞:皮爾遜命名獸藥

      楊 璐 張 恬 鄭麗敏,2 田立軍

      (1.中國(guó)農(nóng)業(yè)大學(xué)信息與電氣工程學(xué)院, 北京 100083; 2.食品質(zhì)量與安全北京實(shí)驗(yàn)室, 北京 100083)

      0 引言

      獸藥殘留會(huì)對(duì)人體健康造成巨大危害[1]。文獻(xiàn)[2]提出了一種根據(jù)獸藥通過(guò)環(huán)境間接接觸人類(lèi)的可能性及其毒性概況來(lái)對(duì)獸藥進(jìn)行排序的方法,但是由于許多數(shù)據(jù)缺失,所以準(zhǔn)確性不高。如何快速準(zhǔn)確地從獸藥致病文本中獲得相關(guān)信息,是構(gòu)建獸藥致病知識(shí)圖譜中的關(guān)鍵環(huán)節(jié)。獸藥致病命名實(shí)體識(shí)別是獸藥致病信息抽取的重要任務(wù)之一,目的是從獸藥致病非結(jié)構(gòu)化文本數(shù)據(jù)中獲得獸藥名稱(chēng)、實(shí)驗(yàn)動(dòng)物、不良反應(yīng)等信息。

      命名實(shí)體識(shí)別的方法包含基于規(guī)則、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)三大類(lèi)?;谝?guī)則的命名實(shí)體識(shí)別的方法耗時(shí)耗力且可移植性差[3]?;跈C(jī)器學(xué)習(xí)的方法將命名實(shí)體識(shí)別問(wèn)題轉(zhuǎn)化為序列標(biāo)注問(wèn)題,如文獻(xiàn)[4]采用條件隨機(jī)場(chǎng)(Conditional random field,CRF)進(jìn)行命名實(shí)體識(shí)別,文獻(xiàn)[5]采用CRF對(duì)農(nóng)業(yè)病蟲(chóng)害實(shí)體進(jìn)行識(shí)別。但是傳統(tǒng)的機(jī)器學(xué)習(xí)方法仍然需要人工選取特征[6]。

      基于深度學(xué)習(xí)的命名實(shí)體識(shí)別方法廣泛應(yīng)用于漁業(yè)[7]、農(nóng)業(yè)病蟲(chóng)害[8]、電子病歷[9]、醫(yī)學(xué)文獻(xiàn)[10]和新聞社論[11]等領(lǐng)域。文獻(xiàn)[12]采用LSTM和CRF對(duì)文獻(xiàn)中藥物名稱(chēng)進(jìn)行命名實(shí)體識(shí)別,在DDI2011語(yǔ)料庫(kù)上精度達(dá)到93.26%。文獻(xiàn)[13]首次聯(lián)合采用BiLSTM和CRF進(jìn)行命名實(shí)體識(shí)別,獲得了F1值為90.10%?;贐iLSTM方法學(xué)習(xí)文本的長(zhǎng)距離依賴(lài),相較于LSTM方法,可以充分結(jié)合上下文信息,同時(shí)CRF可以獲得相鄰標(biāo)簽之間的依賴(lài)關(guān)系。雙向編碼表征模型(Bidirectional encoder representations from transformers,BERT)[14]的出現(xiàn)提升了命名實(shí)體識(shí)別的效率,文獻(xiàn)[15]采用雙向編碼表征-雙向門(mén)限循環(huán)-條件隨機(jī)場(chǎng)模型(Bidirectional encoder representations from transformers-Bidirectional gated recurrent unit-Conditional random field,BERT-BiGRU-CRF)進(jìn)行命名實(shí)體識(shí)別,解決了傳統(tǒng)的詞向量表示方法只是將字映射為單一向量,無(wú)法表征字的多義性的問(wèn)題,在MSRA語(yǔ)料上的F1值達(dá)到95.43%。文獻(xiàn)[16]采用BERT-BiLSTM-CRF模型對(duì)人民日?qǐng)?bào)語(yǔ)料庫(kù)進(jìn)行命名實(shí)體識(shí)別, F1值為95.67%。基于深度學(xué)習(xí)的方法命名實(shí)體識(shí)別任務(wù)轉(zhuǎn)化為字級(jí)別的序列標(biāo)注任務(wù),減少了特征工程的工作量,同時(shí)結(jié)合了上下文信息,提高了模型的性能,但是需要大量的標(biāo)注語(yǔ)料。

      基于注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)研究的一個(gè)熱點(diǎn)。受人類(lèi)觀(guān)察圖像時(shí)會(huì)對(duì)特定部分集中注意力的啟發(fā),注意力機(jī)制首先應(yīng)用在圖像處理領(lǐng)域。文獻(xiàn)[17]將模型最后層的輸出和中間層的輸出結(jié)合起來(lái),在圖像分類(lèi)領(lǐng)域和圖像分割領(lǐng)域[18]取得了較好的結(jié)果。注意力機(jī)制[19]在自然語(yǔ)言處理領(lǐng)域也得到廣泛應(yīng)用。文獻(xiàn)[20]提出使用注意力機(jī)制將字級(jí)別和詞級(jí)別的嵌入結(jié)合起來(lái),可以獲得更好的結(jié)果。文獻(xiàn)[21]分析使用不同的注意力計(jì)算函數(shù)對(duì)于命名實(shí)體識(shí)別模型的影響。

      發(fā)布于有害物質(zhì)數(shù)據(jù)庫(kù)的獸藥致病文本表達(dá)不規(guī)范,沒(méi)有特定的規(guī)則,且部分實(shí)體詞長(zhǎng)度較長(zhǎng)、使用縮寫(xiě)簡(jiǎn)稱(chēng)等情況,導(dǎo)致實(shí)體識(shí)別難度較大。獸藥致病實(shí)體詞匯較長(zhǎng)是多個(gè)一般詞匯組合導(dǎo)致的,同一實(shí)體的縮寫(xiě)簡(jiǎn)稱(chēng)也表現(xiàn)為多種形式。這就需要結(jié)合上下文,充分利用詞匯的句法和語(yǔ)法信息,而不能僅僅依靠基于統(tǒng)計(jì)的方法來(lái)設(shè)計(jì)規(guī)則。針對(duì)這一問(wèn)題,本文采用預(yù)訓(xùn)練語(yǔ)言模型的方法,學(xué)習(xí)包含獸藥致病領(lǐng)域上下文語(yǔ)義信息的詞向量,提出基于注意力機(jī)制的端到端的Att-Aux-BERT-BiLSTM-CRF神經(jīng)網(wǎng)絡(luò)模型。首先將獸藥致病領(lǐng)域命名實(shí)體識(shí)別任務(wù)轉(zhuǎn)換為字級(jí)別的序列標(biāo)注任務(wù),然后基于BERT進(jìn)行字向量的提取,使用BERT中文預(yù)訓(xùn)練獸藥致病領(lǐng)域詞向量作為BiLSTM網(wǎng)絡(luò)的輸入,將模型的BERT層輸出用作輔助分類(lèi)層,BiLSTM層輸出作為主分類(lèi)層,引入皮爾遜相關(guān)系數(shù)作為注意力值計(jì)算函數(shù),計(jì)算2個(gè)層的相似度。最后輸入條件隨機(jī)場(chǎng),通過(guò)相鄰標(biāo)簽的依賴(lài)關(guān)系確定輸出序列。

      1 數(shù)據(jù)獲取與標(biāo)注

      1.1 數(shù)據(jù)獲取

      本文通過(guò)爬蟲(chóng)獲得獸藥致病數(shù)據(jù)集。研究獸藥殘留致病信息的數(shù)據(jù)主要來(lái)自于兩個(gè)網(wǎng)站。有害物質(zhì)數(shù)據(jù)庫(kù)(HSDB)(https:∥www.nlm.nih.gov/toxnet/index.html)是一個(gè)毒理學(xué)數(shù)據(jù)庫(kù),著眼于分析存在潛在危險(xiǎn)的化學(xué)物質(zhì)。它提供了獸藥對(duì)于人體健康的影響和非人類(lèi)毒性摘要等信息。糧農(nóng)組織/世衛(wèi)組織食品添加劑聯(lián)合專(zhuān)家委員會(huì)(JECFA)網(wǎng)站(https:∥apps.who.int/food-additives-contaminants-jecfa-database/search.aspx)可搜索的數(shù)據(jù)包含JECFA對(duì)風(fēng)味、食品添加劑、污染物、有毒物質(zhì)和獸藥進(jìn)行的所有評(píng)估的摘要。每個(gè)摘要均包含基本化學(xué)信息、最新報(bào)告、專(zhuān)著的鏈接、規(guī)格數(shù)據(jù)庫(kù)以及JECFA評(píng)估的歷史記錄??赏ㄟ^(guò)部分名稱(chēng)或編號(hào)來(lái)搜索數(shù)據(jù)。

      《食品安全國(guó)家標(biāo)準(zhǔn) 食品中獸藥最大限量》中規(guī)定的獸藥共包含3類(lèi):可以使用但是有殘留限制的獸藥、不需要設(shè)定殘留限制的獸藥、不得檢出的獸藥。從獸藥殘留致病的角度考慮,選擇第1類(lèi)和第3類(lèi)獸藥共計(jì)113種。利用爬蟲(chóng)在這兩個(gè)網(wǎng)站中以獸藥名稱(chēng)為關(guān)鍵詞進(jìn)行檢索,獲得相關(guān)的獸藥致病數(shù)據(jù),共計(jì)10 643個(gè)句子,485 711個(gè)字符。

      1.2 數(shù)據(jù)標(biāo)注

      語(yǔ)料庫(kù)共包含實(shí)體14 189個(gè),具體分布如表1所示。使用BIO標(biāo)注方法進(jìn)行標(biāo)注,B表示實(shí)體的開(kāi)始,I表示實(shí)體的內(nèi)部,O表示非實(shí)體。

      表1 標(biāo)注數(shù)據(jù)數(shù)量Tab.1 Label data quantity

      2 模型框架

      本文提出的Att-Aux-BERT-BiLSTM-CRF模型由BERT模塊、BiLSTM模塊、基于注意力機(jī)制的輔助分類(lèi)器和CRF模塊共4個(gè)模塊組成,模型結(jié)構(gòu)如圖1所示。首先通過(guò)BERT預(yù)訓(xùn)練模型獲取字向量,提取文本中的重要特征;然后使用BERT中文預(yù)訓(xùn)練獸藥致病領(lǐng)域詞向量作為BiLSTM網(wǎng)絡(luò)的輸入,通過(guò)BiLSTM層學(xué)習(xí)上下文特征;將模型的BERT層輸出用作輔助分類(lèi)層,BiLSTM層輸出作為主分類(lèi)層,接著將這兩部分的結(jié)果通過(guò)注意力機(jī)制加權(quán)融合在一起,作為新的特征,輸入到CRF層中,得到最后的輸出序列。

      圖1 Att-Aux-BERT-BiLSTM-CRF模型結(jié)構(gòu)Fig.1 Att-Aux-BERT-BiLSTM-CRF model structure

      2.1 BERT層

      在自然語(yǔ)言預(yù)處理領(lǐng)域存在Word2Vec[22]、ELMo[23]、GPT[24]等多種預(yù)訓(xùn)練模型。BERT融合了這些模型的優(yōu)點(diǎn)并克服了他們的缺點(diǎn)。BERT使用遮蔽語(yǔ)言模型(Masked language model,MLM)和下一句預(yù)測(cè)來(lái)進(jìn)行預(yù)訓(xùn)練。這樣得到的向量不僅包含隱含的上下文信息,還包含句子級(jí)別的特征。圖2是BERT結(jié)構(gòu)示意圖。圖中EN、TN、Trm分別代表輸入的嵌入層、輸出的BIO標(biāo)志、Transformers編碼器。

      圖2 BERT結(jié)構(gòu)示意圖Fig.2 BERT structure diagram

      BERT模型中Transformer采用自注意力機(jī)制和全連接層處理輸入的文本。Transformer采用的多頭注意力機(jī)制,可以獲得多個(gè)維度的信息。本文模型將BERT的輸出結(jié)果輸入到BiLSTM層中。

      2.2 BiLSTM層

      Ft=σ(Wf[Ht-1,Xt+bf])

      (1)

      It=σ(Wi[Ht-1,Xt+bi])

      (2)

      (3)

      (4)

      Ot=σ(W0[Ht-1,Xt+bo])

      (5)

      Ht=Ottanh(Ct)

      (6)

      式中σ——sigmoid激活函數(shù)

      tanh——雙曲正切激活函數(shù)

      Ft、It、Ct、Ot——在t時(shí)刻遺忘門(mén)、輸入門(mén)、記憶細(xì)胞和輸出門(mén)

      Wf、Wi、Wc、W0——不同門(mén)對(duì)應(yīng)的權(quán)重矩陣

      bf、bi、bc、bo——偏置向量

      Xt——t時(shí)刻的輸入向量

      Ht——t時(shí)刻的輸出向量

      2.3 Attention層

      在計(jì)算機(jī)視覺(jué)領(lǐng)域,已知將模型的中間層輸出結(jié)果和最后輸出結(jié)果相結(jié)合可以改善圖像分割的性能。這是因?yàn)槟P偷闹虚g層輸出結(jié)果和最后輸出結(jié)果對(duì)于圖像分割都有作用,所以將中間層的輸出結(jié)合起來(lái)進(jìn)行圖像分割。本文將BERT層輸出結(jié)果作為輔助分類(lèi)器,BiLSTM層輸出結(jié)果作為主分類(lèi)器。BERT可以獲得豐富的語(yǔ)義信息,BiLSTM可以獲得長(zhǎng)距離的上下文信息。將兩者結(jié)合起來(lái),從而更好的進(jìn)行序列標(biāo)注。

      注意力機(jī)制起源于對(duì)人類(lèi)注意力的模仿,其本質(zhì)是通過(guò)注意力分配參數(shù)篩選出特定的信息,Attention層的主要作用是衡量特征權(quán)重。在之前的Aux-BERT-BiLSTM-CRF模型中,BERT層輸出結(jié)果(輔助分類(lèi)器)和BiLSTM層輸出結(jié)果(主分類(lèi)器)具有相同的權(quán)重,這樣會(huì)產(chǎn)生兩個(gè)弊端:BERT層輸出的內(nèi)容會(huì)被稀釋掉;語(yǔ)義向量無(wú)法表示整個(gè)序列的所有信息。使用Attention機(jī)制可以計(jì)算兩者的相關(guān)性,動(dòng)態(tài)分配權(quán)重,讓更重要的特征占據(jù)更大的權(quán)重,從而獲得對(duì)于序列標(biāo)注更為重要的信息。本文將BERT層輸出結(jié)果(輔助分類(lèi)器)和BiLSTM輸出結(jié)果(主分類(lèi)器)通過(guò)Attention機(jī)制結(jié)合起來(lái)。

      在注意力層中,引入注意力機(jī)制來(lái)計(jì)算輔助分類(lèi)器和主分類(lèi)器的相似性得分。注意力值計(jì)算函數(shù)(Score函數(shù))是衡量BERT層輸出向量和BiLSTM輸出向量之間相關(guān)性的得分函數(shù)。文獻(xiàn)[22]設(shè)計(jì)了余弦距離、歐氏距離和感知機(jī)3種方案作為得分函數(shù)。皮爾遜相關(guān)系數(shù)、馬氏距離分別是余弦距離和歐氏距離的改進(jìn),本文設(shè)計(jì)了皮爾遜相關(guān)系數(shù)、馬氏距離、感知機(jī)3種方案,其Score函數(shù)計(jì)算公式為

      (7)

      式中ht——BERT層輸出的結(jié)果,即輔助分類(lèi)器

      hs——BiLSTM層輸出的結(jié)果,即主分類(lèi)器

      W——權(quán)重矩陣

      S——協(xié)方差矩陣

      皮爾遜相關(guān)系數(shù)是數(shù)據(jù)中心化后的兩個(gè)多維向量的夾角余弦。兩個(gè)向量越相似,皮爾遜相關(guān)系數(shù)和感知機(jī)的計(jì)算結(jié)果得分越大。馬氏距離是度量學(xué)習(xí)中常用的距離指標(biāo),用于評(píng)定數(shù)據(jù)之間的相似度。使用Score函數(shù)得到兩個(gè)層的特征權(quán)重。然后通過(guò)這兩個(gè)粒度的向量特征相乘得到新的特征輸入到CRF層中。

      2.4 CRF層

      在命名實(shí)體識(shí)別任務(wù)中,BiLSTM可以處理長(zhǎng)距離的文本信息,但是無(wú)法處理相鄰標(biāo)簽之間的依賴(lài)關(guān)系。條件隨機(jī)場(chǎng)(Conditional random field,CRF)可以通過(guò)臨近標(biāo)簽獲得一個(gè)最優(yōu)的預(yù)測(cè)序列。

      對(duì)于輸入序列X=(X1,X2,…,Xn),提取特征得到輸出矩陣P=[P1P2…Pn]。對(duì)于預(yù)測(cè)序列Y=(y1,y2,…,yn),其分?jǐn)?shù)函數(shù)公式為

      (8)

      式中Ayi,yi+1——標(biāo)簽yi轉(zhuǎn)移到標(biāo)簽yi+1的分?jǐn)?shù)

      Pi,yi——字符被預(yù)測(cè)為第yi個(gè)標(biāo)簽的分?jǐn)?shù)

      最后使用softmax層計(jì)算出所有可能標(biāo)簽的概率,輸出一個(gè)得分最高的標(biāo)記序列。

      3 實(shí)驗(yàn)

      實(shí)驗(yàn)采用Pytorch 1.7.1框架,運(yùn)行環(huán)境為RTX 2080Ti GPU,內(nèi)存為11 GB。

      3.1 實(shí)驗(yàn)設(shè)置

      參數(shù)配置如表2所示,為解決過(guò)擬合問(wèn)題,引入dropout[26]機(jī)制,dropout值為0.5。優(yōu)化算法為Adam[27]。

      表2 參數(shù)配置Tab.2 Parameter configuration

      3.2 評(píng)價(jià)方法

      采用準(zhǔn)確率、召回率、F1值作為評(píng)估指標(biāo)[28]。

      3.3 實(shí)驗(yàn)結(jié)果

      在標(biāo)注數(shù)據(jù)集上驗(yàn)證模型的性能。語(yǔ)料庫(kù)中的訓(xùn)練集、測(cè)試集按照8∶2進(jìn)行分配,數(shù)據(jù)集之間無(wú)重疊,因此實(shí)驗(yàn)結(jié)果可以作為實(shí)體識(shí)別效果的評(píng)價(jià)指標(biāo)。訓(xùn)練集和測(cè)試集實(shí)體數(shù)量見(jiàn)表3。

      表3 數(shù)據(jù)集實(shí)體信息Tab.3 Dataset entity information

      3.3.1不同模型的性能比較

      在不同的模型上進(jìn)行實(shí)驗(yàn),模型包括BiLSTM-CRF[13]、BERT-BiLSTM-CRF[15]以及本文提出的Aux-BERT-BiLSTM-CRF和Att-Aux-BERT-BiLSTM-CRF。Aux-BERT-BiLSTM-CRF模型將BERT層輸出的結(jié)果作為輔助分類(lèi)器,BiLSTM層輸出的結(jié)果作為主分類(lèi)器,將兩者拼接起來(lái)。Att-Aux-BERT-BiLSTM-CRF模型與前者不同之處在于,使用注意力機(jī)制,選擇皮爾遜相關(guān)系數(shù)作為注意力值計(jì)算函數(shù)公式,將兩者動(dòng)態(tài)結(jié)合起來(lái)。

      通過(guò)表4可知,BiLSTM-CRF模型F1值為94.1%。BERT-BiLSTM-CRF模型相較于BiLSTM-CRF模型,由于引入BERT可以獲得豐富的上下文信息,模型F1值提高了1.1個(gè)百分點(diǎn)。將BERT輸出的結(jié)果和BiLSTM輸出的結(jié)果通過(guò)注意力機(jī)制結(jié)合起來(lái),通過(guò)學(xué)習(xí)判斷BERT輸出的表征和BiLSTM捕獲的長(zhǎng)距離語(yǔ)義信息的重要性,按照重要程度加權(quán)結(jié)合得到新的表征,F(xiàn)1值為96.7%。本文提出的Att-Aux-BERT-BiLSTM-CRF模型較BERT-BiLSTM-CRF的F1值提高了1.5個(gè)百分點(diǎn),較BiLSTM-CRF的F1值提高了2.6個(gè)百分點(diǎn)。

      表4 不同模型的實(shí)驗(yàn)結(jié)果對(duì)比Tab.4 Comparison of experimental results of different models %

      3.3.2不同注意力值計(jì)算函數(shù)對(duì)模型的影響

      本文設(shè)計(jì)了3種不同的注意力值計(jì)算函數(shù)(皮爾遜相關(guān)系數(shù)、馬氏距離、感知機(jī))。為了選擇最佳的注意力值計(jì)算函數(shù),設(shè)計(jì)實(shí)驗(yàn)比較了這些函數(shù)對(duì)于模型性能的影響。在實(shí)驗(yàn)中,BERT層輸出作為輔助分類(lèi)層、BiLSTM層輸出作為主分類(lèi)器層,兩者作為注意力值計(jì)算函數(shù)的輸入。表5給出了Att-Aux-BERT-BiLSTM-CRF模型在獸藥致病語(yǔ)料上使用不同注意力值函數(shù)計(jì)算的結(jié)果。

      表5 不同注意力值計(jì)算函數(shù)的模型性能Tab.5 Influence of different attention calculation functions on model %

      實(shí)驗(yàn)表明,感知機(jī)效果最差,馬氏距離優(yōu)于感知機(jī),使用皮爾遜相關(guān)系數(shù)取得的效果最好,獲得了最高的F1值(96.7%)。原因可能是馬氏距離和皮爾遜相關(guān)系數(shù)是機(jī)器學(xué)習(xí)中簡(jiǎn)單有效的相似性度量方法。兩者都對(duì)數(shù)據(jù)進(jìn)行了規(guī)范化。與他們相比,感知機(jī)的結(jié)構(gòu)更為復(fù)雜,更容易導(dǎo)致過(guò)擬合,優(yōu)化更為困難。所以最終選擇實(shí)驗(yàn)結(jié)果較好的皮爾遜相關(guān)系數(shù)作為注意力值計(jì)算函數(shù)。

      3.3.3不同實(shí)體實(shí)驗(yàn)結(jié)果比較

      表6列出了Att-Aux-BERT-BiLSTM-CRF對(duì)獸藥致病數(shù)據(jù)集上各類(lèi)實(shí)體的識(shí)別結(jié)果。由實(shí)驗(yàn)可知,相較于藥物和不良反應(yīng),動(dòng)物和攝入方式的準(zhǔn)確率、召回率和F1值都較高。因?yàn)閯?dòng)物和攝入方式種類(lèi)較少且不存在實(shí)體嵌套的現(xiàn)象,所以各項(xiàng)指標(biāo)都較高。獸藥致病4類(lèi)實(shí)體在不同模型上實(shí)驗(yàn)結(jié)果對(duì)比見(jiàn)圖3。從圖3可以看出,Att-Aux-BERT-BiLSTM-CRF的各項(xiàng)指標(biāo)都較高。

      表6 Att-Aux-BERT-BiLSTM-CRF在各類(lèi)實(shí)體上的識(shí)別結(jié)果Tab.6 Att-Aux-BERT-BiLSTM-CRF recognition results on various entities %

      圖3 獸藥致病實(shí)體實(shí)驗(yàn)結(jié)果對(duì)比Fig.3 Comparison of experimental results of animal drugs

      3.3.4案例分析

      最后,本文在pubchem數(shù)據(jù)庫(kù)中獲得獸藥致病文獻(xiàn)摘要,使用本文提出的Att-Aux-BERT-BiLSTM-CRF模型識(shí)別獸藥致病文獻(xiàn)中的實(shí)體,結(jié)果如表7所示。

      表7 實(shí)體識(shí)別結(jié)果Tab.7 Entity recognition results

      4 結(jié)束語(yǔ)

      針對(duì)獸藥致病領(lǐng)域的命名實(shí)體識(shí)別任務(wù),提出了基于A(yíng)tt-Aux-BERT-BiLSTM-CRF神經(jīng)網(wǎng)絡(luò)模型的方法。通過(guò)實(shí)驗(yàn)比較了3種不同注意力值計(jì)算函數(shù)(皮爾遜相關(guān)系數(shù)、馬氏距離、感知機(jī))對(duì)于模型的影響,最終選擇了實(shí)驗(yàn)結(jié)果較好的皮爾遜相關(guān)系數(shù)作為注意力值計(jì)算函數(shù)進(jìn)行計(jì)算。該模型將BERT層輸出結(jié)果作為輔助分類(lèi)器,BiLSTM層輸出結(jié)果作為主分類(lèi)器,通過(guò)注意力機(jī)制將兩者動(dòng)態(tài)加權(quán)融合在一起,豐富了語(yǔ)義信息。與其他典型模型相比,獲得了最優(yōu)的F1值(96.7%),說(shuō)明了其在獸藥致病命名實(shí)體識(shí)別方面的優(yōu)越性。

      猜你喜歡
      皮爾遜命名獸藥
      獸藥殘留檢測(cè)中的優(yōu)化與應(yīng)用
      命名——助力有機(jī)化學(xué)的學(xué)習(xí)
      現(xiàn)代統(tǒng)計(jì)學(xué)之父:卡爾·皮爾遜
      現(xiàn)代統(tǒng)計(jì)學(xué)之父:卡爾·皮爾遜
      Excel在水文學(xué)教學(xué)中的應(yīng)用
      卡方分布的探源
      有一種男人以“暖”命名
      東方女性(2018年3期)2018-04-16 15:30:02
      為一條河命名——在白河源
      中獸藥在家禽養(yǎng)殖中的作用與應(yīng)用
      獸藥
      岐山县| 张掖市| 平邑县| 新巴尔虎右旗| 忻城县| 阿巴嘎旗| 无为县| 怀安县| 容城县| 延庆县| 永靖县| 舟山市| SHOW| 安福县| 二手房| 郓城县| 武川县| 冷水江市| 东源县| 台州市| 綦江县| 吴桥县| 桂林市| 桐城市| 秭归县| 濮阳市| 化隆| 汪清县| 太仆寺旗| 锦州市| 嵊泗县| 望奎县| 五台县| 满洲里市| 大安市| 扶余县| 禄丰县| 大姚县| 北流市| 南华县| 神池县|