跨度語義增強的命名實體識別方法

命名實體識別(named entity recognition,NER)是自然語言處理(nature language processing,NLP)中一項重要的基本任務

,文本中的實體往往攜帶重要的信息,因此識別實體對于下游任務如關系提取

、問題生成

和實體鏈接

等有重要的影響和積極的意義。由于語言在表達上具有迭代、遞歸的特點,文本中存在著大量的嵌套語義。例如,“秘魯總統(tǒng)藤森撤換三軍司令”,“秘魯總統(tǒng)藤森”中嵌套著“藤森”這個實體,且它們歸類的實體類型都為“人”。嵌套語義識別依然是自然語言處理中的研究難點。

目前,基于深度學習的命名實體識別的方法可以分為基于序列模型、基于跨度模型和超圖的方法?；谛蛄行畔⒌姆椒ㄊ菍φZ句中的每個字符打標簽,其主要思想是通過神經網絡的方法對每個字符進行向量表示然后通過一定的編碼運算分類。依據(jù)每個字符分類的類型再合并為實體

?；诳缍饶Ｐ偷姆椒ㄊ菍ψ址M行組合以形成不同的跨度,跨度信息中包含有每個字符的信息,因此特定的跨度信息代表著特定的實體信息,所以通過對跨度信息的分類來識別不同的實體

?；诔瑘D的方法是允許一條邊連接到多個節(jié)點,以代表不同的實體,使用神經網絡對這些邊和節(jié)點進行編碼最后從超圖標簽中恢復實體

。雖然深度學習的方法可以加入額外的語義特征信息,但是以上這些方法沒有考慮字與字之間的交互問題,會出現(xiàn)語義不足的情況。語義不足會降低模型對于實體的識別精確度,以及無法識別出存在嵌套情況的實體。

循環(huán)神經網絡(recurrent neural networks,RNN)模型在傳統(tǒng)的神經網絡模型的基礎上發(fā)展起來,因而具有很強的非線性數(shù)據(jù)處理能力,在機器翻譯、自動問答、句法解析等自然語言處理任務中被廣泛的使用。RNN是一類用于處理序列數(shù)據(jù)的神經網絡模型,序列數(shù)據(jù)具有前后數(shù)據(jù)相關聯(lián)的特點

。但是,RNN在參數(shù)過多的時候容易發(fā)生梯度爆炸問題,為了改善其局限性,研究人員提出了許多改進的循環(huán)神經網絡結構,其中長短期記憶網絡(long short term memory,LSTM)和門控循環(huán)單元(gate recurrent unit,GRU)就是最常用于處理文本循環(huán)神經網絡變種模型。文獻[16]模型使用分層的RNN對人體的姿勢進行識別,文獻[17]模型使用門控RNN模型增強了模型對長距離信息的學習能力,文獻[18]將殘差網絡引入RNN中處理更長的文本序列。通常,RNN用來處理一維信息,無法處理超越一維的信息。對于此問題,多維循環(huán)神經網絡(multi-dimensional recurrent neural networks,MD-RNN)

被提出并可以在高維度的信息上進行語義增強。目前,多維循環(huán)神經網絡已經在圖像分類

和語音識別

等領域都取得了優(yōu)異的效果。MD-RNN是RNN的一種泛化,通過將單個循環(huán)神經網絡的連接替換為與數(shù)據(jù)維度相同的連接來處理多維數(shù)據(jù)。為了增強MD-RNN利用上下文信息的能力,同時避免環(huán)節(jié)RNN在處理長序列數(shù)據(jù)時梯度爆炸或梯度消失的問題,通常將長短期記憶網絡(LSTM)和門控循環(huán)神經網絡(gated recurrent unit,GRU)用作隱藏單元。

基于上述研究,MD-RNN為融合跨度語義信息提供了一種有效的手段,在一定程度上解決了語義不足的問題。本文提出了一種增強跨度信息的方法,在利用跨度信息進行實體識別的基礎上,增強跨度之間的語義特征,從而有效地增加了跨度的語義信息。首先,使用預訓練語言模型提取字符向量信息,對字符向量進行枚舉拼接形成矩陣。其次,對矩陣使用MD-RNN進行跨度級的語義增強。最后,對矩陣中的跨度進行分類。模型在ACE2005英文數(shù)據(jù)集與中文數(shù)據(jù)集上進行了實驗,分別取得了86.92和81.16的

值,與其他主流的方法相比,該方法取得了最優(yōu)的結果。

期望、熵和超熵是代表云模型的三大數(shù)字特征。期望作為整個云圖的中心值，是隸屬度最大、最能表達定性要求的點；熵值則表達出了云的模糊性，指的是云模型在整個坐標區(qū)域的跨度大??；超熵代表了不確定性，超熵越大，云模型的離散程度越大，云圖越分散。

1 跨度語義增強模型

模型的整體結構如圖1所示,主要分為編碼、表填充、跨度語義增強、輸出4個模塊,其中表填充和跨度意義增強可以反復疊加多層,下面分別介紹各個模塊。

1.1 編碼

假設輸入模型的一句話

=〈

,

,…,

〉,

表示句子中的第

個字。對

通過ALBERT的預訓練語言模型提取出含有上下文信息的連續(xù)稠密向量

∈

×

,

表示句子長度,同時使用GloVe預訓練字向量將其編碼為連續(xù)稠密向量

∈

×

,公式如下

本模型的注意力的計算流程如圖4所示。將注意力機制擴展到多個頭,并且都有獨立的參數(shù)。拼接輸出,使用全連接層來得到最終的注意力向量,其余部分與Transformer類似。

,

=

(

)

(1)

=

(

)

(2)

這件事情翠姨是曉得的，而今天又見了我的哥哥，她不能不想哥哥大概是那樣看她的。她自覺地覺得自己的命運不會好的?，F(xiàn)在翠姨自己已經訂了婚，是一個人的未婚妻；二則她是出了嫁的寡婦的女兒，她自己一天把這個背了不知有多少遍，她記得清清楚楚。

(3)

2

1

2 評價指標

1.2 表填充

首先將得到的編碼層輸出

=[

,

,

,…,

]進行枚舉拼接。將一個長度為

的句子拼接為

×

的表格

∈

××

,其中表格

行

列的位置對應句子中第

個詞與第

個詞進行拼接,此時

并不包含上下文的信息,公式如下

,,

=max(0,[

-1,

;

-1,

])

(4)

式中

表示當前運算的層數(shù)。表格

中每一個格子都代表著一個子序列跨度,這樣就將句子中所有可能的子序列都表示出。同時,將ALBERT預訓練模型中得到的注意力權重

與表格拼接,作為補充信息,更新公式如下

,,

=max(0,[

-1,

;

-1,

;

,

])

(5)

通過這種方式,可以將預訓練模型的權重

添加到跨度語義增強中,補充語義信息。

(3)重介質選和浮選效果差，實際生產數(shù)據(jù)與理論數(shù)據(jù)偏差大。主要表現(xiàn)在介耗高達4.5 kg/t，遠高于同行業(yè)水平；循環(huán)水濃度高，為保證礦井生產，不得不強制洗煤生產，導致重介質選和浮選效果惡化；重介質操作困難，不穩(wěn)定，導致矸石中小于1.80 kg/L密度級達到4%左右，洗混煤中小于1.40 kg/L密度級在10%上下。

1.3 跨度語義增強

通過拼接得到的每個表格只有邊界的信息,缺少句子的上下文信息,因此使用MD-RNN增強跨度語義信息以彌補缺失的信息。由于傳統(tǒng)循環(huán)神經網絡是在一維的信息上進行計算,因此只接受上一個位置的隱藏層輸出。然而,表格具有二維結構的特點,所以二維循環(huán)神經網絡可以充分利用表格信息。在表格中每個位置的隱藏層不僅接受表格橫向的上一個位置的隱藏層輸出,也接受表格縱向的上一個位置的隱藏層輸出。

將表格

輸入到使用GRU作為隱層的MD-RNN中計算,得到表格

。整個計算過程分為門控計算和隱層計算兩部分。計算門控的過程如下

(6)

(7)

(8)

(9)

(10)

實體識別需要同時識別出實體準確的位置和類別,只有當實體位置和類別都識別正確時結果才算正確。本文實驗使用綜合指標

值來衡量模型性能,公式如下

(11)

(12)

(13)

式(17)表示3種輸入之間的運算關系。

將序列信息升為表格信息帶來了計算量上的指數(shù)增加,因此需要考慮對表格和計算進行一定的優(yōu)化。在表格存儲的信息中反對角線是相同的,因此為了加速計算以減少運算量可以只關注矩陣的上三角信息。一個長度為

的序列更新為表格信息后只需要計算(

+1)×

2個格子,MD-RNN可以在行與列方向上任意挑選方向組合。如圖2所示,MD-RNN在

維上有2

種計算方向,在二維的數(shù)據(jù)上共有4種方式。

根據(jù)文本信息的特點,使用所有方向上的信息會導致一些計算的重復利用,并不能很好增強跨度語義信息。為了降低計算量同時盡可能使當前跨度學習到臨近跨度的語義信息,可只選擇兩個方向(

)(

)進行計算,并將計算的結果拼接作為跨度語義增強后的輸出,計算公式如下

(14)

(15)

(16)

如圖3所示,綠色方塊代表當前的跨度,藍色的方塊代表了臨近的跨度,(

)方向上的當前跨度會增強后一個跨度的信息,(

)方向上的會增強到之前跨度的信息,最后將兩個方向上的結果進行拼接,得到包含跨度上下文信息的表格

。

注意力的使用是為了梳理跨度信息,跨度信息在經過語義增強后會出現(xiàn)語義信息混亂的情況。注意力運算將根據(jù)序列信息調整跨度信息,輸入是一條句子的向量,第

個向量代表著句子中的第

個字,以及MD-RNN的輸出表格

,其整體結構是基于Transformer,將自注意力機制(self-attention)中的縮放點乘替換成跨度引導的注意力機制

。Transformer在自然語言處理領域取得了優(yōu)異的成績,其采用的自注意力機制是成功的關鍵因素

。傳統(tǒng)的自注意力機制有查詢(

)、鍵(

)和值(

)3個輸入,計算過程如下

總之，語文生活化，生活語文化。無論哪種方式讀寫結合，無不彰顯《普通高中語文新課標》“語文學科素養(yǎng)是學生在積極的語言實踐活動中積累與構建，并在真實的語言運用情境中表現(xiàn)出來的語言能力及其品質，是學生在語文學習中獲得的語言知識與語言能力，思維方法與思維品質，情感、態(tài)度與價值觀的綜合體現(xiàn)”這一理念，因為讀寫結合是語文科本質性的行為表現(xiàn)，語文核心素養(yǎng)的研究也需要以促進學生發(fā)展為基礎、以語文科塑造人的獨立品格與所需能力為基礎實現(xiàn)學生終身教育，讓我們一起努力踐行讓生活生命作文與語文核心素養(yǎng)齊飛吧！

(17)

本模型的數(shù)據(jù)輸入來自前一個序列表示層

-1

。在self-attention中考慮

=

=

=

,可以發(fā)現(xiàn)函數(shù)softmax的輸出是一個基本的注意力權重,而MD-RNN輸出的

來自于

-1

。因此,可以用

來代替計算

和

的相似度,這樣就可以把

帶入到self-attention公式。這個過程稱為跨度引導的注意力機制,公式如下

語文學習中，若學生具備綜合閱讀能力，能夠幫助學生更好地理解課文內容，加強學生對課本中文字及詞語等知識的理解，這對學生獲取優(yōu)異的語文成績有很大幫助。此外，學生綜合閱讀能力的提高還對學生口語表達能力及寫作能力的提升有巨大幫助。學生具備綜合閱讀能力，可以對文章內容獲得全方位的理解，掌握文章的表達方法，體會文章的思想情感，這樣可以讓學生在口語表達的時候用詞更加準確，并且有效表達自己的思想情感，同時借助綜合閱讀還可以積累一些有效的寫作方法與寫作素材，為學生進行文章寫作奠定了良好的基礎。

(

,

)=

(18)

式中:

表示可學習參數(shù),用于調整

的維度;

來自于字符序列

-1

。與傳統(tǒng)的注意力的計算方法相比,使用跨度信息來引導計算會有一些相對應的優(yōu)勢:①不需要計算相似度,而使用

來減少計算量;②

的計算過程有關于行、列和前幾層的信息,這可以更好地獲得上下文信息;③使用

允許表格編碼器參與序列表示學習過程。

式中：X為樣品中元素的含量，mg/100 g；c為測定用樣品中元素的濃度，μg/mL；c0為試劑空白液中元素的濃度，μg/mL；V為樣品定容體積，mL；f為稀釋倍數(shù)；m為樣品質量。

在注意力機制后使用前饋神經網絡(FFNN)對關注權重進行串聯(lián)和歸一化,公式如下

(19)

(20)

式中

表示層規(guī)范(LayerNorm)運算。

1.4 預測與損失函數(shù)

在最后一層跨度意義增強后,對輸出的序列信息進行枚舉拼接,并使用拼接的表格信息

去預測嵌套的實體標簽,公式如下

(

)=softmax(

+

)

(21)

式中:

表示預測標簽的隨機變量;

表示模型參數(shù)的估計概率函數(shù)。使用交叉熵函數(shù)被用作損失函數(shù),給定輸入

和標簽

計算損失函數(shù),公式如下

(22)

在訓練的過程中,只考慮矩陣中上三角的內容,選擇最可能的標簽作為答案進行輸出,公式如下

(23)

2 實驗與結果分析

為了驗證本文提出的基于跨度語義增強的嵌套命名實體識別模型的效果,所以選擇與其它基于深度學習的命名實體識別模型進行對比。本文在ACE2005中文數(shù)據(jù)集和ACE2005英文數(shù)據(jù)集上進行實驗。使用精確率

、召回率

以及

值作為實驗的主要評估指標,通過在相同數(shù)據(jù)集上進行實驗,驗證本模型的各項性能。

2.1 實驗設置

2

1

1 數(shù)據(jù)集介紹

第二，善用教材中隱性數(shù)學文化知識進行拓展訓練.當前教材中出現(xiàn)了許多高考數(shù)學文化命題素材來源題.如“阿波羅尼斯圓”、“回文數(shù)”、“三角形數(shù)”分別出現(xiàn)在人教版高中數(shù)學必修2第131頁習題4及必修3第51頁第3題和必修5第28頁的正文部分.因此，教師上課時要有意識的對這些數(shù)學文化素材或歷史名題進行拓展改編.比如根據(jù)布洛卡點的基本性質，就可以結合余弦定理、外森比克不等式和等比數(shù)列等知識拓展許多變式問題[6].

ACE2005中文數(shù)據(jù)集和ACE2005英文數(shù)據(jù)集是語言數(shù)據(jù)聯(lián)盟(Linguistic Data Consortium,LDC)于2006年發(fā)布用于各項自然語言處理任務的公共數(shù)據(jù)集。ACE2005英文數(shù)據(jù)集包含7種實體類別,共599篇英語文檔,分別為PER(人物,person)、ORG(組織機構,organization)、GPE(地理/社會/政治實體,geo-political)、LOC(處所,locations)、FAC(設施,facilities)、VEH(交通工具,vehicle)、WEA(武器,weapon)。ACE2005中文數(shù)據(jù)集包括同樣的7種實體類別,共633篇中文文檔。

=([

;

])

+

兩個數(shù)據(jù)集都按照8∶1∶1劃分位訓練集、驗證集和測試集,其中ACE2005英文數(shù)據(jù)集采用文獻[5]的數(shù)據(jù)集劃分方法。

式中:

表示ALBERT語言模型的運算;

表示GloVe語言模型的運算;

∈

××

表示ALBERT的注意力向量;

∈

×

表示編碼層的輸出向量;

∈

×

和

表示可學習參數(shù)。通過將兩種向量進行拼接,并經過線性層來代表編碼層輸出向量。

(24)

(25)

(26)

式中:

表示正確識別出的命名實體個數(shù);

表示識別出的命名實體個數(shù);

表示標準結果中的命名實體個數(shù)。

2.1.3 實驗環(huán)境與參數(shù)設置

本文提出的跨度語義增強模型在Python3.7和Pytorch1.8的環(huán)境下進行實驗。設置模型在訓練、驗證與測試時的Batch_size分別為16、8、8。為降低神經網絡在訓練過程中過擬合造成的影響,設置Dropout為0.5。初始化的字嵌入向量使用了GloVe模型進行訓練并將其保存,其維度為100。在模型訓練中不更新單詞的GloVe向量,將隱藏層的大小設置為200,并且將每個MD-RNN的隱藏層大小設置為100。學習率設置為0.001,Adam作為模型的優(yōu)化工具,上下文的信息使用ALBERT進行訓練并保存最后一層的輸出作為文字的上下文信息。ALBERT是一個共享Transformer參數(shù)的輕量型BERT模型

,在模型中使用的版本是albert-xxlargev2,其隱藏層的維度為4 096。

2.2 結果分析

本文選取了幾個在命名實體識別上取得了較高性能的模型進行對比,表1展示了與這些方法在ACE2005英文數(shù)據(jù)集上的性能區(qū)別,通過使用ALBERT作為預訓練語言模型來提供上下文的信息。本文模型的

值達到了最優(yōu)的86

92,

、

值也達到了最好的性能,表明了本文方法的優(yōu)越性。

在魚、蟹、甲魚等養(yǎng)殖中，也可以套種一些青蝦、黃鱔等新品種來養(yǎng)殖。還需要促進整體的混合養(yǎng)殖，將龜、蟹、青蝦等養(yǎng)殖品種和魚類進行混合養(yǎng)殖，可以將其中的一個品種作為主體，并在有限的水體資源中充分應用，將達到經濟效益的提升。

2.3 PCR敏感性試驗 測定模板DNA濃度為50 ng/μL，通過1∶10倍比稀釋法稀釋模板進行PCR敏感性試驗，當模板稀釋度為10-8時，沒有擴增條帶出現(xiàn)，見圖3，即PCR法檢測下限達到10-7，即本PCR方法檢測DNA的靈敏度達到fg水平。

從整體上看,文獻[8]的模型使用次佳最優(yōu)路徑的方法識別嵌套命名實體在精確率

和召回率

的

結果上明顯低于其他方法。這與其使用的選擇次佳路徑的方式有關,選擇次佳路徑的算法會對結果有著明顯的影響和限制。文獻[26]的回歸模型性能與其他傳統(tǒng)方法比取得了最好的F

值,其模型在設計的過程中考慮到了跨度信息利用不充分的問題,以及長實體識別較困難的現(xiàn)象,用回歸來生成跨度建議來定位實體位置,然后利用相應的類別標記邊界來對跨度建議再次調整。與其相比,本文的模型在精確率、召回率和F

值上都高于回歸模型,這說明本文模型識別出的實體絕大多數(shù)是真實有效的。這是由于結合了跨度級上下文信息為模型提供了更加準確的實體表示,使得分類器有能力確定矩陣中的每一個單位是否為有效的實體跨度。

鼓勵發(fā)展煤矸石燒結空心磚、輕骨料等新型建材，替代粘土制磚。鼓勵煤矸石建材及制品向多功能、多品種、高檔次方向發(fā)展。積極利用煤矸石充填采空區(qū)、采煤沉陷區(qū)和露天礦坑，開展復墾造地。

表2展示模型在ACE2005中文數(shù)據(jù)集上的性能?！癝hallow BA”模型采用兩個獨立的CRF模型來識別起點與終點邊界,候選實體建立起來后,再對候選實體進行分類。“Cascading-out”模型每種實體被單獨的識別,如果出現(xiàn)嵌套的相同類型的實體,則會識別最外層的實體?！癓ayering-out”模型是由兩個獨立的BERT-BiLSTM-CRF模型去識別外層的實體與內層的實體,“NNBA”模型通過兩個BiLSTM-CRF模型分別識別實體的開始與結束位置,然后通過組合的方式生成候選實體再分類。本文模型的精確率較高,大幅度超過了之前的模型,這可能與堆疊多層的跨度語義增強模塊有關。

本文模型在兩種語言的數(shù)據(jù)集上進行實驗是為了驗證不同語言上的適用性。整體上,本文的模型都取得了非常高的結果。

2.3 句子長度(字數(shù))對模型性能影響分析

長句子會導致模型對實體信息不敏感

,提高模型對長句子中實體識別的能力對模型性能有積極的作用,因此探究去掉跨度語義增強模塊對不同長度句子的性能影響。本實驗在ACE2005英文數(shù)據(jù)集上分析不同長度句子對于跨度語義增強模塊的影響,模型參數(shù)保持不變,其結果如圖5所示。

通過對兩種方法進行對比,完整的模型比去掉跨度語義增強模塊的模型在長句子的區(qū)間(40到59與60到79)上有了明顯的性能提升。在較短句子的區(qū)間上,也有一定的提升。

2.4 注意力權重可視化

為了更好地探索注意力機制在模型中的作用,將注意力權重進行了可視化,如圖6所示,使用bertvit工具進行可視化處理。為了更好地突出與self-attention的不同,同時也對模型進行了修改并做了self-attention的可視化。重點比較兩種算法下的單詞與單詞之間的關系,模型的其他參數(shù)與之前保持一致,在此使用一個例子“We’re paying attention to all those details for us, Chris Plante at the pentagon.”來進行說明。這句話中有4個實體,即“we”“Chris Plante at the pentagon”“the pentagon”和“us”。

在圖6中深色的線代表相對較高的注意權重,右側的層數(shù)代表著堆疊的跨度增強模塊的層數(shù),可以看出,不同層之間注意力關注到的內容是不同的,“Chris”對“we”“us”和“Plante”的注意權重較高,它們的實體類型是相同的,同一類型的實體彼此之間有相對較高的相似度。因此,同一類型的實體之間的注意權重是相互關聯(lián)的,與self-attention算法相比,self-attention的關注重點不夠突出,即圖中的深色線不夠明顯。由此可以證明,本模型的注意力算法優(yōu)于原始的算法,并且可以關注到同種類型實體之間的關系。

2.5 消融實驗

為了驗證注意力機制和MD-RNN的有效性,本文設計了消融實驗,結果如表3所示,w/o表示去掉某模塊。注意力機制在模型中用于梳理跨度信息的權重,在去掉注意力機制后表格內的序列信息會不可避免的產生一定的混亂,這對于實體的準確性有較大的影響。在去掉跨度引導的注意力模塊后,模型性能有了明顯下降。

In conclusion, pain in pancreatic cancer has a complex physiopathology. It eminently implies a neuronal invasion and a neurogenic inflammation.

MD-RNN在模型中用于進行跨度語義增強,并且融合跨度級語義特征信息,去掉MD-RNN后性能有所下降,這證明了跨度信息增強對于模型性能提升有幫助?？缍日Z義信息的增強可以補充因利用邊界信息導致丟失的部分語義信息,并且跨度信息對于嵌套實體識別有著較大的幫助。

捷達車穩(wěn)穩(wěn)駛停學校古城墻旁，小女新開業(yè)的書店仍然燈火輝煌，我匆匆下車。丁香花搖下車窗玻璃探出頭來忽然問我，“老龔，昆明是春城，它很美吧！” 我正欲回答，那車，卻像一陣風一樣遠了。

2.6 層數(shù)與性能

如表4所示,探討了表填充和跨度引導注意力機制層數(shù)與模型性能之間的關系。為了保持與前面實驗的一致性,選擇ACE2005英文數(shù)據(jù)集進行實驗,除了編碼器的層數(shù)之外其他的超參數(shù)均保持不變。一般來說,增加編碼器數(shù)量可以提高模型的性能,但當編碼器的數(shù)量超過一個范圍時,性能將開始下降。在實驗中選擇編碼器層數(shù)為1、2、3、4、5。通過對實驗結果進行分析發(fā)現(xiàn),在層數(shù)大于3之后,模型的性能就已經開始下降,這應該是由過擬合而導致的性能下降。

3 結 語

本文提出一種跨度語義增強的命名實體識別方法,解決了命名實體識別中出現(xiàn)的語義不足、召回率不高等問題,并將傳統(tǒng)的一維文本信息拼接成二維的表格信息,使用MD-RNN和注意力模型作為跨度語義增強模塊,進而有效增強了跨度之間的聯(lián)系。實驗結果表明,本文提出的方法相比之前基于跨度模型的嵌套命名實體識別方法有著明顯優(yōu)勢。

透霧，也稱視頻圖像增透技術。大華透霧技術主要分為電子透霧和光學透霧兩種。大華電子透霧基于ISP上算法實現(xiàn)，適用于一般的輕度霧霾環(huán)境使用，主要優(yōu)勢有：

在下一步的工作中,將探究如何將跨度語義增強方法應用到其他領域,以及探究一種新的跨度語義融合機制去融合跨度間的語義信息。

:

[1] 黃銘, 劉捷, 戴齊. 融合字詞特征的中文嵌套命名實體識別 [J]. 現(xiàn)代計算機, 2021, 27(34): 21-28.

HUANG Ming, LIU Jie, DAI Qi. Chinese Nested named entity recognition integrating improved representation learning method [J]. Modern Computer, 2021, 27(34): 21-28.

[2] XIONG Chenyan, LIU Zhengzhong, CALLAN J, et al. Towards better text understanding and retrieval through kernel entity salience modeling [C]∥The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval. New York, NY, USA: ACM, 2018: 575-584.

[3] ZHOU Qingyu, YANG Nan, WEI Furu, et al. Neural question generation from text: a preliminary study [C]∥Natural Language Processing and Chinese Computing. Berlin: Springer, 2018: 662-671.

[4] GUPTA N, SINGH S, ROTH D. Entity linking via joint encoding of types, descriptions, and context [C]∥Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing. Seattle, Washington, USA: ACL, 2017: 2681-2690.

[5] JU Meizhi, MIWA M, ANANIADOU S. A neural layered model for nested named entity recognition [C]∥Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. Seattle, Washington, USA: ACL, 2018: 1446-1459.

[6] FISHER J, VLACHOS A. Merge and label: a novel neural network architecture for nested NER [C]∥Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. Seattle, Washington, USA: ACL, 2019: 5840-5850.

[7] WANG Jue, SHOU Lidan, CHEN Ke, et al. Pyramid: a layered model for nested named entity recognition [C]∥Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Seattle, Washington, USA: ACL, 2020: 5918-5928.

[8] SHIBUYA T, HOVY E. Nested named entity recognition via second-best sequence learning and decoding [J]. Transactions of the Association for Computational Linguistics, 2020, 8: 605-620.

[9] XIA Congying, ZHANG Chenwei, YANG Tao, et al. Multi-grained named entity recognition [C]∥Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. Seattle, Washington, USA: ACL, 2019: 1430-1440.

[10] XU Mingbin, JIANG Hui, WATCHARAWITTAYAKUL S. A local detection approach for named entity recognition and mention detection [C]∥Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics. Seattle, Washington, USA: ACL, 2017: 1237-1247.

[11] SOHRAB M G, MIWA M. Deep exhaustive model for nested named entity recognition [C]∥Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. Seattle, Washington, USA: ACL, 2018: 2843-2849.

[12] LUAN Yi, WADDEN D, HE Luheng, et al. A general framework for information extraction using dynamic span graphs [C]∥Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Volume 1 Human Language Technologies. Seattle, Washington, USA: ACL, 2019: 3036-3046.

[13] LU Wei, ROTH D. Joint mention extraction and classification with mention hypergraphs [C]∥Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing. Seattle, Washington, USA: ACL, 2015: 857-867.

[14] MUIS A O, LU Wei. Labeling gaps between words: recognizing overlapping mentions with mention separators [C]∥Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing. Seattle, Washington, USA: ACL, 2017: 2608-2618.

[15] 張西寧, 郭清林, 劉書語. 深度學習技術及其故障診斷應用分析與展望 [J]. 西安交通大學學報, 2020, 54(12): 1-13.

ZHANG Xining, GUO Qinglin, LIU Shuyu. Analysis and prospect of deep learning technology and its fault diagnosis application [J]. Journal of Xi’an Jiaotong University, 2020, 54(12): 1-13.

[16] DU Yong, WANG Wei, WANG Liang. Hierarchical recurrent neural network for skeleton based action recognition [C]∥2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Piscataway, NJ, USA: IEEE, 2015: 1110-1118.

[17] TANG Duyu, QIN Bing, LIU Ting. Document modeling with gated recurrent neural network for sentiment classification [C]∥Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing. Seattle, Washington, USA: ACL, 2015: 1422-1432.

[18] WANG Yiren, TIAN Fei. Recurrent residual learning for sequence classification [C]∥Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing. Seattle, Washington, USA: ACL, 2016: 938-943.

[20] GRAVES A, MOHAMED A R, HINTON G. Speech recognition with deep recurrent neural networks [C]∥2013 IEEE International Conference on Acoustics, Speech and Signal Processing. Piscataway, NJ, USA: IEEE, 2013: 6645-6649.

[21] GRAVES A, SCHMIDHUBER J. Offline handwriting recognition with multidimensional recurrent neural networks [C]∥Proceedings of the 21st International Conference on Neural Information Processing Systems. New York, NY, USA: ACM, 2008: 545-552.

[22] VASWANI A, SHAZEER N, PARMAR N, et al. Attention is all you need [C]∥Proceedings of the 31st International Conference on Neural Information Processing Systems. New York, NY, USA: ACM, 2017: 6000-6010.

[23] 方軍, 管業(yè)鵬. 基于雙編碼器的會話型推薦模型 [J]. 西安交通大學學報, 2021, 55(8): 166-174.

FANG Jun, GUAN Yepeng. A session recommendation model based on dual encoders [J]. Journal of Xi’an Jiaotong University, 2021, 55(8): 166-174.

[24] 李軍懷, 陳苗苗, 王懷軍, 等. 基于ALBERT-BGRU-CRF的中文命名實體識別方法 [J/OL]. 計算機工程 [2021-10-01]. https:∥doi.org/10.19678/j.issn.100 0-3428.00616 30.

LI Junhuai, CHEN Miaomiao, WANG Huaijun, et al. Chinese named entity recognition method based on ALBERT-BGRU-CRF [J/OL]. Computer Engineering [2021-10-01]. https:∥doi.org/10.19678/j.issn.100 0-3428.00616 30.

[25] YU Juntao, BOHNET B, POESIO M. Named entity recognition as dependency parsing [C]∥Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Seattle, Washington, USA: ACL, 2020: 6470-6476.

[26] SHEN Yongliang, MA Xinyin, TAN Zeqi, et al. Locate and label: a two-stage identifier for nested named entity recognition [C]∥Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing: Volume 1. Seattle, Washington, USA: ACL, 2021: 2782-2794.

[27] CHEN Yanping, ZHENG Qinghua, CHEN Ping. A boundary assembling method for Chinese entity-mention recognition [J]. IEEE Intelligent Systems, 2015, 30(6): 50-58.

[28] CHEN Yanping, WU Yuefei, QIN Yongbin, et al. Recognizing nested named entity based on the neural network boundary assembling model [J]. IEEE Intelligent Systems, 2020, 35(1): 74-81.