摘要： 針對(duì)現(xiàn)有的特征提取方法忽略文本局部和全局聯(lián)系的問(wèn)題，提出了基于多尺度特征提取的層次多標(biāo)簽文本分類(lèi)方法。首先，設(shè)計(jì)了多尺度特征提取模塊，對(duì)不同尺度特征進(jìn)行捕捉，更好地表示文本語(yǔ)義。其次，將層次特征嵌入文本表示中，得到具有標(biāo)簽特征的文本語(yǔ)義表示。最后，在標(biāo)簽層次結(jié)構(gòu)的指導(dǎo)下對(duì)輸入文本構(gòu)建正負(fù)樣本，進(jìn)行對(duì)比學(xué)習(xí)，提高分類(lèi)效果。在WOS、RCV1-V2、NYT和AAPD數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果表明，所提模型在評(píng)價(jià)指標(biāo)上表現(xiàn)出色，超過(guò)了其他主流模型。此外，針對(duì)層次分類(lèi)提出層次Micro-F1和層次Macro-F1指標(biāo)，并對(duì)模型效果進(jìn)行了評(píng)價(jià)。

關(guān)鍵詞： 層次多標(biāo)簽文本分類(lèi)； 多尺度特征提??； 對(duì)比學(xué)習(xí)； 層次Micro-F1； 層次Macro-F1

中圖分類(lèi)號(hào)： TP391

文獻(xiàn)標(biāo)志碼： A

文章編號(hào)： 1671-6841（2025）02-0024-07

DOI： 10.13705/j.issn.1671-6841.2023120

Hierarchical Multi-label Text Classification Method Based

on Multi-scale Feature Extraction

WU Zixuan， WANG Ye， YU Hong

（Chongqing Key Laboratory of Computational Intelligence， Chongqing University of Posts and

Telecommunications， Chongqing 400065， China）

Abstract：

A hierarchical multi-label text classification method based on multi-scale feature extraction was proposed to address the issue of current feature extraction methods in neglecting the local and global connections in text. Firstly， a multi-scale feature extraction module was designed to capture features at different scales， aiming to provide a better representation of text semantics. Secondly， the hierarchical features were embedded into the text representation to obtain a text semantic representation with label features. Finally， with the guidance of the label hierarchy， positive and negative samples were constructed for the input text， and contrastive learning was performed to enhance the classification effectiveness. Comparative experiments were conducted on the WOS， RCV1-V2， NYT and AAPD datasets. The results indicated that the proposed model performed well in terms of the evaluation indices and exceeded other mainstream models. Additionally， the hierarchical Micro-F1 and Macro-F1 indicators were proposed for hierarchical classification， and the effectiveness of the model was evaluated.

Key words： hierarchical multi-label text classification; multi-scale feature extraction; contrastive learning; hierarchical Micro-F1; hierarchical Macro-F1

0 引言

層次多標(biāo)簽文本分類(lèi)（hierarchical multi-label text classification，HMTC）問(wèn)題是指在現(xiàn)實(shí)情境中，一個(gè)樣本可能具有多個(gè)類(lèi)標(biāo)簽，并且這些類(lèi)標(biāo)簽之間存在層次結(jié)構(gòu)，分類(lèi)任務(wù)的目標(biāo)是將這些具有層次結(jié)構(gòu)的類(lèi)標(biāo)簽正確地分配給樣本。層次多標(biāo)簽分類(lèi)問(wèn)題與多標(biāo)簽分類(lèi)類(lèi)似，不同之處在于樣本對(duì)應(yīng)多個(gè)類(lèi)標(biāo)簽時(shí)，這些標(biāo)簽之間具有天然的層次依賴關(guān)系，如父與子關(guān)系或祖先與后代關(guān)系。此外，這些標(biāo)簽之間的依賴關(guān)系具有不同權(quán)重，較低層級(jí)的標(biāo)簽會(huì)受到較高層級(jí)標(biāo)簽的約束。

為引入類(lèi)別層級(jí)信息，Banerjee等^［1］提出HTrans模型，采用遷移學(xué)習(xí)的方式為每個(gè)類(lèi)別訓(xùn)練一個(gè)二分類(lèi)器，子類(lèi)別的分類(lèi)器采用父類(lèi)別的模型參數(shù)進(jìn)行初始化。Cesa-Bianchi等^［2］提出層次貝葉斯模型，增量學(xué)習(xí)每個(gè)節(jié)點(diǎn)的線性分類(lèi)器。Zhou等^［3］將層次表示為有向圖，并利用標(biāo)簽依賴的先驗(yàn)概率來(lái)聚集節(jié)點(diǎn)信息，提出一種層次感知全局模型HiAGM。Deng等^［4］在HiAGM基礎(chǔ)上提出基于文本標(biāo)簽互信息最大化的HTCInfoMax模型。除此之外，一些方法同時(shí)利用了局部和全局信息。Huang等^［5］提出HARNN模型，用局部分類(lèi)器采用注意力機(jī)制提取標(biāo)簽特征，用全局分類(lèi)器將各層級(jí)提取的特征拼接起來(lái)，給出全局預(yù)測(cè)結(jié)果。Zhang等^［6］利用公共因子在同級(jí)類(lèi)別之間建立聯(lián)系，由父層向子層傳遞文本表征，設(shè)計(jì)了LA-HCN模型，判斷文本與子層中哪個(gè)類(lèi)別最相匹配。Wang等^［7］提出基于層次引導(dǎo)的對(duì)比學(xué)習(xí)模型，將層次嵌入文本編碼器中，而不是單獨(dú)建模。

當(dāng)前在處理層次多標(biāo)簽分類(lèi)問(wèn)題時(shí)，面臨的一個(gè)主要挑戰(zhàn)是文本特征提取的局限性?，F(xiàn)有的特征提取方法不夠多樣化，往往忽視了文本特征在局部和全局之間的聯(lián)系。文本本身蘊(yùn)含著多個(gè)方面的信息，僅僅關(guān)注詞語(yǔ)或句子的單一表示方法可能會(huì)導(dǎo)致部分信息丟失。局部的文本表示無(wú)法完全捕捉文本中的全局信息，而實(shí)際上，文本的意義往往由單個(gè)詞或句子與周?chē)谋鞠嗷ヂ?lián)系共同構(gòu)成。因此，本文提出了基于多尺度特征提取的層次多標(biāo)簽文本分類(lèi)方法（hierarchical multi-label text classification method based on multi-scale feature extraction），簡(jiǎn)稱為MHGCLR。首先設(shè)計(jì)了多尺度特征提取模塊，將BERT^［8］詞向量和Doc2Vec^［9］句向量結(jié)合起來(lái)，從不同尺度捕捉特征，以更好地區(qū)分文本，提高分類(lèi)性能。為了充分捕捉文本中的多層次信息，文本分類(lèi)中同時(shí)使用單詞級(jí)別和句子級(jí)別的特征。這些不同尺度的特征往往具有各自獨(dú)特的語(yǔ)義信息和特點(diǎn)，將這些特征結(jié)合起來(lái)可以相互彌補(bǔ)不足之處。MHGCLR模型采用門(mén)控單元對(duì)不同尺度的特征進(jìn)行融合，可以自適應(yīng)變化，決定信息的重要性和傳遞的路徑，提升分類(lèi)效果。

此外，根據(jù)層次文本分類(lèi)（hierarchical text classification，HTC）的傳統(tǒng)評(píng)估度量，會(huì)把孤立節(jié)點(diǎn)視為正確有效的預(yù)測(cè)，但是這樣并不合理。每個(gè)節(jié)點(diǎn)的預(yù)測(cè)不應(yīng)該與它所在路徑內(nèi)的結(jié)果相沖突，孤立的預(yù)測(cè)和不一致路徑不符合實(shí)際要求。針對(duì)標(biāo)簽不一致問(wèn)題，本文提出了兩個(gè)新的指標(biāo)：層次Micro-F1和層次Macro-F1。只有將真實(shí)標(biāo)簽的所有祖先都預(yù)測(cè)正確，才能認(rèn)為這個(gè)標(biāo)簽預(yù)測(cè)正確。這兩個(gè)指標(biāo)能夠更全面地評(píng)估模型的性能，避免了使用傳統(tǒng)指標(biāo)帶來(lái)的局限性。在WOS、RCV1-V2、NYT和AAPD數(shù)據(jù)集上進(jìn)行了對(duì)比實(shí)驗(yàn)，結(jié)果表明，所提出的MHGCLR模型優(yōu)于其他主流模型。

1 基于多尺度特征提取的HMTC方法

為了應(yīng)對(duì)原始文本轉(zhuǎn)化為高維度向量的問(wèn)題，特別是其在計(jì)算資源和模型復(fù)雜度方面所造成的負(fù)擔(dān)，需要進(jìn)行特征提取處理。特征提取是將原始文本數(shù)據(jù)轉(zhuǎn)換為低維度且稠密的特征向量的過(guò)程。這個(gè)過(guò)程通過(guò)保留原始文本的關(guān)鍵信息，能夠降低特征向量的維度，從而提高模型訓(xùn)練效率和預(yù)測(cè)準(zhǔn)確性。常見(jiàn)的特征提取方法包括TF-IDF、Doc2Vec、BERT等。

傳統(tǒng)上常傾向于單一特征提取方法，然而這些常用的方法如BERT和Doc2Vec都存在一定的局限性。具體而言，BERT能夠提供上下文相關(guān)的詞向量，精準(zhǔn)地表達(dá)每個(gè)單詞的含義，但在捕捉整個(gè)句子的語(yǔ)義信息方面相對(duì)較弱。與之相反，Doc2Vec能夠捕捉到整個(gè)句子的語(yǔ)義信息，但它平均化了單詞的表示，失去了單詞級(jí)別的豐富信息。本文采用了融合BERT和Doc2Vec的策略，將BERT詞向量和Doc2Vec句向量結(jié)合起來(lái)，有助于克服它們各自的局限性。這種融合方法利用了門(mén)控單元自適應(yīng)地確定信息的重要性，從而將信息融合在一起。最終得到的特征表示能夠更全面、準(zhǔn)確地表達(dá)文本信息。圖1展示了多尺度特征提取層的結(jié)構(gòu)。

1.1 BERT

使用BERT模型在詞尺度生成高質(zhì)量的詞向量表示。BERT是基于Transformer Encoder的模型，其中每個(gè)Transformer Encoder包含多頭自注意力機(jī)制與前饋神經(jīng)網(wǎng)絡(luò)。

使用殘差連接和層歸一化操作提高模型訓(xùn)練效率與泛化能力，解決梯度消失和梯度爆炸問(wèn)題，

y=LayerNorm（x+Sublayer（x）），（1）

式中：Sublayer表示自注意力機(jī)制或者前饋網(wǎng)絡(luò)子層；LayerNorm表示層歸一化；x是子層的輸入向量；y表示輸出向量。

1.2 Doc2Vec

Doc2Vec是基于Word2Vec模型的一種算法，用于生成文檔的向量表示，即句向量。與Word2Vec不同，Doc2Vec能夠捕捉整個(gè)文檔的語(yǔ)義信息。PV-DM是Doc2Vec的一種變體，也被稱為Distributed Memory模型，該技術(shù)能將文檔和單詞嵌入固定的向量空間中。PV-DM模型接受上下文單詞和句向量作為輸入，通過(guò)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)目標(biāo)單詞。模型參數(shù)通過(guò)反向傳播算法進(jìn)行調(diào)整，使得模型能夠準(zhǔn)確預(yù)測(cè)目標(biāo)單詞并生成準(zhǔn)確的文檔向量。通過(guò)這種方式，PV-DM模型能夠捕捉整個(gè)句子的信息，而不僅僅是單詞級(jí)別。將BERT的語(yǔ)義表征與Doc2Vec句向量輸入特征融合層進(jìn)行融合，然后完成分類(lèi)任務(wù)。這種融合能夠更好地結(jié)合句子的語(yǔ)義信息，為分類(lèi)任務(wù)提供更準(zhǔn)確的輸入。

1.3 特征融合

采用門(mén)控單元GRU的更新門(mén)，對(duì)BERT和Doc2Vec進(jìn)行特征融合。具體來(lái)說(shuō)，將BERT詞向量和Doc2Vec句向量作為GRU網(wǎng)絡(luò)的輸入，通過(guò)門(mén)控單元自適應(yīng)地決定信息的重要性，將信息進(jìn)行融合，得到最終的特征表示。首先通過(guò)線性變換將兩個(gè)向量的維度對(duì)齊，

Doc=W·

HDoc，（2）

式中：HDoc表示Doc2Vec特征向量；Doc表示轉(zhuǎn)化后的特征向量；

W是變換矩陣。

之后，通過(guò)更新門(mén)機(jī)制來(lái)確定信息的保留程度，

gw=σ（wiDoc+

wcHBERT+bg），（3）

式中：gw表示信息的保留程度；HBERT表示BERT文本特征向量；σ表示sigmoid激活函數(shù)；

wi與wc為更新門(mén)權(quán)重；bg表示更新門(mén)偏置。

特征融合可表示為

Hfusion=

gDoc+（1-g）HBERT，（4）

式中：Hfusion表示融合后的文本特征向量。

門(mén)控單元的更新門(mén)如圖2所示。

1.4 圖形編碼器

采用Graphormer作為標(biāo)簽層次結(jié)構(gòu)的建模工具。Graphormer是一種基于Transformer的神經(jīng)網(wǎng)絡(luò)架構(gòu)，該架構(gòu)通過(guò)層次標(biāo)簽樹(shù)對(duì)節(jié)點(diǎn)信息進(jìn)行編碼。將Graphormer與文本編碼器BERT和Doc2Vec相結(jié)合，以有效整合層次信息和文本信息，這種融合為層次分類(lèi)任務(wù)帶來(lái)了顯著的性能提升。

1.5 對(duì)比學(xué)習(xí)

首先利用之前學(xué)習(xí)到的標(biāo)簽特征進(jìn)行一個(gè)注意力的選擇，得到Aij矩陣。Aij

代表每一個(gè)不同的token對(duì)相應(yīng)標(biāo)簽的貢獻(xiàn)概率，并通過(guò)Softmax函數(shù)得到一個(gè)概率分布。給定一個(gè)特定的標(biāo)簽，就可以從這個(gè)分布中抽取token并形成一個(gè)正樣本。設(shè)定了一個(gè)閾值γ，用于確定采樣的token。如果某個(gè)token對(duì)不同標(biāo)簽的影響概率超過(guò)這個(gè)閾值，就將其判定為屬于該標(biāo)簽的正樣本。負(fù)樣本的構(gòu)建過(guò)程是將學(xué)習(xí)到的真實(shí)樣本以及相應(yīng)的正樣本組成N個(gè)正對(duì)（hi，i），對(duì)其添加一個(gè)非線性層，

ci=W2ReLU（W1hi），（5）

i=

W2ReLU（W1i），（6）

式中：W1∈Rdh×dh，W2∈Rdh×dh，dh為隱藏層層數(shù)。

對(duì)于每個(gè)正對(duì)，有

2（N-1）個(gè)負(fù)例。對(duì)于2N個(gè)例子Z={z∈{ci}∪

{i}}，采用NT-Xent損失函數(shù)強(qiáng)迫正、負(fù)例之間的距離變大，計(jì)算zm的NT-Xent損失，可表示為

L^conm=-logexp（sim（zm，

μ（zm））/τ）

∑2Ni=1，i≠m

exp（sim（zm，zi）/τ），（7）

式中：τ為溫度超參數(shù)；sim為余弦相似函數(shù)，sim（u，v）=u·v/（‖u‖‖v‖）；μ為匹配函數(shù)，并且

μ（zm）=

ci，if

zm=i，

i，if

zm=ci。（8）

總對(duì)比學(xué)習(xí)損失為所有例子的平均損失，可表示為

L^con=12N∑2Nm=1L^conm。（9）

1.6 輸出層與損失函數(shù)

將多標(biāo)簽分類(lèi)的層次結(jié)構(gòu)扁平化，把隱藏的特征輸入線性層，并使用sigmoid函數(shù)計(jì)算概率。將特征融合得到的語(yǔ)義信息進(jìn)行概率轉(zhuǎn)換，輸出文本i出現(xiàn)在標(biāo)簽j上的概率，從而得到模型的預(yù)測(cè)結(jié)果，可表示為

pij=sigmoid（whi+b）j，（10）

式中：w為權(quán)重系數(shù)；b為偏置項(xiàng)；

hi為特征向量；pij為預(yù)測(cè)概率。

對(duì)于多標(biāo)簽分類(lèi)，對(duì)標(biāo)簽j上的文本i使用一個(gè)二元交叉熵?fù)p失函數(shù)，可表示為

LCij=-yijlg（pij）-（1-yij）lg（1-pij），（11）

LC=∑Ni=1∑kj=1LCij，（12）

式中：yij為樣本的真實(shí)標(biāo)簽。

最終的損失函數(shù)是分類(lèi)損失和對(duì)比學(xué)習(xí)損失的組合，可表示為

L=LC+λL^con，（13）

式中：λ為控制對(duì)比損失權(quán)重的超參數(shù)。

2 實(shí)驗(yàn)

2.1 實(shí)驗(yàn)準(zhǔn)備

2.1.1 數(shù)據(jù)集

在WOS^［10］、NYT^［11］、RCV1-V2^［12］和AAPD^［13］數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，并采用多種指標(biāo)對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行評(píng)價(jià)。WOS涵蓋了Web of Science數(shù)據(jù)庫(kù)中發(fā)表的學(xué)術(shù)論文摘要，AAPD則搜集了Arxiv學(xué)術(shù)論文的摘要以及對(duì)應(yīng)的學(xué)科類(lèi)別信息，而NYT和RCV1-V2都是新聞分類(lèi)語(yǔ)料庫(kù)。WOS用于單路徑HTC，而NYT、RCV1-V2和AAPD包含多路徑分類(lèi)標(biāo)簽，數(shù)據(jù)集的標(biāo)簽為樹(shù)狀的層級(jí)結(jié)構(gòu)。4個(gè)數(shù)據(jù)集的統(tǒng)計(jì)信息如表1所示。

2.1.2 實(shí)驗(yàn)設(shè)置

對(duì)于文本編碼器，使用BERT和Doc2Vec模型，其中Transformer的bert-base-uncased作為基本架構(gòu)。對(duì)于Graphormer，將自適應(yīng)圖注意力頭設(shè)置為8，特征大小設(shè)置為768，batch size設(shè)置為16。選擇的優(yōu)化器是Adam，學(xué)習(xí)率設(shè)置為3×10^-4。使用訓(xùn)練集對(duì)模型進(jìn)行訓(xùn)練，每個(gè)輪次結(jié)束后對(duì)驗(yàn)證集進(jìn)行評(píng)估，如果在連續(xù)6 個(gè)輪次中Macro-F1不增加，則停止訓(xùn)練。閾值γ在WOS上設(shè)置為0.02，在NYT、RCV1-V2和AAPD上設(shè)置為0.005。WOS、RCV1-V2和AAPD的損失權(quán)重λ為0.1，NYT的損失權(quán)重λ為0.3，對(duì)比模塊的溫度超參數(shù)固定為1。在PyTorch中實(shí)現(xiàn)模型，并在NVIDIA GeForce RTX 3090上進(jìn)行實(shí)驗(yàn)。

2.1.3 評(píng)價(jià)指標(biāo)

首先使用準(zhǔn)確率、召回率、Micro-F1和Macro-F1來(lái)評(píng)估實(shí)驗(yàn)結(jié)果，其次引入了兩個(gè)新的評(píng)價(jià)指標(biāo)：層次Micro-F1（HMicro-F1）和層次Macro-F1（HMacro-F1）。這兩個(gè)新指標(biāo)與傳統(tǒng)度量的區(qū)別在于，這些受約束的評(píng)價(jià)指標(biāo)要求對(duì)于一個(gè)節(jié)點(diǎn)的預(yù)測(cè)結(jié)果被視為“真”，必須滿足該節(jié)點(diǎn)在每個(gè)層次上的所有祖先節(jié)點(diǎn)都被預(yù)測(cè)為“真”。

2.2 實(shí)驗(yàn)結(jié)果

將本文提出的MHGCLR模型與經(jīng)典模型以及其他目前主流的模型在WOS、RCV1-V2、NYT和AAPD數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)。選擇的基線方法包括TextCNN^［14］、TextRNN^［15］、TextRCNN^［16］、FastText^［17］、AttentiveConvNet^［18］、TextVDCNN^［19］、HTCInfoMax^［4］、HBGL^［20］和HiMatch^［21］模型。

不同模型在4個(gè)公開(kāi)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如表2和表3所示（最優(yōu)結(jié)果加黑顯示）。可以看出，MHGCLR模型在WOS、RCV1-V2、NYT和AAPD數(shù)據(jù)集上的準(zhǔn)確率分別為90.66%、87.72%、85.71%和85.82%；Micro-F1值分別為87.32%、86.41%、78.92%和79.79%；Macro-F1值分別為81.54%、69.32%、67.61%和63.92%，相比其他模型具有更好的性能。在新的層次評(píng)價(jià)指標(biāo)方面，MHGCLR模型依然表現(xiàn)良好，在4個(gè)數(shù)據(jù)集上的HMicro-F1值分別為85.75%、84.57%、74.67%和77.03%，HMacro-F1值分別為80.64%、67.51%、65.26%和60.04%，說(shuō)明MHGCLR模型通過(guò)建模多尺度特征對(duì)層次間的依賴也產(chǎn)生了效果。

2.3 性能分析

首先進(jìn)行消融實(shí)驗(yàn)，分別在有、無(wú)多尺度特征提取模塊下進(jìn)行實(shí)驗(yàn)，從而驗(yàn)證了模塊的有效性。接著進(jìn)行分層表現(xiàn)實(shí)驗(yàn)，觀察模型在不同層次上的性能表現(xiàn)。

2.3.1 消融實(shí)驗(yàn)

在WOS數(shù)據(jù)集上進(jìn)行消融實(shí)驗(yàn)，結(jié)果如表4所示?？梢钥闯?，有多尺度特征提取模塊的MHGCLR模型的分類(lèi)效果要優(yōu)于無(wú)多尺度特征提取模塊的HGCLR模型，其在Micro-F1和Macro-F1上分別提升0.57和0.36個(gè)百分點(diǎn)，而且HMicro-F1和HMacro-F1層次指標(biāo)也略有提高。

2.3.2 分層表現(xiàn)實(shí)驗(yàn)

對(duì)每個(gè)層次的分類(lèi)情況進(jìn)行了分層輸出，并將MHGCLR模型與其他模型的表現(xiàn)進(jìn)行了比較。由于RCV1-V2數(shù)據(jù)集中存在部分少樣本標(biāo)簽，故選擇在具有3個(gè)層次的RCV1-V2數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。由于Micro-F1值對(duì)分布不平衡情況更為敏感，選用其作為對(duì)比指標(biāo)，模型在不同層

次上的實(shí)驗(yàn)結(jié)果如表5所示。結(jié)果表明，MHGCLR模型在每個(gè)層次上都優(yōu)于其他模型，并且在深層次上的性能明顯優(yōu)于其他模型。MHGCLR模型能夠充分利用多尺度表征中學(xué)習(xí)到的知識(shí)，特別是在深層次的少樣本標(biāo)簽分類(lèi)方面表現(xiàn)出色。

3 結(jié)語(yǔ)

本文將多尺度特征提取和特征融合引入HMTC任務(wù)中，結(jié)合了Graphormer和對(duì)比學(xué)習(xí)工作，提出了MHGCLR模型。該模型可以提取不同尺度的特征，考慮了文本的多尺度性以及局部和全局之間的聯(lián)系，從而提高了模型在HMTC任務(wù)上的整體性能。首先設(shè)計(jì)了多尺度特征提取模塊，將文本劃分為不同尺度并提取相應(yīng)的特征，然后進(jìn)行特征融合。這樣做可以在淺層特征中提取詞匯信息，在深層特征中提取更抽象的語(yǔ)義信息，從而更好地捕捉文本的層次化結(jié)構(gòu)。在WOS、RCV1-V2、NYT和AAPD數(shù)據(jù)集上進(jìn)行了對(duì)比實(shí)驗(yàn)，結(jié)果表明，該模型不僅在傳統(tǒng)評(píng)價(jià)指標(biāo)上取得了顯著提升，而且在新提出的具有層次約束的評(píng)價(jià)指標(biāo)HMicro-F1和HMacro-F1上的表現(xiàn)也超越了其他模型。未來(lái)的研究方向?qū)⒅赜诮?biāo)簽之間的關(guān)聯(lián)性，以更準(zhǔn)確地反映其層次結(jié)構(gòu)和相關(guān)性。

參考文獻(xiàn)：

［1］ BANERJEE S， AKKAYA C， PEREZ-SORROSAL F， et al. Hierarchical transfer learning for multi-label text classification［C］∥Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. Stroudsburg： Association for Computational Linguistics， 2019： 6295-6300.

［2］ CESA-BIANCHI N， GENTILE C， ZANIBONI L. Incremental algorithms for hierarchical classification［J］. Journal of machine learning research， 2006， 7： 31-54.

［3］ ZHOU J E， MA C P， LONG D K， et al. Hierarchy-aware global model for hierarchical text classification［C］∥Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg： Association for Computational Linguistics， 2020： 1106-1117.

［4］ DENG Z F， PENG H， HE D X， et al. HTCInfoMax： a global model for hierarchical text classification via information maximization［C］∥Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg： Association for Computational Linguistics， 2021： 3259-3265.

［5］ HUANG W， CHEN E H， LIU Q， et al. Hierarchical multi-label text classification： an attention-based recurrent network approach［C］∥Proceedings of the 28th ACM International Conference on Information and Knowledge Management. New York： ACM Press， 2019： 1051-1060.

［6］ ZHANG X Y， XU J H， SOH C， et al. LA-HCN： label-based attention for hierarchical multi-label text classification neural network［J］. Expert systems with applications， 2022， 187： 115922.

［7］ WANG Z H， WANG P Y， HUANG L Z， et al. Incorporating hierarchy into text encoder： a contrastive learning approach for hierarchical text classification［C］∥Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics. Stroudsburg： Association for Computational Linguistics， 2022： 7109-7119.

［8］ 劉燕. 基于BERT-BiGRU的中文專(zhuān)利文本自動(dòng)分類(lèi)［J］. 鄭州大學(xué)學(xué)報(bào)（理學(xué)版）， 2023， 55（2）： 33-40.

LIU Y. Automatic classification method for Chinese patent texts based on BERT-BiGRU［J］. Journal of Zhengzhou university （natural science edition）， 2023， 55（2）： 33-40.

［9］ 曾立英， 許乾坤， 張麗穎， 等. 面向主題檢索的科技政策擴(kuò)散識(shí)別方法［J］. 鄭州大學(xué)學(xué)報(bào)（理學(xué)版）， 2022， 54（5）： 82-89.

ZENG L Y， XU Q K， ZHANG L Y， et al. Identification method for subject retrieval of science and technology policy diffusion［J］. Journal of Zhengzhou university （natural science edition）， 2022， 54（5）： 82-89.

［10］KOWSARI K， BROWN D E， HEIDARYSAFA M， et al. HDLTex： hierarchical deep learning for text classification［C］∥ Proceedings of the 16th IEEE International Conference on Machine Learning and Applications. Piscataway：IEEE Press， 2018： 364-371.

［11］BOWMAN S R， ANGELI G， POTTS C， et al. A large annotated corpus for learning natural language inference［C］∥Proceedings of the Conference on Empirical Methods in Natural Language Processing. Stroudsburg： Association for Computational Linguistics， 2015： 632-642.

［12］LEWIS D， YANG Y M， ROSE T， et al. RCV1： a new benchmark collection for text categorization research［J］. Journal of machine learning research， 2004， 5： 361-397.

［13］YANG P， SUN X， LI W， et al. SGM： sequence generation model for multi-label classification［C］∥Proceedings of the 27th International Conference on Computational Linguistics. Stroudsburg： Association for Computational Linguistics， 2018： 3915-3926.

［14］KIM Y. Convolutional neural networks for sentence classification［C］∥Proceedings of the Conference on Empirical Methods in Natural Language Processing. Stroudsburg： Association for Computational Linguistics， 2014： 1746-1751.

［15］LIU X， WU J， YANG Y. Recurrent neural network for text classification with multi-task learning［C］∥Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg： Association for Computational Linguistics， 2016： 10-21.

［16］LAI S W， XU L H， LIU K， et al. Recurrent convolutional neural networks for text classification［C］∥ Proceedings of the AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press，2015： 2268-2274.

［17］JOULIN A， GRAVE E， BOJANOWSKI P， et al. Bag of tricks for efficient text classification［C］∥Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics. Stroudsburg： Association for Computational Linguistics， 2017： 427-431.

［18］NEUMANN M， VU N T. Attentive convolutional neural network based speech emotion recognition： a study on the impact of input features， signal length， and acted speech［C］∥ IEEE International Conference on Acoustics， Speech and Signal Processing. Piscataway： IEEE Press， 2017： 1972-1976.

［19］CONNEAU A， SCHWENK H， BARRAULT L， et al. Very deep convolutional networks for text classification［C］∥Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics. Stroudsburg： Association for Computational Linguistics， 2017： 1107-1116.

［20］JIANG T， WANG D Q， SUN L L， et al. Exploiting global and local hierarchies for hierarchical text classification［C］∥Proceedings of the Conference on Empirical Methods in Natural Language Processing. Stroudsburg： Association for Computational Linguistics， 2022： 4030-4039.

［21］CHEN H B， MA Q L， LIN Z X， et al. Hierarchy-aware label semantics matching network for hierarchical text classification［C］∥Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing. Stroudsburg： Association for Computational Linguistics， 2021： 4370-4379.