薛涵 秦兵 劉挺

摘 要：術(shù)語抽取是層次體系構(gòu)建的首要子任務(wù)。目前的術(shù)語抽取研究主要集中在文本語料并且混合多個主題，存在知識獲取的瓶頸和術(shù)語表述的模糊與歧義的問題。為了解決這些問題，本文提出一種基于邊權(quán)重的主題核心術(shù)語抽取方法，從社會化標(biāo)簽中抽取主題核心術(shù)語。考慮到社會化標(biāo)簽豐富的語義關(guān)聯(lián)特征，本文提出結(jié)合具體主題的局部共現(xiàn)和資源集合中所有主題的全局語義相似度的邊權(quán)重。新穎的邊權(quán)重將傳統(tǒng)的隨機(jī)游走方法分解成多個主題相關(guān)的隨機(jī)游走，并針對每個具體主題排序相關(guān)的候選術(shù)語。排序靠前的術(shù)語被抽取作為主題核心術(shù)語。實驗結(jié)果表明本文提出的方法顯著優(yōu)于前人的相關(guān)工作。

關(guān)鍵詞：術(shù)語抽??；社會化標(biāo)簽；主題核心術(shù)語抽??；主題相關(guān)的隨機(jī)游走

中圖分類號：TP391 文獻(xiàn)標(biāo)識號：A

Topic Key Term Extraction based on Edge Weight

XUE Han1，2， QIN Bing1， LIU Ting1

（1 School of Computer Science and Technology， Harbin Institute of Technology， Harbin 150001， China；2 Library， Harbin Engineering University， Harbin 150001， China）

Abstract： Term extraction is a primary subtask of hierarchy construction. Existing studies for term extraction mainly focus on text corpora and indiscriminately mix numerous topics， which may lead to a knowledge acquisition bottleneck and misconception. To deal with these problems， this paper proposes a method of topic key term extraction based on edge weight to extract topic key term from folksonomy. In view of semantic association characteristics of folksonomy， the edge weight which combines the local co-occurrence in a specific topic with the global semantic similarity over all the topic dimensions in the whole collection considered is proposed. The new edge weight can decompose a traditional random walk into multiple random walks specific to various topics， and each of these walks outputs a list of terms ordered on the basis of importance score. Then， the top-ranking terms are extracted as the topic key terms for each topic. Experiments show that the proposed method outperforms other state-of-the-art methods.

Keywords： Term Extraction； Folksonomy； Topic Key Term Extraction； Topic-Sensitive Random Walk

0 引言

作為層次體系構(gòu)建的第一步，術(shù)語抽取是一項重要的子任務(wù)[1]。核心術(shù)語通常定義為可以概括語料所蘊含語義主題內(nèi)容的一系列術(shù)語。語料往往包含多個主題，其中每個術(shù)語對于不同的主題會表達(dá)不同的含義。多個主題的共有術(shù)語在不同主題的重要性往往不同?；旌现黝}衡量術(shù)語的重要性可能會導(dǎo)致某些不太常見或者新涌現(xiàn)出的主題核心術(shù)語無法被識別出來。例如，“牛仔”在“西部”主題中是核心術(shù)語，而在其他主題中則是非核心術(shù)語?；旌隙鄠€主題構(gòu)建的單一層次體系容易導(dǎo)致不同主題共有術(shù)語的模糊和歧義問題，在同一個層次體系中用完全不同的含義定義同一個術(shù)語是不準(zhǔn)確的，然而忽略其中任何一個含義會導(dǎo)致無法完整詮釋術(shù)語的含義。為此，本研究提出抽取主題核心術(shù)語，即根據(jù)從語料中學(xué)習(xí)得到的具體主題，抽取能夠較好地概括和描述該主題的內(nèi)容并與此主題下其他非核心術(shù)語密切相關(guān)的術(shù)語。例如，電影領(lǐng)域的主題核心術(shù)語通常有“喜劇”、“科幻”、“傳記”等。主題核心術(shù)語抽取是許多自然語言處理任務(wù)的基礎(chǔ)，例如，信息檢索和導(dǎo)航、問答、推薦系統(tǒng)等。

目前核心術(shù)語抽取研究主要基于領(lǐng)域文本語料，但是發(fā)現(xiàn)能夠準(zhǔn)確描述專業(yè)性較強(qiáng)或者主題變化較快的文本語料并非易事[2]。即便可以，人工遍歷所有的文本語料并且隨時跟蹤所有新出現(xiàn)的主題也幾乎是不可能完成的任務(wù)。例如，對于常見的電影主題“喜劇”來說，找到形式化定義和描述“喜劇”主題的文本語料相對容易，但是對于不太常見的主題“Cult”，發(fā)現(xiàn)類似的文本語料則相對困難。但是，標(biāo)簽卻可以用“Cult”、“非主流”、“小成本”等自然語言詞匯更加輕松、自由地定義這樣的主題。正因為如此，一些研究者開始探索和嘗試使用社會化標(biāo)簽這種新興的語料。社會化標(biāo)簽[3]允許擁有不同專業(yè)知識的大量互聯(lián)網(wǎng)“草根”用戶使用任意詞匯（標(biāo)簽）自由標(biāo)注感興趣的資源并與他人分享，由于技術(shù)門檻低、用戶易于使用，因此蘊含著豐富并且及時的互聯(lián)網(wǎng)大眾語義知識?；ヂ?lián)網(wǎng)用戶通過標(biāo)注、分享標(biāo)簽，瀏覽他人標(biāo)簽的過程，形成異步反饋并逐漸達(dá)成共識。在這個過程中產(chǎn)生了豐富的顯式和隱式關(guān)聯(lián)。顯式關(guān)聯(lián)存在于通過標(biāo)簽關(guān)聯(lián)的資源和用戶之間，隱式關(guān)聯(lián)存在于擁有相同興趣或社區(qū)的用戶之間，以及共享相同標(biāo)簽或者用戶的資源之間。在資源、標(biāo)簽、用戶三者之間的顯式和隱式關(guān)聯(lián)提供了潛在有價值的語義信息。標(biāo)簽作為候選術(shù)語，已經(jīng)被廣大用戶人工抽取出來，從而避免了一系列自然語言處理任務(wù)如分詞、詞性標(biāo)注、句法分析等。可見，社會化標(biāo)簽相對于由少量領(lǐng)域?qū)＜揖幾透碌奈谋菊Z料來說能夠克服知識獲取的瓶頸。但是，從社會化標(biāo)簽中抽取主題核心術(shù)語至少面臨兩方面的挑戰(zhàn)。第一，社會化標(biāo)簽僅僅按照出現(xiàn)頻率簡單排序并未區(qū)分主題。第二，標(biāo)簽由于大眾標(biāo)注的隨意性和模糊性，質(zhì)量差異很大。為了克服這些挑戰(zhàn)，研究需要識別出主題，并按照主題排序和抽取出主題核心術(shù)語。

鑒于此，本文提出基于邊權(quán)重的主題核心術(shù)語抽取方法?？紤]到中文語法的復(fù)雜性和可用研究資源不足的問題，嘗試從中文社會化標(biāo)簽數(shù)據(jù)出發(fā)開展研究，一來可以豐富中文研究資源和成果，二來可以體現(xiàn)社會化標(biāo)簽緩解知識獲取瓶頸的優(yōu)勢。需要說明的是，提出的研究方法雖然基于中文數(shù)據(jù)源，但是無監(jiān)督而且語言無關(guān)的，可以應(yīng)用于更廣泛的語料和其他任何語言。具體地，研究首先通過LDA模型，從社會化標(biāo)簽數(shù)據(jù)中發(fā)現(xiàn)隱含的主題，并學(xué)習(xí)得到候選術(shù)語的主題分布。然后，分析社會化標(biāo)簽的語義關(guān)聯(lián)特征，提出由具體主題的局部共現(xiàn)信息和所有主題的全局語義相似度共同構(gòu)成的邊權(quán)重。進(jìn)而，通過邊權(quán)重改進(jìn)PageRank[4]方法，將傳統(tǒng)的隨機(jī)游走方法分解成多個主題相關(guān)的隨機(jī)游走，并針對每個具體主題排序相關(guān)的候選術(shù)語。最后，抽取排在最前面的候選術(shù)語作為主題核心術(shù)語。據(jù)現(xiàn)有成果所知，本研究工作在中文層次體系構(gòu)建領(lǐng)域尚屬首例。本文研究對方法進(jìn)行較詳細(xì)的分析，希望對此方向的未來研究有所助益。

1 基于邊權(quán)重的主題核心術(shù)語抽取

基于邊權(quán)重的主題核心術(shù)語抽取方法的核心思想是通過邊權(quán)重的設(shè)計，將主題信息融入候選術(shù)語的重要性值傳播。首先，可從社會化標(biāo)簽抽取資源集合S和標(biāo)簽集合（候選術(shù)語）V。由于標(biāo)簽反映了大眾對資源的認(rèn)識，在此僅僅將用戶集合U的標(biāo)簽按照資源 組織成文檔。然后，給出假設(shè)資源集合S存在主題集合Z，每個候選術(shù)語 屬于多個語義主題，并且在不同主題下重要性不同。進(jìn)而，研究從資源集合中識別出主題。對于每個主題，根據(jù)候選術(shù)語的主題分布，計算結(jié)合局部和全局語義相似度的邊權(quán)重，并建立主題相關(guān)的候選術(shù)語組成的圖（見第1.1節(jié)）。隨后，再將一個傳統(tǒng)的隨機(jī)游走方法分解成多個主題相關(guān)的隨機(jī)游走，并針對每個主題根據(jù)重要性值對候選術(shù)語排序（見第1.2節(jié)）。最后，排序靠前的術(shù)語被抽取出來作為每個主題的核心術(shù)語。

1.1 主題識別

本文選擇使用無監(jiān)督的機(jī)器學(xué)習(xí)技術(shù)從資源集合中識別出主題并獲得每個候選術(shù)語的主題分布，而不是已標(biāo)注的語義知識庫（如，WordNet），因為其中的詞匯并不能很好地覆蓋社會化標(biāo)簽。機(jī)器學(xué)習(xí)中的隱含主題模型能夠根據(jù)語料中詞的共現(xiàn)信息推斷隱含的主題。LDA[5]是隱含主題模型的代表，其中文檔d中的每個詞w的產(chǎn)生，是通過首先從d的主題分布θ中取出主題z，然后，從詞的分布Ф中取出能代表主題z的詞。θ和Ф分別來自共軛狄利克雷先驗α和β。在此使用資源集合S作為LDA模型的輸入，其中每個資源是由用戶集合U對其打出的標(biāo)簽組成的文檔。通過LDA，對于給定主題 ，則通過公式（1）獲得每個候選術(shù)語 的主題分布 。

（1）

進(jìn)而，又通過公式（2）和（3）分別計算出候選術(shù)語之間的局部和全局語義相似度。

（2）

（3）

代表候選術(shù)語wi和wj之間的局部語義相似度（見公式（2）），反映了候選術(shù)語對于具體主題的局部共現(xiàn)信息。其中， 計算為候選術(shù)語wi和wj在同一個資源 中共現(xiàn)并且屬于同一個主題z的次數(shù)。 計算為候選術(shù)語wi和wj在同一個資源 中共現(xiàn)的次數(shù)。 代表候選術(shù)語wi和wj之間的全局語義相似度，通過將公式（1）代入公式（3）計算得到，定義為兩個候選術(shù)語wi和wj在整個資源集合S中所有主題維度上的余弦相似度，反映了候選術(shù)語對于整個主題集合的全局語義相似度。

1.2 術(shù)語排序

PageRank[4]是計算網(wǎng)頁重要性的著名圖排序算法，也可以用于計算術(shù)語的重要性。如果有邊存在于節(jié)點wi和wj之間，研究就用節(jié)點集合 和邊集合 組成圖 。其中，每個節(jié)點代表一個術(shù)語，每條邊說明連接的兩個術(shù)語的相關(guān)關(guān)系，wi和wj之間邊的權(quán)重定義為 ，節(jié)點wi的出度定義為 。在PageRank中，詞wi的重要性值通過迭代地運行公式（4）直到收斂獲得。其中，衰減因子λ的取值范圍為0到1，|V|是節(jié)點數(shù)。衰減因子說明每個節(jié)點有（1-λ）的概率隨機(jī)跳轉(zhuǎn)到圖中的其他節(jié)點，同時有λ的概率隨出度邊跳轉(zhuǎn)到相鄰節(jié)點。

（4）

然而，傳統(tǒng)的PageRank算法僅為每個術(shù)語保留唯一的重要性值。為了能夠按照主題排序，傳統(tǒng)PageRank的隨機(jī)游走被分解成多個主題相關(guān)的隨機(jī)游走，目的就是將術(shù)語的重要性值分解成與主題相關(guān)的重要性向量，準(zhǔn)確記錄術(shù)語對于不同主題的重要性。相關(guān)工作主要有Liu等人提出的方法[6]MTPR，主要思想是對于每個主題分別運行有偏好的PageRank算法，將公式（4）中第二項統(tǒng)一的隨機(jī)跳轉(zhuǎn)改為主題相關(guān)的隨機(jī)跳轉(zhuǎn)概率即偏好值 ，且 ，從三種備選中最終確定為 。對于主題z，MTPR計算候選術(shù)語的主題重要性值如公式（5）所示。其中，邊權(quán)重 定義為兩個候選術(shù)語在固定窗口大小中的共現(xiàn)次數(shù)。

（5）

Zhao等人的方法[7]McTPR認(rèn)為與主題背景知識無關(guān)的傳播會導(dǎo)致重要性值偏離主題，因而，基于MTPR的工作，進(jìn)一步在邊權(quán)重的設(shè)置上用與主題相關(guān)的背景知識建模重要性值傳播，如公式（6）所示。其中，邊權(quán)重 定義為兩個候選術(shù)語在同屬于主題z的微博中共現(xiàn)的次數(shù)。

（6）

受到前人相關(guān)工作的啟發(fā)，研究認(rèn)為在PageRank算法的邊權(quán)重中融入主題信息能夠?qū)鹘y(tǒng)的隨機(jī)游走分解成多個主題相關(guān)的隨機(jī)游走，考慮到社會化標(biāo)簽豐富的顯式和隱式關(guān)聯(lián)特性，文中提出MeTPR方法，通過新穎的邊權(quán)重如公式（7）所示，進(jìn)一步改進(jìn)主題相關(guān)的隨機(jī)游走方法。

（7）

其中，權(quán)重因子ρ控制公式（2）表示的局部語義相似度和公式（3）表示的全局語義相似度兩者的比重。通過新的邊權(quán)重，主題術(shù)語的重要性傳播不僅反映出兩個術(shù)語在具體主題下資源組織結(jié)構(gòu)上的局部共現(xiàn)信息，還反映出兩個術(shù)語在所有主題下整個資源集合上的全局語義相似度。相應(yīng)地，將公式（7）代入公式（6），迭代運行MeTPR直到收斂，得到為每個術(shù)語計算的主題相關(guān)的重要性值。最終，排序靠前的術(shù)語被抽取出來作為主題核心術(shù)語。

2 實驗及分析

2.1 實驗設(shè)置

研究從豆瓣電影網(wǎng)站收集實驗所需的數(shù)據(jù)，豆瓣電影是一個流行的中文社交網(wǎng)站，允許注冊用戶提交與電影相關(guān)的信息，并與他人分享。實驗獲取截止到2012年6月，豆瓣電影網(wǎng)站用戶對豆瓣Top250的電影打出的標(biāo)簽信息，共計1760個標(biāo)簽。經(jīng)過去除停用詞和噪聲等預(yù)處理，最終獲得1 737個標(biāo)簽作為候選術(shù)語。根據(jù)數(shù)據(jù)集的規(guī)模和人工經(jīng)驗的判斷，實驗中嘗試10到100之間不同主題數(shù)目的設(shè)置學(xué)習(xí)LDA模型，并最終選擇將初始主題數(shù)目設(shè)定為40。然后，隨即運行LDA算法，并每隔1 000次迭代進(jìn)行Gibbs取樣一次。接著，在同樣的數(shù)據(jù)集上將我們的方法與前人相關(guān)工作做比較。

（1）MTPR 代表Liu等人的方法[6]，邊權(quán)重計算為兩個候選術(shù)語在同一個資源中共現(xiàn)的數(shù)目 ，偏好值通過公式（1）得到，候選術(shù)語對于不同主題的重要性通過迭代地運行公式（5）直到收斂后得到。

（2）McTPR 代表Zhao等人的方法[7]，邊權(quán)重計算為兩個候選術(shù)語在同一個資源中共現(xiàn)并且屬于同一個主題的數(shù)目 ，偏好值通過公式（1）計算得到，候選術(shù)語對于不同主題的重要性通過迭代地運行公式（6）直到收斂后得到。

（3）MeTPR 代表本文提出的方法，邊權(quán)重和偏好值分別通過公式（7）和（1）計算得到，候選術(shù)語對于不同主題的重要性通過迭代地運行公式（6）直到收斂后得到。

研究中，終止運行上述方法的條件是僅當(dāng)?shù)螖?shù)達(dá)到100或者候選術(shù)語在相鄰兩次迭代中的重要性值差異小于0.000 001。有三個參數(shù)影響主題核心術(shù)語抽取方法，包括（1）衰減因子λ，用于對比方法中調(diào)節(jié)重要性傳播通過出度邊跳轉(zhuǎn)到相鄰候選術(shù)語（公式（5），（6）中的第一項）和隨機(jī)跳轉(zhuǎn)到任意候選術(shù)語（公式（5），（6）中的第二項）之間的比重。（2）權(quán)重因子ρ，在MeTPR中應(yīng)用于邊權(quán)重（公式（7）），用于控制兩個候選術(shù)語之間的關(guān)于具體主題的局部共現(xiàn)和所有主題的全局語義相似度之間的比重。（3）閾值Q。當(dāng)把Q應(yīng)用于MTPR，McTPR，MeTPR三種方法時，如果兩個候選術(shù)語之間的全局語義相似度小于Q，有針對地將移除這對術(shù)語之間的邊。并且分別設(shè)定參數(shù)λ，ρ，Q的取值范圍為從0.1到0.9，步長為0.1，這樣每個參數(shù)就有9種候選取值。經(jīng)過三個參數(shù)的排列組合，相應(yīng)地就分別得到以上對比方法的729組實驗結(jié)果。

2.2 評價標(biāo)準(zhǔn)

評價標(biāo)準(zhǔn)通過Pooling方法[8]構(gòu)建完成。首先，社會化標(biāo)簽中不存在主題核心術(shù)語抽取的黃金標(biāo)準(zhǔn)；第二，人工識別出所有主題，并判斷主題核心術(shù)語是不可能完成的任務(wù)。為此隨機(jī)混合對比方法MTPR，McTPR，MeTPR的所有實驗結(jié)果，并要求兩個標(biāo)注者獨立標(biāo)注。如果抽取結(jié)果中給出的是與具體主題相關(guān)的、較為抽象的、具有代表性的候選術(shù)語，就標(biāo)注為1；否則，如果抽取結(jié)果中給出的是與具體主題不相關(guān)的，或者缺乏代表性、太過于具體的候選術(shù)語，就標(biāo)注為0。僅當(dāng)兩個標(biāo)注者都標(biāo)注為1的候選術(shù)語才被認(rèn)為是正確的主題核心術(shù)語，其他情況的候選術(shù)語均被認(rèn)為是錯誤的結(jié)果。以“致我們終將逝去的青春”為例，對于這部電影和同類型的其他相關(guān)電影所屬的主題來說，正確的主題核心術(shù)語可能是“青春”、“校園”、“愛情”等，而“2013”（上映時間）和有關(guān)電影具體屬性的其他候選術(shù)語，如導(dǎo)演、演員等，在本文任務(wù)的評價中均應(yīng)被標(biāo)注為0。最終，將兩個標(biāo)注者共同認(rèn)可的主題核心術(shù)語集合作為基于邊權(quán)重的主題核心術(shù)語抽取任務(wù)評價的黃金標(biāo)準(zhǔn)（Kappa值為0.95）。

研究對主題核心術(shù)語抽取任務(wù)的評價策略包括經(jīng)典的精確率（Precision）、召回率（Recall）、F1值（F1）（見公式（8）），以及兩個考慮順序的評價策略包括平均準(zhǔn)確率（MAP：Mean Average Precision）（見公式（9））和平均排序倒數(shù)（MRR：Mean Reciprocal Rank）（見公式（10））。

（8）

其中， 代表通過某種方法抽取的正確主題核心術(shù)語的數(shù)目， 代表通過某種方法自動抽取的主題核心術(shù)語的總數(shù)， 代表根據(jù)黃金標(biāo)準(zhǔn)得到的主題核心術(shù)語的總數(shù)。這些評價策略均對所有主題求平均值。

進(jìn)一步地，研究使用平均準(zhǔn)確率（MAP）[7]來評價主題核心術(shù)語抽取的整體性能，如公式（9）所示。

（9）

其中，Z是主題集合。I（S）是一個示函數(shù)，當(dāng)S為真時返回1，否則返回0。Mz，j代表對于主題z，通過方法M產(chǎn)生的第j個候選術(shù)語，score（.）是兩個人工標(biāo)注結(jié)果的平均值。Mz代表對于主題z，通過方法M產(chǎn)生的所有候選術(shù)語。NM，z，j代表對于主題z，通過方法M返回前j個候選術(shù)語中正確的主題核心術(shù)語的數(shù)目，Nz代表對于主題z，根據(jù)黃金標(biāo)準(zhǔn)得到正確的主題核心術(shù)語的總數(shù)。

平均排序倒數(shù)（MRR）[9]，如公式（10）所示，用于評價對于每個主題來說第一個正確的主題核心術(shù)語所在的排序。對于主題z，rankz代表第一個正確的主題核心術(shù)語返回的位置。

（10）

2.3 與前人工作的對比

研究通過對影響方法性能的三個參數(shù)的窮舉獲取最優(yōu)參數(shù)組合，得出提出的方法MeTPR與對比方法MTPR，McTPR在五項評價指標(biāo)上的最優(yōu)性能對比。如表1所示，本文提出的方法MeTPR在準(zhǔn)確率上獲得較大提升，比MTPR、McTPR兩種對比方法分別提升8.3%、7.5%。在召回率、F1值、MRR、MAP四項評價指標(biāo)上，MeTPR相對于其他兩種對比方法的提升均超過3.3%。由于邊權(quán)重的設(shè)置結(jié)合具體主題的局部共現(xiàn)信息和所有主題的全局語義相似度，MeTPR整體性能最好。McTPR由于在邊權(quán)重的傳播中考慮主題背景知識，性能好于在邊權(quán)重中僅考慮候選術(shù)語共現(xiàn)次數(shù)的MTPR。但是，LDA算法對于初始主題數(shù)的設(shè)置，可能會給后續(xù)多個彼此獨立的主題相關(guān)的隨機(jī)游走帶來不可避免的錯誤，因此未來需要考慮新的途徑來改善這類核心術(shù)語抽取方法。

表1 與前人工作的性能對比（t-test，p-value < 0.0001）

Tab.1 Performance comparison with state-of-the-art methods （t-test，p-value < 0.0001）

對比方法 Precision Recall F1 MRR MAP

MTPR 0.617 0.404 0.488 0.670 0.405

McTPR 0.625 0.406 0.492 0.675 0.407

MeTPR 0.700 0.440 0.540 0.713 0.440

3 結(jié)束語

本文針對從社會化標(biāo)簽中抽取主題核心術(shù)語的任務(wù)，提出基于邊權(quán)重的主題核心術(shù)語抽取方法。從社會化標(biāo)簽豐富的關(guān)聯(lián)特性出發(fā)，提出結(jié)合具體主題的局部共現(xiàn)信息和所有主題的全局語義相似度共同構(gòu)成的邊權(quán)重。進(jìn)而，通過新穎的邊權(quán)重將傳統(tǒng)PageRank的隨機(jī)游走分解成多個主題相關(guān)的隨機(jī)游走，經(jīng)過候選術(shù)語的重要性傳播，排序抽取出主題核心術(shù)語。在豆瓣電影數(shù)據(jù)集上的實驗結(jié)果驗證了所提出方法的有效性和健壯性。未來工作，將會通過探索更多社會化標(biāo)簽的數(shù)據(jù)源，同時結(jié)合對基于邊權(quán)重的主題核心術(shù)語抽取方法的改進(jìn)，進(jìn)一步提高主題核心術(shù)語抽取的性能。

參考文獻(xiàn)：

[1] CUI G， LU Q， LI W， et al. Automatic acquisition of attributes for ontology construction[C]//the 22nd International Conference，Hong Kong：ICCPOL，2009：248-259.

[2] LIU X， SONG Y， LIUiu S， et al. Automatic taxonomy construction from keywords[C]//Proceedings of the 18th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining，New York，NY，USA：ACM，2012：1433-1441.

[3] TRANT J. Studying social tagging and folksonomy： A review and framework [J]. Journal of Digital Information，2009，10（1）：1-42.

[4] Page L， Brin S， Motwani R， et al. The Pagerank Citation Ranking： Bringing Order to the Web[R]. Stanford：Stanford Digital Library Technologies Project，1999：1-17.

[5] BLEI D M， NG A Y， JORDAN M I. Latent Dirichlet allocation[J]. Journal of Machine Learning Research，2003（3）：993-1022.

[6] LIU Z Y， HUANG W Y， ZHENG Y B， et al. Automatic keyphrase extraction via topic decomposition[C]// Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing，Association for Computational Linguistics，Stroudsburg，PA，USA：ACL，2010：366-376.

[7] ZHAO X， JIANG J， HE J， et al. Topical keyphrase extraction from twitter[C]. Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics： Human Language Technologies，Portland，OR，United states：ACL，2011：379-388.

[8] Voorhees E， Harman D， Standards N I， et al. TREC： Experiment and Evaluation in Information Retrieval[M]. Cambridge： MIT press，Boston，2005：1-567.

[9] VOORHEES E M. The TREC-8 question answering track report[C]//Proceedings of TREC， Gaithersburg，Maryland：NIST，1999：77-82.