葉翔

摘要：伴隨著經(jīng)濟的發(fā)展，科學(xué)技術(shù)取得了飛速發(fā)展，互聯(lián)網(wǎng)在各行各業(yè)的發(fā)展建設(shè)中取得了廣泛的應(yīng)用。隨著市場經(jīng)濟的變革，消費者、企業(yè)和各個經(jīng)濟領(lǐng)域采取多種措施發(fā)掘大數(shù)據(jù)的潛力，隨著改革浪潮的逼近，大數(shù)據(jù)技術(shù)取得了廣泛的研究和應(yīng)用。筆者結(jié)合多年工作經(jīng)驗，從大數(shù)據(jù)的含義及特征著手，對大數(shù)據(jù)時代基于統(tǒng)計特征的情報關(guān)鍵詞提取方法做了簡單介紹。

關(guān)鍵詞：大數(shù)據(jù) 統(tǒng)計特征 情報關(guān)鍵詞 關(guān)鍵詞提取 方法

1 大數(shù)據(jù)的含義及特征

大數(shù)據(jù)即人們常說的非結(jié)構(gòu)化數(shù)據(jù)，它借助計算機網(wǎng)絡(luò)，可以存儲大量數(shù)據(jù)，并保證數(shù)據(jù)的真實性。體量、速度和多樣性是大數(shù)據(jù)定義中的關(guān)鍵內(nèi)容。其基本特征主要有：第一，大數(shù)據(jù)數(shù)據(jù)總量增長規(guī)模非常大。同種類型的數(shù)據(jù)在傳輸過程中處于快速增長狀態(tài)。第二，數(shù)據(jù)增長的速度非常快，以指數(shù)級持續(xù)增長模式為主。第三，新的數(shù)據(jù)來源渠道越來越多，新的數(shù)據(jù)類型也不斷豐富。第四，大數(shù)據(jù)的價值不斷上漲，大數(shù)據(jù)可以為企業(yè)發(fā)展帶來更多商機，是現(xiàn)代企業(yè)發(fā)展過程中必不可少的內(nèi)容。

2 相關(guān)研究現(xiàn)狀及存在的問題

情報關(guān)鍵詞是表述某個文件或者論文中重要內(nèi)容的詞語。本文中介紹的大數(shù)據(jù)時代基于統(tǒng)計特征的情報關(guān)鍵詞是指以網(wǎng)頁為主的關(guān)鍵內(nèi)容，提取關(guān)鍵詞的主要目的是分析語義和對核心詞語進行統(tǒng)計。網(wǎng)頁關(guān)鍵詞在自動摘要、信息檢索以及自動問答等形式中都存在較多不確定因素，導(dǎo)致大數(shù)據(jù)時代基于統(tǒng)計特征的情報關(guān)鍵詞提取方法問題重重。

3 大數(shù)據(jù)時代基于統(tǒng)計特征的情報關(guān)鍵詞提取方法

3.1 關(guān)鍵詞提取方法的分類 關(guān)鍵詞提取方法分四類：第一，基于語義的方法。以詞典為依據(jù)，對詞和句子進行分析，對詞和句子進行分類標注，滿足計算機對多重信息片段的實際需求，通過計算獲得情報關(guān)鍵詞。第二，基于機器學(xué)習(xí)的方法。利用機器對訓(xùn)練語料庫進行訓(xùn)練，結(jié)合各項系數(shù)的實際狀況，確立相關(guān)的參數(shù)、建立準確的模型。第三，基于復(fù)雜網(wǎng)絡(luò)的方法。明確候選特征詞之間的關(guān)系，以既定的規(guī)則為出發(fā)點，構(gòu)建一個復(fù)雜網(wǎng)絡(luò)，通過相關(guān)數(shù)據(jù)計算出節(jié)點權(quán)重系數(shù)和介數(shù)，最大的綜合值即為關(guān)鍵詞。第四，基于統(tǒng)計的方法。詞語具有相關(guān)統(tǒng)計信息，以統(tǒng)計信息為基礎(chǔ)，提取相關(guān)關(guān)鍵詞。

3.2 關(guān)鍵詞提取方法的構(gòu)造

3.2.1 中文詞語的特征及自動分詞。中文詞語通常由兩個或者兩個以上的漢字組成，句子具有連續(xù)性，要求研究人員利用大數(shù)據(jù)對中文句子進行分析之前，將句子劃分為若干小部分。目前已經(jīng)有自動標注詞性的系統(tǒng)，可以自動過濾詞和通用詞語。

3.2.2 網(wǎng)頁文本的結(jié)構(gòu)特征及詞語統(tǒng)計特征。MTML是一種標記語言，該標記語言的證書的目的是描述網(wǎng)頁文檔內(nèi)容，以成對的標記符號為依據(jù)，明確顯示網(wǎng)頁的各個部分。詞語統(tǒng)計的特征主要有：如果某篇文章中某個詞語出現(xiàn)的頻率比較高，在其他文本中出現(xiàn)的頻率偏低，那么，這個詞語即可作為候選關(guān)鍵詞；同一詞語在不同標記符號中對文章內(nèi)容的反映結(jié)果不一樣，也就是說詞語出現(xiàn)的位置對關(guān)鍵詞的選擇有至關(guān)重要的作用。

3.2.3 詞語過濾。文本中通常會存在大量噪聲詞。噪聲詞與文章的內(nèi)容聯(lián)系不大，噪聲詞在文本中和文本集合中出現(xiàn)的頻率均比較高，噪聲詞通過詞頻和文本頻率乘積的離散系數(shù)自動過濾。不同內(nèi)容的文本長度不一樣，噪聲詞在文本中出現(xiàn)的頻率數(shù)受文本長度的影響，離散系數(shù)是指某個詞語在文本中的波動程度，詞語的離散系數(shù)與該次在文本中出現(xiàn)的穩(wěn)定性成正比，也就是說，離散系數(shù)越大，該次在文本中的穩(wěn)定性越差。

3.2.4 中文關(guān)鍵詞提取流程圖。本文以TfDf指標為依據(jù)，采用離散系數(shù)的方法將文本中存在的噪聲詞過濾除去，對候選關(guān)鍵詞共現(xiàn)概率分布進行分析。確定TFIDF和候選關(guān)鍵詞的位置信息，以TFIDF-SK為計算方法，以函數(shù)TFIDF-SK值作為關(guān)鍵詞重要性的衡量標準。TFIDF-SK算法系統(tǒng)流程圖如圖1所示。

■

圖1 TFIDF-SK算法系統(tǒng)流程圖

TFIDF-SK算法將輸入文本集合進行處理，處理工作中必須將文本集合中的噪聲詞過濾除去，做好詞語統(tǒng)計特征；將收集到的信息計入特征計算模塊，該模塊的主要功能是計算TFIDF值、詞語位置信息和偏度；進入關(guān)鍵詞重要性衡量模塊，計算出TFIDF-SK值；判斷關(guān)鍵詞重要性度量大小，輸出文本中的情報關(guān)鍵詞。

4 結(jié)束語

目前，國內(nèi)外對大數(shù)據(jù)時代基于統(tǒng)計特征的情報關(guān)鍵詞的提取方法均有統(tǒng)一評價，在實際發(fā)展過程中強化統(tǒng)計特征情報關(guān)鍵詞的提取方法顯得尤為重要。因此，研究人員必須在了解大數(shù)據(jù)含義及特征的前提下，針對大數(shù)據(jù)時代基于情報關(guān)鍵詞提取方法存在的問題，對相關(guān)方法進行深入研究，保障情報關(guān)鍵詞的穩(wěn)定性。

參考文獻：

[1]羅繁明，楊海深.大數(shù)據(jù)時代基于統(tǒng)計特征的情報關(guān)鍵詞提取方法[J].情報資料工作，2013.

[2]蔣昌金.基于關(guān)鍵詞提取的中文網(wǎng)頁自動文摘方法研究[D].華南理工大學(xué)，2010.

[3]王立霞，淮曉永.基于語義的中文文本關(guān)鍵詞提取算法[J].計算機工程，2012.endprint

摘要：伴隨著經(jīng)濟的發(fā)展，科學(xué)技術(shù)取得了飛速發(fā)展，互聯(lián)網(wǎng)在各行各業(yè)的發(fā)展建設(shè)中取得了廣泛的應(yīng)用。隨著市場經(jīng)濟的變革，消費者、企業(yè)和各個經(jīng)濟領(lǐng)域采取多種措施發(fā)掘大數(shù)據(jù)的潛力，隨著改革浪潮的逼近，大數(shù)據(jù)技術(shù)取得了廣泛的研究和應(yīng)用。筆者結(jié)合多年工作經(jīng)驗，從大數(shù)據(jù)的含義及特征著手，對大數(shù)據(jù)時代基于統(tǒng)計特征的情報關(guān)鍵詞提取方法做了簡單介紹。

關(guān)鍵詞：大數(shù)據(jù) 統(tǒng)計特征 情報關(guān)鍵詞 關(guān)鍵詞提取 方法

1 大數(shù)據(jù)的含義及特征

大數(shù)據(jù)即人們常說的非結(jié)構(gòu)化數(shù)據(jù)，它借助計算機網(wǎng)絡(luò)，可以存儲大量數(shù)據(jù)，并保證數(shù)據(jù)的真實性。體量、速度和多樣性是大數(shù)據(jù)定義中的關(guān)鍵內(nèi)容。其基本特征主要有：第一，大數(shù)據(jù)數(shù)據(jù)總量增長規(guī)模非常大。同種類型的數(shù)據(jù)在傳輸過程中處于快速增長狀態(tài)。第二，數(shù)據(jù)增長的速度非?？欤灾笖?shù)級持續(xù)增長模式為主。第三，新的數(shù)據(jù)來源渠道越來越多，新的數(shù)據(jù)類型也不斷豐富。第四，大數(shù)據(jù)的價值不斷上漲，大數(shù)據(jù)可以為企業(yè)發(fā)展帶來更多商機，是現(xiàn)代企業(yè)發(fā)展過程中必不可少的內(nèi)容。

2 相關(guān)研究現(xiàn)狀及存在的問題

情報關(guān)鍵詞是表述某個文件或者論文中重要內(nèi)容的詞語。本文中介紹的大數(shù)據(jù)時代基于統(tǒng)計特征的情報關(guān)鍵詞是指以網(wǎng)頁為主的關(guān)鍵內(nèi)容，提取關(guān)鍵詞的主要目的是分析語義和對核心詞語進行統(tǒng)計。網(wǎng)頁關(guān)鍵詞在自動摘要、信息檢索以及自動問答等形式中都存在較多不確定因素，導(dǎo)致大數(shù)據(jù)時代基于統(tǒng)計特征的情報關(guān)鍵詞提取方法問題重重。

3 大數(shù)據(jù)時代基于統(tǒng)計特征的情報關(guān)鍵詞提取方法

3.1 關(guān)鍵詞提取方法的分類 關(guān)鍵詞提取方法分四類：第一，基于語義的方法。以詞典為依據(jù)，對詞和句子進行分析，對詞和句子進行分類標注，滿足計算機對多重信息片段的實際需求，通過計算獲得情報關(guān)鍵詞。第二，基于機器學(xué)習(xí)的方法。利用機器對訓(xùn)練語料庫進行訓(xùn)練，結(jié)合各項系數(shù)的實際狀況，確立相關(guān)的參數(shù)、建立準確的模型。第三，基于復(fù)雜網(wǎng)絡(luò)的方法。明確候選特征詞之間的關(guān)系，以既定的規(guī)則為出發(fā)點，構(gòu)建一個復(fù)雜網(wǎng)絡(luò)，通過相關(guān)數(shù)據(jù)計算出節(jié)點權(quán)重系數(shù)和介數(shù)，最大的綜合值即為關(guān)鍵詞。第四，基于統(tǒng)計的方法。詞語具有相關(guān)統(tǒng)計信息，以統(tǒng)計信息為基礎(chǔ)，提取相關(guān)關(guān)鍵詞。

3.2 關(guān)鍵詞提取方法的構(gòu)造

3.2.1 中文詞語的特征及自動分詞。中文詞語通常由兩個或者兩個以上的漢字組成，句子具有連續(xù)性，要求研究人員利用大數(shù)據(jù)對中文句子進行分析之前，將句子劃分為若干小部分。目前已經(jīng)有自動標注詞性的系統(tǒng)，可以自動過濾詞和通用詞語。

3.2.2 網(wǎng)頁文本的結(jié)構(gòu)特征及詞語統(tǒng)計特征。MTML是一種標記語言，該標記語言的證書的目的是描述網(wǎng)頁文檔內(nèi)容，以成對的標記符號為依據(jù)，明確顯示網(wǎng)頁的各個部分。詞語統(tǒng)計的特征主要有：如果某篇文章中某個詞語出現(xiàn)的頻率比較高，在其他文本中出現(xiàn)的頻率偏低，那么，這個詞語即可作為候選關(guān)鍵詞；同一詞語在不同標記符號中對文章內(nèi)容的反映結(jié)果不一樣，也就是說詞語出現(xiàn)的位置對關(guān)鍵詞的選擇有至關(guān)重要的作用。

3.2.3 詞語過濾。文本中通常會存在大量噪聲詞。噪聲詞與文章的內(nèi)容聯(lián)系不大，噪聲詞在文本中和文本集合中出現(xiàn)的頻率均比較高，噪聲詞通過詞頻和文本頻率乘積的離散系數(shù)自動過濾。不同內(nèi)容的文本長度不一樣，噪聲詞在文本中出現(xiàn)的頻率數(shù)受文本長度的影響，離散系數(shù)是指某個詞語在文本中的波動程度，詞語的離散系數(shù)與該次在文本中出現(xiàn)的穩(wěn)定性成正比，也就是說，離散系數(shù)越大，該次在文本中的穩(wěn)定性越差。

3.2.4 中文關(guān)鍵詞提取流程圖。本文以TfDf指標為依據(jù)，采用離散系數(shù)的方法將文本中存在的噪聲詞過濾除去，對候選關(guān)鍵詞共現(xiàn)概率分布進行分析。確定TFIDF和候選關(guān)鍵詞的位置信息，以TFIDF-SK為計算方法，以函數(shù)TFIDF-SK值作為關(guān)鍵詞重要性的衡量標準。TFIDF-SK算法系統(tǒng)流程圖如圖1所示。

■

圖1 TFIDF-SK算法系統(tǒng)流程圖

TFIDF-SK算法將輸入文本集合進行處理，處理工作中必須將文本集合中的噪聲詞過濾除去，做好詞語統(tǒng)計特征；將收集到的信息計入特征計算模塊，該模塊的主要功能是計算TFIDF值、詞語位置信息和偏度；進入關(guān)鍵詞重要性衡量模塊，計算出TFIDF-SK值；判斷關(guān)鍵詞重要性度量大小，輸出文本中的情報關(guān)鍵詞。

4 結(jié)束語

目前，國內(nèi)外對大數(shù)據(jù)時代基于統(tǒng)計特征的情報關(guān)鍵詞的提取方法均有統(tǒng)一評價，在實際發(fā)展過程中強化統(tǒng)計特征情報關(guān)鍵詞的提取方法顯得尤為重要。因此，研究人員必須在了解大數(shù)據(jù)含義及特征的前提下，針對大數(shù)據(jù)時代基于情報關(guān)鍵詞提取方法存在的問題，對相關(guān)方法進行深入研究，保障情報關(guān)鍵詞的穩(wěn)定性。

參考文獻：

[1]羅繁明，楊海深.大數(shù)據(jù)時代基于統(tǒng)計特征的情報關(guān)鍵詞提取方法[J].情報資料工作，2013.

[2]蔣昌金.基于關(guān)鍵詞提取的中文網(wǎng)頁自動文摘方法研究[D].華南理工大學(xué)，2010.

[3]王立霞，淮曉永.基于語義的中文文本關(guān)鍵詞提取算法[J].計算機工程，2012.endprint

摘要：伴隨著經(jīng)濟的發(fā)展，科學(xué)技術(shù)取得了飛速發(fā)展，互聯(lián)網(wǎng)在各行各業(yè)的發(fā)展建設(shè)中取得了廣泛的應(yīng)用。隨著市場經(jīng)濟的變革，消費者、企業(yè)和各個經(jīng)濟領(lǐng)域采取多種措施發(fā)掘大數(shù)據(jù)的潛力，隨著改革浪潮的逼近，大數(shù)據(jù)技術(shù)取得了廣泛的研究和應(yīng)用。筆者結(jié)合多年工作經(jīng)驗，從大數(shù)據(jù)的含義及特征著手，對大數(shù)據(jù)時代基于統(tǒng)計特征的情報關(guān)鍵詞提取方法做了簡單介紹。

關(guān)鍵詞：大數(shù)據(jù) 統(tǒng)計特征 情報關(guān)鍵詞 關(guān)鍵詞提取 方法

1 大數(shù)據(jù)的含義及特征

大數(shù)據(jù)即人們常說的非結(jié)構(gòu)化數(shù)據(jù)，它借助計算機網(wǎng)絡(luò)，可以存儲大量數(shù)據(jù)，并保證數(shù)據(jù)的真實性。體量、速度和多樣性是大數(shù)據(jù)定義中的關(guān)鍵內(nèi)容。其基本特征主要有：第一，大數(shù)據(jù)數(shù)據(jù)總量增長規(guī)模非常大。同種類型的數(shù)據(jù)在傳輸過程中處于快速增長狀態(tài)。第二，數(shù)據(jù)增長的速度非?？?，以指數(shù)級持續(xù)增長模式為主。第三，新的數(shù)據(jù)來源渠道越來越多，新的數(shù)據(jù)類型也不斷豐富。第四，大數(shù)據(jù)的價值不斷上漲，大數(shù)據(jù)可以為企業(yè)發(fā)展帶來更多商機，是現(xiàn)代企業(yè)發(fā)展過程中必不可少的內(nèi)容。

2 相關(guān)研究現(xiàn)狀及存在的問題

情報關(guān)鍵詞是表述某個文件或者論文中重要內(nèi)容的詞語。本文中介紹的大數(shù)據(jù)時代基于統(tǒng)計特征的情報關(guān)鍵詞是指以網(wǎng)頁為主的關(guān)鍵內(nèi)容，提取關(guān)鍵詞的主要目的是分析語義和對核心詞語進行統(tǒng)計。網(wǎng)頁關(guān)鍵詞在自動摘要、信息檢索以及自動問答等形式中都存在較多不確定因素，導(dǎo)致大數(shù)據(jù)時代基于統(tǒng)計特征的情報關(guān)鍵詞提取方法問題重重。

3 大數(shù)據(jù)時代基于統(tǒng)計特征的情報關(guān)鍵詞提取方法

3.1 關(guān)鍵詞提取方法的分類 關(guān)鍵詞提取方法分四類：第一，基于語義的方法。以詞典為依據(jù)，對詞和句子進行分析，對詞和句子進行分類標注，滿足計算機對多重信息片段的實際需求，通過計算獲得情報關(guān)鍵詞。第二，基于機器學(xué)習(xí)的方法。利用機器對訓(xùn)練語料庫進行訓(xùn)練，結(jié)合各項系數(shù)的實際狀況，確立相關(guān)的參數(shù)、建立準確的模型。第三，基于復(fù)雜網(wǎng)絡(luò)的方法。明確候選特征詞之間的關(guān)系，以既定的規(guī)則為出發(fā)點，構(gòu)建一個復(fù)雜網(wǎng)絡(luò)，通過相關(guān)數(shù)據(jù)計算出節(jié)點權(quán)重系數(shù)和介數(shù)，最大的綜合值即為關(guān)鍵詞。第四，基于統(tǒng)計的方法。詞語具有相關(guān)統(tǒng)計信息，以統(tǒng)計信息為基礎(chǔ)，提取相關(guān)關(guān)鍵詞。

3.2 關(guān)鍵詞提取方法的構(gòu)造

3.2.1 中文詞語的特征及自動分詞。中文詞語通常由兩個或者兩個以上的漢字組成，句子具有連續(xù)性，要求研究人員利用大數(shù)據(jù)對中文句子進行分析之前，將句子劃分為若干小部分。目前已經(jīng)有自動標注詞性的系統(tǒng)，可以自動過濾詞和通用詞語。

3.2.2 網(wǎng)頁文本的結(jié)構(gòu)特征及詞語統(tǒng)計特征。MTML是一種標記語言，該標記語言的證書的目的是描述網(wǎng)頁文檔內(nèi)容，以成對的標記符號為依據(jù)，明確顯示網(wǎng)頁的各個部分。詞語統(tǒng)計的特征主要有：如果某篇文章中某個詞語出現(xiàn)的頻率比較高，在其他文本中出現(xiàn)的頻率偏低，那么，這個詞語即可作為候選關(guān)鍵詞；同一詞語在不同標記符號中對文章內(nèi)容的反映結(jié)果不一樣，也就是說詞語出現(xiàn)的位置對關(guān)鍵詞的選擇有至關(guān)重要的作用。

3.2.3 詞語過濾。文本中通常會存在大量噪聲詞。噪聲詞與文章的內(nèi)容聯(lián)系不大，噪聲詞在文本中和文本集合中出現(xiàn)的頻率均比較高，噪聲詞通過詞頻和文本頻率乘積的離散系數(shù)自動過濾。不同內(nèi)容的文本長度不一樣，噪聲詞在文本中出現(xiàn)的頻率數(shù)受文本長度的影響，離散系數(shù)是指某個詞語在文本中的波動程度，詞語的離散系數(shù)與該次在文本中出現(xiàn)的穩(wěn)定性成正比，也就是說，離散系數(shù)越大，該次在文本中的穩(wěn)定性越差。

3.2.4 中文關(guān)鍵詞提取流程圖。本文以TfDf指標為依據(jù)，采用離散系數(shù)的方法將文本中存在的噪聲詞過濾除去，對候選關(guān)鍵詞共現(xiàn)概率分布進行分析。確定TFIDF和候選關(guān)鍵詞的位置信息，以TFIDF-SK為計算方法，以函數(shù)TFIDF-SK值作為關(guān)鍵詞重要性的衡量標準。TFIDF-SK算法系統(tǒng)流程圖如圖1所示。

■

圖1 TFIDF-SK算法系統(tǒng)流程圖

TFIDF-SK算法將輸入文本集合進行處理，處理工作中必須將文本集合中的噪聲詞過濾除去，做好詞語統(tǒng)計特征；將收集到的信息計入特征計算模塊，該模塊的主要功能是計算TFIDF值、詞語位置信息和偏度；進入關(guān)鍵詞重要性衡量模塊，計算出TFIDF-SK值；判斷關(guān)鍵詞重要性度量大小，輸出文本中的情報關(guān)鍵詞。

4 結(jié)束語

目前，國內(nèi)外對大數(shù)據(jù)時代基于統(tǒng)計特征的情報關(guān)鍵詞的提取方法均有統(tǒng)一評價，在實際發(fā)展過程中強化統(tǒng)計特征情報關(guān)鍵詞的提取方法顯得尤為重要。因此，研究人員必須在了解大數(shù)據(jù)含義及特征的前提下，針對大數(shù)據(jù)時代基于情報關(guān)鍵詞提取方法存在的問題，對相關(guān)方法進行深入研究，保障情報關(guān)鍵詞的穩(wěn)定性。

參考文獻：

[1]羅繁明，楊海深.大數(shù)據(jù)時代基于統(tǒng)計特征的情報關(guān)鍵詞提取方法[J].情報資料工作，2013.

[2]蔣昌金.基于關(guān)鍵詞提取的中文網(wǎng)頁自動文摘方法研究[D].華南理工大學(xué)，2010.

[3]王立霞，淮曉永.基于語義的中文文本關(guān)鍵詞提取算法[J].計算機工程，2012.endprint