張忠敏 吳勝利

摘? 要：對(duì)支持檢索結(jié)果多樣化任務(wù)的查詢性能預(yù)測(cè)進(jìn)行了研究。分析了現(xiàn)有性能預(yù)測(cè)算法的不足，考慮利用不同方式衡量最終檢索結(jié)果列表的多樣性，并在此基礎(chǔ)上提出同時(shí)考察查詢結(jié)果的相關(guān)性性能與多樣性性能的三種方法。采用TREC ClueWeb09B數(shù)據(jù)集、Web Track任務(wù)的查詢集及開源的Indri搜索引擎構(gòu)建實(shí)驗(yàn)平臺(tái)并進(jìn)行實(shí)驗(yàn)?；赟pearman、Pearson和Kendall相關(guān)系數(shù)的評(píng)價(jià)結(jié)果表明，所提出的三種方法與傳統(tǒng)方法相比更適用于預(yù)測(cè)多樣化檢索結(jié)果，且在不同條件下性能穩(wěn)定。

關(guān)鍵詞：信息檢索;查詢性能預(yù)測(cè);檢索結(jié)果多樣化

中圖分類號(hào)：TP391.3? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

Query Performance Prediction for Search Result?Diversification in Information Retrieval

ZHANG Zhongmin，WU Shengli

（Jiangsu University，Zhenjiang 212013，China）

Abstract：Query performance prediction in supporting of the task of retrieval results diversification is studied.This paper analyses the shortcomings of the existing performance prediction algorithms，considers using different ways to measure the diversity of the final search results list，and proposes three methods to simultaneously examine the relevance and diversity performance of the query results.TREC's ClueWeb09B dataset and query sets for the Web Track Task，and open sourced search engine Indri are used to build the experimental platform and carry out experiments.Measured by using Spearman，Pearson and Kendall correlation coefficients，the evaluation results show that the three proposed methods are more suitable for predicting diversified retrieval results than traditional methods，and have stable performance under different conditions.

Keywords：information retrieval;query performance prediction;search result diversification

1? ?引言（Introduction）

查詢性能預(yù)測(cè)，也稱為查詢困難度預(yù)測(cè)，是指在沒有相關(guān)性判斷信息的情況下，評(píng)估給定查詢對(duì)應(yīng)檢索結(jié)果的性能[1-4]。查詢性能預(yù)測(cè)技術(shù)可以輔助搜索引擎向用戶提供更穩(wěn)定的服務(wù)。從搜索引擎的角度講，搜索引擎的管理員可以收集查詢性能預(yù)測(cè)技術(shù)產(chǎn)生的信息，識(shí)別出當(dāng)下用戶檢索頻率高但性能較差的一類查詢，增加相應(yīng)的文檔數(shù)量來提高該類查詢的檢索性能，從整體上提高搜索引擎的魯棒性（Robust）[1]。從用戶的角度講，當(dāng)用戶把檢索信息需求轉(zhuǎn)化為查詢時(shí)，存在信息丟失或輸入的關(guān)鍵詞不夠具體等問題。此時(shí)查詢性能預(yù)測(cè)技術(shù)可以迅速識(shí)別這些問題，借由與用戶的交互輔助用戶構(gòu)建意義更明確的查詢，提高檢索有效性。

傳統(tǒng)意義上查詢性能預(yù)測(cè)指的是查詢的相關(guān)性性能預(yù)測(cè)。目前依然是信息檢索和WEB搜索領(lǐng)域的一項(xiàng)重要任務(wù)，已有多篇論文[1，3，5-7]對(duì)其進(jìn)行了深入研究。根據(jù)是否分析查詢的檢索結(jié)果，通常將查詢性能預(yù)測(cè)方法分為檢索前（pre-retrieval）預(yù)測(cè)方法[5，8]和檢索后（post-retrieval）預(yù)測(cè)方法[1，4，6，9]。

對(duì)于給定查詢，檢索前預(yù)測(cè)方法指在搜索引擎產(chǎn)生檢索結(jié)果前評(píng)估查詢的性能。此時(shí)可分析的信息主要有查詢?cè)~項(xiàng)在文檔集中的統(tǒng)計(jì)特征（例如倒轉(zhuǎn)文檔頻率IDF）、查詢短語的語言特征[10]等。雖然可以在檢索開始前預(yù)測(cè)查詢的性能，計(jì)算代價(jià)小且速度快，但是由于沒有分析檢索模型方面的特性，因而預(yù)測(cè)的有效性不高。檢索后預(yù)測(cè)方法是指在搜索引擎產(chǎn)生檢索結(jié)果后評(píng)估查詢的性能。此時(shí)預(yù)測(cè)方法不僅能使用查詢?cè)~項(xiàng)在文檔集中的統(tǒng)計(jì)信息和查詢自身的語言特征，還可以使用搜索引擎反饋的文檔列表信息[11，12]，例如查詢?cè)~項(xiàng)在返回文檔集中的分布、返回文檔之間的關(guān)系等。由于查詢對(duì)應(yīng)的返回文檔集包含與檢索模型算法相關(guān)的信息，檢索后預(yù)測(cè)方法可分析的數(shù)據(jù)因此更多且更可靠，從而預(yù)測(cè)更加準(zhǔn)確有效。檢索后預(yù)測(cè)方法又可以大致分為三類：基于結(jié)果列表相對(duì)于整個(gè)數(shù)據(jù)集的清晰度（Clarity）[13]，基于檢索結(jié)果的穩(wěn)定性程度（Robustness）[14]，和分析結(jié)果列表中文檔的得分分布[6，15]。

分析得分分布的預(yù)測(cè)算法在傳統(tǒng)預(yù)測(cè)任務(wù)上結(jié)果較優(yōu)。SD2[15]方法基于結(jié)果列表中文檔得分的標(biāo)準(zhǔn)方差，并且根據(jù)第一篇文檔的得分設(shè)定最低得分閾值來選擇截?cái)嘞禂?shù)k，即截取的文檔列表長(zhǎng)度。Zhou等[16]提出了一種預(yù)測(cè)方法WIG （Weighted Information Gain），該方法分析檢索結(jié)果中前k篇文檔的平均得分和整個(gè)文檔集的平均文檔得分的差值。若差值越大，說明前k篇文檔的整體得分越高，即檢索結(jié)果越有效。Shtok等[17]提出了另一種預(yù)測(cè)方法NQC（Normalized Query Commitment），該方法分析了檢索文檔列表中靠前和靠后文檔的查詢漂移程度。若檢索結(jié)果中文檔得分的梯度越明顯，則說明搜索引擎能更好地把握每篇文檔與查詢的相關(guān)度。也就是說漂移程度越小，檢索結(jié)果的質(zhì)量越高。Tao和Wu[6]提出了一種SMV（Score Magnitude and Variance）預(yù)測(cè)方法，該方法同時(shí)考慮了檢索結(jié)果中文檔分?jǐn)?shù)的大小和方差。

檢索結(jié)果多樣化是信息檢索領(lǐng)域中一項(xiàng)重要的任務(wù)，對(duì)于一些語義寬泛，解釋多樣的查詢尤為必要。一般它由兩個(gè)步驟實(shí)現(xiàn)。第一步采用傳統(tǒng)的搜索引擎進(jìn)行搜索，得到一初始的結(jié)果列表。在這一步只考慮文檔的相關(guān)性。第二步對(duì)第一步的結(jié)果列表進(jìn)行重排，這時(shí)既要考慮相關(guān)性，也要考慮多樣性。第二步重排的過程本質(zhì)上是一個(gè)雙目標(biāo)的優(yōu)化問題。一方面需要檢索與查詢相關(guān)的結(jié)果，另一方面也要盡可能地覆蓋查詢的多個(gè)方面。事實(shí)上，若將查詢q看成由一組子意圖A組成，并且初始結(jié)果列表R中每篇文檔d包含的子意圖是A的一個(gè)子集，那么問題變成對(duì)于給定的文檔數(shù)找到一個(gè)子集S滿足，子集S覆蓋查詢子意圖的程度取得最大值。該問題就成了一個(gè)最大化覆蓋問題，它是NP難解的。

相應(yīng)的，支持檢索結(jié)果多樣化任務(wù)的查詢性能預(yù)測(cè)算法需要同時(shí)考慮查詢的相關(guān)性性能和多樣化性能。亦即不僅需要考慮返回結(jié)果列表中是否包含較多的相關(guān)文檔，而且需要考慮它們對(duì)查詢不同方面的覆蓋程度。因此不同于只考慮結(jié)果列表相關(guān)性的傳統(tǒng)性能預(yù)測(cè)方法，算法需要額外考慮結(jié)果列表文檔之間的內(nèi)容冗余度和新穎性。通過實(shí)驗(yàn)得知，現(xiàn)有傳統(tǒng)的性能預(yù)測(cè)方法預(yù)測(cè)檢索結(jié)果多樣化性能的有效性不高，有必要專門研究支持結(jié)果多樣化性能的預(yù)測(cè)算法。到目前為止，尚未見到有相關(guān)的研究。因此本文的工作有較高的創(chuàng)新性。

在綜合考慮檢索結(jié)果相關(guān)性和多樣性兩方面特征的基礎(chǔ)上，本文提出三種檢索后查詢結(jié)果多樣化性能預(yù)測(cè)算法。實(shí)驗(yàn)結(jié)果表明所提的算法具有較高的可用性。

2? ?檢索結(jié)果多樣化（Search result diversification）

由于檢索結(jié)果多樣化問題的復(fù)雜性高，以往研究的多樣化算法大多基于貪心法。即對(duì)于一個(gè)模糊查詢，從初始檢索結(jié)果中迭代選擇局部最優(yōu)的文檔，產(chǎn)生重排后的結(jié)果。所選文檔應(yīng)當(dāng)最大化覆蓋與該查詢相關(guān)的各個(gè)方面，并且與已經(jīng)選擇的文檔間的相似度最小。

根據(jù)是否分析查詢意圖，現(xiàn)有的多樣化方法可分為隱式和顯式兩類。隱式多樣化方法假設(shè)相似的文檔會(huì)覆蓋相同的子意圖，因此盡可能使結(jié)果中文檔之間存有較大的差異度。這類方法的特性是，不直接分析查詢意圖，而分析文檔的相似程度。

MMR（Maximal Marginal Relevance）[18]是最早的一種隱式多樣化方法。該方法分析候選文檔與查詢之間的相關(guān)度，并計(jì)算候選文檔與已排文檔之間的相似度，降低最終文檔列表的冗余度。

區(qū)別于隱式多樣化方法，顯式多樣化方法的特性是直接獲取查詢的子意圖集合。在此基礎(chǔ)上建立目標(biāo)函數(shù)，使選擇的文檔最大化覆蓋查詢的多個(gè)子意圖。Santos和Macdonald等人[19]提出了概率框架xQuAD（Explicit Query Aspect Diversification），該框架把查詢的多個(gè)方面表示為一組子查詢集合。一方面評(píng)估文檔與查詢的相關(guān)性，另一方面考慮候選文檔覆蓋的子查詢數(shù)目，以及這些子查詢是否已被排在前面的文檔覆蓋。并用參數(shù)控制兩者之間的平衡，使得重排后的結(jié)果兼顧相關(guān)性與內(nèi)容的新穎性。

Dang和Croft等人[20]提出了PM-2顯式多樣化方法，該方法將子查詢視作參與選舉的不同黨派，主要思想類似于政黨選舉中的Sainte-Lagu?方法。該方法首先計(jì)算每個(gè)席位應(yīng)被分配的子查詢，然后選擇出一篇針對(duì)該子查詢得分最高的文檔獲得該席位。重復(fù)這一過程直至獲得重排后的結(jié)果。

本文采用三種典型的顯式多樣化方法對(duì)初始結(jié)果列表進(jìn)行重排，分別是xQuAD[19]、PM-2[20]和CombSUM。有效的多樣化方法是我們構(gòu)建實(shí)驗(yàn)平臺(tái)和測(cè)試預(yù)測(cè)算法性能必不可少的。

3? 多樣化性能預(yù)測(cè)算法（Diversified performance?prediction algorithm）

本節(jié)提出的三種多樣化預(yù)測(cè)算法，均屬于檢索后預(yù)測(cè)算法。在預(yù)測(cè)查詢多樣化性能時(shí)，分別考慮影響多樣性的不同因素，分析中間檢索結(jié)果列表蘊(yùn)涵的信息。

3.1? ?IASUM

IASUM主要從檢索結(jié)果的多樣性和新穎性兩個(gè)方面考察。多樣性衡量結(jié)果列表是否覆蓋到查詢的不同子意圖，新穎性則考慮結(jié)果列表是否過度偏向于某些特定子意圖。對(duì)特定檢索模型M與查詢q，假設(shè)不同子查詢的權(quán)重一致，IASUM算法如公式（1）所示。

本節(jié)提出的IASUM預(yù)測(cè)方法，在文檔的相關(guān)性性能方面，利用文檔排名信息度量與子查詢的相關(guān)程度。而在多樣化性能方面，考慮到每一個(gè)子查詢結(jié)果列表均對(duì)最終結(jié)果有所貢獻(xiàn)，IASUM利用懲罰因子α對(duì)隸屬同一子查詢的文檔的貢獻(xiàn)值進(jìn)行懲罰。由此可見，IASUM是一種綜合考量了相關(guān)性和多樣性的預(yù)測(cè)方法。

3.2? ?IASUM2

IASUM算法本質(zhì)上是從檢索結(jié)果列表排名信息的角度對(duì)檢索結(jié)果的多樣化性能進(jìn)行分析?？紤]到檢索結(jié)果中文檔的分?jǐn)?shù)分布也提供了有價(jià)值的信息，因此可將IASUM算法和傳統(tǒng)的預(yù)測(cè)算法（SD2[15]和WIG[16]）進(jìn)行整合，得出一種組合的多樣化性能預(yù)測(cè)算法IASUM2，如公式（2）所示。

3.3? ?IASUM3

不同于僅考慮文檔在不同列表中排名情況的IASUM方法和組合的IASUM2方法，IASUM3更加直接地分析利用了文檔的真實(shí)得分信息（經(jīng)過分?jǐn)?shù)規(guī)范化，但保留了文檔原始得分的特征）。如公式（5）所示。

公式（5）中各變量的含義與前文基本一致，不同之處在于Sun（di）的計(jì)算方式。score（di，qj）表示文檔di在子查詢qj對(duì)應(yīng)的結(jié)果列表中所得分?jǐn)?shù)，采用0-1規(guī)范化方法處理，進(jìn)而保留分?jǐn)?shù)的原始分布特征。同樣地，若文檔未出現(xiàn)則設(shè)其值為0。

4? ?實(shí)驗(yàn)（Experiment）

4.1? ?數(shù)據(jù)集

本文實(shí)驗(yàn)數(shù)據(jù)來自TREC信息檢索會(huì)議（Text Retrieval Conference）在Web Track任務(wù)中提供的Clueweb09-CategoryB英文數(shù)據(jù)集。Clueweb09數(shù)據(jù)集包含超過10億個(gè)網(wǎng)頁，規(guī)模較大。為幫助更多不同組織參與活動(dòng)，TREC為其設(shè)置了規(guī)模較小的Category B集。該數(shù)據(jù)集是Clueweb09的子集，由5000萬個(gè)網(wǎng)頁構(gòu)成。

實(shí)驗(yàn)選取來自TREC Web Track 2009—2012年采用的查詢，每年50個(gè)。由于第95和第100號(hào)查詢沒有相關(guān)文檔，于是在實(shí)驗(yàn)中去除了這兩個(gè)查詢，共計(jì)198個(gè)查詢參與實(shí)驗(yàn)。使用查詢集合中的query域作為主查詢，去除停用詞和敘述詞后的subtopic域作為子查詢。每個(gè)主查詢包含3到8個(gè)子查詢，以2009年的第25號(hào)查詢?yōu)槔?，它的主查詢?yōu)椤癊uclid”，相應(yīng)的四個(gè)子查詢?nèi)鐖D1所示。

對(duì)于所有的查詢結(jié)果，TREC的主辦者聘請(qǐng)專家進(jìn)行人工檢查。判斷哪些文檔和查詢相關(guān)，哪些和查詢不相關(guān)。在多樣化任務(wù)中，也判斷一個(gè)文檔和哪些子查詢相關(guān)。

4.2? ?評(píng)價(jià)方法

對(duì)于一組查詢，采用如前所述實(shí)驗(yàn)平臺(tái)進(jìn)行檢索。為每一個(gè)查詢生成相應(yīng)的文檔序列。采用特定的性能預(yù)測(cè)算法可以預(yù)測(cè)每一個(gè)查詢的困難度，然后按照預(yù)測(cè)的困難度對(duì)所有查詢排序。同時(shí)對(duì)所有查詢的結(jié)果按照特定的性能指標(biāo)（常用的檢索結(jié)果多樣化性能指標(biāo)有ERR-IA@20、αNDCG@20等）進(jìn)行評(píng)價(jià)，并按照評(píng)價(jià)的性能值對(duì)該組查詢進(jìn)行排序。通過計(jì)算這兩組序列的相似程度，可以評(píng)價(jià)性能預(yù)測(cè)算法的優(yōu)劣。

比較兩組排序序列的相似程度，可用的指標(biāo)有Pearson積差相關(guān)系數(shù)、Kendall秩相關(guān)系數(shù)、Spearman秩相關(guān)系數(shù)等。這些相關(guān)系數(shù)的取值范圍為[-1，1]。如兩組排序完全相同，值為1。如兩組排序完全相反，值為-1。如兩組排序無相關(guān)性，值接近0。值越接近1，說明兩組排序越相似，預(yù)測(cè)算法的性能越好。

4.3? ?實(shí)驗(yàn)設(shè)置及預(yù)處理

實(shí)驗(yàn)采用Indri開源搜索引擎中的查詢項(xiàng)似然檢索模型對(duì)所有查詢及子查詢進(jìn)行初始檢索，其中狄利克雷平滑系數(shù)，結(jié)果列表文檔數(shù)N設(shè)置為1000。并使用公開的垃圾文檔排名算法Waterloo spam scorer對(duì)初始檢索結(jié)果進(jìn)行垃圾文檔過濾。Waterloo spam scorer為ClueWeb09數(shù)據(jù)集中的每篇文檔賦予了一個(gè)垃圾百分?jǐn)?shù)分值，分值越低，越有可能為垃圾文檔。本實(shí)驗(yàn)中閾值設(shè)置為70%。

下一步是對(duì)初始檢索結(jié)果進(jìn)行多樣化重排，使用xQuAD[19]、PM-2[20]和CombSUM三種多樣化算法。對(duì)于四組查詢，共產(chǎn)生12個(gè)結(jié)果（run）。最后使用Ndeval程序?qū)@些檢索結(jié)果進(jìn)行評(píng)價(jià)，并根據(jù)ERR-IA@20指標(biāo)選擇性能最好的檢索結(jié)果和對(duì)應(yīng)的平衡系數(shù)λ，產(chǎn)生的多樣化檢索結(jié)果如表1所示。

為評(píng)估本文所提預(yù)測(cè)方法的有效性，實(shí)驗(yàn)選取SD2、WIG、NQC及SMV四種傳統(tǒng)性能預(yù)測(cè)算法作為基準(zhǔn)。各種算法中的參數(shù)根據(jù)文獻(xiàn)[6，16，17]的推薦而設(shè)置，WIG的截?cái)嘞禂?shù)k設(shè)置為5，NQC的截?cái)嘞禂?shù)k設(shè)置為100，SMV的截?cái)嘞禂?shù)k設(shè)置為100。

4.4? ?多樣化性能預(yù)測(cè)方法的評(píng)估分析

使用Pearson、Kendall和Spearman相關(guān)系數(shù)評(píng)價(jià)預(yù)測(cè)算法的有效性時(shí)發(fā)現(xiàn)，三種系數(shù)下的實(shí)驗(yàn)結(jié)果整體上相似。所以這里僅列出Spearman系數(shù)對(duì)應(yīng)的實(shí)驗(yàn)結(jié)果。表2列出了傳統(tǒng)預(yù)測(cè)算法的預(yù)測(cè)值與ERR-IA@20指標(biāo)值的Spearman相關(guān)系數(shù)，表3列出了本文所提算法的預(yù)測(cè)值與ERR-IA@20指標(biāo)值的Spearman相關(guān)系數(shù)。其中黑體數(shù)字表示在所有七種預(yù)測(cè)算法中的最優(yōu)值。

從表2可以發(fā)現(xiàn)，每一種方法的預(yù)測(cè)性都有負(fù)相關(guān)的情況出現(xiàn)。所以傳統(tǒng)的基于得分分布的預(yù)測(cè)算法在查詢多樣化性能預(yù)測(cè)上的適用性不強(qiáng)。而根據(jù)表3，可以得知本文提出的三種考慮多樣性的性能預(yù)測(cè)算法優(yōu)于四種基準(zhǔn)預(yù)測(cè)算法。具體來說，與作為基準(zhǔn)的四種預(yù)測(cè)算法相比，本文提出的三種預(yù)測(cè)算法共在11個(gè)運(yùn)行結(jié)果上取得了最大的Spearman系數(shù)，而前者共在一個(gè)運(yùn)行結(jié)果上取得最大值。對(duì)四種基準(zhǔn)預(yù)測(cè)算法中進(jìn)行兩兩比較，WIG算法的有效性最高，但與本文提出的三種預(yù)測(cè)算法相比也略輸一籌。在三種新方法中，IASUM3方法的有效性最高，它優(yōu)于IASUM和IASUM2的主要原因是，在綜合考慮相關(guān)性和多樣性的基礎(chǔ)上，它充分地利用了結(jié)果列表中文檔的得分分布信息，故在實(shí)驗(yàn)中共有六次取得了最好成績(jī)。

除了ERR-IA@20外，還分別使用αNDCG@20和NRBP指標(biāo)值評(píng)估所得結(jié)果列表的性能和預(yù)測(cè)的排序進(jìn)行比較。圖2和圖3分別顯示了采用αNDCG@20和NRBP時(shí)的Spearman相關(guān)系數(shù)，圖中列出了三種較好的預(yù)測(cè)方法（WIG、SD2和IASUM3）的性能。

總體說來，采用αNDCG@20或NRBP和采用ERR-IA@20指標(biāo)效果相仿。對(duì)比圖2和圖3中使用不同指標(biāo)測(cè)度時(shí)預(yù)測(cè)算法的有效性，可以得知在改變度量指標(biāo)（αNDCG@20和NRBP）時(shí)，預(yù)測(cè)算法的Spearman系數(shù)趨勢(shì)是相似的。當(dāng)指標(biāo)為αNDCG@20時(shí)，12個(gè)運(yùn)行結(jié)果中IASUM3算法在10個(gè)運(yùn)行結(jié)果上優(yōu)于WIG和SD2算法，其在12個(gè)運(yùn)行結(jié)果上的平均Spearman系數(shù)為0.408。當(dāng)指標(biāo)為NRBP時(shí)，IASUM3算法在10個(gè)運(yùn)行結(jié)果上優(yōu)于WIG和SD2算法，其在12個(gè)運(yùn)行結(jié)果上的平均Spearman系數(shù)為0.422。另一方面，對(duì)三種指標(biāo)計(jì)算所有結(jié)果的平均方差值，得到WIG和SD2的方差分別為0.226和0.199，而IASUM3的方差為0.181。這表明IASUM3算法在檢索結(jié)果多樣化性能的預(yù)測(cè)上，是有效且穩(wěn)定的。

5? ?結(jié)論（Conclusion）

針對(duì)近些年來備受研究人員關(guān)注的查詢性能預(yù)測(cè)技術(shù)，本文明確了從查詢的相關(guān)性性能和多樣化性能這兩個(gè)方向入手研究查詢性能預(yù)測(cè)，并提出了三種查詢多樣化性能的預(yù)測(cè)算法。為了檢驗(yàn)提出的預(yù)測(cè)算法的有效性，在經(jīng)過多樣化處理的Indri運(yùn)行結(jié)果上進(jìn)行了查詢多樣化性能的預(yù)測(cè)實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，和傳統(tǒng)的預(yù)測(cè)算法相比，本文提出的預(yù)測(cè)算法IASUM和IASUM3優(yōu)勢(shì)明顯，能有效提高多樣化性能預(yù)測(cè)精度，且性能較為穩(wěn)定。同時(shí)，分析文檔原始得分的IASUM3算法的預(yù)測(cè)效果整體上優(yōu)于分析排名得分的IASUM算法。這說明與檢索結(jié)果的排名得分相比，文檔得分包含了更多的文檔查詢相似度信息，對(duì)于預(yù)測(cè)算法而言，文檔得分比排名得分具有更高的使用價(jià)值。

本文提出的查詢多樣化性能預(yù)測(cè)算法采用了結(jié)果列表中文檔的排名與得分信息，但未考慮文檔的內(nèi)容，這是下一步的工作方向。我們將嘗試一些基于自然語言處理的算法，以期獲得更為有效的多樣化查詢性能預(yù)測(cè)方法。另一方面，搜索引擎在檢索過程中產(chǎn)生了大量的搜索日志信息，并且這些日志包含了大量用戶和搜索引擎的交互信息。如何有效地挖掘和分析這些數(shù)據(jù)，并用于查詢性能預(yù)測(cè)，也是一項(xiàng)值得研究的工作。

參考文獻(xiàn)（References）

[1] Zamani H，Croft W B，Culpepper J S，et al.Neural Query Performance Prediction using Weak Supervision from Multiple Signals[C].international acm sigir conference on research and development in information retrieval，2018：105-114.

[2] Mizzaro S，Mothe J，Roitero K，et al.Query Performance Prediction and Effectiveness Evaluation Without Relevance Judgments：Two Sides of the Same Coin[C].international acm sigir conference on research and development in information retrieval，2018：1233-1236.

[3] Roitman H.An Extended Query Performance Prediction Framework Utilizing Passage-Level Information[C].international conference on the theory of information retrieval，2018：35-42.

[4] Roitman H，Erera S，Sarshalom O，et al.Enhanced Mean Retrieval Score Estimation for Query Performance Prediction[C].international conference on the theory of information retrieval，2017：35-42.

[5] Katz G，Shtock A，Kurland O，et al.Wikipedia-based query performance prediction[C].international acm sigir conference on research and development in information retrieval，2014：1235-1238.

[6] Tao Y，Wu S.Query performance prediction by considering score magnitude and variance together[C].Acm International Conference on Conference on Information & Knowledge Management.ACM，2014：1891-1894.

[7] Raiber F，Kurland O.Query-performance prediction：setting the expectations straight[C].international acm sigir conference on research and development in information retrieval，2014：13-22.

[8] Hauff C，De Jong F M，Kelly D，et al.Query quality：user ratings and system predictions[C].international acm sigir conference on research and development in information retrieval，2010：743-744.

[9] Sondak M，Shtok A，Kurland O，et al.Estimating query representativeness for query-performance prediction[C].international acm sigir conference on research and development in information retrieval，2013：853-856.

[10] Mothe J，Tanguy L.Linguistic features to predict query difficulty-a case study on previous TREC campaigns[C].ACM SIGIR Workshop on Predicting Query Difficulty-Methods & Applications，2005.

[11] Butman O，Shtok A，Kurland O，et al.Query-Performance Prediction Using Minimal Relevance Feedback[C].Conference on the Theory of Information Retrieval.ACM，2013.

[12] Julie A，Adrian G，Sebastien D，et al.Statistical Analysis to Establish the Importance of Information Retrieval Parameters[J].Journal of Universal Computer Science，2015，21（13）：1767-1787.

[13] Cronen-Townsend S，Zhou Y，Croft W B，et al.Predicting query performance[C].international acm sigir conference on research and development in information retrieval，2002：299-306.

[14] Zhou Y，Croft W B.Ranking robustness：a novel framework to predict query performance[C].conference on information and knowledge management，2006：567-574.

[15] Cummins R，Jose J M，Oriordan C，et al.Improved query performance prediction using standard deviation[C].international acm sigir conference on research and development in information retrieval，2011：1089-1090.

[16] Zhou Y，Croft W B.Query performance prediction in web search environments[C].international acm sigir conference on research and development in information retrieval，2007：543-550.

[17] Shtok A，Kurland O，Carmel D，et al.Predicting Query Performance by Query-Drift Estimation[J].ACM Transactions on Information Systems，2012，30（2）：305-312.

[18] Carbinell J，Goldstein J.The use of MMR，diversity-based reranking for reordering documents and producing summaries[J].international acm sigir conference on research and development in information retrieval，1998，51（2）：335-336.

[19] Santos R L，Macdonald C，Ounis I，et al.Exploiting query reformulations for web search result diversification[J].the web conference，2010：881-890.

[20] Dang V，Croft W B.Diversity by proportionality：an election-based approach to search result diversification[C].international acm sigir conference on research and development in information retrieval，2012：65-74.