譚頂梅，成 靜

（西安工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，陜西西安 710021）

0 引言

隨著互聯(lián)網(wǎng)平臺(tái)的快速發(fā)展，眾包技術(shù)被廣泛應(yīng)用于解決各種工程任務(wù)，尤其是軟件測(cè)試［1］。眾包一詞是由Howe［2］于2006 年提出，其是一種分布式問(wèn)題解決模式，即公司或組織通過(guò)一個(gè)開放網(wǎng)絡(luò)平臺(tái)，以自由和自愿的方式將以往由全職員工完成的工作任務(wù)外包給一群不特定的解決方案提供者［3］。眾包測(cè)試是依托新一代互聯(lián)網(wǎng)技術(shù)衍生出來(lái)的新興測(cè)試方法，其利用互聯(lián)網(wǎng)的即時(shí)性和共享性，采用分布、協(xié)作的方式組織生產(chǎn)，協(xié)同測(cè)試需求和測(cè)試資源，最終聚合形成規(guī)模效益［4］。

隨著新興移動(dòng)應(yīng)用數(shù)量的激增，移動(dòng)應(yīng)用測(cè)試中也引入了眾包測(cè)試形式。移動(dòng)應(yīng)用眾包測(cè)試任務(wù)的完成需要發(fā)包方、眾包平臺(tái)與眾包測(cè)試人員三者之間良好協(xié)作，典型的移動(dòng)應(yīng)用眾包測(cè)試模型如圖1 所示。與傳統(tǒng)測(cè)試相比，眾包測(cè)試可以輕松、廉價(jià)地獲得大量候選測(cè)試人員，他們可以在不同環(huán)境、平臺(tái)以及知識(shí)背景下進(jìn)行測(cè)試，能快速且低成本地發(fā)現(xiàn)軟件缺陷［5］，提高了測(cè)試效率，解決了企業(yè)人手與資金不足的問(wèn)題。

Fig.1 Typical mobile application crowdsourcing testing model圖1 典型移動(dòng)應(yīng)用眾包測(cè)試模型

雖然移動(dòng)應(yīng)用眾包測(cè)試有很多候選測(cè)試人員，但由于成本限制，不可能讓所有候選人員都執(zhí)行測(cè)試任務(wù)。同時(shí)在眾包測(cè)試背景下，軟件測(cè)試成功與否很大程度取決于眾包測(cè)試人員的反饋。然而，由于眾包測(cè)試的匿名性與非契約性，眾包測(cè)試人員會(huì)產(chǎn)生懈怠、欺詐等行為，使測(cè)試結(jié)果質(zhì)量得不到保證［6］，因此如何選取眾包測(cè)試人員十分重要。為使發(fā)包方更加方便地選擇眾包測(cè)試人員，本文以數(shù)據(jù)化的方式對(duì)眾包測(cè)試人員信譽(yù)度進(jìn)行研究與展現(xiàn)。

1 相關(guān)研究

國(guó)內(nèi)外學(xué)者對(duì)眾包測(cè)試人員的信譽(yù)度進(jìn)行了積極研究并取得了一定成果。例如，芮蘭蘭等［7］采用重復(fù)博弈方法計(jì)算測(cè)試人員信譽(yù)值并構(gòu)建了激勵(lì)機(jī)制，同時(shí)設(shè)置了懲罰機(jī)制針對(duì)惡意工作者作出相應(yīng)懲罰，有效激勵(lì)了理性工作者盡力工作；阮閃閃等［8］提出基于證據(jù)理論的信任評(píng)估模型實(shí)現(xiàn)眾包平臺(tái)的質(zhì)量監(jiān)控，通過(guò)計(jì)算眾包測(cè)試人員的直接信譽(yù)值和間接信譽(yù)值綜合評(píng)定其信譽(yù)值，模型中同時(shí)引入獎(jiǎng)懲機(jī)制,用以激勵(lì)接包方參與眾包并提供高質(zhì)量眾包，同時(shí)遏制惡意的接包方；嚴(yán)俊等［9］通過(guò)控制眾包交互過(guò)程中測(cè)試人員的積極性和任務(wù)完成質(zhì)量構(gòu)建眾包測(cè)試人員信譽(yù)模型，實(shí)現(xiàn)了眾包平臺(tái)的質(zhì)量控制；肖江輝［10］提出一種基于可信度的眾包協(xié)同測(cè)試算法，即通過(guò)統(tǒng)計(jì)測(cè)試人員在測(cè)試過(guò)程中發(fā)現(xiàn)的bug數(shù)目和等級(jí)計(jì)算其客觀可信度，然后通過(guò)評(píng)估bug的可信程度給出主觀可信度，最后通過(guò)集成二者獲得測(cè)試人員的全局可信度；Lee 等［11］提出基于質(zhì)量評(píng)估和用戶等級(jí)任務(wù)分配框架的眾包質(zhì)量提升策略。然而，目前已有的信譽(yù)度計(jì)算方法均未考慮到眾包測(cè)試人員受到的主客觀因素影響。本文在前人研究的基礎(chǔ)上充分考慮影響眾包測(cè)試人員信譽(yù)度的主客觀因素，提出移動(dòng)應(yīng)用眾包測(cè)試人員信譽(yù)度復(fù)合計(jì)算模型，通過(guò)眾包測(cè)試人員主觀評(píng)分計(jì)算主觀信譽(yù)度，采用層次分析法計(jì)算其客觀信譽(yù)度，最后評(píng)估出眾包測(cè)試人員的綜合信譽(yù)度。

2 基于主客觀因素的眾包測(cè)試人員信譽(yù)度計(jì)算

2.1 主觀信譽(yù)度計(jì)算

采用評(píng)分算法選取用戶可靠評(píng)分并更新目前眾包測(cè)試人員的個(gè)人評(píng)分，在個(gè)人評(píng)分不斷更新的基礎(chǔ)上計(jì)算其主觀信譽(yù)度。目前，評(píng)分算法已被廣泛應(yīng)用于各類場(chǎng)合，具有一定的有效性，可以很好地反映被評(píng)價(jià)方的任務(wù)完成度、信譽(yù)度以及滿意度，對(duì)其有一定的督促作用［12］。常用用戶評(píng)分機(jī)制包括2 分制、5 分制和10 分制。本文采用10分制對(duì)眾包測(cè)試人員信譽(yù)度進(jìn)行評(píng)分，評(píng)分越高表示發(fā)包方對(duì)眾包測(cè)試人員越滿意。

發(fā)包方的評(píng)分范圍包括眾包平臺(tái)上給出的眾包測(cè)試人員各方面屬性，維度越多，眾包測(cè)試人員的個(gè)人信譽(yù)度越準(zhǔn)確［13-14］。為方便計(jì)算，本文選取3 個(gè)維度，分別為測(cè)試人員可靠性、測(cè)試結(jié)果質(zhì)量和測(cè)試結(jié)果數(shù)量。發(fā)包方對(duì)眾包測(cè)試人員的評(píng)價(jià)用V表示，V1、V2和V3分別表示發(fā)包方對(duì)眾包測(cè)試人員的可靠性、測(cè)試結(jié)果質(zhì)量和測(cè)試結(jié)果數(shù)量評(píng)分。由于無(wú)法保證新發(fā)包方給眾包測(cè)試人員的評(píng)分全部真實(shí)可靠，本文通過(guò)研究評(píng)分的可靠置信區(qū)間計(jì)算偏離值，去除惡意評(píng)分，更新眾包測(cè)試人員的歷史評(píng)分，使評(píng)分更加真實(shí)有效。

2.1.1 評(píng)分可靠置信區(qū)間計(jì)算

為保證新發(fā)包方給出的評(píng)分具有可信度，本文根據(jù)新評(píng)分與眾包測(cè)試人員歷史評(píng)分之間的關(guān)系提出評(píng)分置信區(qū)間的概念，計(jì)算出新評(píng)分與樣本總體評(píng)分之間的偏差，偏差在可靠置信區(qū)間內(nèi)即為有效評(píng)分［15-16］。當(dāng)新發(fā)包方的評(píng)分明顯低于或高于該眾包測(cè)試人員歷史評(píng)分時(shí)，這個(gè)新評(píng)分便有可能是虛假評(píng)分，在更新用戶評(píng)分時(shí)不予采納。若新發(fā)包方的評(píng)分在給出的可靠置信區(qū)間內(nèi)，說(shuō)明該評(píng)分可信，則將新評(píng)分納入眾包測(cè)試人員歷史評(píng)分中進(jìn)行評(píng)分更新。具體計(jì)算方法如下：

首先，計(jì)算第j個(gè)眾包測(cè)試人員的第k個(gè)屬性評(píng)分均值，公式為：

然后，計(jì)算新發(fā)包方對(duì)眾包測(cè)試人員評(píng)分向量相對(duì)于該人員歷史評(píng)分向量平均值的偏離大小，即新評(píng)分的可信度L，采用距離向量表示，距離越小，說(shuō)明新發(fā)包方的評(píng)價(jià)與該人員的歷史評(píng)價(jià)越相似，評(píng)分信息也越可靠，反之則不可信。具體計(jì)算公式為：

2.1.2 眾包測(cè)試人員主觀信譽(yù)度計(jì)算

對(duì)眾包測(cè)試人員信譽(yù)度的計(jì)算實(shí)際上是對(duì)其評(píng)分的不斷更新。在測(cè)試任務(wù)結(jié)束后，發(fā)包方對(duì)眾包測(cè)試人員進(jìn)行評(píng)分，通過(guò)計(jì)算該評(píng)分與該用戶總體評(píng)分均值之間的偏離度來(lái)判斷新評(píng)分是否可用，偏離度越小說(shuō)明新評(píng)分越可信，則將新評(píng)分代入該用戶歷史評(píng)分，計(jì)算出該人員新的綜合評(píng)分V，即為其主觀信譽(yù)度值。以下給出計(jì)算過(guò)程部分?jǐn)?shù)據(jù)作為實(shí)例進(jìn)行分析。

表1 給出了20 個(gè)發(fā)包方對(duì)眾包測(cè)試人員T1 的評(píng)價(jià)，具體計(jì)算方法為：

首先根據(jù)式（1）計(jì)算T1各維度評(píng)分的均值，分別為：

可以得出T1 的評(píng)分均值為（8.1，7.9，7.1）。由表1 可以看出，U6 對(duì)T1 的評(píng)分明顯偏離，即以該評(píng)分為例，根據(jù)式（2）計(jì)算出偏離大小，即為：

L=0.790＞0.3，即該評(píng)分不可信，不予采納。若新用戶對(duì)T1 的評(píng)分為（9，9，7），根據(jù)式（2）可得L=0.142＜0.3，說(shuō)明新評(píng)分可信，則采納新評(píng)分并代入計(jì)算T1 的新評(píng)分，得到：=7.09，T1 的新主觀信譽(yù)度V=7.76。

Table 1 Scoring table for crowdsourcing tester T1表1 眾包測(cè)試人員T1評(píng)分表

2.2 客觀信譽(yù)度計(jì)算

2.2.1 影響因素

選擇按時(shí)交稿任務(wù)數(shù)量、發(fā)現(xiàn)Bug 數(shù)量、有效Bug 數(shù)量以及測(cè)試人員等級(jí)4 個(gè)影響因素對(duì)測(cè)試人員客觀信譽(yù)度進(jìn)行研究分析［17］，具體如表2所示。

（1）按時(shí)交稿任務(wù)數(shù)量。眾包測(cè)試人員的按時(shí)反饋對(duì)于發(fā)包方錯(cuò)誤的及時(shí)更正具有重要意義，基層嚴(yán)重Bug 的出現(xiàn)會(huì)導(dǎo)致整條生產(chǎn)線重新測(cè)試。同時(shí)按時(shí)交稿任務(wù)數(shù)量也體現(xiàn)了眾包測(cè)試人員的時(shí)間觀念，是影響眾包測(cè)試人員信譽(yù)度的重要因素。

（2）發(fā)現(xiàn)Bug 數(shù)量。發(fā)現(xiàn)Bug 數(shù)量多少是測(cè)試人員能力和工作積極性的一種體現(xiàn)，發(fā)現(xiàn)Bug 數(shù)量越多，眾包測(cè)試人員的信譽(yù)度也會(huì)有一定提高。

（3）有效Bug 數(shù)量。有效Bug 數(shù)量是相對(duì)于發(fā)現(xiàn)Bug數(shù)量來(lái)說(shuō)的，有效Bug 越多，且在Bug 數(shù)量中占比越大，說(shuō)明眾包測(cè)試人員測(cè)試質(zhì)量越高，其信譽(yù)度也就越高。

（4）測(cè)試人員等級(jí)。眾包測(cè)試人員等級(jí)分為初級(jí)、中級(jí)、高級(jí)，等級(jí)劃分是對(duì)眾包測(cè)試人員能力的認(rèn)定，其等級(jí)越高，信譽(yù)度也就越高。

Table 2 Influencing factors of tester's credibility表2 眾包測(cè)試人員信譽(yù)度影響因素

2.2.2 層次分析法

層次分析法是一種解決多目標(biāo)復(fù)雜問(wèn)題的定性與定量相結(jié)合的決策分析方法［18］，其在對(duì)復(fù)雜決策問(wèn)題的本質(zhì)、影響因素及內(nèi)在關(guān)系等進(jìn)行深入研究的基礎(chǔ)上，利用較少的定量信息使決策思維過(guò)程數(shù)學(xué)化，從而為多目標(biāo)、多準(zhǔn)則或無(wú)結(jié)構(gòu)特性的復(fù)雜問(wèn)題提供簡(jiǎn)便的決策方法［19］。本文采用層次分析法評(píng)估眾包測(cè)試人員信譽(yù)度的客觀評(píng)分，將影響眾包測(cè)試人員信譽(yù)度的客觀因素分為4 個(gè)層次，然后借助定性和定量分析得到評(píng)價(jià)指標(biāo)的權(quán)重向量［20］，依據(jù)權(quán)重計(jì)算出眾包測(cè)試人員的客觀信譽(yù)度。

層次分析法的具體步驟為：①建立層次結(jié)構(gòu)模型。依據(jù)上述影響眾包測(cè)試人員客觀信譽(yù)度的目標(biāo)因素構(gòu)建出層次結(jié)構(gòu)圖，將各因素分為不同層級(jí)，構(gòu)建多層級(jí)多指標(biāo)結(jié)構(gòu)；②構(gòu)造判斷矩陣。依據(jù)專家或相關(guān)資料對(duì)同一層的影響因子兩兩打分，比較確定影響因子的重要性，以此建立判斷矩陣U=(Aij)n×n，其中Aij為因素i相較于因素j的重要程度量化值，判斷矩陣中Aij的值越大，說(shuō)明因素i相對(duì)于因素j 越重要，Aij取值范圍為1～9；③層次單排序及其一致性檢驗(yàn)。計(jì)算上述判斷矩陣中最大特征根λmax的特征向量，經(jīng)標(biāo)準(zhǔn)化處理后記為W。W 為同一層次因素對(duì)于上一層次因素相對(duì)重要性的排序權(quán)值，這一過(guò)程稱為層次單排序［21］。為檢驗(yàn)判斷矩陣的一致性，需要計(jì)算一致性指標(biāo)CI，公式為：

式中，λmax為矩陣的最大特征值，n 為矩陣階數(shù)。當(dāng)CI=0 時(shí)，表示有完全的一致性，當(dāng)CI接近于0 時(shí)，表示有滿意的一致性，CI越大，不一致性越高。

為降低主觀偏差，引入判斷矩陣的平均隨機(jī)一致性比率CR，計(jì)算公式為：

式中，RI為平均隨機(jī)一致性指標(biāo)，對(duì)于低階矩陣可直接通過(guò)查表得到。當(dāng)CR＜0.1 時(shí)，則表明判斷矩陣U通過(guò)一致性檢驗(yàn)，判別結(jié)果為可以接受，否則需要重新構(gòu)造判別矩陣U，直至通過(guò)一致性檢驗(yàn)。

2.2.3 判斷矩陣構(gòu)造

如表3 所示，A表示眾包測(cè)試人員信譽(yù)度；B表示影響A的指標(biāo)，其中B1為按時(shí)交稿任務(wù)數(shù)量，B2為發(fā)現(xiàn)Bug 數(shù)量，B3為有效Bug 數(shù)量，B4為測(cè)試人員等級(jí)。本文選取直接相關(guān)因素，僅構(gòu)造了一層相關(guān)層次結(jié)構(gòu)，因而計(jì)算較為簡(jiǎn)單。根據(jù)Santy 的1-9 標(biāo)度方法及相關(guān)資料數(shù)據(jù)［22］，得出A 相對(duì)于B 的判斷矩陣U，表示為：

2.2.4 信譽(yù)度指標(biāo)權(quán)重向量計(jì)算

為判斷層次分析法是否符合邏輯，需要對(duì)判斷矩陣U進(jìn)行一致性檢驗(yàn)。根據(jù)一致性檢驗(yàn)步驟可以得出，U 的最大特征值λmax=4.223 0，將λmax代入式（3）可得CI=0.074 3，RI=0.90，將計(jì)算結(jié)果代入式（4）可得CR=0.082 6＜0.1，說(shuō)明U 具有滿意一致性，對(duì)應(yīng)的特征向量即為其權(quán)重向量。U的最大特征值對(duì)應(yīng)的特征向量W=［0.833 8 0.203 5 0.499 8 0.116 7］，該向量經(jīng)歸一化處理后可得=[0.504 2 0.123 0 0.302 2 0.070 6]。歸一化后的向量稱為權(quán)向量，可以看出在計(jì)算眾包測(cè)試人員信譽(yù)度時(shí)按時(shí)交稿任務(wù)數(shù)量最重要，其次為有效Bug 數(shù)量，再次為Bug 數(shù)量，最后為眾包測(cè)試人員等級(jí)，具體權(quán)重如表3所示。

根據(jù)權(quán)向量的計(jì)算結(jié)果可以得到眾包測(cè)試人員信譽(yù)度影響因素指標(biāo)模型，表示為：

2.2.5 信譽(yù)度影響因素權(quán)重的應(yīng)用

測(cè)試用戶信譽(yù)度N0可表示為：

Table 3 Credit impact indexes and their weight value表3 信譽(yù)度影響指標(biāo)及其權(quán)重值

該式是對(duì)信譽(yù)度各影響因素的歸一化處理，其中N表示測(cè)試用戶當(dāng)前指標(biāo)值，Nmax為該指標(biāo)的最大值，Nmin為該指標(biāo)的最小值。

根據(jù)表3 中的權(quán)重構(gòu)建眾包測(cè)試人員客觀信譽(yù)度計(jì)算模型，表示為：

式中，Ci為信譽(yù)度計(jì)算模型中第i 個(gè)影響指標(biāo)的賦值，本文采用10 分制，則Ci=10 ×N0；Wi為第i 個(gè)影響指標(biāo)的權(quán)重。將賦值分別乘以權(quán)重并求和，所得分?jǐn)?shù)即為眾包測(cè)試人員客觀信譽(yù)度值。

2.3 復(fù)合信譽(yù)度計(jì)算模型

綜合分析主觀和客觀影響因素，眾包測(cè)試人員復(fù)合信譽(yù)度Z最終表示為：

式中，V表示眾包測(cè)試人員主觀信譽(yù)度值，A表示眾包測(cè)試人員客觀信譽(yù)度值；α、β 分別表示其對(duì)應(yīng)權(quán)重，且α+β=1，其值可以根據(jù)用戶個(gè)人需要設(shè)定。

3 實(shí)驗(yàn)方法與結(jié)果分析

數(shù)據(jù)提取自某開放式網(wǎng)絡(luò)授課系統(tǒng)的實(shí)驗(yàn)結(jié)果［23］，將學(xué)生在亞馬遜眾包平臺(tái)完成的1 000 道測(cè)試題得分作為初始信譽(yù)度評(píng)分，再通過(guò)發(fā)布新任務(wù)更新學(xué)生的信譽(yù)度。實(shí)驗(yàn)在初始信譽(yù)度數(shù)據(jù)的基礎(chǔ)上進(jìn)行相應(yīng)擴(kuò)展并模擬出眾包測(cè)試社區(qū)中3 種典型眾包測(cè)試人員TS1、TS2、TS3，其中TS1 為優(yōu)秀型，TS2 為一般型，TS3 為惡意型。為驗(yàn)證人為惡意評(píng)分對(duì)眾包測(cè)試人員信譽(yù)度的影響，實(shí)驗(yàn)?zāi)M了一批發(fā)包方對(duì)TS1 和TS2 進(jìn)行惡意差評(píng)，對(duì)TS3 進(jìn)行好評(píng)，評(píng)分為10 分制，模擬眾包測(cè)試人員數(shù)量為50 人，信譽(yù)值計(jì)算次數(shù)分別為10 次和20 次。在計(jì)算客觀信譽(yù)值時(shí)，參考眾包測(cè)試人員信譽(yù)度模擬相應(yīng)數(shù)值，要求偏差不能過(guò)大。

為驗(yàn)證本文模型的優(yōu)越性，分別對(duì)基于發(fā)包方評(píng)分的模型和本文復(fù)合模型進(jìn)行信譽(yù)度計(jì)算。其中基于發(fā)包方評(píng)分的模型信譽(yù)度計(jì)算以網(wǎng)絡(luò)授課系統(tǒng)實(shí)驗(yàn)中學(xué)生的信譽(yù)度為基礎(chǔ)，僅根據(jù)新發(fā)包方的評(píng)分更新迭代眾包測(cè)試人員的信譽(yù)度。圖2 為僅基于發(fā)包方評(píng)分計(jì)算出的眾包測(cè)試人員信譽(yù)值，可以看出，惡意評(píng)分對(duì)眾包測(cè)試人員的信譽(yù)值影響較大。從圖2（a）可以看出，TS2 一般型人員在惡意差評(píng)下迭代10 次的信譽(yù)值與TS3 惡意型人員在故意好評(píng)下迭代10 次的用戶信譽(yù)度值重疊。由圖2（b）可以看出，當(dāng)?shù)?0 次時(shí)，TS3 惡意型人員的信譽(yù)值甚至高過(guò)了TS1 優(yōu)秀型人員，這明顯與實(shí)際情況不符?；诎l(fā)包方評(píng)分的模型受惡意評(píng)價(jià)影響嚴(yán)重，評(píng)價(jià)結(jié)果不夠合理。

Fig.2 Credibility values of different types of personnel under the employer's scoring model圖2 不同類型人員在發(fā)包方評(píng)分模型下的信譽(yù)值

圖3 為基于本文復(fù)合模型計(jì)算出的眾包測(cè)試人員信譽(yù)值。在同樣的惡意評(píng)價(jià)下，可靠置信區(qū)間的計(jì)算排除了大部分惡意評(píng)價(jià)，只有一小部分與眾包測(cè)試人員歷史評(píng)分相近的評(píng)分被保留代入計(jì)算，因此對(duì)主觀信譽(yù)度值影響不大。由于客觀信譽(yù)度不受主觀評(píng)分影響，只與眾包測(cè)試人員本身的行為有關(guān)，使得綜合信譽(yù)度幾乎不受惡意評(píng)分的影響。由圖3 可以看出，無(wú)論是迭代10 次還是20 次，不同類型測(cè)試人員的信譽(yù)值均可以保持平穩(wěn)，說(shuō)明復(fù)合模型可根據(jù)測(cè)試人員實(shí)際行為對(duì)其信譽(yù)度作出有效評(píng)估。

Fig.3 Credibility values of different types of personnel under the compound models圖3 不同類型人員在復(fù)合模型下的信譽(yù)值

4 結(jié)語(yǔ)

本文提出一種基于將主客觀因素相結(jié)合的移動(dòng)應(yīng)用眾包測(cè)試人員信譽(yù)度復(fù)合計(jì)算模型，該模型通過(guò)發(fā)包方對(duì)測(cè)試人員的主觀評(píng)分以及評(píng)分可靠置信區(qū)間的計(jì)算迭代更新測(cè)試人員的主觀信譽(yù)度值，根據(jù)眾包測(cè)試人員行為計(jì)算其客觀信譽(yù)度值，最后將兩者結(jié)合，根據(jù)各自權(quán)重綜合計(jì)算出最終信譽(yù)度。該模型既排除了主觀因素的惡意評(píng)分，并對(duì)主觀信譽(yù)度進(jìn)行實(shí)時(shí)更新，又考慮了眾包測(cè)試人員行為因素，使得評(píng)價(jià)結(jié)果合理性得以保證。

目前復(fù)合信譽(yù)度模型還存在一定缺陷。首先，評(píng)分可靠置信區(qū)間的計(jì)算會(huì)阻擋真實(shí)的跳崖式下降或上升的評(píng)分，影響眾包測(cè)試人員主觀信譽(yù)度的真實(shí)性；其次，目前考察的客觀信譽(yù)度影響因素不夠完善。下一步將結(jié)合發(fā)包方評(píng)分參考價(jià)值度增強(qiáng)眾包測(cè)試人員主觀信譽(yù)度的真實(shí)性，并進(jìn)一步完善影響因素模型，對(duì)眾包測(cè)試人員信譽(yù)度進(jìn)行擴(kuò)展性研究。