薛翔 趙宇翔 陳英奇 朱慶華

摘? ?要：目前針對公眾科學(xué)項目的游戲化設(shè)計尚未形成系統(tǒng)性的評價指標體系。文章從公眾科學(xué)項目自身特征出發(fā)，梳理了評價指標相關(guān)文獻，構(gòu)建了科研眾包視角下公眾科學(xué)項目游戲化設(shè)計評價指標體系，其主要包含教育目標、科學(xué)目標、游戲交互體驗、系統(tǒng)保障4個維度共計22項評價指標。在收集專家數(shù)據(jù)，利用層次分析法確定各指標權(quán)重系數(shù)后發(fā)現(xiàn)，教育性和科學(xué)性仍是公眾科學(xué)項目游戲化設(shè)計中的主要考量因素，而用戶游戲交互體驗和系統(tǒng)保障則居于次要地位，研究人員更傾向于將游戲化作為輔助設(shè)計手段。文章最后將評價指標體系應(yīng)用于Foldit項目的游戲化設(shè)計評估，嘗試了現(xiàn)有公眾科學(xué)項目游戲化設(shè)計中存在的游戲體驗欠佳等問題，并對未來該領(lǐng)域的游戲化設(shè)計提出了若干建議。

關(guān)鍵詞：科研眾包;公眾科學(xué)項目;游戲化設(shè)計;評價指標體系;層次分析法

中圖分類號：G315? ?文獻標識碼：A? ?DOI：10.11968/tsyqb.1003-6938.2019042

Developing Evaluation Index System of Gamification Design in Citizen Science Projects based on Analytic Hierarchy Process

Abstract The gamification design of Citizen Science Projects has not yet formed a unified and systematic theoretical research results. Researchers lack a quantitative evaluation index system to guide and evaluate the gamification design of citizen science projects. After combing the literature related to the evaluation index of gamification design， the study constructs the evaluation index system of gamification design of citizen science projects. This evaluation index system includes four dimensions： educational goals， scientific goals， game interaction experience， and system security. After collecting the data of experts and analyzing the weight coefficients of each index by using the analytic hierarchy process （AHP）， this study finds that education and science are still the main considerations of citizen science projects' gamification design， while users' game interaction experience and system security are in the secondary position， which suggests that researchers are more likely to use gamification as an auxiliary design tool. Finally， the evaluation index system is used to evaluate the gamification design of the Foldit project. The shortcomings of the gamification design in the existing public science projects are summarized， and the future gamification development strategies are put forward.

Key words scientific crowdsourcing; citizen science projects; gamification; evaluation index system; AHP

1? ?引言

公眾科學(xué)（Citizen Science），又稱社區(qū)科學(xué)、群智科學(xué)、公眾參與式科學(xué)研究，是由科學(xué)愛好者、非職業(yè)科研人員乃至普通公眾在開放科學(xué)環(huán)境下參與的一類科研活動[1]。在公眾知識素養(yǎng)不斷提升、互聯(lián)網(wǎng)技術(shù)快速發(fā)展和“大眾創(chuàng)業(yè) 萬眾創(chuàng)新”的多重背景下，公眾參與科學(xué)研究的熱情日益高漲，各類公眾科學(xué)項目大量涌現(xiàn)。為突破傳統(tǒng)組織邊界，最大限度挖掘大眾智慧潛力[2]，科研眾包理念應(yīng)運而生[3]。在科研眾包模式下，公眾可以參與到科研活動的方方面面，從研究任務(wù)的設(shè)計、志愿者招募到數(shù)據(jù)采集、分析與處理等[4]，任何一個互聯(lián)網(wǎng)用戶都有潛質(zhì)成為公眾科學(xué)家[5]。

然而，在眾包平臺發(fā)展之初，發(fā)包方將物質(zhì)獎勵作為激發(fā)用戶參與動機的主要手段，而眾包任務(wù)本身的設(shè)計相對單調(diào)乏味。此外，在項目的實際開展過程中，發(fā)包方往往不會過多關(guān)注志愿者的參與動機或體驗，更多情況下持有一種“工具思維”，即將公眾參與者視為數(shù)據(jù)采集和信息獲取的渠道，導(dǎo)致用戶長期參與的黏性和忠誠度均未達到預(yù)期。考慮到公眾科學(xué)項目多為公益性質(zhì)，接包方更多是以志愿者的形式參與其中，缺乏外部物質(zhì)刺激導(dǎo)致內(nèi)在驅(qū)動不足和項目冷啟動的問題更為嚴重。鑒于此，越來越多的眾包平臺引入了游戲化設(shè)計以改善用戶體驗，從而增強公眾參與科研眾包任務(wù)的內(nèi)在驅(qū)動力和持久力。

游戲化（Gamification）是指將游戲元素應(yīng)用于非游戲情境，最早出現(xiàn)在教育學(xué)領(lǐng)域[6]。 Zichermann[7]在研究中指出，游戲化設(shè)計能夠影響用戶的動機和行為，在任務(wù)設(shè)計及激發(fā)用戶參與度、忠誠度兩個方面具有顯著成效。在公眾科學(xué)項目中已經(jīng)涌現(xiàn)出一些較為成功的游戲化設(shè)計案例，如用于語言學(xué)習(xí)和翻譯的DuoLingo、模擬蛋白質(zhì)折疊的Foldit、模擬基因測序的Phylo、分析歷史記錄的Old Weather和映射大腦神經(jīng)通路的EyeWire等[8]。對已有案例綜合梳理后可以發(fā)現(xiàn)，積分、勛章、成就、排行榜等游戲化元素的加入能夠有效吸引和推動用戶參與公眾科學(xué)項目。

然而，雖然在公眾科學(xué)領(lǐng)域已經(jīng)存在一些成功的游戲化設(shè)計案例，但如何評價該領(lǐng)域的游戲化設(shè)計仍然缺乏必要的實證探索，特別是缺乏系統(tǒng)性的評價指標體系對項目游戲化設(shè)計進行指導(dǎo)和評估[9]。因此本文嘗試從公眾科學(xué)項目基本特征出發(fā)，結(jié)合已有游戲化設(shè)計評價體系研究成果，構(gòu)建科研眾包視角下公眾科學(xué)項目游戲化設(shè)計的評價指標體系。最后，本文將評價指標體系應(yīng)用到Foldit項目中，嘗試總結(jié)出現(xiàn)有公眾科學(xué)項目游戲化設(shè)計的不足和未來游戲化設(shè)計的開發(fā)策略。

2? ?相關(guān)工作

現(xiàn)有公眾科學(xué)項目普遍面臨項目任務(wù)枯燥、項目冷啟動等問題，因此需要在任務(wù)設(shè)計中融入激勵機制，其目的在于優(yōu)化用戶體驗，增強用戶參與公眾科學(xué)任務(wù)的動機[9]。Rotman[10]認為用戶參與公眾科學(xué)主要受到四類動機的影響：集體性（Collectivism）、利他性（Altruism）、利己性（Egoism）和原則性（principalism）。當(dāng)個體由自身利益驅(qū)動參與項目時，利己性激勵因素將發(fā)揮主要作用，這些激勵因素包括學(xué)習(xí)知識和技能，擴展人際關(guān)系[11-12]、探索新的職業(yè)機會[13]、利用閑置資源[11]等。利他性激勵因素則會促使個體為了其他個體或群體的利益而參與到某個項目中，包括為科學(xué)研究做出貢獻、保護自然和生物、幫助他人。當(dāng)個體為自己所屬群體的利益而參與某項活動時，集體性激勵因素如協(xié)助社區(qū)建設(shè)、對政府進行支持會發(fā)揮重要作用[13]。而當(dāng)個體參與項目是出于自己的一些原則時，原則性激勵因素會起到主要作用，如責(zé)任感[14]。Tinati等[15]則在研究中發(fā)現(xiàn)，公眾自身的奉獻、學(xué)習(xí)、歸屬感需求，以及項目的挑戰(zhàn)、娛樂和游戲?qū)傩缘?，都是激勵用戶參與公眾科學(xué)項目的重要因素，并且用戶持續(xù)參與公眾科學(xué)項目的動機較加入初期可能發(fā)生根本性的改變。此外，有學(xué)者從用戶退出動因角度著手研究后發(fā)現(xiàn)，時間資源的限制和技術(shù)使用門檻是導(dǎo)致用戶中途放棄參與公眾科學(xué)項目的主要原因[16-17]。

作為享樂型自我目標系統(tǒng)的巔峰形式，游戲化 是目前用戶激勵設(shè)計中最受歡迎的形式之一[18]。已有游戲化應(yīng)用大都是從游戲中借鑒設(shè)計模式，為用戶提供類似于游戲的體驗，如掌控、自主、流暢或懸疑等感覺[19-20]，從而達到增強用戶參與某項活動或行為動機的目的。同樣的，在科研眾包平臺設(shè)計中加入游戲化元素，不僅可以將用戶參與眾包任務(wù)的動機由純粹的理性追求向自我內(nèi)在驅(qū)動轉(zhuǎn)變[21]，還能夠讓用戶在認知、情感和社交上獲益[22]。如積分作為最明顯的游戲化元素之一，將其與其他元素巧妙結(jié)合，可以實現(xiàn)不同的游戲化目標，并在參與者之間形成群體競爭，提高用戶完成科學(xué)任務(wù)積極性[23]。有研究表明，若在任務(wù)初期告知用戶最終可獲得的游戲獎勵，將明顯提高用戶參與興趣，保障任務(wù)反饋的質(zhì)量[24]。此外，排行榜元素的具體應(yīng)用和故事敘述的表現(xiàn)手法等在眾包的展示中也存在積極影響[9]。

鑒于游戲化在用戶激勵方面的顯著效用，部分學(xué)者已經(jīng)嘗試將游戲化設(shè)計納入公眾科學(xué)項目任務(wù)模式研究，如Bowser[25]發(fā)現(xiàn)游戲化能激發(fā)用戶的靈感， Prestopnik[8]認為游戲化設(shè)計將對接包方的認知心理和行為產(chǎn)生影響，使其獲得情感上的共鳴等。游戲化元素在公眾科學(xué)項目情境中的成功應(yīng)用，令用戶能夠充分發(fā)揮主觀能動性，在享受游戲娛樂體驗的同時掌握相應(yīng)科學(xué)技能，完成科研任務(wù)。此外，在科學(xué)研究中游戲化設(shè)計還能對任務(wù)完成前后的質(zhì)量進行控制，讓公眾科學(xué)項目處于發(fā)包方的可控范圍，保障數(shù)據(jù)的順利獲取與回收分析[22]。

總體來看，雖然目前已有一些關(guān)于游戲化設(shè)計的論述和實證研究，但公眾科學(xué)項目游戲化設(shè)計尚未形成統(tǒng)一、體系化的理論研究成果，相關(guān)研究仍處于起步階段，對公眾參與、游戲化機制融入等方面也還未構(gòu)建起標準的評價體系。因此，本文將借鑒已有評價指標體系，綜合考量公眾科學(xué)項目特征和情境，構(gòu)建科研眾包視角下的公眾科學(xué)項目游戲化設(shè)計評價指標體系。

3? ?公眾科學(xué)項目游戲化設(shè)計評價指標體系構(gòu)建

3.1? ? 公眾科學(xué)項目游戲化設(shè)計評價指標的確立

對游戲化應(yīng)用項目中的游戲化設(shè)計進行評價，能夠為服務(wù)提供商提供游戲化設(shè)計標準，改善游戲的整體質(zhì)量和用戶的使用體驗，為游戲化機制的健康持續(xù)發(fā)展提供支持。國內(nèi)外現(xiàn)有游戲化設(shè)計評價研究普遍采取定性和定量相結(jié)合的方式，主要可以劃分為三類[26]：（1）側(cè)重評估游戲化設(shè)計的教學(xué)效果，突出游戲本身的教育意義;（2）側(cè)重軟件維度，評估軟件的可用性、易用性、交互性等方面;（3）側(cè)重簡化評價維度，從可用性、內(nèi)容性、娛樂性和交互性等方面進行評價[27]。此外，在游戲評價研究中也積累了豐富的評價指標體系，如TEEM教師評價框架[28]、學(xué)習(xí)游戲評價設(shè)計標準[29]、E/E Grid評價體系[30]、嚴肅游戲評價體系[31]等。這些成熟且兼具影響力的游戲化設(shè)計評價指標體系，為游戲化設(shè)計的運用提供了判斷標準和設(shè)計準則。

3.1.1? 一級指標確定

公眾科學(xué)項目自身往往具有一定的專業(yè)門檻和跨時空特征，在項目中需要對參與用戶進行相應(yīng)的基礎(chǔ)技能培訓(xùn)和操作引導(dǎo)，同時公眾科學(xué)項目也擔(dān)負著向公眾普及科學(xué)知識、增強科學(xué)意識的教育任務(wù)。鑒于現(xiàn)有研究中鮮有與公眾科學(xué)項目游戲化設(shè)計相關(guān)的研究成果，而公眾科學(xué)項目游戲化設(shè)計和教育游戲均存在顯著的教育性與游戲化特征，因此對本文中公眾科學(xué)項目的游戲化設(shè)計評價指標體系構(gòu)建而言，教育領(lǐng)域相關(guān)游戲化設(shè)計評價指標研究成果將具有較高的借鑒意義。本文對國內(nèi)外教育游戲評價領(lǐng)域較為成熟的指標體系研究文獻進行了整理和歸納，能夠直觀的看出教育游戲評價指標體系的研究進展（見表1）。

由表中可以看出，首先，盡管現(xiàn)有教育游戲評價指標體系眾說紛紜，但需要包含教育性和游戲性兩個基礎(chǔ)維度已是學(xué)界共識。因此在公眾科學(xué)項目的游戲化設(shè)計中，除根據(jù)項目內(nèi)容制定相應(yīng)的教育目標外，設(shè)計者還應(yīng)將游戲質(zhì)感、反饋、激勵機制等影響用戶游戲交互體驗的因素納入考慮范疇，故將教育目標和游戲交互體驗作為本文評價體系的一級指標;其次，在上述評價指標體系中還可以發(fā)現(xiàn)游戲系統(tǒng)中的可用性、易用性、技術(shù)性等因素也是影響游戲化評分的關(guān)鍵因素。而在公眾科學(xué)項目游戲化設(shè)計中，由于項目自身的開放性、群體協(xié)作性，大量不同背景的用戶在系統(tǒng)內(nèi)部進行檢索、傳播、聚合和評價等多種信息行為，對系統(tǒng)的穩(wěn)定性、易用性等方面提出了更高的要求，因此選擇系統(tǒng)保障作為游戲化設(shè)計評價體系的一級指標。此外，不同于教育游戲更側(cè)重于游戲的教育目標，公眾科學(xué)項目普遍存在教育和科學(xué)雙重屬性。雖然科研眾包下的公眾科學(xué)項目打破了科學(xué)研究與公眾間的藩籬，讓公眾接觸、理解乃至參與科研成為可能，但科研任務(wù)的簡化并不意味著科學(xué)標準的降低或科學(xué)意識的淡薄，因此有必要將科學(xué)目標作為一級指標，以評價項目游戲化設(shè)計中內(nèi)容的科學(xué)性。

綜上，本文選定教育目標、科學(xué)目標、游戲交互體驗、系統(tǒng)保障四個維度作為公眾科學(xué)項目游戲化設(shè)計評價體系的一級指標。

3.1.2? 二級指標確定

（1）教育目標。公眾科學(xué)項目自身便帶有顯著的教育特征，在項目的發(fā)起階段，需要對公眾開展培訓(xùn)以確保所有參與者有能力完成相關(guān)科研任務(wù);而在項目的推進過程中，科研任務(wù)內(nèi)容和復(fù)雜度也可能發(fā)生迭代，公眾需要及時學(xué)習(xí)并掌握相關(guān)技能才能夠順利完成任務(wù)。為保證教學(xué)效果，在公眾科學(xué)項目游戲化設(shè)計中，首先需要確保游戲情境和背景應(yīng)與項目內(nèi)容、任務(wù)要求相匹配，使用戶在培訓(xùn)中能夠明晰任務(wù)目標、意義及完成期限，掌握任務(wù)所需技能;其次，基于認知理論，用戶思維由認識理解向分析創(chuàng)造轉(zhuǎn)變的過程是循序漸進、逐漸深入的[35]，公眾科學(xué)項目游戲化設(shè)計需要擁有完整清晰、符合用戶認知規(guī)律的邏輯結(jié)構(gòu)，游戲由易到難逐步提升，根據(jù)項目進展依次傳授相關(guān)知識技能;第三，為防止用戶在使用過程中出現(xiàn)操作或認知障礙，游戲中應(yīng)提供詳細的注解和完備的操作指南;最后，參考其他教育性游戲評價體系[32]可以發(fā)現(xiàn)，游戲內(nèi)容的實際價值也是教育效果評判的關(guān)鍵指標。

基于此，本文總結(jié)出教育目標維度的具體指標內(nèi)容（見表2）。

（2）科學(xué)目標。與傳統(tǒng)科研項目相比，公眾科學(xué)項目中的科學(xué)傳播范式已經(jīng)由原先的科學(xué)普及、公眾接收理解科學(xué)模式逐漸向公眾參與并設(shè)計科學(xué)的新模式演變。為確保項目內(nèi)容、實施過程的科學(xué)嚴謹性，實現(xiàn)有效完成科研任務(wù)和提升公眾科學(xué)素養(yǎng)的雙重目標，有必要對公眾科學(xué)項目游戲化設(shè)計內(nèi)容的科學(xué)性相關(guān)指標開展評估。

首先，在公眾科學(xué)項目開展過程中可能存在海量計算、大規(guī)模的樣本采集、多樣性分析等復(fù)雜的任務(wù)行為[3]，因此公眾科學(xué)項目游戲化設(shè)計需要嚴格遵循科學(xué)標準，才能夠保證最終結(jié)果的有效性;其次，游戲化設(shè)計內(nèi)容還要能夠?qū)崿F(xiàn)提升公眾科學(xué)素養(yǎng)的目標。關(guān)于科學(xué)素養(yǎng)評估，Miller[36]最早提出了科學(xué)素養(yǎng)三維模型，包括對科學(xué)知識和術(shù)語的理解、對科學(xué)研究方法和過程的理解以及科學(xué)與社會間的相關(guān)關(guān)系的理解三個方面。王素[37]則認為科學(xué)素養(yǎng)應(yīng)包含四大核心要素：（1）對科學(xué)技術(shù)、術(shù)語、方法有一定認知;（2）理解科學(xué)、技術(shù)和社會三者間的關(guān)聯(lián);（3）擁有科學(xué)精神，對科學(xué)保持一定的好奇和嚴謹?shù)膽B(tài)度;（4）能夠利用科學(xué)技術(shù)進行創(chuàng)造或解決世界問題。2000年OECD發(fā)布的國際學(xué)生科學(xué)素養(yǎng)測試大綱（PISA）則更加側(cè)重評估在科學(xué)技術(shù)情境下，學(xué)生能否展現(xiàn)出與其掌握的科學(xué)知識相匹配的科學(xué)能力水平[38]。而一個具有科學(xué)素養(yǎng)的公民，應(yīng)該理解科學(xué)，積極參與科學(xué)，對科學(xué)保持一定的好奇和嚴謹?shù)膽B(tài)度，因此科學(xué)態(tài)度和科學(xué)意識也應(yīng)該在評價指標體系中占有一席之地[39]。據(jù)此，本文選擇了知識性、方法性和參與創(chuàng)造性作為科學(xué)素養(yǎng)方面的評價指標。此外，作為一項跨越時空的大型科研任務(wù)，公眾科學(xué)項目需要參與者群體協(xié)作才能夠完成。因此在游戲中有必要設(shè)計交流與討論功能，有助于促進不同科研團隊在時間維度和空間維度的交流和創(chuàng)新，優(yōu)化科研資源的配置[3]。

基于此，本文總結(jié)出科學(xué)目標維度的具體指標內(nèi)容（見表3）。

（3）游戲交互體驗。游戲化是指在非游戲的情境中融入游戲化元素[40]，在游戲化設(shè)計中游戲元素的合理利用能夠增強用戶參與的動機，從而提高參與者的黏性和解決實際問題。Houtari[41]則更加強調(diào)游戲化設(shè)計為用戶帶來的游戲性體驗，他認為游戲化項目不僅僅體現(xiàn)在游戲化機制的植入，而是利用游戲般的體驗來強化服務(wù)和功能，最終創(chuàng)造更多的價值。拋開公眾科學(xué)項目游戲化設(shè)計的教育和科學(xué)外衣，游戲化設(shè)計的核心還應(yīng)該是游戲，因此從用戶的游戲交互體驗角度對游戲化設(shè)計品質(zhì)進行評價順理成章。

Chou[42]對用戶游戲行為進行長期觀察后總結(jié)出游戲化中影響用戶參與體驗的八大核心驅(qū)動力，具體包括：（1）重大使命感和召喚;（2）進度與成就感;（3）創(chuàng)造授權(quán)與反饋;（4）所有權(quán)與擁有感;（5）社交影響與同理心;（6）稀缺性與渴望;（7）未知性與好奇心;（8）虧損與逃避心。因此，在公眾科學(xué)項目游戲化設(shè)計中應(yīng)囊括以下四點：（1）成就感。用戶能夠在游戲中實現(xiàn)自我價值，獲得成就感;（2）互動性?；有约仁枪娍茖W(xué)項目的顯性特征，也是科研任務(wù)完成的前提條件[3]，因此游戲中要能夠滿足用戶的社交性、社區(qū)歸屬感需求，用戶間可以互相交流、競爭或合作;（3）激勵機制。在游戲中設(shè)置獎懲激勵機制，研究表明經(jīng)驗、勛章等游戲機制能夠顯著提升用戶的持續(xù)參與興趣[9];（4）娛樂性。作為游戲化基本特性之一，娛樂性是人們參與、沉浸在游戲中的重要因素。而在公眾科學(xué)項目游戲化設(shè)計中，應(yīng)注意弱化科學(xué)研究在公眾心目中的嚴肅印象，增強游戲趣味性，滿足用戶的探索需求和娛樂需求。

此外，OBrien[43]在研究中還發(fā)現(xiàn)美學(xué)對用戶體驗存在正向激勵，因此強化公眾科學(xué)項目游戲的藝術(shù)感，能讓原本枯燥的任務(wù)變得更加形象生動[43]。而聽覺、視覺、觸覺多種感知的疊加組合，讓用戶能夠全身心投入游戲，實現(xiàn)flow狀態(tài)，滿足用戶的沉浸式體驗。最后，游戲化設(shè)計需要滿足用戶的自主和控制需求，在游戲中用戶能夠自主選擇游戲難度、時長或者對游戲中各類設(shè)置選項進行控制以滿足其個性化需求。

基于此，本文總結(jié)出游戲維度的具體指標內(nèi)容（見表4）。

（4）系統(tǒng)保障。由于公眾科學(xué)項目大都依托技術(shù)平臺建立，因此用戶參與行為將無可避免地涉及大量信息技術(shù)的使用，信息技術(shù)接受模型嘗試從理性角度分析了技術(shù)的有用性、易用性、態(tài)度等因素對用戶行為意圖的影響[44]。在教育領(lǐng)域的游戲化實踐中，已經(jīng)積累了大量游戲案例，這些游戲從本質(zhì)上而言類似于軟件產(chǎn)品，而公眾科學(xué)項目中的眾包平臺作為在線應(yīng)用本身也需要從技術(shù)維度進行分析。因此，本文將借鑒教育游戲評價中的系統(tǒng)和技術(shù)性相關(guān)指標完成系統(tǒng)維度的指標構(gòu)建。

在系統(tǒng)維度評估中，可用性是最為重要的評價指標之一?？捎眯匝芯款I(lǐng)域?qū)＜襈ielsen[45]在研究中指出，可用性評價包含5個維度：可記憶性、可學(xué)習(xí)性、高效性、容錯性和滿意度。而在實際應(yīng)用中，可用性因側(cè)重點不同又進一步分解為交互效率、用戶界面、軟件內(nèi)容等二級指標。由此可見，倘若將公眾科學(xué)項目游戲視作一個完整的信息系統(tǒng)，其可用性設(shè)計狀況將對整個系統(tǒng)的交互效率、用戶滿意度等指標產(chǎn)生深遠影響。此外，在公眾科學(xué)項目中，不同背景的參與者在科研任務(wù)中可以扮演不同的角色，如數(shù)據(jù)采集者、匯報者、設(shè)備共享者等，用戶能夠在群體協(xié)作模式下完成研究設(shè)計、協(xié)作式信息分析、輔助式研究開發(fā)等工作[3]。因此，公眾科學(xué)項目游戲化系統(tǒng)需要具備一定的開放性，降低所有潛在參與者的進入門檻，同時該系統(tǒng)也需為用戶在線協(xié)作活動提供必要的技術(shù)支持。

因此，本文擬從可用性、易用性等角度構(gòu)建公眾科學(xué)項目游戲化設(shè)計系統(tǒng)維度指標體系（見表5）。

3.1.3? 評價指標體系的最終確定

在分別完成教育目標、科學(xué)目標、游戲交互體驗和系統(tǒng)保障四個維度的評價指標體系構(gòu)建后，筆者發(fā)現(xiàn)各維度指標間存在部分重合，故剔除不同維度內(nèi)概念相近的二級指標，僅保留該指標在核心維度的表達，最終確定公眾科學(xué)項目游戲化設(shè)計評價指標體系包含四個維度（A-D）共計22項指標（見表6）。

3.2? ? 公眾科學(xué)項目游戲化設(shè)計評價指標權(quán)重的確定

通過文獻分析，本文完成了公眾科學(xué)項目游戲化設(shè)計相關(guān)評價指標體系構(gòu)建，包含4個維度共計22項指標。為進一步確定不同指標間的重要性，本節(jié)將采用層次分析法，邀請專家評分并構(gòu)建判斷矩陣，計算評價體系內(nèi)各項指標權(quán)重。

公眾科學(xué)項目游戲化設(shè)計相關(guān)研究目前還處于起步階段，研究團體較為零散，且國內(nèi)公眾科學(xué)項目尚未普及，參與者規(guī)模較小。為保證研究的科學(xué)性和嚴謹性，本文邀請公眾科學(xué)項目研究人員以及其他深入?yún)⑴c過游戲化和公眾科學(xué)項目設(shè)計的業(yè)界人員作為群體決策專家。本文共計發(fā)放調(diào)查問卷20份，回收問卷20份，有效問卷17份，無效問卷3份，問卷整體有效性為 85%。

3.2.1? 指標權(quán)重計算

收集所有專家數(shù)據(jù)后，對其進行平均值運算，將運算結(jié)果作為建立判斷矩陣的依據(jù)，確定指標的兩兩相對重要性，建立判斷矩陣并計算出權(quán)重（見表7）。

3.2.2? 一致性檢驗

當(dāng)判斷矩陣的階數(shù) n>2 時，往往難于構(gòu)造出具有良好一致性的判斷矩陣，因此有必要進行一致性檢驗以判定由判斷矩陣計算出的權(quán)重是否合理。對于一致性的檢驗，首先引入各個斷矩陣的最大特征根λmax，再由CI=，求出CI的大小，最后引入指標RI值，通過查看相應(yīng)階數(shù)的 RI 值來檢驗判斷矩陣的一致性。倘若判斷矩陣的階數(shù)小于3，則判斷矩陣具有較強的一致性;如果判斷矩陣的階數(shù)大于2， 判斷矩陣的一致性指標 CI 與相同階數(shù)的平均隨機一致性指標 RI（見表 8）的比值，稱為隨機一致性比率 CR，即CR=。

當(dāng) CR<0.1時，判斷矩陣通過一致性檢驗，此時判斷矩陣的滿意一致性較高。根據(jù)上述方法，可以計算出各判斷矩陣的一致性檢驗結(jié)果（見表9）。

從表中可以發(fā)現(xiàn)，各判斷矩陣的 CR 值均小于 0.1，所有矩陣均通過了一致性檢驗，具有滿意的一致性。

3.2.3? 指標權(quán)重分析

通過一致性檢驗后，本文將各級權(quán)重逐層相乘計算總權(quán)重，整合所有子層次指標權(quán)重計算結(jié)果，最終確定公眾科學(xué)項目游戲化設(shè)計評價各項指標的權(quán)重系數(shù)（見表10）。

由表10可以發(fā)現(xiàn)以下幾點：

（1）公眾科學(xué)項目游戲化設(shè)計評價指標體系的權(quán)重分布呈現(xiàn)兩極化，極差達到0.1459。其中，嚴謹性和科學(xué)意識權(quán)重均大于0.1，說明作為科學(xué)研究活動，科學(xué)性仍然是公眾科學(xué)項目游戲化設(shè)計中首要考慮的因素。此外，權(quán)重排序前3的嚴謹性、科學(xué)意識、內(nèi)容價值性指標的權(quán)重系數(shù)明顯高于其他指標，這也與公眾科學(xué)項目的教育、科學(xué)雙重目標相吻合。

（2）雖然公眾科學(xué)項目游戲化設(shè)計需要強調(diào)游戲內(nèi)容的科學(xué)性和教育性，但娛樂性指標與系統(tǒng)易用性指標分列四、五位同樣不可忽略。娛樂性指標靠前凸顯了用戶對有趣、愉快的游戲體驗的需求，而易用性則表明在公眾科學(xué)項目移植到游戲化情境中，系統(tǒng)技術(shù)層面用戶更看重的是否能更加便捷、有效地理解、執(zhí)行任務(wù)。

（3）在權(quán)重前10的二級指標中，教育目標和科學(xué)目標分別有三項，游戲交互體驗和系統(tǒng)保障各自擁有兩項，這表明本文游戲化設(shè)計評價指標體系一級指標設(shè)置較為合理，能夠涵蓋多數(shù)重點細分指標。此外值得注意的是，雖然娛樂性、系統(tǒng)易用性、系統(tǒng)穩(wěn)定性、激勵機制等指標受到了部分重視，游戲交互體驗和系統(tǒng)保障兩個維度下的二級指標權(quán)重整體排名仍相對靠后，說明在公眾科學(xué)項目游戲化設(shè)計中，游戲只是一種表征形式，是觸發(fā)用戶參與動機的輔助手段，尚未真正成為設(shè)計重點。