孫玉偉 鞏禮男 蘇 軍

(山東師范大學圖書館，山東濟南 250014)

1 引言

出聲思考技術(Think Aloud,以下簡稱TA)也稱為協(xié)議分析(Protocol Analysis)、口語報告法(Verbal Protocol)等，最早源于上世紀80年代的認知心理學研究，是由古老的內(nèi)省(Introspection)方法發(fā)展演變而來[1]。是指在研究對象解決問題的過程中，大聲將其正在進行的行為和思考過程用口頭語言表述出來，同時用錄音機和視頻錄下全部口述和操作，并轉錄整理成文字材料，對口語記錄進行分析的方法。TA在研究中有助于理解行動或行為背后的思想，是一種模型化認知過程的方法[2]，目前已經(jīng)在廣泛應用在心理學[3]、教育學[4]、語言翻譯[5]以及臨床醫(yī)學決策[6]等領域。

上世紀90年代，TA開始在圖情領域得到應用，在圖情領域的重要期刊論文(如IP&M、L&ISR、JASIST期刊)以及博士論文[7]中均有應用。比如在信息行為相關研究中，要找到合適的方式來了解用戶的潛在思想和認知過程是非常必要的[8]，TA滿足了研究人員這一需求，不僅可以用于情感和認知過程的探索，也可以用于基于知識的系統(tǒng)構建[9]，這也是圖情領域認知范式和建構主義范式應用的具體表現(xiàn)。TA的優(yōu)勢在于①信息容易收集；②使探索人們在任務表現(xiàn)中所經(jīng)歷的反應、情感和問題成為可能；③TA協(xié)議數(shù)據(jù)可以在給定時間內(nèi)讓我們觀察到認知過程的序列步驟，而不是獲得一個過程重點的整體描述。

LISA數(shù)據(jù)庫顯示，圖情領域TA相關文獻共1700多篇，2000年以來的文獻占了1500多篇，近10年來處于持續(xù)增長的態(tài)勢。經(jīng)過30多年發(fā)展應用，仍是現(xiàn)階段圖情領域比較重要的數(shù)據(jù)收集方法之一。為了進一步理解和完善TA技術在圖情領域的應用，有必要對現(xiàn)有相關實證研究文獻進行梳理分析，為其在圖情領域的深化應用提供參考。

2 研究方法

本研究采用內(nèi)容分析法對1993年到2020年間的103篇利用TA進行實證研究的期刊論文進行梳理。內(nèi)容分析法是一種將定性素材轉換為定量數(shù)據(jù)的方法[10]，依據(jù)從文獻中獲得的直接信息編碼構建合理類別，不強加先入為主的范疇或理論觀點[11]。本研究參照風笑天《社會學研究方法》[12]和姜婷婷等人[13]關于內(nèi)容分析的步驟，具體操作如下：選定研究的分析單元、界定目標總體的范圍、抽取樣本、根據(jù)實證研究的基本步驟構建主要分析維度，然后基于文獻內(nèi)容本身提取類目并構建編碼體系、閱讀原始文獻進行人工編碼，最后進行數(shù)據(jù)統(tǒng)計分析得出結果[14]。

2.1 數(shù)據(jù)來源

本研究以WOS(Web of Science核心合集)的SSCI子庫作為主要數(shù)據(jù)來源，檢索式為：主題=think aloud，篩選類別為“INFORMATION SCIENCE LIBRARY SCIENCE”，檢索時間為2020年10月18日，獲得檢索結果122條。通過瀏覽文獻的摘要以及全文，選擇利用TA技術作為數(shù)據(jù)收集方法的實證研究論文，刪除書評、綜述、方法介紹類等論文，得到了從1993到2020年間發(fā)表的實證論文103篇作為研究樣本。

2.2 分析框架

本研究依據(jù)所分析的原始文獻進行類目構建，設置了研究主題、研究目的、任務情境設計、數(shù)據(jù)收集、數(shù)據(jù)分析五個分析維度。之后通過對維度的具體內(nèi)容進行標記并參考相關文獻對維度進行下一級類目的劃分，歸納出二、三、四級類目，如表1所示。

表1 TA技術的應用分析框架

一級類目二級類目三級類目四級類目編碼任務情境設計TA協(xié)議類型并發(fā)口頭協(xié)議C28回顧口頭協(xié)議C29數(shù)據(jù)收集數(shù)據(jù)收集的有效性和可靠性有效性D1可靠性D2兩者均有D3兩者均無D4輔助數(shù)據(jù)收集方法訪談法E1問卷調(diào)查法E2觀察法E3事務日志E4其他方法E5數(shù)據(jù)分析定性分析內(nèi)容分析F1扎根理論F2主題分析F3定量分析描述性統(tǒng)計分析F4方差分析F5回歸分析F6假設檢驗F7

(1)研究主題：通過對文章摘要的閱讀，將TA相關文獻的研究主題分為信息行為研究和信息系統(tǒng)研究兩大類作為二級類目，結合Wilson關于信息行為定義[15]和樣本文獻實際情況，將信息行為研究分為了信息源選擇、信息查詢和信息選擇與使用三部分。信息源選擇是指文章側重研究參與者對眾多信息源進行對比、分析、鑒別后，篩選出適用信息源的過程[16]。信息查詢是指在發(fā)現(xiàn)問題、解決問題、主動尋求信息[17]過程中的信息獲取行為。信息選擇與使用是指與參與者現(xiàn)有知識結構的合成、同化以建立理解、或進行相關性標準和維度評判的過程。信息系統(tǒng)研究依據(jù)信息系統(tǒng)構建過程分為信息系統(tǒng)開發(fā)、可用性測試、交互、評估四部分。其中，信息系統(tǒng)可用性測試借鑒ISO 9241-11中關于“可用性”的定義，即“在特定的使用環(huán)境下，特定的用戶可以在多大程度上有效、高效、滿意地使用產(chǎn)品來實現(xiàn)特定的目標”[18]。信息系統(tǒng)交互是指研究用戶與信息系統(tǒng)如何互動，以及交互中的思考、感知、行為和感覺。信息系統(tǒng)評估是對信息系統(tǒng)的建設過程和系統(tǒng)性能進行全面估計、檢查、測試、分析和評審，以確定系統(tǒng)建設程度的過程。

(2)研究目的：TA研究的目的主要包括識別和理解參與者的信息行為和識別信息系統(tǒng)相關問題兩大部分。Kuhlthau的經(jīng)典ISP模型認為整個信息搜索過程是人類行為三個方面的整合，即情感、想法和行動[19]。將這一觀點稍加擴展，再結合樣本文獻的研究過程側重點，將其分為查詢、行為策略，認知過程和情感過程三類。其中查詢、行為策略是指參與者在明確信息需求基礎上對整個檢索過程的規(guī)劃，包括分析檢索問題、選擇檢索途徑、檢索式構建、適應性策略的提出等。認知過程是探討參與者在執(zhí)行TA任務時參與者的思考、感知及其如何影響行動的過程。情感過程是指關注參與者在交互時的感受、想法、情緒。在信息系統(tǒng)方面，主要目的是通過TA識別互動和可用性問題，幫助信息系統(tǒng)實現(xiàn)相應功能優(yōu)化。

(3)任務情境設計：主要包括任務情境、是否進行試點研究(Pilot Study)、任務、樣本選擇、觀察者參與程度、TA協(xié)議類型六個方面。任務情境是指承載TA行為的交互實體，包括桌面設備(如計算機)、移動設備(如手機)、線下環(huán)境(如圖書館)；試點研究是對參與者進行任務培訓，檢查參與者提供解決方案的能力以確定其是否有資格參與研究的重要手段[20]，同時也可幫助研究人員測試編碼方案是否足以解決研究問題和檢查任務設計的技術完備性[21]。

按照任務目標將TA任務劃分為五種類型：搜索任務——關注參與者搜索過程(如檢索式的創(chuàng)建、選擇等)的任務；交互任務——側重于探討參與者與信息系統(tǒng)交互的過程；搜索、交互任務均有——與搜索系統(tǒng)發(fā)生交互，通過提交查詢式獲取信息以評測信息系統(tǒng)的過程[22]；評估任務——是指在信息系統(tǒng)開發(fā)、實施完成或已推廣應用的情況下，對系統(tǒng)的建設過程、應用效果及未來適應能力進行綜合評估的任務；其他任務——無法劃分到以上四類的任務。樣本根據(jù)抽樣方法不同，分為便利抽樣、立意抽樣和分層抽樣；觀察者參與程度分為無參與、淺度參與(指觀察者在參與者沉默時提醒或參與者沮喪程度較高或任務難以進行時給予提示的情況)、深度參與(允許觀察者與參與者互動以澄清與信息或溝通事件相關的問題)；TA協(xié)議類型遵循Ericsson和Simon的并發(fā)口頭協(xié)議和回顧口頭協(xié)議兩種類型的劃分[23]：并發(fā)口頭協(xié)議(CTA)——多依賴參與者的短期記憶，參與者在執(zhí)行任務的同時不斷地描述他們的想法而無需解釋原因[24]?；仡櫩陬^協(xié)議(RTA)——在任務完成之后，參與者回憶其思考過程并口述出來。

(4)數(shù)據(jù)收集：包括TA數(shù)據(jù)收集的有效性和可靠性和輔助數(shù)據(jù)收集方法兩方面。數(shù)據(jù)收集的有效性和可靠性是兩個伴生的概念，他們決定了研究結果的說服力，是研究方法設計和分析時考慮的重要因素。有效性指測量工具或測量手段能夠準確測出所要測量的變量的程度，或能夠準確、真實地度量事物屬性的程度。可靠性指采取同樣的方法對同一對象重復進行測量時，其所得結果相一致的程度，即測量結果的一致性或穩(wěn)定性[25]。

在TA實證研究文章中，研究者往往會將其他數(shù)據(jù)收集方法與TA法相結合來獲取更為豐富、全面的數(shù)據(jù)。主要方法有訪談、問卷調(diào)查、觀察、事務日志、其他方法(日記法、焦點小組、眼動追蹤)等。如結合半結構化訪談用于澄清TA過程中研究人員不理解的參與者的陳述和意見，建立參與者使用術語和過程之間的關系，及詳細闡述之前行為原因；結合問卷調(diào)查用來采集參與者的人口統(tǒng)計學信息；結合觀察法用自己的感官和輔助工具去直接地、有針對性地了解正在發(fā)生、發(fā)展和變化著的現(xiàn)象[26]。

(5)數(shù)據(jù)分析：數(shù)據(jù)分析方法指的是TA數(shù)據(jù)經(jīng)過轉錄后的數(shù)據(jù)分析方法。本研究根據(jù)數(shù)據(jù)類型和分析過程的差異分為定性分析方法和定量分析方法。定性分析方法主要包括內(nèi)容分析、扎根理論和主題分析；定量分析方法包括描述性統(tǒng)計分析、方差分析、回歸分析、假設檢驗等。

2.3 編碼的信度分析

根據(jù)本研究構建的分析類目，由兩名研究人員分別對103篇文獻進行編碼，然后對其中意見不一致的情況進行討論協(xié)商，確定最終的編碼方案。編碼完成采用計算編碼一致性的霍斯提公式來衡量內(nèi)容分析的信度[27]：編碼者間信度=2m/(m1+m2)。其中，m為一致的編碼數(shù)，m1、m2為兩位編碼員各自的編碼數(shù)。經(jīng)計算得兩位編碼者的一致性系數(shù)為0.92，達到了一致性的較好水平(0.9以上)。

3 結果

3.1 研究主題

經(jīng)分析可知，103篇TA實證研究文獻主要集中在信息行為和信息系統(tǒng)研究領域，信息行為研究占比略高于信息系統(tǒng)研究。其中，信息行為以信息選擇與使用(N=33，32.04%)和信息查詢研究(N=24，23.30%)為主；信息系統(tǒng)以交互策略(N=15，14.56%)和可用性測試研究(N=14，13.59%)以及信息系統(tǒng)評估(N=10,9.71%)研究為主。信息行為與信息系統(tǒng)研究研究主要用來針對學生或科研人員群體探索其在信息活動中的認知過程和信息系統(tǒng)交互及可用性測試，在信息系統(tǒng)交互方面還包括與特殊人群如盲人[28]自閉癥人群[29]交互過程中的尋求幫助情況以及相應功能的測試。在可用性測試和評估方面，多采用實證方法如相關性反饋[30]、多次比較反饋[31]、與網(wǎng)站交互從有效性、易用性、滿意度三方面對信息系統(tǒng)進行評估[32]。

3.2 研究目的

如圖1所示，信息行為和信息系統(tǒng)研究中對認知過程的探索占到總文獻的一半以上(N=58，56.31%)，這也印證了信息行為和信息系統(tǒng)以用戶為中心的研究中認知范式的主導地位。其次的研究目的是信息系統(tǒng)功能優(yōu)化(N=33，32.04%)，其中包含信息系統(tǒng)使用的可用性評估/測試研究等。另外，信息行為和信息系統(tǒng)中的信息查詢、行為策略(N=22，21.36%)也是較為重要的研究目的，而情感過程(N=11，10.68%)的探索較少涉及。

圖1 TA研究目的分布

3.3 任務情境設計

3.3.1 任務情境和試點研究

任務情境是由研究目的決定的。TA任務情境以桌面設備(比如計算機終端等設備，N=81,78.64%)為主，以移動設備(如手機，N=14,13.59%)和線下環(huán)境(N=5,4.85%)為輔，還有少量研究沒有提及任務情境(N=3,2.91%)。任務情境多為參與者感到舒適、放松、安靜的環(huán)境，這樣可以使參與者集中在任務上，盡可能避免干擾。

在103篇實證研究文獻中，未進行試點研究(Pilot Study)或培訓的數(shù)量相對較多，占比63.11%(N=65)，進行試點研究或培訓的數(shù)量較少，占比36.89%(N=38)。對于參與者來說，在正式研究之前進行必要的培訓進行試點研究可以幫助他們更好的言語化表達，熟悉口語化的思維方式，使研究取得更好成效。

3.3.2 任務類型、任務數(shù)量和任務時限

在任務類型中，搜索任務占比最大(N=44，42.72%)，搜索任務與交互任務相結合方式占比11.65%(N=12)，由此可見，搜索任務常與TA結合通過交互式信息搜尋對參與者的認知思維過程和情感進行探索性研究，用以分析不同用戶群體的信息查詢、搜索及使用行為等；除了搜索任務和交互任務，評估任務占比27.18%(N=28)，主要對數(shù)字圖書館或一般信息系統(tǒng)的可用性問題，也是TA任務的重要類型之一。

文獻任務數(shù)量方面，52.43%(N=54)的文獻任務數(shù)量大于1個，小于等于5個，僅有3.88%(N=4)的任務數(shù)量大于10個。由于TA任務的特殊性，43.69%(N=45)的研究文獻未規(guī)定任務時限。任務時限與任務的難易程度有較大關系。僅有15.53%(N=16)的文獻任務時限超過了60分鐘。

3.3.3 樣本選擇、觀察者干預程度與TA協(xié)議類型

樣本選擇類型方面，立意抽樣占比54.37%(N=56)，便利抽樣占比36.89%(N=38)，分層抽樣占比8.74%(N=9)。由此可見，TA方法多使用與研究需要相契合的立意抽樣，根據(jù)研究目的選擇具有典型性和多樣性的研究樣本，如在盲人的數(shù)字圖書館可用性研究中通過對樣本人群預調(diào)查設置實驗組和對照組，嚴格控制兩組性別、視力情況等因素，對數(shù)字圖書館的幫助功能進行測試[33]、在針對患者的結果報告數(shù)據(jù)可視化偏好研究中采用兩階段不同樣本納入標準，盡量實現(xiàn)受試人群的多樣化[34]。

研究主題和研究目的會影響樣本量大小的選擇。在TA實證研究中規(guī)模相差較大。樣本小于等于20人的占一半以上(N=58，56.31%)，在20人和50人之間的次之(N=39，37.9%)，大于50人的情況較少(N=4，3.88%)。由于TA整個過程(包括數(shù)據(jù)收集、數(shù)據(jù)整理和數(shù)據(jù)分析)相當復雜且耗時，因此當研究人員使用這種方法實施項目時，樣本量通常不會很大?，F(xiàn)有研究認為一般情況下，樣本數(shù)量在10人到30人時，小樣本不會影響TA任務的準確性[35]，如Selinda在信息檢索行為研究中發(fā)現(xiàn)，在數(shù)據(jù)收集進行到20個人時，數(shù)據(jù)即可達到飽和[36]。而有的研究指出在采用TA分析可用性測試問題時，只需要4-5個參與者就可以確定大約80%的可用性問題[37]，原因一方面是TA在進行每一個單獨會話時會產(chǎn)生豐富廣泛的數(shù)據(jù)，另一方面是可用性的研究主題決定的。

選取2017年6月～2018年6月院內(nèi)收治的患有心血管疾病的患者86例作為研究對象，將其隨機分為對照組與觀察組。其中，男54例，女32例，年齡55～86歲，平均（68.25±2.84）歲；高血壓28例，高脂血癥19例，心律失常22例，心肌梗塞17例。兩組患者一般資料對比，差異無統(tǒng)計學意義（P＞0.05）。

觀察者干預程度方面，多數(shù)任務是研究人員無參與，如消費者行為研究[38]、信息檢索評估研究[39]等，淺度參與和深度參與數(shù)量相差不大，多集中于信息行為研究中的信息查詢與信息選擇與使用領域。

表2展示了本研究中TA協(xié)議類型分布情況。絕大多數(shù)研究(N=102，96.23%)采用了并發(fā)口頭協(xié)議的形式來獲取數(shù)據(jù)。并發(fā)口頭協(xié)議可以在沒有問題導向偏差的情況下，把握參與者正在進行信息處理的狀態(tài)，呈現(xiàn)實際想法。同時也可使研究人員發(fā)現(xiàn)參與者TA的持續(xù)時間，揭示潛在的信息處理模式[40]。相比之下，回顧口頭協(xié)議依賴于參與者的長期記憶，給參與者提供了一種“最小阻力路徑”來描述其執(zhí)行任務的過程，參與者往往會較少提到任務過程中遇到的“死胡同”或錯誤的方式[41]，完成任務和口頭報告之間的時間間隔會給收集的數(shù)據(jù)帶來大量主觀性解釋，這種主觀性可能會對收集的數(shù)據(jù)產(chǎn)生負面影響[42]，需在具體研究中仔細鑒別。

表2 TA協(xié)議類型分布

3.4 數(shù)據(jù)收集

3.4.1 數(shù)據(jù)收集的有效性和可靠性

表3展示了TA數(shù)據(jù)收集方法的有效性和可靠性分布。92.38%的研究中并未涉及到數(shù)據(jù)收集的有效性和可靠性問題，僅有5篇文獻(N=6，5.71%)利用引用關鍵核心理論[43]、從專家處征求意見[44]、對樣本文獻進行雙倍評分計算信度[45]的方式來保證有效性，有1篇文獻在保證有效性的基礎上，通過Test-retest再測信度保證數(shù)據(jù)的可靠性[46]。

表3 數(shù)據(jù)收集方法的有效性和可靠性分布

3.4.2 輔助數(shù)據(jù)收集方法

TA實證研究文獻使用最多的輔助數(shù)據(jù)收集方法是訪談法(N=57，55.34%)和問卷調(diào)查法(N=47，45.63%)，并輔以事務日志(N=14，13.59%)和觀察法(N=14，13.59%)。訪談法和問卷調(diào)查法旨在通過提出更適合文化、社會、語言的問題來提高調(diào)查結果的準確性[47]。事務日志的使用為TA協(xié)議和參與者伴隨動作之間提供了一座橋梁，增加了研究人員對TA協(xié)議理解的可能性[48]。其他方法使用較少，具體包括眼動追蹤[49]、焦點小組[50]、日記法[51]、民族日志[52]等，這些方法與TA結合一同捕捉任務過程中的話語、眼球運動、屏幕移動以及任務后的任務難度及結果滿意度感知等[53]，實現(xiàn)多途徑最大化獲取數(shù)據(jù)，豐富了研究角度。

3.5 數(shù)據(jù)分析

在數(shù)據(jù)分析方面，大部分文獻同時使用了多種分析方法。整體來看，定性分析法的使用更為頻繁，其中內(nèi)容分析法是最常使用的分析方法(N=83，80.58%)，扎根理論次之(N=9，8.74%)。扎根理論是一種從數(shù)據(jù)出發(fā)，歸納核心概念和范疇構建理論的方法。定量分析方法中描述性統(tǒng)計分析方法占比較高(N=20，19.42%)，常用來輔助進行協(xié)議分析編碼類別統(tǒng)計。假設檢驗占比較少(N=3,2.91%)，主要是在研究人員在探討樣本與樣本、各影響因素與情況之間有無顯著關系的情況下使用。

4 TA應用的關鍵問題

TA在信息行為和信息系統(tǒng)研究中的應用使挖掘信息活動過程中的認知和價值評估特征等成為可能，表現(xiàn)出信息收集的易用性和及時性等特點，但現(xiàn)有研究在TA的任務情境設置(包括參與者認知情況判斷、是否進行試點研究、樣本選擇、數(shù)據(jù)收集有效性和可靠性、科研人員的角色)和數(shù)據(jù)分析解釋方法上仍較為模糊。

4.1 TA任務情境設置

4.1.1 任務說明與試點研究

①在任務開始之前要與參與者說明研究目的,給予參與者充分的指示說明。Stratman & Hamp-Lyons指出如果研究人員給參與者的指示不充分，研究人員在觀察期間的語言或非語言暗示可能導致不適當?shù)恼Z言表達[54]。②任務設置要考慮參與者的認知水平差異和任務難度，TA任務要嚴格評估參與者的認知能力，在研究開始前對每個參與者所處認知階段進行劃分，針對認知差異，采用合適的引導策略，這樣既避免了“高認知負荷”任務對參與者的表達的影響[55]，也避免了簡單任務執(zhí)行中的自動化問題[56]。如Branch將參與者劃分為獲取(acquisition)、鞏固(consolidation)和磋商(consultation)三個階段[57]，在不同的階段采取不同的指示說明和干預。在獲取階段的參與者大多通過觀察、模仿研究人員的指導，很少能同時做到完成任務和談論任務；在鞏固階段中參與者可以更加有計劃和提出問題，表達變得更高效；在磋商階段的參與者可以在自己完成任務的情況下為其他人提供援助和與他人有效合作。③合理設置輔助數(shù)據(jù)收集方法。如在參與者進行任務之前進行問卷調(diào)查，了解其年齡、性別、計算機技能、種族、專業(yè)能力、學習風格等特征，盡量減少研究人員與參與者之間的文化差異，這將幫助參與者更好的理解任務本身。④在復雜的任務中，要設置必要的試點研究，試點研究或培訓可以幫助研究人員限定與研究有關的分析范圍，保證任務過程的完備性[58]。

4.1.2 樣本的選擇與科研人員的角色(觀察者干預程度)

如前文所述，TA研究樣本一半以上集中在20人以下，部分研究集中在20-50人之間，這是由TA數(shù)據(jù)收集本身特征以及所要研究的主題決定的。TA收集到的數(shù)據(jù)內(nèi)容豐富，然而針對特定的研究主題如信息系統(tǒng)可用性研究則不需要太多的研究樣本，因此，在研究樣本的選擇上應以數(shù)據(jù)是否飽和并達到研究目標為準則，根據(jù)研究問題靈活選擇樣本數(shù)量。

對于在研究中科研人員是否可以干預TA進程，不允許干預的立場是擔心人為干預會打斷參與者的思路，影響任務思維活動的正常表達，先前使用自然主義觀察的研究要求科研人員與被觀察者保持社會可接受的距離，并要求觀察者不干涉參與者的任務或習慣，然而 Ericsson和Simon認為人對于思想的口語化表達不會干擾正在進行的認知過程，也不會影響任務表現(xiàn)速度，除非參與者的口語表達被研究者干擾。TA在臨床問題研究中，研究者常通過對參與者的刺激來實現(xiàn)對臨床環(huán)境的控制，進行預選和預篩任務，更好實現(xiàn)任務情境設計與研究目的的適配[59]。TA在信息行為研究中則允許觀察者與參與者互動，以澄清信息或事件相關的問題[60]，從而深入地探索參與者的信息活動行為特征[61]。因此，在實際操作中科研人員是否可以干預TA進程還是要依據(jù)研究問題和研究目的進行選擇，在盡可能不干擾參與者思維表達的情況下選擇不干預、部分干預和深度干預，但如何達到一個平衡點還需要研究者的靈活掌握。

4.1.3 TA數(shù)據(jù)收集的有效性和可靠性

大多數(shù)的研究沒有直接提及TA數(shù)據(jù)收集的有效性和可靠性問題， 這是因為TA數(shù)據(jù)收集難以像受控實驗一樣進行精確控制，數(shù)據(jù)收集多依靠參與者的口頭表達。Ericsson和Simon認為針對數(shù)據(jù)收集的有效性問題，建議使用多個數(shù)據(jù)源來進行調(diào)節(jié)，利用并發(fā)口頭協(xié)議與回顧性口頭協(xié)議為數(shù)據(jù)收集過程提供兩個窗口[62]，在并發(fā)協(xié)議之后使用回顧性的提問來對TA數(shù)據(jù)進行補充。Fitzgerald在他的博士論文中對于如何規(guī)避TA的缺陷進行了描述[63]，提出可以使用TA的思維語言、研究者對參與者的行為觀察、刺激回憶三種數(shù)據(jù)來源進行三角互證，來驗證TA數(shù)據(jù)收集是否存在問題，當表達的想法與行為不一致或者相互矛盾時，作者要求被試者立刻解釋行為或者通過后面的刺激回憶解釋行為。Fonteyn提出內(nèi)容效度指數(shù)(Content Validity Index，CVI)的概念來反映TA任務的相關性和真實性[64]，其中CVI是由專家小組通過對任務過程的綜合評估使用李克特量表獲得，同時專家小組的評論和建議也可以用來修正任務過程的不合理之處，進一步增強有效性。

4.2 TA協(xié)議的分析解釋

4.2.1 TA協(xié)議的分析解釋

分析結果表明，TA的樣本量集中在50人以下，這就決定了TA協(xié)議分析選擇假設檢驗的可能性比較小，這也從側面說明TA的優(yōu)勢在于挖掘思維過程、認知狀態(tài)，而不在于用定量分析驗證假設。這是因為TA本身耗時耗力的特點，多數(shù)研究中的樣本量較小，這會對定量研究產(chǎn)生限制。在對協(xié)議數(shù)據(jù)的定量處理過程中，極有可能忽略參與者在任務表現(xiàn)中不同思維風格的存在，低估了參與者之間的反應差異，影響對認知過程的深度研究[65]。而定性研究可以對思維深度、多樣性和復雜性進行有效解釋。使用定性分析解釋之前需要闡明解釋角度、參與者的性質(zhì)和數(shù)據(jù)處理過程等問題，若用定量分析則建議將每個TA參與者的任務解決過程視為小的、集中的案例研究，將重點放在捕捉思維特點及認知過程上，闡明參與者的個性與差異性。

4.2.2 編碼分析的信度問題

評估TA編碼分析的信度取決于整個研究中的客觀性和系統(tǒng)性策略。在保證獲取足夠完整的口頭報告之后才可進入?yún)f(xié)議編碼分析階段。大多數(shù)研究使用了內(nèi)容分析法。因此，在編碼方案應用之前，必須評估編碼方案和編碼過程，要求編碼方案完整、合理、明確。建議參考Fonteyn關于編碼分析的三個階段，即參考短語分析、斷言分析和編碼分析[66]。在參考短語分析階段篩選整理出轉錄協(xié)議中的名詞和名詞短語，并由研究人員給出定義；在斷言分析階段梳理各名詞短語在問題解決過程中的關系鏈接，最后在協(xié)議分析階段為參與者問題解決的全過程提供總體描述。在每一階段均由兩位以上對任務熟悉的研究者分別編碼，共同商量解決編碼不一致問題，利用信度計算保證研究的客觀性。同時，邀請相關領域的專家對編碼概念的定義準確性進行評估，進一步增強研究有效性。

5 結論

TA是一種有效的數(shù)據(jù)收集方法，能夠再現(xiàn)思維過程。本研究從TA應用于實證研究的過程入手，基于內(nèi)容分析法對TA在圖情領域的研究主題、研究目的、任務情境設計、數(shù)據(jù)收集和數(shù)據(jù)分析等進行了揭示。發(fā)現(xiàn)TA應用的研究主題集中在信息行為和信息系統(tǒng)領域，這也是圖情研究的重要核心領域，對這兩個領域在以用戶為中心的研究范式下探索人們?nèi)绾嗡伎肌⒏兄畔⒒顒拥慕换ミ^程，揭示用戶在信息活動中的策略、認知和情感對用戶信息活動的影響等，對解釋不同用戶群體的信息行為規(guī)律和信息系統(tǒng)交互特征以及系統(tǒng)可用性評估做了重要貢獻。TA的任務情境大多采用桌面設備；較少研究進行了正式研究之前的試點研究；TA任務類型以搜索和交互任務為主；根據(jù)不同的研究目的觀察者以無參與為主，淺度參與和深度參與為輔；TA協(xié)議類型多采用并發(fā)口頭協(xié)議，多與訪談法、問卷調(diào)查法結合進行數(shù)據(jù)收集，樣本抽樣以立意抽樣和便利抽樣為主，數(shù)據(jù)分析多采用定性分析法。除此之外，TA的任務情境設計、數(shù)據(jù)收集過程控制(數(shù)據(jù)收集有效性、研究人員角色)以及協(xié)議分析解釋仍較為模糊，是進行實證研究需要注意的關鍵問題。本研究填補了TA在圖情領域特別是信息行為和信息系統(tǒng)領域的應用框架分析的空白，可為TA在信息行為和信息系統(tǒng)領域的規(guī)范應用提供參考。