韓少勇,李仁德
(上海理工大學 管理學院,上海 200093)
市場經(jīng)濟環(huán)境下,企業(yè)之間的競爭愈發(fā)激烈,產(chǎn)品生命周期日漸縮短,消費者需求也隨之發(fā)生變化,以往的產(chǎn)品設計理念和方法已經(jīng)不適用,市場對產(chǎn)品設計提出了更高的要求。學術與工業(yè)界據(jù)此提出以“感性工學”理論與模式來指導新產(chǎn)品的開發(fā)。
日本馬自達汽車集團前會長山本健一于1986年首次提出感性工學[1],1989年日本學者長町三生開始發(fā)表一系列關于感性工學的論文和著作。感性工學作為一種新的技術手段,能把用戶對產(chǎn)品所產(chǎn)生的感覺意象轉(zhuǎn)化為設計要素[2]。該領域把工程心理學與設計科學結(jié)合起來,在工程心理學的基礎上來探討人與物之間的相互關系,從而使產(chǎn)品更加人性化[3]。Nagamachi[4]認為感性工學的研究內(nèi)容主要是:如何獲得消費者在工效、心理方面對產(chǎn)品的感性與意象;如何根據(jù)消費者的感性與意象來確定產(chǎn)品的設計要點;如何建立一套人因技術的感性工學系統(tǒng);如何根據(jù)社會變化及人們的偏好趨勢來修正已有的感性工學系統(tǒng)。
隨著信息技術的發(fā)展,電子商務已經(jīng)成為重要的營銷模式,該種模式主要利用電子商務網(wǎng)站向用戶展示其商品及信息,那么如何使設計的網(wǎng)頁吸引用戶就成為商家和設計人員最為關心的問題[5]。有關實驗表明,顯示界面的感性設計與理性設計有很大的關聯(lián)性,證實了“美的設計同時也會是好用的”這一推論[6]。只有站在用戶的角度,設計出適合用戶的更具人情味的產(chǎn)品,才能更好地被用戶接受,從而增加產(chǎn)品的用戶粘性[7-8]。
目前在產(chǎn)品人機界面評價方面,有關學者進行了大量的研究工作。李少波等[9]提出一種產(chǎn)品在線評論數(shù)據(jù)驅(qū)動的感性工學方法,以某電子商務平臺智能手機在線評論為數(shù)據(jù)源,提出詞頻與評估、強度、活動3個維度相結(jié)合的TFEPA(term frequency with evaluation-potency-activity)方法,采用面向在線評論的詞聚類結(jié)合程度副詞的方法計算感性評價值,構建了基于BP神經(jīng)網(wǎng)絡的非線性映射模型。鄧麗等[10]通過將人機界面中評價指標信息轉(zhuǎn)換為Vague數(shù),并基于Vague數(shù)距離和優(yōu)劣點法的綜合評價方法,對人機界面布局方案進行了評價與排序。趙慧亮等[11]針對人機界面內(nèi)容傳達、易用性和感性因素等方面建立評價指標體系, 運用 TOPSIS(technique for order preference by similarity to an ideal solution)法實現(xiàn)了對數(shù)字化人機界面方案的排序。Wang[12]提出了一種包括感性工學、粗糙集理論和灰色系統(tǒng)理論在內(nèi)的綜合方法,以電子商務網(wǎng)頁為目標,建立用戶喜好和網(wǎng)頁設計元素間的映射關系。方惠敏等[13]通過對部分用戶的調(diào)查來研究用戶因素和網(wǎng)頁界面因素之間的相互關系,用神經(jīng)網(wǎng)絡的方法建立了用于個性化網(wǎng)站界面風格和布局設計的用戶模型。張情華等[14]采用逆向式感性工學和前向式感性工學的分析方法,得出了少兒網(wǎng)站界面感覺意象樹狀圖,提出了目前網(wǎng)站設計中的不足和改進方向。
從現(xiàn)有研究來看,傳統(tǒng)的感性工學產(chǎn)品設計評價方法利用數(shù)學方法構建評價系統(tǒng),用實驗法驗證系統(tǒng)的準確性,存在一定的局限性。第一,在實驗過程中,實驗者知道自己在參與實驗,其行為會受到實驗者主觀因素的影響;第二,參與實驗的實驗者樣本量不夠大的話,實驗結(jié)論不能反映真實情況,假設實驗者中有幾個特殊偏好的用戶或者實驗者不是典型用戶,產(chǎn)生的結(jié)果會有明顯的偏差;第三,實際產(chǎn)品都有其使用場景,即使實驗模擬得非常真實,也不能代表真實場景,而用戶行為在實驗場景和真實場景中是有明顯差別的。
文獻[15]提到:對照實驗,也叫隨機實驗和AB測試,曾在多個領域產(chǎn)生深遠影響,其中包括醫(yī)藥、農(nóng)業(yè)、制造業(yè)和廣告。通過隨機化和適當?shù)膶嶒炘O計,實驗構建了科學的因果關系。在軟件開發(fā)中,產(chǎn)品需求通過多種技術手段來實現(xiàn),AB測試實驗提供了一個有價值的方式來評估新功能對客戶行為的影響。Chudzicki等[16]也利用AB測試進行了用戶使用 MOOC(massive open online courses)學習的實驗。
在本研究中,作者基于感性工學系統(tǒng)的理論架構及原理,應用AB測試評價體系,結(jié)合電商APP與酒店預訂APP的產(chǎn)品設計方案驗證該評價方案的有效性和可行性,以達到客觀準確評價產(chǎn)品設計效果的目標。
基于感性工學的電商網(wǎng)站產(chǎn)品設計效果評價的工作流程由4個方面體現(xiàn)。
產(chǎn)品設計師根據(jù)公司整體的戰(zhàn)略規(guī)劃和產(chǎn)品規(guī)劃確定當前階段產(chǎn)品要實現(xiàn)的目標。如提高日活訪問用戶量、提高用戶的訪問深度、提高轉(zhuǎn)化率等。用調(diào)查法或?qū)嶒灧ù_定產(chǎn)品的設計要素,調(diào)查法可采用發(fā)放調(diào)查問卷的方式,調(diào)查問卷要達到一定的數(shù)量。
根據(jù)生理學或心理學的評估方法獲取消費者對產(chǎn)品的感受[7],歸納整理并分類,挑選出消費者感受較好的產(chǎn)品設計要素。
根據(jù)第二步獲得的消費者感受較好的產(chǎn)品設計要素,規(guī)劃AB測試實驗,由開發(fā)工程師負責在AB測試系統(tǒng)中部署實驗。
AB測試是一種評價體系的核心思想。設計的元素、頁面、算法等有兩個版本(A和B),A為原始的產(chǎn)品版本(稱為原版),B是采用了新的設計要素的產(chǎn)品版本。
AB測試原理如圖1所示。采用AB測試,產(chǎn)品上線后,通過分流算法,對實際使用產(chǎn)品的用戶按照實驗的配置比例隨機分流,一組用戶看到原版本,一組用戶看到改進的版本,兩個版本在線上共存一段時間,之后對比兩個版本的指標。當用戶使用產(chǎn)品時,隨機看到一個版本,用戶不知道自己是測試者,所以其操作行為不會受到用戶主觀因素的影響。而且,大量用戶的使用可以消除掉個別極端用戶操作行為所帶來的偏差;另外,外部因素對原版本和改進版本的影響一致,如時間、季節(jié)、假日、用戶所在地、用戶年齡層、用戶性別等因素,在同等條件下,對比原版本和改進版本的指標更加具有說服力。
一般在設置AB測試時,為了確保分流的隨機性,會設置D,E兩個版本,這兩個版本和A版本一致,稱為原版對照組,AB測試實驗完成后,如果A,D,E版本相應的測試指標一致,則認為分流是隨機的,數(shù)據(jù)可信。
滬江CCtalk將切實的教學需求融入到直播技術中,打破單調(diào)的教育直播套路,為用戶提供真正符合教育直播的核心功能。以“直播+錄播+互動”的方式模擬出真實課堂教學場景,解決了在線教學的三大難題:實時同步、智能加載及個性化學習。
圖1 AB測試原理Fig.1 AB testing principle
待AB測試實驗在線上運行一段時間之后,通過Hive在Hadoop平臺上獲取AB測試平臺的數(shù)據(jù),進行一致性檢驗及顯著性檢驗后,計算出消費者使用AB版本產(chǎn)品的行為數(shù)據(jù)(如轉(zhuǎn)化率、業(yè)績、跳出率等),分析指標數(shù)據(jù),得到各產(chǎn)品設計要素的使用效果評價。
某款以餐館預訂為主要業(yè)務的電商APP的主要目標是提高用戶下單量。當前產(chǎn)品形態(tài)是用戶打開APP,定位到用戶所在地,然后列表頁按照一定的順序展示附近的餐館列表。
產(chǎn)品的直接目標是提高下單量,在用戶訪問量穩(wěn)定的情況下,讓更多餐館(用戶期望看到的)在列表頁上曝光給用戶,則可以提高用戶的下單轉(zhuǎn)化率。首先需要確定產(chǎn)品設計要素。修改列表頁整體樣式風險較大,因為用戶已經(jīng)熟悉了當前的頁面展示樣式,沒有更好方案時全方位改動頁面資源投入產(chǎn)出比不高。列表頁上有篩選項按鈕,目前篩選項在頂部區(qū)域,產(chǎn)品設計師模擬用戶操作,從用戶心理學角度出發(fā)考慮。當用戶用手機打開APP點擊到列表頁時,篩選項在屏幕中央位置時,用拇指滑動更容易接觸到屏幕中央的位置,此時點擊篩選項費力度最低。同時,使用調(diào)查法進行調(diào)查,統(tǒng)計結(jié)果表明70%的被訪者認為篩選按鈕放在頁面中間時,他們更有意愿去點擊查看。因此,明確了產(chǎn)品設計要素,改變篩選項banner條在列表頁中的展示位置。
獲取了消費者對產(chǎn)品的感受后,規(guī)劃實施AB測試實驗。原始版本篩選項在頂部,設定為A版,篩選項在中部設定為B版,篩選項在底部設定為C版;D版、E版設定為和A版一致。整體用戶分流比例設置為A:30%,B:30%,C:30%,D:5%,E:5%,實驗時間為2017年9月29日至2017年10月17日,配置AB實驗并部署上線。
最后,分析AB實驗結(jié)果。首先驗證AB版本分流的有效性,各個版本的用戶分流占比見圖2。
根據(jù)圖2,實際各個版本的用戶分流比例為A:30%,B:30%,C:30%,D,E各占整體5%,合計100%,符合實驗配置。進一步增加驗證,統(tǒng)計訪問各個版本用戶的IP地址分布,結(jié)果表明用戶分流是隨機的。同時計算各個版本的用戶量,在置信區(qū)間內(nèi),本次AB實驗部署實施是有效的。
計算各個版本的篩選按鈕點擊率,結(jié)果見圖3。
由圖3可知,B版本點擊率最高,平均點擊率約是原版本A版的2倍;原版的對照組D,E版本和A版點擊率相差小于5%,再次證明用戶分流正常;B版本、A版本的差值百分比為正向,并且統(tǒng)計上是顯著的。
因此,分析結(jié)果為:B版本效果最好,B版本產(chǎn)品設計作為最終的定版版本發(fā)布上線。
進一步分析,B版本中用戶點擊中央?yún)^(qū)域的篩選項比率高,這僅僅是由于用戶誤點擊,還是說確實可以提高下單轉(zhuǎn)化率、用戶留存率及UGC(user generated content)產(chǎn)出,對此分別進行相應的分析。對比AB版本用戶篩選后進入詳情頁的頁面訪問深度(平均每個用戶訪問的頁面數(shù))如圖4所示。
由圖4可知,B版本用戶平均訪問1.45個頁面,比A版本高24.5%,說明B版本用戶點了列表頁中間的篩選項后又多次點擊進入下一級頁面瀏覽,列表頁展示的餐館吸引用戶再次點擊進入餐館詳情頁。
AB版本的下單轉(zhuǎn)化率、留存率(分為次日留存、三日留存、七日留存等,如次日留存指當天來訪問的用戶第二天繼續(xù)訪問的比率)、UGC產(chǎn)出(用戶日均產(chǎn)出的餐館點評)如表1所示。
圖4 訪問深度Fig.4 Visiting depth
表1 AB產(chǎn)品版本各指標值Tab.1 Various indicators of the AB product version
由表1可知,B版本用戶的七日留存是A版本的約5倍,B版本對用戶的粘性高于A版本。
本次AB實驗的分析結(jié)果可以指導后續(xù)的產(chǎn)品設計,設計APP產(chǎn)品頁面元素時,在手機屏幕有限的區(qū)域范圍內(nèi),應該把最重要的模塊,或者是最想讓用戶看到的模塊設計在頁面的中央位置。
一款酒店預訂APP,主要提供酒店預訂服務,用戶使用其搜索酒店,查看該酒店的房型,詳情頁集合展示了各種酒店渠道的房型,房型的展示過于密集和多樣化,如圖5所示。
有部分用戶反饋建議增加篩選房型的功能,以便能快速找到自己想要的房型。從感性工學的角度來講,優(yōu)化房型列表,可以快速定位房型,降低操作復雜度,減少用戶的搜索時間。
為了確定產(chǎn)品設計要素,產(chǎn)品設計師采用問卷調(diào)查法進一步收集用戶的意見。通過電子郵件給1 500名用戶發(fā)放了調(diào)查問卷,詢問產(chǎn)品的使用建議及是否支持房型選擇,有效回收問卷131份,其中70%的用戶支持增加房型選擇。因此確定產(chǎn)品設計要素,在房型選擇頁面增加篩選按鈕,提供給用戶多維度的房型篩選。
規(guī)劃實施AB實驗并分析結(jié)果,當酒店房型增加篩選按鈕后,轉(zhuǎn)化率顯著提升1.97%,人均訂單金額顯著提升2.21%,人均訂單利潤顯著提升2.44%。在訪問人次均等的情況下,訂單轉(zhuǎn)化、訂單間夜、訂單利潤等都有顯著上升。
進一步分析房型篩選鈕的直接影響,從感性工學的角度考慮,會影響用戶的下單決策時間、成交訂單率,以及用戶針對預訂服務的平均打分,根據(jù)AB實驗的數(shù)據(jù),對比這些指標數(shù)據(jù),如表2所示。
表2 新舊產(chǎn)品版本各指標值Tab.2 Various indicators of the old and new product version
根據(jù)表2,用戶平均下單決策時間縮短4.3%,有效訂單率提升8.2%,用戶平均打分提升4.5%,進一步增強了用戶粘性,最重要的是訂單轉(zhuǎn)化率、人均訂單金額、人均訂單利潤均有顯著提升。
綜上,對于基于感性工學的電子商務網(wǎng)站產(chǎn)品設計的評價,兩個案例的分析結(jié)果表明,該評價方法步驟清晰,整體邏輯嚴密,分析過程及結(jié)論相比傳統(tǒng)的評價方法,更加客觀準確。
本研究的成果與應用可歸納如下:
分析了基于感性工學的互聯(lián)網(wǎng)電子商務網(wǎng)站的產(chǎn)品設計特點,綜合感性工學的產(chǎn)品設計評價方案,提出應用AB測試實驗來評價產(chǎn)品設計效果的方法。對照試驗可以得出因果關系的結(jié)論,而非簡單的相關關系;當兩組不同版本的頁面同時在線時,只有兩個可變因素能解釋指標上的變化,因而評價更加科學可靠。
梳理了產(chǎn)品設計效果評價的工作流程,分為4個步驟:確定產(chǎn)品設計要素,獲取消費者對產(chǎn)品的感受,規(guī)劃實施AB測試實驗,分析結(jié)果。
規(guī)劃實施AB測試實驗與分析結(jié)果時,應特別注意幾個方面:首先,注意用戶實際分流比例是否符合實驗配置,分析結(jié)果時計算各個版本的用戶占比,校驗用戶分流是否隨機。其次,為了保證AB實驗的有效性,需要至少上線測試兩周。每天的指標數(shù)據(jù)波動有可能是新版的影響,但更多可能性是樣本隨機性導致。再次,分流到新版本的用戶量不能過少,否則使用新版本的用戶中有極端操作行為的用戶行為數(shù)據(jù)會使整體的數(shù)據(jù)指標產(chǎn)生極大的偏差。最后,分析結(jié)果時需要通過統(tǒng)計檢驗的方法得到兩個版本是否有顯著性的差異。
本研究中,AB測試實驗局限于單變量控制,如果產(chǎn)品設計方案中,頁面元素、樣式、交互方式都發(fā)生了改變,甚至頁面的數(shù)據(jù)展示邏輯,即服務端的算法也發(fā)生改變,那么一次AB測試實驗結(jié)果只能分析出原版本和新版本的結(jié)果優(yōu)劣,無法判斷具體是哪個設計元素產(chǎn)生的效果。因此是否有基于AB測試的更加高效的方法來評價產(chǎn)品設計中多元素改變時各個元素的設計效果,還需要進一步挖掘。