体验科普 |「顺序效应」会影响NPS得分吗？

体验家

+ 关注

2022-12-21 17:21

303次阅读

试想一下，当你辛辛苦苦排了一个小时的队进到餐厅，坐下正准备点你最爱吃的宫保鸡丁时，服务员跟你说：

“我们的招牌菜是蒜蓉粉丝虾，今天打8折。”

“宫保鸡丁已经卖完了。”

你会不会很失落，甚至有点想换家店吃？

但如果将这两句话的顺序调换一下，你的情绪和想法会有所变化吗？这会不会让你产生“失而复得”的感觉，帮助冲淡一些“坏消息”带来的冲击？

研究告诉我们，说话顺序不同，的确会影响人们的想法和判断，也就是顺序效应（Order Effects）—— 一种事物呈现的顺序会影响人们判断的现象，它出现在我们生活当中的很多方面。

问卷调查中同样也存在顺序效应。一些研究发现，问卷中某些题目或选项的排列顺序会对受访者的答案产生影响。那么，具体都有哪些题目会受到顺序效应的影响？在测量经典体验指标NPS（净推荐值）时，NPS题目在问卷中出现的先后顺序又是否会影响人们打分的最终结果？本篇文章让我们来共同探讨一下。

为什么顺序效应

会出现在问卷调查当中？

在问卷调查中出现顺序效应的原因，有以下两种可能：

1. 在填答问卷时，受访者受到前面题目的“引导”，继而对后面的填答造成了影响；

2. 受访者希望在问卷调查中保持答案的一致性（至少看起来一致），并避免“认知失调”。

认知失调（Cognitive Dissonance）阐述了人的态度变化过程，认为个体对事物的态度和行为间应该是一致的，如果不一致就会产生认知失调，并会导致心里紧张，人就会通过改变认知或行为来重新达到平衡。

也就是说，如果受访者在填答问卷时，对某一看法非常认同，即使他们本身并不那么认同另一个问题，顺序效应可能也会促使他们认同。更微妙的是，一些负面或正面的问题措辞，也会使受访者产生不同的想法，从而影响他们的答案。

美国社会学家霍华德·舒曼和斯坦利·普雷斯特在其著作 Questions and Answers in Attitude Surveys 中指出，顺序效应在问卷中的出现次数不算普遍，但已经有足够的实例表明这种现象并不罕见。

总体-具体问题顺序效应

为了更深入地了解问卷中的顺序效应，我们可以先了解它的一种表现形式——总体-具体顺序效应（General-Specific Order Effect），即总体问题（如“你对你生活的总体满意度如何？”）与具体问题（如“你对你的婚姻/工作满意度如何？”）之间的先后顺序会对题目的相关性和平均得分产生影响。

相关性是指2道题目之间的关联程度；而平均得分是指该道题目分数的平均值。

2012年，在美国心理学教授塞斯·卡普兰的研究中，通过在两组调查中（分别为美国6000名军人的总体满意度分析和88位普通职工的工作满意度分析）将总体问题和具体问题的顺序进行调换，他发现，当总体问题排在具体问题的前面时，题目的平均得分较低，但相关性较高。

上述调查的总体问题为“你对你工作的总体满意度如何”；具体问题为“请给你的工作时长进行满意度打分”。

而在另一项由市场研究教授Seigyoung Auh负责的研究（针对191名客户对他们理发师的满意度调研）中，他们发现，当把询问总体满意度的题目放在问卷最前面时，题目的平均得分会更低（约6%）。

但是，如果把具体题目（如“您在多大程度上同意‘我的理发师技艺非常高超’这句话？”）放在总体题目（如“您在多大程度上同意‘总体来说我对我的理发师很满意’这句话？”）的前面时，总体题目的得分会更高，因为这样的排序可能会使题目具备更高的相关性。如果调查领域是涉及电脑或者一些昂贵的家用电器，建议先问具体题目，再问总体题目，这样的话会让答题者感到更自然流畅。

虽然上述两项研究得出的结果不尽相同，但都证明了顺序效应是确实存在的。

NPS问题的顺序效应

现在，针对“客户体验的顺序效应”的研究还不是很多，例如哲学教授詹姆斯·刘易斯早前研究了顺序效应对可用性态度的影响，但在SUS、UMUX和CSUQ这三类问卷当中并没有发现明显的顺序效应。

SUS ——系统可用性量表

UMUX ——用户体验的可用性指标

CSUQ ——电脑系统可用性问卷

在NPS方面，至少有CX专家Adam Ramshaw的一份研究报告可以证明，相较于在问卷后期提出NPS的相关问题，当NPS问题出现在问卷前期时，分数会更高。但该报告并没有给出具体数据表明，会造成多大程度的影响。

同时，在包含NPS问题的SUPR-Q问卷中, UX专家赫弗南发现，如果在完成其他7道SUPR-Q题目后，再向受访者提问NPS的相关问题，最终得到的NPS分数会下降。但目前还不清楚，这种影响是一页一题的呈现模式导致，还是网络调查的高流失率引起的。

SUPR-Q问卷，即Standardized Universal Percentile Rank Questionnaire（标准化用户体验百分等级问卷），用于评估网站的感知可用性，考察维度包括可用性、可信度、外观及忠诚度。一般包括以下7道题目：

1.网站使用起来很简单

2.网站内导航清晰

3.我感觉从该网站上购买东西很放心

4.我有信心从该网站发展自己的业务

5.网站设计非常吸引人

6.网站介绍简洁明了

7.我未来还会再次登陆这个网站

因此，关于NPS是否会受到顺序效应的影响，我们还需要进一步探究：

• 研究1：NPS问题的先后位置会影响其最终得分吗？

2018年11月，杰夫·索罗博士（以下简称博士）对2674名受访者进行了在线调查。博士先让受访者回想最近推荐过的产品或服务，接着又询问了他们向朋友或同事推荐这一产品或服务的可能性有多大。下面，我们将这类与“推荐可能性”相关的问题统称为NPS问题。

博士将NPS问题出现的位置设置为研究的自变量，出现的位置分别在问卷的前期（在40道题目之后）或后期（在72道题目之后）。为此，博士创建了多组问卷，每批受访者将交替看到在不同位置出现的NPS问题。

结果发现，调整NPS问题出现的先后位置并不会产生顺序效应：

1. 通过计算两组的NPS平均得分，得出两组的分数分别为8.8和8.9，两组之间仅有0.1分的差异，且无统计学意义（P=9）。

P值代表概率，反映某一事件发生的可能性大小。统计学根据显著性检验方法得到P值，P值越小，统计学差异越显著，一般认为P<0.05 有统计学差异。

2. 在统计受访者每个选项得分的数据时，各个选项的NPS得分的百分比也非常接近（如下图所示），这表明其他选项的得分也没有受到影响。

图：两组的NPS选项得分统计表

为了进一步探究，博士还统计并比较了亚马逊、沃尔玛、易贝、塔吉特、Spotify和Hulu这6家企业的NPS得分，而后发现，当NPS问题出现在问卷前期时，一半企业的NPS值较高；而当NPS问题出现在问卷后期时，另一半的企业得分较高。也就是说，基于NPS问题出现的时间，没有统计学差异，甚至没有可辨别的模式（如下图）。