测量：受访者思想和行为的推断，调查实验证明提问方式影响结果

测量就是根据受访者的答案推断他们的想法和行为。

除了代表性的相关问题之外，调查误差总框架表明，误差的第二个主要来源是测量，即我们如何基于受访者给出的答案进行推断。事实证明，我们所得到的答案以及在此基础上进行的推断，在很大程度上取决于我们的提问方式。也许最能说明这一重要问题的就是诺曼·布拉德伯恩（Norman Bradburn）、西摩·祖德曼（Seymour Sudman）以及布赖恩·万辛克（Brian Wansink）所著佳作中的一个笑话：

有两个教士，一个是多明我会的，一个是耶稣会的。两人正在讨论一边抽烟一边祈祷是不是一种罪过，但没能达成共识，于是各自去请教自己的神父。然后多明我会的教士问道：“你的神父怎么说？”耶稣会的回答道：“他说是没问题的。”“这就有趣了，”多明我会的教士说道，“我的神父说那是一种罪过。”耶稣会的教士说：“你是怎么问他的？”多明我会的教士回答道：“我问他祈祷时能不能抽烟。”“哦，”耶稣会的教士说道，“我问他抽烟时能不能祈祷。”

除了这个笑话以外，调查研究人员已经以多种系统的方式用事实证明了这一点：你所能了解到的取决于你的提问方式。事实上，上述笑话的根源问题在调查研究领域有一个专门的术语：提问方式效应（Kalton and Schuman 1982）。我们可以通过思考以下两个看起来非常相似的问题来了解提问方式效应对实际调查的可能影响。

·对以下观点你同意吗？就这个国家的犯罪和目无法纪的现象而言，更应该归咎于个体而不是社会条件。

·对以下观点你同意吗？就这个国家的犯罪和目无法纪的现象而言，更应该归咎于社会条件而不是个体。

这是一项实际调查实验中的两个问题（Schuman and Presser 1996），尽管它们看起来是在测量同一件事情，却产生了不同的结果。如果采用第一种提问方式，约60%的受访者称应归咎于个体，但如果采用第二种提问方式，则约60%的受访者称应归咎于社会条件（图3.3）。也就是说，这两种提问方式的微小差异会让研究人员得出不同的结论。(www.xing528.com)

图3.3　一项调查实验的结果表明，研究人员的提问方式会让他得到不同的答案。图左是大多数受访者认为，犯罪和目无法纪的现象更应归咎于个体而不是社会条件；图右是大多数受访者持相反意见：上述现象更应归咎于社会条件而不是个体。改编自Schumann and Presser（1996），表8.1。

除了问题的结构，所使用的特定词汇也会让受访者给出不同的答案。例如，为了了解民众对政府应优先考虑哪些事项的看法，研究人员需让受访者先阅读以下提示词：“在这个国家，我们面临着许多问题，而且没有一个是能被轻易地、低成本地解决掉的。我将列出其中一些问题，希望你能告诉我，我们在解决这个问题上花了太多的钱、太少的钱还是刚好。”

接下来，一半的受访者被问及对“福利”的看法，另一半则被问及对“援助穷人”的看法。尽管它们看起来像是描述同一件事的两个不同的词汇，却产生了截然不同的结果（图3.4）。根据受访者给出的答案，相比于“福利”，受访者更支持“援助穷人”（Smith 1987；Rasinski 1989；Huber and Paris 2013）。

图3.4　一项调查实验的结果表明，相比于“福利”，受访者更支持“援助穷人”。这是提问方式效应的一个事例，其中研究人员搜集到的答案刚好取决于他们在问题中使用的词汇。

正如上述有关问题形式和提问方式效应的事例所表明的一样，研究人员搜集的答案可能会受到他们提问方式的影响。这些事例有时会让研究人员对“正确”提问方式感到疑惑。尽管我认为有些提问方式是明显错误的，但也不存在一个放之四海皆准的方法。也就是说，使用“福利”或“援助穷人”进行提问，没有哪一个问题是明显优于另一个的，这其实是两个不同的问题，测量的是受访者对两件不同事情的态度。这些事例有时也会让研究人员得出这样的结论：不能使用调查这一方法。遗憾的是，有时这是没有选择的。我认为我们应从这些事例中学到的是，我们要谨慎地设计问题，而且不应该不加鉴别地接受答案。

具体而言，这意味着如果你正在分析别人搜集的调查数据，那么你必须确保已经阅读了实际的调查问卷。如果你正在创建自己的调查问卷，那么我对此有4个建议。首先，阅读更多有关调查问卷设计的资料（例如Bradburn，Sudman，and Wansink 2004），针对这一话题的内容远不只我这里描述的这些。其次，从高质量的调查中一字不变地复制问题。例如，如果想问受访者有关他们种族的问题，那么你就可以从人口普查等大规模政府调查中复制问题。尽管这听起来可能像是剽窃，但复制问题在调查研究中是被鼓励的（只要注明引自哪项调查即可）。如果你从高质量的调查中复制问题，那么就能确保这些问题已经被测试过了，而且你可以比较你搜集到的答案和其他一些研究搜集到的答案。再次，如果你认为你的问卷可能包含重要的、影响重大的提问方式效应，你可以进行一项调查实验，其中一半的受访者回答一个版本的问题，另一半受访者则回答另一个版本的问题（Krosnick 2011）。最后，你可以从抽样框总体中选择一些人来小规模地测试你的问题，调查研究人员称这一过程为预测试（Presser et al.2004）。就我的经验而言，预测试十分有帮助。