效度：统计分析实验证明美国家庭能源报告在用电量方面的影响

效度是指实验结果符合某个一般性结论的程度。

没有一个实验是完美的，研究人员创造了大量的词汇来描述可能出现的问题。效度是指某一实验的结果符合某个一般性结论的程度。社会科学家发现可以将效度分成4种主要类型：统计结论效度、内部效度、构念效度和外部效度（Shadish，Cook，and Campbell 2001，chapter2）。掌握这些理念之后，你在评价和改进实验的设计和对实验进行分析时，心里就有谱儿了，而且它也会方便你和其他研究人员交流。

统计结论效度的核心在于对实验进行的统计分析是否正确。在舒尔茨及其同事的实验中，该效度的核心可能就是他们是否正确地计算了P值^[1]。设计和分析实验所需的统计原则不在本书的内容范畴内，但数字时代的到来并没有让这些原则发生根本的改变。发生改变的是数字实验的数据环境，它创造了新的可能性，例如利用机器学习模型评估处理效应的异质性（Imai and Ratkovic 2013）。

内部效度的核心是实验步骤是否被正确地完成。在舒尔茨及其同事的实验中，该效度的核心可能就是随机分组、实施处理和测量结果。例如，你可能会担心研究助理的电表读数不准确。事实上，舒尔茨和同事也很担心这个问题，于是他们让助理把部分电表读了两次，幸运的是，两次的读数基本一致。总的来说，舒尔茨和同事的实验的内部效度似乎很高，但并不是所有实验都是这样：复杂的实地实验和在线实验在对正确的人实施正确的处理和测量每个人的结果方面，实际上经常会出现问题。幸运的是，数字时代有助于减少对内部效度的担忧，因为在数字时代，确保对参与者实施处理以及测量所有参与者的结果变得更加容易了。

构念效度的核心是数据和理论构念的匹配。正如第2章所讨论的，构念是社会科学家所论证的抽象概念。不幸的是，这些抽象概念并不总是有明确的定义和度量。在舒尔茨等人的实验中，要想证明“指令性规范能够降低用电量”这一观点，需要研究人员设计一个能很好地代表指令性规范的处理方式（例如添加一个表情符号），并测量用电量。在模拟实验中，许多研究人员都是自行设计自己的处理方式并测量自己的结果。这一方法尽可能地确保了实验与所研究的抽象构念相匹配。在数字实验中，研究人员则通过与企业或政府合作来实施处理，并利用不间断运行的数据系统来测量结果，所以实验和理论构念之间的匹配可能没有那么紧密。因此，我认为相比于模拟实验，数字实验的构念效度会更令人担忧。

最后，外部效度的核心是该实验的结果能否被推广到其他情境中。就舒尔茨等人的实验而言，人们可能会问，如果在不同的情境中以不同的方式进行实验，那么给人们提供关于他们用电情况与所在小区的平均用电情况的对比信息和一个代表指令性规范的信号（例如一个表情符号）还能减少用电量吗？对于大多数精心设计、步骤正确的实验来说，对外部效度的担忧是最难解决的。在过去，有关外部效度的争论通常都只是一群人坐在一个房间里面，然后努力去想如果以不同的方式完成实验步骤，或是在一个不同的地方开展实验，或是有不同的参与者，那么会发生什么。幸运的是，数字时代使研究人员不用再进行这些缺乏数据支撑的猜测了，他们可以通过实证来评估外部效度。

因为舒尔茨等人的研究结果非常令人兴奋，所以欧电公司（Opower）与美国的公用事业单位联手对更多的住户实施了这一处理。根据舒尔茨等人的设计，欧电公司创建了包含两个主要模块的个性化家庭能源报告，其中一个模块显示某一住户相比于其邻居的用电量情况，同时会附上一个相应的表情符号，另一个模块则提供有关减少用电量的建议（图4.6）。然后，欧电公司与研究人员一起开展了随机对照实验，以评估这些家庭能源报告的影响。尽管这些实验的处理基本都是以非数字化的方式（通常是通过传统的信件邮寄）实施的，但对结果的测量都是在物理世界使用数字设备进行的（例如使用电表）。此外，欧电公司在实验过程中还与电力公司进行了合作，使得研究人员能够直接访问电力公司的电力数据，而无须让研究助理挨家挨户去搜集这些信息。因此，欧电公司和合作伙伴以低可变成本的方式在大规模范围内成功地开展了这些半数字实地实验。(www.xing528.com)

在最开始针对10个不同地点的60万户家庭进行的一组实验中，阿尔科特（Allcott）发现，家庭能源报告能够降低用电量。换句话说，这项规模更大的、涉及地理区域更多样化的研究所得出的结果与舒尔茨等人的结果在本质上是相似的。然后，在涉及101个不同地点的800万户家庭的后续研究中，阿尔科特再次发现了家庭能源报告能够降低用电量。但这一组更大规模的实验也揭示了一个有趣的新规律：在后来的实验中，家庭能源报告对用电量的影响减小了（图4.7），这一规律在任何单个的实验中都是无法被发现的。阿尔科特推测影响减小的原因是随着时间的推移，接受处理的参与者的类型不同了。更具体地说，客户环保意识越强的公用事业单位会越早参与这一项目，而且他们的客户也会更积极地响应。而随着客户环保意识较弱的公用事业单位加入，家庭能源报告的影响似乎就减小了。因此，正如实验中的随机分组能确保实验组和对照组是相似的一样，随机选择研究地点也能确保研究结论可以从一组参与者泛化至更普遍的总体（回想一下第3章有关抽样的内容）。也就是说，如果研究地点不是随机抽取的，那么即便是一个设计和实施都很完美的实验所得出的结论，在其泛化阶段也会遇到问题。

图4.6　家庭能源报告包括一个邻里比较模块和一个行动方案模块。经爱思唯尔（Elsevier）授权复制自Allcott（2011），图1和图2。

图4.7　111个测试家庭能源报告对用电量影响的实验结果。在后来加入该项目的地方，家庭能源报告对用电量的影响往往较小。阿尔科特认为，这一现象主要是因为用户环保意识越强的地方会越早加入这一项目。改编自Allcott（2015），图3。

上述111个实验共涉及来自美国各地约850万户家庭。这些实验均表明，家庭能源报告能够降低平均用电量，这与舒尔茨和同事最初从加利福尼亚州300户家庭那里得出的结论是一样的。除此以外，这些后续的实验还表明，家庭能源报告对用电量的影响力因地点而异。同时，这些实验也说明了有关半数字实地实验的两个更普遍的观点。首先，当开展实验的成本较低时，研究人员就能通过实证来解决外部效度相关的问题了。如果已经有一个不间断运行的数据系统正在对实验结果进行测量的话，那么就满足了这一条件。因此，研究人员应该留意那些已经在被记录的有趣且重要的行为，然后在现有的测量基础设施上设计实验。其次，这些实验提醒我们，数字实地实验并非只能在线进行，我认为它们会越来越普及，许多结果都能通过建筑环境中的传感器来测量。

统计结论效度、内部效度、构念效度和外部效度这4种效度为研究人员提供了一个思考依据，有助于他们评定某一特定实验的结果是否能够证明一个更为普遍的结论。相比于模拟时代的实验，数字时代的实验应该更易于通过实证来解决外部效度的问题，同时也更易于确保内部效度，而构念效度的问题则可能变得更具挑战性，尤其是在那些和企业合作的数字实地实验中。