魔鬼数学：大数据时代，数学思维的力量

为什么会有恐怖分子黑名单这种明显自相矛盾的东西呢？显著性检验的方法看似有理有据，但为什么在这种情况下的效果那么糟糕呢？原因在于，显著性检验考虑的是脸谱网标记的用户占所有用户的比例，却完全忽略了恐怖分子所占的比例。如果你想判断自己的邻居是否为恐怖分子，必须注意一个重要的“先验信息”（prior information）：绝大多数人都不是恐怖分子。忽略这个信息，就会陷入危险的境地。费舍尔说过，我们必须“在证据的启示之下”，也就是根据已知信息评估每一个假设。

但是，我们又是怎么做的呢？

说到这里，不由得让人想起无线电心理学的故事。

1937年，心灵感应风靡一时。心理学家莱茵（J.B.Rhine）在他的专著《心灵新前沿》（New Frontiers of the Mind）中介绍了他在杜克大学完成的ESP^[1]实验。这本书非常畅销，并成为“月读俱乐部”的推荐图书之一。在这本书的影响下，通灵成了美国各地鸡尾酒会上的热门话题。1930年，畅销书《屠场》（The Jungle）的作者厄普顿·辛克莱（Upton Sinclair）再接再厉，又出版了《心灵电波》（Mental Radio）。在这本书中，辛克莱讲了他与妻子玛丽进行心灵感应的故事。由于该书讨论的是主流现象，因此爱因斯坦为它的德语版撰写了序言。爱因斯坦在序言中没有明确表示认同心灵感应，但他建议心理学家“应当认真读读”辛克莱的这本书。

大众媒体自然要在这一潮流中凑个热闹。1937年9月5日，奇尼斯无线电公司与莱茵合作开展了一项只有借助他们刚开发的新通信技术才可能完成的实验。主持人5次转动轮盘赌的转轮，一群自称有心灵感应能力的人站在旁边。每转动一次，小球要么停留在黑色区域，要么停留在红色区域，而有心灵感应能力的那些人则把全部心神集中在小球停留的区域，然后利用自己的“传播渠道”向全美国发送信号。主持人恳求电台听众利用他们的心灵感应能力获取这些信号，然后寄信把他们接收到的颜色信息告诉无线电台。主持人第一次发出请求时，超过4万名听众做出了响应，在之后的节目中，虽然新鲜劲儿已过，但奇尼斯公司每周仍然能收到数千个回应。这个测试心灵感应能力的实验是大数据的一个雏形，其规模是莱茵在杜克大学办公室里针对实验对象的逐个研究无法企及的。

尽管实验的最终结果不利于心灵感应，但是心理学家发现，从听众那里收集到的大量数据却有完全不同的用途。听众努力地再现5次转动转轮产生的红、黑（下文分别以R与B表示）颜色序列，一共有32种可能：

BBBBB BBRBB BRBBB BRRBB

BBBBR BBRBR BRBBR BRRBR

BBBRB BBRRB BRBRB BRRRB

BBBRR BBRRR BRBRR BRRRR

RBBBB RBRBB RRBBB RRRBB

RBBBR RBRBR RRBBR RRRBR

RBBRB RBRRB RRBRB RRRRB

RBBRR RBRRR RRBRR RRRRR

由于每次转动转轮之后小球停在红色或黑色区域的概率相同，因此上述序列出现的概率也相同。由于所有听众其实都没有接收到任何心灵感应信号，我们可以因此认为听众选择这32种序列的概率也是相同的吗？

其实不然。事实上，听众的选择并不均匀。BBRBR、BRRBR这类序列出现的次数远远超过预期，RBRBR这类序列出现的次数则低于预期，而RRRRR几乎没有出现过。

对于这样的结果，你可能并不会感到吃惊。与BBRBR相比，RRRRR给人的感觉并不像一个随机序列，尽管在我们转动转轮时，出现这两种结果的概率是相同的。这到底是怎么回事呢？“一个序列的出现次数少于另一个序列”的说法，是什么意思呢？

我再举一个例子。大家迅速想一个1至20之间的数字。

你选择的是17吗？

没错，这一招不一定每次都灵。但是，如果我们让人们在1至20之间选一个数字，17是最常被选到的数字。如果我们让人们在0至9之间选一个数字，他们最常选的是7。在随机选择时，末尾是0和5的数字出现的次数远低于我们的预期，也就是说，在人们心目中，这些数字的随机程度似乎比较低。这个想法导致了一个出乎意料的结果：那些心灵感应实验的参与者试图给出R、B随机序列，但是结果明显不具有随机性。同样，这些人在随机选择数字时，往往也会偏离随机性。

2009年，时任伊朗总统的马哈茂德·艾哈迈迪内贾德（MahmoudAhmadinejad）在总统选举中以较大优势获胜。很多人指责有人暗中操控选票，但是，由于伊朗政府几乎不允许任何独立监督，所以很难得到检验计票合法性的机会。

哥伦比亚大学的两名研究生柏恩德·比伯（Bernd Beber）与亚历山大·斯卡科（Alexandra Scacco）想出了一个好办法。他们利用数字本身作为揭穿选举造假的证据，让官方的计票结果自证，这个办法奏效了。首先，他们研究了4名主要候选人各自在伊朗29个省得到的官方总选票数，一共得出了116个数字。如果这些票数没有造假，那么这些数字的末位数只能是随机数，也就是说，它们应该平均分布在0、1、2、3、4、5、6、7、8和9这些数字中，每个数字出现的概率为10%。

但是，这次伊朗总统选举的计票结果并没有表现出这个特点，末位数中7出现的次数过多，几乎是正常概率的两倍。这个特征表明，这些数字并不是随机生成的数字，而是人们刻意伪造的随机数字。当然，仅凭这一点还不能证明有人操纵了这次选举，但这是指向这个结论的一个证据。

在我们探索和认识世界的过程中，各种理论一直在互相竞争，所以我们会不断根据观察结果来调整我们的判断，以致推理活动从无间断。对于某些理论（例如，“明天太阳仍然会升起”，“手一松，东西就会掉落”），我们深信不疑，这种信任几乎不可动摇；而对于其他理论（例如，“如果今天我锻炼，晚上就会睡得很好”，“根本就不存在心灵感应这类东西”），信任度则低一些。无论是司空见惯还是难得一见的事物，我们都有各种与之相关的理论。至于用以证明或驳斥这些理论的证据，其置信度也有高有低。

关于轮盘赌，我们认可的权威理论认为它是一种非常公平的游戏，小球停在红色或黑色区域的概率是相同的。但是，也有理论认为转轮偏向于某个颜色。^[2]我们化繁为简，假设一共有三种关于轮盘赌的理论。

红色论：转轮偏向于红色，小球停在红色区域的次数占比为60%。

公平论：转轮是公平的，小球停在红色区域与黑色区域的次数相同。

黑色论：转轮偏向于黑色，小球停在黑色区域的次数占比为60%。

这三种理论的置信度分别是多少呢？除非另有证据，否则我们很可能会认为轮盘赌是公平的。我们或许会认为公平论正确的概率为90%，黑色论与红色论正确的概率分别只有5%。像分析脸谱网黑名单一样，我们也可以为轮盘赌绘制方框图。

图中的数字用术语来表示的话，是“先验概率”（priori probability），即认为某个理论正确的概率。不同的人有可能得出不同的先验概率：怀疑论中坚分子认为三个理论的先验概率都是1/3，而有些人充分信任轮盘赌转轮制造商的节操，认为红色论与黑色论的先验概率只有1%。

但是，这些先验概率不是一成不变的。如果我们找到了某理论优于另一理论的证据（例如，小球连续5次停在红色区域中），不同理论的置信度就会发生改变。那么，这个规律在本例中会起到什么作用呢？解决这个问题的最佳办法就是计算更多的条件概率，绘制更大的方框图。

我们转动转轮5次，得到RRRRR的概率是多少呢？答案取决于哪种理论是正确的。在公平论正确时，每次转动转轮后小球停在红色区域的概率为1/2，因此，得到RRRRR这个结果的概率为：

1/2×1/2×1/2×1/2×1/2=1/32=3.125%

换言之，得到RRRRR与得到其他31种颜色序列的概率完全相同。

如果黑色论是正确的，小球停在红色区域的概率为40%，即0.4，那么，得到RRRRR结果的概率为：

0.4×0.4×0.4×0.4×0.4=1.024%

如果红色论是正确的，小球停在红色区域的概率为60%，那么，得到RRRRR结果的概率为：(www.xing528.com)

0.6×0.6×0.6×0.6×0.6=7.76%

接下来，我们把图中的三个部分扩充为6个部分。

这幅图中的三列分别对应黑色论、公平论与红色论。但是，我们这次把每列分成了两个方框，一个方框表示得到了RRRRR的结果，另一个方框表示没有得到RRRRR的结果。我们已经完成了各种数学计算，知道应该在方框中填入哪些数字。例如，公平论的先验概率为0.9，这个先验概率的3.125%，即0.9×0.03125（0.0281），应该填入“公平论正确且小球5次停留的区域为RRRRR”的方框中，剩下的0.8719则填入“公平论正确但停留区域不是RRRRR”的方框中。在表示公平论的这一列中，两个方框内数字的和仍然是0.9。

红色论的先验概率是0.05，因此，“红色论正确且结果为RRRRR”的先验概率是0.05×7.76%，即0.0039；而“红色论正确但结果不是RRRRR”的方框中的数字是0.0461。

黑色论的先验概率也是0.05。但是，黑色论与RRRRR这个结果之间的关系很不友好，因此，“黑色论正确且结果为RRRRR”的概率仅为0.05×1.024%，即0.0005。

请注意，6个方框中的数字总和是1。这是必须满足的条件，因为这6个方框代表的是所有可能的情况。

如果我们转动转轮并且真的得到了RRRRR的结果，那么这些理论会有什么变化呢？假如这种情况真的出现了，对红色论而言就是好消息，但对黑色论而言则是坏消息。小球连续5次停在红色区域，这种情况位于方框图的下排，黑色论、公平论与红色论的先验概率分别为0.0005、0.028和0.0039。换句话说，在这种情况下，公平论与红色论的先验概率比率大约是7∶1，红色论与黑色论的先验概率比率大约是8∶1。

如果希望把这些比率关系转化为概率，我们需要记住的就是三个概率的和必须是1。下排三个方框中的数字和约为0.0325，在不改变比率关系的前提下，要使三个概率的和等于1，我们可以用每个数字除以0.0325。于是，我们得到：

·黑色论正确的概率是1.5%；

·公平论正确的概率是86.5%；

·红色论正确的概率是12%。

由此可见，红色论的置信度增加了一倍多，而黑色论的置信度几乎消失殆尽。置信度的这种变化是十分恰当的，小球连续5次停在红色区域，我们对转轮受到人为操纵的怀疑当然会增加。

上述“用0.0325除所有数字”的步骤似乎有使用特殊手段的嫌疑，事实上，这个步骤没有什么问题。如果我们的直觉无法立即接受这个做法，我们还有另一种讨人喜欢的办法。假设有1万个轮盘赌转轮，分别置于1万个房间之中，每个转轮由一个人操作。你也是操作者之一，但你不知道自己操作的是哪一个转轮，也不了解该转轮的真实属性。这种情况可以通过以下方式建模：假设在这1万个转轮中，有500个转轮偏向黑色区域，有500个偏向红色区域，还有9000个是公平的。

依据上述概率进行计算，你可以预测出大约有281个公平的转轮、39个偏向红色区域的转轮、5个偏向黑色区域的转轮会得到RRRRR这一结果。因此，当你得到RRRRR的结果时，你仍然不知道自己在哪个房间中，但是你已经大幅缩小了范围：你所在的房间应该是小球连续5次停在红色区域的那325个房间中的一个。在所有这些房间中，有281间（约占86.5%）中是公平的转轮，有39间（约占12%）中是偏向红色区域的转轮，只有5间（约占1.5%）中是偏向黑色区域的转轮。

停在红色区域的球越多，你就会越倾向于红色论（同时黑色论的置信度会降低）。如果你连续10次（而不是5次）看到小球停在红色区域，通过类似的计算，你会将红色论正确的概率提升至25%。

上述计算步骤的目的是向我们展示，在连续5次看到小球停在红色区域之后，公平论、红色论、黑色论的置信度的变化情况，也就是所谓的“后验概率”（posterior probability）。先验概率描述的是看到相关证据之前的置信度，而后验概率描述的是看到相关证据之后的置信度。我们所做的工作叫作“贝叶斯推理”（Bayesian inference），因为由先验概率到后验概率的中间桥梁是一个叫作“贝叶斯定理”（Bayes's Theorem）的概率公式。该定理的代数表达式非常简单，我随时可以写给大家看，但在这里就免了。这是因为，如果我们习惯于机械地应用公式，而不考虑周围的环境，有时我们就很难理解眼前的形势。在这里，我们需要知道的已经全部包括在前文的方框图中了。^[3]

后验概率不仅受到所发现的证据的影响，还会受到先验概率的影响。如果某人是怀疑论中坚分子，他会在一开始时就受到先验概率的影响，认为黑色论、公平论、红色论正确的概率都是1/3。但在连续5次看到小球停在红色区域之后，他又会受到后验概率的影响，认为红色论正确的概率为65%。对于一个信念坚定的人来说，如果一开始时他就认为红色论正确的概率仅为1%，那么，即使连续5次看到小球停在红色区域，他也会认为红色论正确的概率仅为2.5%。

在贝叶斯推理的框架中，人们在看到证据后，某种理论的置信度不仅取决于证据的内容，还取决于一开始时的置信度。

这个特点似乎会引起麻烦，科学不应该是客观的吗？我们可能以为，理论的置信度仅仅取决于证据，而不是我们一开始时的偏见。如果实验证据表明某种药物的改进型产品减缓了某些癌症的生长速度，而且这些证据具有统计学显著性，我们很可能就会相信这种新药真的有效。但是，如果我们让病人置身于巨石阵的塑料模型中，并且取得了同样的疗效，我们会不会心有不甘地承认，这些远古时期形成的巨石阵真的能抑制人体中肿瘤的生长呢？我们可能不会这样想，因为这个想法太疯狂了。我们更有可能认为，也许是因为巨石阵运气好。对于这两种情况，我们有多种先验概率，结果，我们在解释证据时却采用了不同的先验概率，尽管证据是一样的。

脸谱网筛选恐怖分子的算法以及我们对邻居是否是恐怖分子的判断，也是这种情况。邻居的名字出现在脸谱网的黑名单上，并不能证明他就是恐怖分子嫌疑人。大多数人都不是恐怖分子，因此该假设的先验概率应该非常小，在这种情况下，即使找到相关证据，后验概率仍然非常小，所以我们不用担心（至少不应该担心）。

单纯地依靠零假设显著性检验的做法，严重违背了贝叶斯推理的精神。严格地讲，这种做法会让人认为抗癌药物与巨石阵塑料模型有相同的疗效。费舍尔的统计学观会不会因此受到打击呢？事实恰好相反。费舍尔说过：“科研人员不会设一个固定的显著性临界值，然后年复一年，无论情况如何变化，都依据这条红线去推翻各种假设。相反，他们会在证据的启示下，结合自己的想法，认真考虑每一个具体案例。”这句话的意思是，科学推理不能（至少不应该）过于机械，推理时必须随时考虑先前的想法与置信度。

我并不是说费舍尔完全遵循了贝叶斯的统计学思想。在我们看来，费舍尔的这番话涵盖了一度不为人所接受，但如今已成为主流的一系列统计学行为与思想，其中包括贝叶斯定理。但是，费舍尔并不是主张将先前的置信度与新证据简单地放到一起考虑。贝叶斯定理对推理方法产生了广泛的影响，例如教会机器根据人们输入的大量数据来学习，但这些方法并不适用于回答是或否的问题。对于是或否的问题，人们常常借助费舍尔的方法做出判断。事实上，信奉贝叶斯定理的统计学家通常对显著性检验不屑一顾，他们对“该新药是否有疗效”之类的问题不感兴趣，他们更关注如何建立一个预测模型，以便更准确地判断该药物的不同剂量在针对不同人群时可以取得什么样的疗效。即便真的用到假设，他们对假设（例如，“新药的疗效胜过现有药物”）是否正确这个问题的关注度也没有那么高；而费舍尔则不同，在他看来，只有在随机过程正在进行的情况下，才可以使用概率这种表达方式。

说到这里，我们已经站在了哲学海洋的岸边了。对于这些哲学难题，本书会点到为止。

既然我们把贝叶斯定理称作定理，就表明它是不容置疑的，并且我们已经使用数学证据完成了相关证明。这种认识既对也不对，它涉及一个难题：“概率”到底指什么？如果我们说红色论正确的概率为5%，我们可能是指，在全世界范围内其实有大量轮盘赌的转轮，其中正好有1/20的转轮偏向红色区域，小球停在红色区域的概率为3/5。而且，我们看到的任何轮盘赌的转轮，都是从这些转轮中随机选取的。如果是这样，贝叶斯定理就与上一章讨论的大数定理一样，都是千真万确的。大数定理认为，在本例所设定的条件下，在得出RRRRR这个结果的轮盘赌的转轮中，有12%的转轮是偏向红色区域的。

当认为红色论正确的概率为5%时，我们想说明的不是偏向红色区域的轮盘赌转轮在全球范围内的分布情况（这个问题我们怎么可能搞清楚呢），而是我们的一种心理状态。5%是“眼前这个转轮偏向红色区域”这种说法的置信度。

顺便说一句，费舍尔就是从这里开始与其他人分道扬镳的。约翰·梅纳德·凯恩斯（John Maynard Keynes）在《概率论》（Treatise on Probability）中指出，概率“测量的是人们结合已知证据后赋予命题的‘合理置信度’”。费舍尔对这个观点提出了严厉的批评，他的最后几句话很好地概括了他的看法：“如果美国数学系的学生认为凯恩斯先生在该书最后一章中的观点是权威观点并加以接受，他们就会在应用数学最有前景的分支领域中误入歧途，有的人会讨厌这些研究，大多数人则会变得愚昧无知。”

对于那些愿意接受概率就是置信度这种观点的人而言，贝叶斯定理不仅可以被看作一个数学方程式，还是一种偏重于数值的规则，它告诉我们如何结合新的观察结果修正我们赋予事物的置信度。当然，我们可以选择是否遵从这个规则。贝叶斯定理采用了一种新颖且更具一般性的形式，自然会引发更激烈的争议。坚信贝叶斯定理的人认为，对于所有事物，我们至少应该在有限的认知范围内根据严格的贝氏计算法来确定置信度，而其他人则认为贝氏规则更近似于一种宽松的定性指导原则。

出现RBRRB与RRRRR这两个结果的可能性都非常小，而且概率相同，但是在人们看来，前者是随机结果，后者则不是，这是为什么呢？贝叶斯的统计学观足以解释其原因。当看到RRRRR这个结果时，我们就会更加相信一个理论（即转轮做过手脚，小球会停在红色区域），对于这个理论，我们已经赋予了某个先验概率。但是，如果出现的结果是RBRRB呢？我们可以假设有这样一个人：对于轮盘赌的转轮，他通常不带任何偏见，对于“转轮中藏有可以产生RBRRB这个结果的鲁布·戈德堡机械装置”这种想法，他会赋予一个中庸的概率。为什么不可以这样想呢？如果这样的一个人看到RBRRB这个结果，他会更加坚定自己的想法。

但是，在真实世界中，当轮盘赌的转轮真的产生RBRRB这个结果时，人们是不会这样想的。我们的有些想法合乎逻辑但非常荒谬，对于这样的想法，我们不会全盘接受。先验概率不是一视同仁，而是有所取舍的。在心理上，有的想法会得到明显的重视，而对于RBRRB这一类结果，我们赋予它们的先验概率几乎接近于零。那么，什么样的想法会受到我们的青睐呢？相较于复杂想法以及以完全陌生的现象为基础的想法，我们往往更喜欢简单的想法和那些通过类比我们所熟知的事物而产生的想法。这种喜好似乎是一种不公平的偏见，但是，如果没有任何偏见，我们就有可能整天都处于震惊的状态。理查德·费曼（Richard Feynman）有一段非常有名的话，描述的正是这种心理状态。

大家知道吗，今晚我遇到了一件非常奇怪的事。就在我来这儿的路上，当我从停车场经过时，一件令人难以置信的事情发生了，我看到一辆车的车牌号为ARW357。大家想一想，我们州有好几百万个车牌号，今天晚上我看到这个车牌号的概率是多少？这太让人吃惊了！

如果大家服用过美国最流行的某种打法律“擦边球”的精神药物，就会知道一视同仁的先验概率会给我们带来什么样的感觉。服用了那种药物之后，所有刺激都会让我们觉得意义深刻，无论这种刺激是多么平常。每种体验都会激起我们的兴趣，让我们欲罢不能。这样的精神状态非常有趣，但无助于我们做出正确的推理。

贝叶斯的观点可以解释费曼当时并没有真的感到吃惊的原因：对于“某种宇宙力量驱使他看到ARW357这个车牌号”的假设，他赋予了一个非常小的先验概率。他的观点还可以解释为什么小球连续5次停在红色区域会让人们觉得其“随机程度小于”RBRRB这个结果：因为前者会触发某个想法（即红色论），所以我们赋予这个想法的先验概率并不是非常小，但是后者没有这种作用。而且，末位数为0的数字的随机程度似乎小于末位数是7的数字，原因是前者会使我们产生这样的想法：我们看到的这个数字不是精确的统计数字，而是粗略估计得出的结果。

贝叶斯推理框架还可以帮助我们解决前文中遇到的难题。当彩票游戏连续两次开出“4、21、23、34、39”这个中奖号码时，我们感到非常吃惊，并且会心存疑虑。但是，如果某一天开出的中奖号码为“4、21、23、34、39”，另一天开出的中奖号码为“16、17、18、22、39”，对此我们丝毫不会觉得奇怪。这两种情况出现的可能性都很小，但为什么我们的反应却大相径庭呢？我们的思想深处隐藏着某种想法，认为很有可能出于某种神秘的原因，彩票游戏才会在很短的时间内两次开出同一组中奖号码。我们可能会认为彩票游戏的主管部门从中做了手脚，或者某种青睐同步性的宇宙力量发生了作用，但是这些都不重要。我们真诚地认为，同一组中奖号码重复出现的先验概率只有1/100000。但是，与我们赋予“4、21、23、34、39”和“16、17、18、22、39”这两组中奖号码的先验概率相比，1/100000仍然要大得多。认为不同的中奖号码是作弊产物的想法十分疯狂，而我们没有喝醉酒，头脑非常清醒，因此，我们不会把它当回事儿。

即使我们真的在一定程度上相信某个疯狂的想法，也无须担心。当我们得到的证据与这个想法不一致时，我们赋予这个疯狂想法的置信度就会下降，直到与其他人差不多。除非这种疯狂的想法经过精心的设计可以躲过这个筛选程序，阴谋论就是这样起作用的。

假设你深信的一位朋友说，波士顿马拉松爆炸案是联邦政府监守自盗的产物，目的是让更多公众支持美国国家安全局窃听个人电话（我随便说说而已，大家千万别当真）。我们把这个定义为T理论。由于你信任这位朋友，因此你一开始就为这个理论赋予了一个较大的先验概率，比如说0.1。但是，随后我们获取了其他信息，诸如，警察已经锁定嫌犯的位置，侥幸活命的嫌犯供认不讳等。如果T为真，这些信息为真的可能性就会非常小，因此，每一条信息都会使T的置信度逐渐降低，直到我们不再相信它。

因此，朋友不会直接把T理论告诉我们，而会先告诉我们U理论，即政府与媒体都参与了这个阴谋，比如，报纸与有线电视网散播了爆炸案是穆斯林极端分子制造的假消息。一开始时，T+U结合体的先验概率更小。从本质上讲，这个结合体比T更令人难以置信，因为它要求我们同时相信T和U理论。但是，随着证据逐渐增多，这些证据往往只能削弱T的置信度，而T+U结合体却不受任何影响。^[4]焦哈尔·察尔纳耶夫（Dzhokar Tsarhaev）招供了？对啊，我们本来就猜到联邦法院会这么说，因此美国司法部肯定参与了这次事件！U理论就像T理论的保护层，使新证据无法触及T，更不能推翻T。荒诞不经但却非常成功的理论大多有这种共性，这些理论有厚厚的保护层，这些保护层又与很多可观察到的结果并不矛盾，因此很难被打破。在信息的生态系统中，它们就是有多种耐药性的“大肠杆菌”。