首页 理论教育 真相掌握方法:非理性决策与统计概率

真相掌握方法:非理性决策与统计概率

时间:2023-11-03 理论教育 版权反馈
【摘要】:后来吉尼斯所用的心理测试被证明完全不可靠,这项纪录就被撤销了,不过沃斯·莎凡特的高智商从没被人怀疑过。不过,沃斯·莎凡特给出的回答并非如此简单。最终帕斯卡解决了德梅雷的问题——他证明,把一个骰子掷四次,至少掷得一个6的概率是51.77%,略高于把两个骰子掷24次掷得至少两个6的概率,即49.14%。在21世纪,从市场到医药,从体育比赛到气候模型,统计与概率信息已经无所不在。

真相掌握方法:非理性决策与统计概率

玛丽莲·沃斯·莎凡特(Marilyn vos Savant)是一位作家编剧,因智力超群而闻名于世。[1]她是1986年至1989年期间吉尼斯最高智商纪录的保持者。后来吉尼斯所用的心理测试被证明完全不可靠,这项纪录就被撤销了,不过沃斯·莎凡特的高智商从没被人怀疑过。她在《美国大观》(Parade Magazine)杂志上开辟了一个每周专栏,应读者的要求回答各种逻辑问题或者解决谜题。1990年,马里兰州的克雷格·惠特克(Craig Whitaker)提出了下面的问题:

假定你参加一个电视游戏节目,需要从三扇门中选择一扇。在一扇门后有一辆车,另外两扇门后则是山羊,如果选到车就算获胜。你选择了一扇门,我们称之为1号门。然后知悉内情的主持人打开了另一扇门,我们称之为3号门,门后是山羊。接着他会问你:“现在你要选2号门吗?”这个时候,如果选手转而选择另一扇门,是否更为有利呢?

这个奇怪的问题,其实来自电视游戏节目《一锤定音》(Let's Make a Deal)中选手们遭遇到的一个两难困境。主持人蒙提·霍尔(Monty Hall)会给他们一次机会,要么换一扇门,要么保持不变。对大多数人来说,结果看起来非常明显。如果只剩下两扇门没有打开,那么机会总是各占一半,换不换又有什么关系呢?不过,沃斯·莎凡特给出的回答并非如此简单。她认为,更有利的策略是换一个选择。她的回答引发了强烈不满,愤怒的信件铺天盖地向她涌来,指责她愚蠢无知。在她收到的一万多封来信中,大概有一千封来信的作者都有博士学历,很多人本身就是数学家或科学家,他们高傲地指出,她的做法只会让美国人对数学更加无知。

不过沃斯·莎凡特是对的。在主持人打开一扇门后,如果选手还保留最初的选择不变,那获胜的概率是三分之一,可如果换一个选择的话,获胜的概率就提高到了三分之二。如果那些指责沃斯·莎凡特无知的人们稍加了解,可能就会发现这个“蒙提·霍尔问题”早在1975年就已经由统计学家史蒂夫·塞尔文(Steve Selvin)提出并解决了。这个奇怪的结论是真的吗?我们先假定汽车在A门后面。如果你选A门,蒙提会打开B门或C门,让你看到门后的山羊。这时如果你改变主意,你当然就输了。不过,假设你最初选的是B门,蒙提就会打开C门,这时候你换一个选择就可以赢得汽车了。同样道理,如果你一开始选了C门,那么B门随后会被打开,你换一个选择的话,还是能够赢得汽车。也就是说,在三分之二的情形下,改变原有的选择都是对的。

上表中列出了每一种可能的选择组合。在三分之二的情况下,更改原有选择都能赢得竞猜。这看起来可能很荒谬,因为根据直觉,换或不换好像根本没有什么差别。许多人都对这样的结果感到困惑不已。这一答案不仅激怒了《美国大观》杂志的读者,甚至连成就斐然的数学家保罗·埃尔德什(Paul Erdős)也对此心存疑虑。最终,计算机模拟证明这个答案确实是正确的。如今,“蒙提·霍尔问题”已经成为概率论课本中的基础内容,但仍然会难倒不少人,其中还不乏一些专家。有意思的是,有人用鸽子进行相关实验,发现鸽子很快就能学会更换选项的最佳策略,与人类的表现形成鲜明对比。研究者是这么评价的:“用人类受试者进行重复试验,结果表明,即使经过大量训练,人类仍未能掌握最佳策略。”

无论遇到什么情形,我们都会出于本能去寻找并量化规律,这可谓是人类最为出色的生存技能之一。渴望理解周遭的世界和永不满足的好奇心让人类发展出璀璨的文明,创造了伟大的发明,并逐步掌握了物质世界的无穷奥秘。然而,一旦遭遇到日常生活中各种混乱嘈杂的问题,这种高级的本能也会给我们带来挫败。这个世界充满了各种不确定性,若能善用概率与统计,就能拥有区分虚实的利器。那些随机发生的事件都可以理解为某种概率现象,从城市规划量子力学,从医学到经济学研究,概率都是至关重要的一个方面。尽管概率论与数理统计有很多高精尖的应用领域,但它们的起源却可以追溯到非常世俗的动机:博弈。数千年来,人类一直热衷于基于概率的博弈游戏。在17世纪之前,人们普遍认为,骰子游戏就是天意,完全超出了人可以控制的领域。如果说有人可能相对准确地预测骰子的结果,这简直是痴人说梦,甚至还可能亵渎神灵。

直到1664年,一位法国作家提出了一个问题,才扭转了人们的观念。这位言行怪诞的作家名叫舍瓦利耶·德梅雷(Chevalier de Méré),他的问题引起了当时17世纪法国两位最有智慧的名人的注意,那就是布莱兹·帕斯卡(Blaise Pascal)和皮埃尔·德费马(Pierre De Fermat)。最终帕斯卡解决了德梅雷的问题——他证明,把一个骰子掷四次,至少掷得一个6的概率是51.77%,略高于把两个骰子掷24次掷得至少两个6的概率,即49.14%。在法国大革命前的文化龙里,饱学之士们都绞尽脑汁,渴望解决在博弈中将收益最大化的问题。从这个微不足道的猜谜游戏里,人们对掷骰子的研究催生出了概率论。不过,正如我们在上文中说到的,人类对于各种规则有着异常敏锐、一触即发的直觉,因此很不善于处理那些随机发生的、杂乱无章的信息。真正意义上的随机事件并不会“记住”先前的结果,但人类天生喜欢基于观察进行推断,正是这种天性让我们常常误入歧途。

彩票为例,如果一切正常,数字1、2、3、4、5、6这几个数字一起掉出摇号机的可能性与其他任何一个数字组合是一样的。即便如此,人们出于直觉还是会认为,这样整齐的一串数字比其他数字组合更为难得,大多数人也不会选择这样的号码。同样道理,如果一枚硬币被反复抛起20次,而且每次都是正面朝上,那我们不免会觉得第21次时“应该是”反面朝上了,可事实上反面朝上的概率依然还是50%。[2]正是这种“赌徒谬误”害得许多人不可自拔、倾家荡产。值得庆幸的是,尽管直觉很容易出错,却并非无法摆脱。数个世纪以来,人类在好奇心的驱动下发展出各种手段,用于剔除信号中夹杂的噪音

在21世纪,从市场到医药,从体育比赛到气候模型,统计与概率信息已经无所不在。统计数字看起来直观,所以很受欢迎。但这种极简化的表象其实是有误导性的,它把可能出错的细节信息掩盖了起来。统计数字模糊暧昧,而公众的数学能力又普遍不足,如果不够谨慎细致,往往会错误理解一些统计趋势。更值得警醒的是,别有用心的阴谋分子还会利用模糊的统计数字来操纵民意,宣扬错误言论,这会威胁到公众的利益,所以也难怪会有人对统计数字不以为然、冷嘲热讽。不知是王尔德还是马克·吐温曾说过这样一句了不起的妙语:这世界上有三种不诚实——“谎言、大谎言和统计数据”。

这种质疑固然情有可原,但也不能把统计数字完全视为虚假的“特洛伊木马”诡计,那会像是在倒洗澡水时把孩子也一起倒掉了。统计学家弗雷德里克·莫斯特勒(Frederick Mosteller)曾经说过:“用统计数字确实很容易撒谎,但如果没有统计数字,撒谎就更容易了。”确实如此,如果能合理运用,统计工具就能够为我们揭示出很多不易察觉的规律与趋势。因此,无论是在医药还是政治等各个领域,统计工具都发挥着不可低估的重要作用。当然,要让统计数字真正发挥作用,还必须谨慎回避各种陷阱与误区。数字信息经常被人滥用,我们必须小心辨别、仔细思考,才能避免大意出错或受人蒙骗。

在这个充满不确定性的世界里,统计数字尤其便于我们进行量化分析。但是,一旦脱离具体情境,又缺乏充分理解,这些数字也可能令人迷惑不解或造成误解。为了更好地说明这个问题,让我们看看一个有悖直觉的例子。

假设你接受一项艾滋病病毒(HIV)检测,并被告知检测的准确率为99.99%,如果检测结果呈阳性,那么你真正携带HIV的可能性是多少呢?按照大多数人的本能反应,那我们几乎肯定得病了,不过这个结论是错误的。正确答案是,大部分人患病的可能性都是将近50%。你可能感到不解,其实大多数人,甚至包括一些医学专家,都很难接受这样一个看似荒唐的答案。

这个奇怪的结果可以用贝叶斯定理(Bayes' theorem)来解释。这是一个用于结合各种条件概率的数学框架,以展示概率是怎么分布的。根据贝叶斯定理,若HIV检测呈阳性,那么实际感染HIV的概率不仅取决于测试,还取决于一个人实际患病的可能性。HIV检测本身可能几近完美,但其准确率还有赖于另一个条件:这个人感染病毒的先验概率。我们在此暂不提及贝叶斯定理的正式表述,因为这不仅超出了本书涉及的范围,也没必要用一堆不常见的数学符号把读者弄得一头雾水。但贝叶斯定理的基本逻辑并不难理解,也很有必要解释清楚,因为它关系到生活中数不胜数、看似荒唐的统计数据。

在我们上文所述的例子中,一项准确率高达99.99%的HIV检测只能有一半的把握确认患者感染了HIV,这究竟是怎么回事呢?对于一名低风险群体的受试者而言,他感染病毒的基准概率大约是万分之一。假设10000名这样的受试者都来接受HIV检测,他们其中确实有一个人携带了病毒,其检测结果也几乎肯定是呈阳性。但是在其余的9999人中,因为检测的准确率并不完美,也就是有0.01%的情况检测结果错误,所以还会有一个人也得到阳性的检测结果。这样一来,10000人接受检测之后,就会出现两例结果呈阳性,而其中只有一人是真的。这也就是说,如果检测结果呈阳性,患病的可能性为50%。

这一结果确实让人有点困惑,但这并不意味着这项检测不行,上面例子中的这项HIV检测事实上已经是相当精确了。不过,这个病毒感染的概率非常有限,因而它的“条件概率”远远低于我们的直觉。事实上,一位受试者感染病毒的先验概率与最终结果的准确性是密不可分的。我们不妨再考虑一下HIV高风险人群接受同一项检测的情况,比如静脉注射吸毒者。这类高风险人群的HIV感染率大约是1.5%。我们假定有10000名这样的受试者前来接受检测,其中大约有150人已经感染病毒,且检测结果也确实呈阳性。在其余的9850名受试者中,大约也会出现一名假阳性,即错误的检测结果。在这种情况下,HIV检测结果呈阳性的人实际感染HIV的概率就不再是一半了:对一名高风险群体的患者而言,检测呈阳性的感染概率是150/151,也就是99.34%,远远高于低风险群体中的情况。

上文中的频率树形图能够清楚地说明低风险与高风险两个群体的不同情况。两者结果差异巨大,值得我们思考。人们不禁会提出这样的问题:为什么会不一样?为什么两个不同群体接受一项相同的检测,其准确率却有天壤之别?我们可能会出于本能地认为是检测出现了错误,但事实并非如此——检测本身并不带有歧视性,检测精确性也不会因受试者的特定背景而提高或降低,检测针头并没有奇异的洞察力,对每一个的受试者而言,准确率始终都是99.99%。问题的症结正好说明了贝叶斯定理,也就是说,当问题取决于其他方面的概率时,某一方面的信息并不足以得出正确的结论。概率往往是有条件的,我们必须小心解读那些脱离情境的孤立数字。

上面的例子也说明了一个道理:概率和统计数字看似直观,但简单的表象掩盖了内部的复杂性,很容易引起误解,有时甚至会让我们得出完全错误的结论。很多时候,似是而非的推断和数据误读都会带来严重的后果。而这些误读绝不是学术上简单的小问题或是数学把戏,在当今这个时代,各种统计信息决定着方方面面的重要决策,无论是在科学、政治还是经济领域,统计数字与概率无所不在,有时甚至会决定医疗方案或政府行动等事关生死的大事。

生活中许多事情都要求我们基于概率信息做出正确的结论。一旦犯下错误,特别是那些应该拥有更多知识和更多决策权的人,就可能会造成非常高的人力成本。在艾滋病危机爆发初期,抗逆转录病毒药物尚未出现,HIV检验呈阳性就意味着被判了死刑。HIV检测非常可靠,这让当时许多医生盲目相信检测结果。于是很多病人其实并没有感染HIV,但医生根据检测结果告诉他们极有可能已经染病,导致很多检测呈假阳性的病人深陷抑郁,有些甚至导致了极端的行为。

在另一个领域,概率还可能决定很多人的命运,那就是法庭。陪审团法官都有一个重要任务,就是定罪。为了得出正确的结论,他们时常要面对控方与辩方分别罗列出的大量数据信息。在任何一桩涉及数据信息的法律案件中,双方在呈交相关信息时都是为了各自的客户。双方将信息呈交给陪审团,试图左右他们的态度与立场。不过,正如上文中HIV检测的例子那样,这些孤立的信息往往没有什么实质的内容,反而很容易引起误解,甚至误导陪审团做出有悖于真实情况的错误结论。统计数据可能听着响亮悦耳,可一旦缺失了关键的信息,那么这些数字的作用究竟是启迪还是误导,就不知道了。(www.xing528.com)

如果想了解这类问题可能造成多么严重的后果,我们不妨回顾一下著名教授罗伊·梅多爵士(Sir Roy Meadow)的一次惨痛教训。梅多教授是英国一位德高望重的儿科医生,最著名的是1977年委托他人发表的一篇有关孟乔森综合征(Munchausen syndrome)的论文。因为对儿童健康做出的伟大贡献,他被封为爵士,他的思想对当时的社会工作者和英国全国防止虐待儿童学会(National Society for the Prevention of Cruelty to Children)也产生了巨大的影响。他曾说过一句名言,后来被直接称作“梅多法则”:“一个婴孩的突然死亡是一场悲剧,两个突然死亡则会令人起疑,三个就是亟待证实的谋杀。”

梅多总是觉得到处都有黑暗力量在作祟。他的这种倾向完全出于对数字规律的无知,最终也毁掉了很多人的生活。其中最悲惨的当属20世纪90年代末萨莉·克拉克(Sally Clark)的遭遇。萨莉与丈夫史蒂夫都是律师,他们连续痛失两个年幼的儿子,死因都看似是“婴儿猝死综合征”(SIDS)。他们的第一个儿子克里斯托弗在11周大的时候忽然昏迷不醒而夭折,第二个儿子哈里在8周大的时候也在类似的情形下停止了呼吸。这两起死亡事件发生时,都是萨莉一个人陪在孩子身边,她本人似乎也有了一些创伤的征兆,可能是因为当时她竭力试图抢救孩子。而正是这些细节让她本人背上了嫌疑。

于是,萨莉和史蒂夫刚刚经历丧子之痛,又意外地雪上加霜,夫妇两人都被指控犯有谋杀罪。由于没有找到任何物证,对史蒂夫的控告被撤销,但是最高法院决定继续对萨莉进行审判。梅多当时被认为是英国在儿童虐待问题上首屈一指的权威,检方要求他出庭作证,指控萨莉的罪行。当时物证缺乏,梅多用了统计数字来论证其有罪。他断言说,像克拉克家这样不吸烟的中产阶级家庭,发生SIDS的概率仅仅为1/8543。他进而推测,在这样的家庭里发生两起SIDS的概率大约只有1/7300000。面对陪审团,他把这种情况类比成极端离奇的赛马获胜概率:

你们都知道,在全国跑马大赛中支持那些获胜概率很小的马全凭运气。假如获胜的概率是1/80。去年你支持的那匹马获胜了,那么第二年,另一匹马获胜的概率依然是1/80,而你支持了这匹马,它又获胜了。诸位,我们现在面临的情况是,按照1/80的获胜概率,假如你连续四年都能获胜,那就是1/7300000的可能性了。没错,这实在是非常非常幸运,因为每一次获胜概率只有1/80。也许你可能碰巧赢了一次,但如果要连续四年都获胜,我们知道这其实是不可能的。所以,这两起死亡事件也是同样的道理。我们只能说,两起非常难得的事情接连发生,这实在是非常、非常、非常不可能的。

他的这番话数据确凿、不容置疑,对萨莉·克拉克而言不亚于铁证如山。媒体自然也把这段话当作无可辩驳的罪证,陪审团也做出了同样的选择。梅多的证词成为最强有力的证据,最终萨莉·克拉克成为众矢之的,被媒体丑化成铁石心肠、不知悔改的弑子犯。陪审团也受到公共舆论的影响,最终认定她两次弑婴罪名成立。

不过,统计学家们对这个判决结果深感不安。梅多证词中所说的1/7300000,是他把两个独立事件发生的概率相乘的结果。当然,在抛硬币或轮盘赌这类事件中,每次的结果相对于前一次而言都是独立的,这样计算当然完全正确。但如果前后两件事并不是相互独立的,那就是大错特错了。即使是在20世纪90年代,流行病学上也已经有证据表明,由于基因或环境因素的影响,SIDS往往有家族遗传。也就是说,原本假定两起死亡事件相互独立的想法根本站不住脚,将萨莉定罪的概率验算也是完全不靠谱的。

出错的并不仅仅是概率计算。梅多教授确实错误地使用了统计数字,更糟糕的是,陪审团和全国媒体也根据失实的统计数据认为萨莉有罪。这个错误在法庭上非常常见,因此也被称作“检察官谬误”(prosecutor's fallacy)。我们不妨首先假定梅多提供的数据是正确的。按照大多数人的理解,这样的数据就意味着萨莉无罪的可能性只有1/7300000。但这样的推论是大错特错的。发生多起SIDS实属罕见,但同样,发生多起母亲杀婴案的概率也是微乎其微的。要想知道哪种情况更可能发生,就必须通过比较来明确它们的相对可能性。在萨莉一案中,如果真做这样的分析对比,那么结论是,在一个家庭中发生两起SIDS的可能性远远高于两起谋杀案,这也从侧面说明,做出错误判决的内因还是在于“检察官谬误”。

克拉克一家遭遇的不公正待遇还是引起了一些人的注意。英国皇家统计学会(Royal Statistical Society, RSS)发表了一篇措辞强硬、内容全面的驳斥文章,抨击控方滥用统计数据,并恳请大法官重新认真考虑这起案件。当时,《英国医学杂志》的主编斯蒂芬·J. 沃特金斯(Stephen J. Watkins)也撰写了一篇社论,指责这起案件中滥用医学数据的行为,提出“被告也应该得到像患者一样的保护”。遗憾的是,人们对这些抗议置若罔闻。我们很难想象萨莉·克拉克经历了多么痛苦的折磨。她先后经历两次丧子之痛,接着又遭到不公正的错误判决,不仅被大众媒体妖魔化,还受到神职人员的诅咒。甚至在狱中她也厄运不断,遭到其他狱友的排斥,原因不只在于她的罪名,还因为她本人曾当过律师,还是一名警官的女儿。

如此触目惊心的不公正判决,若不是有几个人的坚持不懈的努力,只怕永远都不会被平反昭雪。史蒂夫·克拉克后来离开了曼彻斯特的律师事务所,在萨莉服刑的监狱附近找到一份法务助理的工作,并且卖掉家里的房子,用来支付诉讼费用。后来,他得到了著名律师玛丽莲·斯托(Marilyn Stowe)的帮助。她主动提供无偿服务,因为她基于自己的职业判断,认定萨莉的罪名是不成立的。要证明萨莉无罪,是一个漫长而艰辛的过程。在第一次上诉时,他们演示了统计问题,可法官根本不以为意,甚至认为这些只是玩弄数字游戏而已。

多亏斯托律师天性顽强且足智多谋,他们终于获得了第二次上诉的机会。斯托通过仔细调查发现,检方任命的病理学家艾伦·威廉斯(Alan Williams)对哈里的尸体进行解剖时,在微生物检查中发现了存在金黄色葡萄球菌菌落的证据。这有力地表明病菌是一个重要的致死原因,而控方并未及时把这一发现告知辩方与调查人员。在玛丽莲·斯托与史蒂夫·克拉克的不懈努力下,法院终于在2003年推翻了对萨莉的指控。第二次上诉最终认定,统计上的错误严重地误导了陪审团,整个审判也出现了无可挽救的偏差:“梅多教授讲述了在全国跑马大赛上多年连续支持高赔率选手而获胜的例子,我们怀疑,这一生动类比对(陪审团的)想法产生了很大的影响。”

萨莉·克拉克终于沉冤得雪,这也带来一连串多米诺效应。梅多素来以德高望重的专家身份示人,几乎从不犯错,这件事却令他名声扫地。人们接着着手复查他以往曾出庭作证的其他案件,结果不少因为他提供的统计数据而判刑入狱的女性都被无罪释放了。萨莉·克拉克虽然最终获释,可这时的她已经在监狱中度过了三年多地狱般的生活,饱受各种折磨。史蒂夫痛心地说,她“永远无法痊愈”,她不仅始终无法走出悲痛的心境,还患上了很多严重的心理疾病。2007年,萨莉·克拉克死于酒精中毒。正是专家与公众对统计数字的误解与滥用,让她的一生遭到了无法弥补的严重伤害。

萨莉·克拉克的悲剧时刻提醒我们,数字事关重大。如果脱离了情境与细节,统计数字尤其容易引起混淆与误解,这一点非常重要。很多案件都建立在似是而非的统计推论的基础上,而很多无辜的人也因为错误的数学概念而被定罪,这实在让人倍感忧心。有时候,高精尖的科学领域也可能带来一些可怕的推论。比如DNA图谱测定是一项无可匹敌的尖端技术,可以解析出我们所有的遗传密码,因此,无论是公众还是法律专家都认为DNA证据是无可置疑、绝无差错的。不过,DNA证据固然强大,可以帮助将罪犯绳之以法,却也并非绝对可靠,跟其他各种科学研究一样,它也是会出错的。

正如上文所说的HIV检测的例子一样,基于DNA证据所做出的结论是否可靠,取决于相关案件的先验信息。举例而言,比如要跟在某一犯罪现场发现的部分DNA图谱相一致的概率大约是百万分之一。如果拘押的犯罪嫌疑人恰好符合这个图谱,我们就会觉得已经得到了强有力的证据,或者说是嫌疑极大的“铁证”。不过,如果我们在一千万人的巨大数据库中仔细排查,也许会发现有十个人都有嫌疑,可这仅仅是大样本带来的巧合罢了。按照贝叶斯定理,若要评估犯罪的概率,我们不仅需要考虑检测结果,还需要考虑产生这一结果的频率与样本容量。所以,某一特定DNA证据是否有力,取决于它是来自单一对象,还是仅仅是数据库匹配的结果。如果没有这方面的信息,陪审团就很容易犯下“检察官谬误”。

我们必须重申,这个问题并非在于技术的局限,而是在于我们解释的偏误。DNA证据让法律诉讼发生了巨大的变革,这一点毋庸置疑。但是,草率盲目地解读数据却可能造成冤假错案,而且已经造成了一些悲剧。所以我们必须小心避免概率中的各种陷阱。概率数据看起来似乎直接明确,但实际上,直观简单的表象通常都是复杂的错觉。若要真正理解数字背后的意义,我们还需要进一步了解具体情境并仔细考量。有时候,数据所传递的真实信息很可能与我们最初的感知大相径庭。

统计数据时常模棱两可、似是而非,有时一些数据似乎能够支持某种假设,但我们也可能被看起来明显的趋势所误导。人们总是出于本能地相信数字是客观明确的,却常常忘记了数据也需要人的解读。

[1]顺便一提:沃斯·莎凡特与我们前面(第3章)提到的拍“立普妥”广告的罗伯特·贾维克是夫妻。

[2]事实上连续出现20次正面朝上的概率只有1/1048576,但也许这也正能够让我们理性地意识到硬币出现正反面的概率是多么公平。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈