魔鬼数学：高效预测大数据时代

在很多人眼里，大数据时代非常可怕，原因之一是：大数据时代隐晦地表明，如果有足够多的数据，算法（algorithm）的推理能力将超过人类。所有超能力都令人害怕：可以变形的存在令人害怕，能死而复生的存在令人害怕，推理能力超过人类的存在也令人害怕。令人害怕的事还有：塔吉特公司的客户营销分析小组建立的一个统计学模型，基于采购数据，能准确地推断出其中一个顾客（哦，对不起，应该是“客户”）怀孕了，推断的依据是明尼苏达州的这位少女购买的商品比较神秘，其中无香味的护肤液、矿物质补充剂以及棉球的数量有所增加。于是，塔吉特开始向这位少女派送婴儿服装优惠券，这一举动令女孩的父亲大为惊愕。作为人类，他的推理能力太弱，他还不知道自己的女儿怀孕了。生活在这个世界上，谷歌、脸谱网、智能手机甚至塔吉特公司，甚至比我们的父母更加了解我们，一想到这些，就不由得让人惴惴不安。

不过，我们也许应该少花点儿时间考虑那些能力超强的算法，而应该多花点儿时间考虑那些蹩脚的算法。

一方面，算法的结果可能是正确的，也可能非常蹩脚。的确，通过算法，硅谷的经营手段一年比一年老练，收集的数据越来越多，作用也越来越大。有人预测，未来谷歌会对我们了如指掌。通过归纳和分析数以百万计的微观察结果（在点击这个链接前他犹豫了多长时间，他的谷歌眼镜在那个上面停留了多长时间），中心备件库可以预测我们的喜好、欲望、行动，更重要的是，它还可以预测我们可能想购买什么，或者可能说服我们购买什么。

这种情况有可能发生，也有可能不会发生。在研究很多数学问题时，得到的数据越多，越能提高研究结果的准确度，而且准确度提高的幅度在很大程度上是可以预见的。如果要预测小行星的运行轨迹，我们需要测算它的速度与位置，还需要测算宇宙中其他天体的万有引力。相关数据越多、越精确，预测的准确度越高。

但是，有的预测就像天气预报一样，难度极大。在这种情况下，大量精确的数据以及可以迅速处理这些数据的算法可以一展它们的身手。1950年，早期的计算机“埃尼阿克”（ENIAC）需要花24个小时才能模拟出未来24个小时的天气，这是太空时代计算机在数据运算能力方面取得的令人叹为观止的成绩。2008年，人们用诺基亚6300手机重新进行了这项计算，耗时还不到1秒钟。现在，天气预报不仅更新更快，预报时效更长，也更准确。2010年普通的5天天气预报与1986年的三天天气预报相比，准确度不分伯仲。

随着数据收集能力的不断增强，我们想当然地认为预测水平也会越来越高：美国国家气象频道总部的服务器机房总有一天可以更精准地模拟整个大气层，如果想了解下个月的天气情况，我们只需要在运行模拟程序时将时间往前推进一点儿就可以了。

这不会成为现实。大气中的能量从非常小的区域迅速蔓延至全球大部分地区，所需的时间非常短，因此，某时某地的一个微不足道的变化可能会在随后几天里造成显著不同的结果。用技术术语来表述，就是天气情况是混沌无序的。事实上，爱德华·洛伦兹（Edward Lorenz）第一次提出“混沌”这个数学概念时，就是受到了天气预报的启发。洛伦兹说：“一位气象学家认为，如果该理论是正确的，海鸥的一次振翅就足以永久地改变天气变化的趋势。关于这个说法的争论还没有平息，但是近期的大多数证据似乎都支持这个说法。”(www.xing528.com)

无论我们收集多少数据，天气预报的时效都是一个严格的限制条件。洛伦兹认为，这个时效大约是两周时间。到目前为止，尽管全世界的气象学家都在全神贯注地研究这个问题，但是我们仍然没有理由怀疑这个限制条件。

人类的行为更像小行星，还是与天气情况更类似呢？这当然取决于我们讨论的是人类哪个方面的行为。至少在某个方面，人类行为应该比天气更加难以预测。我们已经为天气建立了一个效果极佳的数学预测模型，尽管天气内在的混沌特性最终必将胜出，但在获取更多的数据之后，我们借助这个数学模型，仍有可能提高短期天气预报的准确性。而关于人类行为，我们还没有这样的预测模型，而且可能永远都不会有，所以预测人类行为的难度要大得多。

2006年，在线娱乐公司奈飞（Netflix）举行了一个奖金额高达100万美元的竞赛，让全世界的参赛者编写一个向顾客推荐影片的算法，而且效果要胜过奈飞公司自己研发的产品。活动有效期不是很长，因为奈飞公司规定，只要有人第一个编写出推荐效果比奈飞产品优越10%的算法，他就是赢家。

参与竞赛的人收到一个巨大的文件，其中包含100万个匿名的影片评级，涉及17700部电影，来自近50万名奈飞用户。编程的难点在于预测用户会如何评价自己没看过的影片。参赛者手里有大量数据，都与他们准备预测的顾客行为有直接相关性。但是，这种预测的难度非常大，直到三年后才有人获胜，而且还是几个小组联合起来，将各自近乎完美的算法程序结合到一起，才勉强达到要求。但是，在这项竞赛尚未结束时，奈飞公司的业务已经从邮寄电影DVD（数字多功能光盘）转变为向顾客提供在线流媒体影片服务，影片推荐效果不佳也不再是一个大问题了。如果我们曾经接受过奈飞（或者亚马逊、脸谱网等尝试基于所收集的客户信息向客户推荐产品的网站）的服务，就会知道这些推荐的效果仍然非常差。如果在用户的档案资料中添加更多的数据流，推荐效果也许会有所提升，当然，也有可能不会提升。

然而，在收集数据的公司看来，情况并不像以上描述的那么糟糕。如果塔吉特仅凭跟踪你的会员积分卡的使用情况，就能够百分之百地确定你怀孕了，对他们来说这当然是个好消息。可是，他们做不到。然而，如果能够把猜测你是否怀孕的准确度提高10%，这就是个好消息。谷歌的情况也是一样，他们无须了解我们到底想要购买什么产品，只要他们的想法优于他们的竞争对手即可。公司的利润通常并不是很丰厚，客户行为预测的准确度提高10%，在我们看来并不是什么了不起的事，但对公司而言则可能意味着大笔利润。在那次大赛期间，我找到了奈飞公司负责影片推荐业务的副总裁吉姆·班尼特（Jim Bennett），问他为什么会提供那么一大笔奖金。他告诉我，我应该问的问题是奖金为什么那么少。推荐效果提高10%，尽管这个数字看起来很小，但是公司很快就能赚回那100万美元奖金，而且比再拍摄一部《速度与激情》（Fast and Furious）还要快。