因此,如果公司可以获取大量数据,但在了解客户情况这方面仍然没有多大作为,他们应该考虑什么问题呢?
也许他们可以考虑一下这个问题。假设脸谱网有一个团队,决定想出一个办法,预测用户中谁有可能参与针对美国的恐怖活动。从数学的角度看,这跟判断奈飞用户是否有可能喜欢看电影《十三罗汉》(Ocean's Thirteen)这个问题的区别不大。脸谱网通常知道用户的真实姓名与地址,因此他们可以利用相关记录,为一系列已经被认定犯有恐怖主义罪行或者支持恐怖组织的人建立档案。然后,他们可以使用数学知识统计恐怖分子每天完成状态更新的次数与普通人相比是更多还是更少,抑或基本相同。在他们的信息更新中,是否某些词语出现的频率更高?他们通常喜欢或不喜欢的乐队、组织或产品有哪些?将用户的所有这类信息加以归纳,就可以为每个用户打分,分数代表脸谱网对用户与恐怖组织有联系或者将会产生联系的概率做出的评估。这项活动与塔吉特公司依据顾客采购的护肤乳与矿物质补充剂推断出她可能是孕妇的做法,基本没有什么区别。
但是,两者之间有一个重要的不同点:怀孕是一种常见现象,而恐怖主义则非常少见。几乎在所有情况下,特定用户是恐怖分子的概率都会非常小。因此,无论脸谱网的算法是否能预测出谁将实施恐怖袭击,都不可能成为《少数派报告》(Minority Report)中描述的预防犯罪中心。但是,我们可以考虑一种中庸的情况,比如,脸谱网可以在某置信区间内列出一份包含10万名用户的名单,并指出:“其中每个用户是恐怖分子或者恐怖主义支持者的概率,是脸谱网普通用户的两倍。”
如果你发现你的一位邻居的名字出现在这份名单中,你会怎么做?会给美国联邦调查局打电话吗?
在打电话之前,你最好画一个方框图。
图中表示的是脸谱网两亿名美国用户的情况。上面的两格表示有可能是恐怖分子的用户,下面的两格表示不是恐怖分子的用户。在美国,所有的恐怖主义基层组织肯定都非常小。假设我们非常多疑,那么我们可以认为联邦调查局应该密切监视的恐怖分子嫌疑人有1万个,占脸谱网美国用户数的1/20000。
方框图左右两侧的区分是由脸谱网做出的,左侧是参与恐怖主义活动可能性较大的10万人。脸谱网认为自己的算法非常准确,所以根据该算法筛选出来的用户是恐怖分子的概率为普通用户的两倍。我们相信脸谱网说的是真的,也就是说,在这10万人中,有1/10000的人(即10人)是恐怖分子,剩余的99990人则不是恐怖分子。
如果1万名恐怖分子嫌疑人中有10人位于左上部,那么右上部就有9990人。同样,在脸谱网用户中有199990000名非恐怖分子,其中有99990人被该算法加上了标记,因此位于左下部,那么在右下部还剩199890010人。把4个分区的人数相加,得数为两亿人,也就是脸谱网的全部美国用户。
你的那位邻居就位于这4个分区中的某一个。
但是,他到底在哪个分区里呢?我们只知道他在左侧,这是因为脸谱网把他标记为有可能是恐怖分子的人。
我们需要注意一个问题:在位于图左侧两个分区的人当中,几乎没有人是恐怖分子。事实上,那位邻居不是恐怖分子的概率为99.99%。
从某种意义上说,这与避孕药引发恐慌的例子差不多。一旦上了脸谱网的名单,是恐怖分子的概率就会加倍,这令人害怕。但是,最初的概率非常小,即使加倍之后,仍然非常小。
我们还可以换一种方式来看这个问题。思考一下:如果某个人其实不是恐怖分子嫌疑人,那么他错误地出现在脸谱网名单中的概率有多大?这个问题更清楚地反映出不确定性推理可能导致的困惑与风险。
结合此图,这个问题就变成:如果我们位于图的下部区域,那么我们在左侧分区的概率有多大?
这很容易计算。图的下部区域中有199990000人,其中,只有99990人在左侧。因此,脸谱网算法将无辜的人标记为恐怖分子嫌疑人的概率为99990/199990000,即约0.05%。
这个结果没有错。脸谱网把一个非恐怖分子错误地认定为恐怖分子的概率不到1/2000!(www.xing528.com)
现在,再看到你的那位邻居时,你会怎么想呢?
显著性检验可以为我们提供明确的答案。零假设为“你的邻居不是恐怖分子”,在这个假设条件下,你的邻居遵纪守法,他出现在脸谱网黑名单上的概率约为0.05%,远低于1/20这个统计学显著性的临界值。换言之,按照当代大多数科学研究普遍采用的规则,我们有理由认为零假设是不正确的,从而认定你的邻居就是一个恐怖分子,尽管他不是恐怖分子的概率为99.99%。
一方面,遵纪守法的人几乎不可能被该算法列入黑名单。另一方面,算法指向的人几乎都是遵纪守法的人。这似乎相互矛盾,但其实不然,真实情况就是这样的。如果我们屏气凝神,仔细观察方框图,我们就不会犯错。
下面我来告诉大家问题的症结所在。其实,我们提出了两个问题,这两个问题看似没有区别,但其实并不相同。
问题1:如果某人不是恐怖分子,那么他出现在脸谱网黑名单上的概率是多少?
问题2:如果某人出现在脸谱网黑名单上,那么他不是恐怖分子的概率是多少?
这两个问题有不同的答案,因此它们不是同一个问题。我们已经知道,第一个问题的答案约为1/2000,第二个问题的答案是99.99%,而我们真正想知道的是第二个问题的答案。
这两个问题所考虑的量被称作“条件概率”(conditional probability),即“如果Y,则X的概率为……”让我们搞不清楚的是,“如果Y,则X的概率为……”与“如果X,则Y的概率为……”是不同的。
是不是有点儿熟悉的感觉啊?这正是我们在归为不可能法上面临的问题。p值是解决问题的关键,它指的是如果零假设是正确的,那么所观察到的实验结果发生的概率。
但是,我们想知道的其实是另一个条件概率:
如果我们观察到某种实验结果,则零假设正确的概率是多少?
我们把第二个概率与第一个概率弄混淆了,这正是错误出现的原因。这不是科学研究特有的现象,而是随处可见。公诉人转向陪审团宣布:“无辜人的DNA(脱氧核糖核酸)与犯罪现场发现的DNA样本匹配的概率只有五百万分之一,是的,五百万分之一。”此时,他回答的是问题1,即无辜的人是罪犯的概率是多少?但是,陪审团的工作是回答问题2,即被告其实是无辜的概率是多少?关于这个问题,DNA无法回答。
脸谱网黑名单的例子清楚地说明我们为什么不仅需要关注好的算法和蹩脚的算法,还要考虑更多的问题。如果你怀孕了,而且塔吉特公司知道你怀孕了,这种情况会令人不安。但是,如果你不是恐怖分子,而脸谱网却认为你是恐怖分子,这样的情况更糟糕、更令人不安。
你也许认为,脸谱网绝不会编造恐怖分子嫌疑人(或者逃税人、恋童癖者)名单,即使他们真的有这样的名单,也不会公之于众。他们为什么要这样做?难道能从中赚钱吗?也许是的。但是,美国国家安全局可不会管人们有没有登录脸谱网,他们肯定会收集美国境内所有人的数据。黑名单这样的东西肯定存在,除非你认为他们记录海量的通话数据,目的是为了告诉电话公司哪些地方需要增设信号塔。大数据没有魔力,不可能告诉联邦调查局谁是恐怖分子、谁不是恐怖分子。但是,给某些人加上标记,认为他们更加危险和“值得关注”,然后生成一个黑名单,这些工作并不需要魔力。这份名单上的绝大多数人与恐怖主义没有任何关系,你有多大信心认为自己不在这份名单上呢?
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。