实用数学方法：常用判别分析方法

这里主要简单介绍四种常用的判别方法，即距离判别法、费歇（Fisher）判别法、贝叶斯（Bayes）判别法和逐步判别法。

1. 距离判别法

首先根据已知分类的数据，分别计算各类的重心即分组（类）的均值，判别准则是对任给的一次观测，若它与第i类的重心距离最近，就认为它来自第i类。距离判别法，对各类（或总体）的分布、并无特定的要求，这种判别比较直观，适应面广，不足之处就是没有考虑各个总体的分布和错判造成的损失。

2. 费歇（Fisher）判别法

费歇判别法该法于1936年提出来，它对总体的分布并未提出特定的要求，是一种先投影的方法，就是寻找一个方向进行投影，把高维空间中的点向低维空间进行投影，使各类分得更清楚。有了投影之后，再用前面讲到的距离远近的方法来得到判别准则。

一般来说，如果有很多变量和很多类，Fisher判别法的原理是找到这样的投影，使得各类之间分得越清楚越好，而各类内部各点则越紧密越好。这样的投影可以有若干个。当然从最重要的投影选起，如果第一个投影的判别结果不理想，还可以多选。每一个投影相应于一个函数，称为判别函数。

下面主要介绍不等协差阵的两总体Fisher判别法。

从两个总体中抽取具有p个指标的样品观测数据，借助方差分析的思想构造一个判别函数或称判别式：y =c1 x1 +c2 x2+…+c p xp ，其中系数c1, c2, …, cp确定的原则是使两组间的区别最大，而使每个组内部的离差最小。有了判别式后，对于一个新的样品，将它的p个指标值代入判别式中求出y值，然后与判别临界值（或称分界点后面给出）进行比较，就可以判别它应属于哪一个总体。

判别函数的导出：假设有总体G1，G2，从第一个总体中抽取n1个样品，从第二个总体中抽取n2个样品，每个样品观测p个指标，如表8.2.1所示。

表8.2.1　判别函数的导出

对上边两式分别左右相加，再除以相应的样品个数，则有

为两组内的离差，则(www.xing528.com)

利用微积分求极值的必要条件可求出使I达到最大值的c1 ,c2,…,cp 。

为此，将上式两边取对数，令

概括起来，费歇判别法是将表面上不易分类的数据通过投影到某个方向上，使得投影类与类之间得以分离的一种判别方法。

需要指出的是：参与构造判别式的样品个数不宜太少，否则会影响判别式的优良性；其次判别式选用的指标不宜过多，指标过多不仅使用不方便，而且影响预报的稳定性。所以建立判别式之前应仔细挑选出几个对分类特别有关系的指标，要使两类平均值之间的差异尽量大些。

3. 贝叶斯（Bayes）判别法

费歇判别法随着总体个数的增加，建立的判别式也增加，因而计算起来比较麻烦。距离判别法是利用所给样品到各个总体的距离的远近来判断其归属，但这种方法未考虑各个总体各自出现的可能性（概率）大小，同时也未涉及误判之后造成的损失如何，所以优势明显不够合理。下面用一个地震预报的例子来说明这个问题。

例1 设根据历史上若干次发生地震和无震时的p项观测结果（如地下水中氡的含量、地磁强度、井下水位高度等）已经估计出有震总体G1与无震总体G2的有关参数。现在要根据当前观测到的p项指标来判断所获得的样品是属于G1还是G2，即预报“明天有震”或“明天无震”。若简单地用样品到G1和G2的距离来预报就不够妥当了。首先，在全年的365天中有地震是较少的，破坏性地震更是罕见的。如果考虑到这个因素，在没有特大的异常时就应该预报“无震”，这样较为稳妥。历史上的先验知识告诉我们：“有震”与“无震”这两个总体本身各自出现的概率相差悬殊，在难以判断时，应优先判定为出现的概率较大的那个总体。其次，误判有两种：“有震”报为“无震”，是“漏报”；“无震”报为“有震”，是“虚报”。二者都可能造成损失，但损失却会很不相同。漏报，会使人民群众在毫无准备的情况下，面临巨大灾难，会造成大量伤亡；而“虚报”，则造成人心不安，生产停顿，有时其造成的损失也不亚于“漏报”造成的损失。

这个例子说明，判断一个样品属于哪一个总体时，既要考虑各个总体各自出现的概率的大小，还应考虑到错报造成的损失情况，最后才能决定样品的归属。基于以上考虑，贝叶斯学派提出了贝叶斯判别法，将误判概率、误判造成的损失以及各个总体出现的先验概率结合起来建立的一种判别规则。

4. 逐步判别法

前面介绍的判别方法都是用已给的全部变量x1 ,x2,…,xp来建立判别式的，但这些变量在判别式中所起的作用，一般来说是不同的，也就是说各变量在判别式中的判别能力不同，有些可能起重要作用，有些可能作用低微，如果将判别能力低微的变量保留在判别式中，不仅会增加计算量，而且会产生干扰从而影响判别效果，如果将其中重要变量忽略了，这时做出的判别效果也一定不好。逐步判别法筛选出具有显著判别能力的变量来建立判别式。逐步判别法与逐步回归法的基本思想类似，都是采用“有进有出”的算法，即逐步引入变量，每引入一个“最重要”的变量进入判别式，同时也考虑较早引入判别式的某些变量，如果其判别能力随新引入变量而变为不显著了（例如其作用被后引入的某几个变量的组合所代替），应及时从判别式中把它剔除，直到判别式中没有不重要的变量需要剔除，而剩下来的变量也没有重要的变量可引入判别式时，逐步筛选结束。这个筛选过程实质上是作假设检验，通过检验找出显著性变量，剔除不显著变量。