统计机器学习习题与应用

图13.10　k-均值聚类结果。蓝色方框和蓝色圆点分别为更新前后的聚类中心。

习题13.1事实上，统计机器学习的应用范围很广，远不止限于机器视觉和智能感知领域。近年来，随着人工智能技术的不断发展，在材料科学、生物科学、新能源等交叉学科领域，统计机器学习都成为了新兴的研究热点。请在下面的几个课题中选取一个你所感兴趣的问题，进行文献调研，完成研究报告。

•人工智能服务于材料设计研发的现状。

•神经网络方法在材料传热中的应用。

•机器学习在材料基因组计算方法中的应用。

要求：以小组为单位，查找10到15篇相关的期刊文献，精读其中的1到2篇；然后，开展小组讨论，研究文献内容，完成调研报告。

习题13.2我们想把向量x归为c个类中的某一个。向量x属于类Ci的概率为Pr(Ci|x)，那么，一种合理的分类方法是：将向量x赋予“最可能”的一类Cm，也就是说，对于i=1,2,···,c，都有：

(a)证明：

(b)误差的平均概率为：

证明：

请问：上式中的等号什么时候成立？

习题13.3含有n个变量的多元正态分布的一般形式为：

其中，被称为均值向量；而Σ被称为协方差矩阵。如果向量x中的元素相互独立，那么，协方差矩阵Σ中的元素为：

假设：向量x中的元素是相互独立的，请证明：式(13.55)中的p(x)可以被进一步写为

请问：pi(xi)的形式是什么样的？

习题13.4我们可以使用多种不同的方法来估计：最近邻分类的误差率。在这个问题中，对于我们所探索的情况，其基本假设是：对于每一个类，我们都有很多已知的样本。令pe,i(x)为：将向量x错分到第i类的概率；而pc,i(x)为：将向量x正确地分到第i类的概率。

(a)如果第i类的先验概率为Pi，那么，请证明：将向量x正确地分到第i类的概率为：

其中，pi(x)是第i个类（所对应）的概率分布。请问：pe,i(x)的表达式是什么？

(b)现在假设只有两个类，并且，这两个类的可能性是相同的。证明：将一个向量正确地分给第i类的平均概率为：

证明：Pc,i与i无关。证明：错分的平均概率Pe,i同样与i无关，并且，其形式为：

(c)现在，令第i类的概率分布为：

(www.xing528.com)

证明：误差的概率为：

其中，/σ。由此，我们可以得到：。请问：什么时候？

注意：我们最好在数据服从正态分布的情况下，使用最近中心分类。然而，当类的中心之间的距离大于σ时，即使是使用最近邻分类方法，我们也能取得很低的误差率。

习题13.5我们通常使用：已知分类结果的样本向量，来估计分类器中的参数。这个过程被称为：训练（或者有监督学习）。本题中，我们要探索的问题是：要对分类器进行训练，最少需要使用多少个样本。假设：总共有c个类，各个类的“可能性”是相同的，并且，特征空间的维数是n。此外，我们假设：选取样本的过程是“智能的”，也就是说，同一个样本不会被“挑选”两次。

(a)要建立一个最近邻分类器，最少需要多少个样本点？（注意，严格地说，最近邻分类器并不是被“训练”出来的。）

每一个类都被：均值向量和协方差矩阵Σi，所唯一确定。其中，Σi是一个半正定的实对称矩阵。

(b)假设：协方差矩阵Σi=σ2 I与i无关。那么，要对最近中心分类

器进行训练，至少需要多少个样本点？

通过s个样本点，我们可以估计出：服从正态分布的单个随机变量x的方差σ2。我们可以使用无偏估计：

其中，是：估计出的随机变量x的均值。

(c)假设：协方差矩阵

和i无关，那么，要对分类器进行训练，至少需要多少个样本点？

(d)如果Σi=，那么，要对分类器进行训练，至少需要多少个样本点？

(e)假设：协方差矩阵Σi为对角矩阵，即：

那么，要对分类器进行训练，至少需要多少个样本点？

提请注意：在实际应用中，训练集的大小至少要是：对分类器的参数进行有效估计所需的最小样本数的三到四倍。

习题13.6我们采用图13.3(a)中的模型，训练一个3×3的滤波器，用以对图像中的角点和边缘进行分类。训练集中包含如下18个样本，

图13.11　训练集中的18个样本，其中，前9个样本是角点，后9个样本是边缘。

其中，前9个样本是角点，后9个样本是边缘，参见图13.11。

(a)请建立线性神经网络的训练模型，通过式(13.23)进行求解。

(b)请建立非线性神经网络的训练模型，求出对应的滤波器。

(c)请分析和评估(a)和(b)的结果，想想如何进行改进和提升（例如使用图13.5(a)中的模型）。请根据实验结果完成研究报告。

【注释】

[1]注意：我们所说的“超平面所经过的点”指的是：超平面所经过的、连接两个聚类中心和的线段上的点，因此，我们令x=+λ(-)，然后，将其代入式(13.12)，可以求得λ，最终，我们可以得到x的表达式(13.13)。

[2]系统的输入只有x1 x2，出于数学描述的需要，我们令x3=1。

[3]正如我们在本章的13.3.3小节中所讨论的，式(13.44)成立的基本假设是：所有的类都服从Gauss分布，并且具有完全相同的方差。