最大似然估计法-概率论与数理统计

最大似然估计作为一种点估计法，最初是由德国数学家高斯（Gauss）于1821年提出的，但未得到重视.英国统计学家费歇尔（R.A.Fisher）在1922年再次提出了最大似然估计，并探讨了它的性质，随后他又做了进一步发展，使之成为数理统计中最重要、应用最广泛的方法之一.由于最大似然估计有许多优良性质，因此，当总体分布类型已知时，最好采用最大似然估计法来估计总体的未知参数.下面先介绍似然函数的定义.

6.1.2.1 似然函数

已知总体X的概率密度f（x，θ）（或概率函数P（X=x，θ）），其中θ=（θ1，θ2，…，θk）是未知参数.X1，X2，…，Xn是总体X的样本，则X1，X2，…，Xn的联合分布密度（或联合分布律）为

当给定样本值x1，x2，…，xn后，它只是参数θ的函数，记为L（θ），即

则称L（θ）为似然函数.似然函数实质上是样本的分布密度或概率函数.

6.1.2.2 最大似然估计法

最大似然估计法是建立在最大似然原理基础上的求点估计量的方法.最大似然原理的直观想法是：在试验中概率最大的事件最有可能出现.因此，一个试验如有若干个可能结果A，B，C，…，若在一次试验中，结果A出现，则一般以为A出现的概率最大.下面通过实例来介绍最大似然原理.

解 由概率论知，随机变量X～B（3，p），即

根据上表和概率最大的事件最有可能出现的想法可知

同理讨论其他情形可得，p的估计量

定义6.2 设总体X的概率密度f（x，θ）（或概率函数P（X=x，θ）），其中θ（θ1，θ2，…，θk）是未知参数.又设x1，x2，…，xn是总体的一组样本值，如果似然函数

我们知道，ln x是单调递增函数，且ln x与x有相同的极大值点.有时选择θ1，θ2，…，θk的值使ln L（θ）达到最大更为简便，故ln L（θ）也称为似然函数.

求最大似然估计量的一般步骤：

（1）求出函数L（θ）；

（2）对似然函数求对数ln L（θ）；

【例9】 设总体X服从参数为λ（λ＞0）的泊松分布P（λ）.X1，X2，…，Xn是来自总体的样本，求λ的矩估计和最大似然估计.

由此可知，未知参数的矩估计量有时不唯一.最大似然估计：X为离散型随机变量，其分布律为

似然函数为

取对数

解似然方程

得

【例10】 设总体X的密度函数

现从X中抽取10个个体，得数据如下：

试用最大似然估计法估计θ.

解 由X的概率密度函数得到关于样本值x1，x2，…，xn的似然函数为(www.xing528.com)

取对数

解似然方程

得

所以θ的最大似然估计值

由抽样数据求得

【例11】 设总体X服从[a，b]上的均匀分布，x1，x2，…，xn是一组样本值，试求未知参数a，b（a＜b）的最大似然估计.

解 设X的概率密度为

似然函数

取对数

解似然方程

此方程无解.但根据最大似然原理，我们可以确定似然函数的最大值，即a=min{x1，x2，…，xn}，b=max{x1，x2，…，xn}时L（a，b）最大.

所以a，b的最大似然估计是