极大似然估计法在概率论与数理统计(第5版)中

若总体X为离散型随机变量，其分布律P｛X＝x｝＝p（x；θ）的形式为已知，θ为待估参数，θ∈Θ，Θ为θ的可能取值范围．X 1，X 2，…，X n是总体X的一个样本，则X 1，X 2，…，Xn的联合分布律为设x 1，x 2，…，x n是相应于X 1，X 2，…，Xn的样本观察值，易知样本X 1，X 2，…，X n取到观察值x 1，x 2，…，x n的概率，即事件｛X 1＝x 1，X 2＝x 2，…，Xn＝x n｝发生的概率为

L（θ）称为样本的似然函数．

关于极大似然估计法，有以下直观想法：固定样本观察值x 1，x 2，…，x n，在θ的可能取值范围Θ内挑选使似然函数L（x 1，x 2，…，x n；θ）达到最大的参数值．作为θ的估计值，即使

这样得到的?与x1，x2，…，xn有关，记为（x 1，x 2，…，x n），称为参数θ的极大似然估计值，而相应的统计量（X 1，X 2，…，Xn）称为参数θ的极大似然估计量．

若总体X为连续型随机变量，其概率密度f（x；θ）的形式为已知，θ为待估参数，θ∈Θ（Θ为θ的可能取值范围），X 1，X 2，…，X n是总体X的一个样本，则X 1，X 2，…，Xn的联合概率密度为．设x 1，x 2，…，x n是相应于X 1，X 2，…，Xn的样本观察值．易知随机点（X 1，X 2，…，X n）落在点（x 1，x 2，…，x n）的邻域内（边长分别为d x 1，d x 2，…，d x n的n维立方体）的概率近似地

与离散型的情形一样，取θ的估计值使取到最大值，但因子不随θ变化，因此考虑函数

的最大值．这里L（θ）称为样本的似然函数．若

称（x 1，x 2，…，x n）为参数θ的极大似然估计值，而相应的统计（X 1，X 2，…，X n）称为参数θ的极大似然估计量．

这样，确定极大似然估计量的问题就归结为求极大值的问题了．由于L（θ）与ln L（θ）在同一个θ处取到极值，所以在很多情况下，θ的极大似然估计也可以从方程dln L dθ（θ）＝求得，此方程称为似然方程．

例7．1．5　设X 1，X 2，…，X n是来自总体X～P（λ）的样本，求参数λ的极大似然估计量．

解　由于X～P（λ），则X的分布律为设x 1，x 2…，x n是相应于样本X 1，X 2，…，Xn的样本观察值，于是似然函数为

而，令

解得λ的极大似然估计值因此λ的极大似然估计量为＾λ＝．

用MATLAB软件产生容最n＝50时P（λ）（λ＝5）的随机样本x 1，x 2，…，x 50，在此基础上可得参数λ的极大似然估计值（其MATLAB程序见附录B中的例B2．12）为＾λ＝5．013 7．

n＝50时样本的似然函数L（λ）和对数似然函数ln L（λ）的图形分别如图7-1和图7-2所示．

图7-1　似然函数L（λ）的图形

图7-2　对数似然函数ln L（λ）的图形

从图7-1和图7-2可以看出，似然函数L（λ）和对数似然函数In L（λ）的最大值点都在5附近（5．0137）．

例7．1．6　设X 1，X 2，…，Xn是来自总体X的样本，X服从参数为θ的指数分布，其概率密度函数为求参数θ的极大似然估计量．

解　设x 1，x 2，…，x n是相应于X 1，X 2，…，Xn的样本观察值，则似然函数为因此，，似然方程为由此得参数θ的极大似然估计量(www.xing528.com)

从例7．1．6和例7．1．3可以看出，对参数为θ的指数分布，其极大似然估计量与矩估计量是相同的．

极大似然估计法也适用于分布函数中含有多个未知参数θ1，θ2，…，θk的情况．这时，似然函数是这些未知参数的函数．令

或

解上述方程组，一般可以得到未知参数θ1，θ2，…，θk的极大似然估计值1，2，…．

例7．1．7　设X～N（μ，σ2），μ和σ2未知，x 1，x 2，…，x n是相应于X 1，X 2，…，X n的样本观察值，求μ和σ2的极大似然估计量．

解　X的概率密度为

似然函数为

于是，

解因此，μ和σ2的极大似然估计量为

这个结果与N（μ，σ2）中μ和σ2的矩估计量（见例7．1．4后面的说明）相同．

例7．1．8　设X 1，X 2，…，Xn是来自总体X的样本，X在［0，θ］上服从均匀分布，θ为未知参数．x 1，x 2，…，x n是相应于X 1，X 2，…，Xn的样本观察值，求θ的极大似然估计值和极大似然估计量．

解　根据题意，总体X的概率密度函数和样本的似然函数分别为

记x（n）＝max｛x 1，x 2，…，x n｝，由于x 1，x 2，…，x n≤θ，相当于x（n）≤θ，于是似然函数相当于

当θ≥x（n）时，ln L（θ）＝-n lnθ，，所以不能用求解似然方程来直接得到L（θ）的最大值点．

当θ≥x（n）时，L（θ）随θ的增加而减小，为了使L（θ）达到最大，θ必须尽量小，但θ又不能小于x（n）．这个界限就处：当θ≥时，；当θ＜时，L（θ）＝0．因此唯一使L（θ）达到最大的θ值是＝x（n），所以θ的极大似然估计值为＝x（n）＝max｛x 1，x 2，…，x n｝，θ的极大似然估计量为＝max｛X 1，X 2，…，Xn｝．

注意，例7．1．8中θ的极大似然估计量与例7．1．2中θ的矩估计量是不同的．

设为f（x；θ）中参数θ的极大似然估计，并且函数g＝g（θ）具有单值反函数θ＝θ（g），则是g（θ）的极大似然估计．这个性质称为极大似然估计的不变性．

例如，在例7．1．7中σ2的极大似然估计量根据极大似然估计的不变性，则标准差σ的极大似然估计量为