极大似然估计方法(Maximum Likelihood Estimate Method)

定义

极大似然估计方法(Maximum Likelihood Estimate,MLE)也称最大概似估计或最大似然估计: 利用已知的样本结果,反推最有可能(最大概率)导致这样的结果的参数值。
思想:已经拿到很多个样本,这些样本值已实现,最大似然估计就是找参数估计值,使得前面已经实现的样本值发生概率最大。
本质:其是一种概率论统计学的应用,是参数估计的方法之一;其是一种粗略的数学期望,要知道它的误差大小还要做区间估计。


#针对情况
针对一些情况:样本太多,无法得出分布的参数值,可以通过采样小样本后,利用极大似然估计方法获取假设中分布的参数值。


步骤

(1)写出似然函数:

总体为离散型时:


这里写图片描述

总体为连续型时:

这里写图片描述

(2)对似然函数两边取对数

总体为离散型时:

这里写图片描述

总体为连续型时:
这里写图片描述

(3)对lnL(θ)求导数并令之为0,求出未知参数的最大似然估计值(极值):

![这里写图片描述](https://img-blog.csdn.net/20180413101206306?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L01hZEppZUppZQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
此方程为对数似然方程。解对数似然方程所得,即为未知参数 的最大似然估计值。

注:一阶的微分和可导可近似;取ln是因为对数比较方便求导。


#例子

例一

一个麻袋里面有白球和黑球,不知道它们之间的数量比例,有放回的抽取10次,结果为:8次黑球和2次白球,我需求最有可能的黑白球之间的比例,这时候可采取最大似然估计法。

很多人马上有了答案:80%,其背后的理论支撑是什么?

设:抽到黑球的概率为p,则白球的概率为1-p。因为每次抽出求的颜色都服从独立分布
我们把每次抽出来球的颜色为一次抽样,则黑球事件的概率为P(样本结果|Model)。

记第一次抽样的结果为x1,则第n次为xn.

得出8次黑球和2次白球的结果概率:

P(样本结果|Model ) = P(x1,x2,...x10 | Model)= P(x1 | 黑) * P(x2 | 白)*... =p^8 * (1-p)^2.

以上就为概率表达式,而我们要求的模型的参数,就是求p。

有无数的p供我们选择,极大似然估计采取的选择原则是让这个样本结果出现的可能性最大,就是使上述概率表达式最大。将p看成方程求极值即可,即求导的过程就是求极值的过程.

最后求得P=80%.

例二

假如噪声服从正态分布,但该分布的均值与方差未知。选取大量的噪声作为我们观察样本结果,然后通过最大似然估计来获取上述假设的正太分布的参数,即可知道正态分布的期望方差

也就是说通过小样本采样就知道一系列重要的数学指标量