矩估计与最大似然估计的通俗理解

点估计与区间估计

矩估计与最大似然估计都属于点估计,也就是估计出来的结果是一个具体的值。对比区间估计,通过样本得出的估计值是一个范围区间。例如估计一个人的年龄,点估计就是最终直接估计年龄为50岁,而区间估计是最终估计的结果是48到52岁之间。

矩估计

矩估计就是直接用样本替代总体,所以样本均值 x ‾ \overline{x} x等于总体均值 E ( x ) E(x) E(x),样本平方的均值 x 2 ‾ \overline{x^2} x2等于总体均值 E ( x 2 ) E(x^2) E(x2)。

利用数学语言描述如下:

设 A k A_{k} Ak是 x x x的 k k k阶原点矩。
A k = 1 n ∑ i = 1 n x i k A_{k} = \dfrac{1}{n}\sum_{i=1}^{n}x_{i}^{k} Ak=n1i=1∑nxik

期望估计(一阶原点矩)
A 1 = E ( x ) = x ‾ A_{1} = E(x) = \overline{x} A1=E(x)=x

方差估计(二阶原点距)
A 2 = E ( x 2 ) = D ( x ) + [ E ( x ) ] 2 A_{2} = E(x^{2}) = D(x) + \left[E(x)\right]^{2} A2=E(x2)=D(x)+[E(x)]2

在实际应用中可以通过样本算出样本的一阶矩和二阶矩,从而得到方差的估计值
D ( x ) = x 2 ‾ − ( x ‾ ) 2 D(x)=\overline{x^2}-(\overline{x})^2 D(x)=x2−(x)2

最大似然估计

最大似然估计认为我们既然已经抽取得到了样本结果,那么就认为这个样本结果就是所有情况、所有样本结果中出现概率最大的那一个。例如从一个箱子中又放回的取球,最终取出了70个黑球和30个白球,那么从现有的结果出发就可以估计箱子中黑球和白球比例大致就是7:3

考虑到这个样本中每次的取值都是独立同分布的,所以将每一个取值对应的概率相乘就是这一个样本结果出现的概率(也就是似然函数),那么只要让这一个结果出现的概率(似然函数)最大就可以估算出每个值对应的概率

所以最大似然估计的一般步骤为:

  1. 写出似然函数(也就是样本结果出现的概率)。对于离散型变量是将对应概率相乘,连续型变量就是概率密度函数相乘。分别有:
    离散型:
    L ( θ ) = ∏ i = 1 n P θ ( X i = x i ) L(\theta)=\prod \limits_{i=1}^n P_\theta(X_i=x_i) L(θ)=i=1∏nPθ(Xi=xi)
    连续型:
    L ( θ ) = ∏ i = 1 n f ( x i ) L(\theta)=\prod \limits_{i=1}^n f(x_i) L(θ)=i=1∏nf(xi)
  2. 求似然函数最大时的 θ \theta θ的值。一般为了简化计算,首先对等式两边取对数,然后对 θ \theta θ求导,求得导数为0时 θ ^ \hat \theta θ^的取值即为最大似然估计值

实际应用

假设总体 X X X的概率分布为

其中 θ ( 0 < θ < 1 2 ) \theta(0<\theta<\frac{1}{2}) θ(0<θ<21)是未知参数,利用总体 X X X的如下样本值1,2,1,0,1,0,1,2,1,2,求 θ \theta θ的矩估计与最大似然估计值。

矩估计:
E ( X ) = ( θ 2 ) × 0 + 2 θ ( 1 − θ ) × 1 + ( 1 − θ ) 2 × 2 = 2 − 2 θ E(X)=(\theta^2) \times 0+2\theta(1-\theta) \times 1 +(1-\theta)^2 \times 2=2-2\theta E(X)=(θ2)×0+2θ(1−θ)×1+(1−θ)2×2=2−2θ
样本均值 X ‾ = 11 10 样本均值 \overline X=\frac{11}{10} 样本均值X=1011

根据 E ( X ) = X ‾ E(X)=\overline X E(X)=X可解得 θ ^ = 9 20 \hat \theta=\frac{9}{20} θ^=209

最大似然估计:

设似然函数为 L ( θ ) L(\theta) L(θ),根据样本有2个0值,5个1值,3个2,则有:
L ( θ ) = ( θ 2 ) 2 [ 2 θ ( 1 − θ ) ] 5 ( 1 − θ ) 6 = 2 5 θ 9 ( 1 − θ ) 11 L(\theta)=(\theta^2)^2[2\theta(1-\theta)]^5(1-\theta)^6=2^5\theta^9(1-\theta)^{11} L(θ)=(θ2)2[2θ(1−θ)]5(1−θ)6=25θ9(1−θ)11

对式子两边取对数,有:
l n L ( θ ) = 5 l n 2 + 9 l n θ + 11 l n ( 1 − θ ) ln L(\theta)=5ln2+9ln\theta+11ln(1-\theta) lnL(θ)=5ln2+9lnθ+11ln(1−θ)

对 θ \theta θ求导并令导数为0,有:
d [ l n L ( θ ) ] d θ = 9 θ − 11 ( 1 − θ ) = 0 \frac{d[lnL(\theta)]}{d\theta}=\frac{9}{\theta}-\frac{11}{(1-\theta)}=0 dθd[lnL(θ)]=θ9−(1−θ)11=0
θ ^ = 9 20 \hat \theta=\frac{9}{20} θ^=209

在本例中,矩估计和最大似然估计的值求出来时一致的,有的情况下两种办法求出来的估计值并不一致

相关推荐
佚明zj39 分钟前
全卷积和全连接
人工智能·深度学习
qzhqbb3 小时前
基于统计方法的语言模型
人工智能·语言模型·easyui
冷眼看人间恩怨4 小时前
【话题讨论】AI大模型重塑软件开发:定义、应用、优势与挑战
人工智能·ai编程·软件开发
2401_883041084 小时前
新锐品牌电商代运营公司都有哪些?
大数据·人工智能
AI极客菌5 小时前
Controlnet作者新作IC-light V2:基于FLUX训练,支持处理风格化图像,细节远高于SD1.5。
人工智能·计算机视觉·ai作画·stable diffusion·aigc·flux·人工智能作画
阿_旭5 小时前
一文读懂| 自注意力与交叉注意力机制在计算机视觉中作用与基本原理
人工智能·深度学习·计算机视觉·cross-attention·self-attention
王哈哈^_^5 小时前
【数据集】【YOLO】【目标检测】交通事故识别数据集 8939 张,YOLO道路事故目标检测实战训练教程!
前端·人工智能·深度学习·yolo·目标检测·计算机视觉·pyqt
Power20246666 小时前
NLP论文速读|LongReward:基于AI反馈来提升长上下文大语言模型
人工智能·深度学习·机器学习·自然语言处理·nlp
数据猎手小k6 小时前
AIDOVECL数据集:包含超过15000张AI生成的车辆图像数据集,目的解决旨在解决眼水平分类和定位问题。
人工智能·分类·数据挖掘
好奇龙猫6 小时前
【学习AI-相关路程-mnist手写数字分类-win-硬件:windows-自我学习AI-实验步骤-全连接神经网络(BPnetwork)-操作流程(3) 】
人工智能·算法