极大似然估计例题——正态分布的极大似然估计

设总体 X ∼ N ( μ , σ 2 ) X \sim N(\mu, \sigma^2) X∼N(μ,σ2),其中 μ \mu μ 和 σ 2 \sigma^2 σ2 是未知参数,取样本观测值为 x 1 , x 2 , ⋯   , x n x_1, x_2, \cdots, x_n x1,x2,⋯,xn,求参数 μ \mu μ 和 σ 2 \sigma^2 σ2 的最大似然估计。

总体 X X X 的概率密度函数为
f ( x ; μ , σ 2 ) = 1 2 π σ e − ( x i − μ ) 2 2 σ 2 ( − ∞ < x < + ∞ ) , f(x; \mu, \sigma^2) = \frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(x_i - \mu)^2}{2\sigma^2}} \quad (-\infty < x < +\infty), f(x;μ,σ2)=2π σ1e−2σ2(xi−μ)2(−∞<x<+∞),

则似然函数为
L ( μ , σ 2 ) = ∏ i = 1 n 1 2 π σ e − ( x i − μ ) 2 2 σ 2 = ( 2 π σ 2 ) − n 2 e − 1 2 σ 2 ∑ i = 1 n ( x i − μ ) 2 , L(\mu, \sigma^2) = \prod_{i=1}^n \frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(x_i - \mu)^2}{2\sigma^2}} = (2\pi\sigma^2)^{-\frac{n}{2}} e^{-\frac{1}{2\sigma^2} \sum_{i=1}^n (x_i - \mu)^2}, L(μ,σ2)=i=1∏n2π σ1e−2σ2(xi−μ)2=(2πσ2)−2ne−2σ21∑i=1n(xi−μ)2,

取对数,得对数似然函数
ln ⁡ L ( μ , σ 2 ) = − n 2 ln ⁡ 2 π − n 2 ln ⁡ σ 2 − 1 2 σ 2 ∑ i = 1 n ( x i − μ ) 2 , \ln L(\mu, \sigma^2) = -\frac{n}{2} \ln 2\pi - \frac{n}{2} \ln \sigma^2 - \frac{1}{2\sigma^2} \sum_{i=1}^n (x_i - \mu)^2, lnL(μ,σ2)=−2nln2π−2nlnσ2−2σ21i=1∑n(xi−μ)2,

关于 μ \mu μ 和 σ 2 \sigma^2 σ2 分别求偏导,得似然方程组
{ ∂ ln ⁡ L ( μ , σ 2 ) ∂ μ = 1 σ 2 ∑ i = 1 n ( x i − μ ) = 0 , ∂ ln ⁡ L ( μ , σ 2 ) ∂ σ 2 = − n 2 σ 2 + 1 2 σ 4 ∑ i = 1 n ( x i − μ ) 2 = 0. \begin{cases} \frac{\partial \ln L(\mu, \sigma^2)}{\partial \mu} = \frac{1}{\sigma^2} \sum_{i=1}^n (x_i - \mu) = 0, \\ \frac{\partial \ln L(\mu, \sigma^2)}{\partial \sigma^2} = -\frac{n}{2\sigma^2} + \frac{1}{2\sigma^4} \sum_{i=1}^n (x_i - \mu)^2 = 0. \end{cases} {∂μ∂lnL(μ,σ2)=σ21∑i=1n(xi−μ)=0,∂σ2∂lnL(μ,σ2)=−2σ2n+2σ41∑i=1n(xi−μ)2=0.

由此解得 μ \mu μ 及 σ 2 \sigma^2 σ2 的最大似然估计值分别为
{ μ ~ = 1 n ∑ i = 1 n x i = x ˉ , σ 2 ~ = 1 n ∑ i = 1 n ( x i − x ˉ ) 2 , \begin{cases} \tilde{\mu} = \frac{1}{n} \sum_{i=1}^n x_i = \bar{x}, \\ \tilde{\sigma^2} = \frac{1}{n} \sum_{i=1}^n (x_i - \bar{x})^2, \end{cases} {μ~=n1∑i=1nxi=xˉ,σ2~=n1∑i=1n(xi−xˉ)2,

最大似然估计量分别为
{ μ ~ = 1 n ∑ i = 1 n X i = X ˉ , σ 2 ~ = 1 n ∑ i = 1 n ( X i − X ˉ ) 2 . \begin{cases} \tilde{\mu} = \frac{1}{n} \sum_{i=1}^n X_i = \bar{X}, \\ \tilde{\sigma^2} = \frac{1}{n} \sum_{i=1}^n (X_i - \bar{X})^2. \end{cases} {μ~=n1∑i=1nXi=Xˉ,σ2~=n1∑i=1n(Xi−Xˉ)2.

从例可以看到,正态总体参数的最大似然估计与矩估计是相同的。

相关推荐
shenghaide_jiahu5 小时前
数学建模——线性规划类题目(运筹优化类)
线性代数·数学建模
Alfred king8 小时前
面试150 搜索二维矩阵
线性代数·矩阵·二分查找·数组
triticale1 天前
线性代数 下
线性代数
triticale1 天前
线性代数 上
线性代数
张欣-男1 天前
MIT线性代数02_矩阵消元
线性代数
石去皿1 天前
QKV 为什么是三个矩阵?注意力为何要除以 √d?多头注意力到底有啥用?
人工智能·线性代数·机器学习·矩阵
18538162800于2 天前
批量剪辑矩阵分发系统源码搭建,支持OEM
线性代数·矩阵
点云SLAM3 天前
矩阵中QR算法分解简介和基于Eigen库使用示例
人工智能·线性代数·算法·矩阵·slam·qr矩阵分解算法·数值线性代数
金色光环3 天前
切比雪夫不等式的理解以及推导【超详细笔记】
概率论
幻风_huanfeng5 天前
人工智能之数学基础:概率论和数理统计在机器学习的地位
人工智能·神经网络·线性代数·机器学习·概率论