密度估计公式

  1. 极大似然估计:

y = p ( x 1 , x 2 , x 3 , . . . , x n ) = 1 2 π σ e − ( x 1 − μ ) 2 2 σ 2 1 2 π σ e − ( x 2 − μ ) 2 2 σ 2 . . . 1 2 π σ e − ( x n − μ ) 2 2 σ 2 y = p(x_1,x_2,x_3,...,x_n) = \frac{1}{\sqrt{2\pi} \sigma} e ^{-\frac{(x_1-\mu)^2}{2\sigma ^ 2}} \frac{1}{\sqrt{2\pi} \sigma} e ^{-\frac{(x_2-\mu)^2}{2\sigma ^ 2}}...\frac{1}{\sqrt{2\pi} \sigma} e ^{-\frac{(x_n-\mu)^2}{2\sigma ^ 2}} y=p(x1,x2,x3,...,xn)=2π σ1e−2σ2(x1−μ)22π σ1e−2σ2(x2−μ)2...2π σ1e−2σ2(xn−μ)2

l n y = l n p ( x 1 , x 2 , x 3 , . . . , x n ) = l n ( 1 2 π σ e − ( x 1 − μ ) 2 2 σ 2 1 2 π σ e − ( x 2 − μ ) 2 2 σ 2 . . . 1 2 π σ e − ( x n − μ ) 2 2 σ 2 ) = − n l n ( 2 π σ ) − ∑ i = 1 n ( x i − μ ) 2 2 σ 2 lny = ln p(x_1,x_2,x_3,...,x_n) =ln( \frac{1}{\sqrt{2\pi} \sigma} e ^{-\frac{(x_1-\mu)^2}{2\sigma ^ 2}} \frac{1}{\sqrt{2\pi} \sigma} e ^{-\frac{(x_2-\mu)^2}{2\sigma ^ 2}}...\frac{1}{\sqrt{2\pi} \sigma} e ^{-\frac{(x_n-\mu)^2}{2\sigma ^ 2}} ) =\\ -nln(\sqrt{2 \pi} \sigma ) - \sum_{i=1}^{n}\frac{(x_i-\mu)^2}{2\sigma ^ 2} lny=lnp(x1,x2,x3,...,xn)=ln(2π σ1e−2σ2(x1−μ)22π σ1e−2σ2(x2−μ)2...2π σ1e−2σ2(xn−μ)2)=−nln(2π σ)−i=1∑n2σ2(xi−μ)2

要求y的极限值(将 μ 和 σ \mu 和 \sigma μ和σ视为变量,x视为常量),只需要对上述等式两边对x求导并令导数为0:

∂ ln ⁡ y ∂ μ = − ∑ i = 1 n ( x i − μ ) σ 2 = 0 \frac{\partial \ln y}{\partial \mu} = -\sum_{i=1}^{n} \frac{(x_i - \mu)}{\sigma ^ 2} = 0 ∂μ∂lny=−i=1∑nσ2(xi−μ)=0

即: μ = 1 n ∑ i = 1 n ( x i ) \mu = \frac{1}{n}\sum_{i=1}^{n} (x_i) μ=n1∑i=1n(xi)

∂ ln ⁡ y ∂ σ = − n 1 σ + ∑ i = 1 n ( x i − μ ) 2 σ 3 = 0 \frac{\partial \ln y}{\partial \sigma} =-n\frac{1}{\sigma} +\sum_{i=1}^{n} \frac{(x_i - \mu)^2}{\sigma ^ 3} = 0 ∂σ∂lny=−nσ1+i=1∑nσ3(xi−μ)2=0

即: σ 2 = ∑ i = 1 n ( x i − μ ) 2 n \sigma^2 = \sum_{i=1}^{n} \frac{(x_i - \mu)^2}{n} σ2=∑i=1nn(xi−μ)2

  1. 先验估计:

y = p ( x 1 , x 2 , x 3 , . . . , x n ; θ 0 ) = 1 2 π σ e − ( x 1 − μ ) 2 2 σ 2 1 2 π σ e − ( x 2 − μ ) 2 2 σ 2 . . . 1 2 π σ e − ( x n − μ ) 2 2 σ 2 1 2 π σ 0 e − ( μ 0 − μ ) 2 2 σ 0 2 y = p(x_1,x_2,x_3,...,x_n;\theta_0) = \frac{1}{\sqrt{2\pi} \sigma} e ^{-\frac{(x_1-\mu)^2}{2\sigma ^ 2}} \frac{1}{\sqrt{2\pi} \sigma} e ^{-\frac{(x_2-\mu)^2}{2\sigma ^ 2}}...\frac{1}{\sqrt{2\pi} \sigma} e ^{-\frac{(x_n-\mu)^2}{2\sigma ^ 2}} \frac{1}{\sqrt{2\pi} \sigma_0} e ^{-\frac{(\mu_0-\mu)^2}{2\sigma_0 ^ 2}} y=p(x1,x2,x3,...,xn;θ0)=2π σ1e−2σ2(x1−μ)22π σ1e−2σ2(x2−μ)2...2π σ1e−2σ2(xn−μ)22π σ01e−2σ02(μ0−μ)2

l n y = l n p ( x 1 , x 2 , x 3 , . . . , x n ; θ 0 ) = l n ( 1 2 π σ e − ( x 1 − μ ) 2 2 σ 2 1 2 π σ e − ( x 2 − μ ) 2 2 σ 2 . . . 1 2 π σ e − ( x n − μ ) 2 2 σ 2 1 2 π σ 0 e − ( μ 0 − μ ) 2 2 σ 0 2 ) = − n l n ( 2 π σ ) − ∑ i = 1 n ( x i − μ ) 2 2 σ 2 − l n ( 2 π σ 0 ) − ( μ 0 − μ ) 2 2 σ 0 2 lny = ln p(x_1,x_2,x_3,...,x_n;\theta_0) =ln( \frac{1}{\sqrt{2\pi} \sigma} e ^{-\frac{(x_1-\mu)^2}{2\sigma ^ 2}} \frac{1}{\sqrt{2\pi} \sigma} e ^{-\frac{(x_2-\mu)^2}{2\sigma ^ 2}}...\frac{1}{\sqrt{2\pi} \sigma} e ^{-\frac{(x_n-\mu)^2}{2\sigma ^ 2}} \frac{1}{\sqrt{2\pi} \sigma_0}e ^{-\frac{(\mu_0-\mu)^2}{2\sigma_0 ^ 2}} )=\\ -nln(\sqrt{2 \pi} \sigma ) - \sum_{i=1}^{n}\frac{(x_i-\mu)^2}{2\sigma ^ 2} -ln(\sqrt{2 \pi} \sigma _0) -\frac{(\mu_0-\mu)^2}{2\sigma_0 ^ 2} lny=lnp(x1,x2,x3,...,xn;θ0)=ln(2π σ1e−2σ2(x1−μ)22π σ1e−2σ2(x2−μ)2...2π σ1e−2σ2(xn−μ)22π σ01e−2σ02(μ0−μ)2)=−nln(2π σ)−i=1∑n2σ2(xi−μ)2−ln(2π σ0)−2σ02(μ0−μ)2

要求y的极限值(将 μ 和 σ \mu 和 \sigma μ和σ视为变量,x视为常量),只需要对上述等式两边对x求导并令导数为0:

∂ ln ⁡ y ∂ μ = − ∑ i = 1 n ( x i − μ ) σ 2 − ( μ 0 − μ ) σ 0 2 = 0 \frac{\partial \ln y}{\partial \mu} = -\sum_{i=1}^{n} \frac{(x_i - \mu)}{\sigma ^ 2} -\frac{(\mu_0- \mu)}{\sigma_0 ^ 2} = 0 ∂μ∂lny=−i=1∑nσ2(xi−μ)−σ02(μ0−μ)=0

这里要注意的是,贝叶斯估计在 θ 0 \theta_0 θ0处的先验概率的计算方式,此时要将 u 0 和 σ 0 当作先验参数 u_0和\sigma_0当作先验参数 u0和σ0当作先验参数

相关推荐
牟同學6 小时前
从赌场到AI:期望值如何用C++改变世界?
c++·人工智能·概率论
likunyuan08305 天前
概率统计中的数学语言与术语2
概率论
MoRanzhi12039 天前
0. NumPy 系列教程:科学计算与数据分析实战
人工智能·python·机器学习·数据挖掘·数据分析·numpy·概率论
A尘埃10 天前
概率论+贝叶斯定理+似然函数和极大似然估计
概率论
likunyuan083010 天前
概率统计中的数学语言与术语1
人工智能·机器学习·概率论
2401_8414956411 天前
【机器学习】朴素贝叶斯法
人工智能·python·数学·算法·机器学习·概率论·朴素贝叶斯法
汐汐咯13 天前
随机过程笔记
概率论
橙狮科技14 天前
2014-2024高考真题考点分布详细分析(另附完整高考真题下载)
概率论·高考
jie*15 天前
小杰机器学习(six)——概率论——1.均匀分布2.正态分布3.数学期望4.方差5.标准差6.多维随机变量及其分布
人工智能·机器学习·概率论
、水水水水水16 天前
p-value与e-value
概率论·数理统计