密度估计公式

  1. 极大似然估计:

y = p ( x 1 , x 2 , x 3 , . . . , x n ) = 1 2 π σ e − ( x 1 − μ ) 2 2 σ 2 1 2 π σ e − ( x 2 − μ ) 2 2 σ 2 . . . 1 2 π σ e − ( x n − μ ) 2 2 σ 2 y = p(x_1,x_2,x_3,...,x_n) = \frac{1}{\sqrt{2\pi} \sigma} e ^{-\frac{(x_1-\mu)^2}{2\sigma ^ 2}} \frac{1}{\sqrt{2\pi} \sigma} e ^{-\frac{(x_2-\mu)^2}{2\sigma ^ 2}}...\frac{1}{\sqrt{2\pi} \sigma} e ^{-\frac{(x_n-\mu)^2}{2\sigma ^ 2}} y=p(x1,x2,x3,...,xn)=2π σ1e−2σ2(x1−μ)22π σ1e−2σ2(x2−μ)2...2π σ1e−2σ2(xn−μ)2

l n y = l n p ( x 1 , x 2 , x 3 , . . . , x n ) = l n ( 1 2 π σ e − ( x 1 − μ ) 2 2 σ 2 1 2 π σ e − ( x 2 − μ ) 2 2 σ 2 . . . 1 2 π σ e − ( x n − μ ) 2 2 σ 2 ) = − n l n ( 2 π σ ) − ∑ i = 1 n ( x i − μ ) 2 2 σ 2 lny = ln p(x_1,x_2,x_3,...,x_n) =ln( \frac{1}{\sqrt{2\pi} \sigma} e ^{-\frac{(x_1-\mu)^2}{2\sigma ^ 2}} \frac{1}{\sqrt{2\pi} \sigma} e ^{-\frac{(x_2-\mu)^2}{2\sigma ^ 2}}...\frac{1}{\sqrt{2\pi} \sigma} e ^{-\frac{(x_n-\mu)^2}{2\sigma ^ 2}} ) =\\ -nln(\sqrt{2 \pi} \sigma ) - \sum_{i=1}^{n}\frac{(x_i-\mu)^2}{2\sigma ^ 2} lny=lnp(x1,x2,x3,...,xn)=ln(2π σ1e−2σ2(x1−μ)22π σ1e−2σ2(x2−μ)2...2π σ1e−2σ2(xn−μ)2)=−nln(2π σ)−i=1∑n2σ2(xi−μ)2

要求y的极限值(将 μ 和 σ \mu 和 \sigma μ和σ视为变量,x视为常量),只需要对上述等式两边对x求导并令导数为0:

∂ ln ⁡ y ∂ μ = − ∑ i = 1 n ( x i − μ ) σ 2 = 0 \frac{\partial \ln y}{\partial \mu} = -\sum_{i=1}^{n} \frac{(x_i - \mu)}{\sigma ^ 2} = 0 ∂μ∂lny=−i=1∑nσ2(xi−μ)=0

即: μ = 1 n ∑ i = 1 n ( x i ) \mu = \frac{1}{n}\sum_{i=1}^{n} (x_i) μ=n1∑i=1n(xi)

∂ ln ⁡ y ∂ σ = − n 1 σ + ∑ i = 1 n ( x i − μ ) 2 σ 3 = 0 \frac{\partial \ln y}{\partial \sigma} =-n\frac{1}{\sigma} +\sum_{i=1}^{n} \frac{(x_i - \mu)^2}{\sigma ^ 3} = 0 ∂σ∂lny=−nσ1+i=1∑nσ3(xi−μ)2=0

即: σ 2 = ∑ i = 1 n ( x i − μ ) 2 n \sigma^2 = \sum_{i=1}^{n} \frac{(x_i - \mu)^2}{n} σ2=∑i=1nn(xi−μ)2

  1. 先验估计:

y = p ( x 1 , x 2 , x 3 , . . . , x n ; θ 0 ) = 1 2 π σ e − ( x 1 − μ ) 2 2 σ 2 1 2 π σ e − ( x 2 − μ ) 2 2 σ 2 . . . 1 2 π σ e − ( x n − μ ) 2 2 σ 2 1 2 π σ 0 e − ( μ 0 − μ ) 2 2 σ 0 2 y = p(x_1,x_2,x_3,...,x_n;\theta_0) = \frac{1}{\sqrt{2\pi} \sigma} e ^{-\frac{(x_1-\mu)^2}{2\sigma ^ 2}} \frac{1}{\sqrt{2\pi} \sigma} e ^{-\frac{(x_2-\mu)^2}{2\sigma ^ 2}}...\frac{1}{\sqrt{2\pi} \sigma} e ^{-\frac{(x_n-\mu)^2}{2\sigma ^ 2}} \frac{1}{\sqrt{2\pi} \sigma_0} e ^{-\frac{(\mu_0-\mu)^2}{2\sigma_0 ^ 2}} y=p(x1,x2,x3,...,xn;θ0)=2π σ1e−2σ2(x1−μ)22π σ1e−2σ2(x2−μ)2...2π σ1e−2σ2(xn−μ)22π σ01e−2σ02(μ0−μ)2

l n y = l n p ( x 1 , x 2 , x 3 , . . . , x n ; θ 0 ) = l n ( 1 2 π σ e − ( x 1 − μ ) 2 2 σ 2 1 2 π σ e − ( x 2 − μ ) 2 2 σ 2 . . . 1 2 π σ e − ( x n − μ ) 2 2 σ 2 1 2 π σ 0 e − ( μ 0 − μ ) 2 2 σ 0 2 ) = − n l n ( 2 π σ ) − ∑ i = 1 n ( x i − μ ) 2 2 σ 2 − l n ( 2 π σ 0 ) − ( μ 0 − μ ) 2 2 σ 0 2 lny = ln p(x_1,x_2,x_3,...,x_n;\theta_0) =ln( \frac{1}{\sqrt{2\pi} \sigma} e ^{-\frac{(x_1-\mu)^2}{2\sigma ^ 2}} \frac{1}{\sqrt{2\pi} \sigma} e ^{-\frac{(x_2-\mu)^2}{2\sigma ^ 2}}...\frac{1}{\sqrt{2\pi} \sigma} e ^{-\frac{(x_n-\mu)^2}{2\sigma ^ 2}} \frac{1}{\sqrt{2\pi} \sigma_0}e ^{-\frac{(\mu_0-\mu)^2}{2\sigma_0 ^ 2}} )=\\ -nln(\sqrt{2 \pi} \sigma ) - \sum_{i=1}^{n}\frac{(x_i-\mu)^2}{2\sigma ^ 2} -ln(\sqrt{2 \pi} \sigma _0) -\frac{(\mu_0-\mu)^2}{2\sigma_0 ^ 2} lny=lnp(x1,x2,x3,...,xn;θ0)=ln(2π σ1e−2σ2(x1−μ)22π σ1e−2σ2(x2−μ)2...2π σ1e−2σ2(xn−μ)22π σ01e−2σ02(μ0−μ)2)=−nln(2π σ)−i=1∑n2σ2(xi−μ)2−ln(2π σ0)−2σ02(μ0−μ)2

要求y的极限值(将 μ 和 σ \mu 和 \sigma μ和σ视为变量,x视为常量),只需要对上述等式两边对x求导并令导数为0:

∂ ln ⁡ y ∂ μ = − ∑ i = 1 n ( x i − μ ) σ 2 − ( μ 0 − μ ) σ 0 2 = 0 \frac{\partial \ln y}{\partial \mu} = -\sum_{i=1}^{n} \frac{(x_i - \mu)}{\sigma ^ 2} -\frac{(\mu_0- \mu)}{\sigma_0 ^ 2} = 0 ∂μ∂lny=−i=1∑nσ2(xi−μ)−σ02(μ0−μ)=0

这里要注意的是,贝叶斯估计在 θ 0 \theta_0 θ0处的先验概率的计算方式,此时要将 u 0 和 σ 0 当作先验参数 u_0和\sigma_0当作先验参数 u0和σ0当作先验参数

相关推荐
微小冷1 天前
二关节机器人系统模型推导
线性代数·机器人·概率论·推导·拉格朗日函数·二关节机器人·机器人控制系统的设计
软件开发技术深度爱好者1 天前
概率中“都发生”和“至少一个”问题的解答
概率论·数学广角
FF-Studio3 天前
【硬核数学】3. AI如何应对不确定性?概率论为模型注入“灵魂”《从零构建机器学习、深度学习到LLM的数学认知》
大数据·人工智能·深度学习·机器学习·数学建模·自然语言处理·概率论
如果你想拥有什么先让自己配得上拥有13 天前
概率论中的生日问题,违背直觉?如何计算? 以及从人性金融的角度分析如何违背直觉的?
金融·概率论
云博客-资源宝14 天前
Excel函数大全
机器学习·excel·概率论
爱学习的capoo16 天前
【解析法与几何法在阻尼比设计】自控
线性代数·机器学习·概率论
TomcatLikeYou18 天前
概率论中的基本定义(事件,期望,信息量,香农熵等)
深度学习·机器学习·概率论
phoenix@Capricornus19 天前
期望最大化(EM)算法的推导——Q函数
算法·机器学习·概率论
Algo-hx21 天前
概率论的基本概念:开启不确定性世界的数学之旅
概率论
Algo-hx21 天前
随机变量及其分布:概率论的量化核心
概率论