使用贝叶斯估计更新显函数参数

问题设定

假设我们有以下映射关系:

f ( x ) = θ 1 × exp ⁡ ( − y − exp ⁡ ( − y ) ) f(x) = \theta_1 \times \exp(-y - \exp(-y)) f(x)=θ1×exp(−y−exp(−y))

其中

y = θ 1 × ( x − θ 2 ) y = \theta_1 \times (x - \theta_2) y=θ1×(x−θ2)

我们将对参数 θ 1 \theta_1 θ1 和 θ 2 \theta_2 θ2 进行贝叶斯更新。

数据

假设新的数据点为:

D = { ( x 1 , f 1 ) , ( x 2 , f 2 ) , ... , ( x 5 , f 5 ) } D = \{(x_1, f_1), (x_2, f_2), \ldots, (x_5, f_5)\} D={(x1,f1),(x2,f2),...,(x5,f5)}

步骤

1. 定义先验分布

选择参数的先验分布。假设 θ 1 \theta_1 θ1 和 θ 2 \theta_2 θ2的先验是正态分布:

θ 1 ∼ N ( μ 1 , σ 1 2 ) \theta_1 \sim \mathcal{N}(\mu_1, \sigma_1^2) θ1∼N(μ1,σ12)

θ 2 ∼ N ( μ 2 , σ 2 2 ) \theta_2 \sim \mathcal{N}(\mu_2, \sigma_2^2) θ2∼N(μ2,σ22)

2. 定义似然函数

对于给定的数据点 ((x_i, f_i)),似然函数可以定义为:

L ( θ 1 , θ 2 ∣ D ) = ∏ i = 1 5 N ( f i ∣ θ 1 × exp ⁡ ( − y i − exp ⁡ ( − y i ) ) , σ 2 ) L(\theta_1, \theta_2 | D) = \prod_{i=1}^{5} \mathcal{N}\left(f_i \mid \theta_1 \times \exp(-y_i - \exp(-y_i)), \sigma^2\right) L(θ1,θ2∣D)=i=1∏5N(fi∣θ1×exp(−yi−exp(−yi)),σ2)

其中 ( y_i = \theta_1 \times (x_i - \theta_2) )。

3. 计算后验分布

根据贝叶斯公式,后验分布为:

p ( θ 1 , θ 2 ∣ D ) ∝ L ( θ 1 , θ 2 ∣ D ) ⋅ p ( θ 1 ) ⋅ p ( θ 2 ) p(\theta_1, \theta_2 | D) \propto L(\theta_1, \theta_2 | D) \cdot p(\theta_1) \cdot p(\theta_2) p(θ1,θ2∣D)∝L(θ1,θ2∣D)⋅p(θ1)⋅p(θ2)

具体来说:

p ( θ 1 , θ 2 ∣ D ) ∝ ∏ i = 1 5 exp ⁡ ( − ( f i − θ 1 × exp ⁡ ( − y i − exp ⁡ ( − y i ) ) ) 2 2 σ 2 ) ⋅ exp ⁡ ( − ( θ 1 − μ 1 ) 2 2 σ 1 2 ) ⋅ exp ⁡ ( − ( θ 2 − μ 2 ) 2 2 σ 2 2 ) p(\theta_1, \theta_2 | D) \propto \prod_{i=1}^{5} \exp\left(-\frac{(f_i - \theta_1 \times \exp(-y_i - \exp(-y_i)))^2}{2\sigma^2}\right) \cdot \exp\left(-\frac{(\theta_1 - \mu_1)^2}{2\sigma_1^2}\right) \cdot \exp\left(-\frac{(\theta_2 - \mu_2)^2}{2\sigma_2^2}\right) p(θ1,θ2∣D)∝i=1∏5exp(−2σ2(fi−θ1×exp(−yi−exp(−yi)))2)⋅exp(−2σ12(θ1−μ1)2)⋅exp(−2σ22(θ2−μ2)2)

4. 最大化后验分布

通过最大化后验分布来找到参数的更新估计:

arg ⁡ max ⁡ θ 1 , θ 2 log ⁡ p ( θ 1 , θ 2 ∣ D ) \arg\max_{\theta_1, \theta_2} \log p(\theta_1, \theta_2 | D) argθ1,θ2maxlogp(θ1,θ2∣D)

这等价于最小化负对数后验:

− log ⁡ p ( θ 1 , θ 2 ∣ D ) = ∑ i = 1 5 ( f i − θ 1 × exp ⁡ ( − y i − exp ⁡ ( − y i ) ) ) 2 2 σ 2 + ( θ 1 − μ 1 ) 2 2 σ 1 2 + ( θ 2 − μ 2 ) 2 2 σ 2 2 -\log p(\theta_1, \theta_2 | D) = \sum_{i=1}^{5} \frac{(f_i - \theta_1 \times \exp(-y_i - \exp(-y_i)))^2}{2\sigma^2} + \frac{(\theta_1 - \mu_1)^2}{2\sigma_1^2} + \frac{(\theta_2 - \mu_2)^2}{2\sigma_2^2} −logp(θ1,θ2∣D)=i=1∑52σ2(fi−θ1×exp(−yi−exp(−yi)))2+2σ12(θ1−μ1)2+2σ22(θ2−μ2)2

相关推荐
jackyrongvip3 天前
妙用《甄嬛传》中的选妃来记忆概率论中的乘法公式
概率论
lynn-666 天前
【深度学习与大模型基础】第8章-概率分布
人工智能·算法·机器学习·概率论
猎人everest9 天前
机器学习之概率论
人工智能·机器学习·概率论
豆芽8199 天前
二项式分布(Binomial Distribution)
人工智能·python·机器学习·numpy·概率论
zbdx不知名菜鸡11 天前
self Attention为何除以根号dk?(全新角度)
transformer·attention·概率论
优美的赫蒂11 天前
扩展卡尔曼滤波
机器学习·数学建模·矩阵·概率论
Lichenpar12 天前
AI小白的第七天:必要的数学知识(四)
人工智能·概率论·概率分布
pen-ai13 天前
离散概率分布:正态分布,二项分布,连续分布,正态分布的性质
算法·机器学习·概率论
kngines13 天前
从零构建大语言模型全栈开发指南:第一部分:数学与理论基础-1.1.2核心数学基础:线性代数、概率论与梯度优化
人工智能·线性代数·大语言模型·概率论·强化学习·rlhf
zyq~14 天前
【课堂笔记】定理:样本越多,测量的经验损失越接近真实损失
笔记·机器学习·概率论