【EM算法】三硬币模型

【EM算法】算法及注解
三硬币模型是EM算法运用的一个经典例子
EM算法:

1.选择初值

2.E步求期望

3.M步求极大

4.迭代至收敛

目录

三硬币模型

极大似然估计方法

EM方法


三硬币模型

3枚硬币分别记作A、B、C,这些硬币正面出现的概率分别是。进行如下掷硬币试验:先掷硬币 A,根据其结果选出硬币B 或硬币C,正面选硬币B,反面选硬币C;然后掷选出的硬币,掷硬币的结果,出现正面记作1,出现反面记作0;独立地重复n次试验(这里取n= 10),观测结果为:{1,1,0,1,0,0,1,0,1,1}

假设只能观测到掷硬币的结果,不能观测掷硬币的过程。问如何估计参数

目的是估计模型参数,自然地考量到极大似然估计方法

极大似然估计方法

三硬币模型可以写作:

:观测变量,表示一次试验观测的结果是 1 或 0

:隐变量(不可观测变量),表示未观测到的掷硬币 A 的结果

:模型参数

将观测数据表示为,未观测数据表示为则观测数据的似然函数为

展开得

考虑求模型参数的极大似然估计,即

实际上,这个问题没有解析解,只有通过迭代的方法求解。EM 算法就是可以用于求解这个问题的一种迭代算法。换句话说,EM算法是求解含有隐变量的概率模型参数的极大似然估计法。

EM方法

首先选取参数的初值,记作

然后通过E步和M步迭代计算参数的估计值。第次迭代参数的估计值为。EM 算法的第次迭代如下:

E 步:计算在模型参数 下观测数据来自掷硬币 B 的概率

M 步:计算模型参数的新估计值


进行数值计算。假设模型参数的初值取为

依据E步公式,对均有

依据M步公式, 得到

再依据E步公式,得到

再依据M步公式, 得到

两次迭代结果一致,这时已经满足收敛条件

于是得到模型参数的极大似然估计

表示硬币 A 是均匀的,这一结果容易理解
EM算法对初值敏感:

如果取初值, 那么得到的模型参数的极大似然估计是

相关推荐
熬了夜的程序员13 分钟前
【LeetCode】30. 串联所有单词的子串
算法·leetcode·链表·职场和发展·深度优先
Godspeed Zhao3 小时前
自动驾驶中的传感器技术36——Lidar(11)
人工智能·机器学习·自动驾驶·全固态激光雷达
JuneXcy3 小时前
循环高级(1)
c语言·开发语言·算法
Ka1Yan4 小时前
什么是策略模式?策略模式能带来什么?——策略模式深度解析:从概念本质到Java实战的全维度指南
java·开发语言·数据结构·算法·面试·bash·策略模式
绝无仅有4 小时前
Go Timer 面试指南:常见问题及答案解析
后端·算法·架构
地平线开发者5 小时前
开发者说|H-RDT:基于人类操作数据的跨本体机器人学习
算法·自动驾驶
biuyyyxxx7 小时前
Excel数组学习笔记
笔记·学习·算法
南莺莺7 小时前
//Q是一个队列,S是一个空栈,实现将队列中的元素逆置的算法。
数据结构·算法·链表·
闻缺陷则喜何志丹7 小时前
【分治法 BFS 质因数分解】P12255 [蓝桥杯 2024 国 Java B] 园丁|普及+
c++·算法·蓝桥杯·宽度优先·质因数分解·分治法
寒冬没有雪8 小时前
按对角线进行矩阵排序
c++·算法