机器学习课程学习周报十四

机器学习课程学习周报十四

文章目录

摘要

本周的学习重点是EM算法与高斯混合模型的应用。单高斯模型无法有效拟合多峰数据分布,因此引入高斯混合模型,通过多个高斯概率密度函数的组合来精确描述数据分布。为了优化高斯混合模型的参数,采用EM算法进行迭代更新。此外,还复习了概率论中的重要概念,为模型的深入理解提供了理论支持。

Abstract

This week's focus is on the application of the EM algorithm and Gaussian Mixture Models (GMM). A single Gaussian model cannot effectively fit multi-modal data distributions, hence the introduction of GMM, which combines multiple Gaussian probability density functions to accurately describe data distributions. The EM algorithm is employed to iteratively update parameters for optimizing GMM. Additionally, key concepts in probability theory were reviewed to provide theoretical support for deeper model understanding.

一、机器学习部分

1. EM算法与高斯混合模型

如果我们现在有如上图所示的数据分布,能用单高斯模型来拟合这样的数据分布吗?

答案显然是不行的,因为单高斯模型Single Gaussian Model,SGM )只具有单一的峰值。这种数据分布需要通过混合密度建模,例如使用高斯混合模型Gaussian Mixture Model, GMM )。

高斯混合模型是单高斯模型的延伸,就是采用多个高斯概率密度函数(正态分布曲线)精确地量化变量分布,是将变量分布分解为若干基于高斯概率密度函数(正态分布曲线)分布的统计模型。高斯混合模型可以平滑地近似任何形状的分布 。K个单高斯模型混合在一起的模型,就是高斯混合模型。

上图是使用高斯混合模型拟合这样的数据分布的结果。

现在我们有一数据分布,如上图,它可能从黑色、蓝色或红色的高斯分布中取出,这三种高斯分布对应不同的参数 θ = { μ , ∑ } \theta = \left\{ {\mu ,\sum } \right\} θ={μ,∑},现在我们需要找出能最好拟合这一数据分布的高斯分布是哪一个?是黑色、蓝色、红色?还是其他的高斯分布?对于单高斯模型,我们估计参数 θ = { μ , ∑ } \theta = \left\{ {\mu ,\sum } \right\} θ={μ,∑}可以通过最大似然估计,利用对数似然函数对参数 θ \theta θ求偏导得到估计的参数值。

如果对高斯混合模型应用最大似然估计,并不能得到关于参数 θ \theta θ的解析解。在上一步推导单高斯模型时,我们是先算出了 μ M L E {\mu _{MLE}} μMLE,然后将其带入到 ∑ M L E {\sum _{MLE}} ∑MLE的解析式中,算出 ∑ M L E {\sum _{MLE}} ∑MLE的值。对于高斯混合模型来说,对数似然函数的 log ⁡ \log log中存在求和,这对于求偏导来说不是一件容易的事,其次即使去求偏导后也无法写出关于参数 θ \theta θ的解析解。为了解决这个问题,采用一种迭代的算法,不断地更新参数 θ \theta θ,这种算法是EM算法(Expectation Maximization,期望最大算法 )。

2. 概率论复习(三)
















总结

通过本周的学习,掌握了高斯混合模型的基本原理及其在复杂数据分布拟合中的优势。通过EM算法的应用,理解了参数优化的过程和挑战,其中的数学原理还需要深究。同时,概率论的复习强化了对随机过程和统计模型的理解,为后续的学习打下了坚实基础。

相关推荐
AI军哥5 分钟前
MySQL8的安装方法
人工智能·mysql·yolo·机器学习·deepseek
球求了15 分钟前
C++:继承机制详解
开发语言·c++·学习
余弦的倒数19 分钟前
知识蒸馏和迁移学习的区别
人工智能·机器学习·迁移学习
Allen Bright19 分钟前
【机器学习-线性回归-2】理解线性回归中的连续值与离散值
人工智能·机器学习·线性回归
weixin_贾27 分钟前
最新AI-Python机器学习与深度学习技术在植被参数反演中的核心技术应用
python·机器学习·植被参数·遥感反演
时光追逐者1 小时前
MongoDB从入门到实战之MongoDB快速入门(附带学习路线图)
数据库·学习·mongodb
一弓虽1 小时前
SpringBoot 学习
java·spring boot·后端·学习
青松@FasterAI1 小时前
【程序员 NLP 入门】词嵌入 - 上下文中的窗口大小是什么意思? (★小白必会版★)
人工智能·自然语言处理
AIGC大时代1 小时前
高效使用DeepSeek对“情境+ 对象 +问题“型课题进行开题!
数据库·人工智能·算法·aigc·智能写作·deepseek
硅谷秋水1 小时前
GAIA-2:用于自动驾驶的可控多视图生成世界模型
人工智能·机器学习·自动驾驶