【基础还得练】Gaussian Mixture Model(高斯混合模型)

GMM 是 Gaussian Mixture Model(高斯混合模型) 的简称,它是一种用于数据聚类和概率密度估计的统计模型。GMM 假设数据分布是由多个高斯分布(正态分布)的加权组合构成的。

核心概念

  1. 混合模型

    GMM 是一种混合模型,表示总体分布是多个子分布的线性组合:
    p ( x ) = ∑ k = 1 K π k ⋅ N ( x ∣ μ k , Σ k ) , p(x) = \sum_{k=1}^{K} \pi_k \cdot \mathcal{N}(x \mid \mu_k, \Sigma_k), p(x)=k=1∑Kπk⋅N(x∣μk,Σk),

    其中:

    • K K K:混合分布的数量,即高斯分布的个数(称为"聚类的数量")。
    • π k \pi_k πk:每个高斯分布的权重,满足 ∑ k = 1 K π k = 1 \sum_{k=1}^{K} \pi_k = 1 ∑k=1Kπk=1。
    • N ( x ∣ μ k , Σ k ) \mathcal{N}(x \mid \mu_k, \Sigma_k) N(x∣μk,Σk):第 k k k 个高斯分布,其均值为 μ k \mu_k μk,协方差矩阵为 Σ k \Sigma_k Σk。
  2. 高斯分布(正态分布)

    每个高斯分布的概率密度函数为:
    N ( x ∣ μ , Σ ) = 1 ( 2 π ) d / 2 ∣ Σ ∣ 1 / 2 exp ⁡ ( − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) ) , \mathcal{N}(x \mid \mu, \Sigma) = \frac{1}{(2\pi)^{d/2} |\Sigma|^{1/2}} \exp\left(-\frac{1}{2}(x - \mu)^T \Sigma^{-1} (x - \mu)\right), N(x∣μ,Σ)=(2π)d/2∣Σ∣1/21exp(−21(x−μ)TΣ−1(x−μ)),

    其中 d d d 是数据的维度。

  3. 软聚类

    GMM 通过计算数据点属于每个高斯分布的概率(责任)来进行软聚类,而不像 K K K-means 那样是硬聚类。软聚类允许每个数据点同时属于多个簇,但以不同的概率。

GMM 的特点

  • 数据生成假设:假设数据是从多个高斯分布中按权重随机生成的。
  • 模型参数 :GMM 需要估计的参数包括:
    • 每个高斯分布的均值 μ k \mu_k μk;
    • 协方差矩阵 Σ k \Sigma_k Σk;
    • 权重 π k \pi_k πk。

模型训练

GMM 的参数通常使用 期望最大化算法(EM算法) 进行估计:

  1. E步(Expectation,期望):计算每个数据点属于每个高斯分布的责任。
  2. M步(Maximization,最大化) :根据责任重新估计模型参数( μ k , Σ k , π k \mu_k, \Sigma_k, \pi_k μk,Σk,πk)。
  3. 不断重复 E 步和 M 步,直到收敛。

应用场景

  • 聚类:通过 GMM 计算每个数据点的软聚类概率。
  • 概率密度估计:估计数据的概率密度函数。
  • 异常检测:通过计算数据点的概率,判断其是否为异常点。
  • 图像处理:例如图像分割。
  • 语音信号处理:例如语音建模和分类。

优势与局限性

优势

  • 能够捕捉复杂的分布形式。
  • 提供软聚类结果。
  • 支持多维数据。

局限性

  • 对初始参数敏感,可能收敛到局部最优解。
  • 高斯分布的假设可能不适合某些数据。
  • 需要指定聚类数量 K K K。
相关推荐
烟锁池塘柳01 分钟前
【大模型】解码策略:Greedy Search、Beam Search、Top-k/Top-p、Temperature Sampling等
人工智能·深度学习·机器学习
盼小辉丶16 分钟前
PyTorch实战(14)——条件生成对抗网络(conditional GAN,cGAN)
人工智能·pytorch·生成对抗网络
Allen_LVyingbo1 小时前
数智读书笔记系列035《未来医疗:医疗4.0引领第四次医疗产业变革》
人工智能·经验分享·笔记·健康医疗
zzc9211 小时前
时频图数据集更正程序,去除坐标轴白边及调整对应的标签值
人工智能·深度学习·数据集·标签·时频图·更正·白边
isNotNullX1 小时前
什么是数据分析?常见方法全解析
大数据·数据库·数据仓库·人工智能·数据分析
riveting1 小时前
明远智睿H618:开启多场景智慧生活新时代
人工智能·嵌入式硬件·智能硬件·lga封装·3506
夜阑卧听风吹雨,铁马冰河入梦来1 小时前
Spring AI 阿里巴巴学习
人工智能·学习·spring
c7692 小时前
【文献笔记】Automatic Chain of Thought Prompting in Large Language Models
人工智能·笔记·语言模型·论文笔记
Blossom.1182 小时前
机器学习在智能供应链中的应用:需求预测与物流优化
人工智能·深度学习·神经网络·机器学习·计算机视觉·机器人·语音识别
Gyoku Mint2 小时前
深度学习×第4卷:Pytorch实战——她第一次用张量去拟合你的轨迹
人工智能·pytorch·python·深度学习·神经网络·算法·聚类