NMVM短文本聚类模型学习

一、任务

本周任务是查找弱监督相关论文以及汇报《A Non-parametric Multi-view Model for Short Text Clustering》论文的基本思想。

二、论文介绍

1.论文信息

论文标题： A Non-parametric Multi-view Model for Short Text Clustering（一种用于短文本聚类的非参数多视图模型）

发表于： KDD 2026

论文链接： A Non-parametric Multi-view Model for Short Text Clustering | Lune Research

2.背景

短文本（微博、评论、新闻标题、问答标题等）在社交媒体中大量存在，短文本聚类可用于社交媒体分析、电商评论分析、新闻聚合等。但短文本非常稀疏，聚类比普通长文本更难。

现有方法：

路线	代表方法	优点	局限
主题模型	LDA、BTM、GSDMM、GSDPMM	可解释、能输出主题词	依赖词袋假设，忽略语义；短文本词共现不足
深度表示学习	SCCL、RSTC、GloCOM	语义表达强、性能好	通常需预设簇数；收敛慢；黑盒、可解释性弱
大语言模型	TCC-LLM、ClusterLLM、Keyphrase Cluster	语义信息最丰富	需高频实时 API 调用，成本高；部分方法需精心设计提示词

前两种方法的共同特点是预设簇数，真实场景中往往不知道数据应该分成几类。

基于以上方法的局限性，论文提出的 NMVM（Non-parametric Multi-View Model） 试图同时解决三个问题：

（1）不预设簇数：通过 Dirichlet 过程自动推断簇数；

（2）融合词袋与语义：用两个互补视图共同决定聚类；

（3）高效且可解释：基于 collapsed Gibbs 采样快速收敛，并能输出每个簇的代表词。

3.NMVM的思想

NMVM 用两种表示描述同一篇文档：

词袋视图（BoW） ：文档的词频向量，刻画词级共现信息

类比：看这篇文章"用了哪些关键词"。
文本嵌入视图（Embedding） ：看 LLM预训练模型（如 OpenAI text-embedding-3-small）预先计算好的稠密向量，刻画语义信息。（这里的 LLM 只用于预计算嵌入 ，模型推理阶段不再调用 LLM API，因此避免了高频调用带来的成本。）

类比：看这篇文章"整体语义像哪一类"。

然后让两个视图一起决定这篇文档该分到哪个簇。

图模型结构：

图 (a) DPMM：只考虑词袋视图。每个文档的簇分配 zd决定其词分布，是 GSDPMM 的生成模型。
图 (c) DPGMM：只考虑嵌入视图。每个簇对应一个高斯分布，文档嵌入由对应簇的高斯分布生成。
图 (b) NMVM ：把两者统一起来。论文用了一个 Bernoulli 随机变量 sd来融合两个视图。你可以把它理解成：

对每篇文档，模型会权衡：这次更信"关键词专家"，还是更信"语义专家"（一个文档仅有一个视图生成）？再由被选中的视图生成观测数据。两个视图共享同一个簇分配 zd，因此簇结构是统一的。

论文里的 λ 就是控制这个权重的。λ 大，更信词袋；λ 小，更信语义嵌入。

模型生成过程：

从 stick-breaking 过程 GEM(1,α)生成无限簇的比例θ；（这是非参数的根源，簇的数量在生成过程中就是无限的，只是后面数据会用到其中有限个）
对每个簇 k生成参数：
- 从高斯分布 N(μ0,σ02I) 生成簇中心μk；（同样用 Dirichlet 过程去掉预设簇数。DPGMM 在 Gibbs 采样中，文档选择已有簇的概率与"该簇已有文档数"和"文档嵌入与簇高斯的拟合程度"有关；选择新簇的概率与 α 和先验高斯有关。）
- 从 Dirichlet 分布 Dir(β) 生成词分布ϕk；（为什么用 Dirichlet 过程？因为标准的多项混合模型需要预设簇数 K，而 DPMM 允许K→∞，通过数据推断实际簇数。）
对每篇文档 d：
- 从多项分布生成簇分配 zd；
- 从 Bernoulli(λ) 生成视图选择变量 sd；
- 若 sd=1，文档中的词由ϕzd 生成；
- 若 sd=0，文档嵌入由 N(μzd,σ2I) 生成。

推断思想：推断文档的簇分配 zd

为了推断 zd，论文使用 Collapsed Gibbs Sampling（折叠吉布斯采样）。在采样过程中，每篇文档面临两种选择：加入已有簇，或者新建一个簇。由于 sd 是可以积分掉的，所以这两种情况的概率都由"词袋"和"嵌入"两个视角加权组成。

（完整的 Gibbs 采样需要同时采样 zd、sd、ϕk、μk 等所有隐变量。但 ϕk 和 μk 可以通过积分解析地消掉（因为 Dirichlet 和高斯都有共轭先验），只留下 zd 和 sd 需要采样。

进一步，sd 也可以积分掉。最终只需要对 zd 采样。这就是"collapsed"的含义：把能积掉的变量都积掉，只对最关键的簇分配做采样。）

选择已有簇的概率：

λ：控制两个视图的权重。
α：可以理解为新簇中文档的"伪计数"（pseudo-count），αα 越大，文档越倾向于新建簇。
β：新簇中每个词的"伪计数"，鼓励文档加入与它共享更多词的簇。
μ0：新簇的"伪中心"（pseudo-center），文档嵌入越靠近 μ0，越容易新建簇。

词袋部分：

嵌入部分：

合并：

选择新簇的概率：