Unsupervised Deep Embedding for Clustering Analysis

0. 论文信息

  • 标题:Unsupervised Deep Embedding for Clustering Analysis
  • 期刊:International Conference on Machine Learning
  • 作者:Junyuan Xie,Ross Girshick,Ali Farhadi
  • 机构:University of Washington,Facebook AI Research (FAIR)
  • 代码链接:https://github.com/vlukiyanov/pt-dec

1. 摘要

聚类是许多数据驱动应用领域的核心,在距离函数和分组算法方面得到了广泛的研究。相对较少的工作集中在学习聚类表示上。在本文中,我们提出了深度嵌入聚类(DEC),这是一种使用深度神经网络同时学习特征表示和聚类分配的方法。DEC学习从数据空间到低维特征空间的映射,在该空间中迭代优化聚类目标。我们对图像和文本语料库的实验评估显示出比最先进的方法的显着改进。

2. 实验结果


3. 主要贡献

  • 深度嵌入和聚类的联合优化;
  • 通过软分配进行新颖的迭代细化;
  • 在聚类精度和速度方面最先进的聚类结果。

4. 方法


5. 总结 & 限制性

本文提出了一种在联合优化特征空间中对一组数据点进行聚类的算法Deep Embedding Clustering。DEC 通过迭代优化具有自训练目标分布的基于 KL 散度的聚类目标来工作。该方法可以看作是半监督自我训练的无监督扩展。该框架提供了一种学习专门用于聚类的表示的方法,而无需groundtruth集群成员标签。实证研究表明提出的算法的强度。DEC 在超参数设置方面提供了更好的性能和鲁棒性,这在无监督任务中尤其重要,因为交叉验证是不可能的。DEC 还具有数据点数量的线性复杂性,使其能够扩展到大型数据集。

相关推荐
夜幕下的ACM之路12 小时前
一、基础知识学习(Transformer + 上下文窗口 + Token 计算 + Embedding 向量)
人工智能·学习·transformer·embedding
Trouvaille ~21 小时前
零基础入门 LangChain 与 LangGraph(一):理解大模型、提示词、Embedding 和接入方式
算法·langchain·大模型·embedding·rag·langgraph·llm应用
最贪吃的虎1 天前
我的第一个 RAG 程序:从 0 到 1,用 PDF 搭一个最小可运行的知识库问答系统
人工智能·python·算法·机器学习·aigc·embedding·llama
yumgpkpm3 天前
华为昇腾910B(Ascend 910B)+ LLaMA-Factory 对 Qwen3.5-32B 模型进行 LoRA 微调 的全流程操作指南
开源·prompt·copilot·embedding·llama·gpu算力·gitcode
sun_tao14 天前
RAG 系统 Embedding 选型要点
人工智能·llm·embedding·rag
Anastasiozzzz6 天前
深入理解RAG:文本分片(Chunking)
embedding
人工智能小豪6 天前
LLM的具身鸿沟有解了!微调让大模型真正学会人类的感官与动作感知
人工智能·ai·llm·prompt·embedding·agent·rag
mo_alo7 天前
Everything Claude Code 完全指南:给 Claude Code 装上涡轮增压【安装和使用超详细教程!!!】
笔记·embedding·ai编程·claude·ecc
大傻^15 天前
LangChain4j RAG 核心:Document、Embedding 与向量存储抽象
开发语言·人工智能·python·embedding·langchain4j
青火coding16 天前
Embedding是什么?从文本转向量
java·机器学习·ai·embedding