Unsupervised Deep Embedding for Clustering Analysis

0. 论文信息

  • 标题:Unsupervised Deep Embedding for Clustering Analysis
  • 期刊:International Conference on Machine Learning
  • 作者:Junyuan Xie,Ross Girshick,Ali Farhadi
  • 机构:University of Washington,Facebook AI Research (FAIR)
  • 代码链接:https://github.com/vlukiyanov/pt-dec

1. 摘要

聚类是许多数据驱动应用领域的核心,在距离函数和分组算法方面得到了广泛的研究。相对较少的工作集中在学习聚类表示上。在本文中,我们提出了深度嵌入聚类(DEC),这是一种使用深度神经网络同时学习特征表示和聚类分配的方法。DEC学习从数据空间到低维特征空间的映射,在该空间中迭代优化聚类目标。我们对图像和文本语料库的实验评估显示出比最先进的方法的显着改进。

2. 实验结果


3. 主要贡献

  • 深度嵌入和聚类的联合优化;
  • 通过软分配进行新颖的迭代细化;
  • 在聚类精度和速度方面最先进的聚类结果。

4. 方法


5. 总结 & 限制性

本文提出了一种在联合优化特征空间中对一组数据点进行聚类的算法Deep Embedding Clustering。DEC 通过迭代优化具有自训练目标分布的基于 KL 散度的聚类目标来工作。该方法可以看作是半监督自我训练的无监督扩展。该框架提供了一种学习专门用于聚类的表示的方法,而无需groundtruth集群成员标签。实证研究表明提出的算法的强度。DEC 在超参数设置方面提供了更好的性能和鲁棒性,这在无监督任务中尤其重要,因为交叉验证是不可能的。DEC 还具有数据点数量的线性复杂性,使其能够扩展到大型数据集。

相关推荐
sugar__salt4 小时前
Document 切割:RAG 知识库数据预处理实战
javascript·langchain·embedding·js·rag·cheerio
今天AI了吗5 小时前
Hermes Agent 搭建全流程:从本机试跑到可持续运行的个人 AI Agent
java·人工智能·python·学习·embedding
段一凡-华北理工大学2 天前
向量数据库实战:选型、调优与落地~系列文章02:Embedding 嵌入模型选型指南:OpenAI、BGE、Jina、Cohere 横评
大数据·数据库·人工智能·embedding·高炉炼铁·jina·工业智能体
衣乌安、4 天前
归一化与点积在 Embedding 中的作用
ai·embedding
张彦峰ZYF5 天前
大模型LLM ACA - ACP认证考试真题冲刺演练二答案参考
人工智能·lora·llm·embedding·rag·few-shot
uncle_ll5 天前
LangChain 实战指南:回调系统、自定义组件与有状态对话全落地
langchain·llm·embedding·agent·大模型开发·rag
程序员佳佳7 天前
模型网关灰度不是调百分比:把放量、观测和回滚做成账本
java·数据库·人工智能·redis·gpt·aigc·embedding
zybsjn8 天前
向量库与Embedding:知识库AI化的核心技术概述
人工智能·embedding
fenglllle9 天前
chromadb emmbedding 向量检索
人工智能·python·embedding
Token炼金师9 天前
知识的外挂:分块、Embedding、Rerank、GraphRAG 与多路融合 —— RAG 检索增强六脉
人工智能·深度学习·llm·embedding·chunk·graphrag·rerank