Self-attention与Word2Vec

Self-attention (自注意力)和 Word2Vec 是两种不同的词嵌入技术,用于将单词映射到低维向量空间。它们之间的区别:

  1. Word2Vec:

    • Word2Vec 是一种传统的词嵌入(word embedding)方法,旨在为每个单词学习一个全局的向量表示。
    • 它通过分析大量文本数据,将单词映射到一个连续的向量空间中,使得相似的单词在向量空间中距离较近。
    • Word2Vec 忽略了单词在不同上下文中的含义,因此对于多义词(例如,"left"在不同语境中有不同含义)只学习了一个表示。
  2. Self-attention:

    • Self-attention 是一种用于序列数据的机制,特别在 Transformer,BERT, GPT模型中广泛应用。
    • 它允许模型根据输入序列的上下文动态调整不同元素的影响。
    • Self-attention 考虑了每个输入元素与其他元素之间的关联度,从而生成不同的表示。
    • 在自然语言处理中,Self-attention 可以根据单词在句子中的上下文生成不同的表示(contextual embedding),解决了多义词的问题。

总之,Word2Vec 是一种全局的词嵌入方法,而Self-attention 允许根据上下文动态生成不同的表示,更适合处理多义词和序列数据。

相关推荐
土豆12508 小时前
你只说要什么,它负责拆活交付:任务编排插件上手指南
人工智能·llm
学无止境小袁同学15 小时前
LlamaIndex Workflows 学习
python·llm·tensorflow·llamaindex·agent开发·多agent·workflows
β添砖java1 天前
NLP自然语言处理4:迁移学习:fasttext工具,训练词向量、词向量迁移、迁移学习概念、NLP中常用预训练模型、transformer库使用、迁移学习实践
自然语言处理·transformer·迁移学习
FengY_HYY1 天前
从人类组织到人类&大模型组织,我的位置在哪里?
人工智能·程序员·llm
学无止境小袁同学2 天前
Google ADK 学习指南
python·llm·agent·多agent·google adk·llmagent·agent cli
不要试图纠正别人2 天前
榜单换个算法就洗牌:不是模型退步,是名次没有分辨率
llm·rails
Baihai_IDP2 天前
大模型 API 真的在赔本赚吆喝吗?聊聊 Token 背后的真实成本
人工智能·llm·aigc
xyphf_和派孔明2 天前
第六章: AI Agent长期记忆的存储引擎介绍
langchain·llm·agent
xyphf_和派孔明2 天前
第四章: AI Agent短期记忆的信息管理机制设计
langchain·llm·agent
Soari2 天前
NetPilot:用RAG与验证回路辅助混合TSN和5G网络配置
5g·网络配置·大语言模型·tsn·rag