Self-attention与Word2Vec

Self-attention (自注意力)和 Word2Vec 是两种不同的词嵌入技术,用于将单词映射到低维向量空间。它们之间的区别:

  1. Word2Vec

    • Word2Vec 是一种传统的词嵌入(word embedding)方法,旨在为每个单词学习一个全局的向量表示。
    • 它通过分析大量文本数据,将单词映射到一个连续的向量空间中,使得相似的单词在向量空间中距离较近。
    • Word2Vec 忽略了单词在不同上下文中的含义,因此对于多义词(例如,"left"在不同语境中有不同含义)只学习了一个表示。
  2. Self-attention

    • Self-attention 是一种用于序列数据的机制,特别在 Transformer,BERT, GPT模型中广泛应用。
    • 它允许模型根据输入序列的上下文动态调整不同元素的影响。
    • Self-attention 考虑了每个输入元素与其他元素之间的关联度,从而生成不同的表示。
    • 在自然语言处理中,Self-attention 可以根据单词在句子中的上下文生成不同的表示(contextual embedding),解决了多义词的问题。

总之,Word2Vec 是一种全局的词嵌入方法,而Self-attention 允许根据上下文动态生成不同的表示,更适合处理多义词和序列数据。

相关推荐
GRITJW1 天前
注意力机制:从核心原理到前沿应用
自然语言处理
花酒锄作田1 天前
[MCP][03]使用FastMCP开发MCP应用
llm·mcp
wL魔法师1 天前
【LLM】大模型训练中的稳定性问题
人工智能·pytorch·深度学习·llm
fanstuck1 天前
Prompt提示工程上手指南(六):AI避免“幻觉”(Hallucination)策略下的Prompt
人工智能·语言模型·自然语言处理·nlp·prompt
花酒锄作田1 天前
[MCP][02]快速入门MCP开发
llm·mcp
RainbowSea2 天前
10. LangChain4j + 持久化实操详细说明
langchain·llm·ai编程
RainbowSea2 天前
9. LangChain4j + 整合 Spring Boot
langchain·llm·ai编程
IvorySQL2 天前
PostgreSQL 上的向量搜索实践
postgresql·llm
亚里随笔2 天前
小型语言模型:智能体AI的未来?
人工智能·语言模型·自然语言处理·llm·rlhf·agentic
花酒锄作田2 天前
[MCP][01]简介与概念
python·llm·mcp