Self-attention与Word2Vec

Self-attention (自注意力)和 Word2Vec 是两种不同的词嵌入技术,用于将单词映射到低维向量空间。它们之间的区别:

  1. Word2Vec

    • Word2Vec 是一种传统的词嵌入(word embedding)方法,旨在为每个单词学习一个全局的向量表示。
    • 它通过分析大量文本数据,将单词映射到一个连续的向量空间中,使得相似的单词在向量空间中距离较近。
    • Word2Vec 忽略了单词在不同上下文中的含义,因此对于多义词(例如,"left"在不同语境中有不同含义)只学习了一个表示。
  2. Self-attention

    • Self-attention 是一种用于序列数据的机制,特别在 Transformer,BERT, GPT模型中广泛应用。
    • 它允许模型根据输入序列的上下文动态调整不同元素的影响。
    • Self-attention 考虑了每个输入元素与其他元素之间的关联度,从而生成不同的表示。
    • 在自然语言处理中,Self-attention 可以根据单词在句子中的上下文生成不同的表示(contextual embedding),解决了多义词的问题。

总之,Word2Vec 是一种全局的词嵌入方法,而Self-attention 允许根据上下文动态生成不同的表示,更适合处理多义词和序列数据。

相关推荐
charlee446 小时前
PandasAI连接LLM进行智能数据分析
ai·数据分析·llm·pandasai·deepseek
EdisonZhou7 小时前
多Agent协作入门:群聊编排模式
llm·aigc·.net core
deephub8 小时前
AI代理性能提升实战:LangChain+LangGraph内存管理与上下文优化完整指南
人工智能·深度学习·神经网络·langchain·大语言模型·rag
想变成树袋熊9 小时前
【自用】NLP算法面经(6)
人工智能·算法·自然语言处理
SEO_juper10 小时前
企业级 AI 工具选型报告:9 个技术平台的 ROI 对比与部署策略
人工智能·搜索引擎·百度·llm·工具·geo·数字营销
ReinaXue12 小时前
大模型【进阶】(五):低秩适配矩阵LORA的深度认识
人工智能·深度学习·神经网络·语言模型·自然语言处理·transformer
同志们12 小时前
LiteLLM Go: 多平台LLM客户端统一接口实现
llm·go
Q同学12 小时前
SciMaster:无需微调,在人类最后考试上刷新 SOTA
人工智能·llm·agent
聚客AI14 小时前
🚀深度解析Agentic RAG:如何突破模型的知识边界
人工智能·llm·掘金·日新计划
青Cheng序员石头17 小时前
【转译】Agentic AI 与 AI Agent:五大差异及其重要性
llm·aigc·agent