Self-attention与Word2Vec

Self-attention (自注意力)和 Word2Vec 是两种不同的词嵌入技术,用于将单词映射到低维向量空间。它们之间的区别:

  1. Word2Vec

    • Word2Vec 是一种传统的词嵌入(word embedding)方法,旨在为每个单词学习一个全局的向量表示。
    • 它通过分析大量文本数据,将单词映射到一个连续的向量空间中,使得相似的单词在向量空间中距离较近。
    • Word2Vec 忽略了单词在不同上下文中的含义,因此对于多义词(例如,"left"在不同语境中有不同含义)只学习了一个表示。
  2. Self-attention

    • Self-attention 是一种用于序列数据的机制,特别在 Transformer,BERT, GPT模型中广泛应用。
    • 它允许模型根据输入序列的上下文动态调整不同元素的影响。
    • Self-attention 考虑了每个输入元素与其他元素之间的关联度,从而生成不同的表示。
    • 在自然语言处理中,Self-attention 可以根据单词在句子中的上下文生成不同的表示(contextual embedding),解决了多义词的问题。

总之,Word2Vec 是一种全局的词嵌入方法,而Self-attention 允许根据上下文动态生成不同的表示,更适合处理多义词和序列数据。

相关推荐
金井PRATHAMA2 小时前
超越模仿,探寻智能的本源:从人类认知机制到下一代自然语言处理
人工智能·自然语言处理·知识图谱
算法打盹中3 小时前
基于树莓派与Jetson Nano集群的实验边缘设备上视觉语言模型(VLMs)的性能评估与实践探索
人工智能·计算机视觉·语言模型·自然语言处理·树莓派·多模态·jetson nano
跳跳糖炒酸奶4 小时前
第六章、从transformer到nlp大模型:编码器-解码器模型 (Encoder-Decoder)
深度学习·自然语言处理·transformer
大千AI助手5 小时前
VeRL:强化学习与大模型训练的高效融合框架
人工智能·深度学习·神经网络·llm·强化学习·verl·字节跳动seed
小杨勇敢飞8 小时前
UNBIASED WATERMARK:大语言模型的无偏差水印
人工智能·语言模型·自然语言处理
m0_603888718 小时前
Delta Activations A Representation for Finetuned Large Language Models
人工智能·ai·语言模型·自然语言处理·论文速览
SEO_juper14 小时前
大型语言模型SEO(LLM SEO)完全手册:驾驭搜索新范式
人工智能·语言模型·自然语言处理·chatgpt·llm·seo·数字营销
Gyoku Mint15 小时前
提示词工程(Prompt Engineering)的崛起——为什么“会写Prompt”成了新技能?
人工智能·pytorch·深度学习·神经网络·语言模型·自然语言处理·nlp
堆栈future17 小时前
我的个人网站上线了,AI再一次让我站起来了
程序员·llm·aigc
大模型教程19 小时前
AI Agent 发展趋势与架构演进
程序员·llm·agent