Self-attention与Word2Vec

Self-attention (自注意力)和 Word2Vec 是两种不同的词嵌入技术,用于将单词映射到低维向量空间。它们之间的区别:

  1. Word2Vec

    • Word2Vec 是一种传统的词嵌入(word embedding)方法,旨在为每个单词学习一个全局的向量表示。
    • 它通过分析大量文本数据,将单词映射到一个连续的向量空间中,使得相似的单词在向量空间中距离较近。
    • Word2Vec 忽略了单词在不同上下文中的含义,因此对于多义词(例如,"left"在不同语境中有不同含义)只学习了一个表示。
  2. Self-attention

    • Self-attention 是一种用于序列数据的机制,特别在 Transformer,BERT, GPT模型中广泛应用。
    • 它允许模型根据输入序列的上下文动态调整不同元素的影响。
    • Self-attention 考虑了每个输入元素与其他元素之间的关联度,从而生成不同的表示。
    • 在自然语言处理中,Self-attention 可以根据单词在句子中的上下文生成不同的表示(contextual embedding),解决了多义词的问题。

总之,Word2Vec 是一种全局的词嵌入方法,而Self-attention 允许根据上下文动态生成不同的表示,更适合处理多义词和序列数据。

相关推荐
OpenBayes9 小时前
教程上新|重新定义下一代 OCR:IBM 最新开源 Granite-docling-258M,实现端到端的「结构+内容」统一理解
人工智能·深度学习·机器学习·自然语言处理·ocr·图像识别·文档处理
艾醒(AiXing-w)12 小时前
探索大语言模型(LLM): 大模型应用与对应的硬件选型一览表
人工智能·语言模型·自然语言处理
Paraverse_徐志斌13 小时前
RAG架构(检索增强生成)与向量数据库
数据库·ai·llm·embedding·milvus·rag
数据智能老司机13 小时前
LLM 提示工程——理解 LLM
gpt·架构·llm
数据智能老司机14 小时前
LLM 提示工程——提示工程入门
gpt·架构·llm
编程小白_正在努力中14 小时前
大语言模型后训练:解锁潜能的关键路径
人工智能·大语言模型
大模型教程15 小时前
几十行代码搭建顶级RAG系统,UltraRAG 2.0,低代码玩转复杂推理流程
程序员·llm·agent
大模型教程15 小时前
挖到宝了,GitHub 55.1k Strar! LLaMA Factory:大语言模型微调的瑞士军刀
程序员·llm·agent
AI大模型15 小时前
轻松搞定百个大模型微调!LLaMA-Factory:你的AI模型量产神器
程序员·llm·llama
智泊AI17 小时前
一文讲清:AI大模型的底层原理是什么?
llm