【NLP高频面题 - 词嵌入篇】为什么说Word2vec的词向量是静态的?

【NLP高频面题 - 词嵌入篇】为什么说Word2vec的词向量是静态的?

重要性:★★


NLP Github 项目:


Word2vec词向量是通过Embedding Lookup查询获得词的向量,和输入文本的内容无关,所以说Word2vec的词向量是静态的。

Word2vec训练的词向量是词的查询表。表中每一行都存储了一个特定词语的向量值,每一列的第一个元素都代表着这个词本身,以便于我们进行词和向量的映射(如"我"对应的向量值为 [0.3,0.5,0.7,0.9,-0.2,0.03] )。给定任何一个或者一组单词,我们都可以通过查询操作实现把单词转换为向量的目的,这个查询和替换过程称之为Embedding Lookup

词向量查询表:

在进行神经网络计算的过程中,需要大量的算力,常常要借助特定硬件(如GPU)满足训练速度的需求。GPU上所支持的计算都是以张量(Tensor)为单位展开的,因此在实际场景中,我们需要把Embedding Lookup的过程转换为张量计算,如下图所示。

张量计算示意图:

词汇量是 100 万个,嵌入维度 100,则使用one-hot查表(Embedding)过程如下:


NLP 大模型高频面题汇总

NLP基础篇
【NLP 面试宝典 之 模型分类】 必须要会的高频面题
【NLP 面试宝典 之 神经网络】 必须要会的高频面题
【NLP 面试宝典 之 主动学习】 必须要会的高频面题
【NLP 面试宝典 之 超参数优化】 必须要会的高频面题
【NLP 面试宝典 之 正则化】 必须要会的高频面题
【NLP 面试宝典 之 过拟合】 必须要会的高频面题
【NLP 面试宝典 之 Dropout】 必须要会的高频面题
【NLP 面试宝典 之 EarlyStopping】 必须要会的高频面题
【NLP 面试宝典 之 标签平滑】 必须要会的高频面题
【NLP 面试宝典 之 Warm up 】 必须要会的高频面题
【NLP 面试宝典 之 置信学习】 必须要会的高频面题
【NLP 面试宝典 之 伪标签】 必须要会的高频面题
【NLP 面试宝典 之 类别不均衡问题】 必须要会的高频面题
【NLP 面试宝典 之 交叉验证】 必须要会的高频面题
【NLP 面试宝典 之 词嵌入】 必须要会的高频面题
【NLP 面试宝典 之 One-Hot】 必须要会的高频面题
...
BERT 模型面
【NLP 面试宝典 之 BERT模型】 必须要会的高频面题
【NLP 面试宝典 之 BERT变体】 必须要会的高频面题
【NLP 面试宝典 之 BERT应用】 必须要会的高频面题
...
LLMs 微调面
【NLP 面试宝典 之 LoRA微调】 必须要会的高频面题
【NLP 面试宝典 之 Prompt】 必须要会的高频面题
【NLP 面试宝典 之 提示学习微调】 必须要会的高频面题
【NLP 面试宝典 之 PEFT微调】 必须要会的高频面题
【NLP 面试宝典 之 Chain-of-Thought微调】 必须要会的高频面题
...
相关推荐
hjxxlsx10 分钟前
数据分析与机器学习全解析
人工智能·机器学习·数据分析
〖是♂我〗29 分钟前
OpenCV中的图片矫正
人工智能·opencv·计算机视觉
小成晓程36 分钟前
opencv——图片添加水印
人工智能·opencv·计算机视觉
区块链文博43 分钟前
比特币国家与企业机构“战略储备”潮起
大数据·人工智能·web3·区块链·比特币
weixin_543662861 小时前
伏羲0.06(文生图)
人工智能·深度学习
m0_676099581 小时前
OpenCV识别图片颜色并绘制轮廓
人工智能·opencv·计算机视觉
Swift社区2 小时前
智简模型,边缘智能:AI 轻量化与边缘计算的最佳实践
人工智能·边缘计算·neo4j
2401_841147122 小时前
喜报!飞利浦电视通过中国音视频产业大会(AVF)产品创新鉴定!
人工智能·音视频·生活·娱乐·智能电视
韭菜盖饭2 小时前
LangChain构建RAG(基于Huggingface与Groqcloud,无需本地部署模型)
人工智能·语言模型·langchain
martian6653 小时前
深入详解人工智能机器学习常见算法——线性回归算法
人工智能·算法·机器学习·线性回归