Embedding

  • Embedding其实就是一个映射,从原先所属的空间映射到新的多维空间中,也就是把原先所在空间嵌入到一个新的空间中去。
  • embedding层作用:
  • embedding层的第一个作用就是用来降维,降维的原理就是矩阵乘法。
  • 也就是说,假如我们有一个100W x10W的矩阵,用它乘上一个10W x 20的矩阵,我们可以把它降到100W x 20,瞬间量级降了10W/20=5000倍!!!然而,中间那个10W x 20的矩阵,可以理解为查询表,也可以理解为映射表,也可以理解为过度表。
  • embedding的第二个作用是,对低维的数据进行升维时,可能把一些其他特征给放大了,或者把笼统的特征给分开了。同时,这个embedding是一直在学习在优化的,就使得整个拉近拉远的过程慢慢形成一个良好的观察点。低维的数据可能包含的特征是非常笼统的,我们需要不停地拉近拉远来改变我们的感受野。比如:我来回靠近和远离屏幕,发现45厘米是最佳观测点,这个距离能10秒就把5个不同点找出来了。
相关推荐
玖日大大几秒前
TensorFlow 深度解析:从基础到实战的全维度指南
人工智能·python·tensorflow
丝瓜蛋汤几秒前
Conan-embedding整理
人工智能·embedding
云老大TG:@yunlaoda3601 分钟前
腾讯云国际站代理商的OCR有什么优势呢?
人工智能·ocr·腾讯云
小追兵1 分钟前
AI 照片修复神器:如何用 AI 恢复老照片高清细节
人工智能
智驱力人工智能2 分钟前
山区搜救无人机人员检测算法 技术攻坚与生命救援的融合演进 城市高空无人机人群密度分析 多模态融合无人机识别系统
人工智能·深度学习·算法·架构·无人机·边缘计算
我很哇塞耶3 分钟前
英伟达开源发布最新AI模型!引入突破性专家混合架构,推理性能超越Qwen3和GPT,百万token上下文,模型数据集全开源!
人工智能·ai·大模型
undsky_5 分钟前
【n8n教程】:n8n CLI 命令行工具
人工智能·ai·aigc·ai编程
光锥智能5 分钟前
英伟达推出Nemotron 3系列开放模型,AI Agent开源了?
人工智能·开源
KG_LLM图谱增强大模型6 分钟前
AdaptBot:融合大模型、知识图谱与人在回路反馈的具身机器人,实现通用到特定任务分解与知识精炼
人工智能·知识图谱
free-elcmacom6 分钟前
机器学习高阶教程<3>统计学习理论进阶
人工智能·python·机器学习·统计学习理论