Embedding

  • Embedding其实就是一个映射,从原先所属的空间映射到新的多维空间中,也就是把原先所在空间嵌入到一个新的空间中去。
  • embedding层作用:
  • embedding层的第一个作用就是用来降维,降维的原理就是矩阵乘法。
  • 也就是说,假如我们有一个100W x10W的矩阵,用它乘上一个10W x 20的矩阵,我们可以把它降到100W x 20,瞬间量级降了10W/20=5000倍!!!然而,中间那个10W x 20的矩阵,可以理解为查询表,也可以理解为映射表,也可以理解为过度表。
  • embedding的第二个作用是,对低维的数据进行升维时,可能把一些其他特征给放大了,或者把笼统的特征给分开了。同时,这个embedding是一直在学习在优化的,就使得整个拉近拉远的过程慢慢形成一个良好的观察点。低维的数据可能包含的特征是非常笼统的,我们需要不停地拉近拉远来改变我们的感受野。比如:我来回靠近和远离屏幕,发现45厘米是最佳观测点,这个距离能10秒就把5个不同点找出来了。
相关推荐
凌云拓界13 小时前
TypeWell全攻略(四):AI键位分析,让数据开口说话
前端·人工智能·后端·python·ai·交互
heimeiyingwang13 小时前
企业 AI 预算规划:如何分配资源实现最大 ROI
大数据·人工智能
咚咚王者13 小时前
人工智能之视觉领域 计算机视觉 第十四章 人脸检测
人工智能·计算机视觉
土拨鼠烧电路13 小时前
笔记06:市场部的战争:流量、心智与增长黑客
大数据·人工智能·笔记
狙击主力投资工具13 小时前
2026年中信里昂证券风水指数
人工智能
技术程序猿华锋13 小时前
OpenClaw (CloudBot) 国内完美运行指南:自定义API 代理与飞书协同部署
人工智能·飞书·openclaw
一只理智恩13 小时前
WebGIS + 无人机 + AI:下一代智能巡检系统?
人工智能·无人机
ppppppatrick13 小时前
【深度学习基础篇05】从AlexNet到ResNet:经典卷积神经网络的演进
人工智能·深度学习·cnn
一只理智恩13 小时前
基于 CesiumJS + React + Go 实现三维无人机编队实时巡航可视化系统
前端·人工智能·算法·golang·无人机
DeepModel14 小时前
【回归算法】梯度提升回归(GBDT)超详细讲解
人工智能·数据挖掘·回归