Embedding

  • Embedding其实就是一个映射,从原先所属的空间映射到新的多维空间中,也就是把原先所在空间嵌入到一个新的空间中去。
  • embedding层作用:
  • embedding层的第一个作用就是用来降维,降维的原理就是矩阵乘法。
  • 也就是说,假如我们有一个100W x10W的矩阵,用它乘上一个10W x 20的矩阵,我们可以把它降到100W x 20,瞬间量级降了10W/20=5000倍!!!然而,中间那个10W x 20的矩阵,可以理解为查询表,也可以理解为映射表,也可以理解为过度表。
  • embedding的第二个作用是,对低维的数据进行升维时,可能把一些其他特征给放大了,或者把笼统的特征给分开了。同时,这个embedding是一直在学习在优化的,就使得整个拉近拉远的过程慢慢形成一个良好的观察点。低维的数据可能包含的特征是非常笼统的,我们需要不停地拉近拉远来改变我们的感受野。比如:我来回靠近和远离屏幕,发现45厘米是最佳观测点,这个距离能10秒就把5个不同点找出来了。
相关推荐
Geoffwo1 分钟前
Windows 本地电脑部署 RAGFlow
人工智能
2601_959982212 分钟前
边缘计算正在成为数字化时代的新基础设施
人工智能
天一生水water13 分钟前
AGENT 教程 S05 技能系统(Skill)
人工智能
Mr -老鬼18 分钟前
EasyClick 脚本开发,选哪个 AI 工具最靠谱?
人工智能·自动化·ai编程·easyclick
basketball61619 分钟前
AI Infra 硬件体系与编程模型:13. CUDA编程基础:多流并行
人工智能
QiLinkOS20 分钟前
极客与商业思维的融合实践(1)
c语言·数据库·c++·人工智能·算法·开源协议
赫媒派22 分钟前
不是靠Prompt:31万行重构的Agent评测实战
人工智能
水如烟26 分钟前
孤能子视角:摩尔定律、韬定律 vs “摩尔制造“、“韬部署”?
人工智能
jerryinwuhan27 分钟前
路径规划相关论文
人工智能
程序员cxuan28 分钟前
Fable 5 的系统提示词被人扒出来了,精彩,太精彩了。
人工智能·后端·程序员