Embedding

  • Embedding其实就是一个映射,从原先所属的空间映射到新的多维空间中,也就是把原先所在空间嵌入到一个新的空间中去。
  • embedding层作用:
  • embedding层的第一个作用就是用来降维,降维的原理就是矩阵乘法。
  • 也就是说,假如我们有一个100W x10W的矩阵,用它乘上一个10W x 20的矩阵,我们可以把它降到100W x 20,瞬间量级降了10W/20=5000倍!!!然而,中间那个10W x 20的矩阵,可以理解为查询表,也可以理解为映射表,也可以理解为过度表。
  • embedding的第二个作用是,对低维的数据进行升维时,可能把一些其他特征给放大了,或者把笼统的特征给分开了。同时,这个embedding是一直在学习在优化的,就使得整个拉近拉远的过程慢慢形成一个良好的观察点。低维的数据可能包含的特征是非常笼统的,我们需要不停地拉近拉远来改变我们的感受野。比如:我来回靠近和远离屏幕,发现45厘米是最佳观测点,这个距离能10秒就把5个不同点找出来了。
相关推荐
Raink老师3 分钟前
【AI面试临阵磨枪-74】企业级 AI 平台:多租户、模型管理、RAG 流水线、低代码搭建
人工智能·低代码·面试
LQQrk智能排产物联网规则引擎4 分钟前
从“韬(τ)定律”,看我们如何构建应用——当“快”成为新的“大”
人工智能·规则引擎·逻辑引擎·jvs·智能排产·韬定律·jvs低代码平台
醒醒该学习了!5 分钟前
Prompt提示词——带有深度思考模型的提示方法(理论篇)
人工智能·算法·prompt
leo03087 分钟前
三种 Norm 一张图读懂:LayerNorm、RMSNorm、AdaRMS
人工智能·llm
搞科研的小刘选手9 分钟前
【南昌大学主办】第五届人工智能、物联网和云计算技术国际会议(AIoTC 2026)
人工智能·物联网·网络安全·大模型·云计算·智慧城市·云安全
A1301609867114 分钟前
精准商机赋能,助力金融助贷业务拓展
大数据·数据仓库·人工智能·机器人·信息与通信
ComputerInBook17 分钟前
OpenCV图像处理——透视变换
图像处理·人工智能·opencv·透视变换
CodePlayer竟然被占用了18 分钟前
Claude Code 出安全插件了:AI 写代码的安全网,终于有人正经做了
人工智能·后端
逻辑君22 分钟前
Foresight研究报告【20260006】
人工智能·物理
hughnz23 分钟前
从数据到决策:大语言模型在钻井中的潜力
人工智能·语言模型·自然语言处理