Embedding

  • Embedding其实就是一个映射,从原先所属的空间映射到新的多维空间中,也就是把原先所在空间嵌入到一个新的空间中去。
  • embedding层作用:
  • embedding层的第一个作用就是用来降维,降维的原理就是矩阵乘法。
  • 也就是说,假如我们有一个100W x10W的矩阵,用它乘上一个10W x 20的矩阵,我们可以把它降到100W x 20,瞬间量级降了10W/20=5000倍!!!然而,中间那个10W x 20的矩阵,可以理解为查询表,也可以理解为映射表,也可以理解为过度表。
  • embedding的第二个作用是,对低维的数据进行升维时,可能把一些其他特征给放大了,或者把笼统的特征给分开了。同时,这个embedding是一直在学习在优化的,就使得整个拉近拉远的过程慢慢形成一个良好的观察点。低维的数据可能包含的特征是非常笼统的,我们需要不停地拉近拉远来改变我们的感受野。比如:我来回靠近和远离屏幕,发现45厘米是最佳观测点,这个距离能10秒就把5个不同点找出来了。
相关推荐
电子科技圈1 分钟前
XMOS推出适配VS Code编辑器的XTC工具插件
人工智能·mcu·编辑器·视觉检测·音视频·语音识别·视频编解码
云栖梦泽在4 分钟前
AI安全实战:AI供应链安全防护的实战案例
大数据·人工智能·安全
2601_955781984 分钟前
飞书远程控机:OpenClaw+AI机器人配置全攻略
人工智能·机器人·飞书·open claw部署
葡萄城技术团队6 分钟前
告别 AI 失忆!基于 Harness 记忆模型,解密 SpreadContext 多实例同步引擎
人工智能
Jet7698 分钟前
企业级大模型API中转站选型实测:从接入验证到灰度上线
网络·人工智能·ai
Luminbox紫创测控9 分钟前
汽车(EV)内外饰材料老化测试与标准
人工智能·测试工具·汽车·安全性测试·测试标准
前端不太难12 分钟前
AI Native 鸿蒙 App 的四层架构
人工智能·架构·harmonyos
kobesdu15 分钟前
大语言模型与ROS集成的自然语言机器人控制:开源框架与应用实例
人工智能·语言模型·机器人
weelinking15 分钟前
2026年三大主流大模型深度对比:GPT-5.5、Claude 4.6与DeepSeek V4谁更值得选择?
java·大数据·人工智能·git·python·gpt·github