Embedding

  • Embedding其实就是一个映射,从原先所属的空间映射到新的多维空间中,也就是把原先所在空间嵌入到一个新的空间中去。
  • embedding层作用:
  • embedding层的第一个作用就是用来降维,降维的原理就是矩阵乘法。
  • 也就是说,假如我们有一个100W x10W的矩阵,用它乘上一个10W x 20的矩阵,我们可以把它降到100W x 20,瞬间量级降了10W/20=5000倍!!!然而,中间那个10W x 20的矩阵,可以理解为查询表,也可以理解为映射表,也可以理解为过度表。
  • embedding的第二个作用是,对低维的数据进行升维时,可能把一些其他特征给放大了,或者把笼统的特征给分开了。同时,这个embedding是一直在学习在优化的,就使得整个拉近拉远的过程慢慢形成一个良好的观察点。低维的数据可能包含的特征是非常笼统的,我们需要不停地拉近拉远来改变我们的感受野。比如:我来回靠近和远离屏幕,发现45厘米是最佳观测点,这个距离能10秒就把5个不同点找出来了。
相关推荐
luoganttcc3 分钟前
Taalas 将人工智能模型蚀刻到晶体管上,以提升推理能力
人工智能·fpga开发
冬奇Lab8 分钟前
一天一个开源项目(第33篇):MyCodeAgent - 面向学习的 Claude Code 风格代码代理框架
人工智能·开源·资讯
deephub1 小时前
RAG 中分块重叠的 8 个隐性开销与权衡策略
人工智能·大语言模型·rag·检索
Ethan Hunt丶1 小时前
MSVTNet: 基于多尺度视觉Transformer的运动想象EEG分类模型
人工智能·深度学习·算法·transformer·脑机接口
康康的AI博客1 小时前
智能情感分析与品牌策略优化:如何通过AI洞察提升企业市场响应力
大数据·数据库·人工智能
亚古数据1 小时前
法国公司的类型:探索法国企业的多样形态
大数据·人工智能·亚古数据·法国公司
星爷AG I1 小时前
12-11 印象加工(AGI基础理论)
人工智能·agi
gs801401 小时前
赋予 AI 大模型“联网”超能力:Serper (Google Search API) 深度解析与实战
人工智能
朴实赋能1 小时前
当爱情可以“看见”:基于AI可穿戴设备与戈特曼理论的情感陪伴系统如何重塑亲密关系
人工智能·鸟理论·关注尝试·情绪同步性·修复尝试·关系测试·情绪可视化
金融小师妹2 小时前
3月美联储货币政策决策的动态博弈——基于就业市场数据与通胀预测的AI模型分析
大数据·人工智能·深度学习·机器学习