Embedding

  • Embedding其实就是一个映射,从原先所属的空间映射到新的多维空间中,也就是把原先所在空间嵌入到一个新的空间中去。
  • embedding层作用:
  • embedding层的第一个作用就是用来降维,降维的原理就是矩阵乘法。
  • 也就是说,假如我们有一个100W x10W的矩阵,用它乘上一个10W x 20的矩阵,我们可以把它降到100W x 20,瞬间量级降了10W/20=5000倍!!!然而,中间那个10W x 20的矩阵,可以理解为查询表,也可以理解为映射表,也可以理解为过度表。
  • embedding的第二个作用是,对低维的数据进行升维时,可能把一些其他特征给放大了,或者把笼统的特征给分开了。同时,这个embedding是一直在学习在优化的,就使得整个拉近拉远的过程慢慢形成一个良好的观察点。低维的数据可能包含的特征是非常笼统的,我们需要不停地拉近拉远来改变我们的感受野。比如:我来回靠近和远离屏幕,发现45厘米是最佳观测点,这个距离能10秒就把5个不同点找出来了。
相关推荐
liliangcsdn6 分钟前
如何用bootstrap模拟估计pass@k
大数据·人工智能·bootstrap
dagouaofei23 分钟前
AI生成个性化年终总结PPT
人工智能·python·powerpoint
机器之心33 分钟前
登顶SuperCLUE DeepSearch,openPangu-R-72B深度搜索能力跃升
人工智能·openai
DMD16834 分钟前
AI赋能旅游与酒店业:技术逻辑与开发实践解析
大数据·人工智能·信息可视化·重构·旅游·产业升级
TG:@yunlaoda360 云老大1 小时前
谷歌云AI 时代的算力革命:CPU、GPU 到 TPU 的架构与定位解析
人工智能·架构·googlecloud
AKAMAI1 小时前
加速采用安全的企业级 Kubernetes 环境
人工智能·云计算
Aspect of twilight1 小时前
深度学习各种优化器详解
人工智能·深度学习
徽4401 小时前
农田植被目标检测数据标注与模型训练总结2
人工智能·目标检测·目标跟踪
Elastic 中国社区官方博客1 小时前
Elasticsearch 中使用 NVIDIA cuVS 实现最高快 12 倍的向量索引速度:GPU 加速第 2 章
大数据·人工智能·elasticsearch·搜索引擎·ai·全文检索·数据库架构
jkyy20142 小时前
线上线下融合、跨场景协同—社区健康医疗小屋的智能升级
大数据·人工智能·物联网·健康医疗