Embedding

  • Embedding其实就是一个映射,从原先所属的空间映射到新的多维空间中,也就是把原先所在空间嵌入到一个新的空间中去。
  • embedding层作用:
  • embedding层的第一个作用就是用来降维,降维的原理就是矩阵乘法。
  • 也就是说,假如我们有一个100W x10W的矩阵,用它乘上一个10W x 20的矩阵,我们可以把它降到100W x 20,瞬间量级降了10W/20=5000倍!!!然而,中间那个10W x 20的矩阵,可以理解为查询表,也可以理解为映射表,也可以理解为过度表。
  • embedding的第二个作用是,对低维的数据进行升维时,可能把一些其他特征给放大了,或者把笼统的特征给分开了。同时,这个embedding是一直在学习在优化的,就使得整个拉近拉远的过程慢慢形成一个良好的观察点。低维的数据可能包含的特征是非常笼统的,我们需要不停地拉近拉远来改变我们的感受野。比如:我来回靠近和远离屏幕,发现45厘米是最佳观测点,这个距离能10秒就把5个不同点找出来了。
相关推荐
7177779 分钟前
国产 AI Coding 平台推荐:以 Gitee 为基准的中文研发场景选型对比
人工智能·gitee
hhzz11 分钟前
【OpenCV 入门到精通 07】滤波、阈值与形态学:图像去噪与形状处理
人工智能·python·opencv·计算机视觉
qq295314 分钟前
自然语言投研 Agent 的工程化选型:从问财式 NL2SQL 到多智能体投研社区
大数据·人工智能
一隅论数智21 分钟前
数据消费主体变了:智能时代如何重构业务管理逻辑
大数据·人工智能·经验分享·笔记·学习·行业数字化
70asunflower25 分钟前
Python_3D建模与HTML预览开发指南
人工智能·3d·ai agent
AI创界者29 分钟前
前沿 AI 交互与图像生成探索:以 GPT-Image 2.5 为例的技术解析与本地多模态实践
人工智能·aigc
程序员柒叔30 分钟前
把可观测性数据送进 LLM 追踪平台
人工智能·llm·github·agent·可观测性·langfuse
时下握今31 分钟前
战略数据分析完整流程:从桌面研究、调研取证到报告落地
大数据·人工智能
LuTshoes36 分钟前
AI Agent 相关介绍
人工智能·ai
小饕37 分钟前
Jetson TensorRT vs RK3588 RKNN:两块板子都跑通了 LLM 和 VLM 之后,我悟了
人工智能·机器人·大模型端侧部署