Embedding

  • Embedding其实就是一个映射,从原先所属的空间映射到新的多维空间中,也就是把原先所在空间嵌入到一个新的空间中去。
  • embedding层作用:
  • embedding层的第一个作用就是用来降维,降维的原理就是矩阵乘法。
  • 也就是说,假如我们有一个100W x10W的矩阵,用它乘上一个10W x 20的矩阵,我们可以把它降到100W x 20,瞬间量级降了10W/20=5000倍!!!然而,中间那个10W x 20的矩阵,可以理解为查询表,也可以理解为映射表,也可以理解为过度表。
  • embedding的第二个作用是,对低维的数据进行升维时,可能把一些其他特征给放大了,或者把笼统的特征给分开了。同时,这个embedding是一直在学习在优化的,就使得整个拉近拉远的过程慢慢形成一个良好的观察点。低维的数据可能包含的特征是非常笼统的,我们需要不停地拉近拉远来改变我们的感受野。比如:我来回靠近和远离屏幕,发现45厘米是最佳观测点,这个距离能10秒就把5个不同点找出来了。
相关推荐
KG_LLM图谱增强大模型3 分钟前
scHilda:大模型与知识图谱分层融合,突破单细胞分型瓶颈
数据库·人工智能·知识图谱
元智启5 分钟前
企业AI如何开发:智能体时代的安全治理架构与合规管控实践
人工智能·安全·架构
Appoint_x8 分钟前
别让 LLM 当复读机:我给文件管理系统做 AI 助手时的三个关键设计
人工智能
摄影图9 分钟前
AI设计实用图片素材 适配多元创作推广需求
人工智能·科技·智能手机·aigc·贴图
HS_Tiger13 分钟前
【个人对AI技术的观点验证】
人工智能
小陶来咯17 分钟前
AI Agent 设计模式:ReAct 深度解析
人工智能·react.js·设计模式
Muyuan199819 分钟前
31.Cursor 初体验:用 AI Agent 给 PaperPilot 做一次最小工程重构
人工智能·python·重构·django·fastapi·faiss
阿聪谈架构25 分钟前
第11章:结构化输出与数据提取 —— 让 AI 直接返回你想要的数据格式
人工智能·后端
OpenBayes贝式计算27 分钟前
外语、方言、少数民族语言全覆盖:Hy-MT1.5 支持 1056 个翻译方向;MIT 联合发布 MathNet:涵盖 2.7 万道奥数真题的多模态数学推理基准
人工智能
OpenCSG34 分钟前
CSGHub v2.1.0开源版本更新
人工智能