大模型知识点之矩阵乘以向量

说明:本文开始总结大模型使用到的知识点。很零散,但重要。

矩阵乘以向量的几何意义

说明:

矩阵乘以向量的几何意义如下:⚠️警告:升维降维那我说的是 Ax 这个顺序相乘(矩阵在左边向量在右边)

1、矩阵乘以向量的的前提是列数必须等于向量的维度。否则无法对应每个输入维度进行加权求和。这是规则,但是为什么会有这个规则呢?具体参考 为什么矩阵乘以向量要求矩阵列数等于向量维度

2、当矩阵的行数不等于向量的维度的时候(列数必须等于向量的维度),相当于做了升维(矩阵行数大于向量维度)或者降维(矩阵行数小于向量维度),另外也做了拉伸(非单位矩阵)等操作。

3、当矩阵的行数等于向量的维度的时候(列数必须等于向量的维度),相当于只做了拉伸(非单位矩阵)等操作。

升维

拉伸

注意

上图就是 矩阵乘向量的几何意义:

灰色网格:原始坐标系

蓝色网格:矩阵作用后的坐标系(整个平面被拉伸+错切)

红色箭头:原始向量

绿色箭头:矩阵变换后的向量

👉 所以:矩阵乘以向量 = 向量在空间中被线性变换。

相关推荐
一起学安全技术20 小时前
拆大模型 06|Prompt 工程不靠玄学:上下文要当程序写
人工智能·语言模型·prompt·aigc
Dawson Zhu1 天前
【LLM推理与Serving⑨】业务模型推理引擎开发:以BEV自动驾驶为例的专用推理实践
人工智能·语言模型·架构·aigc·agi
硅谷秋水1 天前
将闲科技(LiberAI)提出世界动作模型Liber-0
机器学习·计算机视觉·语言模型·机器人
Dawson Zhu2 天前
【LLM推理与Serving⑪】MoE推理与MLA:DeepSeek-V3架构下的显存与通信权衡
人工智能·语言模型·架构·aigc·agi
Alluxio2 天前
Alluxio + OCI:为 AI 工作负载实现亚毫秒访问延迟与可扩展吞吐
运维·数据库·人工智能·分布式·缓存·ai·语言模型
硅谷秋水2 天前
扩展机器人智能体的在线探索能力
人工智能·语言模型·机器人
硅谷秋水2 天前
PhysicalWords:一种用于构建机器人操作中潜推理过程的词汇体系
人工智能·机器学习·计算机视觉·语言模型·机器人
lisw052 天前
Dayhoff的PAM替换矩阵理论评介!
线性代数·算法·矩阵
一起学安全技术2 天前
拆大模型 03|注意力的一句话版本:不用论文讲清 Attention
深度学习·算法·语言模型·transformer