大模型知识点之矩阵乘以向量

说明:本文开始总结大模型使用到的知识点。很零散,但重要。

矩阵乘以向量的几何意义

说明:

矩阵乘以向量的几何意义如下:⚠️警告:升维降维那我说的是 Ax 这个顺序相乘(矩阵在左边向量在右边)

1、矩阵乘以向量的的前提是列数必须等于向量的维度。否则无法对应每个输入维度进行加权求和。这是规则,但是为什么会有这个规则呢?具体参考 为什么矩阵乘以向量要求矩阵列数等于向量维度

2、当矩阵的行数不等于向量的维度的时候(列数必须等于向量的维度),相当于做了升维(矩阵行数大于向量维度)或者降维(矩阵行数小于向量维度),另外也做了拉伸(非单位矩阵)等操作。

3、当矩阵的行数等于向量的维度的时候(列数必须等于向量的维度),相当于只做了拉伸(非单位矩阵)等操作。

升维

拉伸

注意

上图就是 矩阵乘向量的几何意义:

灰色网格:原始坐标系

蓝色网格:矩阵作用后的坐标系(整个平面被拉伸+错切)

红色箭头:原始向量

绿色箭头:矩阵变换后的向量

👉 所以:矩阵乘以向量 = 向量在空间中被线性变换。

相关推荐
ZJU_统一阿萨姆1 天前
【算子开发】Reduction算子完全指南
人工智能·算法·语言模型
大模型任我行1 天前
阿里:智能体原生视频表示学习
人工智能·语言模型·自然语言处理·论文笔记
老郑聊AI业财智造2 天前
Qwen技术架构与源码深度剖析
人工智能·语言模型·架构·系统架构·软件工程
Claire_882 天前
从视频字幕到知识图谱:基于大语言模型的自动思维导图生成工具调研
语言模型·音视频·知识图谱
MartinYeung52 天前
[论文学习]δ-STEAL:基于本地差分隐私的大语言模型窃取攻击
网络·学习·语言模型
ZJU_统一阿萨姆2 天前
【算子开发】全局内存访问与合并访存
java·服务器·网络·人工智能·语言模型
老郑聊AI业财智造2 天前
DeepSeek技术架构与源码分析
人工智能·语言模型·架构·系统架构·软件工程
如此这般英俊2 天前
手搓Claude Code-第十三章 background_tasks
前端·人工智能·chrome·python·算法·语言模型·自然语言处理
民乐团扒谱机2 天前
【微实验】线性代数之——奇异值分解 SVD:穿透数据迷雾的“X光机”,附 MATLAB 全流程仿真
线性代数·算法·matlab
随风而飘1862 天前
罗德与施瓦茨 R&S ZN-Z84多端口可配置射频开关矩阵
线性代数·矩阵