大模型知识点之矩阵乘以向量

说明:本文开始总结大模型使用到的知识点。很零散,但重要。

矩阵乘以向量的几何意义

说明:

矩阵乘以向量的几何意义如下:⚠️警告:升维降维那我说的是 Ax 这个顺序相乘(矩阵在左边向量在右边)

1、矩阵乘以向量的的前提是列数必须等于向量的维度。否则无法对应每个输入维度进行加权求和。这是规则,但是为什么会有这个规则呢?具体参考 为什么矩阵乘以向量要求矩阵列数等于向量维度

2、当矩阵的行数不等于向量的维度的时候(列数必须等于向量的维度),相当于做了升维(矩阵行数大于向量维度)或者降维(矩阵行数小于向量维度),另外也做了拉伸(非单位矩阵)等操作。

3、当矩阵的行数等于向量的维度的时候(列数必须等于向量的维度),相当于只做了拉伸(非单位矩阵)等操作。

升维

拉伸

注意

上图就是 矩阵乘向量的几何意义:

灰色网格:原始坐标系

蓝色网格:矩阵作用后的坐标系(整个平面被拉伸+错切)

红色箭头:原始向量

绿色箭头:矩阵变换后的向量

👉 所以:矩阵乘以向量 = 向量在空间中被线性变换。

相关推荐
kebijuelun1 小时前
REAP the Experts:去掉 MoE 一半专家还能保持性能不变
人工智能·gpt·深度学习·语言模型·transformer
狮子座明仔5 小时前
DocDancer:北大联合腾讯提出端到端训练的文档问答Agent,将DocQA形式化为信息寻求过程
人工智能·深度学习·语言模型·自然语言处理
Yuer20258 小时前
低熵回答倾向:语言模型中的一种系统稳定态
人工智能·机器学习·语言模型·ai安全·edca os
大厂技术总监下海8 小时前
市场情绪如何量化?FinBERT给出答案:将金融文本转化为情感得分
语言模型·金融·开源·bert
Study9969 小时前
大语言模型的详解与训练
人工智能·ai·语言模型·自然语言处理·大模型·llm·agent
闲看云起9 小时前
大模型注意力机制进化史:从全局到稀疏,从标准到线性、滑动窗口、MQA……
人工智能·语言模型·nlp
lkbhua莱克瓦2410 小时前
大语言模型的非技术漫游指南
人工智能·语言模型·自然语言处理
Watermelo61710 小时前
探究TOON的价值边界:比JSON更优的大模型友好数据格式?
数据结构·人工智能·语言模型·自然语言处理·数据挖掘·数据分析·json
laplace012310 小时前
agent模型基础
人工智能·语言模型·自然语言处理·agent·rag
你要飞11 小时前
考研线代第三课:向量组
笔记·线性代数·考研·矩阵