从行或列的角度思考矩阵-向量乘法(matrix-vector multiplication)

从行或列的角度思考矩阵-向量乘法可以帮助理解这个运算的几何意义以及如何在计算中操作。

1. 从行的角度思考

假设我们有一个 m × n m \times n m×n的矩阵 A A A 和一个 n × 1 n \times 1 n×1的列向量 x \mathbf{x} x。矩阵-向量乘法 A x A\mathbf{x} Ax 的结果是一个 m × 1 m \times 1 m×1的列向量。

从行的角度来看,每个结果向量的元素都是矩阵 A A A 中对应行的线性组合。具体地说:

  • 矩阵 A A A 的第 i i i 行向量 a i \mathbf{a}_i ai 与向量 x \mathbf{x} x 进行点积,得到结果向量 y \mathbf{y} y 的第 i i i 个元素 y i y_i yi 。
  • 公式表示为:
    y i = a i ⋅ x = ∑ j = 1 n a i j x j y_i = \mathbf{a}i \cdot \mathbf{x} = \sum{j=1}^{n} a_{ij} x_j yi=ai⋅x=j=1∑naijxj
  • 这意味着矩阵-向量乘法的结果 y \mathbf{y} y 是所有行向量与 x \mathbf{x} x点积后所得的列向量。

2. 从列的角度思考

同样,考虑矩阵 A A A和向量 x \mathbf{x} x的乘法 A x A\mathbf{x} Ax,但是从列的角度来看。

  • 矩阵 A A A可以表示为 n n n 个列向量 a 1 , a 2 , ... , a n \mathbf{a}_1, \mathbf{a}_2, \dots, \mathbf{a}_n a1,a2,...,an的组合。
  • 乘法 A x A\mathbf{x} Ax 实际上是将列向量 a i \mathbf{a}_i ai 乘以标量 x i x_i xi 并求和:
    A x = x 1 a 1 + x 2 a 2 + ⋯ + x n a n A\mathbf{x} = x_1 \mathbf{a}_1 + x_2 \mathbf{a}_2 + \dots + x_n \mathbf{a}_n Ax=x1a1+x2a2+⋯+xnan
  • 这意味着矩阵-向量乘法的结果 y \mathbf{y} y是矩阵 A A A的每个列向量 a i \mathbf{a}_i ai按 x i x_i xi加权后的线性组合。

小结

  • 行视角:每个结果元素是矩阵行向量和列向量的点积。
  • 列视角:结果向量是矩阵列向量的线性组合,其中组合系数由列向量中的对应元素给出。

通过从行和列两个角度去理解矩阵-向量乘法,可以更深入地把握矩阵运算的本质以及其在不同应用场景中的几何意义。

相关推荐
大模型最新论文速读2 小时前
小红书提出 RedKnot:分头处理 kv 缓存,延时降低 60%效果还提升
论文阅读·人工智能·深度学习·机器学习·缓存·自然语言处理
星浩AI3 小时前
(七)GPT2中文生成模型定制化微调训练[附源码]
pytorch·深度学习·llm
卡梅德生物科技小能手3 小时前
卡梅德生物科普MCAM(黑色素瘤细胞黏附分子)
人工智能·经验分享·深度学习
月疯4 小时前
torch:expand和repeate的区别
开发语言·python·深度学习
xianghongtao01165 小时前
把 Prompt 当成“可训练参数“:SkillOpt 如何用深度学习的纪律去优化 Agent 技能
人工智能·深度学习·性能优化·prompt
装不满的克莱因瓶5 小时前
PyTorch 与它的自动微分工具:Autograd
人工智能·pytorch·python·深度学习·神经网络·机器学习·ai
EQUINOX16 小时前
【ch03】Coding-attention-mechanisms
人工智能·深度学习·机器学习
老饼讲解-BP神经网络6 小时前
具体说说-RBF神经网络-newrbe函数和newrb函数的区别
人工智能·深度学习·神经网络
机器学习之心6 小时前
198种组合算法+优化CNN-LSTM+SHAP分析+新数据预测+多输出!深度学习可解释分析,强烈安利,粉丝必备
深度学习·算法·cnn-lstm·shap分析·198种组合算法
小糖学代码6 小时前
机器学习:5.深度学习
人工智能·深度学习·机器学习