【动手学深度学习】06 矩阵计算(个人向笔记)

标量导数

这个比较简单,就是直接求导

亚导数

举了两个例子

梯度

  • 下面是当 y 和 x 分别为向量和标量时求导的结果。一个为向量,一个为标量则结果为向量。两个都为向量结果为矩阵,两个都为标量结果为标量
  • 当 y 为标量,x 为列向量时 ,结果为一个行向量,其计算结果相当于求偏导,具体看例子(吐槽一下沐神课上时真没听懂,不过一问gpt就懂了)


  • 当 y 为向量,x 为标量时, 那么对于每一个 y 中的元素都对 x 求导即可,结果是一个列向量
    - 当 x 和 y 都为向量时 ,那么我们把 y 中的每一个元素看作一个标量,然后对每一个 y 中的元素执行对向量 x 求导数,然后把结果的行向量都排在一起构成了矩阵
  • 维度更多的情况,最终的维度其实就是把两者的维度加起来
相关推荐
Guofu_Liao23 分钟前
大语言模型---LoRA简介;LoRA的优势;LoRA训练步骤;总结
人工智能·语言模型·自然语言处理·矩阵·llama
小二·1 小时前
java基础面试题笔记(基础篇)
java·笔记·python
wusong9994 小时前
mongoDB回顾笔记(一)
数据库·笔记·mongodb
猫爪笔记4 小时前
前端:HTML (学习笔记)【1】
前端·笔记·学习·html
Resurgence034 小时前
【计组笔记】习题
笔记
pq113_64 小时前
ftdi_sio应用学习笔记 3 - GPIO
笔记·学习·ftdi_sio
老艾的AI世界5 小时前
AI翻唱神器,一键用你喜欢的歌手翻唱他人的曲目(附下载链接)
人工智能·深度学习·神经网络·机器学习·ai·ai翻唱·ai唱歌·ai歌曲
爱米的前端小笔记5 小时前
前端八股自学笔记分享—页面布局(二)
前端·笔记·学习·面试·求职招聘
寒笙LED8 小时前
C++详细笔记(六)string库
开发语言·c++·笔记
sp_fyf_20248 小时前
【大语言模型】ACL2024论文-19 SportsMetrics: 融合文本和数值数据以理解大型语言模型中的信息融合
人工智能·深度学习·神经网络·机器学习·语言模型·自然语言处理