【动手学深度学习】06 矩阵计算(个人向笔记)

标量导数

这个比较简单,就是直接求导

亚导数

举了两个例子

梯度

  • 下面是当 y 和 x 分别为向量和标量时求导的结果。一个为向量,一个为标量则结果为向量。两个都为向量结果为矩阵,两个都为标量结果为标量
  • 当 y 为标量,x 为列向量时 ,结果为一个行向量,其计算结果相当于求偏导,具体看例子(吐槽一下沐神课上时真没听懂,不过一问gpt就懂了)


  • 当 y 为向量,x 为标量时, 那么对于每一个 y 中的元素都对 x 求导即可,结果是一个列向量
    - 当 x 和 y 都为向量时 ,那么我们把 y 中的每一个元素看作一个标量,然后对每一个 y 中的元素执行对向量 x 求导数,然后把结果的行向量都排在一起构成了矩阵
  • 维度更多的情况,最终的维度其实就是把两者的维度加起来
相关推荐
何伯特19 分钟前
深度学习中的三种偏移:协变量偏移、标签偏移与概念偏移
人工智能·深度学习
狮子座明仔2 小时前
SkillRL:让AI智能体学会“练功升级“的递归技能强化学习框架
人工智能·深度学习·自然语言处理
小雨中_2 小时前
3.5 ReMax:用 Greedy 作为基线的 REINFORCE + RLOO
人工智能·python·深度学习·机器学习·自然语言处理
EmbedLinX2 小时前
C语言标准库stdlib.h
c语言·开发语言·笔记
DeepModel3 小时前
【回归算法】Ridge回归详解
深度学习·机器学习·回归算法
狮子座明仔3 小时前
Agent World Model:给智能体造一个“矩阵世界“——无限合成环境驱动的强化学习
人工智能·线性代数·语言模型·矩阵
肾透侧视攻城狮3 小时前
《解锁TensorFlow模型潜力:超参数、网络结构、训练过程优化与高级技巧一站式精讲》
人工智能·深度学习·tensorflow 模型调优·静态/动态学习率·批量大小选择·宽/深度调整技巧·dropout/早停法
岱宗夫up3 小时前
从代码模式到智能模式:AI时代的设计模式进化论
开发语言·python·深度学习·神经网络·自然语言处理·知识图谱
吾在学习路4 小时前
AoP-SAM: Automation of Prompts for Efficient Segmentation
人工智能·深度学习·算法·计算机视觉
技术宅学长4 小时前
Router门控网络简单介绍
人工智能·深度学习