【动手学深度学习】06 矩阵计算(个人向笔记)

标量导数

这个比较简单,就是直接求导

亚导数

举了两个例子

梯度

  • 下面是当 y 和 x 分别为向量和标量时求导的结果。一个为向量,一个为标量则结果为向量。两个都为向量结果为矩阵,两个都为标量结果为标量
  • 当 y 为标量,x 为列向量时 ,结果为一个行向量,其计算结果相当于求偏导,具体看例子(吐槽一下沐神课上时真没听懂,不过一问gpt就懂了)


  • 当 y 为向量,x 为标量时, 那么对于每一个 y 中的元素都对 x 求导即可,结果是一个列向量
    - 当 x 和 y 都为向量时 ,那么我们把 y 中的每一个元素看作一个标量,然后对每一个 y 中的元素执行对向量 x 求导数,然后把结果的行向量都排在一起构成了矩阵
  • 维度更多的情况,最终的维度其实就是把两者的维度加起来
相关推荐
凌峰的博客4 分钟前
基于深度学习的图像安全与隐私保护研究方向调研(中)
人工智能·深度学习·安全
94621931zyn61 小时前
关于应用 - Cordova 与 OpenHarmony 混合开发实战
笔记·python
Andy121382 小时前
网页笔记插件(chrome)开发记录
chrome·笔记·mfc
上天夭6 小时前
模型训练篇
人工智能·深度学习·机器学习
做cv的小昊6 小时前
计算机图形学:【Games101】学习笔记05——着色(插值、高级纹理映射)与几何(基本表示方法)
笔记·opencv·学习·计算机视觉·图形渲染·几何学
Blossom.1186 小时前
AI编译器实战:从零手写算子融合与自动调度系统
人工智能·python·深度学习·机器学习·flask·transformer·tornado
泰迪智能科技017 小时前
分享图书推荐 | 数字图像处理实战
人工智能·深度学习·计算机视觉
Rabbit_QL7 小时前
【深度学习原理】数值稳定性(二):梯度是如何在深度网络中消失与爆炸的
人工智能·深度学习
wanzhong23338 小时前
CUDA学习5-矩阵乘法(共享内存版)
深度学习·学习·算法·cuda·高性能计算
Hcoco_me8 小时前
大模型面试题19:梯度消失&梯度爆炸 纯白话文版
人工智能·rnn·深度学习·自然语言处理·word2vec