【动手学深度学习】06 矩阵计算(个人向笔记)

标量导数

这个比较简单,就是直接求导

亚导数

举了两个例子

梯度

  • 下面是当 y 和 x 分别为向量和标量时求导的结果。一个为向量,一个为标量则结果为向量。两个都为向量结果为矩阵,两个都为标量结果为标量
  • 当 y 为标量,x 为列向量时 ,结果为一个行向量,其计算结果相当于求偏导,具体看例子(吐槽一下沐神课上时真没听懂,不过一问gpt就懂了)


  • 当 y 为向量,x 为标量时, 那么对于每一个 y 中的元素都对 x 求导即可,结果是一个列向量
    - 当 x 和 y 都为向量时 ,那么我们把 y 中的每一个元素看作一个标量,然后对每一个 y 中的元素执行对向量 x 求导数,然后把结果的行向量都排在一起构成了矩阵
  • 维度更多的情况,最终的维度其实就是把两者的维度加起来
相关推荐
User_芊芊君子2 小时前
【分布式训练】CANN SHMEM跨设备内存通信库:构建高效多机多卡训练的关键组件
分布式·深度学习·神经网络·wpf
聆风吟º2 小时前
CANN算子开发:ops-nn神经网络算子库的技术解析与实战应用
人工智能·深度学习·神经网络·cann
觉醒大王2 小时前
强女思维:着急,是贪欲外显的相。
java·论文阅读·笔记·深度学习·学习·自然语言处理·学习方法
笔画人生2 小时前
# 探索 CANN 生态:深入解析 `ops-transformer` 项目
人工智能·深度学习·transformer
三水不滴2 小时前
计网:输入网址到网页显示
经验分享·笔记·计算机网络
灰灰勇闯IT2 小时前
领域制胜——CANN 领域加速库(ascend-transformer-boost)的场景化优化
人工智能·深度学习·transformer
小白狮ww2 小时前
要给 OCR 装个脑子吗?DeepSeek-OCR 2 让文档不再只是扫描
人工智能·深度学习·机器学习·ocr·cpu·gpu·deepseek
island13143 小时前
CANN GE(图引擎)深度解析:计算图优化管线、内存静态规划与异构任务的 Stream 调度机制
开发语言·人工智能·深度学习·神经网络
艾莉丝努力练剑3 小时前
深度学习视觉任务:如何基于ops-cv定制图像预处理流程
人工智能·深度学习
禁默3 小时前
大模型推理的“氮气加速系统”:全景解读 Ascend Transformer Boost (ATB)
人工智能·深度学习·transformer·cann