深度学习(3)矩阵计算、求导

1. 标量导数

2. 亚导数

3. 求导

3.1 梯度

① y是向量，x是标量的话，求导为标量。

② y是向量，x是向量的话，求导为矩阵。

3.2 标量对向量求导

③ 是一个椭圆，梯度是指向值变化最大的方向。

对函数里的各个未知数分别求导，再将求导结果一起组成一个向量，这个向量就叫梯度，这个向量代表着这个函数变化最快的方向。

3.3 向量对标量求导

3.4 向量对向量求导

3.5 扩展矩阵对矩阵求导

参考github作者，我只是用来学习。