高数 - 知识点回顾
一、导数公式

二、导数四则运算

三、复合函数导数
外导 * 内导


四、偏导数的定义
对应一个给定的多元函数f(x1,x2,...,xn),它的偏导数标识当前仅当一个变量变化而其他所有变量保持不变时,函数值的变化率。
以二元函数f(x,y)为例
对x求偏导,把y看成常量
对y求偏导,把x看成常量
f(x,y) = x²+3xy+y²
对x的偏导数
= 2x + 3y 把y看成常量
= 3x + 2y 把x看成常量
五、概念 ------ 标量、向量、矩阵、张量
1.标量(Scalar)
一个数字
维度:0维
只有大小,没有方向
例如:5、 3.14、 0 、 100 
2.向量(Vector)
一组数字排成一条线
维度:1维
有大小和方向
默认是列向量


3.矩阵(Matrix)
二维表格 行 * 列
维度:2维

4.张量(Tensor)
多维数组的统称,多维数组,张量是基于向量和矩阵的推广


维度:>= 3维
可以理解为:很多个矩阵叠在一起
深度学习里的图片、视频都是张量
- 灰度图:
(高, 宽)→ 矩阵 - 彩色图:
(高, 宽, 3通道)→ 3 维张量 - 一批图片:
(数量, 高, 宽, 3)→ 4 维张量

5.总结
- 标量:0 维,一个数
- 向量:1 维,一串数
- 矩阵:2 维,一张表
- 张量:≥3 维,多维数组(深度学习里所有数据都叫张量)
六、范数
一句话:把向量、矩阵、张量 "变成一个非负数" 的函数,用来衡量它的 "长度" 或 "大小"。
最常用的几种范数
(1)L0 范数(不算严格数学范数)
非零元素的个数 
(2)L1 范数:曼哈顿距离
所有元素绝对值之和 
(3)L2 范数:欧几里得范数(最常用)
几何上的直线长度 

第一步:

第二步:

第三步:

(4)L∞ 范数:无穷范数
取绝对值最大的那个元素 
例:

七、矩阵
运算
向量基础运算
加->

减->

乘->

向量转置 Transpose



矩阵类型:
方阵
行数 = 列数
对称方阵
一种特殊的方阵 ,沿着对角线,其元素对冲。

单位阵
用符号E 或者 I 表示。 主对角线为1,其他为0

同阶方阵
指的是具有相同的行数和列数的两个方阵
矩阵相乘性质


对应行列元素相乘,然后再加和在一起


矩阵的乘法不满足交换律


特殊情况下满足: 同阶方阵

满足结合律


矩阵与单位矩阵相乘等于矩阵本身

矩阵的逆
逆矩阵就是矩阵版的 "倒数" 
普通数字里:5 × (1/5) = 1
(可逆矩阵) E 为 单位阵
什么时候有逆矩阵
1.必须是方阵(行数 = 列数)
2.行列式 det(A) ≠ 0
3.矩阵是 满秩 的


矩阵转置的性质

