机器学习 —— 高数回顾

高数 - 知识点回顾

一、导数公式

二、导数四则运算

三、复合函数导数

外导 * 内导

四、偏导数的定义

对应一个给定的多元函数f(x1,x2,...,xn),它的偏导数标识当前仅当一个变量变化而其他所有变量保持不变时,函数值的变化率。

以二元函数f(x,y)为例

对x求偏导,把y看成常量

对y求偏导,把x看成常量

f(x,y) = x²+3xy+y²

对x的偏导数

= 2x + 3y 把y看成常量

= 3x + 2y 把x看成常量

五、概念 ------ 标量、向量、矩阵、张量

1.标量(Scalar)

一个数字

维度:0维

只有大小,没有方向

例如:5、 3.14、 0 、 100

2.向量(Vector)

一组数字排成一条线

维度:1维

有大小和方向

默认是列向量

3.矩阵(Matrix)

二维表格 行 * 列

维度:2维

4.张量(Tensor)

多维数组的统称,多维数组,张量是基于向量和矩阵的推广

维度:>= 3维

可以理解为:很多个矩阵叠在一起

深度学习里的图片、视频都是张量

  • 灰度图:(高, 宽) → 矩阵
  • 彩色图:(高, 宽, 3通道)3 维张量
  • 一批图片:(数量, 高, 宽, 3)4 维张量

5.总结

  • 标量:0 维,一个数
  • 向量:1 维,一串数
  • 矩阵:2 维,一张表
  • 张量:≥3 维,多维数组(深度学习里所有数据都叫张量)

六、范数

一句话:把向量、矩阵、张量 "变成一个非负数" 的函数,用来衡量它的 "长度" 或 "大小"

最常用的几种范数
(1)L0 范数(不算严格数学范数)

非零元素的个数

(2)L1 范数:曼哈顿距离

所有元素绝对值之和

(3)L2 范数:欧几里得范数(最常用)

几何上的直线长度

第一步:

第二步:

第三步:

(4)L∞ 范数:无穷范数

取绝对值最大的那个元素

例:

七、矩阵

运算

向量基础运算

加->
减->
乘->
向量转置 Transpose

矩阵类型:
方阵

行数 = 列数

对称方阵

一种特殊的方阵 ,沿着对角线,其元素对冲。

单位阵

用符号E 或者 I 表示。 主对角线为1,其他为0

同阶方阵

指的是具有相同的行数和列数的两个方阵

矩阵相乘性质

对应行列元素相乘,然后再加和在一起

矩阵的乘法不满足交换律

特殊情况下满足: 同阶方阵

满足结合律

矩阵与单位矩阵相乘等于矩阵本身

矩阵的逆

逆矩阵就是矩阵版的 "倒数"

普通数字里:5 × (1/5) = 1

(可逆矩阵) E 为 单位阵

什么时候有逆矩阵

1.必须是方阵(行数 = 列数)

2.行列式 det(A) ≠ 0

3.矩阵是 满秩

矩阵转置的性质
相关推荐
布鲁飞丝1 分钟前
彩笔运维勇闯机器学习--cpu与qps的线性关系
运维·人工智能·机器学习
ZHOU_WUYI3 分钟前
5. light wam 中video pre阶段
人工智能
2501_926978336 分钟前
提示工程的实战报告(二):模型的失败模式与边界行为
人工智能·深度学习·算法
行走的小派12 分钟前
Zero 4不是Zero 3W的升级版,是香橙派的策略补位
人工智能·香橙派·边缘ai
IanSkunk13 分钟前
企业AI办公落地技术拆解:从WorkBuddy任务引擎到JOTO实施路径
大数据·人工智能
Mycdn_WD30 分钟前
项目交付后的机房,能参与边缘节点协作吗?
人工智能·cdn·pcdn·城域网·pcdn资源招募
LayZhangStrive38 分钟前
线性代数 - 第1章 行列式
人工智能·线性代数·机器学习
Michaelliu_dev1 小时前
多模态大模型推理流程解析
人工智能·llm·多模态大模型·vit·llava·rope·mllm
正经教主1 小时前
Trae Work 提示词使用要求与教程
人工智能
潜龙95271 小时前
手机自动化测试AI新方案
人工智能·智能手机