机器学习 —— 高数回顾

高数 - 知识点回顾

一、导数公式

二、导数四则运算

三、复合函数导数

外导 * 内导

四、偏导数的定义

对应一个给定的多元函数f(x1,x2,...,xn),它的偏导数标识当前仅当一个变量变化而其他所有变量保持不变时,函数值的变化率。

以二元函数f(x,y)为例

对x求偏导,把y看成常量

对y求偏导,把x看成常量

f(x,y) = x²+3xy+y²

对x的偏导数

= 2x + 3y 把y看成常量

= 3x + 2y 把x看成常量

五、概念 ------ 标量、向量、矩阵、张量

1.标量(Scalar)

一个数字

维度:0维

只有大小,没有方向

例如:5、 3.14、 0 、 100

2.向量(Vector)

一组数字排成一条线

维度:1维

有大小和方向

默认是列向量

3.矩阵(Matrix)

二维表格 行 * 列

维度:2维

4.张量(Tensor)

多维数组的统称,多维数组,张量是基于向量和矩阵的推广

维度:>= 3维

可以理解为:很多个矩阵叠在一起

深度学习里的图片、视频都是张量

  • 灰度图:(高, 宽) → 矩阵
  • 彩色图:(高, 宽, 3通道)3 维张量
  • 一批图片:(数量, 高, 宽, 3)4 维张量

5.总结

  • 标量:0 维,一个数
  • 向量:1 维,一串数
  • 矩阵:2 维,一张表
  • 张量:≥3 维,多维数组(深度学习里所有数据都叫张量)

六、范数

一句话:把向量、矩阵、张量 "变成一个非负数" 的函数,用来衡量它的 "长度" 或 "大小"

最常用的几种范数
(1)L0 范数(不算严格数学范数)

非零元素的个数

(2)L1 范数:曼哈顿距离

所有元素绝对值之和

(3)L2 范数:欧几里得范数(最常用)

几何上的直线长度

第一步:

第二步:

第三步:

(4)L∞ 范数:无穷范数

取绝对值最大的那个元素

例:

七、矩阵

运算

向量基础运算

加->
减->
乘->
向量转置 Transpose

矩阵类型:
方阵

行数 = 列数

对称方阵

一种特殊的方阵 ,沿着对角线,其元素对冲。

单位阵

用符号E 或者 I 表示。 主对角线为1,其他为0

同阶方阵

指的是具有相同的行数和列数的两个方阵

矩阵相乘性质

对应行列元素相乘,然后再加和在一起

矩阵的乘法不满足交换律

特殊情况下满足: 同阶方阵

满足结合律

矩阵与单位矩阵相乘等于矩阵本身

矩阵的逆

逆矩阵就是矩阵版的 "倒数"

普通数字里:5 × (1/5) = 1

(可逆矩阵) E 为 单位阵

什么时候有逆矩阵

1.必须是方阵(行数 = 列数)

2.行列式 det(A) ≠ 0

3.矩阵是 满秩

矩阵转置的性质
相关推荐
青瓷程序设计2 小时前
基于深度学习的【猫类识别系统】~Python+深度学习+人工智能+算法模型+2026原创+计算机毕设
人工智能·python·深度学习
FluxMelodySun2 小时前
机器学习(三十) 半监督学习与生成式方法
人工智能·机器学习
渡我白衣2 小时前
运筹帷幄——在线学习与实时预测系统
人工智能·深度学习·神经网络·学习·算法·机器学习·caffe
正在走向自律2 小时前
AI入门:从机器学习到生成式AI,一份不完美的学习笔记
人工智能·机器学习
星星也在雾里2 小时前
Dify + FastAPI + 讯飞WebSocket实现方言识别
人工智能·fastapi
X journey2 小时前
机器学习进阶(15):过拟合
人工智能·机器学习
colus_SEU2 小时前
SVM 的终极视角:合页损失函数 (Hinge Loss) 与正则化
算法·机器学习·支持向量机
大连好光景2 小时前
回顾机器学习几个模型(监督+分类任务)
决策树·随机森林·机器学习·逻辑回归·svm
X journey2 小时前
机器学习进阶(14):交叉验证
人工智能·算法·机器学习