机器学习 —— 高数回顾

高数 - 知识点回顾

一、导数公式

二、导数四则运算

三、复合函数导数

外导 * 内导

四、偏导数的定义

对应一个给定的多元函数f(x1,x2,...,xn),它的偏导数标识当前仅当一个变量变化而其他所有变量保持不变时,函数值的变化率。

以二元函数f(x,y)为例

对x求偏导,把y看成常量

对y求偏导,把x看成常量

f(x,y) = x²+3xy+y²

对x的偏导数

= 2x + 3y 把y看成常量

= 3x + 2y 把x看成常量

五、概念 ------ 标量、向量、矩阵、张量

1.标量(Scalar)

一个数字

维度:0维

只有大小,没有方向

例如:5、 3.14、 0 、 100

2.向量(Vector)

一组数字排成一条线

维度:1维

有大小和方向

默认是列向量

3.矩阵(Matrix)

二维表格 行 * 列

维度:2维

4.张量(Tensor)

多维数组的统称,多维数组,张量是基于向量和矩阵的推广

维度:>= 3维

可以理解为:很多个矩阵叠在一起

深度学习里的图片、视频都是张量

  • 灰度图:(高, 宽) → 矩阵
  • 彩色图:(高, 宽, 3通道) → 3 维张量
  • 一批图片:(数量, 高, 宽, 3) → 4 维张量

5.总结

  • 标量:0 维,一个数
  • 向量:1 维,一串数
  • 矩阵:2 维,一张表
  • 张量:≥3 维,多维数组(深度学习里所有数据都叫张量)

六、范数

一句话:把向量、矩阵、张量 "变成一个非负数" 的函数,用来衡量它的 "长度" 或 "大小"。

最常用的几种范数
(1)L0 范数(不算严格数学范数)

非零元素的个数

(2)L1 范数:曼哈顿距离

所有元素绝对值之和

(3)L2 范数:欧几里得范数(最常用)

几何上的直线长度

第一步:

第二步:

第三步:

(4)L∞ 范数:无穷范数

取绝对值最大的那个元素

例:

七、矩阵

运算

向量基础运算

加->
减->
乘->
向量转置 Transpose

矩阵类型:
方阵

行数 = 列数

对称方阵

一种特殊的方阵 ,沿着对角线,其元素对冲。

单位阵

用符号E 或者 I 表示。 主对角线为1,其他为0

同阶方阵

指的是具有相同的行数和列数的两个方阵

矩阵相乘性质

对应行列元素相乘,然后再加和在一起

矩阵的乘法不满足交换律

特殊情况下满足: 同阶方阵

满足结合律

矩阵与单位矩阵相乘等于矩阵本身

矩阵的逆

逆矩阵就是矩阵版的 "倒数"

普通数字里:5 × (1/5) = 1

(可逆矩阵) E 为 单位阵

什么时候有逆矩阵

1.必须是方阵(行数 = 列数)

2.行列式 det(A) ≠ 0

3.矩阵是 满秩 的

矩阵转置的性质
相关推荐
小oo呆2 小时前
【自然语言处理与大模型】如何编写优质的Skill?
人工智能
非优秀程序员9 小时前
第12章 烧钱无底洞!!!不烧就死,烧了也不知道啥时候死|《互联网产品恩仇录》
人工智能
Godspeed Zhao9 小时前
从零开始学AI25——无监督学习之层次聚类
学习·机器学习·聚类
Zelman94510 小时前
第06章-交互与观察动作空间
人工智能
冬奇Lab10 小时前
开源项目第258期:Harness² —— Google Research 的「递归式 Agent Harness 优化」,模型权重不动,只改 Agent 的外壳
人工智能·开源
字节跳动视频云技术团队12 小时前
每两家头部手机厂商就有一家选它:火山引擎如何成为 AI 手机助手的“隐形底座”?
人工智能
泯泷12 小时前
像项目经理一样指挥 AI 团队:管理者模式
人工智能·llm·agent
京东云开发者12 小时前
双11囤Token火了:京东搜索量暴涨7倍,AI生产力成新刚需
人工智能
ahccqw12 小时前
OpenCV 车辆数量统计
人工智能·opencv·计算机视觉