机器学习之数学基础:线性代数、微积分、概率论 | PyTorch 深度学习实战

前一篇文章,使用线性回归模型逼近目标模型 | PyTorch 深度学习实战

本系列文章 GitHub Repo: https://github.com/hailiang-wang/pytorch-get-started

本篇文章内容来自于 强化学习必修课:引领人工智能新时代【梗直哥瞿炜】

线性代数、微积分、概率论

线性代数

单位向量

向量的内积

向量的外积

矩阵的乘法

矩阵的内积和哈达玛积(Hadamard product)

矩阵乘法的性质

微积分

微分

微分是指函数的局部变化的一种线性描述,自变量的微分记作 d x dx dx ,函数 y = f ( x ) y=f(x) y=f(x) 的微分记作 d y = d f ( x ) = f ′ ( x ) d x dy=df(x)=f'(x)dx dy=df(x)=f′(x)dx

导数是微分的比值 f ′ ( x ) = d f ( x ) d x f'(x)=\frac{df(x)}{dx} f′(x)=dxdf(x),导数表示变化率,微分表示变化量。

偏导数

  • 偏导数指的是多元函数在某一点处关于某一变量的导数
  • 通常用符号 ∂ f ( x , y ) ∂ x \frac{\partial f(x,y)}{\partial x} ∂x∂f(x,y) 来表示多元函数 z = f(x,y) 关于 x 的偏导数

梯度

梯度下降算法的一个主要问题,就是没有考虑到变量和变量之间的相互影响,而是每维依靠自己的变化去调节。

链式法则

概率论

事件

随机变量与概率分布

概率密度

联合概率和条件概率

贝叶斯定理

极大似然估计

理解极大似然估计,是重点。

相关推荐
罗西的思考6 小时前
【轻量化复现大模型 / KIMI K3】训练模块梳理 & Muon P2P 优化器
人工智能·深度学习·机器学习
whitelbwwww7 小时前
cuBLAS--CUDA高性能线性代数计算库--第一部分
c++·线性代数·gpu算力·cuda c++
伞伞悦读8 小时前
【第90期】KNN分类回归流水线与K值对照的实验与排查
大数据·人工智能·python·深度学习·机器学习
会飞锦鲤9 小时前
基于 RT-DETR 的 PCB 缺陷检测
深度学习·目标检测·计算机视觉·pyqt5·rt-detr·工业质检·pcb缺陷检测
塑料铲子1 天前
你的 Skill 越多越蠢?Token 上下文爆炸的求生指南
机器学习·agent
TsingtaoAI1 天前
VeyForge:构建具身智能的AI 3D资产与Sim-to-Real数据引擎
人工智能·机器学习
高洁011 天前
世界模型的因果内核:从预测表象到理解机制
人工智能·python·深度学习·transformer·迁移学习
意念回复2 天前
从 RNN 到 GQA:自注意力与多头注意力机制全解析
人工智能·rnn·深度学习
哈尔滨张谦蛋2 天前
兰州大学 · 甘肃省可穿戴装备重点实验室 · 2027年博士招生
人工智能·深度学习