完整的整理到了github
📘 机器学习与大模型开发数学教程
第0章 预备知识
- 0-1 集合与逻辑基础（集合运算、命题逻辑、量词）
- 0-2 数列与级数（收敛性、幂级数）
- 0-3 函数初步（多项式、指数、对数、三角函数、反函数）
- 0-4 复数与指数形式（欧拉公式）
- 0-5 初等组合数学（排列组合、二项式定理）
- 0-6 向量与坐标系（线性组合、基、维数）
- 0-7 初等概率（事件、条件概率、全概率公式、独立性直觉）
- 0-8 编程与数值计算基础（浮点数精度、溢出、数值稳定性）
第1章 微分（上）：单变量微积分
- 1-1 课程介绍与数学在机器学习中的作用
- 1-2 O(n) 表示法与时间复杂度
- 1-3 极限与连续性
- 1-4 导数与几何意义
- 1-5 常用求导法（积商法、隐函数、分部求导）
- 1-6 费马定理与极值判定
- 1-7 函数逼近思想
- 1-8 泰勒展开与高阶近似
- 1-9 凸函数与凸优化基础
- 1-10 本章总结与习题
第2章 微分（下）：多变量微积分
- 2-1 多元函数与偏导数
- 2-2 偏导与梯度
- 2-3 方向导数与可微性
- 2-4 链式法则（标量→向量→矩阵）
- 2-5 Hessian矩阵与高阶导数
- 2-6 拉格朗日乘数法（等式约束优化）
- 2-7 约束优化的KKT条件（预告 + 引入优化篇）
- 2-8 本章总结与习题
第3章 线性代数
- 3-1 向量、矩阵与张量
- 3-2 向量与矩阵运算（内积、外积、Hadamard积）
- 3-3 张量的运算（Einstein求和约定）
- 3-4 矩阵的逆与伪逆
- 3-5 行列式与秩
- 3-6 线性方程组（LU分解、数值解法）
- 3-7 二次型与正定性
- 3-8 矩阵分解（SVD、特征分解、QR、Cholesky）
- 3-9 特征值与谱理论
- 3-10 主成分分析（PCA）与降维
- 3-11 奇异值分解在推荐系统中的应用
- 3-12 本章总结与习题
第4章 概率与统计
- 4-1 概率论基础（样本空间、事件、概率公理）
- 4-2 随机变量与概率分布（离散与连续）
- 4-3 常见分布（伯努利、二项、正态、指数、Gamma、Beta）
- 4-4 条件概率与贝叶斯定理
- 4-5 期望、方差、协方差与相关系数
- 4-6 大数定律与中心极限定理
- 4-7 特征函数与矩母函数
- 4-8 极大似然估计（MLE）
- 4-9 最大后验估计（MAP）
- 4-10 信息论基础（熵、交叉熵、KL散度、互信息）
- 4-11 蒙特卡洛方法与采样技巧
- 4-12 Bootstrap方法
- 4-13 EM算法与混合模型
- 4-14 偏差-方差分解
- 4-15 本章总结与习题
第5章 优化方法
- 5-1 优化问题分类（凸、非凸、线性、非线性）
- 5-2 梯度下降法（GD）与随机梯度下降（SGD）
- 5-3 最速下降法与动量法（Momentum）
- 5-4 共轭梯度法
- 5-5 牛顿法与拟牛顿法（BFGS、L-BFGS）
- 5-6 Adam、RMSProp、AdaGrad 等自适应优化算法
- 5-7 学习率调度（warmup、余弦退火、OneCycle）
- 5-8 约束非线性优化
- 5-9 KKT条件详解
- 5-10 最优化在机器学习中的典型应用（逻辑回归、SVM）
- 5-11 本章总结与习题
第6章 数值计算与高性能计算
- 6-1 浮点数精度与数值稳定性
- 6-2 矩阵运算的数值误差分析
- 6-3 高维矩阵稀疏性与压缩存储
- 6-4 自动微分原理（前向模式、反向模式）
- 6-5 GPU/TPU并行计算基础
- 6-6 分布式训练中的数值注意事项（梯度裁剪、混合精度）
- 6-7 大模型训练中的数值优化技巧（混合精度、梯度累积）
- 6-8 本章总结
第7章 大模型相关数学专题
- 7-1 向量空间与嵌入（embedding）
- 7-2 相似度度量（余弦相似度、点积、欧氏距离）
- 7-3 注意力机制的数学表达（softmax、加权和）
- 7-4 概率语言模型的数学（N-gram、条件概率链式法则）
- 7-5 Transformer 的矩阵运算解析
- 7-6 自注意力机制的计算复杂度分析
- 7-7 损失函数数学（交叉熵、MSE、对比学习损失）
- 7-8 正则化与泛化（L1/L2、Dropout 概率解释）
- 7-9 预训练与微调的数理理解（优化视角）
- 7-10 本章总结
第8章 数学前沿与拓展
- 8-1 最优传输理论与生成模型（Wasserstein距离）
- 8-2 高维几何与流形学习
- 8-3 图神经网络的数学基础（图论、谱图理论）
- 8-4 信息几何与概率分布空间
- 8-5 微分方程与神经微分方程（Neural ODEs）
- 8-6 矩阵分解与低秩近似在推荐系统中的应用
- 8-7 本书总结与展望