吴恩达 Machine Learning(Class 1)

Week 1

1.1 Supervised learning

  • 监督学习
  • 本质:学习输入、输出,或 x -> y 的映射;

Regression

  • 回归算法:房价预测;

Classification

  • 分类算法:肿瘤预测;

1.2 Unsupervised learning

Clustering

  • 无监督学习
  • 本质:从输入数据中发现潜在的结构或模式,而不是根据已知的答案进行预测;
  • 聚类:谷歌新闻,DNA序列,人群分组;

Anomaly Detection

  • 异常检测(Anomaly Detection):识别数据中不符合预期模式的异常点,常用于网络安全、欺诈检测等领域。

Dimensionality Reduction

  • 降维(Dimensionality Reduction):通过减少数据中的特征数量,提取出最重要的信息。

1.3 Linear Regression

House size and price

  • 回归预测的结果有无数个,而分类的结果有限;
  • 几个术语:
  • 构造线性模型:这里为单变量;

Cost function

  • 这里除以2只是为了求导计算方便;
  • 单变量线性模型损失函数:

Gradient descent

  • 双变量线性模型损失函数:
  • 参数的更新:

Learning rate

Week 2

2.1 Multiple Linear Regression

  • 多元线性回归:多个输入变量影响

Vectorization

  • 向量运算更快的原理:并行计算;
  • 多元参数更新:

Normal equation

  • 正规方程:只运用于线性回归模型,求解损失函数最小值的 w 和 b,无需迭代;

2.2 Featrue scaling

  • 特征缩放:使梯度下降运行的更快;
  • 方法:将不同特征的取值范围调整到合适大小;

Mean normalization

Z-score normalization

  • 就是概率论中的正态分布;

How to choose Alpha

  • 学习率太大会产生波动,太小会导致迭代次数增加;
  • 怎么调节学习率:

2.3 Featrue Engineering

How to choose featrue

  • 通过选择原始特征去组合出新的特征进行拟合:

Polynomial Regression

  • 多项式回归:通过使用特征工程和多项式函数,得到更好的模型;

Week 3

3.1 Logistic Regression

Sigmoid function

Decision Boundary

  • 决策边界:可以是线性,也可以是非线性;

Logistic loss function

  • 经过 logistic 转化后的结果处于 0 - 1 之间,在这个区间内 log 函数单调,且取值为 0 - ∞;
  • 简化的损失函数:是一个凸函数

Gradient descent

  • 和线性回归中梯度下降的不同点,就是 y_pred 不一样了,增加了 logistic 变换;

3.2 Underfitting and Overfitting

  • 欠拟合和过拟合:线性模型和分类模型中均有出现;

Address Overfitting

  • 法一:Collect more data,收集更多的数据
  • 法二:Select featrues,选择和使用特征的一个子集
  • 法三:Regularization(正则化),减小参数大小;通常是改变 Wi 的大小,而不改变 b;

3.3 Regularization

  • 增加了 这个参数,为了降低损失函数,需要调节它的值,可以起到减小参数的作用;

Regularized linear regression

  • 正则化线性回归中的梯度下降:
  • 原理:每次迭代 Wj 都乘一个略小于 1 的数,用于缩小参数;

Regularized logistic regression

相关推荐
智联视频超融合平台3 小时前
视频 AI 的误报之战,正在从调参数卷到改架构
人工智能·大模型·边缘计算·视频监控·安防
水如烟4 小时前
孤能子视角:智能的边界不在算法强弱,在可形式化性——从概率法到因果推理,选择池的边界一直在那里
人工智能
万里侯5 小时前
日志聚类之后别把 noise 扔掉:降噪应该改变视图,不抹掉证据
人工智能·微服务·ai·容器·k8s
澹锦汐5 小时前
纯前端秋日银杏与枫叶落叶色板智能聚类器:基于 K-Means 色彩量化与直方图自动配方提取
前端·人工智能·ai·语言模型·vue·react·k-means
71777713 小时前
国内 AI 研发效能工具怎么选:2026 年基于公开信息的选型框架与 Gitee 实践
人工智能·gitee
Csvn13 小时前
换供应商要改一遍代码?把模型接入收进一层网关(C04)
人工智能·aigc·agent
孟健14 小时前
开源AutoClip切直播:1小时48分出19段,整月API只花0.08元
人工智能·开源·aigc
翰墨之道14 小时前
AI日报:豆包工作ARR超20亿,GPT-6.2跑分与实测割裂
人工智能·gpt·数据挖掘
Maynor99614 小时前
Trymodel 使用介绍:一个平台同时用 Claude、GPT、Gemini 和 Grok
人工智能·gpt·ai·程序员·教程·claude·语音