02-机器学习-核心概念

以下是机器学习核心概念的详细梳理。


1. 机器学习三大范式

类型 定义 典型应用
监督学习 使用带标签的数据训练模型,预测未知数据的标签。 分类(邮件垃圾过滤)、回归(房价预测)
无监督学习 无标签的数据中发现隐藏模式或结构。 聚类(客户分群)、降维(数据可视化)
强化学习 通过试错与奖励机制训练智能体,使其在环境中做出最优决策。 游戏AI(AlphaGo)、自动驾驶

2. 核心算法分类

监督学习算法
  • 分类

    • 逻辑回归:二分类问题,输出概率值。
    • 决策树:基于特征阈值递归分割数据。
    • 支持向量机(SVM):寻找最大化分类间隔的超平面。
    • 随机森林:多棵决策树的集成,降低过拟合风险。
  • 回归

    • 线性回归:拟合数据的最佳直线/超平面。
    • 岭回归/Lasso回归:加入正则化项防止过拟合。
无监督学习算法
  • 聚类
    • K-Means:将数据划分为K个簇,最小化簇内距离。
    • 层次聚类:通过树状图展示数据分层聚合过程。
  • 降维
    • 主成分分析(PCA):通过正交变换提取主要特征。
    • t-SNE:非线性降维,适用于高维数据可视化。
其他重要方法
  • 半监督学习:结合少量标签数据和大量无标签数据训练模型。
  • 集成学习:通过Bagging(随机森林)、Boosting(XGBoost)提升模型性能。

3. 模型评估指标

任务类型 评估指标 解释
分类 准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1分数、ROC-AUC - 精确率 :预测为正的样本中实际为正的比例。 - 召回率:实际为正的样本中被正确预测的比例。
回归 均方误差(MSE)、平均绝对误差(MAE)、R²分数 - R²分数:模型对数据变动的解释能力(0~1,越大越好)。
聚类 轮廓系数(Silhouette Score)、Calinski-Harabasz指数 - 轮廓系数:衡量簇内紧密度和簇间分离度(-1~1,越大越好)。

4. 关键问题与解决方法

过拟合(Overfitting)
  • 现象:模型在训练集表现极佳,但在测试集表现差。
  • 解决
    • 增加训练数据量。
    • 正则化(L1/L2正则化)。
    • 交叉验证(如K-Fold)。
    • 减少模型复杂度(如剪枝决策树)。
欠拟合(Underfitting)
  • 现象:模型在训练集和测试集均表现不佳。
  • 解决
    • 增加模型复杂度(如使用更深的神经网络)。
    • 添加更多特征或进行特征工程。
偏差-方差权衡
  • 高偏差:模型过于简单,无法捕捉数据规律(欠拟合)。
  • 高方差:模型过于复杂,对噪声敏感(过拟合)。
  • 目标:通过调整模型复杂度和正则化,找到平衡点。

5. 核心流程

  1. 数据预处理:缺失值填充、标准化/归一化、编码类别特征。
  2. 特征工程:特征选择(如卡方检验)、特征构造(如多项式特征)。
  3. 模型训练:划分训练集/验证集/测试集,选择算法并调参。
  4. 模型评估:根据任务类型选择指标,分析结果。
  5. 模型部署:将训练好的模型转化为API服务或嵌入应用。

6. 实际应用场景

  • 分类:垃圾邮件识别、图像分类(猫 vs 狗)。
  • 回归:股票价格预测、销售额趋势分析。
  • 聚类:用户分群(电商推荐)、异常检测(信用卡欺诈)。
  • 降维:高维数据可视化(如将100维数据压缩为2维)。

掌握这些核心概念后,可以通过框架(如Scikit-learn)快速实现算法,并逐步深入理论细节。下一步建议通过实战项目(如Kaggle竞赛)巩固知识! 🚀

相关推荐
阿里云大数据AI技术9 分钟前
OpenSearch 视频 RAG 实践
数据库·人工智能·llm
XMAIPC_Robot22 分钟前
基于ARM+FPGA的光栅尺精密位移加速度测试解决方案
arm开发·人工智能·fpga开发·自动化·边缘计算
加油吧zkf31 分钟前
YOLO目标检测数据集类别:分类与应用
人工智能·计算机视觉·目标跟踪
Blossom.1181 小时前
机器学习在智能制造业中的应用:质量检测与设备故障预测
人工智能·深度学习·神经网络·机器学习·机器人·tensorflow·sklearn
天天扭码1 小时前
AI时代,前端如何处理大模型返回的多模态数据?
前端·人工智能·面试
巴伦是只猫1 小时前
【机器学习笔记 Ⅱ】1 神经网络
笔记·神经网络·机器学习
难受啊马飞2.01 小时前
如何判断 AI 将优先自动化哪些任务?
运维·人工智能·ai·语言模型·程序员·大模型·大模型学习
顺丰同城前端技术团队1 小时前
掌握未来:构建专属领域的大模型与私有知识库——从部署到微调的全面指南
人工智能·deepseek
许泽宇的技术分享1 小时前
用.NET9+Blazor+Semantic Kernel,打造企业级AI知识库和智能体平台——AntSK深度解读
人工智能
烟锁池塘柳02 小时前
【深度学习】强化学习(Reinforcement Learning, RL)主流架构解析
人工智能·深度学习·机器学习