机器学习概述（一）

一、机器学习概述

• 定义：机器学习是通过大量经验数据来完成特定任务，并通过分析这些数据来优化任务完成效果的过程。

• 案例：2016年阿尔法围棋战胜韩国围棋九段棋手李世石，展示了机器学习在复杂任务中的强大能力。

二、机器学习应用领域

• 图像识别、自然语言处理、推荐系统、医疗诊断、金融风险预测等。

三、机器学习基本术语

• 数据集：数据记录的集合。

• 样本：数据集中每条记录，描述一个事件或对象。

• 特征（属性）：反映事件或对象在某方面的表现或性质。

• 属性空间：属性张成的空间，也称样本空间。

• 向量表示：样本在属性空间中的表示，每个样本是一个向量。

• 训练集：用于训练模型的数据集合，包含标记信息。

• 测试集：用于测试模型的数据集合。

四、监督学习与无监督学习

• 监督学习：利用已知类别的样本调整分类器参数，数据集包含"正确答案"。

  • 分类：输出结果为离散型数值。

  • 回归：输出结果为连续型数值。

• 无监督学习：提供数据集合但不提供标记信息，如聚类算法。

• 集成学习：通过构建并结合多个学习器来完成学习任务。

五、模型评估与选择

• 错误率：分类错误的样本数占总样本数的比例。

• 精度：1 - 错误率。

• 残差：实际预测输出与真实输出之间的差异。

• 训练误差：学习器在训练集上的误差。

• 泛化误差：学习器在新样本上的误差。

• 损失函数：衡量模型预测误差的大小。

• 欠拟合：模型未能很好地捕捉数据特征。

• 原因

  • 模型复杂度过低：模型过于简单，无法捕捉数据中的复杂关系。例如，用线性模型去拟合非线性数据。

  • 特征不足：输入的特征太少，或者特征与目标变量的相关性不强，导致模型无法学习到有效的规律。

  • 训练时间不足：模型没有足够的时间学习数据中的规律。

• 过拟合：模型对训练数据学习过度，泛化能力差。

• 原因

  • 模型复杂度过高：模型过于复杂，能够完美拟合训练数据中的每一个点，包括噪声。

  • 训练数据不足：模型没有足够的数据来学习通用的规律，只能记住训练数据的细节。

  • 特征过多：输入的特征过多，其中一些特征可能只是噪声，模型会学习到这些噪声特征。

• 处理方法：

  • 过拟合：增加训练数据、降维、正则化、集成学习。

  • 欠拟合：添加新特征、增加模型复杂度、减小正则化系数。

六、模型选择原则

• 奥卡姆剃刀原理：选择简单有效的模型。

• 没有免费的午餐定理：不存在对所有问题都有效的算法，算法的优劣需要针对具体问题。

七、模型评估方法

• 留出法：将数据集划分为训练集和测试集，通常比例为70%、30%。

• 交叉验证法：将数据集划分为k个子集，每次用k-1个子集作为训练集，剩下的一个子集作为测试集，进行k次训练和测试，返回k个测试结果的均值。

• 性能指标：

  • TP（真正例）：将正类预测为正类的数量。

  • FP（假正例）：将反类预测为正类的数量。

  • TN（真反例）：将反类预测为反类的数量。

  • FN（假反例）：将正类预测为反类的数量。

  • 查准率（P）：TP / (TP + FP)。

  • 查全率（R）：TP / (TP + FN)。

• P-R 图：直观显示学习器的查全率和查准率，用于比较学习器性能。

八、总结

• 为机器学习的入门提供了全面的概述，涵盖了从基本概念到模型评估的各个方面。通过具体的例子和图表，可以快速掌握机器学习的核心思想和方法。