机器学习概述
- 人工智能、机器学习和深度学习的关系
目标一致，三者统一：给机器赋予人的智能，让机器能够像人一样地思考问题，做出决策；
- 机器学习是实现人工智能的一种途径，让机器使用算法解析数据、从中学习数据特征，并进行归纳判断
- 深度学习是机器学习的一类重要方法，采用多层非线性函数（即神经网络）学习数据特征，并进行判断，属于机器学习解决图像、语音、文本等领域的一个重要分支
机器学习的定义及其方向
定义：通过技术的手段，利用已有的数据（经验）开发可以用来对新数据进行预测的模型
主要方向：1.基于学习方式的划分；2.基于学习策略的划分
-
基于学习方式 的划分：根据输入的数据是否需要进行标注进行划分
-
有监督学习
有监督学习的过程
- 输入数据：为"训练数据"，每组训练数据有明确标识
- 学习过程：将预测过程与"训练数据"的实际结果进行比较，不断调整预测模型，直到模型预测结果达到一个预期的准确率
- 应用场景：分类、回归
分类和回归
- 概念
分类就是将不同的类别进行分开，而回归则是找到一个空间，是得数据点尽可能的落在空间上，分类预测变量是离散的 ，如：今天的天气为晴天；回测预测变量是连续的 ，如：明天的温度为36.4°。
分类（上）和回归（下）
- 区别
分类和回归的区别
-
无监督学习
有监督学习(左)和无监督学习（右）
- 输入数据：数据没有被明确的标识
- 学习过程：不存在目标变量，基于数据本身去识别变量之间内在的模式和特征
- 应用场景：关联分析、 聚类
-
强化学习
强化学习
- 一种机器学习方式：以"试错"的方式进行学习，通过与环境进行交互获得奖赏指导行为，目标是是智能体获得最大的奖赏或实现特定目标
- 输入数据：不要求预先给定任何数据，通过接收环境对动作的奖励（反馈）获得学习信息
- 输出：模型参数调整
- 应用领域：机器人控制、计算机视觉、自然语言处理
-
-
基于学习策略的划分：根据学习策略是否基于经典数学原理还是模拟人脑感知进行划分
- 传统机器学习：基于统计、概率、线性代数等数学原理，通过分析输入数据的模式，进行判断与预测
- 深度学习：机器学习的一个重要分支，通过模拟人类大脑感知与组织的工作方式，通过人工神经网络构建，分析输入数据，进行判断与预测
机器学习的常见函数
机器学习模型训练过程设计两个重要函数
损失函数
定义：用来估量模型的预测值与真实值的不一致程度，是一个非负实值函数
特点：损失函数的值越小，说明模型的预测值与真实值越接近；不同的算法可能使用的损失函数不同
损失函数的示例
优化函数
优化函数通过调节参数使误差函数值变小
常见的优化函数
- 优化函数的执行过程
梯度下降执行过程
以梯度下降法为例，球要运动到最低点需要知道三个要素：所处位置、运动方向、移动速度
- 三种梯度下降法特点对比
- 批量梯度下降法BGD
易收敛，每次学习使用整个样本集，学习一次的时间长。 - 随机梯度下降法SGD
每次学习使用随机单个样本，学习一次时间短。下降会出现损失函数波动且难收敛。 - 小批量梯度下降法MBGD
每次学习使用小批量样本集，结合了BGD和SGD的优点，弱化了缺点
- 批量梯度下降法BGD
机器学习常见的评估指标
评价指标是建立在不同的机器学习任务上的：
- 混淆矩阵
混淆矩阵也称误差矩阵，是表示精度评价的一种标准格式，用n行n列的矩阵形式来表示
二分类混淆矩阵示例
.
分类任务常见的评估指标
.
回归任务常见的评估指标
.