机器学习概述
- 人工智能、机器学习和深度学习的关系
目标一致,三者统一:给机器赋予人的智能,让机器能够像人一样地思考问题,做出决策;
- 机器学习是实现人工智能的一种途径,让机器使用算法解析数据、从中学习数据特征,并进行归纳判断
- 深度学习是机器学习的一类重要方法,采用多层非线性函数(即神经网络)学习数据特征,并进行判断,属于机器学习解决图像、语音、文本等领域的一个重要分支
机器学习的定义及其方向
定义:通过技术的手段,利用已有的数据(经验)开发可以用来对新数据进行预测的模型
主要方向:1.基于学习方式的划分;2.基于学习策略的划分
-
基于学习方式 的划分:根据输入的数据是否需要进行标注进行划分
-
有监督学习
有监督学习的过程
- 输入数据:为"训练数据",每组训练数据有明确标识
- 学习过程:将预测过程与"训练数据"的实际结果进行比较,不断调整预测模型,直到模型预测结果达到一个预期的准确率
- 应用场景:分类、回归
分类和回归
- 概念
分类就是将不同的类别进行分开,而回归则是找到一个空间,是得数据点尽可能的落在空间上,分类预测变量是离散的 ,如:今天的天气为晴天;回测预测变量是连续的 ,如:明天的温度为36.4°。
分类(上)和回归(下)
- 区别
分类和回归的区别
-
无监督学习
有监督学习(左)和无监督学习(右)
- 输入数据:数据没有被明确的标识
- 学习过程:不存在目标变量,基于数据本身去识别变量之间内在的模式和特征
- 应用场景:关联分析、 聚类
-
强化学习
强化学习
- 一种机器学习方式:以"试错"的方式进行学习,通过与环境进行交互获得奖赏指导行为,目标是是智能体获得最大的奖赏或实现特定目标
- 输入数据:不要求预先给定任何数据,通过接收环境对动作的奖励(反馈)获得学习信息
- 输出:模型参数调整
- 应用领域:机器人控制、计算机视觉、自然语言处理
-
-
基于学习策略的划分:根据学习策略是否基于经典数学原理还是模拟人脑感知进行划分
- 传统机器学习:基于统计、概率、线性代数等数学原理,通过分析输入数据的模式,进行判断与预测
- 深度学习:机器学习的一个重要分支,通过模拟人类大脑感知与组织的工作方式,通过人工神经网络构建,分析输入数据,进行判断与预测
机器学习的常见函数
机器学习模型训练过程设计两个重要函数
损失函数
定义:用来估量模型的预测值与真实值的不一致程度,是一个非负实值函数
特点:损失函数的值越小,说明模型的预测值与真实值越接近;不同的算法可能使用的损失函数不同
损失函数的示例
优化函数
优化函数通过调节参数使误差函数值变小
常见的优化函数
- 优化函数的执行过程
梯度下降执行过程
以梯度下降法为例,球要运动到最低点需要知道三个要素:所处位置、运动方向、移动速度
- 三种梯度下降法特点对比
- 批量梯度下降法BGD
易收敛,每次学习使用整个样本集,学习一次的时间长。 - 随机梯度下降法SGD
每次学习使用随机单个样本,学习一次时间短。下降会出现损失函数波动且难收敛。 - 小批量梯度下降法MBGD
每次学习使用小批量样本集,结合了BGD和SGD的优点,弱化了缺点
- 批量梯度下降法BGD
机器学习常见的评估指标
评价指标是建立在不同的机器学习任务上的:
- 混淆矩阵
混淆矩阵也称误差矩阵,是表示精度评价的一种标准格式,用n行n列的矩阵形式来表示
二分类混淆矩阵示例
.
分类任务常见的评估指标
.
回归任务常见的评估指标
.