人工智能之机器学习5-回归算法1【培训机构学习笔记】

培训内容:

模型评估

培训班上课的PPT里很多错误,即使讲了很多年也从没改正过来。

而且很多字母没有给出具体的解释,比如RSS和TSS,对初学者非常不友善。

个人学习:

分类和回归的区别

回归和分类 是机器学习和统计学中两种常见的监督学习任务,二者主要在以下几个方面存在区别:

目标

  • 回归 :主要用于预测一个连续的数值型目标变量,例如预测房价、股票价格、气温等。其目标找到输入特征与连续输出之间的映射关系,使得预测值尽可能接近真实的数值
  • 分类 :则是将输入数据划分到不同的类别中输出是离散的类别标签,比如判断一封邮件是垃圾邮件还是正常邮件,一张图片是猫还是狗等,旨在找到输入特征与类别之间的决策边界,以准确地对数据进行分类。

输出变量类型

  • 回归输出的是一个数值,这个数值可以是整数,也可以是实数,例如预测的房价可能是 50.5 万元,股票价格可能是 123.45 元等。
  • 分类输出的是有限个离散的类别,如二分类问题中的正类和负类,分别用 0 和 1 表示;或者多分类问题中的不同类别,如 A、B、C 等。

评估指标

  • 回归 :常用的评估指标有均方误差(MSE)平均绝对误差(MAE)均方根误差(RMSE)等这些指标衡量的是预测值与真实值之间的差异程度,差异越小,说明回归模型的性能越好。
    • 均方误差的计算公式 为:,其中 是真实值, 是预测值, n是样本数量。
    • 平均绝对误差的计算公式 为:
    • 均方根误差 则是均方误差的平方根 ,即
  • 分类 :常见的评估指标包括准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1 值等。

模型选择

回归
  • 常见的回归模型线性回归、多项式回归、岭回归、Lasso 回归等。
  • 线性回归 假设输入特征与输出之间存在线性关系,通过最小二乘法等方法拟合出最佳的线性模型;
  • 多项式回归 则可以处理非线性关系,通过增加特征的幂次来构建更复杂的模型;
  • 岭回归Lasso 回归 则是在普通线性回归的基础上加入了正则化项,用于防止过拟合
分类
  • 常用的分类模型逻辑回归、决策树、支持向量机、朴素贝叶斯、神经网络等
  • 逻辑回归 虽然名字中带有 "回归",但实际上是一种用于二分类的广义线性模型 ,它通过 Sigmoid 函数将线性回归的结果映射到 0 到 1 之间,从而得到属于正类的概率
  • 决策树 通过构建树状结构来进行分类决策每个内部节点是一个属性上的测试,分支是测试输出,叶节点是类别或类别分布;
  • 支持向量机 则是寻找一个最优的超平面来将不同类别的数据分开
  • 朴素贝叶斯基于贝叶斯定理和特征条件独立假设来计算属于各个类别的概率,从而进行分类
  • 神经网络通过多个神经元组成的网络结构来学习复杂的分类边界,具有很强的非线性拟合能力

损失函数

  • 回归 :通常使用均方误差损失函数 ,即模型预测值与真实值之间差的平方和的平均值 。其目的是使预测值尽可能地接近真实值,通过最小化均方误差来调整模型的参数
  • 分类不同的分类模型使用的损失函数有所不同。例如,逻辑回归使用对数损失函数,也称为交叉熵损失函数,它衡量的是预测概率分布与真实概率分布之间的差异,通过最小化交叉熵损失来优化模型参数,使得预测的类别概率更加接近真实的类别分布;支持向量机使用合页损失函数,其目标是找到一个能够最大化间隔的超平面,使得分类错误的样本尽可能少,并且尽可能远离决策边界。

回归和分类目标、输出变量类型、评估指标、模型选择和损失函数等方面都存在明显的区别 ,在实际应用中,需要根据具体的问题和数据特点来选择合适的任务类型和相应的模型。

相关推荐
Zero_to_zero123413 分钟前
NVSpeech_170k 数据集音频提取处理
人工智能·音视频
聚集的流星43 分钟前
大模型提示词工程调优
人工智能
东方佑1 小时前
从音频到Token:构建原神角色语音识别模型的完整实践
人工智能·音视频·语音识别
dlraba8022 小时前
基于 OpenCV 与 SIFT 算法的指纹识别系统实现:从匹配到可视化
人工智能·opencv·计算机视觉
shizidushu2 小时前
Hugging Face NLP课程学习记录 - 3. 微调一个预训练模型
人工智能·学习·自然语言处理·微调·huggingface
格林威2 小时前
机器视觉在半导体制造中有哪些检测应用
人工智能·数码相机·yolo·计算机视觉·视觉检测·制造·相机
月岛雫-2 小时前
“单标签/多标签” vs “二分类/多分类”
人工智能·分类·数据挖掘
云卓SKYDROID2 小时前
无人机飞行速度模块技术要点概述
人工智能·无人机·飞行速度·高科技·云卓科技
币须赢3 小时前
英伟达Thor芯片套件9月发货 “物理AI”有哪些?
大数据·人工智能
盼小辉丶3 小时前
Transformer实战(18)——微调Transformer语言模型进行回归分析
深度学习·语言模型·回归·transformer